利用DataStream和TrafficPeak实现大数据可观察性
可观察性工作流对于深入了解应用程序的健康状况、客户流量和整体性能至关重要。然而，要实现真正的可观察性还面临一些挑战，包括海量的流量数据、数据保留、实施时间以及各项成本等。
TrafficPeak是一款为Akamai云平台打造，简单易用、可快速部署的可观察性解决方案。
TrafficPeak与DataStream配合使用，能以比其他可观察性平台最多降低75%的成本摄取、索引、压缩、存储和搜索大流量实时日志数据。TrafficPeak为客户提供了Grafana登录和自定义仪表盘，客户可以在其中对数据进行可视化和搜索并设置警报。
本文将概括介绍TrafficPeak可观察性解决方案，以及为高流量分发平台构建的，经过测试和验证的可观察性架构。该解决方案结合了Akamai基于边缘的DataStream日志流服务、SIEM集成，以及建立在Linode云基础架构上的TrafficPeak，从而能为大规模流量、日志和数据保留提供支持。
Akamai云平台上的TrafficPeak
· TrafficPeak是什么？
TrafficPeak是一个完全托管的可观察性解决方案，能与DataStream日志流和Akamai Cloud Computing配合使用。TrafficPeak由Akamai管理和托管，使用Linode Compute Instances和Linode Object Storage处理和存储数据。在TrafficPeak的帮助下，客户可以访问Grafana界面，该界面带有预配置、可定制的仪表板，提供了数据可视化和监控功能。
· TrafficPeak适合哪些人？
TrafficPeak适合需要为PB级大数据提供经济高效的一体化“交钥匙”式可观察性解决方案的Akamai客户。
应对不同挑战
·降低成本，提高可见性
在实现标准的数据可视化能力同时，将可观察性成本最多降低75%。
其他可观察性解决方案通常是为特定应用的可观察性构建的，而TrafficPeak是为实现支持超大数据量的CDN级可观察性构建的。TrafficPeak旨在与DataStream合作，从边缘摄取日志，并使用对象存储和计算实例来实现高效、解耦、无状态的架构。通过将流量和CDN日志保存在同一平台上，TrafficPeak能将可观察性成本最多降低75%。
有了大量数据，数据报告的标准化就变得更重要。TrafficPeak的Grafana仪表板支持大量用户访问，提供了集中的数据源。这有助于简化组织运营，并让使用数据的开发者能够从同一个地方获取数据。
·海量数据和数据保留
在与边缘交付相同的平台上采用可观察性解决方案，解决数据量和数据保留难题。
与海量数据相关的成本和基础设施挑战不胜枚举，例如：数据采集、数据存储和保留、数据搜索和效率等。由于TrafficPeak是专为Akamai打造的，因此用户可将边缘和可观察性解决方案整合到一个平台，从而应对这些挑战。
有了TrafficPeak，日志可使用DataStream从Akamai边缘直接发送到Linode计算平台，无需在Akamai平台之外传输数据流量。TrafficPeak通过同时使用计算实例和对象存储，将日志的处理与存储分离，使用高达25倍的数据压缩，并提供15个月以上的可搜索、可访问的热数据保留。
·复杂数据类型
通过可视化监控和数据报告实现复杂数据类型的可观察性。
复杂数据（如媒体交付和游戏数据）可能面临更多挑战：对延迟极端敏感、高数据量、受众洞察力、特定应用程序的数据类型、数据合规性和安全性等。通过TrafficPeak的可视化监控和数据报告，用户可以跟踪受众规模、唯一收视率、SIEM数据，以及其他特定受众数据。TrafficPeak还受到Akamai的监控（因此无需担心扩展问题），提供了可配置的警报，并且在使用Akamai Adaptive Media Delivery时还能支持CMCD。
·实施
能支持海量数据的可观察性解决方案，其实施往往既费时又费钱。TrafficPeak为Akamai客户提供了开箱即用的解决方案，并且可与现有应用基础架构配合使用，从而解决了这一问题。
TrafficPeak工作流程示意
以下是一个大流量分发平台客户在Akamai云上实施的DataStream和TrafficPeak架构高级示意图和流程。
- 客户端发出资产请求、API调用请求或其他HTTPs请求。该请求会被路由到最近的Akamai边缘区域。
- 如果请求存在缓存响应，则由Akamai边缘服务器直接返回；否则该请求将回源以获得响应。
- 生成此过程的分发/安全日志，并将其发送至Akamai云基础设施上的TrafficPeak（用于日志处理的Linode计算实例和用于日志存储的Linode对象存储）。
- TrafficPeak收集信息，提供更长的数据保留期（+15个月），从而用于历史数据趋势和报告，并提高整体可见性。
- 可支持数百用户的Grafana仪表盘为DataStream和SIEM功能提供了统一视图。
系统和组件
- DataStream：Akamai的边缘原生日志流服务。
- TrafficPeak：Akamai在Akamai Cloud Computing平台上运行的托管式可观察性解决方案。由计算实例、对象存储和Grafana仪表板组成。
- 边缘服务器：接收、处理和服务客户端请求的边缘基础设施。在此工作流中，边缘服务器活动会被记录并发送到TrafficPeak以供观察。
- 数据分析：Grafana仪表盘；基于网络的分析和可视化平台，预配置了用于监控TrafficPeak日志活动的功能。已配置并可供TrafficPeak客户访问。
- 虚拟机：用于运行TrafficPeak日志采集和处理软件的计算实例。由Akamai托管。
- Object Storage：兼容S3的对象存储，用于存储来自TrafficPeak的日志数据。由Akamai托管。
总结
通过上述系统，即可在Akamai云平台上获得简单易用、功能强大、成本低廉的全托管式可观察性解决方案。其成本能比其他同类平台最多降低75%！