Gartner《Stream Processing: 新一代数据处理范式》学习报告

1. 引言

流处理作为一种新兴的数据处理技术，正在成为数字企业实现连续智能和实时分析的关键工具。报告指出，数据的价值随时间衰减，因此企业需要尽快从数据中获取洞察。流处理技术能够在数据流动过程中即时执行分析，与传统的数据库查询（先存储再分析）相比，具有显著优势。

报告强调，流处理技术的应用范围广泛，包括数据集成、数据处理和连续分析/模型服务。选择合适的流处理引擎和框架对于开发和部署流数据应用至关重要。

2. 关键发现

报告总结了以下关键发现：

• 企业采用流处理技术以减少从数据捕获到获取洞察的时间。

• 流处理技术在企业中被应用于数据集成、数据处理和连续分析三个领域。

• 选择合适的流处理引擎和框架对于开发和部署流数据应用至关重要。

• 流处理技术能够在数据流动过程中即时执行分析，而无需先存储数据。

3. 分析

流处理技术的兴起与企业对实时处理高容量事件流的需求密切相关。数字化转型推动了企业对“正在发生”的数据分析需求，而非“过去发生”的数据。流处理技术使企业能够从被动应对转变为通过预测和规范性分析实现主动应对。

流处理技术的发展源于企业对数据量、速度和多样性的巨大增长的需求，以及快速摄取和评估数据以做出战略业务决策的迫切需求。流处理技术能够实现对流入数据的连续处理。

4. 流处理的定义

流处理是一种技术，允许在数据产生时实时收集、集成和分析数据，而无需先存储数据。流处理将数据处理模型从“先存储再处理”转变为“先处理再存储”。流处理能够帮助企业从流动的数据中提取战略价值，类似于传统分析工具对静态数据的操作。