阿里云实时计算Flink版产品体验测评

什么是阿里云实时计算Flink

实时计算Flink大家可能并不陌生，在实时数据处理上，可能会有所接触，因为其强大的实时数据分析处理能力，所以常常被用在数据量较大，同时对于实时数据分析能力较高的场景，比如双十一的大屏。那么什么是阿里云实时计算Flink版？【实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。】为了更好的理解什么是阿里云实时计算Flink，我们来看一看他的应用场景，这样可以快速的方便大家在以后的产品选择中更有印象的想起来这款产品。

应用场景

作为流式计算引擎，实时计算Flink可以广泛应用于实时数据处理领域，例如ECS在线服务日志，IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集到实时计算产品中进行分析和处理。并且，分析结果可写入不同的数据服务中，例如MaxCompute、MaxCompute-Hologres交互式分析、人工智能平台 PAI、Elasticsearch等，以提高数据利用率，满足业务需求。

就比如我们常听说的数据实时大屏、实时报表等应用场景，最经典的就属双十一的成交量大屏了，也同样离不来实时计算Flink的身影。
从技术领域分析实时大屏的场景，就是实时数据分析：根据需要展示的业务目标，从原始数据中抽取对应信息并整合，比如成交量、成交金额等。实时数据分析则是上述过程的实时化，通常在终端体现为实时报表或实时大屏。

当然除了实时大屏，实时计算Flink还有其他的应用场景，比如 实时ETL和数据流：实时地把数据从A点投递到B点，在投递的过程中可能添加数据清洗和集成的工作；事件驱动应用：对一系列订阅事件进行处理或作出响应的系统。当用户行为触发某些风险控制点时，系统会捕获这个事件，并根据用户当前和之前的行为进行分析，决定是否对用户进行风险控制；风控监测系统：可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，帮助企业对实时数据进行实时分析，提高企业的风控能力。

实时计算Flink&自建Flink集群

在说起这个问题之前，大家对于商用的产品和自建的开源产品都会有一个自己的概念。比如说商用的产品收费，自建的产品也收费；商用的产品服务好，自建的产品看心情；商用的产品处理问题及时高效，自建的产品看运维人员技术能力；等等的一些理解。其实，也确实是，对于阿里云实时计算Flink来说，相比自建Flink集群，真的是有太多的优势了，下面我们从几个方面来详细说说。

性价比

阿里云实时计算Flink版：在兼容性上全面兼容开源Flink，包括各层API、参数配置及SQL语法等。自研的GeminiStateBackend，采用全新的架构和数据结构设计，支持存储计算分离，摆脱了状态数据的本地盘存储限制，并且还支持KV分离，从而大幅提升双流或多流Join作业的效率，还能自适应参数调优；
在资源利用率上可以根据业务负载进行弹性扩缩容，可以配置智能调优，无人值守自动监控并调整作业资源分配，节省人力成本，支持多种付费类型，可以根据业务选择付费类型，从而解决成本。
自建Flink集群：自建Flink集群需要自行设计数据存储架构，同时不能自适应参数调优，在业务开始后，不能根据实际情况智能调优，且需要运维人员全程护航，不具备动态扩缩容的能力。

开发效率

阿里云实时计算Flink版：作为一站式开发管理平台，支持包括SQL、Java、Scala和Python语言。支持主流Flink版本，包括多版本作业代码比较和回滚。提供元数据管理，支持自定义函数，提供20多个Flink SQL通用场景的模板，帮助您快速了解如何使用Flink SQL构建作业代码。支持线上采样和模拟测试数据管理，方便构建测试流程。支持中间结果展示，提高复杂SQL的调试效率。
自建Flink集群：自建Flink集群由于是开源产品，并不具备以上商业化的改造开发，需要专业的技术人员才可以完成调试和上线的动作，同时大量的调试测试成本，在作业上线速度和质量上也是远没有阿里云实时计算Flink版高效快速。

运维管理

阿里云实时计算Flink版：具有丰富的指标监控和维度聚合，便于排查作业延迟、数据倾斜、反压等问题，同时提供实时告警能力，帮助企业快速解决问题。并且对于反压、Job异常、TM失联等常见问题提供智能化诊断和快速日志定位分析，给出调优或者修改建议，并联动自动调优能力帮助您定位问题。同时提供全链路自动容错能力，支持JobManager容错，系统无单点，更稳定。
自建Flink集群：自建Flink集群相对于云产品，最大的缺点就是运维上的难度，为了保障服务的稳定性，需要高技术运维人员实时检测，保障服务运行，同时在问题排查解决上缺少智能化手段，定位问题更慢，解决更拖延，需要投入的运维力量更多。

企业安全

阿里云实时计算Flink版：支持租户级和项目级的资源和代码隔离，满足跨团队协作需求。另外阿里云系列产品往往都支持通过角色控制来控制权限，提高系统资源的安全性。
自建Flink集群：自建Flink集群相对于云产品往往没有太严格的资源隔离条件及角色控制管理，因此相对比较混乱，容易造成数据的丢失等。

场景落地

阿里云实时计算Flink版提供端到端亚秒级实时数据分析能力，企业可以通过实时计算Flink的实时数据分析能力，根据业务目标，从原始数据中抽取对应信息并整合，最后通过展示工具实时展示指标变化，从而在应对大促场景时快速的调整策略，以求达到最大的营收。数据分析工具可以选择实时计算Flink版，同时也可以选择实时数仓Hologres+DataV数据可视化 从而搭建实时数据大屏。比如这里有一个实验场景：基于Hologres+Flink搭建GitHub实时数据大屏 。整个架构通过以下步骤实现：首先搭建实时数仓，通过Flink可对待处理数据进行实时清洗，完成后Hologres可直接读取Flink中的数据，并对接BI分析工具将数据实时展示在大屏中