数据集成平台-Kafka实时同步Doris能力演示
🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨杭州奥零数据科技官网:http://www.aolingdata.com
✨Github项目:https://github.com/alldatacenter/alldata
✨Gitee项目:https://gitee.com/alldatacenter/alldata
✨AllData官方手册:https://www.yuque.com/aolingdata/product
✨AllData正式环境:http://43.138.156.44:5173/ui_moat
一、数据集成平台基于开源项目Tis建设
数据集成平台(Tis)集成了FlinkX-CDC、DataX等大数据组件,提供一站式数据集成服务。支持多种数据源,涵盖MySQL、Oracle、ElasticSearch等,兼容国产数据库,满足多源异构数据集成需求。
数据集成平台提供可视化操作界面,简化数据集成流程,降低操作难度。同时,具备实时与批量集成能力,确保数据及时准确。此外,还支持插件化扩展,用户可按需开发新插件,增强平台灵活性。助力企业高效完成数据集成任务,为数据中台建设提供有力支撑。
🔹Tis开源项目:https://github.com/datavane/tis
🔹Tis文档地址:https://tis.pub/docs/
二、数据集成平台功能特点
Hive数据库数据同步能力演示(全量同步+分区同步)
MySQL数据库数据同步能力演示(全量+增量同步)
Oracle数据库数据同步能力演示(全量+增量同步)
国产数据库达梦数据源DaMeng数据同步能力演示(全量同步)
国产数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)
Kafka实时同步能力演示(增量实时同步)
一、支持数据库
二、进入主页
三、创建kafka通道
四、可视化配置kafka到doris
五、配置Kafka Reader
六、通过Kafka Reader到入表
七、批量配置Kafka表
八、配置Doris Writer表
九、成功创建Kafka到Doris同步实例
十、进入实时同步通道
十一、配置Flink实时同步
十二、实时同步配置Source/Sink
十三、自动生成同步实时同步代码
十四、部署实时任务成功
十五、检查实时任务正常运行
十六、检查Flink Runtime页面
十七、查看结果表数据,成功写入Doris数据