当前位置: 首页 > news >正文

数据集成平台-Kafka实时同步Doris能力演示

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com
✨Github项目:https://github.com/alldatacenter/alldata
✨Gitee项目:https://gitee.com/alldatacenter/alldata
✨AllData官方手册:https://www.yuque.com/aolingdata/product
✨AllData正式环境:http://43.138.156.44:5173/ui_moat

在这里插入图片描述
在这里插入图片描述
一、数据集成平台基于开源项目Tis建设

数据集成平台(Tis)集成了FlinkX-CDC、DataX等大数据组件,提供一站式数据集成服务。支持多种数据源,涵盖MySQL、Oracle、ElasticSearch等,兼容国产数据库,满足多源异构数据集成需求。

数据集成平台提供可视化操作界面,简化数据集成流程,降低操作难度。同时,具备实时与批量集成能力,确保数据及时准确。此外,还支持插件化扩展,用户可按需开发新插件,增强平台灵活性。助力企业高效完成数据集成任务,为数据中台建设提供有力支撑。

🔹Tis开源项目:https://github.com/datavane/tis
🔹Tis文档地址:https://tis.pub/docs/

二、数据集成平台功能特点

Hive数据库数据同步能力演示(全量同步+分区同步)
MySQL数据库数据同步能力演示(全量+增量同步)
Oracle数据库数据同步能力演示(全量+增量同步)
国产数据库达梦数据源DaMeng数据同步能力演示(全量同步)
国产数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)
Kafka实时同步能力演示(增量实时同步)

在这里插入图片描述
一、支持数据库
在这里插入图片描述

二、进入主页
在这里插入图片描述

三、创建kafka通道
在这里插入图片描述

四、可视化配置kafka到doris
在这里插入图片描述

五、配置Kafka Reader
在这里插入图片描述

六、通过Kafka Reader到入表
在这里插入图片描述

七、批量配置Kafka表
在这里插入图片描述

八、配置Doris Writer表
在这里插入图片描述
在这里插入图片描述

九、成功创建Kafka到Doris同步实例
在这里插入图片描述

十、进入实时同步通道
在这里插入图片描述
在这里插入图片描述

十一、配置Flink实时同步
在这里插入图片描述

十二、实时同步配置Source/Sink
在这里插入图片描述

十三、自动生成同步实时同步代码
在这里插入图片描述

十四、部署实时任务成功
在这里插入图片描述

十五、检查实时任务正常运行
在这里插入图片描述

十六、检查Flink Runtime页面
在这里插入图片描述

十七、查看结果表数据,成功写入Doris数据
在这里插入图片描述

http://www.dtcms.com/a/349576.html

相关文章:

  • Appium学习笔记
  • 如何判断投手甲的认知比投手乙高?
  • “华生科技杯”2025年全国青少年龙舟锦标赛在海宁举行
  • 暴雨蓝色预警发布:我国多地将迎强降雨,局地伴有强对流天气 疾风气象大模型
  • 《李沐读论文》系列笔记:论文读写与研究方法【更新中】
  • 【机器学习】(11) --回归树算法
  • 【机器学习基础】朴素贝叶斯算法详解:从原理到实战
  • 机器学习-朴素贝叶斯
  • 机器学习采样方法深度详解:过采样、下采样与混合采样(附完整代码、可视化与多场景实战)
  • 机器学习:贝叶斯派
  • 【Linux | 网络】多路转接IO之poll
  • 编写Linux下usb设备驱动方法:usb设备驱动实现流程
  • AI-调查研究-60-机器人 机械臂技术发展趋势详解:工业、服务与DIY三大阵营全解析
  • rabbitmq集群
  • 基于RFM模型的客户群体大数据分析及用户聚类系统的设计与实现
  • AI+数据库:国内DBA职业发展与国产化转型实践
  • Torch入门小知识点--总结性语言
  • CSS基础学习第一天
  • The Google File System 详解
  • 【Docker基础】Docker-compose进阶配置:健康检查与服务就绪
  • 一、添加Viewport3DX,并设置相机、灯光
  • Java-包装类
  • 深度学习-----《PyTorch神经网络高效训练与测试:优化器对比、激活函数优化及实战技巧》
  • 【数据结构】栈和队列——队列
  • 向量库Qdrant vs Milvus 系统详细对比
  • 线性回归入门:从原理到实战的完整指南
  • 数据结构——线性表(链表,力扣中等篇,技巧型)
  • Postman 模拟mcp tool调用过程
  • 【数据结构】顺序表详解
  • Flink hop window(滑动窗口)详解