当前位置: 首页 > news >正文

CloudCanal:一款企业级实时数据同步、迁移工具

CloudCanal 是一款可视化的数据同步、迁移工具,可以帮助企业构建高质量数据管道,具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。

在这里插入图片描述

应用场景

CloudCanal 可以帮助企业实现以下数据应用场景:

  • 数据同步:通过消费源端数据源增量操作日志,准实时在对端数据源重放,以达到数据同步目的,具备断点续传、DDL 同步、元数据映射裁剪、自定义代码数据处理、操作过滤、数据条件过滤、高性能对端写入等特点。
  • 数据迁移:将指定数据源数据全量搬迁到目标数据源,支持多种数据源,具备断点续传、顺序分页扫描、并行扫描、元数据映射裁剪、自定义代码数据处理、批量写入、并行写入、数据条件过滤等特点,对源端数据源影响小且性能好,同时满足数据轻度处理需求。
  • 数据校验和订正:将源端和对端数据分别取出,逐字段对比,可选择差异数据订正,功能可单独使用,也可配合数据迁移或数据同步使用,满足用户数据质量验证与修复的需求。
  • 结构迁移和同步:帮助用户快速将源端结构执行到对端的功能,具备类型转换、数据库方言转换、命名映射等特点,可独立使用,也可作为数据迁移或数据同步准备步骤。

在这里插入图片描述

CloudCanal 目前已经支持的数据源包括:MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、达梦数据库、高斯数据库、AutoMQ、DocumentDB 等。

系统架构

在这里插入图片描述

CloudCanal 系统主要分为三个组件部分:

  • Console:集中化的管控服务,以 web 服务集群存在;承载产品化功能,包括数据源/机器/数据任务生命周期管理、容灾调度、监控告警、元数据管理等。
  • Sidecar:部署于具体数据迁移同步机器上,承担包括获取需要运行的任务配置、启停数据任务进程、收集和上报任务状态、执行任务的健康检查等工作。
  • CloudCanal Core:部署于具体数据迁移同步机器上,执行具体的数据迁移、同步、校验、订正任务。

其中,CloudCanal Core 由以下功能模块组成:

  • 数据源插件:包含各个数据库、消息、数据仓库等数据源数据读写、元数据获取逻辑和对应驱动。各个插件通过 Java 类加载机制隔离,任务运行时只加载对应数据源插件。
  • 核心:包含内核代码骨架、操作过滤、元数据映射、DDL 转换、自定义数据处理等部分。
  • 支撑:包含元数据、任务配置、位点、监控指标,以及和管控交互的逻辑。

产品优势

CloudCanal 相比同类产品的优势如下:

  • 实时高效:数据同步功能延迟普遍小于 5 秒 , 期间完成增量数据解析、攒批、操作过滤、数据转换、元数据映射、数据写入等动作。
  • 精确互联:对于数据链路两端的数据类型、结构规范、读写特点做了精确匹配与转换,让每一个数据源种类、版本差异 得到妥善解决。
  • 稳定可扩展:产品内核精简,单进程架构,系统分布式、高可用部署。产品通过组合各个职能的任务进程,实现大规模、分布式、高质量数据管道集群。
  • 一站式:汇集结构迁移、数据迁移、数据同步、数据校验与订正、修改订阅等功能,通过有限状态机让功能自动流转和运行。一站式支持用户数据准备与长期同步过程的一系列工作。
  • 混合部署:支持各个公有云、本地机房私有部署,首要关注用户数据安全,有效支持异地、云上云下、多云之间数据安全同步需求。
  • 复杂数据转换:产品默认包含元数据映射、裁剪、过滤等标准能力,同时支持 用户上传业务代码 进行数据复杂处理。

版本对比

CloudCanal 目前提供三种版本的产品,分别为社区版、商业试用版、商业版,三种版本的特点与功能对比如下:

在这里插入图片描述

http://www.dtcms.com/a/271744.html

相关文章:

  • 浪潮CD1000-移动云电脑-RK3528芯片-2+32G-开启ADB ROOT破解教程
  • tomcat源码02 - 理解Tomcat架构设计
  • MyBatis集成Logback日志全攻略
  • 微软云语音识别ASR示例Demo
  • 激活函数与损失函数:神经网络的动力引擎与导航系统
  • defer学习指南
  • 《C++初阶之内存管理》【内存分布 + operator new/delete + 定位new】
  • 启辰智慧预约团队5周年活动掠影,打造一流预约系统
  • 论文精读(一)| 量子计算系统软件研究综述
  • IoT 小程序:如何破解设备互联的碎片化困局?
  • 一条Redis命令是如何执行的?
  • 两种方式清除已经保存的git账号密码
  • 并发编程第一节
  • 【WEB】Polar靶场 Day7 详细笔记
  • 深度学习模型表征提取全解析
  • 【PyTorch】PyTorch中数据准备工作(AI生成)
  • 内置函数(Python)
  • 树莓派免密登录(vs code/cursor)
  • EFK/ELK9.0.3 windows搭建
  • 【DB2】load报错SQL3501W、SQL3109N、SQL2036N
  • 【算法训练营Day10】栈与队列part2
  • SpringBoot mybatis
  • Idea如何解决包冲突
  • P8818 [CSP-S 2022] 策略游戏
  • 【自动驾驶】经典LSS算法解析——深度估计
  • 自动驾驶决策与规划
  • Git基本操作1
  • 【C++】第四章—— 函数重载 Function Overloading 笔记
  • 2、Unity插件整合
  • 智慧物流管理:动作识别与包装检测的协同突破