当前位置：首页 > news >正文

CloudCanal：一款企业级实时数据同步、迁移工具

news 2025/7/11 5:29:37

CloudCanal 是一款可视化的数据同步、迁移工具，可以帮助企业构建高质量数据管道，具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。

在这里插入图片描述

应用场景

CloudCanal 可以帮助企业实现以下数据应用场景：

数据同步：通过消费源端数据源增量操作日志，准实时在对端数据源重放，以达到数据同步目的，具备断点续传、DDL 同步、元数据映射裁剪、自定义代码数据处理、操作过滤、数据条件过滤、高性能对端写入等特点。
数据迁移：将指定数据源数据全量搬迁到目标数据源，支持多种数据源，具备断点续传、顺序分页扫描、并行扫描、元数据映射裁剪、自定义代码数据处理、批量写入、并行写入、数据条件过滤等特点，对源端数据源影响小且性能好，同时满足数据轻度处理需求。
数据校验和订正：将源端和对端数据分别取出，逐字段对比，可选择差异数据订正，功能可单独使用，也可配合数据迁移或数据同步使用，满足用户数据质量验证与修复的需求。
结构迁移和同步：帮助用户快速将源端结构执行到对端的功能，具备类型转换、数据库方言转换、命名映射等特点，可独立使用，也可作为数据迁移或数据同步准备步骤。

在这里插入图片描述

CloudCanal 目前已经支持的数据源包括：MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、达梦数据库、高斯数据库、AutoMQ、DocumentDB 等。

系统架构

在这里插入图片描述

CloudCanal 系统主要分为三个组件部分：

Console：集中化的管控服务，以 web 服务集群存在；承载产品化功能，包括数据源/机器/数据任务生命周期管理、容灾调度、监控告警、元数据管理等。
Sidecar：部署于具体数据迁移同步机器上，承担包括获取需要运行的任务配置、启停数据任务进程、收集和上报任务状态、执行任务的健康检查等工作。
CloudCanal Core：部署于具体数据迁移同步机器上，执行具体的数据迁移、同步、校验、订正任务。

其中，CloudCanal Core 由以下功能模块组成：

数据源插件：包含各个数据库、消息、数据仓库等数据源数据读写、元数据获取逻辑和对应驱动。各个插件通过 Java 类加载机制隔离，任务运行时只加载对应数据源插件。
核心：包含内核代码骨架、操作过滤、元数据映射、DDL 转换、自定义数据处理等部分。
支撑：包含元数据、任务配置、位点、监控指标，以及和管控交互的逻辑。

产品优势

CloudCanal 相比同类产品的优势如下：

实时高效：数据同步功能延迟普遍小于 5 秒 , 期间完成增量数据解析、攒批、操作过滤、数据转换、元数据映射、数据写入等动作。
精确互联：对于数据链路两端的数据类型、结构规范、读写特点做了精确匹配与转换，让每一个数据源种类、版本差异得到妥善解决。
稳定可扩展：产品内核精简，单进程架构，系统分布式、高可用部署。产品通过组合各个职能的任务进程，实现大规模、分布式、高质量数据管道集群。
一站式：汇集结构迁移、数据迁移、数据同步、数据校验与订正、修改订阅等功能，通过有限状态机让功能自动流转和运行。一站式支持用户数据准备与长期同步过程的一系列工作。
混合部署：支持各个公有云、本地机房私有部署，首要关注用户数据安全，有效支持异地、云上云下、多云之间数据安全同步需求。
复杂数据转换：产品默认包含元数据映射、裁剪、过滤等标准能力，同时支持用户上传业务代码进行数据复杂处理。