当前位置: 首页 > news >正文

flink cdc同步mysql数据

一、api

添加依赖

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-mysql-cdc</artifactId>
   <!--  请使用已发布的版本依赖,snapshot 版本的依赖需要本地自行编译。 -->
   <version>3.3-SNAPSHOT</version>
</dependency>

二、sql客户端

客户端只需要添加 flink-sql-connector-mysql-cdcjar包(注意:和api依赖的包名区分),这里面已经整合了debezium-connector-mysql模块
在这里插入图片描述

下载地址:
在这里插入图片描述

配置同步

CREATE TABLE mysql_cdc_source (
    order_id STRING,
    user_id STRING,
    amount DECIMAL(10,2),
    update_time TIMESTAMP(3),
    dt STRING,
    PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'chb1',
    'port' = '3306',
    'username' = 'root',
    'password' = '123456',
    'database-name' = 'paimon_test',
    'table-name' = 'mysql_orders',
    'server-time-zone' = 'Asia/Shanghai'  -- 时区配置(避免时间偏差)
);
select * from mysql_cdc_source;

参考:https://nightlies.apache.org/flink/flink-cdc-docs-master/zh/docs/connectors/flink-sources/mysql-cdc/

http://www.dtcms.com/a/60983.html

相关文章:

  • 万字深度剖析——JS数据结构(上)
  • Redis7——进阶篇(五)
  • 微型计算机的结构
  • 【知识】 LLM中的Scaling Laws是什么?
  • DeepSeek Kimi详细生成PPT的步骤
  • VSCode 2025最新前端开发必备插件推荐汇总(提效指南)
  • 深度学习与大模型基础-向量
  • 文件系统调用─── linux第17课
  • STM32 CAN模块原理与应用详解
  • 为什么大模型网站使用 SSE 而不是 WebSocket?
  • 如何为服务设置合理的线程数
  • 第5节:交换技术与VLAN技术
  • 用python和Pygame库实现“跳过障碍”游戏
  • Spring Boot HikariCP数据库连接池入门
  • 【AI】Stable Diffusion安装
  • 文本处理Bert面试内容整理-BERT的缺点是什么?
  • 【MySQL基础-1】MySQL 用户管理指南:创建用户、修改密码与权限分配
  • 深入理解string:从模拟实现看本质
  • 嵌入式产品级-超小尺寸游戏机(从0到1 硬件-软件-外壳)
  • SpringBoot3整合FastJSON2如何配置configureMessageConverters
  • J6打卡——pytorch实现ResNeXt-50实现猴痘检测
  • 什么是 Perceptual Loss(感知损失)?
  • ForceMimic:以力为中心的模仿学习,采用力运动捕捉系统进行接触丰富的操作
  • webpack和vite的区别
  • pyspark 数据处理的三种方式RDD、DataFrame、Spark SQL案例
  • 大模型中的微调LoRA是什么
  • 多视图几何--对极几何--从0-1理解对极几何
  • 个人记录的一个插件,Unity-RuntimeMonitor
  • static 用法,函数递归与迭代详解
  • Spring Cloud之远程调用OpenFeign参数传递