当前位置： 首页 > news >正文

Flink OceanBase CDC 环境配置与验证

news 2025/7/5 6:29:59
一、OceanBase 数据库核心配置
1. 环境准备与版本要求
  • 版本要求：OceanBase CE 4.0+ 或 OceanBase EE 2.2+
  • 组件依赖：需部署 LogProxy 服务（社区版/企业版部署方式不同）
  • 兼容模式：支持 MySQL 模式（默认）和 Oracle 模式
2. 创建用户与权限配置

在 sys 租户创建管理用户（社区版示例）：

-- 连接 sys 租户（默认端口 2881）
mysql -h127.0.0.1 -P2881 -uroot@sys -p-- 创建用户（替换为实际用户名密码）
CREATE USER 'ob_cdc_user' IDENTIFIED BY 'Ob@123456';
GRANT ALL PRIVILEGES ON *.* TO 'ob_cdc_user' WITH GRANT OPTION;
FLUSH PRIVILEGES;

在业务租户创建 CDC 用户：

-- 切换到业务租户（如 test_tenant）
USE test_tenant;-- 创建 CDC 数据读取用户
CREATE USER 'flink_user' IDENTIFIED BY 'Flink@123';
GRANT SELECT ON test_db.* TO 'flink_user';
FLUSH PRIVILEGES;
3. 获取关键配置信息

社区版获取 rootserver-list：

-- 连接业务租户
mysql -h127.0.0.1 -P2881 -uflink_user -p-- 查询 rootserver 列表（格式：ip:rpc_port:sql_port）
SHOW PARAMETERS LIKE 'rootservice_list';
-- 示例输出：rootservice_list | 127.0.0.1:2882:2881

企业版获取 config-url：

SHOW PARAMETERS LIKE 'obconfig_url';
-- 示例输出：obconfig_url | http://127.0.0.1:8080/services?Action=ObRootServiceInfo&...
4. 部署 LogProxy 服务（社区版快速启动）
# 下载 LogProxy 二进制（社区版）
wget https://github.com/oceanbase/oblogproxy/releases/download/v2.2.7/oblogproxy-2.2.7.tar.gz
tar -zxvf oblogproxy-2.2.7.tar.gz# 编辑配置文件 oblogproxy.conf
vi oblogproxy/oblogproxy.conf
# 添加以下配置（根据实际情况修改）：
[common]
rootservice_list = "127.0.0.1:2882:2881"
logproxy_port = 2983
working_mode = "memory"# 启动 LogProxy
cd oblogproxy
./oblogproxy -c oblogproxy.conf
二、Flink 环境集成配置
1. 添加Maven依赖
<!-- OceanBase CDC 连接器 -->
<dependency><groupId>com.ververica</groupId><artifactId>flink-sql-connector-oceanbase-cdc</artifactId><version>3.0.1</version><scope>provided</scope>
</dependency><!-- 企业版需添加OceanBase JDBC驱动 -->
<dependency><groupId>com.oceanbase</groupId><artifactId>oceanbase-client</artifactId><version>2.4.2</version>
</dependency>
2. SQL Client部署
  1. 下载 CDC 连接器 JAR：
    flink-sql-connector-oceanbase-cdc-3.0.1.jar
  2. 企业版需额外下载 OceanBase JDBC 驱动：
    oceanbase-client-2.4.2.jar
  3. 将 JAR 包放入 $FLINK_HOME/lib/ 后重启 Flink 集群。
三、Flink SQL 表定义与参数详解
1. MySQL 模式建表示例（含元数据）
-- 配置checkpoint
SET 'execution.checkpointing.interval' = '5s';-- 创建OceanBase CDC表（MySQL模式）
CREATE TABLE ob_orders (order_id INT,order_date TIMESTAMP(0),customer_name STRING,price DECIMAL(10, 5),-- 元数据列tenant_name STRING METADATA FROM 'tenant_name' VIRTUAL,db_name STRING METADATA FROM 'database_name' VIRTUAL,table_name STRING METADATA FROM 'table_name' VIRTUAL,op_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL,PRIMARY KEY(order_id) NOT ENFORCED
) WITH ('connector' = 'oceanbase-cdc','scan.startup.mode' = 'initial','username' = 'flink_user@test_tenant#ob_cluster','password' = 'Flink@123','tenant-name' = 'test_tenant','database-name' = 'test_db','table-name' = 'orders','hostname' = '127.0.0.1','port' = '2881','rootserver-list' = '127.0.0.1:2882:2881',  -- 社区版必填'logproxy.host' = '127.0.0.1','logproxy.port' = '2983','working-mode' = 'memory'
);
2. Oracle 模式建表示例
CREATE TABLE ob_orders_oracle (order_id INT,order_date TIMESTAMP(0),customer_name STRING,-- 元数据列tenant_name STRING METADATA FROM 'tenant_name' VIRTUAL,op_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL
) WITH ('connector' = 'oceanbase-cdc','scan.startup.mode' = 'initial','username' = 'flink_user@test_tenant#ob_cluster','password' = 'Flink@123','tenant-name' = 'test_tenant','database-name' = 'test_db','table-name' = 'orders','hostname' = '127.0.0.1','port' = '2881','compatible-mode' = 'oracle',       -- 关键：设置Oracle兼容模式'jdbc.driver' = 'com.oceanbase.jdbc.Driver',  -- 企业版JDBC驱动'config-url' = 'http://127.0.0.1:8080/...',  -- 企业版必填'logproxy.host' = '127.0.0.1','logproxy.port' = '2983'
);
3. 核心参数详解
参数名必选默认值类型说明
connector是无String固定为oceanbase-cdc
scan.startup.mode是无String启动模式：initial（快照+日志）、latest-offset（仅最新）、timestamp（指定时间）
tenant-name是无String目标租户名称（如test_tenant）
logproxy.host是无StringLogProxy 服务IP
logproxy.port是无IntegerLogProxy 服务端口（默认2983）
rootserver-list社区版是无String社区版rootserver列表（格式ip:rpc_port:sql_port）
config-url企业版是无String企业版配置服务URL
compatible-mode否mysqlString兼容模式：mysql（默认）、oracle
jdbc.driver企业版是com.mysql.jdbc.DriverString企业版JDBC驱动类（com.oceanbase.jdbc.Driver）
四、环境验证与测试
1. 准备测试数据（OceanBase MySQL模式）
-- 连接业务租户
mysql -h127.0.0.1 -P2881 -uflink_user -p test_db-- 创建测试表
CREATE TABLE orders (order_id INT PRIMARY KEY,order_date TIMESTAMP,customer_name VARCHAR(100),price DECIMAL(10, 2)
);-- 插入数据
INSERT INTO orders VALUES 
(1, '2023-01-01 10:00:00', 'Alice', 100.50),
(2, '2023-01-02 11:00:00', 'Bob', 200.75);
COMMIT;
2. Flink SQL 验证
-- 查询OceanBase CDC表（首次触发快照）
SELECT * FROM ob_orders;-- 在OceanBase中更新数据
UPDATE orders SET price = 150.00 WHERE order_id = 1;
COMMIT;-- 观察Flink输出：应显示变更记录，op_ts为变更时间
3. DataStream API 验证（社区版）
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.cdc.connectors.oceanbase.OceanBaseSource;
import org.apache.flink.cdc.connectors.oceanbase.source.RowDataOceanBaseDeserializationSchema;
import org.apache.flink.table.data.RowData;
import org.apache.flink.table.types.logical.RowType;
import org.apache.flink.table.runtime.typeutils.InternalTypeInfo;
import org.apache.flink.table.types.logical.BigIntType;
import org.apache.flink.table.types.logical.VarcharType;public class OceanBaseSourceExample {public static void main(String[] args) throws Exception {// 定义表结构RowType physicalType = RowType.of(RowType.Field.of("order_id", BigIntType.INSTANCE),RowType.Field.of("customer_name", VarcharType.of(100)));InternalTypeInfo<RowData> typeInfo = InternalTypeInfo.of(physicalType);// 配置OceanBase SourceOceanBaseSource<RowData> source = OceanBaseSource.<RowData>builder().rsList("127.0.0.1:2882:2881")  // 社区版rootserver-list.startupMode(StartupMode.INITIAL).username("flink_user@test_tenant#ob_cluster").password("Flink@123").tenantName("test_tenant").databaseName("test_db").tableName("orders").hostname("127.0.0.1").port(2881).logProxyHost("127.0.0.1").logProxyPort(2983).deserializer(RowDataOceanBaseDeserializationSchema.newBuilder().setPhysicalRowType(physicalType).setResultTypeInfo(typeInfo).build()).build();StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.enableCheckpointing(3000);env.fromSource(source, null, "OceanBase CDC Source").print();env.execute("OceanBase CDC Test");}
}
五、常见问题与解决方案

  1. LogProxy连接失败

    ERROR: Failed to connect to LogProxy at 127.0.0.1:2983
    • 解决方案：
      1. 确认LogProxy服务已启动且端口正确（netstat -an | grep 2983）
      2. 检查logproxy.host和logproxy.port配置是否与LogProxy一致

  2. 权限不足（社区版）

    ERROR: Access denied for user 'flink_user'@'127.0.0.1'
    • 解决方案：
      • 确认用户在业务租户有SELECT权限
      • 检查用户名格式是否正确（user@tenant#cluster）

  3. 企业版Oracle模式配置错误

    ERROR: incompatible-mode must be set for Oracle mode
    • 解决方案：
      • 显式设置compatible-mode = 'oracle'
      • 确保已添加oceanbase-client依赖并部署JDBC驱动

  4. 时间戳转换异常

    • 解决方案：显式设置时区：
      'server-time-zone' = 'Asia/Shanghai'
六、生产环境优化建议

  1. LogProxy性能调优

    • 设置working-mode = 'memory'（内存模式，适合高频变更）
    • 调整obcdc.properties.batch_size（如1024）优化批量处理

  2. 高可用配置

    • 部署多节点LogProxy，Flink配置多个logproxy.host（逗号分隔）
    • 企业版使用config-url自动发现OB集群节点

  3. 监控与清理

    • 定期清理LogProxy内存数据（working-mode = 'memory'时）：
      # 重启LogProxy或通过API清理

通过以上步骤，可完成Flink OceanBase CDC的全流程配置与验证。生产环境中需特别注意社区版与企业版的配置差异、LogProxy服务稳定性及兼容模式的正确设置，以确保数据一致性和系统稳定性。

http://www.dtcms.com/a/266337.html

相关文章：

  • PHP接单涨薪系列（九）之计算机视觉实战：PHP+Stable Diffusion接单指南（2025高溢价秘籍）
  • 技术与情感交织的一生 （九）
  • 因果语言模型、自回归语言模型、仅解码器语言模型都是同一类模型
  • shell编程之awk命令详解
  • 【CHNS】预后/随访 记录
  • 京东和蚂蚁集团寻求人民币稳定币的批准
  • Mac软件打开提示：已损坏，无法打开。您应该将它移到废纸娄 怎么解决?
  • 全星 QMS：制造业全面质量管理的数字化全能平台
  • 【1】确认安装 Node.js 和 npm版本号
  • vue create 和npm init 创建项目对比
  • OneCode图生代码技术深度解析：从可视化设计到注解驱动实现的全链路架构
  • 【效率提升教程】飞书自动化上传图片和文字
  • oltp系统中的数据库的设计严格遵守第三范式，具体怎么理解呢
  • 建设工程长期停工，停工损失如何计算，谁来承担。
  • 【JAVA】类和对象（一）
  • 实战精准压缩打包，通过 Sharp4ArchiveZip过滤指定支持目录与文件类型
  • 蚁群算法的原理及实现示例
  • 【C++详解】STL-list使用(三大特性之一封装详解、cpu高速缓存命中率)
  • 时序数据库TDEngine安装和使用
  • Docker拉取bladex 、 sentinel-dashboard
  • 永洪科技荣获商业智能品牌影响力奖，全力打造”AI+决策”引擎
  • Echarts3D柱状图-圆柱体-文字在柱体上垂直显示的实现方法
  • Spring Boot + 本地部署大模型实现：优化与性能提升
  • js请求避免缓存的三种方式
  • LiteHub中间件之限流实现
  • AI+Web3：从Web2到Web3的范式革命与深度技术实践
  • 智能电动汽车 --- 车辆网关路由缓存
  • 【烧脑算法】最小字典序：巧用单调栈，从栈底到最优解
  • 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级
  • Oracle如何使用序列 Oracle序列使用教程