当前位置：首页 > news >正文

华为鲲鹏 Aarch64 环境下多 Oracle 、mysql数据库汇聚到Cloudera CDP7.3操作指南

news 2025/10/21 7:17:19

在华为鲲鹏（Kunpeng）AArch64 架构环境下，将 Oracle 和 MySQL 数据库的数据汇聚到 Cloudera CDP 7.3 是一个典型的 异构数据集成 + 大数据平台对接 的复杂任务。

然而，这里存在一个关键的技术限制：
👉 Cloudera CDP 7.3 官方仅支持 x86_64 架构，CMP（Cloud Data AI Management Platform（Aarch64版））支持 AArch64（ARM64）架构。

正确的架构是：
鲲鹏服务器作为数据抽取端（Source） → 将数据汇聚到远程的CDP 7.3 集群（Target）

✅ 正确的操作指南：鲲鹏作为数据源端，CDP 7.3 作为目标平台

🎯 场景说明

数据源：Oracle、MySQL（可部署在任意位置）
抽取端：华为鲲鹏 AArch64 服务器（运行 ETL 工具）
目标平台：Cloudera CDP 7.3 集群
网络要求：鲲鹏服务器能访问 Oracle、MySQL 和 CDP 集群的网络（如 Hive、HDFS、Kafka 端口）

一、整体架构设计

Text：

[Oracle DB] \

[MySQL DB] → (JDBC) → [鲲鹏 AArch64 服务器] → (HDFS/Kafka/Hive) → [CDP 7.3 集群 ]

[Sqoop/SeaTunnel/Kettle]

角色分工：

鲲鹏服务器：运行 ETL 工具，负责从 Oracle/MySQL 抽取数据，转换后发送到 CDP。
CDP 7.3 集群：接收数据，存储于 HDFS、Hive、Kafka 等组件中。

二、推荐方案（鲲鹏兼容 + CDP 集成）

✅ 方案 1：Apache SeaTunnel（推荐）

优势：

支持 ARM64 编译运行
原生支持 Oracle/MySQL → Hive/HDFS/Kafka
可对接 Spark/Flink on CDP
高性能，适合批处理和流式同步

部署步骤（在鲲鹏 AArch64 服务器）

安装 Java 8/11（OpenJDK）

Bash：

sudo dnf install java-1.8.0-openjdk-devel -y

下载并编译 SeaTunnel（ARM64 兼容）

Bash

编辑

git clone https://github.com/apache/seatunnel.git

cd seatunnel

mvn clean package -DskipTests -Pconnector-v2

配置 JDBC 驱动
- 下载 ojdbc8.jar（Oracle）和 mysql-connector-java-8.0.33.jar
- 放入 seatunnel-dist/target/seatunnel-2.3.4-SNAPSHOT/lib/
编写配置文件 oracle-to-hive.conf

Hocon：

env {

execution.parallelism = 2

job.mode = "BATCH"

}

source {

Jdbc {

url = "jdbc:oracle:thin:@//192.168.1.100:1521/ORCL"

driver = "oracle.jdbc.driver.OracleDriver"

user = "scott"

password = "tiger"

query = "SELECT id, name, salary, hire_date FROM emp WHERE hire_date > '${START_TIME}'"

result_table_name = "src_emp"

}

transform {

# 可选：字段映射、类型转换

}

sink {

HdfsFile {

path = "hdfs://cdp-nn:8020/data/emp/"

file_name = "emp"

file_format_type = "Parquet"

hive_meta_store_uri = "thrift://cdp-hms:9083"

hive_database = "default"

hive_table = "emp"

hive_partition_fields = ["dt"]

hive_partition_value = "${TODAY}"

}

提交任务

Bash：

./bin/seatunnel.sh --config config/oracle-to-hive.conf

✅ 数据将写入 CDP 集群的 HDFS 和 Hive 表中。

✅ 方案 2：自研 Java + MyBatis + Hive JDBC

适用于定制化需求强的场景。

步骤：

使用 Spring Boot 开发应用，连接 Oracle/MySQL。
使用 HiveServer2 JDBC 或 HDFS Java API 将数据写入 CDP。
打包为 Fat Jar，在鲲鹏服务器运行。

Java：

// 示例：写入 Hive

String hiveUrl = "jdbc:hive2://cdp-hiveserver:10000/default";

Connection conn = DriverManager.getConnection(hiveUrl, "hive", "password");

PreparedStatement ps = conn.prepareStatement("INSERT INTO emp VALUES (?, ?, ?)");

ps.setInt(1, id);

ps.setString(2, name);

ps.setDouble(3, salary);

ps.addBatch();

ps.executeBatch();

⚠️ 需在鲲鹏服务器安装 Hadoop 客户端配置（core-site.xml, hdfs-site.xml），或使用 Hive JDBC 直接连接。

✅ 方案 3：Kettle（Pentaho Data Integration）

在鲲鹏服务器安装 Kettle（需 OpenJDK for AArch64）。
创建 Transformation：
- Table Input：连接 Oracle/MySQL
- Hadoop Hive Output：配置 HiveServer2 连接信息
执行并调度。

三、CDP 7.3 端准备（x86_64 集群）

确保 CDP 集群已启用以下服务：

HDFS：数据存储
Hive Metastore：元数据管理
HiveServer2：JDBC 写入支持
Kafka（可选）：实时流接入

开放网络与权限

开放 HiveServer2 端口（默认 10000）
配置 HDFS 目录权限，允许鲲鹏服务器写入
如启用 Kerberos，需配置 keytab 认证（较复杂，建议测试环境先关闭）

四、关键注意事项（鲲鹏 + CDP 组合）

问题	解决方案
CDP 不支持 AArch64	鲲鹏仅作为客户端/抽取端，CMP替代CDP
JDBC 驱动兼容性	使用纯 Java JDBC 驱动（ojdbc8.jar, mysql-connector-java），兼容 ARM64
网络延迟	确保鲲鹏与 CDP 集群间网络稳定，建议千兆以上
数据量大时性能	使用 Parquet/ORC 格式，批量写入，避免小文件
安全认证	若 CDP 启用 Kerberos，需在鲲鹏端配置 JAAS 和 keytab，复杂度高

五、替代建议：使用 CDP 原生工具（反向操作）

如果您的 CDP 集群资源充足，更推荐的做法是：

在 CDP 集群内部使用 Sqoop 或 Spark 从远程 Oracle/MySQL 抽取数据。

示例：在 CDP 节点运行 Sqoop

Bash：

sqoop import \

--connect jdbc:oracle:thin:@//oracle-host:1521/ORCL \

--username scott \

--password-file /user/hive/pswd \

--table EMP \

--target-dir /data/emp \

--hive-import \

--hive-table emp

优点：

利用 CDP 内部网络，速度快
无需依赖外部鲲鹏服务器
管理集中

前提：CDP 节点能访问 Oracle/MySQL 数据库。

六、总结

项目	说明
正确架构	鲲鹏作为 ETL 客户端 → CDP 7.3 作为目标集群
推荐工具	Apache SeaTunnel（ARM64 兼容，高性能）
数据写入方式	HDFS、Hive、Kafka
安全建议	测试环境先关闭 Kerberos，生产环境再启用