当前位置：首页 > news >正文

CMP （类Cloudera） CDP7.3（400次编译）在华为鲲鹏Aarch64（ARM）信创环境中的性能测试过程及命令

news 2025/10/14 6:43:51

CMP （类Cloudera） CDP7.3（400次编译）在华为鲲鹏Aarch64信创环境中的性能测试过程及命令

关于在华为鲲鹏（Aarch64）信创环境下对 CMP （类Cloudera） CDP 7.3 进行性能测试，需要明确几个关键前提和挑战，然后才能讨论具体的测试过程和命令。

重要前提与挑战

架构支持问题：CMP （类Cloudera） CDP 7.3 的官方正式支持主要集中在 x86_64 架构。对于 Aarch64 (ARM64) 架构，尤其是鲲鹏平台，CMP （类Cloudera）官方并未提供标准的、经过全面验证和支持的发行版。这意味着在鲲鹏上部署 CDP 7.3 通常是非官方、实验性或由第三方（如国内集成商）进行深度定制和移植的项目。
信创环境：信创（信息技术应用创新）环境通常要求使用国产化软硬件，如鲲鹏 CPU、openEuler/Kylin OS、统信UOS 等。这意味着整个技术栈（OS、JDK、数据库等）都需要适配 Aarch64。
“性能测试”的定义：您是指测试 CDP 平台本身的性能（如 HDFS 读写、YARN 调度），还是测试在 CDP 上运行的典型工作负载（如 Spark SQL、Hive 查询）的性能？

鉴于以上，以下是一个通用的性能测试流程和命令，适用于在成功部署了 CDP 7.3（或其定制化 Aarch64 版本）的鲲鹏集群后，进行基准性能测试。

性能测试过程

阶段一：测试准备

环境确认：
- 确保 CDP 7.3 集群已在鲲鹏 Aarch64 服务器上成功部署并稳定运行。
- 确认操作系统（如 openEuler）、JDK（需为 Aarch64 版本，如 OpenJDK）等基础软件已正确安装和配置。
- 记录集群配置：节点数量、CPU 型号（鲲鹏 920）、内存、磁盘（HDD/SSD）、网络（如 25GbE）。
测试工具准备：
- CMP （类Cloudera）提供了 hadoop、spark-submit、hive 等命令行工具，可用于运行基准测试。
- 使用 CMP （类Cloudera） Manager 监控各服务的健康状况和资源使用情况。
测试数据准备：
- 准备用于测试的基准数据集。可以使用工具生成合成数据。

阶段二：HDFS 性能测试

测试分布式文件系统的读写能力。

测试写入性能 (TestDFSIO)：

# 进入 Hadoop 环境（通常在主节点或客户端节点）

# 生成 10 个文件，每个 1GB，共 10GB 数据

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB

测试读取性能 (TestDFSIO)：

# 读取之前写入的文件

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -read -nrFiles 10

清理测试数据：

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-*.jar TestDFSIO -clean

阶段三：YARN 与 MapReduce 性能测试

测试资源调度和批处理能力。

使用 TeraSort 基准测试（排序大量数据）：

# 1. 生成测试数据 (TeraGen)

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-*.jar teragen 10000000 /user/test/terasort-input

# 生成 10,000,000 条记录 (约 1GB)

# 2. 执行排序 (TeraSort)

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-*.jar terasort /user/test/terasort-input /user/test/terasort-output

# 3. 验证结果 (TeraValidate)

hadoop jar /opt/CMP （类Cloudera） /parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-*.jar teravalidate /user/test/terasort-output /user/test/terasort-validate

阶段四：Spark 性能测试

测试内存计算框架的性能。

使用 Spark 自带的示例进行 Pi 估算（简单计算测试）：

spark-submit --class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

--num-executors 2 \

--executor-memory 1g \

--executor-cores 1 \

/opt/CMP （类Cloudera） /parcels/SPARK2/lib/spark2/examples/jars/spark-examples_*.jar 10

使用 Spark SQL 进行复杂查询测试：
- 可以编写一个 Spark 应用程序，加载数据（如 Parquet 格式），执行多表 Join、聚合等操作，并记录执行时间。

阶段五：Hive 性能测试

测试数据仓库查询性能。

执行 TPC-DS 或简单查询：

# 进入 Hive CLI 或 Beeline

beeline -u "jdbc:hive2://<your-hive-server>:10000/default"

# 执行一个复杂的查询，例如：

SELECT COUNT(*), SUM(sales_amount)

FROM sales_table

WHERE sale_date BETWEEN '2023-01-01' AND '2023-12-31'

GROUP BY region;

- 记录查询的执行时间。

监控与数据收集

CMP （类Cloudera） Manager：全程监控 CPU、内存、磁盘 I/O、网络、HDFS 吞吐量、YARN 容器使用情况等关键指标。
系统命令：
- top / htop：实时查看系统资源占用。
- iostat -x 1：监控磁盘 I/O 性能。
- sar：收集系统活动报告。
- nethogs / iftop：监控网络流量。

总结：

在华为鲲鹏 Aarch64 信创环境中对 CMP （类Cloudera） CDP 7.3 进行性能测试是一个高度专业化且非标准化的任务。CDP 7.3 已被成功移植到 Aarch64 平台，欢迎联系我。

上述命令和过程是基于标准 Hadoop/CDH 生态的通用性能测试方法。在实际操作中，您需要：