当前位置：首页 > news >正文

Doris在CMP7（类Cloudera CDP 7 404版华为Kunpeng）启用 Kerberos部署Doris

news 2025/11/6 7:27:35

Doris在CMP7（类Cloudera CDP 7 404版）启用 Kerberos部署Doris

CMP Base 7.1.7（即 Cloud Data AI Data Platform ，基于 Cloud Data AI Manager 管理）
启用 Kerberos（企业级安全认证）

这三种场景下，Apache Doris 与 CMP 的集成策略需区别对待。下面我将分别说明 可行方案、安全集成要点、实施建议，并提供 可运行的代码/脚本模板（包括 Kerberos 配置、Spark Connector 示例、Hive Catalog 配置等）。

一、总体原则

环境	是否推荐部署 Doris	推荐集成方式
CMP Base 7.1.7（私有云，Kerberos）	✅ 推荐（可控环境）	独立部署 Doris + Kerberos 集成 + Hive Catalog / Spark Connector
CMP Public Cloud	⚠️ 有限支持	仅可通过 External Compute（如 AWS EC2 / Azure VM）部署 Doris，通过 VPC 对等连接访问 CMP 数据湖
Kerberos 启用	✅ 必须配置	Doris 需配置 Kerberos 客户端，获取 keytab，支持 HDFS/Hive 安全访问

❗ CMP Public Cloud 限制：
CMP Public Cloud（如 Data Lake、DW、Streams 等服务）不开放底层节点 SSH 或 Parcel 安装权限，无法在托管集群内直接部署 Doris。必须使用 外部计算资源。

二、方案 1：CMP Base 7.1.7 + Kerberos 环境（推荐生产使用）

目标

在 CMP 私有云集群旁独立部署 Doris
Doris 能安全读取 Hive 表（通过 Hive Metastore + Kerberos）
Spark on YARN 作业可写入 Doris

步骤 1：准备 Doris 部署节点（3 台）

操作系统：RHEL/CentOS 7/8（与 CMP 一致）
安装 Kerberos 客户端：

Bash：

yum install -y krb5-workstation krb5-libs

从 CMP 集群复制 /etc/krb5.conf 到 Doris 节点

步骤 2：创建 Doris 服务主体并生成 keytab

在 CMP 的 KDC（如 FreeIPA 或 MIT KDC）中执行：

Bash：

# 创建主体

kadmin.local -q "addprinc -randkey doris/CMP-node1@EXAMPLE.COM"

kadmin.local -q "addprinc -randkey doris/CMP-node2@EXAMPLE.COM"

kadmin.local -q "addprinc -randkey doris/CMP-node3@EXAMPLE.COM"

# 生成 keytab（在 Doris FE 节点执行）

kadmin.local -q "xst -k /etc/security/keytabs/doris.keytab doris/CMP-node1@EXAMPLE.COM"

注意：BE 节点也需要对应主机名的主体（或使用通配符 doris/_HOST@REALM，需 KDC 支持）。

步骤 3：部署 Apache Doris（2.0+）

下载地址（以 2.1.0 为例）：

Bash：

wget https://archive.apache.org/dist/doris/2.1.0-rc01/apache-doris-2.1.0-bin-x86_64.tar.gz

tar -xzf apache-doris-2.1.0-bin-x86_64.tar.gz -C /opt/

ln -s /opt/apache-doris-2.1.0 /opt/doris

配置 fe/conf/fe.conf：

Ini：

priority_networks = 10.0.0.0/24

enable_token_check = false

配置 be/conf/be.conf：

Ini：

priority_networks = 10.0.0.0/24

步骤 4：配置 Hive Catalog（支持 Kerberos）

在 Doris 中执行 SQL：

Sql：

CREATE EXTERNAL CATALOG hive_kerberos_catalog

PROPERTIES (

"type" = "hive",

"hive.metastore.uris" = "thrift://CMP-hms-host.example.com:9083",

"hive.metastore.sasl.enabled" = "true",

"hive.metastore.kerberos.principal" = "hive/_HOST@EXAMPLE.COM",

"doris.hive.catalog.kerberos.principal" = "doris/CMP-node1@EXAMPLE.COM",

"doris.hive.catalog.kerberos.keytab" = "/etc/security/keytabs/doris.keytab",

"hadoop.security.authentication" = "kerberos",

"hadoop.security.kerberos.ticket.cache.path" = "/tmp/doris_krb5cc"

);

✅ 验证：

Sql：

SHOW CATALOGS;

SWITCH hive_kerberos_catalog;

SHOW DATABASES;

SELECT * FROM default.sales LIMIT 10;

步骤 5：Spark on YARN 写入 Doris（Kerberos 环境）

5.1 准备 JAR 包

从 Maven Central 下载适配 Spark 3.2（CMP Base 7.1.7 默认）的版本：

Bash：

# 示例：Spark 3.2 + Scala 2.12

wget https://repo1.maven.org/maven2/org/apache/doris/spark-doris-connector-3.2_2.12/1.3.0/spark-doris-connector-3.2_2.12-1.3.0.jar

5.2 Spark 作业示例（PySpark）

Python：

from pyspark.sql import SparkSession

spark = SparkSession.builder \

.appName("Write to Doris") \

.config("spark.jars", "/path/to/spark-doris-connector-3.2_2.12-1.3.0.jar") \

.getOrCreate()

df = spark.sql("SELECT * FROM hive_table")

df.write.format("doris") \

.option("doris.fenodes", "doris-fe-host:8030") \

.option("doris.table.identifier", "analytics.sales") \

.option("user", "root") \

.option("password", "") \

.option("doris.write.fields", "col1,col2,col3") \

.mode("append") \

.save()

🔐 Kerberos 注意：Spark 作业本身已通过 CMP 的 YARN/Kerberos 认证，Doris 写入走的是 Doris 自身的 MySQL 协议（非 Kerberos），因此只需确保 Doris FE 开放 8030 端口且网络可达。

三、方案 2：CMP Public Cloud（外部 Doris 部署）

架构

Text：

[CMP Public Cloud Data Lake]

↑ (VPC Peering / PrivateLink)

[AWS EC2 / Azure VM] ←─ 部署 Apache Doris

实施要点

网络打通：
- 在 AWS：使用 VPC Peering 或 PrivateLink 连接 CMP Public Cloud VPC
- 在 Azure：使用 VNet Peering
Hive Metastore 访问：
- CMP Public Cloud 的 HMS 通常通过 Atlas/ Ranger 网关暴露，需申请 Private Endpoint
- 或通过 CMP Data Engineering 集群的 HMS（需开通访问权限）
Kerberos：
- CMP Public Cloud 使用 FreeIPA + Kerberos
- 需在 Doris 节点加入 FreeIPA 域（或手动配置 krb5.conf + keytab）
数据导入：
- 推荐使用 S3 / ADLS Gen2 作为中间层：
  - Spark 作业写 Parquet 到 S3
  - Doris 通过 S3 Load 或 Broker Load 导入

示例：Doris 从 S3 加载（无需 Kerberos）

Sql：

CREATE LOAD LABEL sales_20251105

(

DATA INFILE("s3://my-bucket/sales/*.parquet")

INTO TABLE sales

FORMAT AS "parquet"

)

WITH BROKER "my_s3_broker"

PROPERTIES

(

"s3.endpoint" = "s3.us-west-2.amazonaws.com",

"s3.access_key" = "AKIA...",

"s3.secret_key" = "xxxx",

"timeout" = "3600"

);

四、关键脚本模板（CMP Base 7.1.7 + Kerberos）

1. krb5.conf（与 CMP 一致）

Ini：

[libdefaults]

default_realm = EXAMPLE.COM

dns_lookup_realm = false

dns_lookup_kdc = false

ticket_lifetime = 24h

renew_lifetime = 7d

forwardable = true

[realms]

EXAMPLE.COM = {

kdc = kdc.example.com

admin_server = kdc.example.com

}

[domain_realm]

.example.com = EXAMPLE.COM

example.com = EXAMPLE.COM

2. 自动续期 Kerberos Ticket（Cron）

Bash：

# /etc/cron.d/doris-krb

0 */8 * * * root kinit -k -t /etc/security/keytabs/doris.keytab doris/$(hostname -f)@EXAMPLE.COM && cp /tmp/krb5cc_* /tmp/doris_krb5cc

3. Doris 启动脚本（systemd）

Ini：

# /etc/systemd/system/doris-fe.service

[Unit]

Description=Apache Doris FE

After=network.target

[Service]

Type=forking

User=doris

ExecStart=/opt/doris/fe/bin/start_fe.sh --daemon

ExecStop=/opt/doris/fe/bin/stop_fe.sh

Restart=on-failure

[Install]

WantedBy=multi-user.target

五、总结与建议

环境	推荐做法	风险
CMP Base 7.1.7 + Kerberos	独立部署 Doris + Hive Catalog + Spark Connector	需手动维护 Doris 集群
CMP Public Cloud	外部 VM 部署 Doris + S3 中转 + VPC Peering	网络/权限配置复杂
通用	不要尝试 Parcel 集成	无官方支持，升级困难