当前位置：首页 > news >正文

结项报告完整版 | Apache SeaTunnel支持metalake开发

news 2025/11/13 5:34:44

过去两周，我们对开源之夏活动中表现优异的开发者们进行了简单的采访，初步粗略地了解了一下他们的开发过程和心得体会。今天，我们将通过同学们的完整结项报告，深入了解项目的开发技术细节，希望能够帮助大家更好地了解 Apache SeaTunnel 项目的最新进展。

接下来是关于Apache SeaTunnel支持metalake开发这一项目的完整报告：

目前，Apache SeaTunnel 的任务配置中，数据源的用户名和密码等敏感信息直接写死在任务脚本中，这种方式存在以下问题：

为解决上述问题，本项目旨在通过集成metalake，实现数据源信息的集中存储和管理。通过数据源 ID 映射机制，用户可方便地更新和管理数据源配置。本项目的目标是支持主流数据目录 Apache Gravitino，并通过预留接口，方便扩展支持其他第三方数据目录服务。

Apache Gravitino获取数据源配置信息的REST API示例见于：https://gravitino.apache.org/docs/0.9.0- incubating/api/rest/load-catalog

代码仓库见于： https://github.com/apache/seatunnel

完成metalake配置信息适配
将metalake配置信息配置在seatunnel-env中，任务启动后加载到任务配置脚本的env中。

1.1 任务启动时读取seatunnel-env中的配置项。
1.2 将配置集成到任务脚本的env中，确保任务能够正确加载metalake配置。
完成source和sink的数据源配置信息改造
读取env中是否开启metalake标识，在source和sink中增加sourceId作为查询metalake的唯一标识，获取数据源信息并替换source/sink配置项中的占位符。

2.1 在source和sink配置中增加sourceId配置项。
2.2 支持source/sink配置项中的占位符替换，通过sourceId动态获取数据源信息。
插件方式支持metalake并集成Apache Gravitino
定义metalake接口，支持根据唯一ID查询数据源配置信息，并实现Apache Gravitino数据源信息转换为 SeaTunnel配置项占位符的功能。
3.1 定义metalake实现接口，提供数据源查询功能。
3.2 支持Apache Gravitino集成，参考Gravitino REST API文档。
3.3 支持扩展性，通过实现接口可支持其他数据目录，如UnityCatalog或DataHub。
3.4 确保向后兼容，不影响存量任务的正常运行。

METALAKE_ENABLED=true
METALAKE_TYPE=gravitino
METALAKE_URL=http://localhost:8090/api/metalakes/metalake_name/catalogs /
...

或者在任务配置文件中的env中配置

env{
metalake_enabled = true
metalake_type = "gravitino"
metalake_url =
"http://localhost:8090/api/metalakes/metalake_name/catalogs/" }

1.2 将配置集成到env中

实现目标：将读取的metalake配置集成到任务的env中。
实现方法：
- 若用户在任务配置文件中配置env，那么自然无需集成。
- 若在seatunnel-env.sh脚本中配置，也可通过System.getEnv()获得，无需集成到env中

source {
type = "mysql"
sourceId = "mysql_datasource_001"
url = "jdbc:mysql://localhost:3306/db"
...
}

2.2 支持source/sink的配置项占位符替换

插件方式支持metalake并支持Apache Gravitino集成

3.1 定义metalake实现接口
- 实现目标：定义一个通用接口，用于与metalake交互。
- 实现方法：
  - 定义MetalakeClient接口，包含查询数据源信息的方法。
  - 接口定义：
3.2 支持Apache Gravitino集成

实现目标：实现与Apache Gravitino的集成，通过REST API获取数据源信息。
实现方法：
- 创建GravitinoClient类，实现MetalakeClient接口。
- 使用HTTP客户端发送请求到Gravitino API，并解析响应。
- 代码示例：
3.3 支持可扩展
实现目标：通过插件化设计，支持其他metalake实现。
实现方法：
- 使用工厂方法，根据metalakeType选择合适的client。
- 代码示例：
3.4 不影响存量任务，向后兼容
实现目标：确保新功能不破坏现有任务。
实现方法：
- 将metalakeEnabled设为可选配置，默认值为false。
- 仅在metalakeEnabled=true且sourceId存在时触发metalake逻辑。
- 代码示例：