当前位置：首页 > news >正文

元数据管理与数据治理平台：Apache Atlas 关系搜索 Relationship Search

news 2025/8/12 9:41:59

Apache Atlas 框架是一套可扩展的核心基础治理服务，使企业能够有效、高效地满足 Hadoop 中的合规性要求，并支持与整个企业数据生态系统集成。这将通过使用规范和取证模型，以及技术和运营审计以及由业务分类元数据丰富的沿袭，在 Hadoop 中提供真正的可视性。它还使任何元数据使用者能够互操作，而无需彼此独立的接口——元数据存储是通用的。通过利用 Apache Ranger 来维护元数据的准确性，以防止在运行时对数据进行未经授权的访问。安全性基于角色 (RBAC) 和属性 (ABAC)。

关系搜索

Relationship Search

Apache Atlas 是一个元数据治理工具，具备在已定义模型中搜索预定义实体的能力。

我们可以通过指定通用属性（如 ‘name’、‘qualified name’、‘description’ 等）、实体类型定义特有属性（仅适用于特定实体的属性，如 hdfs_path 类型实体的 ‘cluster name’）以及分类应用、实体子类型及已删除实体等参数来搜索这些实体。然而，这些结果仅返回符合搜索查询参数的实体。

关系（relationship）与实体具有相似结构，用于描述两个实体端点之间的各种元数据。例如，假设 hive_table 与 hive_db 之间存在一个名为 hive_table_db 的关系类型，该关系可拥有自身元数据，这些元数据可作为属性添加到该模型中。

Relationship search 允许通过查询关系类型名称来获取两个实体模型之间的元数据，并支持对关系属性进行过滤。

整个查询结构可使用以下 JSON 结构表示（称为 RelationshipSearchParameters）

{"relationshipName":       "hive_table_db","excludeDeletedEntities": true,"offset":                 0,"limit":                  25,"relationshipFilters":    {  },"sortBy":                 "table_name","sortOrder":              ASCENDING,"marker":                 "*"
}

字段描述

relationshipName:       要查找的关系类型
excludeDeletedEntities: 是否排除已删除实体？（默认为 true）
offset:                 结果集的起始偏移量（用于分页）
limit:                  获取结果的最大数量
relationshipFilters:    关系属性过滤条件
sortBy:                 结果排序依据的属性
sortOrder:              结果排序顺序
marker:                 添加 offset 或 marker，首页 marker 值为 '*'，响应中的 nextMarker 值将用作后续页的 marker 输入

可基于多个属性进行属性过滤，并支持 AND/OR 条件。

Relationship Search 的实时示例

考虑社交媒体应用 ‘Instagram’ 及其基本功能用例：

User 创建 Posts
User 对 Posts 做出反应
User 创建 Highlight
Posts 被添加到 Highlight

以下为突出上述用例的元数据模型

示例：假设用户 Ajay 上传了一张庆祝排灯节的照片作为帖子，Divya、Rahul 等用户对该帖子点了赞。

现在用户 Ajay 想查询其帖子收到的 “like” 反应数量。

为此，他将聚焦于 ‘user_post’ 关系类型，并过滤属性中反应为 ‘like’ 且帖子名称包含 ‘Diwali’ 的记录。

过滤示例（针对 user_post 属性）

   {"relationshipName":       "user_post","excludeDeletedEntities": true,"offset":                 0,"limit":                  25,"relationshipFilters": {"condition": "AND","criterion": [{"attributeName":  "reaction","operator":       "eq","attributeValue": "like"},{"attributeName":  "post_name","operator":       "contains","attributeValue": "Diwali"}]}}

支持的过滤运算符

与基本搜索相同

CURL 示例

curl -sivk -g-u <user>:<password>-X POST-d '{"relationshipName":       "user_post","excludeDeletedEntities": true,"offset":                 0,"limit":                  25,"relationshipFilters": {"condition": "AND","criterion": [{"attributeName":  "reaction","operator":       "eq","attributeValue": "like"},{"attributeName":  "post_name","operator":       "contains","attributeValue": "Diwali"}]}}'<protocol>://<atlas_host>:<atlas_port>/api/atlas/v2/search/relations

Apache Atlas 概览

Apache Atlas 是一套可扩展且可延伸的核心基础治理服务——使企业能够在 Hadoop 中高效且有效地满足其合规要求，并允许与整个企业数据生态系统进行集成。

Apache Atlas 为组织提供开放的元数据管理和治理能力，用于构建其数据资产目录，对这些资产进行分类和治理，并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作能力。

特性

元数据类型与实例

为各种 Hadoop 和非 Hadoop 元数据预定义类型
具备为待管理元数据定义新类型的能力
类型可包含原始属性、复杂属性、对象引用；可从其他类型继承
类型的实例（称为实体）捕获元数据对象详情及其关系
提供 REST API 以便更轻松地与类型和实例进行集成

血缘

直观的 UI 查看数据在各类流程中的血缘
提供 REST API 以访问和更新血缘信息

搜索/发现

直观的 UI 按类型、分类、属性值或自由文本搜索实体
丰富的 REST API 以复杂条件进行搜索
SQL 风格的实体查询语言——领域特定语言（DSL）

安全与数据脱敏

针对元数据访问的细粒度安全控制，可对实体实例及添加/更新/移除分类等操作进行权限管控
与 Apache Ranger 集成，可根据 Apache Atlas 中实体关联的分类进行基于授权的访问控制/数据脱敏。例如：
- 谁能访问被分类为 PII、SENSITIVE 的数据
- 客户服务用户仅能看到被分类为 NATIONAL_ID 的列的最后四位