数据映射表
数据映射表(Data Mapping Table)是数据集成、系统迁移、ETL(抽取-转换-加载)、API对接等项目中的核心文档。它系统性地定义了源数据(Source Data)如何转换并填充到目标数据(Target Data)的规则,是连接不同系统或数据模型的“桥梁”。
一、什么是数据映射表?
定义
数据映射表是一种结构化文档,用于描述:
- 源系统的字段(或数据元素)与目标系统的字段之间的对应关系。
- 数据在传输过程中所需的转换规则(如清洗、格式化、计算、值映射等)。
类比
想象你要把一本中文书翻译成英文。
- 源字段 = 中文句子
- 目标字段 = 英文句子
- 映射规则 = 翻译规则(词汇对应、语法调整)
这本“翻译对照表”就是数据映射表。
二、为什么需要数据映射表?
作用 | 说明 |
---|---|
确保数据一致性 | 防止字段错位、类型不匹配、含义误解。 |
提高开发效率 | 开发人员可直接依据映射表编写ETL代码,减少沟通成本。 |
支持数据治理 | 明确数据来源与去向,便于数据血缘追踪。 |
便于测试与验证 | 测试人员可根据映射规则设计测试用例。 |
降低项目风险 | 避免因理解偏差导致的数据错误或系统故障。 |
知识沉淀 | 作为项目资产,便于后续维护和交接。 |
三、数据映射表的核心组成部分
一个完整的数据映射表通常包含以下列(可根据项目复杂度增减):
字段 | 说明 |
---|---|
序号 | 唯一编号,便于引用和讨论。 |
源系统 | 数据来源系统名称(如:CRM系统、ERP系统)。 |
源表名 | 源数据所在的表或实体名称(如:customer_info )。 |
源字段 | 源数据的字段名(如:cust_name )。 |
源字段类型 | 源字段的数据类型(如:VARCHAR(100) )。 |
源字段说明 | 源字段的业务含义(如:“客户全名”)。 |
目标系统 | 数据目标系统名称(如:数据仓库、营销平台)。 |
目标表名 | 目标数据所在的表或实体名称(如:dim_customer )。 |
目标字段 | 目标数据的字段名(如:customer_name )。 |
目标字段类型 | 目标字段的数据类型(如:STRING )。 |
目标字段说明 | 目标字段的业务含义(如:“客户姓名,存储于维度表”)。 |
映射规则/转换逻辑 | 最核心部分:描述如何从源字段得到目标字段。 |
是否必填 | 目标字段是否允许为空(是/否)。 |
数据质量规则 | 数据校验规则(如:非空、唯一、正则匹配、值域)。 |
状态 | 映射进度(如:✅已完成 / ⏳进行中 / 🚫待确认)。 |