Gartner《如何有效融合Data Fabric 与Data Mesh数据战略》学习心得
在当今数字化时代，数据已成为企业最为重要的战略资产之一。企业对于高效的数据管理架构的需求日益迫切，以确保能够从海量数据中提取有价值的信息，支持业务决策和创新。近年来，数据编织（Data Fabric）和数据网格（Data Mesh）成为了数据管理领域的两个热门概念，在行业内引发了广泛讨论与实践探索。该研究从数据架构的演变历程出发，深入剖析数据编织与数据网格的特点、优势以及相互之间的关系，并探讨如何通过两者的互补融合来满足企业不断发展的数据管理需求。
一、数据架构的演进历程
-
企业数据仓库（EDW）时代
-
大约在 2000 年左右，企业数据仓库凭借其能够通过数据建模、数据集成和报表功能，从众多数据源提供统一的数据视图，取得了巨大成功。它为企业的数据分析提供了一个集中式的存储和处理平台，使得企业能够对来自不同业务系统的数据进行整合和分析，从而支持决策制定。
-
然而，随着时间的推移，数据分析需求日益复杂和多样化，数据仓库的局限性逐渐显现。数据仓库通常依赖于固定的数据模型和预定义的查询，难以适应快速变化的业务需求和灵活多变的数据分析场景。此外，数据仓库的构建和维护成本较高，对企业的技术能力和资源投入提出了较高要求。
-
-
逻辑数据仓库（LDW）的兴起
-
自 2010 年起，逻辑数据仓库作为一种领先的架构方法崭露头角。它通过通用语义层（即从数据的位置和系统中抽象出数据，以业务术语表达并通过数据虚拟化访问）实现统一的数据分析。逻辑数据仓库允许多个数据源在逻辑层面上进行集成，而无需进行大规模的物理数据迁移或复制，从而提高了数据的灵活性和可访问性。
-
尽管逻辑数据仓库在一定程度上解决了数据仓库的局限性，但它仍然主要侧重于分析型数据处理，对于事务型和操作型数据的处理能力有限。同时，逻辑数据仓库的管理和维护也需要专业的技术团队，对企业的数据治理能力提出了挑战。
-
-
湖仓一体化（Lakehouse）的出现
-
到了 2020 年左右，湖仓一体化架构应运而生。它结合了数据湖和数据仓库的优势，采用开放的表格格式和零 / 浅拷贝的外部数据处理方式，既能够满足大规模数据存储和查询需求，又能提供高效的数据分析和处理能力。湖仓一体化架构在数据基础设施简化方面与逻辑数据仓库有着共同的理念，但在物理组件的组织上有所不同。
-
湖仓一体化架构有望成为统一和协调组织内各种类型数据的基础分析数据存储库。然而，与逻辑数据仓库类似，它主要关注分析型用例，对于事务型和操作型数据的处理仍存在一定的局限性，并且在数据治理和管理方面也需要进一步加强。
-
二、数据编织与数据网格的诞生
-
数据编织（Data Fabric）
-
定义与特点 ：数据编织是一种新兴的数据管理设计模式，旨在实现灵活且可复用的数据管道、服务和语义。它通过元数据分析、数据集成与准备、知识图谱与语义以及机器学习等技术，在元数据层面进行深度挖掘和利用，从而实现对分散在不同应用程序中的数据的映射和整合，使其为企业业务探索做好准备。数据编织强调通过主动元数据管理和语义推理，增强数据管理的灵活性、自动化程度和可操作性，简化业务用户对数据的理解和使用，提高数据的可信度和可消费性。
-
优势 ：数据编织能够打破传统数据管理的 “为特定需求构建” 模式，转变为 “观察并利用” 模式，从而提高数据管理的效率和效益。它能够自动执行复杂、重复且耗时的数据任务，如数据管道编排、自动化转换任务以及将工作负载推送到成本效益更高的处理引擎等。此外，数据编织还可以优化数据操作，如 FinOps 和数据可观测性指标，以实现高效的数据管道维护任务，减少数据管理的工作量，包括设计、部署和运营等方面。
-
-
-
数据网格（Data Mesh）
-
定义与特点 ：数据网格是一种新兴的数据管理运营模式，由业务领域拥有并主导，旨在通过去中心化的数据交付和业务驱动的用例实现，支持通过联邦治理方法在不同领域中定义、交付和拥有标准化的数据产品。数据网格的核心原则包括数据产品、领域所有权、自助服务和联邦治理，其组织结构由一个中央平台团队、分布式产品团队和跨领域的指导小组组成，并通过共享数据基础设施（如通用元数据、可观测性和安全性）、领域工作空间（数据产品创建和维护的场所）等进行实施。
-
优势 ：数据网格克服了传统数据管理方法中源特定、集中式且耗时的弊端，为业务功能提供了灵活性，使其能够拥有、管理和分析自己的数据，以解决各自独特的业务挑战。它能够通过领域特定的数据产品实现自助服务和更快的上市时间，同时保留对业务领域内部事务的最优自主权，并通过数据产品模板实现可扩展性和一致性。
-
三、数据编织与数据网格的互补关系
-
架构层面的互补
-
数据编织和数据网格虽然是独立发展的概念，但它们共享相同的目标，即实现数据的易访问性，只是采用的方式不同。数据编织通过统一的数据访问模式，基于元数据自动化数据管理任务；而数据网格则通过联邦数据管理和治理，以数据产品和数据自助服务的形式在业务领域中实现数据所有权。数据管理领导者可以在现代数据架构中将这两种方法结合起来，以数据编织作为基础数据管理设计模式，数据网格作为最优的数据交付模型，通过数据激活服务（数据产品和分析服务的组合）在业务领域中进行高效分发。
-
-
元数据与治理层面的互补
-
在数据治理方面，元数据和治理实践是紧密相连的。数据治理涵盖了决策权利、问责结构以及政策 / 标准的制定、执行和监督。元数据能力对于执行这些治理活动至关重要。数据编织的主动元数据能力可以与数据网格的联邦治理原则相结合，以增强元数据和治理的成熟度。例如，主动元数据可以通过机器学习对数据资产进行分析和分类，提供元数据分析并为数据消费者提供建议，从而帮助组织更好地理解和管理数据，同时通过联邦治理模型，允许业务领域的团队自主管理和发布数据产品，实现数据民主化。
-
-
人类专业知识与知识图谱的互补
-
在数据管理过程中，人类专业知识和机器智能（如人工智能）各自具有优势和挑战。通过结合数据网格中业务领域专家的专业知识以及数据编织中的知识图谱技术，可以在决策过程中引入人 - 机器反馈回路机制。知识图谱作为数据编织设计的基础组成部分，能够与业务领域专家的经验和知识相结合，对专家决策进行扩展和增强，从而在组织中实现更具意义的业务影响。例如，在零售领域，通过知识图谱可以实现库存补充优化、商品聚类分析、客户购买推荐以及促销活动影响评估等业务用例，提高业务决策的效率和质量。
-
四、行业现状与未来趋势
-
行业现状
-
根据 2024 年 Gartner 数据和分析治理调查，超过 70% 的受访者表示其组织的治理工作范围有限，或刚刚开始在数据目录、业务管理解决方案等技术能力方面进行治理工作。此外，2024 年 Gartner 数据管理演变调查显示，约四分之一的参与组织目前已实施数据编织或数据网格，其中仅有约 13% 的组织同时实施了两者。这表明大多数组织尚未充分发挥数据编织和数据网格的集体优势，仍然在两种架构方法之间进行探索和选择。
-
-
未来趋势
-
预计到 2028 年，80% 支持 “AI 就绪数据” 用例的自主数据产品将从数据编织和数据网格互补架构中涌现。随着企业对数据驱动决策和人工智能应用的需求不断增加，数据编织和数据网格的融合将成为未来数据管理架构的发展趋势。越来越多的组织将认识到两种架构方法的互补性，并将它们结合起来，以实现知识发现的简化、数据自助服务用例的增强、数据产品的改进以及数据驱动决策的速度和质量的提升。
-
小结
数据编织和数据网格并非相互排斥的两种架构方法，而是具有很强的互补性。数据管理领导者应当摒弃将两者视为竞争对手的传统观念，转而采用互补的方式，将数据编织设计与数据网格运营模型相结合，以实现数据管理的优化和业务价值的最大化。通过这种方式，企业可以简化知识发现和数据自助服务用例，提高数据产品的质量和可管理性，增强数据驱动决策的速度和质量，从而在数字化竞争中取得优势。未来，随着技术的不断进步和企业需求的不断演变，数据编织和数据网格的融合将进一步推动数据管理领域的发展，为企业创造更多的创新机会和商业价值。