当前位置: 首页 > news >正文

国内大型银行数据模型实践案例

  交通银行基于企业架构方法论构建企业级数据模型    交通银行在企业级架构实践过程中,总结形成了以“轻量化”、“智能化”为特点的企业级数据模型。     轻量化主要包括三方面:建模方法的轻量化、模型资产轻量化和模型落地轻量化。轻量化模型降低了实施成本,缩短了项目周期,可以更好的支撑中小金融机构进行数字化转型的快速实践。智能化是指在建模过程中,通过建立语料库,近义词识别等步骤,对新建数据模型所引用的属性进行智能化标准推荐,贯彻数据标准智能化管控,可加快建模工作的效率和模型成果的准确度。

    交行数据模型采用双“T”架构,包括“正T模型”,即1个高阶数据模型加上N个领域数据模型,以及“倒T模型”,即1个公共模型加上N个场景化应用。

图片

    正T针对交易服务和运营管理场景,关注数据规范性和唯一性,强调实体属性的标准化,指导交易系统的设计开发,提供业务组件边界划分标准和跨组件数据交互使用的参考依据。倒T针对分析与决策报告场景,关注数据易用性和一致性,强调统一维度管理,为数据指标建设提供设计依据,同时也是数据分析需求的管理抓手。双T设计原则强调彼此的对齐和同频,正T中圈定业务对象和关键实体与倒T中的维度和关键事实设计做映射,从而实现两个模型在内容层面的统一。通过“双T”架构模型,实现了数据生产侧与数据消费侧的逻辑自洽,在进行前台业务产品设计的同时,同步设计后续监管报送、运营分析等场景的数据方案。

    在数据模型建设落地后,长期有效的运营机制建设也至关重要,需要通过数据架构管控落地实施。

图片

    

    数据架构管控主要包括事前分析、事中管控、事后监督三个阶段。在需求分析阶段,应以数据模型作为参照,基于模型的基础数据项与指标数据项进行详细分析,避免“同名不同义、数出不同源”等问题;在开发管控阶段,应通过数据模型落实主数据管理、数据标准化、数据模型、数据分布流转等管控要求,从模型层面对跨系统数据交互等予以规范;在事后监督阶段,定期对各业务系统的企业级数据模型落地情况进行检查和评估,持续发现并整改,保障企业级数据模型的执行落地、迭代优化的高效闭环。

农业银行基于FS-LDM模型构建企业级数据模型

    中国农业银行将数据建模方法与DataOps全生命周期的标准化流水线相结合,从组织模式、管理制度、系统工具为数据模型结构提供全方位支撑。   在组织模式方面,明确数据模型研发各环节的角色职责和人员分工,共同推动数据模型的建设和管理工作。   在管理制度方面,梳理数据研发运营全链路中各类技术、业务制度和规范,发布可实施的技术标准,包括模型设计规范、测试规范等,形成管理“软规范”。

   在系统工具方面,通过平台工具将模型设计过程与数据标准、数据质量管理要求融合,建立质量门禁,形成“硬约束”,保障数据模型设计规范的落地执行。

图片

    农行的大数据体系在经历了基础数据平台、大数据平台、数据中台1.0三个阶段后,迈入了数据中台2.0阶段。农行数据模型最初的框架主要参考了Te reda ta公司的FS-LDM的主题划分方式,采用三范式建模与维度建模相结合的方法;当前的数据模型在此基础上补充了业务领域视角,与农行产品目录的划分保持一致,形成了数据视角和业务主题结合的通用数据视图。   农行基于企业架构视角以维度建模为主,结合三范式建模的设计方法,如存款、贷款、理财等实体的设计采取维度建模,参与人相关实体的设计采用三范式建模。采用以数据驱动为主,业务驱动为导向,通过双向结合的方式既保证设计的数据模型符合业务实际发展导向,又保证了数据模型建立在现有的真实数据基础之上,从而间接地保证了数据模型的易懂性与可用性。

     随着数据架构的演化,农行引入了数据湖的新技术,拓宽了数据底座,以数据湖为源对数据架构进行了优化,分为基础宽表、通用宽表、服务宽表三层逻辑架构。

图片

   随后基于数据资产视角细化主题域模型框架,本着便于业务人员理解和技术人员实施的原则,细化模型框架时按照客户性质、业务条线、凭证类别、渠道类型等进行划分,将各个分支尽可能的细化。同时确保模型的可扩展性,具体步骤如下:

图片


技术总体方案设计思路-CSDN博客

http://www.dtcms.com/a/360062.html

相关文章:

  • PerfectSquares.java
  • 解决COB支架偏移载具分析问题根源
  • 编译器领域 名人堂
  • 单表查询-group by rollup优化
  • ibping基本使用 以及 包丢失 超时 排障
  • 【GPT入门】第62课 情感对话场景模型选型、训练与评测方法,整体架构设计
  • Redis核心原理与Java应用实践
  • 基于Seurat的空转单样本数据分析流程学习(一)
  • 性能优化三剑客:`memo`, `useCallback`, `useMemo` 详解
  • 7.1elementplus的表单
  • PyQt5 K线图实现与性能优化详解
  • 我的创作纪念日|一周年,上海-昆明-上海
  • QoS 基本原理与配置
  • 学生请假就餐系统
  • AI 赋能 Java 开发效率:全流程痛点解决与实践案例(二)
  • 使用cursor claude sonnet4的一些感受
  • 【系统分析师】高分论文:论原型法及其在系统开发中的应用
  • Langflow 框架中 Prompt 技术底层实现分析
  • LangChain中Prompt处理机制的技术架构与核心思想分析
  • [信号与系统个人笔记]第三章 连续时间信号与系统的频域分析
  • PPO、DPO和GRPO的区别
  • 【百度】C++开发(25届提前批 一面)面经
  • MongoDB 从零到入门:实用指南
  • 多租户配额与预算:限额、配额周期与突发桶的结算模型(Final)
  • juicefs+ceph rgw 存储安装
  • React 状态管理演进之路:从 Dva 到现代架构
  • leetcode 面试题 01.01.判定字符是否唯一
  • 解决浏览器的**混合内容安全策略**(Mixed Content Security Policy)带来的无法访问页面
  • 深入探讨JavaScript性能瓶颈:我的优化实战与思考
  • PBR 、 IPv6 PBR(基于策略的路由)原理与配置