当前位置：首页 > wzjs >正文

武进区建设局网站宁波专业的网站搭建公司

wzjs 2025/9/16 13:21:27

武进区建设局网站,宁波专业的网站搭建公司,百度地址,网站建设结课总结目录数据集成功能概述使用限制功能相关补充说明数据开发功能概述数据建模功能概述核心技术与架构数据分析功能概述数据治理数据地图功能概述数据质量功能概述数据治理资产功能概述使用限制数据服务功能概述数据集成 DataWorks的数据…

数据集成

功能概述

使用限制

功能相关补充说明

数据开发

功能概述

数据建模

功能概述

核心技术与架构

数据分析

功能概述

数据治理

数据地图

功能概述

数据质量

功能概述

数据治理资产

功能概述

使用限制

数据服务

功能概述

数据集成

DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

功能概述

DataWorks的数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步。其中：

离线同步场景下，支持设置离线同步任务的调度周期。
支持关系型数据库、数仓、非关系型数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。
支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。
支持安全控制与运维监控，保障数据同步的安全、可控。

使用限制

数据同步

支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非结构化的数据（例如一段MP3）至MaxCompute。
网络连通

支持单地域内及部分跨地域的数据存储相互同步、交换的数据同步需求。部分地域之间可以通过经典网络传输，但不能保证其连通性。如果测试经典网络不通，建议您使用公网方式进行连接。
数据传输

数据集成仅完成数据同步（传输），本身不提供数据流的消费方式。
数据一致性

数据集成同步仅支持at least once，不支持exact once，即不能保证数据不重复，只能依赖主键+目的端能力来保证。
数据集成作业创建

暂不支持批量创建数据集成作业。

注意：

同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端最大值（或最小值大于源端最小值，或精度低于源端精度），可能会导致写入失败或精度被截断的风险。（不区分源端和目标端类型，也不区分离线还是实时同步）。

功能相关补充说明

网络连通方案

支持的数据源及同步方案

数据开发

DataWorks的数据开发（DataStudio）是数据加工的开发平台，运维中心是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。

功能概述

DataWorks的数据开发的亮点功能如下。

DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎，支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。
DataStudio支持智能编辑器、可视化依赖编排，调度能力经过阿里集团内调度任务、复杂业务依赖的反复验证。
DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。
运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。

数据建模

智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力，并通过数据建模快速构建企业数据资产。

功能概述

智能数据建模产品包含数仓规划、数据标准、维度建模、数据指标四大产品模块。

数仓规划：数仓规划支持数仓分层、数据域、数据集市等的规划，支持设置模型设计空间，不同部门可共享一套数据标准和数据模型。
数据标准：数据标准字段标准、标准代码、度量单位、命名词典的定义，支持标准代码自动生成质量规则，落标检查不再难。
维度建模：维度建模支持逆向建模，解决现有数仓的建模冷启动难题，支持可视化数仓维度建模，支持通过Excel文件导入模型和通过FML（一种类SQL的DSL）快速构建模型，支持与数据开发DataStudio无缝打通，自动生成ETL代码。
数据指标：数据指标支持原子指标、派生指标的定义与构建，与维度建模无缝打通，可根据原子指标和不同维度批量创建派生指标。

核心技术与架构

数据分析

DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。

功能概述

数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。

数据治理

数据地图

DataWorks的数据地图功能可以帮助您实现对数据的统一管理和血缘的跟踪。

数据地图以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发。

功能概述

数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。

数据质量

DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。

数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。

功能概述

数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，以便您对数据质量进行分析和定级。

数据质量可以解决如下问题：

数据库频繁变更问题
业务频繁变化问题
数据定义问题
业务系统的脏数据问题
系统交互导致质量问题
数据订正引发的问题
数据仓库自身导致的质量问题

数据治理资产

数据资产治理是统一资产治理系统，针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式，帮助用户主动式、体系化完成数据治理工作。

功能概述

数据资产治理（原数据治理中心）可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，还提供业务资产管理、资产分析、任务资源消耗明细、费用预估等功能，帮助您有效掌握各类资源的使用详情。

使用限制

版本限制

目前仅支持DataWorks企业版及以上版本使用数据资产治理。DataWorks各版本介绍，详情请参见DataWorks各版本详解；购买DataWorks，详情请参见购买指引。
地域限制

目前仅支持华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国香港、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、德国（法兰克福）、美国（硅谷）、美国（弗吉尼亚）地域使用数据资产治理。
权限限制

使用数据资产治理的用户角色主要如下，其权限限制如下。

角色	权限说明	相关参考
租户级数据治理管理员	租户级数据治理管理员可使用全局视角查看治理评估报告、治理项问题、检查项事件等，执行相应的整改操作。	授权操作，详情请参见管理租户成员角色权限。数据治理管理员的详细权限，请参见数据治理。
空间管理员	可使用工作空间视角查看治理评估报告。如您需使用该视角查看某工作空间的治理评估报告，需被授权为该空间的空间管理员。	授权操作，详情请参见添加空间成员并管理成员角色权限。查看治理评估报告，详情请参见查看治理评估报告。
空间级数据治理管理员	该角色可以查看并管理该角色所属空间的数据治理相关内容。说明该角色不能通过全局视角查看当前地域所有空间下的治理情况，且无法针对全局的治理操作（例如全局允许启用检查项）进行管控。若要允许RAM用户通过全局视角执行上述操作，请授予其租户级数据治理管理员角色。	授权操作，详情请参见添加空间成员并管理成员角色权限。空间级数据治理管理员角色具体支持的功能详情，请参见数据治理。
普通用户	数据治理工作中实际处理待治理问题的整改人员，可使用个人视角查看检查项事件及治理项问题，并执行整改操作。如您需整改租户下存在的问题，则需被授权为该空间的成员。说明通常，除阿里云主账号和具有AliyunDataWorksFullAccess权限的RAM用户外，其他租户内成员默认均为普通用户。	授权操作，详情请参见添加空间成员并管理成员角色权限。