当前位置: 首页 > news >正文

大数据平台ETL任务导入分库分表数据

数据源管理

数据源类型:MySql
数据源:db_victor
表:tb_inc_day_#0-63#
数据过滤:fdt_startdate>= FROM_UNIXTIME(UNIX_TIMESTAMP() - 60 * 60,‘%Y-%m-%d %H:00:00’) AND fdt_startdate<FROM_UNIXTIME(UNIX_TIMESTAMP() ,‘%Y-%m-%d %H:00:00’)

编辑数据源

数据源名称:db_victor
数据源用途: 调度ETL任务/实时计算/数据资产
系统编码:XXXX-XXX-XX
应用名称:XXXX
数据源类型:MySql ☑️mysql分库
应用内公开:是
数据源描述:XXXX
(按照制定格式导入分库配置)

目标源管理

目标源类型:Hive
目标源:大数据平台
库:dm_x
表:dm_dtl_di
分区 :inc_day$[time(yyyyMMdd,-1d)]
清理规则:写入前保留已有数据(append)

字段映射

(略)

通道控制

(略)

调度配置

(略)

Hooks配置

(略)

告警配置

(略)

http://www.dtcms.com/a/349368.html

相关文章:

  • Jenkins+docker 微服务实现自动化部署安装和部署过程
  • TDengine IDMP 应用场景:电动汽车
  • AI测试工具midsence和browse_use的使用场景和差异
  • react+taro打包到不同小程序
  • Flutter旧版本升级-> Android 配置、iOS配置
  • 机器视觉的3C玻璃盖板丝印应用
  • KeepAlived+Haproxy实现负载均衡(SLB)
  • window显示驱动开发—混合系统 DDI 和 dList DLL 支持
  • Shell 循环编程:for 与 select 轻松入门
  • HTTP 与 HTTPS 深度解析:从原理到实际应用
  • Kubernetes (K8s)入门指南:Docker之后,为什么需要容器编排?
  • 安全合规:AC(上网行为安全)--下
  • LeetCode热题100--102. 二叉树的层序遍历--中等
  • 什么是JSON-RPC 2.0,在项目中应该怎么使用
  • 09-数据存储与服务开发
  • GPIO子系统自主实现(简单版)
  • C++ static 关键字面试深度解析
  • 匹配网络处理不平衡数据集的6种优化策略:有效提升分类准确率
  • 【每天一个知识点】大模型训推一体机
  • RK3128 Android 7.1 进入深度休眠流程分析
  • Apache Maven 3.1.1 (eclipse luna)
  • Portswigger靶场之 Blind SQL injection with time delays通关秘籍
  • 维度建模 —— 雪花模型 和 星型模型的优缺点
  • 异常记录-神通数据库-已解决
  • go-redis库使用总结
  • jasperreports 使用
  • Vmware centos系统中通过docker部署dify,网络超时和磁盘容量解决方案
  • 解决getLocation获取当前的地理位置,报错:getLocation:fail auth deny及方法封装
  • 容易忽视的TOS无线USB助手配网和接入USB使用: PC和TOS-WLink需要IP畅通,
  • 社群团购平台与定制开发开源AI智能名片S2B2C商城小程序的融合创新研究