当前位置: 首页 > news >正文

迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 

相关文章:

  • 数字电子电路基础第五章——触发器
  • Unity插件-Mirror使用方法(一)Mirror介绍
  • 【AI深度学习基础】NumPy完全指南入门篇:核心功能与工程实践(含完整代码)
  • 【大数据】ClickHouse常见的错误及解决方式
  • 数据库 复习
  • MySQL数据库的使用工具
  • python配置mmcv与mmdet环境
  • 游戏引擎学习第129天
  • 科目二技巧
  • 网络演进(演进到TCP协议)
  • UE Python笔记
  • MySQL当中的Lock
  • 网络安全红队工具
  • 算法之算法主题
  • 【六祎 - Note】SQL备忘录;DDL,DML,DQL,DCL
  • 步步为营:用 torch.arange 快速生成数字序列
  • 本地部署Embedding模型API服务的实战教程
  • 记录一个C语言打印的误区:无符号的数通过%d打印出现符号位的现象
  • 掌握 ElasticSearch 聚合查询:Aggregations 入门与实战
  • 毛泽东思想的历史地位
  • 邯郸建移动网站费用/乐事薯片软文推广
  • 深圳网站建设论坛/营销对企业的重要性
  • fw可以做网站/西安seo排名
  • 好网站你知道/网络营销有哪些功能
  • 微信网站建设费用/手机网页设计制作网站
  • 上海搜索引擎推广公司/图片seo优化是什么意思