当前位置: 首页 > news >正文

spark动态分区参数spark.sql.sources.partitionOverwriteMode

Attention:这个搞不好整个表数据就干没了

spark.sql.sources.partitionOverwriteMode

动态分区的参数

static 就是  覆盖整个表(无论动态分区是否匹配),会删除表中所有现有分区,仅保留本次写入的分区。

dynamic 就是 仅覆盖本次写入中包含的分区,未被写入的现有分区会保留

--------------------------------------------------------------------------------------------------------------------------

使用sparksql insert overwrite插入hive分区导致所有分区被删

简单记录一下,防止踩坑。
hive.exec.dynamic.partition=true
hive.exec.dynamic.partition.mode=nonstrict
开启这两个参数,进行动态插入分区表:
insert overwrite table tablename partition(part_col)
1.这种方式在2.3之前,只会修改查询结果的分区,没什么问题。
2.但是如果在2.3之后,spark会增加一个spark.sql.sources.partitionOverwriteMode参数,这个参数有两个值,默认static,可修改为dynamic。问题就出在这里,如果不更改这个参数,使用默认的static,在动态插入时,不管插入的分区是否存在,都会导致所有的分区被覆盖,数据无法找回。
3.可以在hive中使用show create table查看spark.sql.create.version来确认表的版本。

http://www.dtcms.com/a/521073.html

相关文章:

  • 绿算GP Spark引爆关注,成为AI工厂存储利器
  • 免费个人网站自助建设哈尔滨站建筑面积
  • 算法17.0
  • 【应用统计学相关会议】第三届应用统计、建模与先进算法国际学术会议(ASMA 2025)
  • 赌求网站开发做好的网页上传到wordpress
  • php开发网站上海市嘉定建设局网站
  • 电话交换机 3CX 数据存储在 AWS S3 的配置文档
  • AS32S601ZIT2型MCU在人防工程报警及控制设备中的应用与国产化优势
  • 阮一峰《TypeScript 教程》学习笔记——symbol 类型
  • 网站建设销售信wordpress国内图床
  • 天津高端网站php开发网站
  • PLL输出频谱分析 - 杂散和相位噪声检测
  • C++11 --- 右值引用、移动语义
  • 【Linux基础知识系列:第一百五十九篇】磁盘健康监测:smartctl
  • RA-Eco-RA4M2之RTC电子钟
  • 淘宝属于什么网站怎么做便宜做网站8818
  • 网站设计的公司怎么样php免费源码网站
  • 做品牌折扣微信推广的网站门户网站建设依据
  • NumPy 与 Matplotlib 使用教程
  • 如何做网站百科房地产销售述职报告
  • 做多语言网站教程建筑工程网络计划技术与应用
  • 微软Agent Framework
  • 上海app网站建设雷山网站快速排名
  • 深度学习基础:Tensor(张量)的创建方法详解
  • HTML5基础——18、CSS滤镜
  • 从零开始的C++学习生活 13:红黑树全面解析
  • RealVNC Viewer(Windows控制Mac)
  • mac下载wget
  • SQL进阶:深入解析SQL执行顺序
  • 专业网站建设的公司哪家好合肥计算机培训机构