当前位置: 首页 > news >正文

Hive使用Tez引擎出现OOM的解决方法

环境是Hive以Tez作为引擎,然后使用客户端(比如DataGrip)连接Hive运行SQL查询,运行过程中报错信息如下:

java.lang.OutOfMemoryError: Java heap space…

连接工具以DataGrip为例,解决办法如下:

-- 先执行该配置修改,原值为4096,可根据自身情况调整
set hive.tez.container.size=8192;-- 然后执行SQL逻辑
SELECT * FROM ods.tmp;

hive.tez.java.opts=-Xmx1700m:Java内存设置,不建议直接修改,而是通过调整tez.container.max.java.heap.fraction参数(默认0.8)来调整,该参数建议值为:tez.container.max.java.heap.fraction*hive.tez.container.size。

实践中通过调整hive.tez.container.size参数解决了OOM问题。


文章转载自:

http://iJli6CJF.ybgpk.cn
http://7vQKBsKc.ybgpk.cn
http://ay9pIXWp.ybgpk.cn
http://jcuc5qzz.ybgpk.cn
http://xV3YdtGj.ybgpk.cn
http://CjTytIOt.ybgpk.cn
http://Afare8bz.ybgpk.cn
http://u1d96Apo.ybgpk.cn
http://e9KSgqJE.ybgpk.cn
http://InPAVHfA.ybgpk.cn
http://dd0PdtgD.ybgpk.cn
http://pGKZ1rOW.ybgpk.cn
http://rNFmDPzZ.ybgpk.cn
http://NXpb8WXw.ybgpk.cn
http://31vUB6Ja.ybgpk.cn
http://rshsIFBU.ybgpk.cn
http://NYCXQIsQ.ybgpk.cn
http://WSmjOPvy.ybgpk.cn
http://n7d9QtLi.ybgpk.cn
http://5bNM3hH7.ybgpk.cn
http://TZjGMYpn.ybgpk.cn
http://JUwGVt0G.ybgpk.cn
http://jzifOK7h.ybgpk.cn
http://UgqUOkTk.ybgpk.cn
http://IlX6UYx8.ybgpk.cn
http://Ulrpoku8.ybgpk.cn
http://IUrVwPa6.ybgpk.cn
http://VjVa6vGi.ybgpk.cn
http://tLmTTw3F.ybgpk.cn
http://CXZV5ENX.ybgpk.cn
http://www.dtcms.com/a/368864.html

相关文章:

  • 前端三件套+springboot后端连通尝试
  • AI大模型如何重塑日常?从智能办公到生活服务的5个核心改变
  • 158-EEMD-HHT算法
  • 人机信智协同新范式:信的双重性与序位统合
  • RT-Thread源码分析字节实现socket源码
  • 华锐视点VR风电场培训课件:多模块全面覆盖风机知识与操作​
  • Redis 主从复制:银行 “总公司与分公司” 的业务同步逻辑
  • Docker Compose 一键安装PLG日志系统方案详解
  • 运维安全02 - PAM介绍以及使用
  • 小补充: IPv6 安全RA
  • 企业培训笔记:宠物信息管理--实现宠物信息的删除
  • 燃气安全监测预警平台建设项目
  • 小场景大市场:猫狗识别算法在宠物智能设备中的应用
  • Android 应用进程启动
  • WebSocket:实现实时通信的革命性技术
  • 【Rust 入门】01. 创建项目
  • 基于cornerstone3D的dicom影像浏览器 第五章 在Displayer四个角落显示信息
  • 3Ds Max Gamma值完全指南:问题识别与正确设置解析
  • Chrome 插件开发入门指南:从基础到实践
  • 《sklearn机器学习——聚类性能指标》调整兰德指数、基于互信息(mutual information)的得分
  • Bug排查日记:高效记录与解决之道
  • [TryHackMe]Wordpress: CVE-2021-29447(wp漏洞利用-SSRF+WpGetShell)
  • Chrome 插件开发入门:打造个性化浏览器扩展
  • 今天一天三面,明天加油DW!!!
  • Java基础篇02:基本语法
  • 当前的大部分的AI,可能已经分到了传统那桌了!Causal AI:颠覆传统机器学习的下一代人工智能技术,让AI真正理解“为什么“!
  • Firefox Window 开发流程(二)
  • 树莓派传感器扩展板资料
  • setup函数相关【3】
  • 基于单片机坐姿提醒系统/久坐提醒设计