当前位置: 首页 > news >正文

大批量查询数据库大字段导致OOM问题

批量查询数据库大字段导致OOM问题

  • 一、背景
  • 二、解决方案
    • 1、排查思路
    • 2、优化结果

一、背景

业务上通过某任务id查询数据治理日志全部字段,其中待治理内容content字段超大。当某业务待治理的content数据存储较大时候,批量查询此数据,直接导致服务器内存利用率飙升,引发OOM问题,导致服务器自动重试重启。

二、解决方案

1、排查思路

(1) 查询数据库的大字段(text、blob、binary等),分析大字段的使用场景,是否涉及大批量查询等。
(2)查看大字段大小和查询列表的数据量,评估是否存在大批量数据单次读取。
(3)mysql查询方法

selecttable_schema,table_name,column_name,data_type,is_nullablecolumn_defaultcolumn_coment
frominformation_schema.columns
wheretable_schema = 'xxxxx'
and data_type in 
('text','mediumtext','longtext','blob','mediumblob',
'longblob','binary','varinary','json'); 

2、优化结果

优化前:查询待治理内容content;
优化后:查询待治理id和治理结果id。

http://www.dtcms.com/a/352745.html

相关文章:

  • TCP服务端并发模型
  • 第5章 Excel公式与函数应用指南(4):日期和时间函数
  • Paimon——官网阅读:主键表
  • 计算神经科学数学建模编程深度前沿方向研究(下)
  • 【C++】类型系统:内置类型与自定义类型的对比
  • super(msg)层层上抛
  • 数据结构青铜到王者第七话---队列(Queue)
  • 基于Spring Boot的考研辅导知识共享平台-项目分享
  • Node.js 多版本管理工具 nvm 的安装与使用教程(含镜像加速与常见坑)
  • 计算机组成原理实验报告
  • Kafka架构以及组件讲解
  • 【Kafka】重点概念和架构总结
  • Unity 串口通信
  • 解开 Ansible 任务复用谜题:过滤器用法、Include/Import 本质差异与任务文件价值详解
  • Writer-你的私人内容创作助手
  • TCP并发服务器构建
  • TensorFlow 深度学习 | Layer 基础知识介绍
  • 浅谈Elasticsearch数据写入流程的refresh和flush操作
  • 智能一卡通系统通过集成身份识别、权限管理、数据联动等技术,实现多场景一体化管理。以下是多奥基于最新技术趋势和应用案例的系统解析
  • screen命令
  • AI一周事件(2025年8月20日-8月26日)
  • 74hc4094芯片点亮LED闪烁问题的解决
  • JS(面试)
  • 深度学习——激活函数
  • 碳化硅衬底 TTV 厚度不均匀性测量的特殊采样策略
  • Redis哨兵机制:高可用架构的守护神!⚔️ 主从秒级切换实战指南
  • 力扣LCP 46. 志愿者调配随笔
  • 基于Spring Boot+Vue的生活用品购物平台/在线购物系统/生活用户在线销售系统/基于javaweb的在线商城系统
  • 微生产力革命:AI解决生活小任务分享会
  • AI 解决生活小事 2——用 AI 做一回新闻播客