当前位置: 首页 > news >正文

10. Hbase Compaction命令

一. 什么是Compaction

在 HBase 中,频繁进行数据插入、更新和删除操作会生成许多小的 HFile,当 HFile 数量增多时,会影响HBase的读写性能。此外,垃圾数据的存在也会增加存储需求。因此,定期进行 Compact操作,可以有效地提升HBase系统的性能,减少存储空间。

在HBase中,Compaction主要有两种类型:

  • Minor Compaction:将多个小的HFiles合并成一个较大的HFile,不会删除过期和标记为删除的数据。
  • Major Compaction:将所有 HFiles 合并,会清理掉在HBase中标记为删除的数据,一般比较费时。可能会对RegionServer的CPU和IO造成较大的压力
二. Compaction实操

HBase表中已经存在一个名为dns_message, 数据量为1亿多条。想对其进行手动 Minor Compaction,可以执行下面的命令:

hbase:010:0> compact 'dns_message'
Took 0.1019 seconds

如果你想执行Major Compaction,可以使用 major_compact 命令。

hbase:011:0> major_compact 'dns_message'
Took 0.0880 seconds

这时Major Compaction会启动后台任务,相关信息可以在Habse WebUI页面上查看
在这里插入图片描述

同时查看RegionServer所占资源的情况
在这里插入图片描述
在这里插入图片描述

通过以上可以说明Major Compaction确实是一个高负载的操作,因此在生产建议关闭自动Major Compaction,在系统负载较低的时候,选择手动进行合并。

相关文章:

  • webpack配置之---output.publicPath
  • 机器翻译同样的文本,是从英语翻译成日语更准确还是中文翻译成日语更准确
  • 语言大模型基础概念 一(先了解听说过的名词都是什么)
  • [Redis] Redis分布式锁与常见面试题
  • x64、aarch64、arm与RISC-V64:详解四种处理器架构
  • 2024年博客之星年度评选—创作影响力评审+主题文章创作评审目前排名(2024博客之星陪跑小分队助力2024博客之星创作者成长)
  • 从云原生到 AI 原生,谈谈我经历的网关发展历程和趋势
  • 微服务与网关
  • 数仓:核心概念,数仓系统(ETL,数仓分层,数仓建模),数仓建模方法(星型模型,雪花模型,星座模型)和步骤
  • mongodb
  • 【Spring】什么是Spring?
  • Hive增量迁移方案与实操PB级
  • STM32系统架构介绍
  • 使用 LangChain 对接硅基流动(SiliconFlow)API:构建一个智能对话系统
  • SpringBoot分布式应用程序和数据库在物理位置分配上、路由上和数量上的最佳实践是什么?
  • 一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答:包括671B满血版和各个蒸馏版的部署
  • Python Pandas(11):Pandas 数据可视化
  • shell脚本自动安装MySQL8
  • 使用Redis实现分布式锁,基于原本单体系统进行业务改造
  • python-leetcode 31.K个一组翻转链表
  • 在美国,为什么夏季出生的孩子更容易得流感?
  • 没有握手,采用翻译:俄乌三年来首次直接会谈成效如何?
  • 上海:到2027年,实现近海航线及重点海域5G网络高质量覆盖
  • 侵害孩子者,必严惩不贷!3名性侵害未成年人罪犯被执行死刑
  • 最高人民法院原副院长唐德华逝世,享年89岁
  • 【社论】打破“隐形高墙”,让老年人更好融入社会