当前位置: 首页 > news >正文

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用

负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡,并不参与数据读写,相比与其他大数据组件,如hdfs的namenode,在hbase中,Hmaster的作用是比较弱化的,即使挂掉,也暂时不影响现有表的读写。

RegionServer的作用

一个机器上一个regionserver进程,主要负责管理多个region,接受客户端读写请求并交给region进行处理,此外,还负责向Hmaster定时心跳汇报自己节点上面所有region的状态,接受Hmaster的关于region的分配任务。

Region

region的切分原则

一个hbase的表,非常大,需要切分为几块,一块就是一个region,切分的原则就是按rowkey,比如rowkey为1-10000的在region1上,10001-20000的在region2上。

一个Region就相当于关系型数据库中分区表的一个分区,类比与hive的表,一个region可以理解为hive按照年进行分区的一段分区,相当于横着切。

region的迁移

假如一个表有5w行,可以切分为5个region。

这些region存放在regionserver上,一个regionserver可以存放一个或多个region,但是如果当前hbase集群只有5个region,却有5个regionserver,假如都放在一个regionserver上,会有不均衡的问题,所以最好的方式是从当前的regionserver上进行迁移,迁移主要由hmaster负责,5个regionserver上各有一个region。

region、列族、store、memstore、hfile的关系

region可以有一个或多个列族,它的结构如下,包含多个store,每个store对应一个列族,每个store都有一个memstore(内存)和多个hfile(hdfs

相关文章:

  • 第五天 车载系统安全(入侵检测、OTA安全) 数据加密(TLS/SSL、国密算法)
  • Taccel:一个高性能的GPU加速视触觉机器人模拟平台
  • 用纯HTML和CSS仿写知乎登录页面
  • 图像卷积初识
  • 操作系统实验习题解析 上篇
  • 中国古代史1
  • 关于ffmpeg的简介和使用总结
  • django的权限角色管理(RBAC)
  • 单片机-STM32部分:10-1、485
  • TIME - MoE 模型代码 3.4——Time-MoE-main/time_moe/models/modeling_time_moe.py
  • 【并发编程】基于 Redis 手写分布式锁
  • 鸿蒙系统使用ArkTS开发语言支持身份证阅读器、社保卡读卡器等调用二次开发SDK
  • VBA将PDF文档内容逐行写入Excel
  • OpenLayers根据任意数量控制点绘制贝塞尔曲线
  • Lua—元表(Metatable)
  • c++——二叉树进阶
  • vue 中的ref
  • 多线程 2 - 死锁问题
  • c#建筑行业财务流水账系统软件可上传记账凭证财务管理系统签核功能
  • MindSpore框架学习项目-ResNet药物分类-模型优化
  • 梅花奖在上海|朱洁静:穿越了人生暴风雨,舞台是最好良药
  • 春秋航空:如果供应链持续改善、油价回落到合理水平,公司补充运力的需求将会增长
  • 习近平会见缅甸领导人敏昂莱
  • 19个剧团15台演出,上海民营院团尝试文旅融合新探索
  • 七大交响乐团“神仙斗法”,时代交响在上海奏出时代新声
  • 东莞“超级”音乐节五一出圈背后:文旅热力何以澎湃经济脉动