当前位置: 首页 > news >正文

浅谈Elasticsearch数据写入流程的refresh和flush操作

这篇文章主要写Elasticsearch写入流程中底层的存储实现,主要涉及refresh和flush等操作。

从上图可以看到 ES中一个Index可能分为多个shard。实现上每个shard都是一个Lucence的Index,而每个Lucence Index内部是由多个Segment文件组成。

下面分别从 Lucene数据写入 和 Elasticsearch数据写入 两个视角来了解Elasticsearch写入数据底层到底都有哪些操作。

Lucene 数据写入

下面是一张Lucene写入模型图,

 

  • DocumentsWriter 处理写请求,并分配具体的线程 DocumentsWriterPerThread

  • DocumentsWriterPerThread 具有独立内存空间,对文档进行处理 DocumentsWriter 触发一些 flush 的操作。

  • DocumentsWriterPerThread 中的内存 In-memory buffer 会被 flush

http://www.dtcms.com/a/352727.html

相关文章:

  • 智能一卡通系统通过集成身份识别、权限管理、数据联动等技术,实现多场景一体化管理。以下是多奥基于最新技术趋势和应用案例的系统解析
  • screen命令
  • AI一周事件(2025年8月20日-8月26日)
  • 74hc4094芯片点亮LED闪烁问题的解决
  • JS(面试)
  • 深度学习——激活函数
  • 碳化硅衬底 TTV 厚度不均匀性测量的特殊采样策略
  • Redis哨兵机制:高可用架构的守护神!⚔️ 主从秒级切换实战指南
  • 力扣LCP 46. 志愿者调配随笔
  • 基于Spring Boot+Vue的生活用品购物平台/在线购物系统/生活用户在线销售系统/基于javaweb的在线商城系统
  • 微生产力革命:AI解决生活小任务分享会
  • AI 解决生活小事 2——用 AI 做一回新闻播客
  • 解决mac brew4.0安装速度慢的问题
  • 卫星轨道动力学基本理论
  • 精品短剧《奔腾的心》正式开机,以匠心描绘新时代西藏故事
  • 深入解析达梦数据库:模式分类、状态管理与实操指南
  • 21款m1 max升级到macOS 13——Ventura
  • ModuleNotFoundError: No module named ‘dbgpt_app‘
  • 【开源工具】基于Flask与Socket.IO的跨平台屏幕监控系统实战(附完整源码)
  • 宠物智能手机PetPhone技术解析:AI交互与健康监测的系统级创新
  • 设计模式与设计原则简介——及其设计模式学习方法
  • 【Java】异常处理:从入门到精通
  • `open()` 系统调用详解
  • Day7--HOT100--54. 螺旋矩阵,48. 旋转图像,240. 搜索二维矩阵 II
  • LeetCode 32. 最长有效括号
  • 安卓接入通义千问AI的实现记录
  • 基于Springboot学生社区管理系统源码
  • uniapp H5禁止微信浏览器长按出菜单,只针对图片
  • 迅睿CMS自定义网站表单:HTML方式调用Select下拉选项数据指南
  • HTML(面试)