当前位置: 首页 > news >正文

5 索引的操作

1. 滚动索引

接上回索引别名

当一个索引数据量太大时,如果继续写入数据可能会导致分片容量过大,查询时会因内存不足引起集群崩溃。
为了避免所有的数据都写入同一个索引,可以考虑使用滚动索引。

滚动索引需要配合索引别名一起使用,可实现把原先写入一个索引的数据自动分发到多个索引中。
例如: 先创建一个索引log1,并给定别名logs-all。

PUT /logs1
{"aliases": {"logs-all": {}}
}
{"acknowledged" : true,"shards_acknowledged" : true,"index" : "logs1"
}

然后使用别名往logs1中写入数据。

PUT logs-all/_doc/1?refresh
{"visittime":"10:00:00","keywords":"[世界杯]","rank":18,"clicknum":13,"id":10001,"userid":"2982199073774412","key":"10001"
}
{"_index" : "logs1","_type" : "_doc","_id" : "1","_version" : 1,"result" : "created","forced_refresh" : true,"_shards" : {"total" : 2,"successful" : 1,"failed" : 0},"_seq_no" : 0,"_primary_term" : 1
}
PUT logs-all/_doc/2?refresh
{"visittime":"11:00:00","keywords":"[杯]","rank":20,"clicknum":12,"id":1121,"userid":"2982199073774412","key":"2"
}
{"_index" : "logs1","_type" : "_doc","_id" : "2","_version" : 1,"result" : "created","forced_refresh" : true,"_shards" : {"total" : 2,"successful" : 1,"failed" : 0},"_seq_no" : 1,"_primary_term" : 1
}

现在来为别名logs-all指定一个滚动索引,如果条件成立,就把新数据写入logg2.

POST logs-all/_rollover/log2
{"conditions": {"max_age": "7d","max_docs": 1,"max_size": "5gb"}
}
{"acknowledged" : true,"shards_acknowledged" : true,"old_index" : "logs1","new_index" : "log2","rolled_over" : true,"dry_run" : false,"conditions" : {"[max_docs: 1]" : true,"[max_size: 5gb]" : false,"[max_age: 7d]" : false}
}

解释:上面的滚动索引配置的条件是,如果往别名logs-all中写入的索引数据量大于等于1,或者主分片总大小超过5GB,或者创建索引的时间长度超过7天,就把新的数据写入新索引log2。该请求会返回滚动索引的执行结果。

从请求返回的结果可以看出,此时max_docs条件已经成立,一个新的索引log2已经创建出来了,此时别名logs-all已经指向了log2,log1的别名已经被删除。因此,如果继续往别名logs-all中写数据,数据会被写入log2。

以此类推,如果log2的数据太多,可以继续使用滚动索引把新数据写入索引log3。可以指定一个有规律的名称,例如log-000001,那么每次使用滚动索引时,新的索引会自动生成名称,在前一个的尾数上直接++。

2 索引的状态管理

elasticsearch为开发人员提供了一组API用于对索引的状态进行管理,包括:清空缓存,刷新索引,冲洗索引,强制合并,关闭索引,冻结索引。

2.1 清空缓存

elasticsearch之所以能够成为高性能的搜索引擎是因为它拥有强大的缓存机制,可将很多数据直接放在内存中,可以大大提升查询速度。

分为3种缓存类型:

1.节点的查询缓存
2.分片的请求缓存和字段数据加缓存
3.fieldata是一种缓存于内存种的数据结构,它是一个文档主键指向每个字段数据的映射。类似于关系型数据库的表结构。每个字段的数据缓存在fielddata中用于高性能的排序和聚集统计。

清空字段数据缓存

POST /logs/_cache/clear?fielddata=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

清空节点的查询缓存

POST /logs/_cache/clear?query=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

清空分片的请求缓存

POST /logs/_cache/clear?request=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

如果想清空索引的全部缓存可以直接把参数去掉

POST /logs/_cache/clear
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

如果要清空所有的索引缓存【慎用】

POST /_cache/clear
2.2 刷新索引

当外部数据写入索引时,数据并不会直接提交到磁盘上,因为提交数据的过程成本太大,会按照一定的流程将数据周期性地提交到磁盘上进行持久化。
在这里插入图片描述

http://www.dtcms.com/a/335248.html

相关文章:

  • K8s核心组件全解析
  • 如何使用嵌入模型创建本地知识库Demo
  • 三、memblock 内存分配器
  • 深入理解文件硬链接、软链接与引用计数的那些事
  • 机器学习相关算法:回溯算法 贪心算法 回归算法(线性回归) 算法超参数 多项式时间 朴素贝叶斯分类算法
  • 超详细yolo8/11-pose人体姿态全流程概述:配置环境、数据标注、训练、验证/预测、onnx部署(c++/python)详解
  • 8.16、8.17 JavaWeb(MyBatis P116-P134)
  • 【网络与爬虫 00】试读
  • lcx、netcat、powercat--安装、使用
  • 【RH134知识点问答题】第 10 章:控制启动过程
  • 深入浅出OpenGL的glDrawArray函数
  • 设计索引的原则有哪些?
  • 数据结构初阶(16)排序算法——归并排序
  • w嵌入式分享合集66
  • 开发一款多商户电商APP要多久?功能拆解与源码技术落地方案
  • vulhub-driftingblues9缓冲区溢出攻击提权
  • 写一个linux脚本,要求实现查找9010端口,如果端口存在则kill,否则不处理,返回对应的提示
  • LE AUDIO----COMMAND AND EVENT
  • ArrayList的扩容源码分析
  • colmap
  • ABB焊接机器人弧焊省气
  • windows扩展(外接)显示器位置调节
  • 狗品种识别数据集:1k+图像,6个类别,yolo标注完整
  • 利用Qwen大模型进行c++11并发库的学习,与时俱进!!!!
  • File 类的用法和 InputStream, OutputStream 的用法
  • C#高级用法:元组
  • pidgen!DecodeProdKey函数分析之iDecodedBytesMax
  • docker安装mongodb及java连接实战
  • 视频理解综述
  • 【异步】js中异步的实现方式 async await /Promise / Generator