当前位置： 首页 > news >正文

Elasticsearch Kibana (一)

news 来源：原创 2025/6/23 6:14:56

一、官方文档

elasticsearch官网：elasticsearch官网
elasticsearch源码：elasticsearch源码
ik分词器： ik分词器
ik分词器下载：ik分词器下载
elasticsearch 版本选择：elasticsearch 版本选择
官方推荐Elasticsearch和jdk对应关系：官方推荐Elasticsearch和jdk对应关系

在这里插入图片描述
系统当前版本：
在这里插入图片描述
注：如果系统配置 JAVA_HOME，那么使用系统默认的 JDK，如果没有配置使用自带的 JDK，一般建议使用系统配置的 JDK。系统目前使用的jdk版本是：11.0.16.1，elasticsearch-env文件中注明：环境中配置：ES_JAVA_HOME>JAVA_HOME>ES_HOME

二、数据初始化

因为数据量不大，所以初始化方式比较直接，若是数据量大的时候，考虑使用第三方
**Q1：**初始化索引，大数据量时：单条数据操作存储至索引，报错，错误日志如下：org.springframework.dao.DataAccessResourceFailureException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE]; nested exception is java.lang.RuntimeException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE] at org.springframework.data.elasticsearch.core.ElasticsearchExceptionTranslator.translateExceptionIfPossible(ElasticsearchExceptionTranslator.java:94)

**W1：**当Elasticsearch需要在每次保存后刷新时，持续保存操作，使其无响应。
官方解释链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/indices-refresh.html
文档提示刷新占用大量资源：在这里插入图片描述
问题代码：
每个数据组装后，保存文档，并刷新索引
效果：45w企业数据：2个多小时初始化完成
在这里插入图片描述
方案一：
批量写入，减少线程频繁切换，单次批处理数据写入后刷新一次，减少了刷新频率
目前单次批处理数据为1000条，此数量可以再优化，数据条数一般是根据文档的大小和服务器性能而定的，但是单次批处理的数据逐渐增加，当性能没有提升时，把这个数据量作为最大值。
效果：45w企业数据：40分钟初始化完成
方案二：
关闭刷新（Disable Refresh）是一种可以提高大量写入操作性能的操作。关闭刷新将临时禁止 Elasticsearch 自动刷新索引的操作，从而减少了写入操作时的磁盘IO和刷新操作带来的性能开销。当需要大量写入数据时，关闭刷新可以显著提升索引的写入性能。
GET 索引名称
在这里插入图片描述
默认刷新时间为1s
设置为不自动刷新，但是缓冲区满的时候也会触发refresh操作（例：企业数据达到42万条左右会自动触发刷新）：

PUT /索引名称/_settings
{
"refresh_interval": -1
}

刷新指定index的数据：

POST /索引名称/_refresh

效果：45w企业数据：33分钟初始化完成
在这里插入图片描述
等数据初始化完成后，最后可以通过设置刷新时间的方式重新设置一个合适的刷新时间

三、快照、还原

在Elasticsearch中，快照备份是一种将索引和集群的状态数据保存到可恢复的快照中的机制。通过创建快照，你可以在需要时恢复数据，或在不同的集群之间迁移数据。

方案一：
官网API方式：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore-apis.html

第一步：
两个单节点环境均在elasticsearch.yml中设置备份路径，路径自定义，两个环境可不同备份路径
环境A：path.repo: /backups/elasticsearch1   
环境B: path.repo: /backups/elasticsearch2 
配置后启动环境A第二步：
在环境A对应的kibana中执行：
测试：
初始化：PUT company_index
POST company_index/_doc/1
{  "name":"小米手机"
}
GET company_index/_doc/1（1）创建快照存储库
PUT /_snapshot/companyku
{"type": "fs","settings": {"location": "/backups/elasticsearch1"}
}
(2)创建快照
PUT /_snapshot/companyku/snapshot_20230717?wait_for_completion=true
{
"indices": "company_index"
}第三步：
把环境A的/backups/elasticsearch1路径下生成的文件内容。直接拷贝到环境B的/backups/elasticsearch2路径下,启动环境B的节点Es
在环境B对应的kibana中执行：
（1）创建快照存储库
PUT /_snapshot/companyku
{"type": "fs","settings": {"location": "/data/backups/elasticsearch2"}
}
（2）还原数据
POST /_snapshot/companyku/snapshot_20230717/_restore
{"indices": "company_index"
}注意：若提示索引已存在，则删除当前已有的索引：DELETE company_index

方案二、Kibana
本地启动kibana，打开网址：http://localhost:5601/app/management/data/snapshot_restore/repositories
Stack Management->Snapshot and Restore
elasticsearch.yml配置：path.repo: /backups/elasticsearch1

  • Repositories注册存储库
  • Policies设置定时任务,最高频：15分钟
  • Snapshot定时任务触发或者手动触发任务，生成快照，在/backups/elasticsearch1路径下
  • 新建一个节点，配置repo，将生成的快照复制到该路径下，启动节点，注册同名存储库，自动出现快照数据，点击恢复，选择对应的索引，即可恢复。
  • 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    定时任务配置备份频率
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

四、IK分词

目前英文是按单词分词，假设有需要新增分词词语：英文字母分词
ik分词器是把ik下载后放置在下载的es的plugins目录下，
ik增加新的分词：elasticsearch-7.17.6\plugins\ik\config
config下增加新文件：wyd_ik.dic（名称自定义）
wyd_ik.dic文件内容：

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z

一行就是一个词
在这里插入图片描述
重新启动es。

在这里插入图片描述
看到启动日志打印加载成功
查看效果：

GET _analyze
{"analyzer": "ik_max_word","text": ["WYD", "国企", "1"]
}

在这里插入图片描述

五、 删除索引的已有字段

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/docs-reindex.html

PUT m1
{"mappings" : {"properties" : {"_class" : {"type" : "keyword","index" : false,"doc_values" : false},"age" : {"type" : "integer"},"id" : {"type" : "integer"},"name" : {"type" : "text","analyzer" : "ik_max_word"}}},"settings" : {"index" : {"refresh_interval" : "1s","store" : {"type" : "fs"}}}
}POST m1/_doc
{  "id":1, "age":2,  
"name":"小花"
}POST  /m1/_update_by_query
{"script": {"lang": "painless","inline": "ctx._source.remove(\"age\")"},"query": {"match_all": {}}
}GET m1/_searchPUT m2
{"mappings" : {"properties" : {"_class" : {"type" : "keyword","index" : false,"doc_values" : false},"id" : {"type" : "integer"},"name" : {"type" : "text","analyzer" : "ik_max_word"}}},"settings" : {"index" : {"refresh_interval" : "1s","store" : {"type" : "fs"}}}
}POST _reindex
{"source": {"index": "m1"},"dest": {"index": "m2"}
}GET m2/_search

六、代码示例

写了关于elasticsearch常用的方法示例，分组查询、分页查询、高亮查询、新增、修改、删除、地理位置查询等方式
代码示例：https://gitee.com/wyd-mayun/elasticsearch.git
注：
删除大数据量的索引，需要等待一下，若删除后，立即创建同名的索引，无法创建最新的索引，很可能是之前旧的索引结构

相关文章：

  • Clickhouse官方文档学习笔记
  • git 如何忽略某个文件夹文件
  • vue3 el-table 行字体颜色 根据字段改变
  • 【云原生】Docker 部署 Elasticsearch 9 操作详解
  • ssh连接出现WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
  • C预处理详解1
  • 多设备Obsidian笔记同步：WebDAV与内网穿透技术高效实现教程
  • HUELOJ: 107 打印数字图形（函数专题）
  • Python 的内置函数 help
  • 用 Python 绘制动态方块热力图：从数据到可视化的完美蜕变
  • 时序数据库IoTDB的架构、安装启动方法与数据模式总结
  • C# Quartz.net 定时任务
  • 中国风办公简约通用总结答辩PPT模版分享
  • 成都信工大ACM同步赛（第一次用JS打）
  • PyQt5—交互状态
  • 基于python代码的通过爬虫方式实现TK下载视频（2025年6月）
  • 从C++编程入手设计模式——命令模式
  • LeapMotion-PhysicalHandsManager 类详解
  • 关于控制结构知识点的详细讲解（从属GESP一级内容）
  • 在 Windows 和 Linux 下使用 C/C++ 连接 MySQL 的详细指南
  • 网站排名优化外包公司/优化防疫政策
  • 哪个网站能看到医生做的全部手术/优化 英语
  • 设计网站推荐 猪/各大搜索引擎收录入口
  • 丹阳网站建设开发/百度关键词首页排名
  • 免费网站服务器域名/sem数据分析
  • 工商局网站怎么做增项/网络推广渠道和方法