ELK大总结20250922
1 ELK 概述
基于Metrics（指标）监控、基于 Tracing（调用链）监控、基于 Logging（日志） 的监控。
ELK 是一套用于日志收集、存储、分析和可视化的开源技术栈，由 Elasticsearch、Logstash、Kibana 三个核心组件的首字母组成，目前官方已将其更名为Elastic Stack，但 “ELK” 的称呼仍被广泛使用。
🔧 ELK 三大核心组件的作用
三个组件分工明确、协同工作，形成完整的日志处理流程：
- Logstash：日志收集与预处理作为 “日志搬运工”，负责从多源（如服务器、应用、数据库）采集日志，进行过滤、清洗、格式转换（如 JSON 化）等预处理，再将标准化后的日志发送到 Elasticsearch 存储。
- Elasticsearch：日志存储与检索基于 Lucene 的分布式搜索引擎，负责存储所有预处理后的日志数据，支持毫秒级的全文检索和复杂查询，能快速定位特定日志（如报错日志、特定用户行为日志）。
- Kibana：日志可视化与分析作为 “可视化面板”，提供图形化界面（如折线图、柱状图、仪表盘），将 Elasticsearch 中的日志数据转化为直观报表，支持实时监控、异常告警、自定义分析视图（如服务器 CPU 使用率趋势、应用报错频次统计）。
📌 ELK 的典型应用场景
ELK 本质是解决 “日志分散难管理、出问题难排查” 的痛点，常见场景包括：
- 服务器 / 应用监控：集中查看多台服务器的系统日志、应用运行日志，快速定位故障（如 Java 应用的 NullPointerException）。
- 业务数据分析：分析用户行为日志（如点击、下单、访问路径），统计转化率、热门功能等业务指标。
- 安全审计：收集防火墙、数据库的操作日志，监控异常行为（如多次失败的登录尝试、未授权的数据访问）。
✨ 扩展：ELK 的常见补充组件
为适配更复杂的场景，ELK 常搭配其他工具使用：
- Filebeat：轻量级日志采集器，替代 Logstash 部署在资源有限的服务器上（如边缘节点），占用内存低，更适合大规模集群的日志采集。
- Beats 家族：除 Filebeat 外，还有 Metricbeat（采集系统 / 应用指标）、Packetbeat（采集网络数据包）等，丰富数据采集类型。
- Elastic APM：应用性能监控工具，与 ELK 联动，分析应用的响应时间、接口调用耗时等性能数据。
官网： https://www.elastic.co/
ELK 官方介绍：https://www.elastic.co/cn/what-is/elk-stack
ELK 下载链接：https://www.elastic.co/cn/downloads/
ELK 说明: https://www.elastic.co/guide/cn/index.html
ELK 权威指南: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
1.Elasticsearch
https://www.elastic.co/cn/what-is/elasticsearch 官网介绍
| Elasticsearch 概念 | 传统数据库对应概念 | 作用说明 |
|---|---|---|
| Index（索引） | Database（数据库） | 存储一类相似数据的集合（如 “服务器日志索引”“电商商品索引”），每个索引有独立的配置和分片策略。 |
| Type（类型） | Table（表） | 早期用于区分索引内的不同数据类型（如 “商品索引” 内的 “电子产品”“服装”），ES 7.0 后已被移除，推荐一个索引对应一种数据类型。 |
| Document（文档） | Row（行） | 索引内的最小数据单元，以 JSON 格式存储（如一条服务器日志、一个商品信息），每个文档有唯一的_id标识。 |
| Field（字段） | Column（列） | 文档内的具体属性（如 “日志时间”“商品价格”），ES 会自动识别字段类型（如文本型、数值型、日期型），也可手动定义。 |
| Shard（分片） | - | 索引的 “分块”，将大索引拆分为多个小分片分布在不同节点，实现并行存储和查询，提升性能。 |
| Replica（副本） | - | 分片的 “备份”，用于故障恢复和负载分担（查询请求可分发到副本节点），副本数量可手动配置。 |
1.部署和管理
Elasticsearch 基于 Java 语言实现
[root@ubuntu2404 ~]#sysctl -a |grep vm.max_map_count #默认值满足要求1048576
[root@es-node1 ~]#echo "vm.max_map_count = 262144" >> /etc/sysctl.con #修改配置并确认
[root@es-node1 ~]#sysctl -p
[root@ubuntu2404 ~]#sysctl fs.file-max #设置系统最大打开的文件描述符数，已满足要求
[root@es-node1 ~]#echo "fs.file-max = 1000000" >> /etc/sysctl.conf
[root@es-node1 ~]#echo "fs.file-max = 1000000" >> /etc/sysctl.conf
范例: Ubuntu 基于包安装后会自动修改文件
[root@node1 ~]#cat /usr/lib/sysctl.d/elasticsearch.conf
[root@node1 ~]#cat /usr/lib/sysctl.d/elasticsearch.conf
vm.max_map_count=262144
修改资源限制配置(可选)
[root@es-node1 ~]#vi /etc/security/limits.conf
2.安装Elasticsearch
下载链接
https://www.elastic.co/cn/downloads/elasticsearch
https://www.elastic.co/cn/downloads/elasticsearch
https://mirrors.tuna.tsinghua.edu.cn/elasticstack/
[root@ubuntu2404 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-9.0.4-amd64.deb #安装部署elasticsearch
[root@ubuntu2404 ~]# dpkg -i elasticsearch-9.0.4-amd64.deb
[root@ubuntu2404 ~]# systemctl enable --now elasticsearch.service
........
........
=SjscHwRO2XAJ4OTNB47 #密码
........
........
#默认9.X开启xpack安全，导致无法直接访问
[root@ubuntu2204 ~]#curl http://127.0.0.1:9200/
curl: (52) Empty reply from server
#关闭XPACK功能
[root@ubuntu2404 ~]#vim /etc/elasticsearch/elasticsearch.yml
.....
xpack.security.enabled: false #修改为false
[root@ubuntu2404 ~]#systemctl restart elasticsearch.service
[root@ubuntu2404 ~]#curl http://127.0.0.1:9200 #能正常访问
3.编辑配置文件
注意编辑的时候要备份原来的配置文件，以免修改不顺利！！！
[root@es-node1 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
#ELK集群名称，单节点无需配置，同一个集群内每个节点的此项必须相同,新加集群的节点
此项和其它节点相同即可加入集群,而无需再验证
cluster.name: ELK-Cluster #当前节点在集群内的节点名称，同一集群中每个节点要确保此名称唯一
node.name: es-node1 #ES 数据保存目录，包安装默认路径：/var/lib/elasticsearch/，生产建议修改
path.data: /data/es-data #ES 日志保存目录，包安装默认路径：/var/log/elasticsearch/，生产建议修改
path.logs: /data/es-logs#服务启动的时候立即分配(锁定)足够的内存，防止数据写入swap,提高启动速度,但是true可以
会导致启动失败，需要优化
bootstrap.memory_lock: true#指定该节点用于集群的监听IP，默认监听在127.0.0.1:9300，集群模式必须修改此行，单机默认即可
network.host: 0.0.0.0 #指定HTTP的9200/TCP的监听地址，默认127.0.0.1
http.host: 0.0.0.0#监听端口
http.port: 9200#发现集群的node节点列表，可以添加部分或全部节点IP
#在新增节点到已有集群时,此处需指定至少一个已经在集群中的节点地址，给予可用性，一般添加
所有节点地址
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]#集群初始化时指定希望哪些节点可以被选举为 master,只在初始化时使用,新加节点到已有集群时此项可不配置
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]#一个集群中的 N 个节点启动后,才允许进行数据恢复处理，默认是1,一般设为所有节点的一半以上,防止出
现脑裂现象，当集群无法启动时,可以将之修改为1,或者将下面行注释掉,实现快速恢复启动
gateway.recover_after_nodes: 2#设置是否可以通过正则表达式或者_all匹配索引库进行删除或者关闭索引库，默认true表示必须需要明确指
定索引库名称，不能使用正则表达式和_all，生产环境建议设置为 true，防止误删索引库。
action.destructive_requires_name: true简言之上图总结如下显示
#必须分配权限，否则服务无法启动
[root@es-node1 ~]# chown -R elasticsearch.elasticsearch /data/
4.验证端口监听成功
#9200端口集群访问端口,9300集群同步端口
[root@es-node1 ~]#ss -ntlp|grep java
LISTEN 0 128 *:9200 *:*
users:(("java",pid=2372,fd=225))
LISTEN 0 128 *:9300 *:*
users:(("java",pid=2372,fd=211))
2.Logstash
https://www.elastic.co/cn/what-is/elasticsearch 官网介绍
| 阶段（Stage） | 核心作用 | 常见插件示例 |
|---|---|---|
| Input（输入） | 从各种数据源采集数据 | - file：读取服务器本地日志文件（如 Nginx、Linux 系统日志）- beats：接收 Filebeat 等轻量采集器的数据（分布式场景常用）- kafka：从 Kafka 消息队列拉取数据- tcp/udp：接收网络端口传输的日志 |
| Filter（过滤） | 对数据进行清洗、转换、提取 | - grok：解析非结构化日志（如把 “时间 + IP + 请求” 的字符串拆成字段）- mutate：修改字段（添加、删除、重命名、类型转换）- date：统一时间字段格式（适配 Elasticsearch 时间索引）- drop：过滤掉无用数据（如排除测试环境日志） |
| Output（输出） | 将处理后的数据发送到目标系统 | - elasticsearch：输出到 Elasticsearch（ELK 标准流程）- file：输出到本地文件- kafka：写入 Kafka 供其他系统消费- stdout：打印到控制台（调试时常用） |
1.部署和管理
3.Kibana
https://www.elastic.co/cn/what-is/kibana 官方介绍
Kibana 是一款适用于 Elasticsearch 的基于Javascript语言实现的数据可视化和管理工具，可以提供实时的直方图、线形图、饼状图和地图。Kibana 同时还包括诸如 Canvas 和 Elastic Maps 等高级应用程序；Canvas 允许用户基于自身数据创建定制的动态信息图表，而 Elastic Maps 则可用来对地理空间数据进行可视化。