当前位置： 首页 > news >正文

ELK企业级日志分析系统

news 2025/9/23 9:25:19

ELK 企业级日志分析系统

目录

  1. ELK日志分析系统简介
  2. Elasticsearch介绍
  3. Logstash介绍
  4. Kibana介绍
  5. 部署ELK日志分析系统

1. ELK概述

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kibana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

ELK 是 Elasticsearch、Logstash、Kibana 的缩写，这三个工具组合在一起，用于数据收集、存储、搜索和可视化分析。它们的角色如下：

  • Elasticsearch: 核心搜索和分析引擎，负责存储数据并提供快速的全文搜索和分析功能。
  • Logstash: 数据收集和处理管道，能够从各种来源（如日志文件、数据库）收集数据，并进行过滤和转换，然后将其发送到Elasticsearch。
  • Kibana: 数据可视化工具，提供图形界面来展示和分析存储在Elasticsearch中的数据，支持创建各种图表和仪表板。

简单理解

ELK Stack 是一个一体化的工具包，帮助用户从多个数据源中收集数据、存储并进行快速搜索、分析和可视化，适合于日志分析、监控、数据可视化等场景。

2. Elasticsearch介绍

参考链接：https://blog.csdn.net/qq_17153885/article/details/135323449

ElasticSearch 是基于 Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。

2.1 核心功能

  • 全文搜索：Elasticsearch最广为人知的功能是全文搜索。它能够对文本数据进行快速的全文索引和搜索，是实现复杂搜索功能的理想工具。
  • 实时数据分析：支持实时的数据更新和查询，适合用于日志分析、监控数据的实时处理等场景。
  • 分布式架构：Elasticsearch基于分布式架构设计，支持跨集群的数据存储和检索，使其在扩展性和性能上具有很大优势。
  • RESTful API：Elasticsearch使用简单的HTTP接口（RESTful API），支持通过各种语言和平台进行集成。

2.2 架构与组件

  • 集群（Cluster）：一个或多个Elasticsearch节点（实例）组成一个集群，集群中的所有节点协同工作，共享数据和负载。
  • 节点（Node）：运行Elasticsearch的单个实例，节点可以有不同的角色（如主节点、数据节点等），负责存储数据和处理查询。
  • 索引（Index）：一个索引类似于传统数据库中的一个表，包含了一个数据集。每个索引都有唯一的名称，用于引用其中的文档。
  • 文档（Document）：Elasticsearch中的最小数据单元，每个文档是一个JSON格式的对象，存储在索引中。
  • 分片（Shard）：每个索引可以被分割为多个分片（shards），每个分片是一个Lucene索引。分片提供了数据的分布和并行处理能力，确保系统的高可用性和可扩展性。
  • 副本（Replica）：每个分片都可以有一个或多个副本，用于数据冗余和提高系统的容错能力。

2.3 使用场景

  • 日志和事件数据分析：适合处理大规模的日志、事件流数据、提供实时的查询和分析能力。常与Logstash和Kibana（组成ELK Stack）一起使用。
  • 全文搜索应用：如电子商务网站中的产品搜索、社交媒体平台的用户内容搜索。
  • 监控和报警系统：通过与Kibana等工具结合，提供数据的可视化和实时监控功能。
  • 商业智能（BI）：支持复杂数据查询和分析，帮助企业从数据中获取洞察。

2.4 Elasticsearch特点与缺点

优点：

  • 高性能：得益于Lucene的底层支持，Elasticsearch在处理全文搜索和分析操作时性能非常优越。
  • 易扩展：其分布式架构设计使得集群可以随着数据量的增长而轻松扩展。
  • 灵活性强：支持多种数据类型和复杂查询语法，可以适应各种不同的应用需求。
  • 开放源代码：免费且活跃的社区支持，用户可以自由定制和扩展。

缺点：

  • 资源消耗：作为一个内存密集型应用，Elasticsearch对硬件资源的要求较高，尤其在处理大量数据时。
  • 学习曲线：虽然Elasticsearch易于集成，但对于新手来说，理解其复杂的查询DSL（Domain Specific Language）和架构可能需要一些时间。
  • 管理复杂性：在大型分布式集群环境中，管理和调优Elasticsearch需要相当的专业知识。

附：Node.js 安装包下载链接：https://nodejs.org/en/download

3. Logstash介绍

Logstash 作为数据收集引擎，它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后将处理后的数据发送到存储或分析系统（例如Elasticsearch）。
Logstash 由 Ruby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。

3.1 主要特点

1. 数据收集：
  • Logstash能够从多种数据源（如日志文件、数据库、消息队列等）收集数据。
  • 它支持各种输入插件，这些插件帮助你从不同的系统或服务中提取数据。
2. 数据处理：
  • Logstash使用过滤器插件来处理数据，可以对数据进行清洗、格式转换、字段解析等操作。
  • 支持丰富的数据处理操作，比如正则表达式解析、日期转换、字段拆分和合并等。
3. 数据输出：
  • 处理后的数据可以被发送到多种输出目标，如Elasticsearch、关系型数据库、消息队列、文件系统等。
  • 输出插件的灵活性使得Logstash能够与各种系统集成。
4. 可扩展性：
  • Logstash的架构允许通过插件轻松扩展和自定义，插件包括输入插件、过滤器插件、输出插件和编码插件等。
5. 实时处理：
  • Logstash支持实时数据处理，适用于需要快速数据的场景，比如实时日志监控、数据流分析等。

3.2 使用场景

  • 日志收集和分析：从各种日志文件中提取数据（如系统日志、应用日志），然后将数据发送到Elasticsearch进行集中化分析和监控。
  • 数据转换：在数据进入目标存储之前，对其进行清理、格式化和标准化处理。
  • 数据流量整合：从多种来源获取数据，将其汇聚到一个统一的平台进行进一步的分析和决策支持。

相对 input（数据采集） filter（数据过滤） output（数据输出）

3.3 其他数据收集组件

① Filebeat

轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式。Filebeat 就能快速收集数据，并发送给 logstash 进或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 Logstash 优势明显，是对它的替代。常应用于 EFLK 架构当中。

filebeat 结合 logstash 带来好处：

  1. 通过 Logstash 具有基于磁盘的自适应缓存系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力。
  2. 从其他数据源（例如数据库、S3对象存储或消息传递队列）中提取。
  3. 将数据发送到多个目的地，例如S3、HDFS（Hadoop分布式文件系统）或写入文件。
  4. 使用条件数据流逻辑组成更复杂的处理管道。
缓存/消息队列（redis、kafka、RabbitMQ等）

可以对高并发日志数据进行流量削峰和缓冲，这样的缓冲可以一定程度的保护数据不丢失，还可以对整个架构进行应用解耦。

② Fluentd

是一个流行的开源数据收集器。由于 logstash 大量量级的缺点，Logstash 性能低、资源消耗比较多等问题，随后就有 Fluentd 的出现。相比较 logstash，Fluentd 更易用、资源消耗更少、性能更高，在数据处理上更高效可靠，受到企业欢迎，成为 logstash 的一种替代方案，常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。

在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。它通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

4. Kibana 介绍

Kibana 通常与 Elasticsearch 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据，可以用来汇总、分析和搜索重要数据。它为用户提供了交互式仪表盘、图表和报告功能，用于更好地理解数据。

4.1 Kibana 的主要功能

  1. 数据可视化（Visualizations）：

    • Kibana 提供丰富的可视化工具，可以通过折线图、饼图、柱状图、地图等方式展示数据。
    • 用户可以根据需求自定义图表样式，以便更好地分析和解读数据。
    • 支持创建动态可视化，根据过滤器和时间范围即时更新显示内容。

  2. 仪表板（Dashboards）：

    • Kibana 的仪表板是一种用来展示多个可视化图表的集合，可以通过仪表板同时监控多个数据来源或系统状态。
    • 仪表板支持交互式过滤器，用户可以在不同时间范围、不同条件下实时查看数据。

  3. 日志管理和搜索（Log Management & Discovery）：

    • Kibana 的 “Discovery” 功能提供了对 Elasticsearch 中存储的原始数据的实时搜索与过滤功能。
    • 用户可以根据条件快速查询和检索日志、数据记录等内容，并使用强大的过滤器和查询语言（KQL 或 Lucene）来精准获取所需信息。

  4. 时间序列分析（Time Series Analytics）：

    • 使用 Kibana 的 “TSVB”（Time Series Visual Builder），用户可以进行复杂的时间序列分析。
    • 它支持创建基于时间的数据表，常用于监控系统性能、用户活动趋势等。

  5. 报警与监控（Alerts & Monitoring）：

    • Kibana 可以通过与 Elasticsearch 和 Logstash 的集成提供数据监控、报警通知功能。
    • 用户可以设置阈值，当数据达到某个条件时，Kibana 可以自动触发报警并发送通知。

  6. 安全和访问控制（Security & Access Control）：

    • Kibana 提供基于角色的访问控制，管理员可以根据用户角色来设置权限，例如是否允许访问某些数据或仪表板。
    • Kibana 支持与外部认证系统（如 LDAP、OAuth）集成。

  7. 机器学习（Machine Learning）：

    • Kibana 提供了与 Elastic Stack 的机器学习功能集成，用户可以对数据进行异常检测、趋势预测和自动模式识别。
    • 可以通过无监督的机器学习算法自动检测数据中的异常行为。

  8. 地图和地理可视化（Maps & Geospatial Visualization）：

    • Kibana 提供了强大的地理数据可视化功能，通过 Elastic Maps 可以显示地理数据、绘制地图并叠加数据层。
    • 支持动态过滤和聚合地理数据，适用于位置数据分析、物流、地理信息系统等领域。

  9. Canvas 和报告（Canvas & Reporting）：

    • Canvas: Kibana 的 Canvas 功能允许用户创建高度自定义的、视觉吸引力强的报告和展示。
    • Reporting: Kibana 支持自动生成报告，可以通过预定义模板或自定义的方式导出 PDF、CSV 报告。

  10. 监控（Monitoring）：

    • Kibana 提供 Elastic Stack 组件的监控功能，帮助用户监控 Elasticsearch 集群、Logstash 管道等系统的健康状况、性能和资源使用情况。

4.2 Kibana 的使用场景

  1. 日志管理与分析：

    • 通过 Kibana 可以对大量的日志数据进行集中管理与分析，帮助开发者、运维工程师及时发现系统故障、监控应用程序状态。

  2. 实时监控：

    • 运用 Kibana 的仪表板和报警功能，用户可以对系统的性能和服务进行实时监控，并在异常时及时采取行动。

  3. 业务数据分析：

    • Kibana 可以用于对商业数据（如销售数据、用户行为数据）进行深度分析，帮助企业决策。

  4. 安全分析与威胁检测：

    • 通过集成 Elastic Security，Kibana 可以用来检测网络中的安全威胁，分析安全日志，进行入侵检测。

  5. 机器学习与数据预测：

    • Kibana 提供的机器学习功能可用于自动化的数据预测、趋势识别和异常检测，适用于金融预测、系统监控等场景。

4.3 Kibana 的工作原理

  1. 数据存储在 Elasticsearch 中：

    • Kibana 本身不存储数据，而是通过 Elasticsearch 查询和检索存储的数据。Elasticsearch 是 Kibana 的数据源，数据可以从不同来源（如 Logstash、Beats、API 等）存储到 Elasticsearch 中。

  2. 查询和分析：

    • 用户在 Kibana 中执行查询时，Kibana 会向 Elasticsearch 发送查询请求。查询可以使用 Kibana Query Language (KQL) 或 Lucene 查询语法。

  3. 数据可视化和展示：

    • 查询结果返回后，Kibana 会通过各种可视化工具（如图表、地图、仪表盘等）展示数据，帮助用户快速理解和分析数据。

5. 为什么要使用 ELK

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

往往单台机器的日志我们使用 grep、awk 等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查询日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

6. 完整日志系统基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持 UI 分析
  • 警告：能够提供错误报告，监控机制

7. ELK 的工作原理

  1. 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
  2. Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
  3. Elasticsearch 对格式化后的数据进行索引和存储。
  4. Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

8. 部署环境ELK

配置与名称IP服务
Node1节点（2C/4G）node1/192.168.10.13Elasticsearch（集群） Kibana
Node2节点（2C/4G）node2/192.168.10.14Elasticsearch（集群）
Apache节点apache/192.168.10.15Logstash Apache

官方网站（中文）：https://www.elastic.co/cn/downloads/

8.1 环境准备

  1. 关闭防火墙与增强功能

    systemctl stop firewalld  #关闭防火墙
setenforce 0  #关闭增强功能

  2. 更改主机名、配置域名解析、查看Java环境

    Node1节点：hostnamectl set-hostname node1
Node2节点：hostnamectl set-hostname node2

  3. 主机名与IP解析

    vim /etc/hosts
192.168.10.13 node1
192.168.10.14 node2

  4. Java安装

    java -version
# 如果没有安装，yum -y install java

8.2 Elasticsearch 集群部署

（在Node1、Node2节点上操作）
1. 部署 Elasticsearch 软件

（1）安装elasticsearch-rpm包

cd /opt
rpm -ivh elasticsearch-6.6.1.rpm

（2）加载系统服务

systemctl daemon-reload
systemctl enable elasticsearch.service

（3）修改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-elk-cluster
node.name: node1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

（4）创建数据库路径并授权

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

（5）启动elasticsearch并检查

systemctl start elasticsearch.service
netstat -antp | grep 9200

（6）查看节点信息
浏览器访问：

  • http://192.168.10.13:9200
  • http://192.168.10.14:9200
2. 安装 Elasticsearch-head 插件

（1）编译安装 node

cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install

（2）安装 phantomjs

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

（3）安装 Elasticsearch-head

cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

（4）修改 Elasticsearch 配置，开启跨域

http.cors.enabled: true
http.cors.allow-origin: "*"

重启服务：

systemctl restart elasticsearch

（5）启动 elasticsearch-head

cd /usr/local/src/elasticsearch-head/
npm run start &

（6）访问 http://192.168.10.13:9100 查看集群状态

（7）插入测试索引

curl -X PUT 'http://localhost:9200/index-demo/test/1?pretty' -H 'Content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

8.3 Logstash 部署

（在 Apache 节点上操作）

  1. 更改主机名

    hostnamectl set-hostname apache

  2. 安装Apache服务

    yum -y install httpd
systemctl start httpd

  3. 安装Java环境

    yum -y install java
java -version

  4. 安装Logstash

    cd /opt
rpm -ivh logstash-6.6.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

  5. 测试 Logstash

    logstash -e 'input { stdin{} } output { stdout{} }'
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.10.13:9200"] } }'

  6. 定义 Logstash 配置文件

    chmod +r /var/log/messages
vim /etc/logstash/conf.d/system.conf

    input {file {path => "/var/log/messages"type => "system"start_position => "beginning"}
}
output {elasticsearch {hosts => ["192.168.10.13:9200"]index => "system-%{+YYYY.MM.dd}"}
}

    systemctl restart logstash

8.4 Kibana 部署

（在 Node1 节点上操作）

  1. 安装 Kibana

    cd /opt
rpm -ivh kibana-6.6.1-x86_64.rpm

  2. 修改配置文件

    vim /etc/kibana/kibana.yml

    server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.10.13:9200"]
kibana.index: ".kibana"

  3. 启动 Kibana

    systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

  4. 访问 http://192.168.10.13:5601，创建索引模式 system-*，并查看日志。

  5. 配置 Apache 日志收集

    vim /etc/logstash/conf.d/apache_log.conf

    input {file {path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file {path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}

    /usr/share/logstash/bin/logstash -f apache_log.conf

9. Filebeat+ELK部署

配置与名称IP服务
Node1节点（2C/4G）node1/192.168.10.13Elasticsearch（集群） Kibana
Node2节点（2C/4G）node2/192.168.10.14Elasticsearch（集群）
Apache节点apache/192.168.10.15Logstash Apache
Filebeat节点filebeat/192.168.10.16Filebeat

官方网站：https://www.elastic.co/cn/downloads/beats/filebeat

9.1 环境部署

（在 Filebeat 节点上操作）

  1. 安装 Filebeat

    • 方式一：解压安装
      tar zxvf filebeat-6.2.4-linux-x86_64.tar.gz
mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat
    • 方式二：rpm安装
      rpm -ivh filebeat-6.6.1-x86_64.rpm

  2. 配置 Filebeat

    filebeat.prospectors:- type: logenabled: truepaths:- /var/log/messages- /var/log/*.logfields:service_name: filebeatlog_type: logservice_id: 192.168.10.16output.logstash:hosts: ["192.168.10.15:5044"]

  3. 在 Logstash 节点配置输入

    input {beats {port => "5044"}
}
output {elasticsearch {hosts => ["192.168.10.13:9200"]index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"}stdout {codec => rubydebug}
}

  4. 启动服务后，在 Kibana 中创建索引模式 filebeat-*，查看日志。

以上就是《ELK企业级日志分析系统-教案》的完整内容整理。
希望对大家理解和部署ELK系统有所帮助！

附录：

  • Elastic Stack 官方下载地址：https://www.elastic.co/cn/downloads/
  • 示例中使用的版本为 6.6.1，请根据实际需求选择合适版本。

版权声明：本内容来源于教学材料，仅供学习交流使用。

http://www.dtcms.com/a/395354.html

相关文章：

  • EasyDSS一站式点播方案如何提升企业视频门户的用户体验？
  • MARSIM仿真平台部署安装及FUEL部署-Ubuntu20.04
  • 16-留言板案例
  • ubuntu22.04配置ip
  • VMware ubuntu开机后黑屏
  • ubuntu运行项目：音乐解锁-unlock-music-master，安装依赖报错问题
  • vim操作
  • 【AI编程】四大规范驱动开发Spec工具助力AI编程从“即兴创作“向“工程化“转变
  • IDEA中print(“)输出中文乱码
  • 一站式报修软件：破解高校、物业等机构报修难题的高效方案
  • mobaxterm解决无法在vim中复制
  • 深度解析 CUDA-QX 0.4 加速 QEC 与求解器库
  • 深度解析通义DeepResearch：阿里开源的300亿参数深度研究智能体
  • 关于OpenCV无法进行h264视频转码的问题
  • KingbaseES 四维操控：索引、视图、用户与事务的实战密码
  • 大模型强化学习-PPO应用
  • 惠普打印机连接电脑完整指南：方法与故障排除
  • 轻松加载外部Jar，实现SpringBoot功能灵活扩展
  • MCGS COM口MODBUS转发
  • Elasticsearch面试精讲 Day 22：机器学习与异常检测
  • 仓颉语言中的 `Some` 类型解析
  • spring-boot--redis调整token过期时间
  • 树形表格示例
  • 【完整源码+数据集+部署教程】六角螺母分割系统： yolov8-seg-EfficientHead
  • 零基础搭建赛博朋克个人主页：蓝耘Claude Code完整实战教程
  • C语言第19讲
  • 【含文档+PPT+源码】基于springboot+ssm的智能人脸识别养老系统的设计与开发
  • Linux-＞ UDP 编程3
  • 分库分表后ID冲突怎么解决？分布式ID生成方案。保证ID全局唯一性。
  • 域名如何解析家庭ip