ELK1日志分析系统

目录

一：ELK平台介绍

1.ELK 概述

2.Elasticsearch

3.Logstash

4.Kibana

二：部署elk群集

1.elk1 ，elk2 主机配置

2.logstash服务器

3.安装Kibana

4.101安装apache和filebeat

---

一：ELK平台介绍

1.ELK 概述

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如:开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用 grep、awk 和 wc 等Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析EK平台能够完美的解决我们上述的问题，EK由ElasticSearch、Logstash 和Kiabana三个开源工具组成。

• Elasticsearch 是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引副本机制，restfu1风格接口，多数据源，自动搜索负载等。
• Logstash 是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用(如，搜索)。
• Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和》ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

2.Elasticsearch

（1）ElasticSearch 概述

Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索弓擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便

（2）Elasticsearch核心概念

接近实时(NRT)

Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)

集群(cluster)

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

节点(node)

一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

索引(index)

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。

类型(type)

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。

文档(document)

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JS0N(Javascript 0bject Notation)格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。

在一个 index/type 里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的 type。

分片和复制(shards &replicas)

一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据 1TB的磁盘空间，而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”这个“索引”可以被放置到集群中的任何节点上。分片很重要，主要有两方面的原因：

• 允许你水平分割/扩展你的内容容量。
• 允许你在分片(潜在地，位于多个节点上)之上进行分布式的、并行的操作，
  进而提高性能/吞吐量。

3.Logstash

（1） Logstash 介绍

Logstash 有 JRuby 语言编写，运行在 Java虚拟机(JVM)上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Ligstash 具有强大的插件功能，常用于日志处理。

Logstash 的设计理念:Logstash只做三件事，数据输入、数据加工、数据输出

（2）Logstash 工作的三个阶段

input 数据输入端，可以接收来自任何地方的源数据。

• file:从文件中读取syslog:监听在 514端口的系统日志信息，并解析成 RFC3164 格式。
• redis:从redis-server list 中获取
• beat:接收来自 Filebeat 的事件

Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段
添加，修改等，常用的过滤器如下。

• grok:通过正则解析和结构化任何文本。
  mutate:在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
  drop:完全丢弃事件，如debug 事件。
  clone:复制事件，可能添加或者删除字段。
  geoip:添加有关 IP 地址地理位置信息。

output是 logstash 工作的最后一个阶段，负责将数据输出到指定位置兼容大多数应用，常用的有:

• elasticsearch:发送事件数据到 Elasticsearch，便于查询，分析，绘图。file:将事件数据写入到磁盘文件上。mongodb:将事件数据发送至高性能 NoSQL mongodb，便于永久存储，查询，分析,大数据分片。
  redis:将数据发送至 redis-server，常用于中间层暂时缓存。
  graphite:发送事件数据到 graphite。
  statsd:发送事件数据到 statsd。

4.Kibana

（1）Kibana 介绍

Kibana 是一个设计使用和 Elasticsearch 配置工作的开源分析和可视化平台。可以用它进行搜索、查看、集成 Elasticsearch 中的数据索引。可以利用各种图表、报表、地图组件轻松的对数据仅进行可视化分析

（2）Kibana 主要功能

• Elasticsearch 无缝集成
• 整合数据
• 复杂数据分析
• 让更多的团队成员收益
• 接口灵活
• 配置简单
• 可视化多数据源
• 简单数据导出

二：部署elk群集

环境准备
在开始部署前，需要确保所有服务器满足以下要求：

所有服务器已安装CentOS 8系统
关闭防火墙

安装Java 11（Elasticsearch 7.x+需要）

配置主机名解析（/etc/hosts）

# 安装Java 11 sudo dnf install java-11 -y

1.elk1 ，elk2 主机配置

# 配置主机名解析

 /etc/hosts

192.168.10.103 elk1

192.168.10.104 elk2

Elasticsearch集群部署（192.168.10.103/104）

为用户设置资源访问限制

vim /etc/security/limits.conf

es soft nofile 65535 

es hard nofile 65535

es soft nproc 65535

es hard nproc 65535

es soft memlock unlimited

es hard memlock unlimited

vim /etc/sysctl.conf

vm.max map count=655360

sysctl -p

备注:
它的默认值是 65536
限制一个进程可以拥有的 VMA( 虚拟内存区域 )的数量虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区域将被创建。
这个参数会影响中间件可以开启的线程数量，如果值过小，有时可能会导致有些中间件无法开启足够的线程，进而报错。

安装elasticsearch

tar zxvf elasticsearch-7.10.0-linux-x86 64. tar.gz

mv elasticsearch-7.10.0 /etc/elasticsearch

 vim /etc/elasticsearch/config/jvm.options

-Xms2g
-Xmx2g

更改 Elasticsearch 主配置文件

vim /usr/local/elasticsearch/config/elasticsearch. yml

cluster.name: kgc-elk-cluster      ##17 行，群集名称

node.name:elk1   

path.data:/elk/data##33 行，数据文件路径
path.logs:/elk/logs##37 行，日志文件路径

bootstrap.memory lock:false

network.host:0.0.0.0##55 行，监听地址

http.port:9200##59 行，监听端口

discovery.seed hosts: ["elkl", "elk2" ]    ##68 行，群集中的主机列表

cluster.initial master nodes: ["elkl"] ##72，master 主机名称，群集的初始化会将此节点选举为 master

创建数据存放路径并授权

mkdir -p/elk/data

mkdir -p /elk/logs

chown -R es:es /elk/

chown -R es:es /usr/local/elasticsearch/

启动es

su-es 

/usr/local/elasticsearch/bin/elasticsearch &

sudo netstat -anptgrep 9200

查看节点信息

curl http://192.168.10.103:9200/ cat/nodes

2.logstash服务器

systemctl stop firewalld
dnf -y install java-11
tar zxf logstash-7.10.0-linux-x86_64.tar.gz
mv llogstash-7.10.0 /etc/logstash
chmod -R 777 /etc/logstash/data
 
测试安装结果直接将消息输出到屏幕
/etc/logstash/bin/logstash -e "input { stdin {} } output { stdout { codec=>rubydebug }} "
会有一个消息格式 输入字符串
nihao

logstash配置文件

通过修改 Logstash 配置文件，让其收集系统日志/var/log/messages,并将其输出到 elasticsearch 中

cd /var/log/
chmod o+r messages 
cd /etc/logstash
vim system.conf
input {
    file{
        path=>"/var/log/messages"
        type=>"system"
        start_position=>"beginning"
    }
}
 
output {
    elasticsearch {
        hosts=>["192.168.10.103:9200"]
        index=>"system-%{+YYYY.MM.dd}"
    }
}
 
运行logstash
/etc/logstash/bin/logstash -f /etc/logstash/system.conf

3.安装Kibana

在elk1上安装kibana

cd /opt
拉包kibana-7.10.0-linux-x86_64.tar.gz
 
su - es
cd /opt
sudo tar kibana-7.10.0-linux-x86_64.tar.gz
sudo mv kibana-7.10.0-linux-x86_64 /etc/kibana
undo chown -R es:es /etc/kibana
cd /etc/kibana/config
sudo vim kibana.yml
server.port:5601        //2行监听端口号
server.host "0.0.0.0"       //7行监听地址
elasticsearch.hosts://"http://192.168.10.103:9200"    //28行指定地址
il8n.locale："zh-CN"        //末尾去掉#号修改语言
 
启动kibana
/etc/kibana/bin/kibana &

验证kibana

浏览器访问
http://192.168.10.103:5601

4.101安装apache和filebeat

安装apache

dnf -y install httpd
systemctl stop firewalld
systemctl start httpd
echo "nihao" > /var/www/html/index.html
curl 192.168.10.102
cat /var/log/httpd/access_log

在产生日志的客户端服务器上安装filebeat

tar zxf filebeat-7.10.0-linux-x86_64.tar.gz
mv filebeat-7.10.0-linux-x86_64 /etc/filebeat
cd /etc/filebeat
cp filebeat.yml filebeat.yml.bak
rm -rf filebeat.yml
 
//这里格式一定要规范
vim filebeat.yml
filebeat.inputs:
- type: log
  paths:
  - /var/log/httpd/access_log
 
output.logstash:
  hosts: ["192.168.10.102:5044"]
 
如果这个地方起不起来，说明资源访问低
/etc/filebeat/filebeat -c /etc/filebeat/filebeat.yml &

解决方法

vim /etc/security/limits.conf
*  soft nofile 65535
*  hard nofile 65535
*  soft nproc 65535
*  hard nproc 65535
*  soft memlock unlimited
*  hard memlock unlimited
 
重新启动一下
/etc/filebeat/filebeat -c /etc/filebeat/filebeat.yml &

修改 logstash （102）的配置文件，使日志输出到elasticsearch

如果发现 logstash 属于开启状态，就先关闭掉可以先査一下 logstash 的进程，netstat -anpt|grep 5044，再杀死这个进程

vim /usr/local/logstash/config/beats.conf
input {
    beats {
        port=>"5044"
        codec=>"json"
    }
}
 
output {
    elasticsearch {
        hosts=>["192.168.10.103:9200"]
        index=>"weblog-beat-%{+YYYY.MM.dd}"
    }
}
 
/etc/logstash/bin/logstash -f /etc/logstash/config/beats.conf --path.data=/etc/logstash/config/web01 &

打开浏览器

如果看不到日志，可以访问一下网站，生成日志信息后，刷新一下 kibana 就可以看到日志了