ELK服务搭建-0-1搭建记录

ELK搭建

需要准备一台linux服务器（最好是CentOS7）,内存至少4G以上（三个组件都比较占用内存）

演示基于ElasticSearch采用的是8.5.0版本

1、 Docker安装Elasticsearch

创建一个网络

因为我们还需要部署kibana容器、logstash容器，需要让这些容器互联。

docker network create elk

下载镜像

docker pull elasticsearch:8.5.0

在宿主机建立文件夹

mkdir -p /opt/elk/elasticsearch/{config,plugins,data}

制作配置文件

cat <<EOF> /opt/elk/elasticsearch/config/elasticsearch.yml
xpack.security.enabled: false
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: false  # 不配报错
xpack.security.enrollment.enabled: true
http.host: 0.0.0.0
EOF

修改权限

chmod -R 777 /opt/elk/elasticsearch

创建容器

docker run -d \--name es850 \-e "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" \-e "discovery.type=single-node" \-v /opt/elk/elasticsearch/data:/usr/share/elasticsearch/data \-v /opt/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins \-v /opt/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \--privileged \--network elk \-p 9200:9200 \-p 9300:9300 \
elasticsearch:8.5.0

最终效果

在浏览器中输入：http://39.106.67.195:9200/ (按照自己的ip访问)即可看到elasticsearch的响应结果：

2 、Docker安装Logstash

拉取镜像

docker pull logstash:8.5.0

创建文件

mkdir -p /opt/elk/logstash/{pipeline,config}

进入logstash文件

cd /opt/elk/logstash/pipeline

vim logstash.conf

input {tcp {mode => "server"host => "0.0.0.0"port => 5044codec => json_lines}
}
filter{}
output {elasticsearch {hosts => "es850:9200"index => "tingshu-%{+YYYY.MM.dd}"}
}

进入config文件

cd /opt/elk/logstash/config

vim logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://es850:9200" ] #设置跟es的服务地址

创建容器

docker run -d \
-p 5044:5044 \
-p 9600:9600 \
--name logstash850 \
--network=elk \
-v /opt/elk/logstash/pipeline/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
-v /opt/elk/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml \
logstash:8.5.0

3、Docker安装Kibana

拉取镜像

docker pull kibana:8.5.0

创建目录

mkdir -p /opt/elk/kibana/{config,data}

进入config文件

cd /opt/elk/kibana/config

vim kibana.yml

server.host: "0.0.0.0"  # 不配报错
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://es850:9200" ]
i18n.locale: "zh-CN"

创建容器

docker run -d \
--name kibana850 \
--network=elk \
-v /opt/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
-p 5601:5601  \
kibana:8.5.0

• --network elk ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
• -p 5601:5601：端口映射配置

此时，在浏览器输入地址访问：http://8.140.252.86:5601，即可看到结果

4、 SpringBoot项目对接Logstash

在项目的pom文件中添加新的依赖

<dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>6.6</version>
</dependency>

目前，我们采用的logback来采集日志进行上报给logstash，logstash对接es,把数据存入到es中，最终通过kibana展示。

在application.yml文件中设置logback配置的目录

logging:config: classpath:logback-spring.xml

在resources目录中新增一个文件logback-spring.xml(注意命名，不要修改)

<?xml version="1.0" encoding="UTF-8"?>
<configuration><include resource="org/springframework/boot/logging/logback/base.xml" /><springProperty scope="context" name="springAppName" source="spring.application.name"/><springProperty scope="context" name="serverPort" source="server.port"/><appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><!--logstash的服务地址和端口，可以实际情况设置--><destination>8.140.252.86:5044</destination><!-- 日志输出编码 --><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"><providers><timestamp><timeZone>UTC</timeZone></timestamp><pattern><pattern>{<!--应用名称 -->"app": "${springAppName}_${serverPort}",<!--打印时间 -->"timestamp": "%d{yyyy-MM-dd HH:mm:ss.SSS}",<!--线程名称 -->"thread": "%thread",<!--日志级别 -->"level": "%level",<!--日志名称 -->"logger_name": "%logger",<!--日志信息 -->"message": "%msg",<!--日志堆栈 -->"stack_trace": "%exception"}</pattern></pattern></providers></encoder></appender><!--定义日志文件的存储地址,使用绝对路径--><property name="LOG_HOME" value="/home/logs"/><!-- 按照每天生成日志文件 --><appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!--日志文件输出的文件名--><fileNamePattern>${LOG_HOME}/${springAppName}-${serverPort}-%d{yyyy-MM-dd}.log</fileNamePattern></rollingPolicy><encoder><pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern></encoder></appender><root level="INFO"><appender-ref ref="LOGSTASH" /><appender-ref ref="FILE" /><appender-ref ref="CONSOLE" /></root>
</configuration>

5、 ELK基本使用

5.1 查看索引文件

对接项目之后，可以启动项目，产生一些日志数据

然后打开kibana，找到索引管理

可以直接查看已创建的日志索引

5.2 添加索引模式

如果想用kibana方便的查看日志的数据，可以添加索引模式，如下图

点击创建索引模式，输入想要管理的索引名称,保存

5.3 检索日志

打开Discover

检索日志，选择不同的索引，可以按照不同的字段检索，或者在输入框直接输入内容，也是可以的

工作定位线上问题：

6、 设置用户名密码

一、先操作ES容器

修改配置文件

vim /opt/elk/elasticsearch/config/elasticsearch.yml

重启容器

docker restart  123

进入容器

docker exec -it 123  /bin/bash

执行创建密码的命令

为所有用户输入密码（可以为同一个），完事后回到宿主机 ,重启容器elasticsearch

./bin/elasticsearch-setup-passwords interactive

重新启动es镜像

docker restart  123

二、再操作Kibana

修改宿主机配置文件

vim /opt/elk/kibana/config/kibana.yml

追加下面内容

elasticsearch.username: "kibana_system"
elasticsearch.password: "111111"

重启kibana

docker restart 34c

三、再操作logstash

修改宿主机配置文件

vim /opt/elk/logstash/pipeline/logstash.conf

追加下面内容

user   => "elastic"
password => "111111" 

vim /opt/elk/logstash/config/logstash.yml

追加下面内容

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "111111"

重启logstash

docker restart 993