EFK日志分析
环境准备
Elasticsearc
[root@node13 yum.repos.d]# > /etc/sysconfig/network-scripts/ifcfg-ens33
[root@node13 yum.repos.d]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 << AE
> TYPE="Ethernet"
> BOOTPROTO="static"
> NAME="ens33"
> DEVICE="ens33"
> ONBOOT="yes"
> IPADDR=192.168.8.10
> GATEWAY=192.168.8.2
> DNS1=8.8.8.8
> AE
[root@node13 yum.repos.d]# ifdown ens33;ifup ens33
[root@node13 yum.repos.d]# hostnamectl set-hostname es
[root@node13 yum.repos.d]# bash
Nginx
[root@node13 yum.repos.d]# > /etc/sysconfig/network-scripts/ifcfg-ens33
[root@node13 yum.repos.d]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 << AE
> TYPE="Ethernet"
> BOOTPROTO="static"
> NAME="ens33"
> DEVICE="ens33"
> ONBOOT="yes"
> IPADDR=192.168.8.20
> GATEWAY=192.168.8.2
> DNS1=8.8.8.8
> AE
[root@node13 yum.repos.d]# ifdown ens33;ifup ens33
[root@node13 yum.repos.d]# hostnamectl set-hostname nginx
[root@node13 yum.repos.d]# bash
Redis
[root@node13 yum.repos.d]# > /etc/sysconfig/network-scripts/ifcfg-ens33
[root@node13 yum.repos.d]# cat >> /etc/sysconfig/network-scripts/ifcfg-ens33 << AE
> TYPE="Ethernet"
> BOOTPROTO="static"
> NAME="ens33"
> DEVICE="ens33"
> ONBOOT="yes"
> IPADDR=192.168.8.30
> GATEWAY=192.168.8.2
> DNS1=8.8.8.8
> AE
[root@node13 yum.repos.d]# ifdown ens33;ifup ens33
[root@node13 yum.repos.d]# hostnamectl set-hostname redis
[root@node13 yum.repos.d]# bash
Elasticsearc
利用XFT上传到192.168.8.10 Elasticsearc
yum -y install httpd-tools
Nginx
利用XFT上传到192.168.8.20nginx
Redis
利用XFT上传到redis192.168.8.30
安装
Elasticsearc
rpm -ivh elasticsearch-6.6.0.rpm
rpm -ivh kibana-6.6.0-x86_64.rpm
nginx
rpm -ivh filebeat-6.6.0-x86_64.rpm
cd nginx-rpm/
yum -y localinstall *.rpm
redis
rpm -ivh logstash-6.6.0.rpm
mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7 /opt/redis_cluster/redis
cd /opt/redis_cluster/redis
make && make install
Elasticsearc的配置
vim /etc/elasticsearch/elasticsearch.yml
保存并退出
创建数据目录，并修改权限
mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/
systemctl daemon-reload
systemctl restart elasticsearch
vim /etc/kibana/kibana.yml
保存并退出
systemctl start kibana
nginx
保存并退出
systemctl start filebeat
vim /etc/nginx/nginx.conf
保存退出重启nginx
Pkill -9 nginx
nginx
清除之前的访问的日志
vim /var/log/nginx/access.log
更改filebeat文件
vim /etc/filebeat/filebeat.yml
保存并重启
systemctl restart filebeat
验证前期的配置是否成功
Elasticsearc测试
ab -c 1000 -n 20000 http://192.168.8.20/
查看日志格式
tail /var/log/nginx/access.log
利用Kibana查看直观的日志分析
192.168.8.10:5601
创建成功等待
利用图表形式查看
选择日志
测试完毕
redis实现消息队列
配置
vim /opt/redis_cluster/redis_6379/conf/6379.conf
保存退出启动
redis-server /opt/redis_cluster/redis_6379/conf/6379.conf
修改nginx的Filebeat的配置文件
vim /etc/filebeat/filebeat.yml
systemctl restart filebeat
测试访问网站查看键值
[root@es ~]# ab -c 1000 -n 20000 http://192.168.8.20/
redis-cli
KEYS *
查看队列
LLEN filebeat
收集redis日志提交到es
vim /etc/logstash/conf.d/redis.conf
保存退出并重启
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf
实验完成
在浏览器中kibana中找不到数据
完成