建设企业网站企业网上银行对公wordpress短链接插件

06_Elastic Stack 从入门到实践（六）

一、课程介绍

1、课程介绍

2、Nginx日志分析系统

3、Filebeat入门学习

4、Metricbeat入门学习

5、Kibana入门学习

6、Logstash入门学习

7、综合练习

二、Nginx 日志分析系统需求分析

1、业务需求

Nginx是一款非常优秀的web服务器，往往nginx服务会作为项目的访问入口，那么，nginx的性能保障就变得非常重要了，如果nginx的运行出现了问题就会对项目有较大的影响，所以，我们需要对nginx的运行有监控措施，实时掌握nginx的运行情况，那就需要收集nginx的运行指标和分析nginx的运行日志了。

2、Nginx 的业务流程分析

3、说明:

1）通过Beats采集Nginx的指标数据和日志数据。
2）Beats采集到数据后发送到Elasticsearch中。
3）Kibana读取数据进行分析。
4）用户通过Kibana进行查看分析报表。

三、部署安装 Nginx

1、下载 nginx安装包，并上传到虚拟机服务器上。

nginx 各个版本下载地址

2、在虚拟机服务器上解压 nginx安装包

tar -xvf nginx-1.14.2.tar.gz

3、安装依赖

yum -y install pcre-devel zlib-devel

4、配置 nginx

./configure

5、编译安装

make install

6、启动nginx

cd /usr/local/nginx/nginx/sbin/
./nginx

7、通过浏览器访问页面

访问地址如（默认80端口）:http://192.168.196.119/

8、在虚拟机服务器端查看日志

tail -f /usr/local/nginx/nginx/logs/access.log

四、Beats 简介

1、Beats 在 ElasticStack 技术栈中的作用示意图

2、beats 简介：

1）Beats是轻量型数据采集器。

Beats 是一个开源平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。

2）Beats 系列：全品类采集器，搞定所有数据类型。

3）beats 跟踪 Elastic Stack 中的基础架构日志和指标。

4）Beats从源头采集。简单明了。

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。Beats 能够采集符合 Elastic Common Schema (ECS) 要求的数据，如果您希望拥有更加强大的处理能力，Beats 能够将数据转发至 Logstash 进行转换和解析。

5）Beats即插即用 借助模块加速数据可视化体验。

Filebeat 和 Metricbeat 中包含的一些模块能够简化从关键数据源（例如云平台、容器和系统，以及网络技术）采集、解析和可视化信息的过程。一键探索。

6）Beats从环境中获得洞见 跟踪数据沿袭。

Beats 从您的专属环境中收集日志和指标，然后通过来自主机、诸如 Docker 和 Kubernetes 等容器平台以及云服务提供商的必要元数据对这些内容进行记录，然后再传输到 Elastic Stack 中。从监测容器到从无需服务器的架构传输数据，我们确保您拥有所需的上下文。

7）Beats 可扩展 缺少某种采集器？别着急。您可以自行构建并分享。

每款开源采集器都是以用于转发数据的通用库 libbeat 为基石。需要监控某个专用协议？您可以自己构建采集器。我们将为您提供所需的构建基块。同时，我们的 Beats 社区正在不断壮大。

8）Beats 同样能向 Elastic Cloud 输送数据。

正在运行托管式 Elasticsearch？这些轻量型采集器同样能有效地将数据发送至 Elastic Cloud。

3、beats 官网：

https://www.elastic.co/cn/products/beats

五、Filebeat入门之架构以及部署

1、Filebeat 简介

1）Filebeat 轻量型日志采集器

无论您是从安全设备、云、容器、主机还是 OT 进行数据收集，Filebeat 都将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。

2）汇总、“tail -f”和搜索 启动 Filebeat 后，打开 Logs UI，直接在 Kibana 中观看对您的文件进行 tail 操作的过程。通过搜索栏按照服务、应用、主机、数据中心或者其他条件进行筛选，以跟踪您的全部汇总日志中的异常行为。

2、Filebeat 用于监控、收集服务器日志文件 架构 示意图

3、filebeat 下载安装

https://www.elastic.co/cn/beats/filebeat
https://www.elastic.co/downloads/past-releases#filebeat
https://www.elastic.co/downloads/past-releases/filebeat-6-5-4

4、filebeat-6.5.4 部署与运行

# 创建新目录
mkdir /dzs168/beats# 解压安装包
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz# 切换目录
cd filebeat-6.5.4-linux-x86_64# 创建如下配置文件dzs168.yml