当前位置： 首页 > news >正文

Beats：在 Docker 中同时部署 Metricbeat 和 Elasticsearch

news 来源：原创 2024/5/10 1:33:55

 在本教程中，我们将部署一个 metricbeat 来监控正在运行的容器的健康状况和系统指标。

为什么需要监控，为什么需要 Metricbeat？

一个常见的问题，但很少有人回答。 首先，无论我们部署的是 docker 容器还是老式的金属箱（即物理服务器），监控它们的健康状况至关重要。 最大的问题是，当我们在现场运行多台服务器时，识别哪台服务器出现问题的效率如何？ 或者确定特定服务器何时崩溃有多容易？ 答案可以在监控数据中找到（如果我们一开始就收集过）。

基于经验和团队文化，管理员通常编写自己的脚本或程序来收集服务器指标。 事实上，这是一种相当直接的方法，通常效果很好……直到部署了许多服务器实例。 脚本和程序是否可扩展以处理多服务器监控？ 有多少定制以及监控不同系统（例如操作系统、数据库、应用程序服务器等）的难易程度。 如果以上问题的答案不是很确定，我们可能需要更好的解决方案。

来自 Elastic（该公司）的 Metricbeat 提供了一个单一的可执行文件，它有助于获取最常见的服务器/服务指标，包括主机（即操作系统级别）、数据库（mySQL、postgreSQL）、消息队列（kafka、rabbitMQ）等等。 与其它解决方案不同，Metricbeat 得到维护并积极开发以支持度量消费； 现在我们需要做的就是维护配置文件而不是我们脚本/程序中的逻辑。

使用 docker 创建 Elastic Stack

我们首先来仿照之前的文章 “Elasticsearch：如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发”  来创建我们的 docker-compose.yml 文件：

docker-compose.yml

version: "3.9"
services:
  elasticsearch:
    image: elasticsearch:8.6.2
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms1g -Xmx1g
      - xpack.security.enabled=false
    volumes:
      - type: volume
        source: es_data
        target: /usr/share/elasticsearch/data
    ports:
      - target: 9200
        published: 9200
    networks:
      - elastic

  kibana:
    image: kibana:8.6.2
    container_name: kibana
    ports:
      - target: 5601
        published: 5601
    depends_on:
      - elasticsearch
    networks:
      - elastic

  metricbeat:
    image: docker.elastic.co/beats/metricbeat:8.6.2
    container_name: metricbeat
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
    volumes:
      - metricbeat-data01:/usr/share/metricbeat/data
    networks:
      - elastic
    depends_on:
        - elasticsearch

volumes:
  es_data:
    driver: local
  metricbeat-data01:
    driver: local

networks:
  elastic:
    name: elastic
    driver: bridge

我们添加了一个名为 metricbeat 的服务，并通过环境变量 (ELASTICSEARCH_HOSTS) 声明了目标 elasticsearch 主机。 还为此服务 (metricbeat-data01) 添加了一个新卷（用于数据存储）。 该服务的网络应设置为 elastic，原因是该服务应与我们的目标 elasticsearch 主机/节点位于同一网络上。

让我们通过发出以下命令来启动服务：

docker-compose up

 等所有的容器都启动后，我们可以使用如下的命令来进行查看：

docker ps
$ docker ps
CONTAINER ID   IMAGE                                      COMMAND                  CREATED              STATUS              PORTS                              NAMES
52072cc96dfc   docker.elastic.co/beats/metricbeat:8.6.2   "/usr/bin/tini -- /u…"   About a minute ago   Up About a minute                                      metricbeat
2511ea046940   kibana:8.6.2                               "/bin/tini -- /usr/l…"   2 minutes ago        Up About a minute   0.0.0.0:5601->5601/tcp             kibana
4465801cb251   elasticsearch:8.6.2                        "/bin/tini -- /usr/l…"   2 minutes ago        Up About a minute   0.0.0.0:9200->9200/tcp, 9300/tcp   elasticsearch

从上面，我们可以看出来正在运行的容器： elasticsearch，kibana 及 metricbeat。

我们可以到 Kibana 中进行查看：

 

 

从上面，我们可以看出来被收集进来的指标信息。

从上面显示的信息中，我们可以看出来它收集的正是运行 Metricbeat 容器的指标。在默认的情况下，system 模块是被启动的。它会自动帮我们收集系统指标。有关 Metricbeat 的使用请阅读之前的文章 “Beats：Beats 入门教程 （二）”。 

恭喜我们已经成功地在我们的集群上添加了 metricbeat 监控！ 收集的数据可以显示在反映操作系统/主机指标的指标应用程序上，包括 CPU、内存、负载、网络、进程等。

显示操作系统/主机指标非常有用，但有时我们可能也想知道服务器/服务的行为方式。 举个例子，我们可以监控我们的 elasticsearch 节点的健康状况吗？ 如果您现在点击 “Stack Monitoring” 应用程序，将显示此页面：

 

 

简单的意思是……没有可用的 Elasticsearch 监控数据 :(

 

了解 metricbeat 模块

对于现代版本的弹性堆栈，弹性搜索节点的监控建议启用名为“elasticsearch-xpack”的 metricbeat 模块。 那么什么是 metricbeat 模块？？？ 一个简单的句子——模块包含与目标服务器/服务对话的逻辑，并维护一组用于收集的指标的逻辑分组； 因此它就像一个配置管理器。

模块在 yml 文件中声明并存储在 {metricbeat_root}/modules.d 文件夹下。 elasticsearch-xpack.yml 示例如下：

elasticsearch-xpack.yml

# Module: elasticsearch
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/main/metricbeat-module-elasticsearch.html

- module: elasticsearch
  xpack.enabled: true
  period: 10s
  hosts: ["http://localhost:9200"]
  #username: "user"
  #password: "secret"

对于大多数情况，我们会修改要收集的指标集（即指标集设置）、监控主机（例如 localhost:9200 或 node01:9200）并激活 xpack 监控功能（即 xpack.enabled）。

现在摆在我们面前的挑战是……如何更新 elasticsearch-xpack.yml 文件？ 好吧……一种方法是我们启动服务，然后通过 telnet / ssh 进入 metricbeat 容器并更新配置文件。例如，我们可以这样来进入到容器中：

$ docker ps
CONTAINER ID   IMAGE                                      COMMAND                  CREATED             STATUS             PORTS                              NAMES
52072cc96dfc   docker.elastic.co/beats/metricbeat:8.6.2   "/usr/bin/tini -- /u…"   About an hour ago   Up About an hour                                      metricbeat
2511ea046940   kibana:8.6.2                               "/bin/tini -- /usr/l…"   About an hour ago   Up About an hour   0.0.0.0:5601->5601/tcp             kibana
4465801cb251   elasticsearch:8.6.2                        "/bin/tini -- /usr/l…"   About an hour ago   Up About an hour   0.0.0.0:9200->9200/tcp, 9300/tcp   elasticsearch
$ docker exec -it metricbeat /bin/bash
metricbeat@52072cc96dfc:~$

这种方式可能是最简单的，但它根本不可扩展，并且引入了最终难以维护的手动操作。 一个不太脏的解决方案肯定是值得的。

构建自定义的 metricbeat docker 镜像

就像我们之前讨论的那样，我们试图只维护配置文件而不是脚本/程序逻辑（也是手动操作）。 因此，针对上述挑战的更简洁的解决方案是使用更新的 metricbeat.yml 构建自定义 docker 镜像。

创建 metricbeat.yml 如下：

metricbeat.yml

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

processors:
  - add_cloud_metadata: ~
  - add_docker_metadata: ~

output.elasticsearch:
  hosts: '${ELASTICSEARCH_HOSTS:elasticsearch:9200}'
  username: '${ELASTICSEARCH_USERNAME:}'
  password: '${ELASTICSEARCH_PASSWORD:}'

# enabled modules for monitoring (e.g. elasticsearch-xpack)
metricbeat.modules:
- module: elasticsearch
  xpack.enabled: true
  period: 10s
  hosts: ["http://node01:9200"]
$ pwd
/Users/liuxg/data/metricbeat
$ ls
docker-compose.yml metricbeat.yml

我们声明要启用 elasticsearch 模块，目标主机是 elasticsearch:9200。 由于 hosts 配置是一个数组，因此可以仅设置 1 个 metricbeat 实例并使用多节点的指标。

接下来，让我们更新 docker-compose.yml 如下：

docker-compose.yml

version: "3.9"
services:
  elasticsearch:
    image: elasticsearch:8.6.2
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms1g -Xmx1g
      - xpack.security.enabled=false
    volumes:
      - type: volume
        source: es_data
        target: /usr/share/elasticsearch/data
    ports:
      - target: 9200
        published: 9200
    networks:
      - elastic

  kibana:
    image: kibana:8.6.2
    container_name: kibana
    ports:
      - target: 5601
        published: 5601
    depends_on:
      - elasticsearch
    networks:
      - elastic

  metricbeat:
    build: .
    # image: docker.elastic.co/beats/metricbeat:8.6.2
    container_name: metricbeat
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
    volumes:
      - metricbeat-data01:/usr/share/metricbeat/data
    networks:
      - elastic
    depends_on:
        - elasticsearch

volumes:
  es_data:
    driver: local
  metricbeat-data01:
    driver: local

networks:
  elastic:
    name: elastic
    driver: bridge

配置文件的唯一变化是用 build 配置替换 image 配置。 build 只是意味着我们正在从本地 Dockerfile 配置构建自定义镜像。 Dockerfile 包含构建自定义镜像的步骤和我们的版本如下：

FROM docker.elastic.co/beats/metricbeat:8.6.2
COPY metricbeat.yml /usr/share/metricbeat/metricbeat.yml
USER root
RUN chown root /usr/share/metricbeat/metricbeat.yml
$ pwd
/Users/liuxg/data/metricbeat
$ ls
Dockerfile         docker-compose.yml metricbeat.yml

这很简单，我们将基础 docker 镜像设置为 docker.elastic.co/beats/metricbeat:8.6.2。 然后我们将自定义的 metricbeat.yml 复制到镜像的 /usr/share/metricbeat 路径下。 最后使用 root 用户更改 metricbeat.yml 的访问权限并完成。

接下来是构建镜像，但是发出如下的命令：

如果一切顺利，我们的镜像很快就会建立起来了。

是时候启动服务并验证结果了：

docker-compose up

接下来，我们到 Kibana 中去查看：

 

很显然，这次我们看到了不一样的结果。

 

我们可以看到想要的指标信息。

Horray ~ 我们做到了，metricbeat 正在收集 elasticsearch 节点的指标。

相关文章：

  • 【数据仓库-7】-- 使用维度建模的一些缘由
  • node-fs
  • 无人机动力测试台-自动化测试系统拉力、扭矩、电压、电流、转速和效率
  • 国产机器人抢滩进行时！优艾智合引领智能制造浪潮
  • Autosar标准与其他标准的关系
  • 语音通知短信 API：一种新型的信息传递方式
  • 网络现代化势在必行，VMware 发布软件定义网络 SD-WAN 全新方案
  • Redis缓存穿透、击穿、雪崩问题及解决方法
  • 音乐制作：Ableton Live 11 Suite Mac
  • C++ 学习笔记（十）（继承、抽象篇）
  • xss labs(11-14)
  • STM32学习（四）
  • JAVA开发（自研项目的开发与推广）
  • 计算机网络的基本组成
  • Linux- 系统随你玩之--网络上的黑客帝国
  • 图片的美白与美化
  • 第十四届蓝桥杯三月真题刷题训练——第 19 天
  • SQL语句性能分析
  • WEB网站服务（一）
  • 【ChatGPT】教你搭建多任务模型
  • https://app.hackthebox.com/machines/Inject
  • Spring —— Spring简单的读取和存储对象 Ⅱ
  • 渗透测试之冰蝎实战
  • Mybatis、TKMybatis对比
  • Microsoft Office 2019(2022年10月批量许可版)图文教程
  • 《谷粒商城基础篇》分布式基础环境搭建
  • 哈希表题目：砖墙
  • Vue 3.0 选项 生命周期钩子
  • 【车载嵌入式开发】AutoSar架构入门介绍篇
  • 【计算机视觉 | 目标检测】DETR风格的目标检测框架解读