当前位置： 首页 > news >正文

日志管理工具 ——Graylog

news 2025/8/2 7:27:00

一、Graylog 概述

1.1 核心组件

Graylog 是一款开源的日志聚合、分析和可视化工具，采用分布式架构，由三个核心组件构成：

  • Graylog Server：负责日志的接收、处理、存储和查询，是整个系统的核心
  • Elasticsearch：用于存储和索引日志数据，提供高效的全文检索能力
  • MongoDB：存储 Graylog 的配置信息、用户数据、权限设置等元数据

三者协同工作，形成完整的日志管理流程：

1.2 核心特性

  • 多源日志收集：支持通过多种协议（TCP、UDP、HTTP 等）接收不同来源的日志
  • 强大的查询功能：提供直观的查询语言，支持复杂的日志过滤和搜索
  • 实时日志处理：可对日志进行实时解析、转换和 enrichment
  • 告警与通知：基于日志内容设置告警规则，通过多种渠道发送通知
  • 可视化仪表板：自定义图表和仪表板，直观展示日志分析结果
  • 用户与权限管理：细粒度的权限控制，支持多租户环境
  • 扩展性：通过插件机制扩展功能，支持与第三方系统集成

1.3 应用场景

Graylog 适用于多种日志管理场景：

  • 企业级日志集中管理与审计
  • 系统和应用故障排查
  • 安全事件监控与响应
  • 性能分析与瓶颈定位
  • 合规性报告生成
  • 用户行为分析与追踪

二、Graylog 安装与部署

2.1 环境准备

2.1.1 系统要求

组件

最低配置

推荐配置

Graylog Server

2 CPU、4GB 内存

4 CPU、8GB 内存

Elasticsearch

2 CPU、4GB 内存

4 CPU、16GB 内存

MongoDB

1 CPU、2GB 内存

2 CPU、4GB 内存

2.1.2 操作系统支持
  • Linux（推荐 CentOS 7/8、Ubuntu 18.04/20.04、Debian 10）
  • 不推荐在 Windows 上生产部署
2.1.3 依赖项
  • Java 8 或 11（Elasticsearch 和 Graylog 需要）
  • 网络：各组件间需开放相应端口（9000、9200、27017 等）

2.2 安装 MongoDB

2.2.1 添加 MongoDB 仓库
# CentOS 7
cat > /etc/yum.repos.d/mongodb-org-5.0.repo << EOF
[mongodb-org-5.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/\$releasever/mongodb-org/5.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-5.0.asc
EOF# Ubuntu 20.04
wget -qO - https://www.mongodb.org/static/pgp/server-5.0.asc | sudo apt-key add -
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/5.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-5.0.list
apt update
2.2.2 安装并启动 MongoDB
# CentOS 7
yum install -y mongodb-org# Ubuntu 20.04
apt install -y mongodb-org# 启动 MongoDB
systemctl start mongod
systemctl enable mongod# 验证 MongoDB 运行状态
systemctl status mongod

2.3 安装 Elasticsearch

2.3.1 安装 Java
# CentOS 7 安装 Java 11
yum install -y java-11-openjdk-devel# Ubuntu 20.04 安装 Java 11
apt install -y openjdk-11-jdk# 验证 Java 安装
java -version
2.3.2 安装 Elasticsearch
# 导入 Elasticsearch GPG 密钥
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch  # CentOS# 或
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -  # Ubuntu# 添加 Elasticsearch 仓库
# CentOS 7
cat > /etc/yum.repos.d/elasticsearch.repo << EOF
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF# Ubuntu 20.04
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic.list
apt update# 安装 Elasticsearch
yum install -y elasticsearch  # CentOS
# 或
apt install -y elasticsearch  # Ubuntu
2.3.3 配置 Elasticsearch
# 编辑配置文件
vim /etc/elasticsearch/elasticsearch.yml# 核心配置
cluster.name: graylog
node.name: es-node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["es-node-1"]# 禁用 X-Pack 安全功能（Graylog 不支持）
xpack.security.enabled: false
2.3.4 启动 Elasticsearch
# 启动服务
systemctl start elasticsearch
systemctl enable elasticsearch# 验证服务
curl -X GET "http://localhost:9200/"

2.4 安装 Graylog

2.4.1 添加 Graylog 仓库
# CentOS 7
rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-4.2-repository_latest.rpm# Ubuntu 20.04
wget https://packages.graylog2.org/repo/packages/graylog-4.2-repository_latest.deb
dpkg -i graylog-4.2-repository_latest.deb
apt update
2.4.2 安装 Graylog
# CentOS 7
yum install -y graylog-server# Ubuntu 20.04
apt install -y graylog-server
2.4.3 配置 Graylog
# 生成管理员密码哈希
echo -n "your_password" | sha256sum# 编辑配置文件
vim /etc/graylog/server/server.conf# 核心配置
is_master = true
node_id_file = /etc/graylog/server/node-id
password_secret = 生成的随机字符串（至少32字符）
root_password_sha2 = 上面生成的管理员密码哈希
root_timezone = Asia/Shanghai
elasticsearch_hosts = http://localhost:9200
mongodb_uri = mongodb://localhost:27017/graylog
http_bind_address = 0.0.0.0:9000
http_publish_uri = http://graylog-server-ip:9000/

生成密码密钥：

# 生成随机密码密钥
pwgen -N 1 -s 96
2.4.4 启动 Graylog
# 启动服务
systemctl start graylog-server
systemctl enable graylog-server# 验证服务状态
systemctl status graylog-server# 开放防火墙端口
firewall-cmd --permanent --add-port=9000/tcp
# 开放日志接收端口（根据需要）
firewall-cmd --permanent --add-port=514/udp
firewall-cmd --permanent --add-port=12201/udp
firewall-cmd --reload

通过浏览器访问 http://<graylog-server-ip>:9000 验证 Graylog 是否正常运行，使用用户名 admin 和配置的密码登录。

三、Graylog 核心配置

3.1 输入配置（Inputs）

Graylog 支持多种输入类型接收日志数据，常见的输入类型包括：

  • GELF：Graylog 扩展日志格式，支持结构化日志
  • Syslog：标准系统日志格式
  • Beats：接收 Filebeat 发送的日志
  • TCP/UDP：通用 TCP/UDP 日志
  • HTTP(S)：通过 HTTP 接收日志
3.1.1 配置 GELF 输入

GELF 是推荐的日志输入格式，支持结构化日志和压缩：

  1. 登录 Graylog Web 界面
  2. 进入 System > Inputs
  3. 在右侧选择 GELF UDP 或 GELF TCP，点击 Launch new input
  4. 配置输入参数：
    • Title：输入名称（如 "Application GELF UDP"）
    • Bind address：绑定地址（0.0.0.0 表示所有地址）
    • Port：端口（默认 12201）
    • 其他参数保持默认

     5. 点击 Save 保存配置

3.1.2 配置 Syslog 输入

接收系统日志：

  1. 进入 System > Inputs
  2. 选择 Syslog UDP 或 Syslog TCP，点击 Launch new input
  3. 配置参数：
    • Title：输入名称（如 "System Syslog UDP"）
    • Bind address：0.0.0.0
    • Port：514（标准 Syslog 端口）
    • Syslog message parser：选择合适的解析器

     4. 点击 Save 保存

3.2 提取器（Extractors）

提取器用于从非结构化日志中提取字段，转换为结构化数据：

  1. 进入 System > Inputs，找到要配置的输入，点击 Manage extractors
  2. 点击 New extractor，选择日志示例
  3. 选择提取器类型：
    • Grok pattern：使用 Grok 模式解析日志
    • Regular expression：正则表达式提取
    • JSON：解析 JSON 格式日志
    • CSV：解析 CSV 格式日志

     4. 配置提取规则：

示例：使用 Grok 解析 Apache 访问日志

  • 选择 Grok pattern 提取器
  • 选择模式：%{COMBINEDAPACHELOG}
  • 配置字段映射
  • 点击 Create extractor 保存

3.3 流（Streams）

流用于对日志进行分类和路由，将不同类型的日志发送到不同的索引：

  1. 进入 Streams，点击 Create stream
  2. 配置流信息：
    • Title：流名称（如 "Web Server Logs"）
    • Description：描述信息
    • Index set：选择索引集

     3. 点击 Create stream 保存

     4. 配置流规则：

    • 点击流名称进入详情页
    • 点击 Edit rules，添加规则（如 source: web-server-*）
    • 规则匹配的日志将被路由到该流

3.4 索引集（Index Sets）

索引集用于管理 Elasticsearch 中的索引生命周期：

  1. 进入 System > Index Sets，点击 Create index set
  2. 配置索引集参数：
    • Title：索引集名称（如 "web-server-logs"）
    • Index prefix：索引前缀（如 "web-"）
    • Shards：主分片数量（推荐 3-5）
    • Replicas：副本数量（推荐 1）
    • Rotation strategy：索引轮换策略（按大小或时间）
    • Retention strategy：索引保留策略（保留时间或数量）

     3. 点击 Create index set 保存

3.5 仪表板（Dashboards）

仪表板用于可视化日志数据：

  1. 进入 Dashboards，点击 Create dashboard
  2. 输入仪表板名称，点击 Create
  3. 添加图表：
    • 点击 Add widget
    • 选择图表类型（如 Bar chart、Line chart、Pie chart 等）
    • 配置数据源和查询条件
    • 设置图表参数（时间范围、分组等）
    • 点击 Add widget 保存

     4. 调整图表布局，点击 Save 保存仪表板

四、Graylog 日志收集实战

4.1 收集 Linux 系统日志

4.1.1 配置 Rsyslog 发送日志到 Graylog
# 编辑 Rsyslog 配置
vim /etc/rsyslog.d/graylog.conf# 添加配置
*.* @graylog-server-ip:514;RSYSLOG_SyslogProtocol23Format# 重启 Rsyslog
systemctl restart rsyslog
4.1.2 在 Graylog 中配置 Syslog 输入

按照 3.1.2 节配置 Syslog 输入，接收系统日志。

4.2 收集 Nginx 日志

4.2.1 配置 Nginx 日志格式为 JSON
# 编辑 Nginx 配置
vim /etc/nginx/nginx.conf# 添加日志格式
log_format graylog_json '{ "timestamp": "$time_iso8601", ''"remote_addr": "$remote_addr", ''"remote_user": "$remote_user", ''"request": "$request", ''"status": $status, ''"body_bytes_sent": $body_bytes_sent, ''"request_time": $request_time, ''"http_referer": "$http_referer", ''"http_user_agent": "$http_user_agent", ''"http_x_forwarded_for": "$http_x_forwarded_for", ''"host": "$host", ''"server_name": "$server_name" }';# 在虚拟主机中使用该日志格式
access_log /var/log/nginx/access.log graylog_json;# 重启 Nginx
systemctl restart nginx
4.2.2 使用 Filebeat 发送 Nginx 日志到 Graylog
# 安装 Filebeat（参考 ELK Stack 章节）# 配置 Filebeat
vim /etc/filebeat/filebeat.ymlfilebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.logoutput.graylog:hosts:- host: graylog-server-ipport: 12201protocol: gelflogstash_prefix: nginxfields:service: nginxenvironment: production# 启动 Filebeat
systemctl start filebeat
systemctl enable filebeat
4.2.3 在 Graylog 中配置 GELF 输入

按照 3.1.1 节配置 GELF 输入，接收 Nginx 日志。

4.3 配置告警

Graylog 可以基于日志内容设置告警，当满足条件时发送通知：

  1. 进入 Alerts > Create alert condition
  2. 选择条件类型：
    • Message count：基于消息数量
    • Field value：基于字段值
    • Aggregation：基于聚合结果

     3. 配置条件参数：

    • 选择流或索引集
    • 设置时间范围
    • 配置阈值条件

     4. 配置通知方式：

    • Email：邮件通知
    • HTTP Callback：HTTP 回调
    • Slack：Slack 通知
    • PagerDuty：PagerDuty 集成

     5. 点击 Create alert condition 保存

示例：当 5 分钟内错误日志超过 10 条时发送邮件告警

  • 条件类型：Message count
  • 流：选择包含错误日志的流
  • 搜索查询：level: ERROR
  • 条件：more than 10 messages
  • 时间范围：5 minutes
  • 通知方式：Email，配置收件人

五、Graylog 高级配置

5.1 集群配置

Graylog 支持集群部署，提高可用性和处理能力：

  1. MongoDB 配置 

MongoDB 需配置为副本集，确保高可用：

# 编辑 MongoDB 配置
vim /etc/mongod.conf# 配置副本集
replication:replSetName: "graylog_rs"# 重启 MongoDB
systemctl restart mongod# 初始化副本集（仅在主节点执行）
mongo
> rs.initiate()
> rs.add("mongodb-node2:27017")  # 添加其他节点
> rs.add("mongodb-node3:27017")
> rs.status()  # 查看副本集状态

     2. Elasticsearch 集群配置

配置 Elasticsearch 集群，提供高可用的存储和索引服务：

# 节点 1 配置
cluster.name: graylog
node.name: es-node-1
node.master: true
node.data: true
network.host: 192.168.1.101
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]
cluster.initial_master_nodes: ["es-node-1", "es-node-2"]# 节点 2 配置
cluster.name: graylog
node.name: es-node-2
node.master: true
node.data: true
network.host: 192.168.1.102
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]
cluster.initial_master_nodes: ["es-node-1", "es-node-2"]# 节点 3 配置
cluster.name: graylog
node.name: es-node-3
node.master: false
node.data: true
network.host: 192.168.1.103
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]

     3. Graylog 集群配置

配置多个 Graylog 节点形成集群：

# 所有节点使用相同的配置，除了以下参数
# 节点 1
is_master = true
node_id_file = /etc/graylog/server/node-id-1
http_bind_address = 192.168.1.201:9000
http_publish_uri = http://192.168.1.201:9000/# 节点 2
is_master = false  # 或 true，如果希望成为候选主节点
node_id_file = /etc/graylog/server/node-id-2
http_bind_address = 192.168.1.202:9000
http_publish_uri = http://192.168.1.202:9000/# 所有节点共享以下配置
elasticsearch_hosts = http://192.168.1.101:9200,http://192.168.1.102:9200
mongodb_uri = mongodb://mongodb-node1:27017,mongodb-node2:27017/graylog?replicaSet=graylog_rs

在 Graylog Web 界面中查看集群状态：System > Nodes

5.2 性能优化

  1. Graylog Server 优化
# 编辑配置文件
vim /etc/graylog/server/server.conf# 优化参数
processbuffer_processors = 5  # 处理缓冲区处理器数量（建议为 CPU 核心数的 50%）
outputbuffer_processors = 3   # 输出缓冲区处理器数量
inputbuffer_processors = 2    # 输入缓冲区处理器数量
ring_size = 65536             # 内部缓冲区大小

调整 JVM 堆大小：

# 编辑配置文件
vim /etc/sysconfig/graylog-server  # CentOS
# 或
vim /etc/default/graylog-server    # Ubuntu# 设置堆大小（建议为物理内存的 50%）
GRAYLOG_SERVER_JAVA_OPTS="-Xms4g -Xmx4g"

      2. Elasticsearch 优化

参考 ELK Stack 章节中的 Elasticsearch 性能优化建议，重点关注：

  • 合理设置 JVM 堆大小
  • 调整索引分片和副本数量
  • 优化刷新间隔和合并策略

     3. 网络优化

  • 使用 TCP 而非 UDP 接收关键日志，确保可靠性
  • 对高流量日志源使用批量发送机制
  • 考虑在日志源和 Graylog 之间添加缓冲层（如 Kafka）

5.3 安全配置

  1. 启用 HTTPS

为 Graylog Web 界面和 API 启用 HTTPS：

# 生成 SSL 证书
openssl req -x509 -newkey rsa:4096 -keyout /etc/graylog/server/graylog-key.pem -out /etc/graylog/server/graylog-cert.pem -days 365 -nodes# 配置 Graylog 使用 HTTPS
vim /etc/graylog/server/server.confhttp_enable_tls = true
http_tls_cert_file = /etc/graylog/server/graylog-cert.pem
http_tls_key_file = /etc/graylog/server/graylog-key.pem
http_bind_address = 0.0.0.0:9000  # 保持端口不变，将自动使用 TLS

     2. 用户与权限管理

  • 创建不同角色，分配最小必要权限
  • 启用密码策略，强制使用强密码
  • 定期轮换管理员密码
  • 考虑集成 LDAP/Active Directory 进行身份验证
# 在 Graylog Web 界面中配置 LDAP
# 进入 System > Authentication > LDAP / Active Directory
# 配置 LDAP 服务器信息、用户搜索基准和过滤器
# 测试连接并启用 LDAP 认证

     3. 日志数据保护

  • 对敏感日志字段进行脱敏处理（如密码、信用卡信息）
  • 配置索引权限，限制敏感日志的访问
  • 定期备份 MongoDB 和 Elasticsearch 数据

六、Graylog 与 ELK Stack 对比

特性

Graylog

ELK Stack

易用性

更高，提供更直观的 Web 界面和配置选项

相对复杂，需要更多学习成本

功能完整性

内置完整功能，开箱即用

需要组合多个组件，配置灵活但复杂

扩展性

支持插件，但生态相对较小

丰富的插件生态系统

性能

优秀，针对日志管理优化

优秀，尤其在大规模部署时表现出色

社区支持

活跃但规模小于 ELK

非常活跃，资源丰富

企业支持

由 Graylog, Inc. 提供商业支持

由 Elastic 提供商业支持

学习曲线

较平缓

较陡峭

选择建议：

  • 追求易用性和快速部署：选择 Graylog
  • 需要高度定制和扩展性：选择 ELK Stack
  • 小型团队或资源有限：Graylog 可能是更好的选择
  • 大型企业或有专业运维团队：ELK Stack 提供更多灵活性

七、最佳实践与总结

7.1 最佳实践

  1. 部署策略
    • 小规模部署：单节点 Graylog + 单节点 Elasticsearch + 单节点 MongoDB
    • 中大规模：Graylog 集群 + Elasticsearch 集群 + MongoDB 副本集
    • 考虑使用容器化部署（Docker/Kubernetes）简化管理

     2. 日志管理

    • 尽量使用结构化日志格式（如 GELF、JSON）
    • 为不同类型的日志创建专用流和索引集
    • 制定合理的日志保留策略，平衡存储成本和合规需求
    • 定期归档或删除不再需要的日志数据

     3. 性能与可靠性

    • 监控 Graylog 及其依赖组件的健康状态
    • 为关键组件配置告警（磁盘空间、内存使用率等）
    • 定期检查和优化索引性能
    • 实施数据备份策略

     4. 安全实践

    • 启用 HTTPS 保护所有 Web 和 API 通信
    • 实施最小权限原则，严格控制用户访问
    • 对敏感日志数据进行脱敏处理
    • 定期更新系统和组件，修复安全漏洞

7.2 总结

Graylog 作为一款专注于日志管理的开源工具，提供了从日志收集、处理、存储到分析和可视化的完整解决方案。其核心优势在于：

  • 直观的用户界面和相对较低的学习曲线，便于快速部署和使用
  • 强大的日志查询和过滤功能，支持复杂的日志分析需求
  • 灵活的日志路由和处理机制，可根据业务需求定制
  • 完善的告警系统，能够及时发现和响应异常情况
  • 良好的性能和可扩展性，可从小规模部署扩展到企业级集群

与 ELK Stack 相比，Graylog 更注重易用性和开箱即用的体验，适合那些希望快速搭建日志管理平台的组织。虽然其生态系统不如 ELK Stack 丰富，但对于大多数日志管理场景已经足够。

通过合理配置和使用 Graylog，组织可以实现日志数据的集中管理，提高故障排查效率，增强系统安全性，满足合规性要求，并从日志数据中挖掘有价值的信息，为业务决策提供支持。

http://www.dtcms.com/a/309866.html

相关文章：

  • 外卖“0元购”退场后，即时零售大战才刚开始
  • 一个可以检测本机的字节顺序，并对任意数据进行字节顺序的反转操作的代码。
  • 学习设计模式《二十》——解释器模式
  • GenieWizard: Multimodal App Feature Discovery with LargeLanguage Models
  • 解决IDEA无法克隆GitHub上的工程的问题
  • 【VSCode】常用插件推荐（持续更新~）
  • Leetcode 10 java
  • python基础语法4，函数（简单易上手的python语法教学）课后习题
  • Spyglass CDC basic concept
  • 【案例教程】基于生命周期评价法的农田温室气体排放估算、农田CH4和N2O排放模拟、DSSAT模型农田碳库模型和土壤呼吸
  • 中央厨房选址：五维权衡术
  • Apache RocketMQ 中 Producer（生产者）的详细说明
  • 【string类常见接口】
  • Docker设置容器时间
  • LeetCode热题100——146. LRU 缓存
  • 在各种操作系统上安装 Ansible
  • Git之远程仓库
  • 《Uniapp-Vue 3-TS 实战开发》实现自定义头部导航栏
  • 基于coze studio开源框架二次定制开发教程
  • 乐创E20H1型IO从站与Ethercat转Profinet网关转换器的配置应用案例
  • SpringBoot+Mybatis+MySQL+Vue+ElementUI前后端分离版：日志管理（四）集成Spring Security
  • 校园交友|基于SprinBoot+vue的校园交友网站(源码+数据库+文档)
  • 【前端】CSS Grid布局介绍及示例
  • ThingsKit Edge边缘计算平台是什么？
  • Android Jetpack 系列（五）Room 本地数据库实战详解
  • 8.1 简单计数题
  • RS485 总线电阻匹配技术
  • 两个服务之间的大规模数据推送
  • Gitee
  • AI 调酒师上岗！接管酒吧吧台