ELK安装部署同步mysql数据

ELK 安装部署指南
ELK 是 Elasticsearch、Logstash 和 Kibana 的简称，用于日志收集、存储、分析和可视化。
1. 安装 Elasticsearch
Elasticsearch 是一个分布式搜索和分析引擎。
1.1 下载并安装
访问 Elasticsearch 官网 下载最新版本。
解压并安装：

  tar -xzf elasticsearch-8.10.0-linux-x86_64.tar.gz
  cd elasticsearch-8.10.0

1.2 配置
修改 config/elasticsearch.yml 文件：

  cluster.name: my-elasticsearch
  node.name: node-1
  network.host: 0.0.0.0
  http.port: 9200

1.3 启动
启动 Elasticsearch：

  ./bin/elasticsearch

1.4 验证
访问 http://localhost:9200，查看是否返回 Elasticsearch 信息。

2. 安装 Logstash
Logstash 是一个数据收集和处理管道。
2.1 下载并安装
访问 Logstash 官网 下载最新版本。
解压并安装：

  tar -xzf logstash-8.10.0-linux-x86_64.tar.gz
  cd logstash-8.10.0

2.2 配置
创建配置文件 config/logstash.conf：

  input {
    file {
      path => "/var/log/*.log"
      start_position => "beginning"
    }
  }

  output {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "logs-%{+YYYY.MM.dd}"
    }
  }

2.3 启动
启动 Logstash：

  ./bin/logstash -f config/logstash.conf

2.4从mysql更新数据
2.4.1. 安装 Logstash JDBC 插件
进入 Logstash 安装目录。
安装 JDBC 插件：

   ./bin/logstash-plugin install logstash-input-jdbc

2.4.2. 下载 MySQL JDBC 驱动
访问 MySQL Connector/J 下载 JDBC 驱动。
将下载的 mysql-connector-java-x.x.x.jar 文件放到 Logstash 的 lib 目录下。

2.4.3. 配置 Logstash
创建 Logstash 配置文件 mysql-to-elasticsearch.conf：

   input {
     jdbc {
       jdbc_driver_library => "/path/to/logstash/lib/mysql-connector-java-x.x.x.jar"
       jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
       jdbc_connection_string => "jdbc:mysql://localhost:3306/your_database"
       jdbc_user => "your_username"
       jdbc_password => "your_password"
       schedule => "* * * * *"  # 每分钟同步一次
       statement => "SELECT * FROM your_table WHERE updated_at > :sql_last_value"
       use_column_value => true
       tracking_column => "updated_at"
       tracking_column_type => "timestamp"
       last_run_metadata_path => "/path/to/last_run_metadata"
     }
   }

   output {
     elasticsearch {
       hosts => ["localhost:9200"]
       index => "your_index"
       document_id => "%{id}"
     }
   }

启动 Logstash：

   ./bin/logstash -f mysql-to-elasticsearch.conf

3. 安装 Kibana
Kibana 是一个数据可视化工具。
3.1 下载并安装
访问 Kibana 官网 下载最新版本。
解压并安装：

  tar -xzf kibana-8.10.0-linux-x86_64.tar.gz
  cd kibana-8.10.0

3.2 配置
修改 config/kibana.yml 文件：

  server.host: "0.0.0.0"
  elasticsearch.hosts: ["http://localhost:9200"]

3.3 启动
启动 Kibana：

  ./bin/kibana

3.4 验证
访问 http://localhost:5601，查看 Kibana 界面。

4. 总结
Elasticsearch: 用于存储和搜索日志数据。
Logstash: 用于收集和处理日志数据。
Kibana: 用于可视化和分析日志数据。
通过以上步骤，可以完成 ELK 的安装和部署。