【技术】记一次 Docker 中的 ES 数据迁移，使用 Reindex API
记一次 Docker 中的 ES 数据迁移，使用 Reindex API
- 环境背景
- 需求背景
- 开始迁移
- 确认老 ES 的访问地址
- 在新 ES 中创建索引的 Mapping (选配)
- 在新 ES 中配置老 ES 的地址
- 开始迁移数据
- 数据验证
首先声明，是因为环境限制，没有办法使用同步工具，不得已才使用 Reindex API 进行数据同步的。
环境背景
- Linux
- Docker：20
- ElasticSearch：8
需求背景
老的 ES 在 Docker 安装的时候设置的内存太小，导致数据量过大时查询直接内存溢出，容器挂掉。原计划是修改老 ES 的内存配置，奈何最开始安装的时候没有进行挂接，进入到容器中也无法修改，就连 Docker 容器的 json 文件都改了，也不行。所以就直接启动了一个新的 ES 容器，这下把能挂接的目录都挂到宿主机上，方便后续修改。现在问题来了，之前的数据怎么办？要么忍痛割爱，等着系统同步，要么数据迁移。果断选择后者，谁让喜欢折腾呢。
开始迁移
确认老 ES 的访问地址
- 情况1： 因为老 ES 安装的时候直接使用的主机模式，所以直接用宿主机的IP和对应端口就行。
- 情况2： 没有使用主机模式，得先查看 Docker 给 ES 分配的 IP 地址。使用
docker inspect <容器ID/名称>查看容器信息。找到NetworkSettings -> NetWorks -> bridge -> IPAddress就可以看到 Docker 给 ES 分配的 IP 地址。
在新 ES 中创建索引的 Mapping (选配)
ES 在数据迁移的时候会自动创建索引，但是 Mapping 不会创建，所以有必要的话可以先在新 ES 中创建索引，并添加 Mapping。如果不需要可以跳过此步骤。
curl -X PUT "http://<ES_HOST>:9200/new_index?pretty" -H 'Content-Type: application/json' -d'
{"settings": { /* 自定义设置 */ },"mappings": { /* 自定义映射 */ }
}
'
在新 ES 中配置老 ES 的地址
编辑 elasticsearch.yml
cluster:remote:old_cluster:seeds: "<源集群容器IP>:9300"
添加配置后，重启容器生效。重启命令：docker restart <容器ID/名称>
开始迁移数据
重启之后，请求新 ES 地址，开始同步数据
curl -X POST "http://目标ES_HOST:9200/_reindex?pretty" -H 'Content-Type: application/json' -d'
{"source": {"remote": { "host": "http://源ES_HOST:9200" },"index": "old_index","size": 5000 // 每批迁移文档数},"dest": { "index": "new_index" }
}
'
如果 ES 有安全认证，需要在 remote 属性中添加认证属性；
"remote": {"host": "http://源ES_HOST:9200","headers": { "Authorization": "ApiKey <Base64编码的API密钥>" }
}
数据验证
curl -X GET "http://<ES_HOST>:9200/new_index/_count?pretty" -H 'Content-Type: application/json' -d'
{ "query": { "match_all": {} } }
'
PS：curl 可能用着不舒服，使用 postman 也是可以的，只需要把{}的内容作为请求的 body传递即可，注意改成 JSON 类型。