AWS DMS 任务优化实战：解决 Aurora MySQL 到 Redshift 的数据一致性与性能问题
前言
在使用 AWS Database Migration Service (DMS) 进行 Aurora MySQL 到 Redshift 的大规模数据迁移时，我们遇到了一个典型但棘手的问题：如何在保证数据一致性的同时，避免对源端和目标端造成过大压力？本文将分享我们从问题发现、根因分析到最终解决方案的完整实践经验。
一、问题背景
业务场景
- 源端：Aurora MySQL（生产环境）
- 目标端：Amazon Redshift
- 数据规模：61 张表（且持续增长）
- 迁移需求：历史数据迁移（Full Load）+ 实时增量同步（CDC）
初始架构设计
根据 AWS 后台建议，我们采用了以下方案：
方案 1.0：
- 分别创建 Full Load 任务和 CDC 任务
- 多个表放在同一个任务中
- 按任务类型分开执行
设计初衷：
- Full Load 和 CDC 分离，便于管理
- 多表合并，减少任务数量
- 分阶段执行，降低风险