AWS Glue ETL 自动化数据清洗：从概念到企业级实战

概念篇：核心概念与技术架构

1. AWS Glue 是什么

AWS Glue 是一款 完全托管的 ETL 服务，主要特点：

• 无服务器：无需管理集群，自动扩展

• ETL 自动化：从 S3、RDS、Redshift、JDBC 数据源提取数据

• 数据清洗和转换：支持 PySpark / Python 代码和 Glue Studio 可视化 ETL

• 元数据管理：与 Glue Data Catalog 集成，统一管理表和分区信息

• 与其他服务集成：S3、Athena、Redshift、Lambda、Step Functions

核心目标：将原始数据自动清洗、结构化并存储到数据湖或数据仓库中，为分析和 BI 提供高质量数据源。

---

2. 核心组件

组件	功能
Glue Data Catalog	元数据管理，存储表结构、列类型、分区信息
Glue Jo