AWS之数据分析
目录
数据分析产品对比
1. Amazon Athena
3. AWS Lake Formation
4. AWS Glue
5. Amazon OpenSearch Service
6. Amazon Kinesis Data Analytics
7. Amazon Redshift
8.Amazon Redshift Spectrum
搜索服务对比
核心功能与定位对比
适用场景
关键差异总结
注意事项
实时流数据源对比
核心区别总结
选择建议
关键结论
关键区别总结
协同使用案例
如何选择？
数据分析产品对比
以下是 Amazon Athena、Amazon QuickSight、AWS Lake Formation、AWS Glue、Amazon OpenSearch Service（原 Elasticsearch Service）、Amazon Kinesis Data Analytics 和 Amazon Redshift Spectrum的核心区别及典型使用场景的对比分析：
1. Amazon Athena
核心功能：无服务器交互式查询服务，支持使用标准 SQL 直接分析 Amazon S3 中的原始数据，无需预置基础设施。
• 特点：
• 按查询数据量计费，适合低频临时分析。
• 支持 Parquet、JSON、CSV 等多种格式，与 AWS Glue 元数据目录集成。
• 使用场景：
• 日志分析：例如分析存储在 S3 中的 Web 服务器日志，替代传统 Elasticsearch 的高成本存储方案。
• 数据探索：快速验证数据质量或执行临时查询。
2. Amazon QuickSight
核心功能：云端商业智能（BI）工具，提供数据可视化、自然语言查询（集成 Amazon Q）和交互式仪表盘。
• 特点：
• 支持与 Redshift、Athena、S3 等数据源集成。
• 生成式 AI 功能可自动生成分析报告、PPT 和关键洞察。
• 使用场景：
• 业务报表：为管理层提供实时销售、运营数据的可视化仪表盘。
• 自助分析：非技术人员通过自然语言提问（如“各区域销售额对比”）生成图表。
3. AWS Lake Formation
核心功能：数据湖治理工具，集中管理数据权限、元数据目录和跨源数据整合。
• 特点：
• 统一 S3 数据湖的权限控制（库/表/列级）。
• 自动爬取数据源元数据并构建目录。
• 使用场景：
• 多源数据整合：将 S3、RDS、DynamoDB 等数据统一到数据湖。
• 合规管理：满足 GDPR 等法规要求，控制敏感数据访问权限。
AWS 云端数据湖指南
https://d1.awsstatic.com/whitepapers/architecture/AWS-HPC-Lens.pdf?did=wp_card&trk=wp_card
4. AWS Glue
核心功能：无服务器 ETL（数据提取、转换、加载）服务，自动化生成数据处理脚本。
• 特点：
• 支持数据清洗、格式转换（如 CSV 转 Parquet）。
• 与 Lake Formation 共享元数据目录，提供图形化工作流设计。
• 使用场景：
• 数据湖构建：将原始数据转换为分析友好格式后存储到 S3。
• 批处理作业：例如每天定时处理订单数据并加载到 Redshift。
5. Amazon OpenSearch Service
核心功能：托管式搜索与分析引擎，支持全文检索、日志分析和实时可视化。
• 特点：
• 集成 Kibana 仪表盘，适合日志和点击流分析。
• 提供近实时数据处理能力。
• 使用场景：
• 日志监控：分析应用日志中的错误模式。
• 电商搜索：构建商品标题和描述的快速检索系统。
6. Amazon Kinesis Data Analytics
核心功能：实时流数据处理服务，支持 SQL 或 Apache Flink 进行流计算。
• 特点：
• 低延迟（毫秒级响应），自动扩展计算资源。
• 集成 Kinesis Data Streams 和 Firehose。
• 使用场景：
• 实时指标计算：例如滚动时间窗口内的网站访问量统计。
• 异常检测：监控 IoT 设备传感器数据并触发报警。
7. Amazon Redshift
核心功能：云数据仓库，专为复杂 OLAP 查询设计，支持 PB 级数据分析。
• 特点：
• 列式存储和高级查询优化，性能是标准 Spark 的 3 倍以上。
• 支持物化视图、数据共享和机器学习集成（Redshift MLÿ