数据湖 (特点+与数据仓库和数据沼泽的对比讲解)
数据湖就像一个“数据水库”，把企业所有原始数据（结构化的表格、半结构化的日志、非结构化的图片/视频）原样存储，供后续按需分析。
对比传统数据仓库：
| 数据仓库 | 数据湖 | |
|---|---|---|
| 数据 | 清洗后的结构化数据（如Excel表格） | 原始数据（日志、图片、CSV、JSON） |
| 模式 | 先定义结构再存数据（Schema-on-Write） | 先存数据再按需定义结构（Schema-on-Read） |
| 用途 | 固定报表、BI分析 | 机器学习、探索性分析、灵活挖掘 |
数据湖的3大核心特点
- 存一切原始数据
- 例子：电商公司把用户点击日志、客服录音、商品图片都丢进数据湖。
- 低成本存储
- 技术：用Hadoop HDFS、Amazon S3、阿里云OSS等分布式存储，1TB月费仅5美元。
- 按需分析
- 工具：SQL查询（Hive、Presto）、机器学习（Spark ML）、可视化（Tableau）。
数据湖典型架构（3层设计）
- 存储层：原始数据直接存储（如AWS S3）。
- 处理层：清洗、转换数据（用Spark、Flink）。
- 服务层：供分析师、数据科学家按需使用（如用Jupyter Notebook分析）。
数据湖 vs 数据沼泽
- 成功的数据湖：有元数据管理（知道存了什么）、访问权限控制、数据目录。
- 失败的数据沼泽：数据乱堆不放标签，找数据像“大海捞针”。
关键工具： - 元数据管理：Apache Atlas、AWS Glue Data Catalog。
- 数据治理：Collibra、Alation。
数据湖的3个实际应用
- 用户行为分析
- 案例：抖音把每个用户的点击、播放、停留时间存入数据湖，训练推荐算法。
- 物联网（IoT）
- 案例：特斯拉将车辆传感器数据实时写入数据湖，分析电池健康状态。
- 金融风控
- 案例：支付宝用数据湖存储交易记录、地理位置、设备信息，实时检测欺诈交易。
一句话总结
数据湖 = “原始数据仓库”，存一切数据，不预设用途，需配合治理工具避免成“数据垃圾场”。