大数据面试问答-数据湖
1. 概念
数据湖（Data Lake）：
以原始格式（如Parquet、JSON等）存储海量原始数据的存储库，支持结构化、半结构化和非结构化数据（如文本、图像）。采用Schema-on-Read模式，数据在读取时才定义结构，适合机器学习、探索性分析等场景。
2. 与数仓对比
| 维度 | 数据仓库 | 数据湖 |
|---|---|---|
| 数据存储 | 处理后的结构化数据 | 原始数据（结构化/半结构化/非结构化） |
| Schema处理 | Schema-on-Write（写入时定义结构） | Schema-on-Read（读取时定义结构） |
| 处理流程 | ETL（提取-转换-加载） | ELT（提取-加载-转换） |
| 用户群体 | 业务分析师、BI工程师 | 数据科学家、数据工程师 |
| 查询性能 | 高性能，优化用于复杂查询 | 依赖计算引擎（如Spark），灵活性高 |
| 扩展性 | 垂直扩展为主，成本较高 | 水平扩展，成本较低（基于对象存储） |
| 数据治理 | 严格的数据质量与元数据管理 | 需额外治理（易成“数据沼泽”） |
| 典型技术栈 | Snowflake、Redshift、BigQuery（现代云数据仓库） | AWS S3、Azure Data Lake + Spark/Hive |
数据仓库的治理是“被动”的（写入时已结构化），而数据湖的治理是“主动”的（需额外定义元数据和质量规则）。两者的治理目标一致，但数据湖的治理复杂度更高。
2.1 优缺点分析
数据仓库
优点：数据一致性强、查询高效、易于业务用户使用。
缺点：扩展成本高、灵活性差，难以处理非结构化数据。
数据湖
优点：存储成本低、支持多样数据类型、适合探索性分析。
缺点：缺乏内置治理，需额外工具管理元数据和质量（如Apache Atlas、AWS Glue）。
2.2 应用场景
数据仓库：
定期生成标准化报表（如销售月报）。
需要高性能聚合查询的OLAP场景。
数据湖：
机器学习模型训练（需原始数据）。
日志分析、IoT设备数据存储等非结构化处理。
3. Delta Lake与Apache Hudi
两者均属于Lakehouse技术，旨在为数据湖添加数据仓库的管理能力，解决传统数据湖的痛点：
ACID事务：支持并发写入和读一致性。
数据版本控制：时间旅行（Time Travel）功能。
更新/删除：支持CDC（Change Data Capture）场景。
优化查询性能：通过索引、压缩等技术加速分析。
3.1 Delta Lake
背景：由Databricks开源，深度集成Spark生态。
核心功能：
事务日志：通过JSON事务日志（Delta Log）记录所有操作，实现ACID。
Schema演进：支持自动合并Schema变更（如新增列）。
优化工具：OPTIMIZE命令压缩小文件，Z-Order优化数据布局。
用例：
流批一体处理（同一张表同时支持流式写入和批量分析）。
机器学习特征存储（支持版本回滚）。
# 将数据保存为Delta格式
df.write.format("delta").save("/data/events")
# 时间旅行查询
spark.read.format("delta").option("versionAsOf", 10).load("/data/events")
3.2 Apache Hudi
背景：由Uber开源，强调高效的增量更新和删除。
核心功能：
索引机制：支持布隆过滤器、HBase索引等，快速定位数据文件。
表类型：
Copy-on-Write：更新时重写文件（适合读多写少）。
Merge-on-Read：更新时追加日志文件（适合写密集场景）。
用例：
数据库CDC同步（如MySQL Binlog入湖后更新Hudi表）。
实时数据湖（支持低延迟写入）。
// 写入Hudi表
hoodieWriteConfig = HoodieWriteConfig.newBuilder().withPath("/data/events").build();
JavaRDD<HoodieRecord> records = ...;
client.upsert(records, commitTime);