物联网数据湖架构
物联网海量数据湖分析架构（推荐实践）
┌──────────────┐
│ IoT设备端 │
└──────┬───────┘│（MQTT/HTTP）▼
┌──────────────┐
│ EMQX等 │ 可选（也可设备直接接Kafka/MQ）
└──────┬───────┘│（MQTT→Kafka Bridge）▼
┌──────────────┐
│ Kafka │ ★ 数据总线，高并发缓冲与削峰
└──────┬───────┘││（流式消费）▼
┌────────────────────────┐
│ Flink/Spark Streaming │ ★ 流/批处理，数据清洗、聚合、分桶分区、批量落盘
│ （写数据湖/OSS） │
└──────┬───────────┬─────┘│ ││ ││（7天内热数据） │（数据湖分区归档）▼ ▼
┌──────────────┐ ┌────────────────────────────┐
│ MongoDB │ │ OSS/S3/MinIO 数据湖区 │
│（短期热数据）│ │ Parquet/ORC分区批量归档存储│
└──────────────┘ │（如year=2025/month=05/…） │└────────────┬───────────────┘│┌───────────────┴──────────────┐▼ ▼Trino/Presto/StarRocks 离线分析/可视化★ 分布式SQL分析引擎直接查OSS湖区（支持中位数、P95、聚合统计）
架构分层说明与选型理由
1. 采集层
- IoT设备端 → EMQX（可选）→ Kafka
- 负责承接海量并发，Kafka做主消息缓冲和削峰，方便后端弹性扩容。
2. 计算与写入层
- Flink/Spark Streaming
- 实时消费Kafka消息，数据预处理、格式校验、异常数据隔离。
- 批量写入MongoDB（仅7天热数据）用于短期API查询。
- 按时间/设备等分区批量归档到OSS/数据湖（Parquet/ORC格式），实现低成本无限扩容。
3. 存储层
-
MongoDB
- 只保存近7天热数据，满足实时接口和最新查询需求。
- 定期自动清理过期数据，降低成本。
-
OSS/S3/MinIO（数据湖区）
- 主存储，Parquet/ORC分区存储全部历史数据，适用于大批量聚合分析。
- 按时间、设备等多级分区，检索效率高。
4. 分析与服务层
-
Trino/Presto/StarRocks
- 直接用SQL连接OSS数据湖，支持max/min/avg/median/p95/窗口聚合等分析。
- 支持多用户高并发大规模历史数据查询，完全无需再将OSS数据批量倒回MongoDB。
-
可选：离线分析/BI可视化工具
- 如Superset、Tableau，连接Trino等实现数据报表和大屏。
核心优势
- 超强弹性：Kafka、Flink、OSS/数据湖全部可横向扩容。
- 冷热分层、成本低：MongoDB只做热数据，OSS承担所有归档数据，节省高性能数据库资源。
- 超强分析能力：Trino/Presto等支持SQL直查海量历史，聚合/分位点分析性能极佳，毫无压力。
- 开发和运维简单：如同MyBatis查MySQL一样用SQL查数据湖，逻辑简单，技术栈成熟。
数据湖分区和存储规范举例
-
存储格式：Parquet（列式存储，压缩高效，分析性能好）
-
分区策略：
oss://iot-data-bucket/iot_data/year=2025/month=05/day=20/device_id=xxxx/part-xxxxx.parquet或简单时间分区+字段过滤
-
每条数据内容：
device_id ts param_a param_b … xxx001 2025-05-20 10:01:23 12.3 8.6 … xxx002 2025-05-20 10:01:24 15.4 7.8 …
查询范例（以Trino为例）
SELECTdate_trunc('minute', ts) AS minute,avg(param_x) AS avg_value,max(param_x) AS max_value,min(param_x) AS min_value,approx_percentile(param_x, 0.5) AS median_value,approx_percentile(param_x, 0.95) AS p95_value
FROMhive.iot_data
WHEREdevice_id = 'your_device_id'AND ts BETWEEN TIMESTAMP '2025-05-19 00:00:00'AND TIMESTAMP '2025-05-19 23:59:59'
GROUP BYdate_trunc('minute', ts)
ORDER BYminute;
常见问题解答
-
OSS数据能实时查吗？
通常数据归档延迟可做到分钟级，Trino等SQL引擎查OSS/MinIO的数据几乎是实时的，性能远超传统数据库聚合。 -
Java应用如何查？
和查MySQL一样，用Trino/Presto的JDBC驱动发SQL即可，不需要自研复杂代码。 -
如果业务刚迁移，原有MongoDB接口怎么办？
前7天热数据照常查MongoDB，历史分析走SQL数据湖即可，两者可并行平滑过渡。
补充：核心技术选型
| 场景 | 推荐组件 |
|---|---|
| 消息中间件 | Kafka |
| 流式处理 | Flink/Spark Streaming |
| 热数据缓存 | MongoDB |
| 数据湖/归档存储 | OSS/S3/MinIO + Parquet |
| SQL分析 | Trino/Presto/StarRocks |
| BI与报表 | Superset/Tableau等 |