物联网数据归档方案选择分析
最近在做数据统计分析。我在做数据分析时候,需要设计归档表。有两种方式, 方式1:年月日。 其中,日表是每小时数据,每台设备有24条数据 月表是每天数据,每台设备根据实际月天数插入 年表是每月数据,每台设备有12条数据。 方式2:年月日时。 其中,小时表,是每个设备每小时汇总 日表,是每天汇总 月表是每月汇总 年表是每年汇总。 上面两种方案,哪个更符合物联网中归档数据方案?
在物联网(IoT)归档数据场景中,方式2(年月日时分区)通常是更优且更符合行业实践的选择。以下是详细分析和建议:
核心原因:时序数据特性与查询效率
-
分区粒度匹配数据生成频率
-
IoT设备按小时(甚至更细粒度)产生数据,小时表直接对应原始数据粒度,写入时天然对齐分区,避免跨分区插入。
-
方式1的日表需在单分区内存储24小时数据(单设备24条/天),写入时需定位到具体日期分区,易引发热点写入问题(如所有设备同时写入当日分区)。
-
-
查询性能优化
-
典型IoT查询场景:
-
明细查询:”查询设备A在2023-06-15 14:00~15:00的原始数据“
→ 方式2只需扫描hour=14,15
分区,效率极
-
-