物联网技术与基础第六节上课笔记

上课的开始讲了一下我们的目前的大数据时代

讲了搜集信息的几种采集频率：时间戳的，事件触发的等等

如今的大数据存储，传输，应用都是十分广泛，生活无处不大数据

后面讲了k means还有svm支持向量机还有一些lstm时间序列神经网络还有cnn卷积以及mysql大数据库等等等，，，还讲了l1范式，l2范式，以及cos范式，他们的计算距离计算量相对较大

但是他们的时间和空间参数基本是线性的

 

 

主题：

HDFS数据读写机制与物联网应用

概要：

该文本讲解了HDFS的分布式数据存储与读写机制，以及数据库、搜索引擎和物联网技术在各领域的应用。

1.HDFS通过分布式架构将数据存储在多个节点上，写入数据时采用逐级传输和逐级反馈的机制，确保每个数据块在多个节点上保持一致。客户端向NameNode发起写请求，NameNode检查文件状态并分配数据块位置，随后数据通过管道依次写入各数据节点并确认写入成功。

 

2.读取HDFS数据时不需要像写入那样严格同步，系统会根据客户端位置选择最近的数据节点进行读取以提高效率。NameNode提供文件数据块的位置信息，客户端优先从距离最近的节点读取数据，在出现故障时自动切换到其他副本，保证读取的可靠性和性能。

 

3.MapReduce编程模型包含映射和规约两个阶段，先将输入数据分割后并行处理完成映射操作，再对结果进行排序、合并与规约最终输出汇总结果。该模型使开发者无需关注分布式细节即可在大规模数据集上运行程序，提升了数据处理的便捷性与效率。

 

4.关系数据库基于1976年提出的理论发展而来，使用结构化查询语言（SQL）进行数据的存储、查询、更新和管理，支持复杂的数据操作且具有良好的通用性。MySQL是典型的关系数据库系统，常用于学生信息管理系统等场景，通过表结构组织数据并支持多维度的数据检索与管理。

 

5.搜索引擎支持文本、图像和音频等多种类型的数据检索，用户可通过关键词查找网页或图片内容，语音助手如Siri则依赖音频识别技术实现指令解析。这些工具广泛应用于日常信息获取、PPT制作素材搜索及智能交互服务中，提升信息查找效率。

 

6.物联网数据在智能制造中用于设备预测性维护，通过传感器实时采集发动机振动频率与温度数据，结合SDM分析技术降低非计划停机率42%并减少维护成本25%以上。类似方法也应用于机床和机械臂的异常检测，利用边缘计算触发报警与停机，预测设备寿命并优化运维策略。

 

7.智慧城市利用物联网数据优化交通与能源管理，例如网约车平台整合GPS、路口摄像头和用户需求数据构建城市交通路网图，识别高峰时段高频通勤路线以优化派单和调度车辆。新加坡滨海湾园区通过采集光伏发电量、用电负荷与环境温湿度数据，运用强化学习算法调度电力，提升能效18%以上并降低碳排放10%。

 

8.智慧农业通过部署土壤温湿度传感器、天气预报数据和无人机多光谱成像技术，综合分析环境参数与作物生长关系，当土壤湿度低于15%且未来24小时无降雨时自动启动灌溉系统。结合CNN模型识别病虫害特征，可提前3至5天预警，减少农药使用并降低水资源浪费超过40%。

 

9.医疗领域应用物联网设备进行健康监测，如飞利浦手环采集心电图和心率变异性数据，采用联邦学习技术在本地加密训练模型以保护隐私，识别房颤特征并向用户或医生发出预警，临床验证早期预警准确率达92%。同时通过分析基因与化合物反应数据，挖掘疾病关联关系，缩短新药研发周期60%，降低研发成本至原来的45%。

 

10.车联网系统中车辆通过协议向云端上报油量、刹车片磨损程度、驾驶行为及路况信息，云端据此训练驾驶风险评估模型，当每小时刹车次数超过54次时推送安全提醒。充电桩数据经模型训练后可在电流达80%或电量超95%时自动停止充电，并将空闲桩信息推送给用户APP，方便快速定位可用设施。