利用云雾自动化在智能无人水面航行器中实现自主碰撞检测和分类
大家觉得有读完觉得有帮助记得关注和点赞！！！
抽象
工业信息物理系统 （ICPS） 技术是推动海上自主化的基础，尤其是对于无人水面航行器 （USV）。然而，船上计算限制和通信延迟严重限制了实时数据处理、分析和预测建模，从而限制了海事 ICPS 的可扩展性和响应能力。为了克服这些挑战，我们利用最近提出的 Cloud-Fog Automation 范式的设计原则，提出了一种为海事 ICPS 量身定制的分布式 Cloud-Edge-IoT 架构。我们提议的架构包括三个分层层：用于集中式和分散式数据聚合、高级分析和未来模型优化的云层;执行本地化 AI 驱动的处理和决策的边缘层;以及负责低延迟传感器数据采集的 IoT 层。我们的实验结果表明，计算效率、响应性和可扩展性都有所提高。与我们的传统方法相比，我们实现了 86% 的分类准确率，并提高了延迟性能。通过采用 Cloud-Fog Automation，我们解决了海事 ICPS 应用中的低延迟处理限制和可扩展性挑战。我们的工作提供了一个实用、模块化和可扩展的框架，以在未来海事 ICPS 中推进智能 USV 的稳健自主性和人工智能驱动的决策和自主性。
索引术语：
海事工业信息物理系统、云雾自动化、智能无人水面航行器第一介绍
海上工业信息物理系统 （ICPS） 的采用通过在导航、环境监测和工业应用中实现智能自主作，显著推动了无人水面航行器 （USV） 的发展[1,2,3].随着 ICPS 成为海上自主性不可或缺的一部分，它们以低延迟检测和分类碰撞的能力仍然是一个关键挑战。传统的碰撞检测系统基于视觉传感器（摄像头、LiDAR 和雷达），通常容易受到环境干扰，例如雾、低能见度和水花[4].此外，依赖于来自惯性测量单元 （IMU） 的本体感受数据的替代传感方法已经出现，可提供对环境干扰的鲁棒性[5].通过利用派生信号作为输入数据，人工智能 （AI） 驱动的机制（例如卷积神经网络 （CNN） 分类方法）可以可靠地识别低延迟环境中的碰撞，而无需依赖视觉传感条件[6].但是，板载处理限制了计算资源，导致实际部署中的高延迟、可扩展性问题和能源效率低下[7].
尽管最近的研究探索了基于 IMU 的 USV 碰撞分类，但现有方法主要基于局部/集中处理，限制了低延迟性能和可扩展性。最近的 Cloud-Fog Automation 范例提供了一个分布式、智能且可扩展的计算框架，可在 ICPS 中实现实时决策、自适应控制和弹性自动化，尤其是在复杂、延迟敏感或资源受限的环境中.虽然在 ICPS 中被广泛采用，但大多数基于 USV 的 ICPS 架构目前并未利用以网络为中心的架构。这一差距促使我们提出和开发一种分布式 Cloud-Edge-IoT 架构，专为低延迟 USV 碰撞分类和检测量身定制，同时有效地分配计算负载、去中心化和能效.
图 1：分布式 Cloud-Edge-IoT 架构利用 Cloud-Fog 自动化进行 USV 的碰撞检测和分类。
在本文中，我们做出了以下主要贡献：
- 提出了为海事 ICPS 量身定制的分层 Cloud-Edge-IoT 架构。
- 为低延迟 USV 的 AI 驱动碰撞分类和检测开发了分布式模块化计算架构。
- 在受控水环境中跨层次结构层的分类准确性、处理时间和延迟分析进行了实验验证。
其余论文的结构如下：第二部分介绍了拟议的系统架构，而第三部分详细介绍了研究方法。第 IV 部分描述了实验设置，然后是第 V 部分，介绍了实验结果和讨论。最后，第六节对论文进行了总结并概述了未来的研究方向。
第二系统架构
为了解决与板载处理相关的计算和系统性能限制，我们提出了一种基于 Cloud-Fog Automation 的分布式 Cloud-Edge-IoT 计算架构，以提高能效、可扩展性、可管理性和复杂性约束。该系统分为三个分层层：云层（用于未来增强的数据聚合）、边缘层（人工智能驱动的检测和分类）和 IoT 层（数据采集）。在此架构中，雾计算域包含发生在云层和 IoT 层之间的所有分布式处理，从而能够在靠近数据源的地方进行自适应、实时决策。这种分布式架构可确保海事应用中 ICPS 的计算负载平衡、低延迟决策和可扩展性。
图 1 说明了整个系统架构，突出了每一层的不同角色以及整个网络的通信流。这种分层分层处理可确保在 Edge 层执行低延迟冲突分类，从而最大限度地减少延迟，同时将长期存储功能卸载到 Cloud 层。
拟议的框架集成了本体感觉传感 IMU、AI 驱动的分类和分布式数据处理，以改善 USV 的低延迟碰撞分类。每一层都旨在执行专门的任务，确保无缝和分层的计算工作流程：
- •
云层：用作结构化数据存储节点，维护基本记录和结构化数据集，以备将来分析、预测性维护、AI 模型的重新训练和人工验证参考。
- •
边缘层：使用 Wavelet Transform 执行特征提取，应用 CNN 模型进行碰撞分类，然后提供低延迟警告。
- •
IoT 层：获取原始本体感受 IMU 数据并执行基本数据重组，然后传输到边缘层进行碰撞分类和检测。
II-A 型Cloud Layer：用于未来增强的数据聚合
Cloud Layer（托管在 Cloud Server 上）用作碰撞事件日志、传感器数据和相关分类结果的结构化数据存储库。与传统的基于云的架构不同，AI 处理是远程进行的，这项工作将 AI 推理保留在边缘层[12,9]同时将 Cloud Layer 专门用于：
- •
长期存储分类的碰撞数据。
- •
用于未来 AI 模型优化和预测性维护研究的数据集聚合。
- •
用于监控分布式计算架构性能的系统范围分析。
值得注意的是，Cloud Layer 尚未执行计算或模型重新训练，但仍然是一个可扩展的组件，可通过预测分析和联合学习驱动的优化进一步增强系统[13,14].
II-B 型Edge Layer：AI 驱动的分类和决策
边缘层（在集中式/分散式计算单元上实现）负责数据特征提取和 AI 驱动的碰撞分类。该层处理传入的 IMU 数据，并使用在标记影响数据集上训练的 CNN 对碰撞类型进行分类。Edge Layer 通过利用分布式且强大的计算基础设施来促进低延迟 AI 处理。尽管处理任务不是直接在机上本地化的，但这种方法有效地减少了对云连接的依赖，从而显著提高了运营响应能力和可靠性。关键处理步骤包括：
- Wavelet Transform 用于从 IMU 信号中提取时频域特征。
- 基于 CNN 的分类模型，针对低延迟推理进行了优化，可区分撞击的不同阶段和碰撞位置。
- 一个 Decision-making 框架，用于根据检测分类结果生成冲突警报和作建议。
II-C 型IoT 层：数据采集和预处理
IoT 层由连接到 IMU 的单板计算机组成。IMU 持续捕获线性加速度和角速度数据，为碰撞事件检测提供本体感觉传感。通过将复杂的处理卸载到边缘层，物联网层保持计算轻量级和节能，这对于整体系统性能增强至关重要。为了确保数据完整性和低延迟处理，该层仅通过 Wi-Fi 执行基本的数据重构和数据传输。
第三方法论
III-A 系列数据采集和预处理
IoT 层（在 Raspberry Pi 3B+ 上实现）负责 IMU 数据采集和初步预处理。该系统采用 Adafruit IMU BNO085，通过捕获 1） 线性加速度 （m/s²）、2） 角速度 （rad/s）、3） 方向（欧拉角）等来提供 9 自由度 （9-DOF） 方向数据。为了确保高时间分辨率，IMU 以 100Hz 的频率采样数据，将 5 秒窗口和 3 秒窗口偏移的组合数据包传输到边缘层。原始数据使用 TCP/IP 协议进行重组、打包并从 IoT 传输到边缘。原始数据集包含噪声和干扰，由 BNO085 IMU 的集成 MCU 在物联网层缓解，该 MCU 在数据使用之前执行预处理和传感器融合。
III-B 型特征提取和 AI 驱动的分类
边缘层（Intel i5-9400f 台式机）接收本体感受 IMU 数据，使用 Morlet 小波变换技术执行高级特征提取[15]，并使用基于 MobileNetV2 的 CNN 模型对碰撞进行分类。
III-B1 号基于 Wavelet 变换的特征提取
为了有效地捕获时域和频域模式，此过程采用小波变换 （Wavelet Transform） 进行特征提取。与基于傅里叶的分析相比，这种方法通过提供局部的、对时间敏感的频率分解而具有明显的优势。傅里叶分析提供高频分辨率，而小波则平衡了分辨率和精确的时间定位，使其特别适用于瞬态事件检测，也非常适合 USV 中的撞击识别[16].提取的小波系数被转换为标量图、能量分布的 2D 可视化表示，并输入到 CNN 分类器。图 2 说明了连续小波变换在船舶碰撞数据中的应用。小波函数的选择在确定时域和频域连续小波变换 的分辨率方面起着至关重要的作用，这一方面与为特定信号特性确定合适的小波一起。
III-B2 号卷积神经网络 （CNN） 模型
自定义 CNN 架构[17]在标记的小波尺度图上进行训练，区分三种类型的碰撞和默认阶段：1） 弓（额）;2） 端口（左侧）;3） 右舷（右侧）;4） 无（默认），如图 3 所示。分类任务利用轻量级 CNN 架构 （MobileNetV2），这是一种针对嵌入式系统和资源受限硬件进行了优化的卷积神经网络[18].MobileNetV2 CNN 模型采用具有线性瓶颈的倒置残差，从标准的 3x3 卷积层开始，然后是由 1x1 扩展卷积、深度卷积和 1x1 投影卷积组成的瓶颈块，以保持高效的低维表示。它处理 6 个输入通道（3 个线性加速度，3 个角加速度），在 5 秒的持续时间内（X 轴）和 10Hz（Y 轴）以下接收 192x150 RGB 标量图，具有标准化的连续小波变换系数范围。这些细节确保了时间长度和输入通道的清晰度，从而提高了我们研究方法的可重复性。
图 2：船舶碰撞事件的 X 轴原始加速度数据（左）和连续小波变换标量图（右）。
图 3：USV 碰撞分类的三种主要影响类型[6].
III-C 系列低延迟通信和系统集成
建议的架构采用 Internet 上的 TCP/IP 和 REST API 通信协议，以促进无缝集成[19]，如图 1 所示。具体来说，物联网层将重组后的 IMU 数据包传输到边缘层，以便立即处理和碰撞分类。随后，Edge Layer 将分类的冲突元数据和相关分析数据转发到 Cloud Layer （Firestore），主要用作数据聚合、长期分析和未来可扩展性的存储库。
数据传输包括带时间戳的碰撞事件、IMU 数据、分类碰撞类型、小波变换输出和人工验证的参考。这种结构化的通信管道可确保分布式计算流程的所有层之间实现稳健高效的集成，从而优化低延迟响应和分析能力。
四实验装置
IV-A 型硬件和软件配置
表 I：分布式 Cloud-Edge-IoT 计算架构的实验设置和配置细节。
| 层 | 装置 | 软件 | 功能 |
|---|---|---|---|
| IoT 层 | 树莓派 3B+，IMU BNO085 | Raspberry Pi OS、 套接字 | IMU 数据采集 （100Hz） 和 数据集重构 |
| 边缘层 | 英特尔 i5-9400f 台式机 | TensorFlow、PyWavelets、Python、 MobileNetV2 | 特征提取（小波变换）、CNN 分类、低延迟碰撞决策 |
| 云层 | Firestore （Firebase） | Web API、Firebase 数据库 | 结构化数据存储、 用于未来分析和模型再训练的聚合 |
该系统使用三个分层层实现，每个层都配备了不同的硬件和软件组件。下面的表 I 总结了系统配置。IoT 层收集 100Hz IMU 数据并将处理后的数据传输到边缘层。Edge Layer 执行基于 Wavelet Transform 的特征提取和基于 CNN 的碰撞分类，将分类结果转发到 Cloud Layer 进行数据聚合和未来分析。
IV-B 型测试环境和碰撞仿真
为了确保真实和受控的测试条件，实验装置使用了部署在平静水环境中的模型比例的 USV。该测试台旨在复制真实世界的海洋条件，同时保持可重复性和受控的撞击场景。图 4 显示，USV 在船甲板末端安装了 IMU BNO085 传感器和 Raspberry Pi 3B+。
我们在工作中使用模型比例的船只来代表 USV。IMU 传感器牢固地安装在船体上，确保最小的外部干扰对测量的影响。USV 是手动控制的，以影响数据测试集合的预定义碰撞点。为了最大限度地减少外部干扰，我们的实验在 8m×4m×2m 的封闭水池中进行，以提供受控的水面，在多次试验中具有可预测的冲击动力学，并在环境条件中保持一致以实现可重复性。
测试框架由三个预定义的撞击区域组成，复制了真实世界的碰撞场景。每种影响类型每个场景至少重复 10 次，以确保分类准确性的统计可靠性。IMU 传感器记录了撞击瞬间的加速度和角速度，为分析提供了原始运动数据。
IV-C 型评估指标和数据收集
系统性能使用四个主要指标进行评估，如表 II 所示。选择这些指标来评估所提议系统的准确性、响应能力和通信效率。为了确保可靠的评估，在受控条件下进行的多次实验试验中系统地收集数据。每次试验都涉及记录 IMU 数据、分类输出以及精确测量跨层的处理时间和延迟。通过混淆矩阵分析、系统时间戳和往返时间 （RTT） 分析对指标进行量化，以提供所提议系统的整体性能。在本研究中，RTT 分析用于评估 Edge-to-Cloud 数据传输的完整处理时间。
表 II：性能评估指标
| 度量 | 定义 | 测量方法 |
|---|---|---|
| 分类 准确性 | 正确分类 的碰撞事件率 | 混淆矩阵 分析 |
| IoT 处理时间 | IMU 数据收集和重组的 处理时间 | 传输到 Edge 之前的 时间戳 处理 |
| IoT-to-Edge Latency | Transmission time IMU data package from IoT to Edge | Timestamped transmission events log |
| 边缘层 处理时间 | 特征提取和 CNN 分类的处理时间 | 在数据到达和 CNN 输出时捕获 的时间戳 |
| 边缘到云 延迟 | 从 Edge 到 Cloud 进行存储的传输时间 | 测量结构化数据传输 的 RTT |
图 4：模型级 USV，带有集成的机载系统，具有 BNO085 IMU 和 Raspberry Pi 3B+。
V结果与讨论
V-A分类性能
基于 MobileNetV2 框架的 CNN 模型的分类准确性使用来自 50 次试验的混淆矩阵进行评估，确保数据集平衡，每种影响类型至少进行 10 次试验，以最大限度地减少偏差并确保分类结果的公平性。结果表明，所提出的系统成功地区分了所有碰撞类型，如图 5 所示。
表 III 总结了四种不同影响案例的分类性能。总体而言，该系统实现了 86% 的聚合准确率 （43/50）。统一的精确率、召回率和 F1 分数反映了所有类别的均衡预测能力。
图 5：USV 碰撞分类的混淆矩阵（左）和跨层处理时间/延迟分析（右）。 表 III：分类性能摘要
| 影响案例 | 总案例数 | 正确 | 精度 | 召回 | F1 分数 |
|---|---|---|---|---|---|
| 弓 | 12 | 11 | 0.846 | 0.917 | 0.880 |
| 港口 | 12 | 10 | 0.909 | 0.833 | 0.870 |
| 右舷 | 15 | 12 | 0.800 | 0.800 | 0.800 |
| 没有 | 11 | 10 | 0.909 | 0.909 | 0.909 |
| 整体 | 50 | 43 | 0.861 | 0.860 | 0.859 |
单独来看，“None”和“Port”影响的准确率最高 （0.909），表明正确分类这些特定情景的准确性很高。“Bow” 撞击实现了最高的召回率 （0.917），证明了对实际碰撞事件的可靠检测。然而，“右舷”影响显示性能较低，F1 分数为 0.800，这表明此类的分类准确性可以从额外的训练或精细的特征提取中受益。
从技术上讲，碰撞力和角度的微小变化偶尔会导致检测和分类错误。为了解决这个问题，建议使用由 Cloud Layer 促进的持续 CNN 模型重新训练，以提高系统性能。此外，将注意力机制集成到 MobileNetV2 架构中可以增强模型对关键尺度图特征的关注。例如，H. Cheng 等人。[20]证明 MobileNet 中的融合空间通道注意力机制通过优先考虑相关图像区域来提高分类准确性。此外，传感器位置会影响检测和分类结果，因为位于中央的 IMU 可确保稳定可靠的数据采集，从而最大限度地减少外部影响。总之，结果强调了所提出的架构的有效性和可靠性，同时确定了需要进一步优化以提高整体系统性能的区域，例如 “Starboard” 级。
V-B处理时间和系统延迟分析
系统延迟和处理时间跨三个计算层进行测量：云（数据聚合）、边缘（AI 驱动的分类）和 IoT（数据采集），如表 IV 和图 5 所示。跨层的结果分析强调了在拟议架构中采用 Cloud-Fog Automation 的有效性。IoT 层的处理延迟可以忽略不计，而 IoT-to-Edge 传输引入了中等延迟（300 毫秒），反映了跨区域网络通信中遇到的典型延迟。边缘到云延迟因地理位置和服务器位置差异而异。<
值得注意的是，边缘层实现了最小的处理延迟（6.44 毫秒），确保了可靠的低延迟 AI 驱动的碰撞检测和分类。边缘到云通信延迟因云服务器位置而异，由于地理距离和网络限制，澳大利亚云服务的 RTT 值（210.15 毫秒）低于新加坡的服务（583.66 毫秒）。
使用 RTT 测量而不是单向延迟测量，因为它们在准确评估通信延迟方面具有实用性和可靠性。单向延迟测量通常需要在地理位置分散的节点之间进行精确的时钟同步，这带来了复杂性和潜在的测量不准确性[21].RTT 本身同时考虑了传输和响应延迟，从而提供了更直接、更具代表性的响应能力和网络通信性能度量[22].
表 IV：处理时间和系统延迟摘要
| 过程 | 平均值 （ms） | 标准差 （ms） |
|---|---|---|
| IoT 层 （VN） | 1.00 | ± 1.00 |
| A – 物联网到边缘 （VN→AU） | 282.96 | ± 100.79 |
| B – 边缘层 （AU） | 6.44 | ± 1.08 |
| C – 边缘到云 （AU↔澳大利亚*） | 210.15 | ± 47.79 |
| D – 边缘到云 （AU↔SG*） | 583.66 | ± 152.11 |
VN：越南;AU：澳大利亚;SG： 新加坡 – 地点|* 云服务
这些发现强调了地理优化的云服务选择对于在 USV 碰撞分类系统中保持低延迟通信的重要性。尽管如此，在边缘层和云层之间观察到的延迟不会对低延迟碰撞检测和分类功能产生负面影响，因为关键的 AI 驱动型处理任务在边缘层高效执行。总的来说，结果验证了所提出的用于海上自主运营的分布式 Cloud-Edge-IoT 计算架构的稳健性和有效性。
六结论和未来工作
在本文中，我们提出并开发了一种分布式 Cloud-Edge-IoT 计算架构，专为海上 ICPS 背景下 USV 中的低延迟 AI 驱动的碰撞检测和分类量身定制。通过利用 Cloud-Fog Automation 范式，我们提出了一个分布在分散的分层层上的计算框架，以有效减轻传统板载处理方法的局限性。
我们将基于 Wavelet 的特征提取与基于 MobileNetV2 的 CNN 模型集成在一起，实现了 86% 的准确率。我们的实验验证证明了有效的计算性能，减少了机载处理负载，并提高了低延迟碰撞分类性能。具体来说，IoT 层可靠地捕获了 IMU 数据包，边缘层执行低延迟分类，而云层有效地聚合了数据以供未来增强。实验结果分析进一步证实了所提出的分布式计算架构的效率，在观察到的 IoT 和 Edge 层实现了较低的处理和传输时间（平均值：282.96 + 6.44 毫秒，SD：100.79 + 1.08 毫秒）。网络延迟评估揭示了云服务器位置的变化，强调了地理邻近性的重要性。具体来说，本地（基于 AU）通信的 RTT 延迟（平均值：210.15 毫秒）明显低于新加坡等国际云位置（AU-SG，平均值：583.66 毫秒）。
我们提出的架构不仅展示了海上自主性的潜力，而且还提供了适用于更广泛的 ICPS 应用的通用架构。通过分散计算过程和减少延迟，我们的框架可以支持各种 ICPS 应用程序，包括工业网络机器人、精密制造、工业自动化、资源管理和智能工厂。例如，利用网络化机器人和自主系统的行业可以受益于增强的低延迟决策、高级分析、预测性维护和动态系统适应，利用拟议架构实现的分布式计算。此外，医疗保健、基础设施监控和灾难响应等关键部门可以利用 Cloud-Fog Automation 的可扩展性和低延迟优势来实现强大的远程作和 AI 赋能的自主能力[23,24,25].
我们的工作有助于灵活、可扩展和有弹性的智能系统的未来发展。拟议的架构提供了一个基础框架，可以适应广泛的工业部门，从而提高下一代 ICPS 的智能可扩展性和运营效率。未来的工作将把我们架构的能力扩展到数据聚合之外，从而结合高级预测分析、联合学习和持续的 AI 模型实现，以增强低延迟决策、自适应自主任务卸载和主动自主[26].