IROS 2025 视触觉结合磁硅胶的MagicGel传感器

在目前的视触觉传感器领域，VBTS的力估计精度受限于相机接收接触表面三维空间形变信息的缺失。有研究者使用双层标记点来提升触觉标记点密度，到使用颜色叠加方式改进触觉传感器的传感原理，但双层标记生产和制造难度大，且视觉传感原理的固有特性——光学形变特征与接触力间的非线性映射易受环境扰动影响，利用双层标记的方式无疑是降低了接触的稳定性。此外，还有研究利用使用双目相机（双目系统）和结构上的改进，接收更丰富信息形成来提升力估计精度，但不利于集成。具体而言，现有方案面临双重困境：（1）复杂光学结构与传感器微型化需求存在根本性冲突；(2)传感原理改进引起的工艺复杂化导致传感器泛化能力不足。IROS 2025论文提出了视触觉结合磁触觉的MagicGel传感器。通过引入磁传感模态构建视觉-磁场异构数据融合框架。其核心在于利用磁场信息补偿视觉图像的信息缺失，通过视、磁关联建立更完备的接触力学表征体系。 MagicGel的主体结构如图1所示。其结构主要分为：涂层、强磁颗粒标记点、弹性体、灯带、霍尔传感器和相机。此外还有接收视觉图像和磁场信息的接收模块。MagicGel的整体尺寸为 313127mm。
图1 MagicGe 结构图。（1）弹性体1。（2）磁粉标记点。（3）光源。（4）弹性体2。（5）支撑板。（6）霍尔传感器电路板。（7）连接器。（8）基地。（9）相机。
为了探究融合了磁触觉信息后对触觉传感器力估计精度提升，需要保证各项条件均相同以此来设计对照实验。采用自身对照的方式进行数据的采集。并利用适当的网络对视觉图像数据、磁场数据和力数据进行处理。为探究视触觉、磁触觉融合提高数据维度的方式能否提高力估计精度，本研究将数据类型聚焦于单一的法向力。
图2（1）测力计（标准力，水平移动，垂直按压）。（2）压头。（3） MagicGel触觉传感器。（4）磁数据接收模块。（5）可视化数据接收模块。
模型 1、模型 2 和模型 3 是在三组不同数据集上训练的模型。实验在三自由度移动平台上进行同时提出了一种利用磁场数据与视觉图像融合的方式来实现力精度的提升。其在数据上的表现为一种对数据进行异构，提出了对异构数据结合进行回归预测的观点。利用递归神经网络来处理从磁性信息中获得的特征向量，并将它们与使用卷积神经网络从图像处理的特征向量相结合。来自两个网络的特征向量连接起来，以预测传感器表面的法向力。网络构架如图3所示。
图3 VBTS 测力模型示意图。将触觉图像的 RGB 三通道信息与磁触觉图像的二维信息进行拼接整合，实现视觉与磁信息的融合。我们通过三个对照组进行了实验数据的分析。第 1 组：使用磁性数据和力信息训练的模型。第 2 组：使用视觉图像和力信息训练的模型。第 3 组：使用视觉图像、磁性数据和力信息训练的模型。图4 力测量结果（其中a、b、c为力/N，d为数据数）。（a）（b）（c）磁触觉、视觉触觉力和视觉-磁融合测量结果。（d）视觉-磁力估计验证结果折线图。真实值（红色），估计值（绿色）。图中点的分散程度代表表现力估计的程度在视触觉传感器中利用刚性磁颗粒作为标记点，配合使用霍尔传感器来接收磁场信息使得更加丰富触觉表面信息过程中，不仅仅是作为一种提升触觉的手段，还能够扩大触觉感知能力。1 接近感知能力在机器人灵巧操作领域，现有触觉传感器通过直接接触或借助传导机制实现对被操作物体的状态感知，存在过度依赖物理接触的固有局限性。值得关注的是，此类传感器在感知过程中需预先通过视觉或力觉反馈判定"触觉临界点"（即传感器与物体发生有效接触的阈值边界）。然而，以基于视觉的触觉传感器（VBTS）为代表的接触式感知装置，常因接触角度偏差或接触力失控导致柔性感知表面发生结构性损伤，进而引发传感器灵敏度衰减与使用寿命降低。为此，在未知环境、低光照条件或视觉遮挡场景下，现有系统往往采取接触前降速策略以规避碰撞风险，这无疑是降低了机器人效率。同时操作端难以精准预判接触边界，致使触觉传感器的接触式感知范式面临显著可靠性挑战。因此，赋予触觉传感器非接触式的接近感知能力，成为提升其环境适应性与操作安全性的关键技术方向。基于MagicGel材料体系设计接近感知验证实验，选取具有典型表面材质与电磁特性的四类消费电子产品（智能手机、智能手表、蓝牙耳机及无线鼠标）作为测试对象。其核心流程如下：将MagicGel触觉传感器刚性安装于实验基座，通过手动调节被测物体与传感器传感界面的相对距离，动态激发MagicGel霍尔传感器接收到的梯度化磁场响应。值得注意的是，这里是通过人工操控模拟机器人末端执行器在实际作业中存在的位姿抖动与定位偏差，从而构建非理想运动状态下的接近感知验证环境。为系统验证MagicGel触觉传感器的接近感知性能，本研究采用标准化数据处理框架：首先基于接触力学特征，将传感界面发生可测物理形变前的瞬时状态定义为接近过程终点，并以此作为磁场强度基准值；其次，对接触过程中的数据以触觉临界点为归一化基准进行无量纲处理。实验数据显示，在针对消费电子产品的接近检测任务中，MagicGel传感单元输出的磁场强度与检测距离呈显著非线性负相关。且在人为引入偏转抖动与前后的位移扰动的非理想条件下，仍能保持距离辨识距离。这表明该传感器在复杂工况下具备鲁棒性的梯度磁场解析能力。如图5所示。图5 接近感知验证（手表、耳机、手机、鼠标）。横轴表示物体接近MagicGel的时间过程，纵轴表示接近程度（0-1）。从上述实验可以证明这种基于视、磁融合方法的触觉传感器MagicGel能够实现接近感知能力。非接触的感知功能显著增强了MagicGel定位环境物体并与环境交互的能力。2、多模态的反馈机制在触觉传感器对外界环境进行感知时，由于环境存在不确定性与未知扰动，系统需实时监测触觉反馈信号的动态变化。这种监测是实现反馈的关键目的，如接触物体的物理特性监测（如表面尖锐度检测），以防止VBTS触觉模块的功能性涂层及弹性体结构_遭受不可逆损伤；以及接触物体位姿突变监测，当物体发生意外位移或作用力骤变时，可能引发触觉模块的表面失效。在此类场景下，精确的力反馈机制固然重要，但响应速度的提升更能显著增强机器人操作的实时性和系统鲁棒性。相较于传统触觉感知方案，磁触觉技术凭借其独特的物理机制，在响应速度方面展现出显著优势：首先，基于麦克斯韦电磁理论，磁场强度的变化与驱动电流具有亚毫秒级同步特性，无需依赖机械传动或材料形变等复杂过程；其次，磁触觉系统构建了"力-磁-电"的直接转换链路，相较基于视觉的触觉传感器（需经历"光学成像-光电转换-图像处理-信息传输"的多级链路），其信号传输效率更高。此外还可通过调整波特率来调节霍尔传感器的接收频率。实验表明，单一磁传感数据的独立力估计存在显著误差（MSE达0.0196，RMSE超0.1399），但其展现的磁-力学关联特性任具有重要价值。实验数据证实：当磁信号与视觉信号融合时，力估计精度提升十分明显；而单独分析磁信号时，尽管绝对误差较大，但其法向力变化趋势与实际物理作用吻合。这表明磁传感数据可作为可靠的趋势预测源，在高速响应场景中为系统提供先导性决策依据。MagicGel三种不同估计力模式的各个过程响应时间，统计结果如表格1所示：表格1 响应时间比较实验表明MagicGel提供更快的反馈并显着缩短响应时间，这对于灵巧机械手的闭环作特别有利。在具有大量磁干扰的环境中，磁性粒子仅用作标记物。这些标记物的二维位移和图像变化通过视觉触觉传感机制记录下来，该机制作为一个VBTS运行。对于需要精确估计力的任务，这种视触觉图像和磁性数据的集成提供了一种有效的解决方案，增强了触觉传感器的感知能力，并能够根据特定的应用要求进行调整。该论文提出并验证了一种基于视-磁异构传感融合的触觉力感知增强方法。通过磁光复合标记层设计，创新性地将磁性小颗粒集成至VBTS触觉模块的视、磁复合标记层，成功研制MagicGel传感器。该装置在接触过程中同步采集触觉形变图像与三维磁场分布数据，构建起时空对齐的异构传感数据集，相较于传统纯视觉方案，信息维度得到了扩展（新增磁场强度及梯度特征通道）。实验表明，通过跨模态特征级融合算法，MagicGel在法向力估计得到了提升，较基准模型提升10.1%。进一步地，该融合架构可同步实现基于磁场梯度的非接触式接近感知（检测距离200mm）以及视觉-触觉-磁场的多模反馈耦合机制，在接近感知任务中成功实现距离判定。本研究成功突破了传统单模态触觉感知的精度瓶颈，通过磁光物理场的协同感知机制为VBTS系统构建起多维力感知-预测-控制闭环，为灵巧操作系统的力控优化和加强 VBTS 的力感知能力提供了创新思路和新范式。