《基于单层软皮和高密度电阻抗层析成像的多模态信息结构》论文解读
作者开发了一种单层多模态传感皮肤,其核心是基于高灵敏度水凝胶膜和高密度电阻抗断层扫描(EIT)技术,可通过 863,040 个导电通路识别至少六种不同的多模态刺激(包括人类触摸、损伤、多点绝缘按压、局部加热等)。该技术通过数据驱动的信息结构化方法筛选高效监测通路,解决了传统传感器在制造复杂、软 - 硬界面分层、信号干扰等问题。将水凝胶制成成人手形后,其能实现环境条件预测、触摸定位(38,000-mm² 区域内定位误差约 25mm)和本体感受数据生成,为单层皮肤在敏感系统中的信息导向设计开辟了新方向。
目录
一、研究背景与目标
1.1 研究背景
1.2 研究目标
二、核心技术与方法
2.1 多模态传感皮肤的整体框架
2.2 核心材料:明胶基水凝胶膜
2.3 高密度 EIT 技术的应用
2.4 数据驱动的信息结构化方法
2.5 从 2D 到 3D 的验证体系
三、关键实验结果
3.1 2D 圆形膜实验(8 电极,10cm 直径)
3.1.1 实验平台与参数设定
3.1.2 刺激设计与施加方式
3.1.3 实验内容与结果呈现
3.1.4 数据驱动的信息结构化方法
3.1.5 估计多模态信息
3.2 3D 手形皮肤实验(32 电极,38,000-mm² 面积)
3.2.1 结构与制造设计
3.2.2 3D 手形软传感皮肤在多模态感知任务中的具体性能表现
四、研究意义
4.1 突破传统技术局限:
4.2 推动多模态感知技术发展:
4.3 建立信息结构化新框架:
4.4 拓展应用场景:
4.5 为材料与设计创新提供方向:
一、研究背景与目标
1.1 研究背景
人类皮肤的传感特性:人类皮肤能在大面积上可靠捕获多种模态数据,同时提供柔软的交互界面,这为人工传感技术提供了生物原型
传统技术的局限:
基于微机电系统(MEMS)的人工技术虽能模拟部分生物功能,但存在制造复杂、因软 - 硬界面导致分层、电干扰等诸多挑战。
现有的电子皮肤通常通过组合具有刺激特异性响应的传感单元实现多模态感知,且依赖嵌入柔性软基底的模块化传感组件集成,但这类皮肤制造繁琐(需在大表面分布和连接多个小部件,仅限简单形状)、因多软 - 硬界面导致不可拉伸或易损坏,还存在信号干扰和串扰问题,不适合机器人应用。
虽有研究探索利用同一传感单元响应所有刺激(通过高通量传感通道和计算技术解耦刺激),但视觉基触觉皮肤仅限简单形状且因软 - 硬界面易损坏,电阻抗断层扫描(EIT)技术在复杂 3D 形状应用中受限,现有方法多针对简单皮肤形状。
多模态感知的需求增长:随着机器人功能设计愈发复杂,对软皮肤多模态感知的需求不断增加,需要能同时感知温度、压力、损伤等多种刺激的技术。
1.2 研究目标
开发一种能无缝集成到现有机器人设备中的触觉皮肤技术,同时提供高密度多模态触觉信息。
探索基于高密度 EIT 的信息结构化方法,应用于能响应多模态触觉线索的复杂形状单层传感膜,解决传统技术在复杂 3D 形状上的应用限制。
通过 EIT 硬件选择电极组合,在为软应变传感应用开发的可愈合水凝胶上生成特定电场,利用水凝胶的热可逆性铸造成传感 3D 皮肤,并在全尺寸空心手上演示多模态传感能力(如环境条件预测、触摸定位、本体感受数据生成等)。
二、核心技术与方法
2.1 多模态传感皮肤的整体框架
多模态传感皮肤的信息结构化框架 overview。该框架的核心是通过电阻抗断层扫描(EIT)硬件在皮肤上生成电场,以此检测多模态刺激,而返回的信息可通过皮肤自身的成分、形态以及激励电极的配置进行结构化处理。使用明胶基水凝胶作为软膜,因其能直接铸造成复杂的连续形状(如人类尺度的手),且不存在软 - 硬界面。通过选择性地激励该膜,可输出结构化信息,这些信息可用于监测环境条件、定位触觉刺激,以及探究多模态刺激之间的异同。该框架所涉及的多模态刺激类型包括主动刺激(如按压、触摸、损伤、熔化等)和环境刺激(如温度、湿度),以及实现这一框架的关键环节,如电极选择、电流注入、电场生成、信息通道监测和感知结果输出等。
2.2 核心材料:明胶基水凝胶膜
选用明胶基水凝胶作为传感膜的核心材料,其具有低成本、可拉伸、压阻响应(对 strain 敏感)、热可逆性(可铸造成复杂 3D 形状)及自修复特性,且能监测环境温度和湿度。
该水凝胶无软 - 硬界面,避免了传统传感器因多界面导致的分层问题,且整体连续性确保了拉伸性和鲁棒性,局部损伤不影响整体结构功能。
2.3 高密度 EIT 技术的应用
电极配置与导电通路:通过在传感膜边缘布置电极(最多 32 个),构建四极电极系统(2 个电极注入交流电生成电场,2 个电极测量电压差),形成大量导电通路。例如,32 个电极可产生 863,040 种四极配置,每种配置监测信号的均方根(RMS)和相位,共 1,726,080 个信息通道。
信号检测原理:多模态刺激(如触摸、加热、损伤等)通过改变水凝胶局部电导率影响电场分布,电极测量的电压变化可反映刺激类型、位置等信息。例如,损伤会局部降低电导率,导致测量电压升高;导电触摸会局部提高电导率,导致电压降低。
2.4 数据驱动的信息结构化方法
通路筛选:通过物理测试监测所有电极配置的信号,利用主成分分析(PCA)、统计 F 检验等数据驱动方法,筛选对特定刺激最敏感的 “高效通路”,平衡信息率(最高 33 kHz)与内容,避免冗余计算。
多模态解耦:利用不同刺激对电导率影响的空间分布(如损伤的 “锐变” 与按压的 “渐变”)和时间特性(如熔化的冷却过程),结合筛选出的 “独特通路”(仅对某一刺激响应强烈),实现多模态刺激的区分与识别。
2.5 从 2D 到 3D 的验证体系
2D 圆形膜测试:先在 8 电极的 10cm 直径圆形水凝胶膜上验证,通过 1680 种电极配置识别 7 种刺激(含绝缘触摸基线),建立信息结构化的基础方法(如 PCA 指纹图谱)。
3D 手形皮肤应用:将水凝胶铸造成成人手形(38,000-mm² 面积),在腕部布置 32 个电极,利用筛选出的高效通路实现环境温湿度预测、触摸定位(平均误差≈25mm)及手指弯曲的本体感知,验证技术在复杂 3D 形状中的适用性。
三、关键实验结果
3.1 2D 圆形膜实验(8 电极,10cm 直径)
八电极圆形水凝胶膜这一基础平台上,针对多模态刺激对水凝胶电场的影响展开的系统性探究,旨在通过模拟与实测相结合的方式,深入解析不同刺激的作用机制及可检测性,为后续的刺激区分和定位奠定扎实基础,具体细节如下:
3.1.1 实验平台与参数设定
实验核心载体是直径 10 厘米的圆形明胶基水凝胶膜,其边缘均匀分布 8 个电极,可形成 1680 种四极电极配置(2 个注入电流,2 个测量电压),对应 3360 个信息通道(每个配置同时监测信号的均方根和相位)。为降低噪声干扰,实验采用 1Hz 的测量频率,通过高速电子设备实现电极配置的快速切换和信号采集,确保数据的稳定性和准确性。
3.1.2 刺激设计与施加方式
实验选取了 7 种具有代表性的模态刺激,涵盖不同作用机制和响应特征:
- 损伤:通过尖锐物体在水凝胶表面制造局部破损,模拟皮肤的物理损伤;
- 绝缘按压:用绝缘材质(如塑料棒)对水凝胶表面施加一定压力;
- 熔化:利用热源(如热风枪)将水凝胶局部加热至熔化状态,随后自然冷却;
- 导电触摸:用导电材质(如金属螺栓)接触水凝胶表面;
- 人类触摸:由实验人员用手指直接触碰水凝胶表面;
- 人类多点触摸:实验人员用多个手指同时触碰水凝胶表面不同位置;
- 绝缘触摸:用绝缘手套接触水凝胶表面,作为无显著电导率变化的基线参考。
这些刺激在施加时,均控制在水凝胶膜的特定区域,以保证实验的可重复性。
3.1.3 实验内容与结果呈现
刺激对电导率的影响机制验证(图 2A 关联实验):通过监测不同刺激作用时水凝胶局部电导率的变化,验证了损伤和绝缘按压会降低局部电导率、熔化和导电触摸会提高局部电导率、人类触摸存在分流效应、人类多点触摸形成新电流通路、绝缘触摸无影响等机制,为后续电场变化分析提供了理论依据。
单一电极配置下的电场响应测试(图 2B):
选取一种特定的四极电极配置,对 7 种刺激分别进行测试。左侧的电场模拟图直观展示了不同刺激作用时的电流流线(灰色线条)和感应电压等势线(橙色线条)变化,例如损伤会导致电流流线绕开受损区域,使等势线分布发生显著偏移;右侧的柱状图则呈现了每种刺激的实测电压响应,其中损伤的电压升高幅度最大(28mV),导电触摸的电压降低幅度最明显(26mV),绝缘触摸的电压变化接近 0,与模拟结果高度吻合,证实了不同刺激可通过电场变化被有效检测。
多电极配置下的动态响应分析(图 2C):
针对人类触摸(3 个不同位置)和局部熔化(相同位置)两种刺激,采集所有 1680 种电极配置的原始响应数据。图中每行代表一个电极配置的归一化响应,清晰呈现出人类触摸的离散性响应特征(不同位置的响应模式存在差异)和熔化的动态变化特征(加热时响应急剧变化,冷却过程中逐渐恢复)。同时,选取 352 号和 902 号两个特定配置的时间序列信号(均方根和相位),进一步展示了两种刺激在时间维度上的响应差异,人类触摸的信号在接触瞬间出现峰值后迅速回落,而熔化的信号则在加热阶段持续变化,冷却阶段缓慢衰减,为通过数据驱动方法区分不同刺激提供了丰富的特征依据。
通过这些实验,不仅明确了不同多模态刺激对水凝胶电场的影响规律,还验证了电阻抗断层扫描技术检测这些刺激的可行性,为后续在 2D 和 3D 场景下实现刺激的精准识别与定位提供了关键实验支撑。
3.1.4 数据驱动的信息结构化方法
以 8 电极圆形水凝胶膜为研究对象,对其施加 7 种模态刺激(含绝缘触摸基线),并在 3 个不同位置(A、B、C)重复测试,同步监测 1680 种电极配置的响应。通过主成分分析(PCA)计算各配置对响应变异性的影响权重,以此为依据对通道进行排序,构建 “特征指纹” 来区分不同模态(如损伤、熔化、人类触摸等)。
呈现了 7 种模态的 PCA 特征指纹。每行代表固定的驱动电极对,每列对应 1680 种配置的 PCA 系数绝对值(颜色越深表示该配置对模态的影响越大)。结果显示,绝缘触摸因无显著响应,指纹无规律;而人类触摸、损伤、熔化等模态的指纹结构清晰,例如人类触摸与人类按压的指纹高度相似(因机制相近),验证了通过 PCA 指纹可高效区分不同模态。
左侧为各模态的最优配置(如损伤的最敏感通道),中间为通过平均 5 种模态指纹得到的 “通用最优配置”(如 G1-G4),右侧为 “独特配置”(仅对单一模态敏感,如人类触摸的独特通道)。这些配置从 1680 通道中精准提取关键信息,证明了筛选方法的有效性
验证了筛选配置的响应特性。通用配置 G1 对 5 种模态的响应幅度随位置(A、B、C)变化显著,而 4 种独特配置分别对特定模态(如损伤、熔化)的响应最大化(例如损伤的独特配置响应幅度是 G1 的 1.2 倍),证明了筛选方法能精准提取模态特异性信息
3.1.5 估计多模态信息
估计多模态信息”的核心是通过已掌握的一种刺激(如导电触摸)的定位规律,推导出其他未专门训练的刺激(如绝缘按压、熔化)的位置和特征,实现高效的跨模态信息估计,具体过程如下:
通过分析不同刺激的信号特征,发现它们之间的 “相似性规律”。比如,导电触摸和熔化都会提高水凝胶的电导率,它们的信号模式更接近;而损伤和绝缘按压都会降低电导率,两者特征更相似。这种规律为 “跨模态估计” 提供了基础 —— 类似机制的刺激,定位方法可以通用。
展示了具体的估计流程。先以导电触摸为 “基准”,用 F 检验筛选出对它最敏感的电极通路,训练出定位模型。当遇到新的刺激(如绝缘按压)时,不需要重新训练,而是根据它与导电触摸的信号差异(比如绝缘按压的电压变化方向相反),直接调整基准模型的参数,就能准确估计其位置。
验证这种估计方法的精度。通过 F 检验筛选的通路,对导电触摸的定位误差能控制在 10 毫米以内,比传统电极配置(如相邻或对置电极)更精准。这说明筛选出的通路包含了足够的定位信息,为跨模态估计提供了可靠的 “信号载体”。
直观展示了不同刺激的定位结果。比如,导电触摸(图 4D)和熔化(图 4F)的信号方向相似,用基准模型稍作调整就能准确定位;而绝缘按压(图 4E)的信号方向相反,通过反向推导也能实现高精度定位。这证明了即使是未专门训练的刺激,也能通过 “相似性规律 + 信号调整” 实现准确估计。
通过这种 “基准模板 + 相似迁移 + 反向推导” 的逻辑,无需为每种刺激单独测试全部配置,大幅减少了重复实验,让多模态刺激的检测流程更高效。
3.2 3D 手形皮肤实验(32 电极,38,000-mm² 面积)
3.2.1 结构与制造设计
该 3D 手形皮肤为空心手形结构,采用明胶基水凝胶制成,具有可拉伸、自修复特性,且热可逆性使其能通过硅胶模具铸造成型,无需复杂组装。32 个电极仅集成于腕部边缘,无软 - 硬界面,避免了传统电子皮肤的分层问题,同时 32 个电极可形成 863,040 种四极配置,对应 1,726,080 个信息通道(每个配置监测 RMS 和相位),为多模态信息提取提供了基础。
3D 手形软传感皮肤的制造流程。具体步骤为:先制作与手形一致的硅胶模具,然后将明胶基水凝胶材料注入模具,通过铸造成型得到空心的手形结构,电极在制造过程中直接集成于腕部,整个流程无需复杂的组装步骤,保证了传感皮肤的连续性和完整性,避免了软 - 硬界面带来的问题。
3.2.2 3D 手形软传感皮肤在多模态感知任务中的具体性能表现
图 6A 展示了 3D 手形软传感皮肤的触摸定位效果。图中以手形轮廓为基础,通过热力图的形式呈现了不同触摸位置对应的电极响应强度,颜色越深表示该区域的电极对触摸刺激的感知越明显。实验在手部 1080 个随机位置进行了触摸刺激,从 32 个电极形成的大量信息通道中筛选出敏感配置后,实现了平均约 25mm 的定位误差,即使是指尖等远离腕部电极的区域,也能通过筛选出的通路被有效检测,直观体现了该传感皮肤在复杂 3D 结构下对触摸位置的识别能力。
图 6B 进一步验证了 3D 手形皮肤在触摸定位中的精准性,通过展示不同筛选通路的激活模式,说明其如何实现对复杂手部区域的覆盖。图中呈现了 10 个最优通路在手部不同位置的激活热力图,每个通路对应特定的电极配置。例如,部分通路对掌心区域的触摸响应强烈,另一部分则更敏感于手指部位的刺激,这些通路的激活范围相互补充,共同覆盖了整个 38,000-mm² 的手形皮肤。这种多通路协同的方式,使得即使在远离腕部电极的指尖等区域,也能通过不同通路的信号综合分析实现准确定位,与图 6A 中平均 25mm 的定位误差结果相呼应,证明了筛选出的通路能有效捕捉 3D 复杂形状下的触摸信息。
图 6C 展示了 3D 手形软传感皮肤在环境监测与触觉感知并行处理时的性能。实验选取 50 个筛选出的通道,在 100 小时内同时监测环境温湿度(温度范围 19-25℃,湿度范围 38-72%)和触摸刺激。结果显示,温湿度的实测值与模型预测值高度吻合,且在监测过程中,触摸定位功能并未受到影响,依然能保持约 25mm 的平均定位误差。这一结果证明该传感皮肤具备同时处理环境刺激和触觉刺激的能力,实现了多模态信息的并行感知,体现了其在复杂环境中应用的实用性。
图 6D 聚焦 3D 手形皮肤的本体感知功能,展示了单个手指弯曲时的电信号响应。当某一手指(如食指)屈伸时,水凝胶因形变导致局部电导率变化,被腕部电极捕捉为特定的电压信号曲线。图中记录的信号变化具有明显的周期性特征(弯曲时信号上升,伸直时信号回落),清晰区分了手指运动的不同阶段,证明该皮肤能精准感知单个手指的动作状态,为手部精细操作提供感知依据。
四、研究意义
突破传统技术局限:
解决了现有多模态触觉传感技术的核心痛点。传统电子皮肤依赖模块化组件集成,存在制造繁琐、软 - 硬界面易分层、信号干扰等问题,而该研究提出的单层水凝胶传感皮肤通过高密度电阻抗断层扫描(EIT)技术和数据驱动的信息结构化方法,仅用单一材料和简化的电极配置(如 32 个电极仅分布在手部腕部),就实现了复杂 3D 形状下的多模态感知,避免了分层风险,简化了制造流程。
推动多模态感知技术发展:
首次在复杂 3D 形态(如成人手形)的单层皮肤上实现了多种刺激的高效识别与定位。该皮肤能同时响应人类触摸、损伤、温度变化等至少六种刺激,且在 38,000-mm² 的面积上实现约 25mm 的触摸定位误差,还能监测环境温湿度并感知手指弯曲的本体信号,为机器人与环境的复杂交互提供了关键技术支撑。
建立信息结构化新框架:
通过数据驱动方法(如主成分分析、F 检验)从海量电极配置(32 个电极对应 863,040 种配置)中筛选高效通路,平衡了信息速率(最高 33kHz)与内容,解决了高冗余数据的处理难题。这种框架无需依赖有限元模拟,可直接应用于不同复杂形状的传感皮肤,为软传感系统的信息提取提供了通用思路。
拓展应用场景:
该技术的特性使其在多个领域具有应用潜力。例如,可集成到现有机器人设备中提升人机交互能力,用于可穿戴设备实现健康监测,或为假肢提供接近人类皮肤的触觉反馈。其自修复、全柔性的特点也提高了在复杂环境中的耐用性。
为材料与设计创新提供方向:
研究展示了明胶基水凝胶作为传感材料的优势,同时提出可通过调整材料成分(如引入各向异性)或优化电极配置进一步提升性能。这为开发新型功能材料(如兼具导电性与特定刺激响应的弹性体)和设计更高效的传感结构提供了参考。
该研究不仅为单层软皮肤的多模态感知提供了可行方案,更推动了从 “硬件驱动” 向 “信息驱动” 的传感技术设计转变,对软机器人、可穿戴设备等领域的发展具有重要指导意义。