【PVR】《Palm Vein Recognition and Large-scale Research based on Deep Learning》

邬晓毅. 基于深度学习的掌静脉识别及规模化研究[D]. 四川:电子科技大学,2024.

1、背景

本文的研究贯穿一个主线即如何让掌静脉识别算法能够在复杂场景表现良好以适应可能的应用场景如安保、民生等领域。

掌静脉识别主要分为两个部分：

• 端到端掌静脉识别算法
• 针对退化图像的掌静脉识别鲁棒性提升方法

本文主要研究基于 940nm 波段图像的掌静脉识别算法。

特征提取是从掌静脉图像中提取具有代表性的特征信息，如静脉血管的分布模式、分支情况和曲线形状等。

本文主要研究基于轻量化深度神经网络的有监督掌静脉身份识别。

2、相关工作

• 掌静脉识别的研究现状

  • 传统
  • 深度学习

• 退化图像的掌静脉鲁棒性提升的研究现状

  • 退化图像衡量方法
  • ROI 定位精度提升
  • 对比度增强
  • 自适应直方图均衡化等

• 掌静脉识别系统规模化的研究

  • 通过轻量化模型，有效降低边缘设备的负载，并通过 C/S 模式部署到企业的实际应用中，有效提高了效率和鲁棒性，带来了一定的积极经济效益。

在实际应用场景中，镜头获取的数据往往是退化图像即非标准环境数据，需要考虑光照、角度、和距离等因素对数据的影响。

近年来基于深度学习的手势检测与定位得到了科研人员的广泛关注。经过大量真实样本喂养训练的深度神经网络可以对复杂场景下的手部关键点定位和姿态检测具有更好的性能表现。

3、创新点和贡献

• 掌静脉识别神经网络算法研究（自适应 loss）
• 退化图像的掌静脉识别鲁棒性提升研究（退化图片过滤、ROI 提取、对比度增强）
• 掌静脉识别系统规模化（功能接口、数据加密、高维向量检索、并发压测）

4、方法和实验

4.1、知识介绍

Center Loss

参考 CenterLoss原理详解（通透）

---

Triplet Loss

---

---

4.2、基于自适应损失函数的掌静脉识别算法研究

输入 128 x 128，输出 512

把 center loss 改为自适应了

motivation

前期提高 center 的权重，后期降低

实验数据集

训练过程可视化

比原版 center loss 是有提升，但是很有限

4.3、退化图像的掌静脉识别鲁棒性提升研究

实际上，摄像头获取的图像有一部分往往是退化图像。退化图像是指由于各种原因而失去了原始图像质量的图像。这种退化可以是由摄像机或传感器本身的技术限制、环境条件、图像传输中的噪声、压缩算法或存储过程
等引起的。退化图像可能会丢失细节、清晰度和色彩信息，导致图像模糊、失真或含有噪声。

作者自建数据集，3000 张手部静脉图像。这些静脉图像分别来自 300 个志愿者的手掌静脉信息

（1）图像退化衡量研究

正常类 prue，非正常类 blur

Laplacian 法可以很好的分开

Brenner 法可以很好的分开

作者基于 Laplacian 和 Brenner 算法进行融合来做退化图像衡量方法。

（2）ROI 定位精度鲁棒性研究

（3）对比度增强研究

作者 DCP 和 POSHE 融合增强算法

4.4、掌静脉识别系统规模化

（1）高维向量检索方法

加速特征匹配

特征向量的高维检索方法 HNSW（Hierarchcal Navigable Small World graphs）

（2）接口设计

5、总结

• 高维向量检索方法 HNSW

• 对比度增强 POSHE

• 万精油，weighted