当前位置：首页 > news >正文

（CVPR 2025 ）基于学习的自动HSI光谱校准方法

news 2025/7/26 9:03:54

题目：Automatic Spectral Calibration of Hyperspectral Images: Method, Dataset and Benchmark

论文地址：https://arxiv.org/pdf/2412.14925

创新点

一、提出新任务：自动高光谱图像光谱校准（Automatic Spectral Calibration）

传统高光谱图像（HSI）校准方法依赖物理参考板（如硫酸钡白板），存在：

遮挡场景（同步方式）；
需要人工操作、设备固定（异步方式）；
无法灵活应对自然场景中的动态光照。

本论文首次提出：能否用深度学习方法，在不使用物理参考的情况下完成HSI的自动校准？
这是一个全新的研究方向，提升了高光谱在自然场景中的实用性和灵活性。

二、构建首个自动光谱校准数据集：BJTU-UVA & BJTU-UVA-E

BJTU-UVA：765 对真实HSI数据（原始图像 + 异步校准图像），分布于自然环境（城市/自然/花草等）；
BJTU-UVA-E：利用10种实测照明（包括自然照明+滤色照明）扩展生成 7650 对图像，涵盖不同光照条件；
提供 204通道（400–1000nm）原始高光谱图像，也支持主流的31通道版本。

这是首个公开的自动光谱校准数据集，也是目前自然场景下最大规模的高光谱图像数据集之一。

三、提出首个自动校准模型：SIT（Spectral Illumination Transformer）

基于 U-shaped Transformer 架构（借鉴 U-Net 和 HCANet）；
引入 Spectral Attention + Illumination Attention（光照注意力） 双分支机制：
- Spectral Attention 捕捉通道间的特征；
- Illumination Attention 受 Gray-World 白平衡启发，提取整图全局光照信息；
- 结合成 Spectral Illumination Attention，实现有效校准；
实验表明：SIT 在 PSNR、RMSE、ERGAS、SAM 等指标上显著超越 GrayWorld、DivIll、SERT、HCANet 等方法，在低光照与近红外波段也具有更强鲁棒性。

方法

整体架构

该论文提出的模型名为 Spectral Illumination Transformer（SIT），整体结构采用 U 形的编码器-解码器架构，由多个 SIT-U 单元组成，每个单元同时引入了**光谱注意力（Spectral Attention）与光照注意力（Illumination Attention）**两个分支。模型通过光谱注意力建模波段间的特征相关性，结合光照注意力提取全图的全局照明信息，并融合两者生成最终注意力矩阵，实现对高光谱图像中光照因素的显式校正，从而输出更接近真实反射率的图像，实现自动光谱校准

1. Spectral Attention（SA）：建模波段间的相关性

基于 HCANet 提出的方法；
输入经过 LayerNorm 和卷积提取初步特征；
构造 Q/K/V 并计算通道维度上的注意力矩阵；
保留局部上下文和高光谱特征。

2. Illumination Attention（IA）：提取图像中的全局光照特征

灵感来自 Gray-World 白平衡算法（假设所有通道平均亮度相同）；
通过两层卷积 + 两次平均池化，提取逐渐下采样的图像亮度特征；
对每个通道计算全图平均亮度，作为全局光照估计；
再与 SA 分支的注意力矩阵结合。

3. Spectral Illumination Attention（融合机制）：

最终注意力矩阵 =

即将 SA 分支的通道注意力和 IA 分支的光照注意力相乘融合，再用于特征加权

消融实验结果

表 3：Ablation Study on BJTU-UVA Full-Spectrum Data

说明与结论

W/O SA & IA：完全去除注意力模块，仅使用CNN，效果最差，说明注意力机制对校准任务至关重要；
IA only（Illumination Attention 单独使用）：
- 明显优于无注意力，说明“光照注意力”对于捕捉全局光照分布效果显著；
SA only（Spectral Attention 单独使用）：
- 表现略逊于 IA-only，表明通道间建模虽然重要，但在该任务中全局光照建模更关键；
IA & SA（完整 SIT）：
- 所有指标最优，验证了光谱注意力和光照注意力的互补性，说明两者结合能显著提升校准精度。