当前位置：首页 > news >正文

DMP-Net：面向脑组织术中成像的深度语义先验压缩光谱重建方法|文献速递-深度学习人工智能医疗图像

news 2025/8/26 6:41:58

Title

题目

DMP-Net: Deep semantic prior compressed spectral reconstruction methodtowards intraoperative imaging of brain tissue

DMP-Net：面向脑组织术中成像的深度语义先验压缩光谱重建方法

文献速递介绍

脑肿瘤可分为原发性和继发性两类。原发性脑肿瘤多发生于脑膜、颅神经、垂体、血管及残余胚胎组织等部位，致死率和致残率较高（Wu等人，2018）。继发性脑肿瘤在临床中也较为常见，常由肺癌、乳腺癌、肾癌等部位的恶性肿瘤转移至脑部形成。在癌症患者中，继发性脑肿瘤的发病率逐年上升，已成为不容忽视的重大健康问题。目前，在脑肿瘤切除手术中，临床常采用神经导航系统（He等人，2023）、术中超声（Carpentier等人，2024）、荧光引导技术（Mieog等人，2022）及术中磁共振成像（MRI）（Wang等人，2015a）等多种技术，以确定肿瘤的形态与位置。这些技术为神经外科医生提供了更可靠的指导，有效提升了手术的精准度与安全性。然而，现有辅助诊疗技术存在一定局限性：例如，神经导航技术高度依赖术前影像数据，当数据与术中实际情况不匹配时易产生误差，进而导致导航失误；术中超声分辨率较低，难以精准勾勒肿瘤边界及术后残余肿瘤范围；荧光引导技术检测精度较高，但通常适用于高级别肿瘤，且需使用荧光造影剂，该造影剂可能引发严重副作用，故不适用于儿童病例；术中MRI在临床扫描时易因患者轻微移动产生伪影，降低图像质量，此外还可能受肿瘤位置与严重程度影响，对微小肿瘤组织扫描时存在误诊或漏诊风险（Yang等人，2024）。不仅如此，不同经验水平的医生对病变区域的人工标注可能存在差异，这为最终诊疗决策带来了巨大挑战（Hu等人，2020）。脑组织包含多种复杂的细胞类型与组织结构，正常脑组织与肿瘤组织在细胞代谢、组织结构等方面存在显著差异，这些差异会体现在光谱特征上（Zhang等人，2024）。高光谱成像技术（Yoon等人，2019；Leon等人，2023）可同时捕获脑组织不同区域在多个连续波长范围内的空间光谱信息。通过对比肿瘤区域与正常脑组织的空间光谱信息，该技术能精准评估肿瘤占位效应及受影响体积、确定手术切除与放射治疗范围，大幅提升疾病治疗的可靠性。目前，高光谱成像已广泛应用于肿瘤组织识别（Hao等人，2021）、病变严重程度评估（Lee等人，2021）及脑功能研究（Li等人，2023；Cruz-Guerrero等人，2023）等领域。但传统高光谱成像系统需较长的光谱数据采集时间，难以在手术中快速捕获在体组织的光谱信息（Gutiérrez Navarro等人，2023）。快照式压缩光谱成像（CSI）系统（Puustinen等人，2020）可在单次曝光时间内快速捕获光谱细节信息，实现对脑组织区域压缩测量图像的实时采集。相较于传统高光谱成像方法，该系统进一步提升了动态场景下光谱信息的采集效率（Song等人，2022；Xu等人，2023）。借助压缩感知重建原理，可将低维测量图像重建为高维光谱信息；通过分析肿瘤区域与正常组织的光谱特征差异，能够更快速、精准地识别肿瘤边界，为确定手术切除范围提供有力支持。此外，CSI系统还可通过对比切除前后同一区域的光谱特征变化，实时监测肿瘤切除进程，及时发现残余肿瘤组织，保障手术切除的彻底性。高质量的重建结果是确保脑组织光谱分析可靠性的关键。将CSI系统获取的低维压缩测量图像重建为高维光谱图像的过程，属于欠定求解过程。传统重建方法通常利用图像稀疏性、平滑性等通用规律构建正则化项，以约束求解过程（Yang等人，2023；Liu等人，2021；Chen等人，2024）。但在脑肿瘤患者中，尽管不同患者的脑肿瘤形态与组织结构具有较高相似性，其个体差异与肿瘤类型仍存在区别。仅利用通用图像属性构建正则化项缺乏针对性，易导致较大的重建误差。因此，需建立适配的约束项，兼顾脑肿瘤区域的空间相关性与像素表征差异，以实现更精准的信息恢复。深度神经网络可从大规模图像数据中有效挖掘深层特征，其应用形式主要包括端到端重建算法、深度展开及即插即用重建算法框架。然而，在脑肿瘤高光谱图像重建任务中，现有深度网络模型结构相对复杂，且在提取不同组织区域的空间光谱特征时，普遍存在梯度消失问题，导致重建质量较低。当前研究面临的挑战在于：如何更好地捕捉不同脑组织间像素信息的细微差异，同时保留不同患者间空间信息的结构共性。为解决手术中脑组织光谱信息快速采集与重建的难题，本文基于快照式压缩光谱成像系统，提出一种基于深度语义先验正则化的压缩光谱重建方法，用于术中光谱成像与重建。具体方案如下：首先，为提升对不同组织类别的特征提取能力，设计金字塔结构的多尺度卷积模块。该模块通过不同尺度的卷积操作，更全面地捕捉组织语义信息，尤其在不同组织类型的边界区域，展现出显著优势；其次，在深度卷积先验模型的网络结构设计中，在卷积层之间引入跳跃连接以累积先验特征，有效适配不同疾病类型的差异，进而提高预测结果的准确性；最后，将先验模型的预测结果作为重建过程的初始光谱估计，基于初始光谱估计与原始光谱图像的相似性，建立CSI重建过程的正则化约束，进一步缩小可行解空间，从而提升重建结果的清晰度，为术中成像提供快速、可靠的检测方法。

Abatract

摘要

In the diagnosis and surgical resection of brain tumors, hyperspectral imaging, as a non-invasive detectiontechnology, can effectively characterize the morphological structure and the physicochemical differences incellular metabolism of different tissues. However, live tissues typically exhibit certain motion characteristics,and traditional hyperspectral imaging systems struggle to meet the demands for real-time and rapid imaging.The snapshot compressive spectral imaging (CSI) system can quickly acquire spatial spectral informationof the lesion area in a single exposure and, combined with reconstruction algorithms, effectively restorethe high-dimensional spectral information of brain tissue. High-quality reconstruction results are crucial forensuring the reliability of spectral analysis of brain tissue. To improve the reconstruction performance ofthe CSI system, this paper proposes a compressive spectral reconstruction method based on deep semanticprior regularization. The predicted results of the deep convolutional prior model are used as the initialspectral estimate to establish a regularization term for the reconstruction process. This is combined with theAlternating Direction Method of Multipliers (ADMM) to optimize the solution for high-dimensional spectralimages of brain tissue. The results show that using the CSI system for intraoperative brain tissue imagingcan rapidly acquire spatial spectral information of the lesion area. By optimizing the reconstruction processwith the deep convolutional prior model, this method not only better preserves the structural consistency ofspectral images from different patients but also fully considers the spectral differences of different types ofbrain tumors, achieving higher reconstruction quality. This provides strong support for the precise localizationand resection of brain tumors.

在脑肿瘤诊断与手术切除过程中，高光谱成像作为一种无创检测技术，能够有效表征不同组织的形态结构及细胞代谢的理化差异。然而，活体组织通常具有一定的运动特性，传统高光谱成像系统难以满足实时、快速成像的需求。快照式压缩光谱成像（CSI）系统可通过单次曝光快速获取病变区域的空间光谱信息，并结合重建算法有效恢复脑组织的高维光谱信息。而高质量的重建结果，对于保障脑组织光谱分析的可靠性至关重要。为提升CSI系统的重建性能，本文提出一种基于深度语义先验正则化的压缩光谱重建方法：将深度卷积先验模型的预测结果作为初始光谱估计，为重建过程构建正则化项；并结合交替方向乘子法（ADMM），对脑组织高维光谱图像进行优化求解。结果表明，采用CSI系统进行脑组织术中成像，可快速获取病变区域的空间光谱信息；通过深度卷积先验模型优化重建过程，该方法不仅能更好地保留不同患者光谱图像的结构一致性，还充分考虑了不同类型脑肿瘤的光谱差异，实现了更高的重建质量，为脑肿瘤的精准定位与切除提供了有力支持。 ### 关键术语补充说明： 1. hyperspectral imaging（高光谱成像）：一种可捕获物体在连续光谱波段上图像信息的技术，相较于传统成像能获取更丰富的光谱细节，在医疗领域可用于区分不同组织（如肿瘤与正常脑组织）的生化特性。 2. snapshot compressive spectral imaging（CSI，快照式压缩光谱成像）：通过单次拍摄（单次曝光）实现光谱信息采集的技术，解决了传统高光谱成像“多次采样、耗时久”的问题，适配术中动态组织的成像需求。 3. Alternating Direction Method of Multipliers（ADMM，交替方向乘子法）：一种常用的优化算法，可将复杂的高维优化问题分解为多个易求解的子问题，高效实现高维光谱图像的重建求解。 4. regularization term（正则化项）：在模型优化中用于约束解的“合理性”的项，本文中通过深度语义先验构建正则化项，可避免重建结果出现失真、噪声等问题，提升图像质量。

Method

方法

3.1. Deep semantic prior regularization reconstruction framework

The framework of the Deep Semantic Priors Compressed SpectralReconstruction Algorithm (DMP-Net) is shown in Fig. 2. The reconstruction model consists of three main components: the prior spectralfeature data module, the deep convolutional prior model, and theADMM optimization solving module. In the prior spectral feature datamodule, to enhance the deep convolutional neural network’s understanding and expression of different tissue structures in the image,bilinear filtering is first applied to denoise the RGB image. Then, pyramid convolution is used to capture spatial information representationsat different scales. The convolutional features are concatenated withthe RGB image along the channel dimension, thus achieving the fusionrepresentation of multi-scale information and spatial color information.Finally, the concatenated feature data is vectorized to establish a priorspectral feature database, providing data support for the training of thedeep convolutional prior model. During the training process of the deepconvolutional prior model, inter-layer skip connections are used to fuseshallow and deep features, alleviating the issue of gradient vanishingin deep features and improving the model’s ability to model complexspectral data. After the deep convolutional prior model parameters aretrained, the RGB image is used as input. The regularization term of thereconstruction process is constructed based on the prediction resultsof the deep convolutional prior model and the spatial structure andsemantic similarity of the prior spectral data. The ADMM optimization algorithm is then applied to achieve accurate reconstruction ofhigh-dimensional spectral data for the human brain.

3.1 深度语义先验正则化重建框架深度语义先验压缩光谱重建算法（DMP-Net）的框架如图2所示。该重建模型包含三个主要组件：先验光谱特征数据模块、深度卷积先验模型以及交替方向乘子法（ADMM）优化求解模块。在**先验光谱特征数据模块中，为提升深度卷积神经网络对图像中不同组织结构的理解与表达能力，首先对RGB图像进行双线性滤波去噪处理；随后采用金字塔卷积提取不同尺度下的空间信息表征，并将卷积特征与RGB图像沿通道维度进行拼接，从而实现多尺度信息与空间色彩信息的融合表征；最后对拼接后的特征数据进行向量化处理，构建先验光谱特征数据库，为深度卷积先验模型的训练提供数据支撑。在**深度卷积先验模型**的训练过程中，通过层间跳跃连接融合浅层与深层特征，缓解深层特征的梯度消失问题，提升模型对复杂光谱数据的建模能力。当深度卷积先验模型参数训练完成后，以RGB图像为输入，基于该模型的预测结果，结合先验光谱数据的空间结构与语义相似性，构建重建过程的正则化项。最后，采用ADMM优化算法，实现对人脑高维光谱数据的精准重建。

Conclusion

结论

To achieve rapid acquisition and accurate reconstruction of intraoperative brain tissue spectral information, we propose a compressedspectral reconstruction method with deep semantic prior regularizationfor intraoperative brain imaging. This method leverages the advantagesof deep learning models by incorporating a deep semantic prior regularization mechanism, effectively enhancing the detail recovery capabilityduring the reconstruction process. Research shows that the proposedmethod can quickly acquire spatial spectral information from the lesionarea with low computational cost, while maintaining structural consistency and improving the reconstruction quality across different patientsand disease types. The multi-scale convolutional module strikes a goodbalance between pixel separation representation and continuity preservation, which helps improve the semantic representation and generalization capability of the deep prior model. By establishing a total variation regularization term based on the difference between the predictedresults of the DMP model and the reconstructed results, the methodexhibits superior constraint ability, making the solution more accurate.Currently, the proposed method has been fully validated on simulationdata, but has not yet been tested in practical applications. However, itsexcellent performance demonstrates great potential. Future work willfocus on validating and optimizing its application to clinical data toensure its reliability in surgery, further promoting the development ofprecise brain tumor localization and resection techniques.

为实现术中脑组织光谱信息的快速获取与精准重建，本研究提出一种适用于术中脑部成像、基于深度语义先验正则化的压缩光谱重建方法。该方法充分利用深度学习模型的优势，融入深度语义先验正则化机制，有效提升了重建过程中的细节恢复能力。研究表明，所提方法能够以较低的计算成本快速获取病变区域的空间光谱信息，同时在不同患者与疾病类型中均能保持结构一致性并提升重建质量。其中，多尺度卷积模块在像素分离表征与连续性保留之间取得了良好平衡，有助于增强深度先验模型的语义表达能力与泛化能力；通过构建基于DMP（深度先验）模型预测结果与重建结果差异的总变分正则化项，该方法展现出更优的约束能力，使求解结果更精准。目前，所提方法已在模拟数据上完成充分验证，但尚未在实际应用场景中开展测试。然而，其优异性能已彰显出巨大潜力。未来研究将重点验证并优化该方法在临床数据上的应用，确保其在手术场景中的可靠性，进而为脑肿瘤精准定位与切除技术的发展提供助力。

Figure

图

Fig. 1. The structural composition of the dual-camera CSI system and the data structureof detector sampling

图 1 双相机快照式压缩光谱成像（CSI）系统的结构组成及探测器采样的数据结构

Fig. 2. The reconstruction algorithm model consists of three parts: a prior spectral feature data module (PSD-HSI), a deep convolutional prior model (DMP), and an ADMMoptimization solver module

图 2 重建算法模型包含三部分：先验光谱特征数据模块（PSD-HSI）、深度卷积先验模型（DMP）及交替方向乘子法（ADMM）优化求解器模块

Fig. 3. RGB images of the experimental data.

图 3 实验数据的 RGB 图像

Fig. 4. A comparison of the distribution of evaluation metrics for the prediction results of Patient 4 in the spectral range from 400 nm to 700 nm using different methods. (a)shows the boxplot distribution of PSNR for each individual spectral band in the prediction results of different methods on the test dataset. (b) shows the boxplot distribution ofSSIM for each individual spectral band in the prediction results of different methods on the test dataset.

图 4 不同方法在 400 纳米（nm）至 700 纳米（nm）光谱范围内，对 4 号患者预测结果的评估指标分布对比。（a）为不同方法在测试数据集上预测结果中，各单一光谱波段峰值信噪比（PSNR）的箱线图分布；（b）为不同方法在测试数据集上预测结果中，各单一光谱波段结构相似性指数（SSIM）的箱线图分布。

Fig. 5. Comparison of the spatial detail information of the reconstruction results using different methods for Patient 1, as well as a comparison of the spectral information at thesampling points (38, 256) and (351, 81).

图 5 不同方法对 1 号患者的重建结果空间细节信息对比，以及采样点（38, 256）和（351, 81）处的光谱信息对比

Fig. 6. Comparison of the spatial detail information of the reconstruction results using different methods for Patient 3, as well as a comparison of the spectral information at thesampling points (214, 271) and (264, 249)

图6 不同方法对3号患者的重建结果空间细节信息对比，以及采样点（214, 271）和（264, 249）处的光谱信息对比

Fig. 7. Box plot distributions of PSNR and SSIM parameters for reconstruction results under three different noise environments.

图7 三种不同噪声环境下重建结果的峰值信噪比（PSNR）与结构相似性指数（SSIM）参数箱线图分布

Fig. 8. Comparison of Spectral Reconstruction Results for Background, Normal Cell, Blood Vessels, and Cancer Cell

图 8 背景、正常细胞、血管及癌细胞的光谱重建结果对比

Fig. 9. Visual Comparison of Reconstruction Results with Depth Prior Regularizationusing Multi-scale Convolutional Modules for Patient 4. PSNR and SSIM are theevaluation metric calculation results for the selected band full image.

图9 采用多尺度卷积模块的深度先验正则化方法对4号患者的重建结果可视化对比。其中，峰值信噪比（PSNR）与结构相似性指数（SSIM）为所选波段全图像的评估指标计算结果

Fig. 10. The variation of PSNR and SSIM evaluation metrics with the change in the value of 𝛿.

图10 峰值信噪比（PSNR）与结构相似性指数（SSIM）评估指标随参数𝛿取值变化的变化趋势

Fig. 11. Comparison of spatial detail information in the reconstruction results at different wavelengths for patient 4 under different 𝛿 values.

图11 不同𝛿值下，4号患者在不同波长处重建结果的空间细节信息对比

Fig. 12. Comparison of reconstruction results for Patient 4 across different imagingsystems. PSNR and SSIM are the evaluation metric calculation results for the selectedband full image.

图12 不同成像系统对4号患者的重建结果对比。其中，峰值信噪比（PSNR）与结构相似性指数（SSIM）为所选波段全图像的评估指标计算结果