基于弱监督病灶增强的模型展开式快速磁共振成像|文献速递-文献分享

Title

题目

Model-unrolled fast MRI with weakly supervised lesion enhancement

基于弱监督病灶增强的模型展开式快速磁共振成像

01

文献速递介绍

磁共振成像（MRI）的临床挑战与病灶导向加速成像方法研究 磁共振成像（MRI）通过提供高分辨率软组织图像，在疾病诊断与监测中发挥着不可或缺的作用。尽管意义重大，当前MRI方案在临床实践中仍面临两大核心挑战：第一，采集全采样图像所需的长时间扫描不仅会引发患者不适，还会增加运动伪影风险，进而降低重建图像质量；第二，扫描过程与特定临床需求之间存在脱节。通常，常规成像流程倾向于优化所有位置（或体素）的平均图像质量，而对于放射科医生重点关注、且与临床决策直接相关的局部病灶，这种优化方式未必能实现高保真重建。  为实现MRI加速，众多研究尝试从欠采样k空间数据中重建高保真图像。这些方法主要分为三类，即传统基于模型的方法（Donoho, 2006；Lustig等, 2007；Pruessmann等, 1999；Griswold等, 2002）、基于学习的方法（Mardani等, 2017；Lee等, 2018；Quan等, 2018）以及模型驱动的基于学习的方法（Hammernik等, 2018；Schlemper等, 2017）。传统基于模型的策略设计的重建算法，会将数据一致性项与人工设计的正则化项相结合，用于MRI重建（Lustig等, 2007）。然而，由于对成像逆问题的先验知识有限，且难以通过人工设计的正则化项精确编码这些知识，这类方法往往难以实现高质量重建结果。 与之相反，基于学习的方法采用纯数据驱动策略，推导从欠采样k空间数据到全采样图像的非线性映射（Hyun等, 2018）。尽管这些方法在大规模数据集上训练后可展现出良好性能，但“需要大量训练数据”这一前提在实际场景中通常难以满足；此外，最终得到的深度网络具有“黑箱”特性，其工作机制难以解释。近年来，混合式模型驱动的基于学习的技术引发了广泛关注。这类方法巧妙融合了“模型设计可解释性”与“非线性数据拟合能力”的优势：它们通常将重建模型的迭代优化过程展开为一系列级联网络，其中正则化项与调优参数通过数据驱动的方式从经验中学习（Sun等, 2016；Zhang与Ghanem, 2018；Aggarwal等, 2018）。这种方式既能让展开后的深度网络保留深度表征学习的能力，又能借助基础迭代优化技术控制其假设空间，从而同时提升计算可解释性与重建质量。  尽管目前已有大量研究致力于MRI加速，但多数研究仍聚焦于提升每个体素的整体图像质量，忽视了对“临床医生重点关注的特定异常区域”的任务导向性关注。近期有少数研究尝试将图像重建与处理/分析同步进行（例如在多任务学习框架中），结果表明下游处理任务可对成像质量带来额外提升（Razumov等, 2022a；Weber等, 2024；Wu等, 2023；Calivá等, 2020）。然而，这些方法通常依赖多任务学习所需的“全标注训练样本”（如病灶掩码或边界框），而这类样本的获取难度极大（尤其在医学成像领域），这严重限制了它们在临床实践中的应用。  基于先前研究（Li等, 2021, 2023, 2024）在信号检测与图像分析领域奠定的基础理论进展，本文提出一种基于模型的深度学习方法，该方法以弱监督异常定位（Wu等, 2019；Lian等, 2021）为引导，用于面向下游临床需求的加速MRI。与现有研究不同，本研究不仅旨在重建整体高保真图像，还特别注重提升“可能存在异常的区域”的成像质量。为此，我们构建了一个任务导向的MRI重建模型，该模型独特地融入了“隐式去噪正则化项”——仅需利用图像级标签即可高效学习这一正则化项，从而在优化图像重建质量时重点关注病灶区域。我们设计了专用迭代算法来求解该任务驱动型模型，并将其进一步展开为级联深度网络，以实现病灶导向的快速成像。 我们在公认的fastMRI与SKM-TEA数据集上开展了全面实验。定量与定性评估结果均表明，我们提出的方法（称为病灶导向磁共振成像，即LF-MRI）在不同加速因子下，性能均优于现有MRI重建技术，且在病理区域的成像质量上实现了显著提升。  总体而言，本研究的主要贡献包括三方面： 1. 提出一种任务导向、模型驱动的快速MRI方法，能够在不牺牲平均图像质量的前提下，优化与下游临床研究直接相关的病灶成像质量； 2. 通过将弱监督定位融入重建模型的可学习去噪正则化项，本方法仅需图像级标签即可实现“病灶增强型快速MRI”。据我们所知，这是首次尝试利用弱监督学习技术实现任务导向成像； 3. 在不同加速比下，本方法在公开基准数据集（fastMRI与SKM-TEA）上实现了当前最优的重建性能，尤其在病理区域成像方面表现突出。此外，用于病灶定位与增强的弱监督显著图，可为下游临床研究提供额外信息，使我们提出的LF-MRI成为“端到端成像与诊断”的初步方案。  本文其余部分结构如下：第2节简要综述相关工作；第3节介绍LF-MRI方法；第4节通过实验评估方法有效性；第5节讨论关键组件的影响及方法的潜在局限性；最后，第6节对全文进行总结。

Aastract

摘要

The utility of Magnetic Resonance Imaging (MRI) in anomaly detection and disease diagnosis is wellrecognized. However, the current imaging protocol is often hindered by long scanning durations and amisalignment between the scanning process and the specific requirements of subsequent clinical assessments.While recent studies have actively explored accelerated MRI techniques, the majority have concentrated onimproving overall image quality across all voxel locations, overlooking the attention to specific abnormalitiesthat hold clinical significance. To address this discrepancy, we propose a model-unrolled deep-learning method,guided by weakly supervised lesion attention, for accelerated MRI oriented by downstream clinical needs. Inparticular, we construct a lesion-focused MRI reconstruction model, which incorporates customized learnableregularizations that can be learned efficiently by using only image-level labels to improve potential lesionreconstruction but preserve overall image quality. We then design a dedicated iterative algorithm to solve thistask-driven reconstruction model, which is further unfolded as a cascaded deep network for lesion-focusedfast imaging. Comprehensive experiments on two public datasets, i.e., fastMRI and Stanford Knee MRI MultiTask Evaluation (SKM-TEA), demonstrate that our approach, referred to as Lesion-Focused MRI (LF-MRI),surpassed existing accelerated MRI methods by relatively large margins. Remarkably, LF-MRI led to substantialimprovements in areas showing pathology.

磁共振成像在异常检测与疾病诊断中的应用研究 磁共振成像（MRI）在异常检测和疾病诊断中的实用性已得到广泛认可。然而，当前的成像方案常受限于较长的扫描时间，且扫描过程与后续临床评估的特定需求之间存在不匹配。尽管近年来已有研究积极探索加速磁共振成像技术，但多数研究仍聚焦于提升所有体素位置的整体图像质量，却忽视了对具有临床意义的特定异常区域的关注。 为解决这一矛盾，我们提出一种基于弱监督病灶注意力引导的模型展开式深度学习方法，用于面向下游临床需求的加速磁共振成像。具体而言，我们构建了一个以病灶为核心的磁共振成像重建模型，该模型融入了定制化可学习正则化——仅需利用图像级标签即可高效学习这一正则化，从而在提升潜在病灶重建质量的同时，保障整体图像质量。随后，我们设计了一种专用迭代算法来求解该任务驱动型重建模型，并将其进一步展开为级联深度网络，以实现病灶导向的快速成像。 在两个公开数据集（fastMRI 数据集和斯坦福膝关节磁共振多任务评估（SKM-TEA）数据集）上开展的全面实验表明，我们提出的方法（称为病灶导向磁共振成像，LF-MRI）显著优于现有的加速磁共振成像方法，且在病灶区域的成像质量上实现了大幅提升。

Method

方法

3.1. General MRI model

In the MR imaging process, based on its physical principles, acontinuous-to-discrete imaging system is used to scan an object toobtain discrete k-space measurements 𝑌 . Then, based on the acquiredk-space measurements 𝑌 , the subsequent image processing process canbe generally modeled as the following form:𝑌* = 𝐴𝑋 + 𝜀, (1)where 𝐴 denotes an operator that maps the image 𝑋 to the k-spacemeasurements 𝑌 , and 𝜀 denotes the background noise. The objectiveof accelerated MRI reconstruction is to recover high-quality image 𝑋from partially sampled 𝑘-space data 𝑌 , which is inherently ill-posed.A common approach to address this issue is to incorporate additionalregularization terms, thereby constraining/refining the hypotheticalspace to search for desired solutions.

3.2. Lesion-focused MRI model

To emphasize the specific requirements of downstream clinicalapplications, we construct a lesion-focused reconstruction model toenhance MR imaging of specific lesions of interest. Specifically, inthe multi-coil imaging scenarios, given undersampled 𝑘-space dataY = {𝑦**𝑟 ∈ CN∗N𝑣 } 𝑅 𝑟=1 obtained by R receiver coils, our goal is toreconstruct high-fidelity image X ∈ CN∗N from 𝑌 . Here, N𝑣 and Ndenote the number of sampled lines in the phase encoding directionfor partially sampled and fully sampled scenarios, respectively. Suchthat the acceleration factor is defined as 𝛼 = N∕N𝑣 . According to theMRI mechanism, we has such a lesion-focused reconstruction model as:

𝑋 ∗ = arg min𝑋1 2 ‖𝐴𝑋 − 𝑌 ‖ 2 2 + 𝜇1‖𝑁(𝑋)‖ 2 2 + 𝜇2‖𝐻(𝑋)‖ 2 2 . (2)

The first term denotes the data fidelity, ensuring the consistencybetween the recovered image and its corresponding 𝑘-space data.Here 𝐴 is defined as 𝐴 = 𝑀𝐹 𝑆, in which 𝑆 = {𝑠𝑟 } 𝑅 𝑟=1 denotethe sensitivity maps, 𝐹 represents the 2-D Fourier transform, and Mdenotes the sampling matrix. The last two terms are learnable implicitregularizations that confine the solution to a desired image spacetailored for downstream clinical needs. Specifically, the second termutilizes an adaptive denoising regularization to minimize the globalnoise and alias artifacts. Based on this, the third lesion-focused termintroduces a straightforward yet effective weakly supervised discriminative localization strategy to capture spatial information regardingpathological regions for lesion-enhanced imaging. The details of theseregularizations and the optimization of this model are presented below.

3.1 通用磁共振成像（MRI）模型 在磁共振成像过程中，依据其物理原理，需通过“连续-离散”成像系统对目标物体进行扫描，以获取离散的k空间测量数据(Y)。随后，基于采集到的k空间测量数据(Y)，后续的图像处理过程通常可建模为以下形式：   [Y = AX + \varepsilon \quad (1)]   其中，(A)表示将图像(X)映射到k空间测量数据(Y)的算子，(\varepsilon)表示背景噪声。加速磁共振成像重建的目标是从部分采样的k空间数据(Y)中恢复高质量图像(X)，而该问题本质上是不适定的（ill-posed）。解决这一问题的常用方法是引入额外的正则化项，从而约束或优化假设空间，以搜索期望的解。  # 3.2 病灶导向磁共振成像（MRI）模型 为突出下游临床应用的特定需求，我们构建了一个病灶导向的重建模型，用于增强对“目标特定病灶”的磁共振成像质量。具体而言，在多线圈成像场景中，给定由(R)个接收线圈获取的欠采样k空间数据(Y = {y_r \in \mathbb{C}^{N \times N_v}}{r=1}^R)，我们的目标是从(Y)中重建高保真图像(X \in \mathbb{C}^{N \times N})。其中，(N_v)和(N)分别表示“部分采样”和“全采样”场景下相位编码方向的采样线数量，由此可将加速因子定义为(\alpha = N / N_v)。   根据磁共振成像原理，我们构建的病灶导向重建模型如下：   [X^* = \arg\min_X \frac{1}{2}|AX - Y|2^2 + \mu_1|N(X)|2^2 + \mu_2|H(X)|2^2 \quad (2)]   - 第一项为数据保真项，用于确保恢复的图像与其对应的k空间数据保持一致性。此处，(A)定义为(A = MFS)，其中(S = {s_r}_{r=1}^R)表示灵敏度图，(F)表示二维傅里叶变换，(M)表示采样矩阵。   - 后两项为可学习的隐式正则化项，用于将解约束在“符合下游临床需求的目标图像空间”中。具体而言：    - 第二项采用自适应去噪正则化，以最小化全局噪声和混叠伪影；    - 第三项为病灶导向项，引入了一种简洁且有效的弱监督判别性定位策略，用于捕捉病理区域的空间信息，从而实现病灶增强成像。   上述正则化项的细节及该模型的优化过程将在下文展开说明。

Conclusion

结论

This paper have presented a model-unrolled deep learning approach(termed LF-MRI), guided by weakly supervised lesion attention tailed,for accelerated multi-coil MRI to meet downstream clinical requirements. Specifically, we have developed a lesion-focused MRI reconstruction model uniquely integrating learnable regularizations that canbe trained efficiently by employing only image-level labels to realizelesion-focused imaging while preserving overall image quality. Then,we have designed an iterative optimization algorithm to solve thisreconstruction model, deriving it into a multi-stage cascaded deepnetwork for lesion-enhanced imaging. Experimental results on publicdatasets have demonstrate the superior performance of our LF-MRIcompared to representative fast MRI methods, particularly in the imaging of specific pathology regions. These findings highlight the efficacyof our method in accelerated task-oriented MR imaging and its potentialto bridge the gap between MR imaging and clinical needs.

本文总结 本文提出了一种模型展开式深度学习方法（命名为LF-MRI），该方法以“弱监督病灶注意力”为引导，适用于加速多线圈磁共振成像（MRI），可满足下游临床需求。 具体而言，本文开发了一种病灶导向的MRI重建模型，该模型独特地集成了可学习正则化项——仅需利用图像级标签即可高效训练，在实现病灶导向成像的同时，能够保持图像的整体质量。随后，本文设计了一种迭代优化算法来求解该重建模型，并将其转化为一个多阶段级联深度网络，以实现病灶增强成像。 在公开数据集上的实验结果表明，与主流快速MRI方法相比，本文提出的LF-MRI具有更优的性能，尤其在特定病理区域的成像方面表现突出。这些研究结果证实了该方法在“加速任务导向型MRI成像”中的有效性，同时也表明其在弥合MRI成像与临床需求之间差距方面具有潜在价值。

Figure

图

Fig. 1. The architecture of our LF-MRI, a model-driven deep network consisting of multiple cascaded stages for lesion-focused fast MRI. Each stage includes threemodules: a denoising module (𝐷𝑤), a lesion-focused module (LF), and a data consistency module (DC)

图1 病灶导向磁共振成像（LF-MRI）的架构 该架构为模型驱动的深度网络，包含多个级联阶段，用于病灶导向的快速磁共振成像。每个阶段均由三个模块组成：去噪模块（(D_w)）、病灶导向模块（LF）及数据一致性模块（DC）。

Fig. 2. Details of each module of our LF-MRI. (1) Denoising Module: 𝐷𝑤and 𝐺𝑢 have the same network architecture while different inputs; (2)Lesion-Focused Module: 𝑁𝑒𝑡𝑐is the classification-guided weakly supervisedlocalization operation that generates the lesion-aware CAM information; (3)Details of 𝑁𝑒𝑡𝑐, including the process of obtaining CAM and classificationscores. (4) Data-Consistency Module.

图2 病灶导向磁共振成像（LF-MRI）各模块细节 （1）去噪模块：去噪网络(D_w)与网络(G_u)具有相同的网络架构，但输入数据不同；   （2）病灶导向模块：网络(Net_c)为“分类引导的弱监督定位操作”，可生成具有病灶感知能力的类激活映射（CAM）信息；   （3）网络(Net_c)细节：包含类激活映射（CAM）获取过程及分类分数计算过程；   （4）数据一致性模块。

Fig. 3. Comparison of different methods under 4× acceleration on the fastMRI and SKM-TEA knee datasets. The reconstructed images and error maps are presentedwith the corresponding quantitative metrics in PSNR/SSIM.

图3 4倍加速下不同方法在fastMRI与SKM-TEA膝关节数据集上的性能对比 图中展示了各方法的重建图像与误差图，并标注了对应的峰值信噪比（PSNR）和结构相似性指数（SSIM）定量指标。

Fig. 4. Proposed heatmap prediction sub-network of PAT that predicts an attention heatmap for a WSI at different magnification levels.

图 4：所提出的 PAT 模型热力图预测子网络。该子网络用于预测全切片图像（WSI）在不同放大倍数下的注意力热力图。

Fig. 5. Comparison of different reconstruction methods using 4× mask on the fastMRI and SKM-TEA knee datasets. The reconstructed images, their magnifieddetails of pathological regions (marked in the red/yellow boxes), and their error maps are presented with the corresponding quantitative metrics in PSNR/LF-PSNR.(Pathology: fastMRI-PD: Meniscus Tear; fastMRI-PDFS: Meniscus Tear; SKM-TEA: Effusion).

图5 采用4倍掩码时，不同重建方法在fastMRI与SKM-TEA膝关节数据集上的对比 图中展示了各重建方法的重建图像、病理区域的放大细节（以红/黄框标注）及其误差图，并标注了对应的峰值信噪比（PSNR）与病灶导向峰值信噪比（LF-PSNR）定量指标。 （病理类型：fastMRI-PD数据集：半月板撕裂；fastMRI-PDFS数据集：半月板撕裂；SKM-TEA数据集：关节积液）

Fig. 6. Comparison of different reconstruction methods using 8× mask on the fastMRI and SKM-TEA datasets. The reconstructed images, magnified details ofpathological regions (marked in the red/yellow boxes), and error maps are presented with the corresponding quantitative metrics in PSNR/LF-PSNR. (Pathology:fastMRI-PD: Cartilage - Partial Thickness loss/defect; fastMRI-PDFS: Bone-Fracture/Contusion/dislocation; SKM-TEA: Effusion)

图6 采用8倍掩码时，不同重建方法在fastMRI与SKM-TEA数据集上的对比 图中展示了各重建方法的重建图像、病理区域的放大细节（以红/黄框标注）及其误差图，并标注了对应的峰值信噪比（PSNR）与病灶导向峰值信噪比（LF-PSNR）定量指标。 （病理类型：fastMRI-PD数据集：软骨部分厚度缺失/缺损；fastMRI-PDFS数据集：骨骨折/骨挫伤/关节脱位；SKM-TEA数据集：关节积液）

Fig. 7. The CAMs of the images reconstructed under 4× and 8× accelerationrates are presented on the left and right sides, respectively. Our LF-MRIidentified and located pathological regions with high accuracy

图7 4倍与8倍加速率下重建图像的类激活映射（CAM）分别展示于左侧与右侧 病灶导向磁共振成像（LF-MRI）可高精度识别并定位病理区域。

Fig. 8. Comparison of CAMs generated by our LF-MRI for pathology localization on fastMRI dataset: The left side shows accurate CAM alongside annotatedpathological markers in red, while the right side shows failure CAM cases onunseen data, misaligned with the annotated markers in red.

图8 病灶导向磁共振成像（LF-MRI）在fastMRI数据集上生成的类激活映射（CAM）用于病理定位的对比 左侧展示准确的类激活映射（CAM），其与红色标注的病理标记相符；右侧展示在未见过的数据（unseen data）上生成的失效类激活映射（CAM）案例，其与红色标注的病理标记错位。

Table

表

Table 1Quantitative comparisons on the fastMRI knee and SKM-TEA datasets under 4× acceleration rate, with the performance evaluated in terms of both the overallmetrics, i.e., PSNR and SSIM, and Lesion-Focused metrics, i.e., LF-PSNR and LF-SSIM.

表1 4倍加速率下在fastMRI膝关节数据集与SKM-TEA数据集上的定量对比 性能评估从两方面展开：一是整体指标，即峰值信噪比（PSNR）与结构相似性指数（SSIM）；二是病灶导向指标，即病灶导向峰值信噪比（LF-PSNR）与病灶导向结构相似性指数（LF-SSIM）。

Table 2Quantitative comparisons on the fastMRI knee and SKM-TEA datasets under 8× acceleration rate, with the performance evaluated in terms of both the overallmetrics, i.e., PSNR and SSIM, and Lesion-Focused metrics, i.e., LF-PSNR and LF-SSIM.

表2 8倍加速率下在fastMRI膝关节数据集与SKM-TEA数据集上的定量对比 性能评估从两方面展开：一是整体指标，即峰值信噪比（PSNR）与结构相似性指数（SSIM）；二是病灶导向指标，即病灶导向峰值信噪比（LF-PSNR）与病灶导向结构相似性指数（LF-SSIM）。

Table 3Ablation study of our LF-MRI across different numbers of stages under 4× and 8× acceleration rates on the fastMRI dataset.

表3 4倍与8倍加速率下，在fastMRI数据集上针对病灶导向磁共振成像（LF-MRI）不同阶段数量的消融实验

Table 4The performance of our LF-MRI on the fastMRI PD dataset in terms of using different classification networks to perform weaklysupervised localization for lesion-enhanced imaging

表4 病灶导向磁共振成像（LF-MRI）在fastMRI PD（质子密度加权）数据集上的性能表现 该表评估了使用不同分类网络执行弱监督定位以实现病灶增强成像时，LF-MRI的性能差异。

Table 5Ablation studies on our LF-MRI network under various loss configurations at the acceleration rates of 4× and 8×, respectively.

表5 4倍与8倍加速率下，针对病灶导向磁共振成像（LF-MRI）网络不同损失函数配置的消融实验

Table 6The performance of our LF-MRI on the fastMRI PD dataset by including extra perceptual loss for network training

表6 病灶导向磁共振成像（LF-MRI）在fastMRI PD（质子密度加权）数据集上的性能表现 该表评估了在网络训练中加入额外感知损失时，LF-MRI的性能差异。

Table 7Comparison of the diagnostic results of the images reconstructed by differentmethods across varying datasets (imaging contrasts) and acceleration factors.

表7 不同数据集（成像对比度）与不同加速因子下，各方法重建图像的诊断结果对比

Table 8Ablation studies on our LF-MRI integrating learnable sampling patterns under 4× and 8× acceleration rates, respectively

表8 4倍与8倍加速率下，针对病灶导向磁共振成像（LF-MRI）集成可学习采样模式的消融实验

Table 9The performance of our LF-MRI across varying imaging qualities in terms of magnetic field strength (MFS) of the scanners. Theexperiments were conducted on the fastMRI PD dataset.

表9 病灶导向磁共振成像（LF-MRI）在不同扫描仪磁场强度（MFS）所对应的成像质量下的性能表现 该实验在fastMRI PD（质子密度加权）数据集上开展。