当前位置：首页 > news >正文

Uncertainty-Aware Null Space Networks for Data-Consistent Image Reconstruction

news 2025/10/24 9:37:00

Abstract

从含噪声且不完整的测量数据中重建图像，是许多图像处理应用中的核心任务。近年来，基于深度学习的最新进展，人们开发出了最先进的重建方法。尤其是在高度不确定的问题中，保持数据一致性是一个关键目标。这可以通过迭代网络架构或者网络重建后的后续投影来实现。然而，如果要在像医学成像这样的安全关键领域使用这类方法，网络重建不仅应该为用户提供重建后的图像，还应该提供对重建结果的某种置信度。为了满足这两个关键要求，本文将深度零空间网络与不确定性量化相结合。对所提出方法的评估包括在玩具CT数据集上从欠采样的拉东测量数据中重建图像，以及在fastMRI数据集上进行加速MRI重建。这项工作是解决逆问题的首个方法，它通过估计一个输入依赖的尺度图来额外建模数据依赖的不确定性，从而提供对重建质量的稳健评估。

关键词：逆问题、零空间学习、神经网络、不确定性量化、加速MRI、有限角度

1 Introduction

逆问题在各种科学领域中出现，并在许多工程应用中扮演着核心角色。经过离散化后，逆问题可以写成以下形式：

其中 $y, \epsilon \in \mathbb{R}^m$ ， $x \in \mathbb{R}^n$ 且 $A \in \mathbb{R}^{m \times n}$ 。目标是从噪声数据 $y$ 和测量算子 $A$ 的知识中恢复未知信号 $x$ 。在确定性情况下，假设数据扰动 $\epsilon$ 满足 $\|\epsilon\|_2 \leq \delta$ 对于某个噪声水平 $\delta > 0$ 。逆问题的特征是非唯一性和对数据扰动的敏感性。特别是，对于不完整数据的应用，测量数量的减少导致潜在解的高维集合。为了获得可靠的重建，因此有必要应用适当的正则化技术来解决当前问题的非唯一性和不稳定性。

在图像重建中，例如计算机断层扫描（CT）和磁共振成像（MRI），可以找到病态逆问题的典型例子。这两种技术经常遇到有限数据问题，因为测量数据仅对有限子集可用。例如，在有限角度计算机断层扫描中，仅在全角度范围的一个严格子集中可获得角度投影。这些限制可能是由于物理测量设置，例如，在实际应用中自然发生的数字乳腺断层合成、牙科断层扫描或无损检测。由于缺乏可用数据，重建中的重要特征可能被测量域中的硬截断引起的伪影所掩盖。虽然已经对这些伪影的特征进行了彻底研究，但可靠地校正缺失数据仍然是一个具有挑战性的任务。与计算机断层扫描不同，MRI在不使患者暴露于电离辐射的情况下获取测量数据。MRI在疾病检测、一般治疗和预后方面有多种应用。为了节省成本和时间，MRI的常见做法是通过获取不完整的测量数据来减少采集时间。由于由此产生的欠采样，患者图像不再由可用数据唯一确定。为了克服这一限制，已经开发了压缩感知（CS）和 $\ell^1$ -正则化方法，这些方法允许从稀疏采样的数据中准确重建。因此，CS和稀疏正则化成为现代MRI成像的关键工具，并且仍然是一个活跃的研究领域。

近年来，机器学习（ML）和神经网络（NN）已成为解决逆问题的新的范式，其中可训练的NN被调整以适应可用的数据集。拟合过程，也称为网络训练，可以被视为监督或无监督学习任务。监督训练试图推断测量值和真实数据之间的跨域对应关系，而无监督训练试图估计一个整体图像分布，从中可以采样重建图像。需要注意的是，只要有足够的数据可用并且前向算子已知，任何逆问题都可以被视为监督ML任务。在许多情况下，数据驱动的求解器显著减少了重建时间，同时提高了准确性。然而，鉴于NN的高度非线性结构，网络如何处理提供的数据仍然不清楚。这在医学应用中尤其重要，因为可靠的重建是必不可少的。特别是对于数据有限的问题，为了获得可靠的预测，希望明确地强制执行数据一致性。NN的难以解释的性质加上缺乏理论保证仍然限制了基于深度学习的求解器在临床试验中的实用性。通过架构设计促进数据一致性重建的零空间网络已经在文献中被引入和分析，并显示出收敛的正则化技术的结果。由于难以解释的结构，通常认为NN遭受所谓的黑箱范式。一般来说，无法在学到的网络参数和实际的跨域关系之间建立可解释的联系。因此，在分布外（OOD）数据存在的情况下，网络行为几乎是不可预测的，这些数据不包括在训练集中。例如，当扫描仪的测量质量突然下降或不寻常的物体（如医学成像中的肿瘤或金属部件）在患者中变得可见时，就会出现OOD数据。这是基于DL的重建方法在安全关键应用中的一个重大限制。处理数据依赖的不确定性和模型不确定性，也称为随机（stochastic）和系统（systematic）不确定性，在过去六年中吸引了计算机视觉领域的极大兴趣，以及评估模型预测可靠性的有效工具。在逆问题的背景下，不确定性量化已经在贝叶斯框架内通过采样后验分布来解决，这可以捕捉到单独的系统不确定性或随机不确定性。基于深度学习的贝叶斯反演框架已经在文献中建立。用直接数据一致的基于DL的求解器来建模训练数据中的不确定性还需要进一步研究。在这项工作中，我们将不确定性估计与数据一致的图像重建结合起来。为此，我们假设重建图像和真实图像之间的残差服从参数化的拉普拉斯分布。将不确定性估计纳入重建损失中，可以同时学习重建和相应的不确定性图。在没有真实数据的情况下，不确定性图可以用来推断重建图像的质量。数据一致性是通过零空间网络实现的。该方法在CT和MRI中有限数据问题的实际应用案例中进行了全面测试。

2 Methods

考虑逆问题(1.1)，其中 $x \in \mathbb{R}^n$ 表示要恢复的矢量化图像， $A \in \mathbb{R}^{m \times n}$ 是前向矩阵。在本节中，我们介绍了零空间网络和其他网络架构的方案，这些将用作基准。我们讨论在网络训练期间对损失函数进行哪些调整，以在重建信号的同时推导出不确定性图。

2.1 Image reconstruction

逆问题(1.1)的重建方法是一个潜在非线性算子族 $\mathcal{M}_\alpha$ ： $\mathbb{R}^m \rightarrow \mathbb{R}^n$ ： $y \mapsto \mathcal{M}_\alpha(y)$ ，将噪声数据 $y \in \mathbb{R}^m$ 映射到重建 $\mathcal{M}_\alpha(y) \in \mathbb{R}^n$ 。关键属性是该方法收敛到前向矩阵 $\mathcal{M}_0$ ： $\text{ran}(A) \subseteq \mathbb{R}^m \rightarrow \mathbb{R}^n$ 的右逆，该右逆由属性 $\mathcal{A} \circ \mathcal{M}_0 \circ \mathcal{A} = \mathcal{A}$ 定义；参见[27, 42]。重建方法的收敛性意味着对于所有 $x \in \mathbb{R}^n$ 我们有

其中，上确界是针对所有噪声数据 $y \in \mathbb{R}^m$ 取的，满足 $\| y - Ax \| \leq \delta$ ，参数 $\alpha = \hat{\alpha}(\delta, y)$ 根据噪声水平和实际数据选择。如果 $\Lambda = \mathbb{R}_{>0}$ ，那么 $\hat{\alpha}$ 被称为参数选择，(2.1) 意味着 $((\mathcal{M}_\alpha)_{\alpha > 0}, \hat{\alpha})$ 是逆问题(1.1)的正则化方法；参见[17, 46]。

经典的重建方法收敛到Moore-Penrose逆 $\mathcal{M}_0 = A^+$ 的 $A$ 。如果 $A$ 具有线性独立的列，则 $A^+ := (A^*A)^{-1}A^*$ ，其中 $A^*$ 是共轭转置。这类重建方法的例子包括Tikhonov正则化、截断SVD或Landweber正则化。不同的例子是变分正则化，其中右逆 $\mathcal{M}_0$ 被定义为具有最小值的准解。

最近的例子是基于神经网络的方法，我们将在下文中讨论。

2.2 Learned reconstruction

在学习重建方法中， $(\mathcal{M}_\theta)_{\theta \in \Theta}$ 由一个丰富的映射族组成，这些映射通常依赖于一个高维参数 $\theta$ 并包括神经网络。这使得可以从可用的训练数据（如医学图像数据库）中提取知识。神经网络（NNs）为各种图像处理任务提供了最先进的技术，例如分割、图像合成和重建。在医学成像应用中，CNN架构的稳步改进显而易见，U-net架构仍然被认为是高性能模型，因为它能够在有限的数据环境中可靠地学习。

在图像重建的背景下，流行的方法使用形式为

的网络，其中 $(\mathcal{B}_\alpha)_{\alpha > 0}$ 是经典的重建方法， $(\mathcal{U}_\theta)_{\theta \in \Theta}$ 是神经网络架构。这里，基于数据 $y$ 找到一个初始重建 $\mathcal{B}_\alpha(y)$ ，然后训练一个网络以根据训练参数增强此重建。虽然 $\mathcal{B}_\alpha$ 作为前向算子的近似逆，但学习部分可以看作是对MRI中的混叠伪影或有限角度CT中的条纹伪影等伪影的校正。具体来说，在我们的工作中，我们将使用形式为

的残差网络，这些网络由任意网络架构 $(\mathcal{U}_\theta)_{\theta \in \Theta}$ 定义，作为参考方法。在本研究中，除非另有说明， $(\mathcal{U}_\theta)_{\theta \in \Theta}$ 被视为基本的U-net架构。

2.3 Data consistency

给定一个初始重建 $\mathcal{B}_\alpha(y)$ 和任何网络 $\mathcal{U}_\theta$ ，两步方法(2.2)并不促进数据一致的解决方案。这意味着即使 $\mathcal{A}(\mathcal{B}_\alpha(y))$ 接近数据 $y$ ，这并不一定适用于 $\mathcal{A}(\mathcal{U}_\theta \circ \mathcal{B}_\alpha)(y)$ 。为了解决这个问题，一种方法是考虑变分或迭代网络。然而，具有迭代架构的模型会增加训练时间，并且控制数据差异 $\| \mathcal{A}x - y \|^2$ 仍然是一个挑战。

为了从任何重建 $x_\mathcal{M} := \mathcal{M}(y)$ 推导出一个数据一致的解决方案，我们因此考虑正交投影

到解空间 $L(\mathcal{A}, y) := \{ x \mid \mathcal{A}x = y \}$ 。计算正交投影的迭代方法是Landweber迭代，其中

初始值为 $x_0 = x_\mathcal{M}$ ，其中 $\lambda_j > 0$ 是第 $j$ 次迭代的步长。注意，Landweber迭代(2.6)将应用于已经训练好的网络的输出。这允许进行大量的迭代，确保对投影到 $L$ 的良好近似，并且不会延长训练过程。在不适定的情况下，可以通过早期停止、用具有稳定伪逆的算子替换前向模型 $\mathcal{A}$ ，或者在两步方法 $\mathcal{M}_{\alpha, \theta} = \mathcal{N}_\theta \circ \mathcal{B}_\alpha$ 中用 $(\mathcal{A} \circ \mathcal{B}_\alpha)(y)$ 替换数据 $y$ 来将正则化整合到(2.6)中。

2.4 Null space networks

为了获得保证数据一致的解决方案，引入了零空间网络的概念。零空间网络基本上表示只修改前向问题核中组件的残差网络。更正式地说，设 $(\mathcal{U}_\theta)_{\theta \in \Theta}$ 为任何网络架构， $\mathcal{P}_0$ 表示到 $\mathcal{A}$ 的零空间的正交投影。我们称

为与算子 $\mathcal{A}$ 相关联的零空间网络，其架构为 $(\mathcal{U}_\theta)_{\theta \in \Theta}$ ，级联长度分别为一和二。图1展示了一个零空间网络（级联长度为一）的示意图。

我们在两步重建(2.2)的背景下使用零空间网络。注意，任何零空间网络都是残差网络的一种特殊形式，其中残差校正仅在前向算子 $\mathcal{A}$ 的零空间中操作，并通过确保数据一致性 $\mathcal{A} \circ \Psi_\theta^{(1)} = \mathcal{A}$ 来实现。可以很容易地验证 $(\text{Id} + \mathcal{P}_0 \circ \mathcal{U}_\theta)(\mathcal{A}^+ y) = \mathcal{P}_L((\text{Id} + \mathcal{U}_\theta)(\mathcal{A}^+ y))$ 。因此，使用零空间网络 $\text{Id} + \mathcal{P}_0 \circ \mathcal{U}_\theta$ 或投影残差网络 $\mathcal{P}_L \circ (\text{Id} + \mathcal{U}_\theta)$ 进行的两步重建对于给定参数是一致的。然而，训练零空间网络显然不同于训练残差网络后再投影到 $\mathcal{P}_L$ 。

2.5 Network training

设 $(\mathcal{M}_\theta)_{\theta \in \Theta}$ 为一种重建方法，其参数向量 $\theta$ 是基于训练数据 $(\mathcal{A}x_i, x_i)_{i=1}^N$ 选择的。注意，为了简化，这里省略了经典重建 $(\mathcal{B}_\alpha)_{\alpha > 0}$ 在(2.2)中的下标 $\alpha$ 。常见的训练过程是最小化经验风险

根据[6, 50]，可以解释为残差图像 $(\epsilon_{\theta, p})_{p=1}^n := \mathcal{M}_\theta(\mathcal{A}x) - x$ 的每个分量都服从拉普拉斯分布 $\epsilon_{\theta, p} \sim \text{Laplace}(0, \sigma)$ ，其密度为 $\exp(-|\epsilon_{\theta, p}|/\sigma)/(2\sigma)$ 。最大似然优化得到

因此，对于像素独立的尺度参数 $\sigma$ ，最大似然优化恢复了经验风险(2.9)的最小化。

2.6 Uncertainty quantification

显然，假设所有残差 $\epsilon_{\theta, p} := (\mathcal{M}_\theta(\mathcal{A}x) - x)_p$ 具有固定尺度是相当强的。在不确定性量化的背景下，可以通过考虑输入依赖的尺度参数来放宽这一假设。为此，尺度现在被视为整个图像 $\sigma = (\sigma_p)_{p=1}^n$ 并被建模为数据 $y \in \mathbb{R}^m$ 的函数。更准确地说，网络现在同时预测重建 $x_\theta = \mathcal{M}_\theta^x(y)$ 及其对应的尺度图 $\sigma_\theta = \mathcal{M}_\theta^\sigma(y)$ 。在我们的实现中，重建网络 $\mathcal{M}_\theta^x$ 将被采用为两步架构(2.2)与零空间网络(2.7)或(2.8)的组合。不确定性估计网络 $\mathcal{M}_\theta^\sigma$ 具有相似的架构，并且几乎共享所有参数。更具体地说，我们在最后一个零空间块中将网络架构 $\mathcal{U}_\theta$ 分成两个输出分支，其中一个提供数据一致的重建，另一个提供不确定性图。有关进一步的实现细节，我们参考可用的github仓库 [https://github.com/anger-man/cascaded-null-space-learning](https://github.com/anger-man/cascaded-null-space-learning)。

网络 $\mathcal{M}_\theta^x$ 和 $\mathcal{M}_\theta^\sigma$ 通过同时最小化不确定性感知损失来训练。

通过将 $(\mathcal{M}_\theta^\sigma(\mathcal{A}x_i))_p = \sigma$ 视为常数，(2.10) 将简化为 (2.9)。然而，同时最小化允许重建图像及其相关的不确定性。对于具有较大绝对残差的区域，我们在尺度图中获得较大的值，对应于较高的不确定性。同时，对数项惩罚模型，以避免对所有像素区域预测高不确定性。

不确定性感知模型的好处是多方面的。训练过程对训练集中的OOD（分布外）数据更加稳健，预测期间建立的测量质量不足，以及可能影响重建的不需要的对象或伪影在没有真实数据的情况下被检测和定位。

2.7 Implemented methods

在我们的模拟中，我们比较了总共八种不同的学习重建方法与真实数据和Moore-Penrose逆：

$x_0$ ：用于误差评估的真实数据。
$x^\dagger = \mathcal{A}^\dagger(y)$ ：伪逆重建。
$x_{\mathcal{R},1} = \mathcal{R}_\theta^{(1)}(x^\dagger)$ ：两步重建 (2.2) + (2.3)。
$x_{\mathcal{R},2} = \mathcal{R}_\theta^{(2)}(x^\dagger)$ ：两步重建 (2.2) + (2.4)。

$\mathcal{P}_L(x_{\mathcal{R},1})$ ：将 $x_{\mathcal{R},1}$ 投影到 $L(\mathcal{A}, y)$ 上 (2.5)。
$\mathcal{P}_L(x_{\mathcal{R},2})$ ：将 $x_{\mathcal{R},2}$ 投影到 $L(\mathcal{A}, y)$ 上 (2.5)。
$x_{\Psi,1} = \Psi_\theta^{(1)}(x^\dagger)$ ：零空间重建 (2.2) + (2.7)。
$x_{\Psi,2} = \Psi_\theta^{(2)}(x^\dagger)$ ：零空间重建 (2.2) + (2.8)。
$x_{\Psi,1}^{\text{unc}}$ ：使用 (2.7) 的不确定性感知重建。
$x_{\Psi,2}^{\text{unc}}$ ：使用 (2.8) 的不确定性感知重建。

基础网络 $\mathcal{R}_\theta^{(1)}$ 、 $\mathcal{R}_\theta^{(2)}$ 、 $\Psi_\theta^{(1)}$ 、 $\Psi_\theta^{(2)}$ 使用 MAE 损失函数 (2.9) 进行训练，除了不确定性感知网络 $x_{\Psi,1}^{\text{unc}}$ 、 $x_{\Psi,2}^{\text{unc}}$ ，它们通过最小化不确定性感知损失 (2.10) 进行训练。对于重建 $\mathcal{P}_L(x_{\mathcal{R},1})$ 和 $\mathcal{P}_L(x_{\mathcal{R},2})$ ，所有 $Ax = y$ 解决方案空间的投影是使用 Landweber 迭代的 15 次迭代计算的。重建质量通过峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 进行评估。

3 Results

在本节中，我们展示了所讨论重建方法的数值结果。为此，我们将考虑两个形式为(1.1)的逆问题示例：(A) 在fastMRI数据集上从欠采样的傅里叶测量中重建[36, 54]；(B) 在自采集的玩具数据集上从有限角度Radon测量中重建。请注意，本研究的目的不是提出一个新的最先进的模型来解决特定的逆问题。通过这些实验，我们展示了对网络架构的简单调整和对损失函数的轻微修改可以显著提高重建质量，并带来基于像素的置信度预测的好处。还要注意，这些修改是在考虑图像处理任务中广泛使用的基本U网络架构的基础上实现和评估的。然而，我们的方法是可以应用于任何网络架构的。

3.1 Study A: 4-fold accelerated MRI

第一个案例研究致力于MRI中压缩感知的真实场景。为此，我们使用了公共的fastMRI数据集，该数据集由1594个多线圈膝部MRI扫描组成（[https://fastmri.med.nyu.edu/](https://fastmri.med.nyu.edu/)）。实验基于571个随机选择的无脂肪抑制的诊断案例的子集。为了对未见个体进行面向实践的评估，随机选择了5%的扫描来代表测试案例。这产生了近20000个样本用于训练和1000个样本用于测试。对于训练集 $(x_i)_{i=1}^N$ ，我们从完全采样的多线圈数据中提取了 $x_i \in \mathbb{R}^{320 \times 320}$ 的幅度图像。与[22]类似，我们的模型对应于单线圈MRI的更简单模型。fastMRI挑战还提供了从多线圈测量中回顾性绘制的模拟单线圈数据。然而，我们决定从多线圈重建中采样，以获得更高的图像质量和减少噪声的测量。

Implementation details

在这里，前向算子的形式为 $\mathcal{A} = \mathcal{S} \circ \mathcal{F}$ ，其中 $\mathcal{F} : \mathbb{C}^{320 \times 320} \rightarrow \mathbb{C}^{320 \times 320}$ 是二维离散傅里叶变换， $\mathcal{S} : \mathbb{C}^{320 \times 320} \rightarrow \mathbb{C}^{320 \times 320}$ 是通过二进制掩模实现的子采样算子，该掩模在相位编码方向上省略了傅里叶测量线。丢弃的k空间线的数量取决于加速因子，在我们的案例中设置为75%，遵循[32]中的欠采样方案。傅里叶变换是单位算子。因此， $\mathcal{A}$ 的Moore-Penrose逆由前向算子的共轭转置给出， $\mathcal{A}^\dagger = \mathcal{F}^* \circ \mathcal{S}$ 。请注意，我们实际上拥有复数值数据。因此，在将实例输入到神经网络函数之前，我们连接实部和虚部，使它们被视为独立的通道， $x^\dagger \in \mathbb{R}^{2(320 \times 320)}$ 。数据处理流程和模型使用Python中的PyTorch库（[https://pytorch.org/](https://pytorch.org/)）实现，以进行GPU加速计算。有关训练和超参数选择的任何详细信息，我们参考我们的github仓库 [https://github.com/anger-man/cascaded-null-space-learning](https://github.com/anger-man/cascaded-null-space-learning)。

Reconstruction results

表1中显示的定量结果证明了基于深度学习的求解器的优越准确性。基准 $x_{\mathcal{R},1}$ 已经实现了31.29的PSNR和0.851的SSIM，针对的是近1k个未见过的测试切片。当我们考虑到压缩感知场景中的4倍加速率时，即仅保留了相位编码方向上25%的线，这一结果相当令人印象深刻。将先前训练的基本方法投影到解空间 $L$ 上，可以得到近似的数据一致解。其影响通过两个测试指标的轻微增加得到了确认。将 $x_{\Psi,1}$ 扩展到级联方案 $x_{\Psi,2}$ 对整个优化过程有积极影响，PSNR和SSIM指标分别显著提高到33.39和0.882。

在图2中，我们观察到伪逆重建 $x^\dagger = \mathcal{A}^\dagger(y)$ 中明显的混叠伪影。这些伪影在所有学习重建中显然被移除。放大区域的检查表明，与残差网络相比，零空间网络在高频细节上的对比度更高。使用零空间方法进行联合重建和不确定性预测不会显著改变重建质量。因此，可以将不确定性感知整合到级联零空间块中，而不影响重建性能。不确定性估计的好处将在下文中进行研究。

Uncertainty quantification

与研究A类似，同时对玩具幻影数据集的不确定性图进行建模的好处被定性地探索。在这种情况下，我们通过向幻影中添加一个方形物体来模拟OOD数据。这可以被解释为一个非常简单的模拟，例如金属存在于人体内部，这可能是由于假牙或人工关节。CT中的金属伪影在金属物体周围的区域可能特别成问题，图像质量可能会严重下降。再次，研究了Moore-Penrose逆和级联零空间网络在图6中显示的两个测试幻影上的行为。插入的方形扰动为基于模型的重建 $x^\dagger$ （第一行）产生了强烈的条纹伪影，并且在基于DL的重建 $\Psi_\theta^{(2)}(x^\dagger)$ （第二行）中也可见。方形的位置在相应的不确定性图（第三行）中被清晰地标记为高强度。此外，在有限角度CT的设置中，不确定性感知零空间网络清楚地识别出由于未知金属伪影的存在而在重建过程中产生的不可靠区域。

4 Conclusion

在本文中，我们提出了一种基于学习的同步图像重建和不确定性估计方法。所提出的不确定性估计程序在重建网络中引入了第二个输出分支，可以将其视为重建图像与地面实况之间拉普拉斯分布残差的比例图。这导致根据训练数据易于学习的区域的不确定性值较小。另一方面，像素强度和分布外数据的快速变化会产生高频细节的新区域，已经为此开发了第二个输出分支来预测高不确定性。我们的实验表明，对网络架构的简单修改和对风险函数的轻微修改会产生不确定性信息并提高重建质量。该方法基于图像处理任务中常用的标准U-net架构进行实现和评估。然而，我们的框架也可以与更复杂的架构相结合或集成到最先进的图像重建方法中。

查看全文

http://www.dtcms.com/a/520415.html