当前位置：首页 > news >正文

超越肉眼所见：一种利用视网膜光学相干断层扫描血管成像（OCTA）图像进行早期痴呆检测的关联模型|文献速递-深度学习医疗AI最新文献

news 2025/7/3 21:01:48

Title

题目

Beyond the eye: A relational model for early dementia detection using retinal OCTA images

超越肉眼所见：一种利用视网膜光学相干断层扫描血管成像（OCTA）图像进行早期痴呆检测的关联模型

文献速递介绍

阿尔茨海默病（AD）是一种进行性且不可逆的神经退行性疾病，其诊断频率日益增加，并对全球疾病负担有着重大影响（高格勒等人，2021）。轻度认知障碍（MCI）可能是记忆或认知能力丧失的早期阶段，是认知正常和阿尔茨海默病之间的一个中间阶段，很有可能会发展为阿尔茨海默病。早期且准确地诊断AD/MCI对于及时进行干预和治疗至关重要。目前，脑部成像，包括磁共振成像（MRI）和正电子发射断层扫描（PET），以及神经生物学检测，如脑脊液淀粉样蛋白、tau蛋白和遗传风险评分，在医院中常用于诊断AD和MCI。然而，这些方法存在诸如耗时、有侵入性、准确性低或成本高等局限性，这阻碍了它们在大规模筛查和日常临床实践中的应用（赛金等人，2010）。眼睛和大脑有着相似的组织起源，并且它们在结构特征和功能机制方面的相似性及关联性此前已被研究过（尹等人，2024；刘等人，2016）。最近，有报道称AD患者和健康对照组之间在视网膜生物标志物方面存在显著差异，这表明AD会影响眼睛并导致视网膜结构发生变化。例如，吴等人（2020b）报告称，AD和MCI患者在黄斑区域都存在视网膜微血管密度的降低。柯西奥（2018）从光学相干断层扫描血管成像（OCTA）中提取了结构特征，并表明与健康对照组相比，认知障碍的参与者内中央凹的厚度显著减小。扎贝尔等人（2019）证明了AD与视网膜神经元凋亡和视网膜血管功能障碍有关。这些研究表明，视网膜微血管衰减可能是MCI和AD迹象的潜在生物标志物。因此，视网膜成像已成为检测AD和MCI的一种潜在工具，并且先前的研究（金等人，2022；张等人，2022）主要应用机器学习方法对彩色眼底照相（CFP）图像进行处理，以检测AD/MCI。金等人（2022）使用CFP图像训练了一个改进的MobileNet模型来识别患有AD的个体。这项工作将注意力机制修改为加权注意力机制，并应用了添加掩码的过程来预测患AD的可能性。张等人（2022）使用数千个CFP样本开发了一个用于检测AD的深度学习模型。这些方法很少遵循基于临床区域的分析流程，这限制了它们整合有价值的临床统计结果并生成对临床友好结果的能力。大多数现有的研究工作都使用彩色眼底照相（CFP）成像方式来研究AD或MCI。尽管CFP在可及性和成本效益方面具有优势，但其本身的分辨率（血管直径为60 - 300微米）不足以详细成像视网膜微血管网络，如图1-(a)所示：这使得在诸如MCI等疾病的早期阶段无法检测到细微的血管变化。相比之下，光学相干断层扫描血管成像（OCTA）是一种先进的成像方式，它能够对视网膜微血管和脉络膜毛细血管进行无创且快速的成像，具有高分辨率（直径为5 - 6微米），涵盖多个层次，包括浅层血管复合体（SVC）、深层血管复合体（DVC）和脉络膜毛细血管层（CC）。OCTA血流信号的最大投影，也就是所谓的“正面”图像（图1-(b)），它增强了深度分辨微血管成像能力，并有助于检测细微的血管变化，这对于许多与眼睛相关疾病（如糖尿病视网膜病变（桑普森等人，2022））的准确筛查和早期诊断至关重要。在临床实践中，眼科医生经常使用区域分析工具来研究视网膜图像上的视网膜生物标志物。最常用的是糖尿病视网膜病变早期治疗研究网格（ETDRS），如图1-(c)所示。ETDRS网格是一种标准化的网格，它用三个同心圆和两条正交线将视网膜分为九个区域：直径为1毫米的中央凹环、黄斑内环和黄斑外环。ETDRS网格为黄斑区域提供了系统且一致的评估，允许以标准化的方式更具体地评估视网膜的变化，这可以为疾病提供更细致的理解（勒希格等人，2019；德米尔卡亚等人，2013；徐等人，2018）。如图1-(c)所示，可以发现ETDRS网格和视网膜的“正面”图像都具有符合生物学本质的圆形特征。浅层血管复合体（SVC）中的大血管围绕一个圆形生长，并在接近圆心的位置逐渐消失，形成一个无血管的中央凹无血管区（FAZ）（康拉特等人，2005）。因此，在我们之前的工作（谢等人，2023）中，我们使用ETDRS网格研究了结构特征与AD和MCI之间的关联，结果表明，AD和MCI参与者的内层血管复合体特定区域的血管面积密度和血管长度密度显著降低。受上述观察和发现的启发，在这项工作中，我们提出了一种新颖的端到端框架，即PolarNet+，以充分利用基于临床区域的分析方法，利用OCTA图像检测早发型阿尔茨海默病（EOAD）和轻度认知障碍（MCI）。我们旨在将与ETDRS网格一致的基于区域的特征提取过程整合到一个基于深度学习的分类模型中。为了获得更准确且临床可接受的结果，值得注意的是，我们专门设计了一种近似扇形卷积，然后对ETDRS网格的区域应用极坐标变换，以便利用空间约束并提高特征提取和分类性能。所提出的PolarNet+显著扩展了我们在MICCAI - 2023上发表的工作（刘等人，2023），之前的工作仅在一个包含114名受试者的单一数据集上进行了验证。在这项工作中，我们将数据池从114名参与者扩展到了1671名，并进行了重大的技术改进。因此，这种新方法还能够使用视网膜OCTA图像将MCI患者与健康对照组区分开来，同时获得更准确的检测结果。总体而言，这项工作与先前工作的主要区别以及本工作的主要贡献可以总结如下： - 我们认为我们的工作是在该研究领域中首次尝试使用视网膜OCTA图像检测EOAD和MCI。除了提供分类结果之外，我们的模型还提供了一个区域重要性图和一个区域关系图，突出了驱动决策的判别模式，并揭示了对神经系统疾病有提示作用的视网膜区域之间的联系。 - 我们开发了一种三维序列化技术，将不同的视网膜区域建模为序列，从而能够准确提取图像特征。这种方法捕捉了先前被卷积神经网络（CNN）模型忽略的空间模式，从而提高了表征能力。 - 我们引入了一个基于重新连接的图推理模块，以充分利用和理解不同视网膜和脉络膜层之间的关系，利用了OCTA数据的独特特征。这实现了有前景的分类性能。更重要的是，它提供了区域连接以提高模型的透明度，从而有助于获得更符合临床需求的见解。 - 我们对临床友好的分析验证了已知的眼脑联系，并揭示了新的判别模式，展示了该模型作为一种计算机辅助病理工具的潜力，可用于研究眼科疾病与复杂神经系统疾病之间鲜为人知的关联。

Abatract

摘要

Early detection of dementia, such as Alzheimer’s disease (AD) or mild cognitive impairment (MCI), is essentialto enable timely intervention and potential treatment. Accurate detection of AD/MCI is challenging dueto the high complexity, cost, and often invasive nature of current diagnostic techniques, which limit theirsuitability for large-scale population screening. Given the shared embryological origins and physiologicalcharacteristics of the retina and brain, retinal imaging is emerging as a potentially rapid and cost-effectivealternative for the identification of individuals with or at high risk of AD. In this paper, we present a novelPolarNet+ that uses retinal optical coherence tomography angiography (OCTA) to discriminate early-onsetAD (EOAD) and MCI subjects from controls. Our method first maps OCTA images from Cartesian coordinatesto polar coordinates, allowing approximate sub-region calculation to implement the clinician-friendly earlytreatment of diabetic retinopathy study (ETDRS) grid analysis. We then introduce a multi-view module toserialize and analyze the images along three dimensions for comprehensive, clinically useful informationextraction. Finally, we abstract the sequence embedding into a graph, transforming the detection task intoa general graph classification problem. A regional relationship module is applied after the multi-view moduleto explore the relationship between the sub-regions. Such regional relationship analyses validate known eyebrain links and reveal new discriminative patterns. The proposed model is trained, tested, and validated on fourretinal OCTA datasets, including 1,671 participants with AD, MCI, and healthy controls. Experimental resultsdemonstrate the performance of our model in detecting AD and MCI with an AUC of 88.69% and 88.02%,respectively. Our results provide evidence that retinal OCTA imaging, coupled with artificial intelligence, mayserve as a rapid and non-invasive approach for large-scale screening of AD and MCI.

早期检测出痴呆症，如阿尔茨海默病（AD）或轻度认知障碍（MCI），对于实现及时干预和潜在治疗至关重要。由于当前诊断技术高度复杂、成本高昂，且往往具有侵入性，准确检测AD/MCI颇具挑战性，这些因素限制了它们在大规模人群筛查中的适用性。鉴于视网膜与大脑在胚胎起源和生理特征方面存在共性，视网膜成像正逐渐成为一种潜在的快速且经济高效的替代方法，可用于识别患有AD或处于AD高风险的个体。在本文中，我们提出了一种新颖的PolarNet+模型，该模型利用视网膜光学相干断层扫描血管成像（OCTA）技术，将早发型阿尔茨海默病（EOAD）患者和轻度认知障碍（MCI）患者与健康对照组区分开来。我们的方法首先将OCTA图像从笛卡尔坐标系映射到极坐标系，从而能够进行近似的子区域计算，以实现对临床医生友好的糖尿病视网膜病变早期治疗研究（ETDRS）网格分析。然后，我们引入了一个多视角模块，沿三个维度对图像进行序列化和分析，以提取全面的、对临床有用的信息。最后，我们将序列嵌入抽象为一个图，将检测任务转化为一个通用的图分类问题。在多视角模块之后应用区域关系模块，以探究子区域之间的关系。这种区域关系分析验证了已知的眼脑联系，并揭示了新的具有判别性的模式。我们所提出的模型在四个视网膜OCTA数据集上进行了训练、测试和验证，这些数据集涵盖了1671名患有阿尔茨海默病（AD）、轻度认知障碍（MCI）的患者以及健康对照组参与者。实验结果表明，我们的模型在检测阿尔茨海默病（AD）和轻度认知障碍（MCI）方面表现出色，曲线下面积（AUC）分别达到了88.69%和88.02%。我们的研究结果提供了证据，表明视网膜OCTA成像结合人工智能，有望成为一种快速且非侵入性的方法，用于大规模筛查阿尔茨海默病（AD）和轻度认知障碍（MCI）。

Method

方法

In this section, we detail the proposed PolarNet+ for EOAD/MCIdetection method using retinal OCTA images, including image polartransformation, classification model architecture, and three specificmodules for end-to-end training.Fig. 2 illustrates the outline of our EOAD/MCI detection methodusing multiple en face angiograms of OCTA as input. We first employVAFF-Net (Hao et al., 2022) to locate the FAZ center point on the SVClayer, and then transform the original images from polar coordinates toCartesian coordinates, as shown in Fig. 2(a) and (b). These transformedimages are fed into the PolarNet+ for the extraction of sequential features in circle-area, ring-area, and sector-area along three dimensions.After sequencing, the sequences that encode complementary regionspecific information are treated as graph nodes and fed into a regionalrelationship module. Finally, PolarNet+ aggregates the node featuresand relationships for the generation of the final detection output.Furthermore, PolarNet+ is capable of generating two distinct visualizations, thereby facilitating a more clinically acceptable insight., asdemonstrated in Fig. 2(e) and (f): a region importance map highlightingdiscriminative patterns that drive the decision-making, and a regionalrelationship graph revealing connections between retinal areas that areinformative for neurological conditions.

2. 方法在本节中，我们将详细介绍所提出的用于利用视网膜光学相干断层扫描血管成像（OCTA）图像检测早发型阿尔茨海默病（EOAD）/轻度认知障碍（MCI）的PolarNet+方法，包括图像极坐标变换、分类模型架构，以及用于端到端训练的三个特定模块。图2展示了我们以多张OCTA “正面” 血管造影图像作为输入的EOAD/MCI检测方法的概要。我们首先使用VAFF-Net（郝等人，2022）在浅层血管复合体（SVC）层上定位中央凹无血管区（FAZ）的中心点，然后将原始图像从极坐标转换为笛卡尔坐标，如图2(a)和(b)所示。这些经过转换的图像被输入到PolarNet+中，以便沿着三个维度提取圆形区域、环形区域和扇形区域的序列特征。在进行序列化之后，对互补的区域特定信息进行编码的序列被视作图节点，并输入到区域关系模块中。最后，PolarNet+聚合节点特征和关系，以生成最终的检测输出。此外，PolarNet+能够生成两种不同的可视化结果，从而有助于获得更符合临床需求的见解，如图2(e)和(f)所示：一个是突出显示驱动决策的判别模式的区域重要性图，另一个是揭示对神经系统疾病有提示作用的视网膜区域之间联系的区域关系图。

Conclusion

结论

In clinical practice, the region-based analysis technique is frequentlyemployed to study OCTA image biomarkers and to understand thecorrelation with various eye-related diseases. This is typically achievedby utilizing a region-based analysis technique such as the ETDRS grid.To this end, our framework integrates the ETDRS and gradCAM, andmaps the model’s decision-making to a region-based representation thataligns with clinical practice. This paper takes one step in addressing thecritical EOAD/MCI detection issue through innovative retinal imagingand deep learning methods. PolarNet+ inherits its predecessor’s abilityto compute regional significance and provides views of regional relationships, with which we can obtain a more open and comprehensiveview of AD/MCI analysis based on OCTA images.Our method extends beyond the mere averaging of data, incorporating regional relationship modeling to elucidate the manner in whichdifferent regions interact and contribute collectively to the decisionmaking process. This offers a more comprehensive view of the model’spredictions, improving the clinically acceptability using the assessmentof regional importance. To the best of our knowledge, this work isthe first attempt to generate a regional map of significant importance,specifically designed for EOAD/MCI using OCTA images. This taskspecific adaptation not only adds clinical relevance but also providesa new level of insight into regional disease patterns. Although gradCAM is a well-established method for visual explanations, averagingoutputs within regions is necessary for tasks that rely on region-levelanalysis. This approach guarantees consistency with the clinical partitioning strategy and enables the model to concentrate on region-specificdisease-relevant patterns.Dementia remains a formidable global health challenge, necessitating early and accurate diagnosis for effective interventions. Ourresearch builds upon the fundamental connection between the brainand the eye, capitalizing on the region-based method and physiologicaltraits to explore retinal biomarkers for EOAD/MCI detection and classification. Retinal OCTA imaging overcomes many defects of establishedtechniques in AD screening, as a non-invasive alternative, enablingthe detection of subtle retinal vasculature changes that can serve asvaluable AD biomarkers. In conclusion, the contributions of PolarNet+are substantial, based on a new mapping paradigm for regional relationships, expanding the understanding of AD. The journey from PolarNetto PolarNet+ represents a substantial advancement in the pursuit ofclinical-friendly and precise analysis based on OCTA images.

在临床实践中，基于区域的分析技术常被用于研究光学相干断层扫描血管成像（OCTA）图像生物标志物，并了解其与各种眼部相关疾病的关联。这通常是通过使用如糖尿病视网膜病变早期治疗研究（ETDRS）网格这样的基于区域的分析技术来实现的。为此，我们的框架整合了ETDRS和梯度加权类激活映射（gradCAM），并将模型的决策过程映射到一种与临床实践相符的基于区域的表征上。本文通过创新的视网膜成像和深度学习方法，在解决早发型阿尔茨海默病（EOAD）/轻度认知障碍（MCI）这一关键检测问题上迈出了一步。PolarNet+继承了其前身计算区域重要性的能力，并提供了区域关系的视角，借助这些我们能够基于OCTA图像对AD/MCI分析获得更开放、全面的认识。我们的方法不仅仅局限于对数据进行简单的平均处理，还纳入了区域关系建模，以阐明不同区域是如何相互作用并共同对决策过程产生影响的。这为模型的预测提供了更全面的视角，通过对区域重要性的评估提高了临床可接受性。据我们所知，这项工作是首次尝试生成专门针对使用OCTA图像检测EOAD/MCI的重要区域图。这种针对特定任务的适配不仅增加了临床相关性，还为深入了解区域疾病模式提供了新的视角。尽管gradCAM是一种成熟的可视化解释方法，但对于依赖区域层面分析的任务而言，对区域内的输出进行平均处理是必要的。这种方法确保了与临床分区策略的一致性，并使模型能够专注于特定区域的疾病相关模式。痴呆症仍然是一项严峻的全球性健康挑战，需要早期且准确的诊断以进行有效的干预。我们的研究建立在大脑和眼睛之间的基本联系之上，利用基于区域的方法和生理特征来探索用于EOAD/MCI检测和分类的视网膜生物标志物。视网膜OCTA成像作为一种非侵入性的替代方法，克服了阿尔茨海默病（AD）筛查中现有技术的许多缺陷，能够检测到细微的视网膜血管变化，而这些变化可作为有价值的AD生物标志物。总之，PolarNet+的贡献是巨大的，它基于一种新的区域关系映射范式，拓展了我们对AD的理解。从PolarNet到PolarNet+的发展历程，代表了在追求基于OCTA图像的临床友好且精确的分析方面取得的重大进展。

Results

结果

4.1. Implementation details

To mitigate the impact of data imbalance, we employed the following strategies. Firstly, we applied data augmentation techniques,including rotating the minority class images (±20 degrees), to increasethe diversity and representation of EOAD and MCI samples. In addition,a class-weighted loss function was used during model training to ensurebalanced attention to all classes, regardless of their frequency in thedataset. The same data augmentation procedures, including rotationby +/−20 degrees, were applied consistently across all comparisonmethods to ensure a fair comparison.We selected SVC, DVC, and CC as the input images, and the polartransformation was applied to them. Because the ETDRS regions of twoeyes are symmetrical, before the transformation, all the images wereflipped from the left eye (OS) to the right eye (OD). The transformedimages were scaled down to a width of 224 pixels. We performed ahyperparameter search for all methods involved in the comparison (initial learning rate: from 1e−5 to 2e−4, stepped by 3e−5; dropout rate:from 4e−2 to 2e−1, stepped by 2e−2), and applied the correspondinghyperparameters that yielded optimal performance. The batch size isfixed to 16 and the same data augmentation procedures were appliedconsistently across all methods to ensure a fair comparison.We implemented our method with PyTorch. A server runningUbuntu 20.04 with two Nvidia RTX 3090 GPUs was used to train themodel. An initial learning rate of 2e−5 and a batch size of 16 were used,with AdamW (Loshchilov and Hutter, 2017) as the optimizer. Fivefoldcross-validation was used to exploit the data and maximize reliability.It is worth noting that the proposed PolarNet+ was implemented byrepeating the Res3D block and the Sequencer3D blocks twice each toavoid over-fitting during training.In order to validate the proposed PolarNet+, the following state-ofthe-art approaches were selected for comparison in each study, including (1) seven well-known universal classification methods: ResNet (Heet al., 2016), EfficientNet (Tan and Le, 2019), ConvNeXt (Liu et al.,2022b), HorNet (Rao et al., 2022), VAN (Guo et al., 2023), ViT (Dosovitskiy et al., 2020), and SwinV2 (Liu et al., 2022a); (2) four fusionbased methods: Early fusion (Hermessi et al., 2021), Middle fusion(Zhou et al., 2019), Late fusion (Heisler et al., 2020), and MCC (Zhouet al., 2021); and (3) two OCTA-based dementia detection methods:MUCO-Net (Wang et al., 2022), and PolarNet (Liu et al., 2023). For afair comparison, all these methods use multiple *en face* angiograms asinput.

4.1. 实现细节为了减轻数据不平衡的影响，我们采用了以下策略。首先，我们运用了数据增强技术，包括对少数类别的图像进行旋转（正负20度），以此增加早发型阿尔茨海默病（EOAD）和轻度认知障碍（MCI）样本的多样性和代表性。此外，在模型训练过程中使用了类加权损失函数，以确保对所有类别给予均衡的关注，而不论它们在数据集中出现的频率如何。为了保证公平比较，所有对比方法都一致采用了相同的数据增强步骤，包括正负20度的旋转操作。我们选择了浅层血管复合体（SVC）、深层血管复合体（DVC）和脉络膜毛细血管层（CC）的图像作为输入，并对这些图像进行极坐标变换。由于双眼的糖尿病视网膜病变早期治疗研究（ETDRS）区域是对称的，在变换之前，所有左眼（OS）的图像都被翻转成右眼（OD）的图像。变换后的图像被缩小至宽度为224像素。我们对参与比较的所有方法都进行了超参数搜索（初始学习率：从1e−5到2e−4，步长为3e−5；随机失活率：从4e−2到2e−1，步长为2e−2），并采用了能产生最优性能的相应超参数。批量大小固定为16，并且所有方法都一致采用相同的数据增强步骤，以确保公平比较。我们使用PyTorch实现了我们的方法。使用一台运行Ubuntu 20.04系统、配备两块英伟达RTX 3090 GPU的服务器来训练模型。初始学习率为2e−5，批量大小为16，采用AdamW优化器（洛什奇洛夫和胡特，2017）。采用五折交叉验证来充分利用数据并最大化结果的可靠性。值得注意的是，所提出的PolarNet+是通过将三维残差模块（Res3D block）和三维序列化模块（Sequencer3D block）各重复两次来实现的，以避免在训练过程中出现过拟合现象。为了验证所提出的PolarNet+，在每项研究中我们选择了以下最先进的方法进行比较，其中包括：（1）七种著名的通用分类方法：残差网络（ResNet）（何等人，2016）、高效网络（EfficientNet）（谭和乐，2019）、ConvNeXt（刘等人，2022b）、HorNet（饶等人，2022）、视觉注意力网络（VAN）（郭等人，2023）、视觉Transformer（ViT）（多索维茨基等人，2020）和SwinV2（刘等人，2022a）；（2）四种基于融合的方法：早期融合（赫梅西等人，2021）、中期融合（周等人，2019）、晚期融合（海斯勒等人，2020）和多模态对比编码（MCC）（周等人，2021）；以及（3）两种基于光学相干断层扫描血管成像（OCTA）的痴呆检测方法：MUCO-Net（王等人，2022）和PolarNet（刘等人，2023）。为了进行公平比较，所有这些方法都使用多张 “正面” 血管造影图像作为输入。

Figure

图

Fig. 1. Demonstration of two different retinal imaging modalities of the same eye.(a) The CFP image and (b) its corresponding macula-centered OCTA images, such assuperficial vascular complex (SVC), deep vascular complex (DVC), and choriocapillaris(CC). (c) The ETDRS grid applied on the OCTA image: temporal-inner (TI), temporalexternal (TE), superior-inner (SI), superior-external (SE), nasal-inner (NI), nasal-external(NE), inferior-inner (II), and inferior-external (IE) sectors indicated.

图1：同一眼睛的两种不同视网膜成像方式的展示。(a) 彩色眼底照相（CFP）图像，以及 (b) 其对应的以黄斑为中心的光学相干断层扫描血管成像（OCTA）图像，例如浅层血管复合体（SVC）、深层血管复合体（DVC）和脉络膜毛细血管层（CC）。(c) 应用于OCTA图像上的糖尿病视网膜病变早期治疗研究（ETDRS）网格：图中标示出了颞侧内侧（TI）、颞侧外侧（TE）、上方内侧（SI）、上方外侧（SE）、鼻侧内侧（NI）、鼻侧外侧（NE）、下方内侧（II）和下方外侧（IE）扇形区域。

Fig. 2. A schematic illustration of the proposed PolarNet+ for EOAD/MCI detection using OCTA images and its regional-interaction analysis. (a)–(b) Illustrations of the polarand Cartesian coordinate systems, respectively. (c) The ETDRS grid in Fig. 1-(c) is applied to the OCTA image after polar transformation. (d) PolarNet+ categorizes the inputOCTA images into EOAD, MCI, and healthy controls (HC). (e)–(f) Visualizations of importance maps and relationship graph. Different colors indicate different levels of significance.Annotations: 𝑂𝑝 : the transformation center, also the FAZ center, also the pole of the polar coordinate system; 𝑂𝑐 : the origin of the Cartesian coordinate system, where the horizontalaxis is the 𝑋 axis, and the vertical axis is the 𝑌 axis; 𝑅: the radius of the region of interest.

图2：所提出的用于利用光学相干断层扫描血管成像（OCTA）图像检测早发型阿尔茨海默病（EOAD）/轻度认知障碍（MCI）的PolarNet+模型及其区域交互分析的示意图。(a) - (b) 分别为极坐标系和笛卡尔坐标系的图示。(c) 将图1-(c)中的糖尿病视网膜病变早期治疗研究（ETDRS）网格应用于经过极坐标变换后的OCTA图像。(d) PolarNet+将输入的OCTA图像分类为早发型阿尔茨海默病（EOAD）患者、轻度认知障碍（MCI）患者和健康对照组（HC）。(e) - (f) 重要性图和关系图的可视化。不同颜色表示不同的显著程度。注释：𝑂𝑝：变换中心，同时也是中央凹无血管区（FAZ）中心，也是极坐标系的极点；𝑂𝑐：笛卡尔坐标系的原点，其中水平轴为𝑋轴，垂直轴为𝑌轴；𝑅：感兴趣区域的半径。

Fig. 3. The details of the proposed PolarNet+ (a) and its modules (b), (d) and (e). PolarNet+ comprises the spatial extension module, the multi-view module, and the regionalrelationship Module. PolarNet+ treats stacked images as volumes, and all operations are in 3D. We obtain the Sequencer3D block (d) by replacing the multi-head (MH) attentionmodule in the transformer block (c) with BiLSTM3D (e). The right side of the subfigure (e) is the schematic representation of the 3D serialization processing. From top to bottomare explanations of the detailed splitting and mapping relations in the three directions (along the radius, around the pole, and along the depth). Here, we use one-way arrows foreasy understanding. As for the implementation, we use BiLSTM for comprehensive feature extraction

图3：所提出的PolarNet+的详细信息（a）及其模块（b）、（d）和（e）。PolarNet+由空间扩展模块、多视角模块以及区域关系模块组成。PolarNet+将堆叠的图像视为三维体数据，并且所有操作都是在三维空间中进行的。我们通过用三维双向长短期记忆网络（BiLSTM3D）（e）替换变换器模块（c）中的多头（MH）注意力模块，从而得到了三维序列化模块（Sequencer3D）（d）。子图（e）的右侧是三维序列化处理的示意图。从上到下是对三个方向（沿半径方向、绕极点方向以及沿深度方向）上详细的分割和映射关系的解释。在此，为了便于理解我们使用了单向箭头。至于具体实现，我们使用双向长短期记忆网络（BiLSTM）来进行全面的特征提取。

Fig. 4. Visualization of regional relationships by the means of regional adjacency matrix, generated from dataset ROAD-I.

图4：通过区域邻接矩阵的方式对区域关系进行可视化，该矩阵由ROAD-I数据集生成。

Fig. 5. Visualization of regional importance maps (a), generated from dataset ROAD-Iand ROMCI-I. For comparison, we generated (b) the results of the normal visualizationmethod, Grad-CAM, in the AD detection task on ROAD-I from a ResNet-18. (c)and (d) are the outcomes of the regional statistical assessments of the parametersgenerated from dataset ROAD-I and ROMCI-I, adjusted for covariates including age,gender, hypertension, diabetes, and education level, which were acquired through theutilization of the generalized estimation equation.

图5：（a）区域重要性图的可视化，由ROAD-I和ROMCI-I数据集生成。为作对比，我们生成了（b）在ROAD-I数据集上使用ResNet-18进行阿尔茨海默病（AD）检测任务时，采用常规可视化方法Grad-CAM得出的结果。（c）和（d）是对从ROAD-I和ROMCI-I数据集生成的参数进行区域统计评估的结果，这些结果针对包括年龄、性别、高血压、糖尿病和教育程度等协变量进行了校正，协变量信息是通过运用广义估计方程获取的。

Fig. 6. Visualization of the local regional relationships, generated from dataset ROAD-I. We arrange the nodes as their locations in the ETDRS grid for easier observation. Thenodes represent regions. Edge colors represent the relation strength, as in the legend. The definition of the ETDRS regions is shown in Fig. 1-(c)

图6：由ROAD-I数据集生成的局部区域关系的可视化图。为了便于观察，我们按照各区域在糖尿病视网膜病变早期治疗研究（ETDRS）网格中的位置来排列节点。这些节点代表不同的区域。边的颜色表示关系强度，如图例所示。ETDRS区域的定义如图1-(c)所示。

Table

表