基于特征融合的医学图像分类算法

完整项目包获取：点击文末名片

1  研究背景与目标
数字病理和影像学早已成为临床诊断的重要支撑。传统卷积神经网络（CNN）虽然对医学图像具备良好的判别能力，但单一主干网络在处理纹理细节与全局语义时常存在能力偏置。本项目提出一种双分支特征融合医学图像分类模型（FusionNet），在 PathMNIST 数据集上完成端到端训练与验证，最终输出可移植的推理权重文件，并通过多维指标定量评估模型性能。
目标概要：
暂时无法在飞书文档外展示此内容

---

2  数据集与预处理
2.1  数据来源

• PathMNIST
  • 来源：MedMNIST v2.2
  • 图像尺寸：28 × 28 × 3
  • 类别数：9（对应不同胃肠道病理类型）
  • 划分：
    • 训练集 80,000 张
    • 验证集 11,983 张
    • 测试集 27,065 张
      2.2  增强与归一化
      暂时无法在飞书文档外展示此内容

---

3  模型架构设计
3.1  双分支主干
暂时无法在飞书文档外展示此内容
二者的卷积层参数彼此独立；ResNet 前置低层卷积被冻结以降低显存与过拟合风险。
3.2  特征融合与注意力

• 级联：concat([f_resnet, f_mobile]) → 1,088‑D
• SE‑注意力：
  • 全局平均池化得到通道描述符
  • 两层 Bottleneck (r = 8) 提取依赖关系
  • Sigmoid 输出权重 w ∈[0,1]
  • 逐通道缩放融合特征：f_fused = w ⊙ concat(.)
    3.3  分类头
• Dropout 0.4（抑制 co‑adaptation）
• 全连接层 1,088 → 9
• Softmax 输出概率分布

---

4  训练与优化策略
暂时无法在飞书文档外展示此内容

---

5  评估指标

• TP/TN/FP/FN 为二元混淆矩阵统计
• C 为类别总数
  5.1  单类指标
  Precisioni=TPiTPi+FPi,Recalli=TPiTPi+FNi,F1i=2⋅Precisioni⋅RecalliPrecisioni+Recalli
  5.2  宏平均
  Metricmacro
  5.3  AUROC (multi‑class OVO)
  采用“一对一”策略计算所有类别对之间的 ROC 面积，再取宏平均。

---

6  实验结果
在 NVIDIA RTX 4060ti (16GB) + PyTorch 2.2.1 环境下，1轮训练获得如下测试集性能：
=== Test Metrics ===
ACC : 0.8170
Precision : 0.8089
Recall : 0.7891
F1 : 0.7748
AUROC : 0.9613