当前位置: 首页 > news >正文

YOLO11改进-模块-引入多域学习MDL(Multi-Domain Learning) 使用频域增强图像特征

        低光图像增强是一项具有挑战性的任务,传统方法在处理复杂现实场景时存在困难,深度学习方法虽取得一定进展,但仍需精心设计的先验信息或复杂的网络设计与训练。扩散模型在图像恢复和低光图像增强等任务中表现出色,但现有基于扩散的低光图像增强方法存在两个主要问题:一是在扩散过程中主要关注空间域忽略了频域特征;二是传统的基于单分辨率补丁的采样策略会导致严重的棋盘格伪影。为解决这些问题,本文提出 MDMS 扩散模型,其中 MDL 模块是关键创新点之一,用于从空间和频率空间中获取上下文信息,提升低光图像增强的效果。

上面是原模型,下面是改进模型

改进后的模型

 

1. 引入多域学习MDL介绍 

       。MDL 模块的理论基础是融合空间域和频域信息,共同指导扩散过程。在低光图像增强中,频域特征包含重要的信息,如颜色和纹理等,在采样过程中,频域特征也会逐步优化,且通常遵循从低频到高频的恢复方式。因此,将频域信息与空间域信息结合,可以为模型提供更全面的特征表示,从而更精确地恢复低光图像。MDL 模块通过 2D 快速傅里叶变换(FFT)将空间信息转换到频域,对频域信息的幅度和相位分量分别进行处理,再通过逆快速傅里叶变换(IFFT)将处理后的频域特征转换回空间域,与空间域分支提取的特征进行融合,以此实现多域信息的协同作用。

从提供的图片来看,MDL 模块主要包含以下几个部分:

MDL 模块包含两个并行分支,分别聚焦于空间和频率特征学习。

        频域分支利用 2D FFT 将空间信息转换到频域,频域信息包含幅度和相位两个分量,对这两个分量分别采用 1×1 卷积进行处理,以保留原始结构信息,之后通过 IFFT 将处理后的频域特征转换回空间域。

        在空间域分支,将特征通道分为两半,分别获取局部和全局信息。通过深度可分离卷积提取局部特征,利用自注意力机制获取全局信息,并对中间特征进行平均池化以减小尺寸,之后再恢复到原始大小,最后将两个分支的特征进行融合,从而使模型能够有效学习多域特征空间中更全面的表示。

2. YOLOv11与MDL 的结合          

 本文使用MDL模块替换C3K2模块中的普通卷积,增强YOLOv11模型频域特征,实现多域信息的协同作用。

3. MDL代码部分

YOLOv8_improve/YOLOv11.md at master · tgf123/YOLOv8_improve · GitHub

视频讲解:YOLOv11模型改进讲解,教您如何修改YOLOv11_哔哩哔哩_bilibili

YOLOv11全部代码,现有几十种改进机制。

 4. 将MDL引入到YOLOv11中

第一: 将下面的核心代码复制到D:\model\yolov11\ultralytics\change_model路径下,如下图所示。

         

第二:在task.py中导入

 ​​​     ​​​​​​​   

第三:在task.py中的模型配置部分下面代码

 ​​​​​​​​​​​​​​ ​​​​​​​ ​​​​​​​​​​​​​​​​​​​​​   

 

第四:将模型配置文件复制到YOLOV11.YAMY文件中

     ​​​​​​​ ​​​​​​​​​​​​​​​​​​​​​  

     第五:运行成功

from sympy import false

from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorld

if __name__=="__main__":

    # 使用自己的YOLOv8.yamy文件搭建模型并加载预训练权重训练模型
    model = YOLO(r"E:\Part_time_job_orders\YOLO\YOLOv11\ultralytics\cfg\models\11\yolo11_MDL.yamy")\
        .load(r'E:\Part_time_job_orders\YOLO\YOLOv11\yolo11n.pt')  # build from YAML and transfer weights

    results = model.train(data=r'E:\Part_time_job_orders\YOLO\YOLOv11\ultralytics\cfg\datasets\VOC_my.yaml',
                          epochs=300,
                          imgsz=640,
                          batch=64,
                          # cache = False,
                          # single_cls = False,  # 是否是单类别检测
                          # workers = 0,
                          # resume=r'D:/model/yolov8/runs/detect/train/weights/last.pt',
                          amp = True
                          )

相关文章:

  • jQuery UI 简介
  • IntelliJ IDEA集成MarsCode AI
  • Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex
  • 将PDF转为Word的在线工具
  • 从@Param注解开始,深入了解 MyBatis 参数映射的原理
  • 3.6V-30V宽压输入降压同步IC内置MOS,电流4A/5A/6A,可以满足汽车应急电源,BMS电池,电池组USB口输出等储能应用
  • SpringBoot 校园新闻网站
  • python网络爬虫开发实战之基本库使用
  • 基于qt的桌面宠物——纳西妲源码纯享
  • CS144 Lab Checkpoint 5: down the stack (the network interface)
  • http status是什么?常见的http状态码指的是什么意思?
  • FPGA开发,使用Deepseek V3还是R1(9):FPGA的全流程(详细版)
  • C语言_图书管理系统_借阅系统管理
  • 极狐GitLab 17.9 正式发布,40+ DevSecOps 重点功能解读【三】
  • 毕业项目推荐:基于yolov8/yolov5/yolo11的暴力行为检测识别系统(python+卷积神经网络)
  • C# Unity 唐老狮 No.6 模拟面试题
  • DRMPlaneType里有VIG, DMA,和RGB三种类型,这是不是说明DRMPlane就是代表DPU里的Pipeline
  • ESP32S3读取数字麦克风INMP441的音频数据
  • 尚庭公寓项目记录
  • el-tree右键节点动态位置展示菜单;el-tree的节点图片动态根据节点属性color改变背景色;加遮罩层(opacity)
  • 什么自己做网站吗/百度竞价规则
  • 服务器做多个网站/不屏蔽的国外搜索引擎
  • 网站域名证书/长春关键词优化平台
  • net网站开发的步骤txt/典型十大优秀网络营销案例
  • 昆明网站开发培训机构/长春网站制作计划
  • 网站色调代号/seo优化排名怎么做