当前位置: 首页 > news >正文

弱监督语义分割学习计划(1)-简单实现CAM但是效果不好

零: 项目说明

是这样的一个事情,经过与deepseek的一番讨论和交流,DeepSeek为我设计了一个30天高强度学习计划,重点聚焦弱监督/无监督语义分割在野外场景的应用,结合理论与实践,并最终导向可落地的开源项目。目前开始了计划学习的第一天:

主要想法是做基于大模型的弱监督语义分割,主要步骤如下:

  • 自动生成标注:大模型生成图像级标签边框涂鸦点标注等几种弱监督标注类型的标注:
  • 生成伪标签:采用基于类激活图(CAM, Class Activation Mapping)的方法 + CRF后处理,利用分类网络生成伪标签
  • 训练分割模型:将伪标签作为监督信号,训练U-NetDeepLabv3+等分割网络。

代码在这里:不断改进中:
https://github.com/Tipriest/30Days-for-segmentation

一: 自动生成图像级标注

前面的对视频提取帧,提取关键帧的代码都很简单,最后的效果大致就是这样:
在这里插入图片描述

1.1 采用CLIP生成图像级标注

CLIP这个模型很有意思,可以形成图像-文本对,也就是给定一系列的词,给定一张图片,可以选择出最高可能性的图片,比如下图所示,能够以极高的概率确定我的这个图片是一只狗。
在这里插入图片描述
在这里插入图片描述
但是我的图片是类似下图所示的这种图片,所以直接使用CLIP的话,给定一个词汇表会导致模型没办法输出一个唯一正确的结果,实际应用起来的效果并不好,就像是下面的这个CVPR工作所展示的,一张图片没有办法分类渔民还是鱼儿,这篇文章的解决方案是加入mask或者是bounding box来提升对于局部区域的识别准确率。
在这里插入图片描述

  • 才知道出名的llava视觉语言模型的基座是CLIP
  • 上面的那种方法效果是挺好的,但是在我的这个任务中,我使用CLIP本身其实就是不想再使用人工进行标注,而是完全使得标注流程自动化,因此这种方法也并不适用于我的课题场景。
    在这里插入图片描述
  • 拿右边的groundtruth是我标注的,可以看到如果只使用CLIP去标注一个图片的话,效果还是比较差,准确率不是很高,这里是把词汇列表中可能阈值大于0.2的都列举出来作为图像标注。
    在这里插入图片描述
    简单统计一下准确率和召回率,这里其实可以看到对于主要的grass和soil这种作为主体比较好分辨的场景,还是能够有比较高的概率分辨出来的,主要是召回率不太行,尤其是对yellow brick roadcurb,这两个的召回率差了不少,感觉就是一个图片做多场景分类还是比较勉强,或许加一个相同层的mask是一个可以接受的选择?找一下DINO这样子,然后随机采样一些点,然后获得mask,在用mask+CLIP的这个方案来做一点事情,但是还在考虑…
    在这里插入图片描述

1.2 采用Deepseek:14b大模型生成图像级标注

之前学了一下DataWhale的handy-ollama的课程,可以在本地部署大模型,能够做图片理解,我是RTX4080super的显卡,所以可以部署deepseek:14B这样的模型以及llava这样的多模态的模型,尝试用了一下,用了llava,然后用json格式固定了输出写到csv文件中,然后再用calF1.py计算准确率和召回率。
这个是用llava模型做了一个简单的计算,但是效果相比上一个CLIP模型,在准确率和召回率上其实都差了不少。
在这里插入图片描述
llava模型其实也是基于CLIP模型作为基座的,但是这个准确率着实一般,我感觉可能是我ollama部署的这个llava模型参数量还是太小了,知识储备可能不是很够用,想看一下有没有别的可以部署的ViT模型做一下图片理解+标注。
在这里插入图片描述
下载了一个13B的llava模型试一下,感觉效果上好了一些,但是还是不如直接使用CLIP模型的效果,有点奇怪,另外确实发现了修改提示词对于准确度的提升影响非常大,想办法能不能实验出一个好点的提示词,尤其是关于yellow brick road这种,可以在提示词里做一点手脚,比如解释一下这样子,又变成提示词工程师了[doge]
在这里插入图片描述
未完待续…

相关文章:

  • wordpress按不同页调用不同的标题3种形式
  • AOP进阶-02.通知顺序
  • 上传securecmd失败
  • 【万字长文】开源之播对话白鲸开源CEO郭炜--乐观主义的开源精神走得更远
  • 【Web安全】图片验证码DOS漏洞
  • C# tostring 转换成16进制
  • 【热力图 Heatmap】——1
  • NLP07-朴素贝叶斯问句分类之数据集加载(1/3)
  • 《OpenCV》——光流估计
  • 计算机基础:二进制基础01,比特与字节
  • 【最大通过数——二分】
  • vs2015下使用openmp
  • 包子凑数——蓝桥杯真题Python
  • Eclipse安装和配置环境教程包含下载、安装、汉化(附安装包)
  • 大小端存储的概念和判断
  • 2025年- G18-Lc92-169. 多数元素-java版
  • SQLmap 使用指南:开启安全测试高效之旅
  • React 高阶组件(HOC)
  • 【HarmonyOS之旅】基于ArkTS开发(三) -> 兼容JS的类Web开发(六) -> CSS动画
  • 【JavaScript】《JavaScript高级程序设计 (第4版) 》笔记-Chapter24-网络请求与远程资源
  • 新修订的《婚姻登记条例》明起施行,领证不用户口本了
  • 赵作海因病离世,妻子李素兰希望过平静生活
  • 欧盟公布对美关税反制清单,瞄准美国飞机等产品
  • 融创中国:今年前4个月销售额约112亿元
  • 85后清华博士黄佐财任湖北咸宁市咸安区委副书记、代区长
  • 见微知沪|优化营商环境,上海为何要当“细节控”自我加压?