【CV 图像分割】①——目标分割介绍

一、目标分割介绍

• 目标检测仅需要框出每个目标的包围盒
• 语义分割需要进一步判断图像中哪些像素属于哪个目标，但不区分属于相同类别的不同实例

图像分割定义

• 定义：在计算机视觉领域，图像分割（Object Segmentation）指的是将数字图像细分为多个图像子区域（像素集合）的过程，并且同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异
• 图像分割的目标就是为 图像中的每个像素分类，应用领域广泛
  • 
  • 

深度学习使得图像分割的准确率提高了很多

任务类型

（1）任务描述

简单来说，目标是输入一个RGB彩色图片（$height\times width\times 3$）或者一个灰度图（$height\times width\times 1$），然后输出一个包含各个像素类别标签的分割图

上面与 处理分类值的方式类似，预测目标可以采用one-hot编码，即为每一个可能的类创建一个输出通道。通过取每个像素点在各个channel的argmax可以得到最终的预测分割图

（2）任务类型

目前的目标分割任务主要有两类：语义分割和实例分割

• 语义分割：不用区分类别

• 实例分割：需要区分不同个体

---

目前图像分割的任务主要集中在 语义分割

常用开源数据集

图像分割常用数据集是PASCAL VOC，城市风光数据集，coco数据集

（1）VOC数据集

（2）城市风光Cityscapes数据集

该数据集的标注效果可视化（语义分割）如下：

评价指标

图像分割中通常使用许多标准来衡量算法的精度。这些标准通常是像素精度及IOU的变种

前提：

（1）像素精度

这是一种最简单的度量方法

Pixel Accuracy（PA，像素精度）：预测正确的像素占总像素的比例为$PA=\frac{{\sum }_{i=0}^k{p}_{ii}}{{\sum }_{i=0}^k{\sum }_{j=0}^k{p}_{ij}}$

• 注意：对于样本不均衡的情况（例如医学图像分割中，背景与标记样本之间的比例往往严重失衡），并不适合使用这种方法进行度量。

（2）平均像素精度

Mean Pixel Accuracy（MPA，平均像素精度）：计算每个 类内 被正确分类的像素数的比例，之后求所有类的平均值。
$MAP=\frac{1}{k+1}{\sum }_{i=0}^k\frac{p_{ii}}{{\sum }_{j=0}^k{p}_{ij}}$

（3）平均交并比

Mean Intersection over Union（MIOU，平均交并比）：为语义分割的标准度量，其计算两个集合的交集和丙级之比，在语义分割问题中，这两个集合为真实值（ground truth）给预测值（predicted segmentation）。交集为预测正确的像素数（intersection），并集为预测或真实值为类的和减去预测正确的像素，在每个类上计算IOU，然后求平均即可。

$MIOU=\frac{1}{k+1}{\sum }_{i=0}^k\frac{p_{ii}}{{\sum }_{j=0}^k{p}_{ij}+{\sum }_{j=0}^k{p}_{ji}-p_{ii}}$

MIOU 计算的是计算A与B的交集（橙色部分）与A与B的并集（红色+橙色+黄色）之间的比例，在理想状态下A与B重合，两者比例为1