【DL学习笔记】常用数据集总结
一、如何找数据集
-
paperswithcode，但好像没了
-
AutoDL
-
Roboflow
-
Kaggle
-
Hungging Face
-
百度飞浆PP AIStudio
二、目标检测数据集格式
常用数据集坐标格式
- MSCOCO ： 坐标格式（x，y，w，h），其中 x , y 是左上角的坐标
- Pascal VOC ：坐标格式（xmin，ymin，xmax，ymax），其中 (xmin, ymin) 是左上角的坐标，（ymin, ymax）是右下角的坐标
- YOLO 要求坐标格式为（cx，cy，w，h）， 其中 cx，cy 是 bbox 中心点的坐标
Pascal VOC
简介，官方
PASCAL 全称：Pattern Analysis, Statical Modeling and Computational Learning
PASCAL VOC（The PASCAL Visual Object Classes ）是一个经典的计算机视觉数据集，由牛津大学、马里兰大学和微软剑桥研究院的研究人员创建的。 该数据集于2005年首次发布，从那时起就被用于训练和评估目标检测算法。
PASCAL VOC 从 2005年开始举办挑战赛，每年的内容都有所不同，主要包括：
- 图像分类（Classification ）
- 目标检测（Detection）
- 目标分割（Segmentation）
- 人体布局（Human Layout）
- 动作识别（Action Classification）
我们知道在 ImageNet挑战赛上涌现了一大批优秀的分类模型，而PASCAL挑战赛上则是涌现了一大批优秀的目标检测和分割模型，这项挑战赛已于2012年停止举办了，但是研究者仍然可以在其服务器上提交预测结果以评估模型的性能。
虽然近期的目标检测或分割模型更倾向于使用MS COCO数据集，但是这丝毫不影响 PASCAL VOC数据集的重要性，毕竟PASCAL对于目标检测或分割类型来说属于先驱者的地位。对于现在的研究者来说比较重要的两个年份的数据集是 PASCAL VOC 2007 与 PASCAL VOC 2012，这两个数据集频频在现在的一些检测或分割类的论文当中出现。
官网地址：http://host.robots.ox.ac.uk/pascal/VOC/
官方文档 ： http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham10.pdf
MS COCO
简介、官网、论文
全称为Microsoft Common Objects in Context，是一个由微软公司创建的用于图像识别和物体检测的大型数据集。
官网地址：https://cocodataset.org/
点击Dataset下的Explore可以查相关类别的示例图。
论文地址：Microsoft COCO: Common Objects in Context，PDF下载
数据集特点
stuff是指没有明确边界的物体，比如天空、街道、草地等等。
版本，下载
MS COCO数据集有两个版本：MS COCO 2014和MS COCO 2017。这里介绍2017版本，2017版数据集是对2014版数据集的扩展和更新，2017版较2014版的变化有：
- 2017版和2014版使用完全相同的图像
- 2017版训练集/验证集的划分是118K/5K，而2014版是83K/41K
- 2017版中用于检测类任务 / 关键点检测的注释和2014版是一样的，但是增加了40K张训练图像（118K训练集中的子集）和所有验证集的stuff标注（后面有介绍stuff categories）
- 2017年的测试集只有两个部分(开发集/挑战集)，而2014版的测试集有四个部分(开发集/标准集/储备集/挑战集)。开发集用于比赛选手自己测试，挑战集用于竞赛。
- 2017版发布12万张来自COCO的无标记的图像，这些图像遵循与标记图像相同的类分布，可用于半监督学习。
数据结构
.
├── annotations
│ ├── captions_train2017.json 图像描述的 训练集标注文件
│ ├── captions_val2017.json 图像描述的 验证集标注文件
│ ├── instances_train2017.json 对应目标检测、分割任务的 训练集标注文件
│ ├── instances_val2017.json 目标检测、分割任务的 验证集标注文件
│ ├── person_keypoints_train2017.json 人体关键点检测的 训练集标注文件
│ └── person_keypoints_val2017.json 人体关键点检测的 验证集标注文件
├── train2017
│ ├── 000000000009.jpg
│ ├── 000000000025.jpg
│ ├── 000000000030.jpg
│ ├── 000000000034.jpg
│ ├── 000000000036.jpg
│ └── ... (共118287张图像)
└── val2017├── 000000000139.jpg├── 000000000285.jpg├── 000000000632.jpg├── 000000000724.jpg├── 000000000776.jpg└── ... (共5000张图像)