当前位置：首页 > news >正文

nuScenes 数据集及同类型自动驾驶数据集介绍

news 来源：原创 2025/6/7 11:58:26

一. nuScenes 数据集

nuScenes 是由 Motional (前身为 nuTonomy，Aptiv 的子公司) 开发和发布的一个大规模、多模态自动驾驶数据集。它旨在推动自动驾驶领域中计算机视觉和机器人感知技术的发展，特别是在 3D 物体检测、跟踪和运动预测等任务上。

核心特点：

多模态传感器套件 (Rich Sensor Suite)：
- 6 个摄像头 (Cameras)：360° 覆盖。
- 1 个激光雷达 (Lidar)：32 线，顶部安装。
- 5 个毫米波雷达 (Radar)：前、后、侧面覆盖。
- IMU (惯性测量单元) 和 GPS：用于车辆定位和姿态估计。
  这种多传感器融合是 nuScenes 的一大亮点，允许研究人员探索不同传感器数据的协同作用。
大规模和多样性 (Large Scale and Diversity)：
- 包含 1000 个驾驶场景 (scenes)，每个场景约 20 秒长。
- 总计约 140 万张摄像头图像、39 万次激光雷达扫描。
- 数据采集自 波士顿 和 新加坡 两个城市，涵盖了不同的驾驶环境、交通规则、天气条件（晴天、雨天、夜晚）和植被。
高质量的 3D 标注 (High-Quality 3D Annotations)：
- 对 23 个物体类别 进行了手动标注的 3D 边界框，例如汽车、卡车、公共汽车、行人、自行车、摩托车、路障等。
- 每个边界框都包含位置、尺寸、方向以及速度、加速度等属性信息。
- 标注了约 140 万个 3D 边界框。
- 物体在时间序列上具有一致的跟踪 ID。
高清地图 (HD Maps)：
- 提供了详细的语义地图信息，包括车道线、人行横道、交通信号灯、停车区域等。这对于场景理解和运动规划非常重要。
- nuScenes-lidarseg 还提供了激光雷达点云的逐点语义分割标签。
全面的开发工具包 (Devkit)：
- 提供了 Python 工具包，方便用户加载数据、可视化、进行评估，并提供了基线模型。
基准和挑战 (Benchmarks and Challenges)：
- 官方举办了多种任务的基准测试和挑战赛，如 3D 物体检测、3D 物体跟踪、激光雷达语义分割、运动预测等，极大地推动了相关领域的研究。

主要应用任务：

3D 物体检测 (3D Object Detection)
3D 物体跟踪 (3D Object Tracking)
运动预测 (Motion Prediction / Trajectory Prediction)
激光雷达点云语义分割 (Lidar Semantic Segmentation)
传感器融合 (Sensor Fusion)
场景理解 (Scene Understanding)

官方网站： https://www.nuscenes.org/

该领域的其他类似数据集

除了 nuScenes，自动驾驶感知领域还有许多其他重要的数据集：

Waymo Open Dataset
- 开发者：Waymo (Google 的自动驾驶公司)
- 特点：
  - 规模巨大，传感器配置更强（多个高分辨率激光雷达、摄像头、雷达）。
  - 同样包含高质量的 3D 边界框标注、2D 边界框标注、激光雷达点云分割标注。
  - 提供了运动预测和交互行为的特定子集。
  - 场景多样性高，涵盖不同城市、天气和光照条件。
- 主要任务：3D/2D 物体检测与跟踪、领域自适应、运动预测、3D 语义分割。
- 网站：https://waymo.com/open/
KITTI Vision Benchmark Suite
- 开发者：卡尔斯鲁厄理工学院 (KIT) 和丰田工业大学芝加哥分校 (TTIC)
- 特点：
  - 自动驾驶领域最早也是最经典的数据集之一，对早期研究影响深远。
  - 包含立体摄像头、灰度/彩色摄像头、Velodyne 激光雷达、GPS/IMU 数据。
  - 提供 2D/3D 物体检测、跟踪、光流、深度估计、视觉里程计等任务的标注和基准。
  - 相对于 nuScenes 和 Waymo，规模较小，传感器配置也较老。
- 主要任务：立体视觉、光流、视觉里程计、2D/3D 物体检测与跟踪、道路/车道线检测。
- 网站：http://www.cvlibs.net/datasets/kitti/
Argoverse (1 & 2)
- 开发者：Argo AI (已停止运营，但数据集仍可用)
- 特点：
  - Argoverse 1：专注于运动预测和 3D 跟踪，提供了高清地图（包括车道中心线、交通信号灯状态等）。
  - Argoverse 2：规模更大，传感器更丰富，场景更多样（6 个美国城市），强调传感器融合和更复杂的城市场景。包含激光雷达、摄像头、立体摄像头数据，以及详细的 3D 立方体标注和高清地图。
- 主要任务：运动预测、3D 物体检测与跟踪、传感器融合、地图利用。
- 网站：https://www.argoverse.org/
Lyft Level 5 Perception Dataset
- 开发者：Lyft Level 5 (自动驾驶部门，后被丰田收购)
- 特点：
  - 包含激光雷达和摄像头数据，以及人工标注的 3D 边界框。
  - 提供了高清语义地图。
  - 规模较大，场景主要在美国的城市道路。
- 主要任务：3D 物体检测、语义分割（来自地图）。
- 网站：(可以搜索 “Lyft Level 5 Perception Dataset” 找到相关资源，如 Kaggle)
ONCE (One millioN sCenEs) Dataset
- 开发者：华为诺亚方舟实验室，香港大学等
- 特点：
  - 目标是提供百万级别的驾驶场景，是目前规模最大的自动驾驶数据集之一。
  - 数据来自真实世界，通过半自动标注方法生成标签，以应对大规模标注的挑战。
  - 包含摄像头和激光雷达数据。
- 主要任务：3D 物体检测，特别关注在大规模数据集上训练和评估模型。
- 网站：https://once-for-auto-driving.github.io/
PandaSet
- 开发者：Hesai (禾赛科技，激光雷达制造商) 和 Scale AI (数据标注公司)
- 特点：
  - 使用了 Hesai 的 Pandar 系列激光雷达（包括一个前向远距离激光雷达和一个机械旋转激光雷达），以及多个摄像头。
  - 提供了高质量的 3D 边界框标注和点云语义分割标注。
  - 数据覆盖美国硅谷地区。
- 主要任务：3D 物体检测、激光雷达语义分割。
- 网站：https://pandaset.org/