Apollo-PETRv1演示DEMO操作指南

一、背景

PETR（Position Embedding Transformation for multi-view 3D Object Detection）是一种基于纯视觉的3D物体检测方法，它通过将图像特征与3D空间位置信息相结合，实现多相机视角下的3D目标检测。本文演示如何对NuScenes数据集中的3D框进行可视化，并展示如何使用PETRv1模型进行推理并对结果进行可视化。

具体内容包括：

• 将NuScenes数据集中的3D标注框绘制在雷达点云上进行可视化
• 通过NuScenes数据集提供的相机参数，生成PETRv1模型推理所需的img2lidars矩阵
• 对PETRv1模型的推理结果进行可视化

二、相关知识点

2.1 3D物体检测

是自动驾驶系统中的关键技术，旨在从传感器数据中识别和定位三维空间中的物体。与2D检测不同，3D检测需要提供物体的精确三维位置、尺寸和方向。

2.2 PETRv1模型概述

PETRv1是一种基于多视角相机的3D检测方法，它通过将图像特征与3D位置编码相结合，避免了传统方法中复杂的3D到2D的投影操作。其核心思想是将3D空间位置信息编码到图像特征中，使模型能够直接感知3D空间结构。

2.3 坐标系转换

在多传感器系统中，理解不同坐标系之间的转换至关重要：

• 图像坐标系：2D像素坐标
• 相机坐标系：以相机光学中心为原点的3D坐标
• 雷达坐标系：以激光雷达为原点的3D坐标
• 车辆坐标系：以车辆为中心的统一坐标
• 全局坐标系：世界坐标

2.4 NuScenes数据集

NuScenes是一个大规模自动驾驶数据集，包含：

• 1000个驾驶场景，每个场景20秒
• 6个相机提供的360度覆盖图像
• 1个360度激光雷达点云
• 雷达、GPS和IMU数据
• 3D边界框标注，包括位置、尺寸、方向和类别

2.5 3D边界框表示

在3D空间中，边界框通常用7个参数表示：

• 中心点坐标(x, y, z)
• 尺寸(长、宽、高)
• 偏航角(yaw，绕z轴的旋转)

2.6 相机成像原理

相机通过小孔成像模型将3D世界投影到2D图像平面，这一过程可以用内参矩阵和外参矩阵描述。内参矩阵描述相机内部光学特性，外参矩阵描述相机在世界坐标系中的位置和姿态。

三、操作步骤

3.1、环境搭建

# 启动Docker容器，提供隔离的环境并配置GPU支持
cd /home/apollo
docker run --gpus all --shm-size=128g -it -e NVIDIA_VISIBLE_DEVICES=all \--privileged --net=host \-v $PWD:/home -w /home \--rm registry.baidubce.com/paddlepaddle/paddle:2.4.2-gpu-cuda11.7-cudnn8.4-trt8.4 /bin/bash    # 安装Paddle3D，这是一个基于PaddlePaddle的3D深度学习框架
cd /home/
git clone https://github.com/PaddlePaddle/Paddle3D.git
cd /home/Paddle3D
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python3 setup.py install
pip3 install ortools# 下载NuScenes mini数据集，这是一个小规模的示例数据集
wget -O /home/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz
mkdir -p data/nuscenes
tar -xf /home/v1.0-mini.tgz -C data/nuscenes# 下载预训练的PETRv1模型
wget https://apollo-pkg-beta.cdn.bcebos.com/perception_model/petrv1.zip
unzip petrv1.zip# 安装其他必要的依赖库
pip3 install nuscenes-devkit matplotlib open3d -i https://pypi.tuna.tsinghua.edu.cn/simple

3.2、NuScenes数据集3D BOX可视化

以下代码展示了如何从NuScenes数据集中提取3D标注信息并将其可视化在点云上：

# 创建Python脚本文件
cat > 0_vis_box_from_annotation.py <<-'EOF'
import numpy as np
import open3d as o3d
from nuscenes import NuScenes
from nuscenes.utils.data_classes import LidarPointCloud, Box
from pyquaternion import Quaternion
import os
import shutil# 初始化NuScenes数据集接口
datapath = 'data/nuscenes'
nusc = NuScenes(version='v1.0-mini', dataroot=datapath, verbose=False)# 函数：获取传感器到顶层激光雷达的变换矩阵
def obtain_sensor2top(nusc,sensor_token,l2e_t,l2e_r_mat,e2g_t,e2g_r_mat,sensor_type='lidar'):"""获取从通用传感器到顶层激光雷达的变换信息"""# 获取传感器数据记录sd_rec = nusc.get('sample_data', sensor_token)# 获取校准传感器信息cs_record = nusc.get('calibrated_sensor', sd_rec['calibrated_sensor_token'])# 获取ego姿态信息pose_record = nusc.get('ego_pose', sd_rec['ego_pose_token'])data_path = str(nusc.get_sample_data_path(sd_rec['token']))  # absolute pathif os.getcwd() in data_path:  # path from lyftdataset is absolute pathdata_path = data_path.split(f'{os.getcwd()}/')[-1]  # relative path# 构建传感器信息字典sweep = {'data_path': nusc.get('sample_data',sd_rec['token'])['filename'],  # relative path'type': sensor_type,'sample_data_token': sd_rec['token'],'sensor2ego_translation': cs_record['translation'],'sensor2ego_rotation': cs_record['rotation'],'ego2global_translation': pose_record['translation'],'ego2global_rotation': pose_record['rotation'],'timestamp': sd_rec['timestamp']}# 提取旋转和平移信息l2e_r_s = sweep['sensor2ego_rotation']l2e_t_s = sweep['sensor2ego_translation']e2g_r_s = sweep['ego2global_rotation']e2g_t_s = sweep['ego2global_translation']# 计算从传感器到激光雷达的旋转矩阵l2e_r_s_mat = Quaternion(l2e_r_s).rotation_matrixe2g_r_s_mat = Quaternion(e2g_r_s).rotation_matrixR = (l2e_r_s_mat.T @ e2g_r_s_mat.T) @ (np.linalg.inv(e2g_r_mat).T @ np.linalg.inv(l2e_r_mat).T)# 计算从传感器到激光雷达的平移向量T = (l2e_t_s @ e2g_r_s_mat.T + e2g_t_s) @ (np.linalg.inv(e2g_r_mat).T @ np.linalg.inv(l2e_r_mat).T)T -= e2g_t @ (np.linalg.inv(e2g_r_mat).T @ np.linalg.inv(l2e_r_mat).T) + l2e_t @ np.linalg.inv(l2e_r_mat).Tsweep['sensor2lidar_rotation'] = R.T   # 点云变换公式: points @ R.T + Tsweep['sensor2lidar_translation'] = Treturn sweep# 函数：获取2D旋转矩阵
def _get_rot( h):return np.array([[np.cos(h), np.sin(h)],[-np.sin(h), np.cos(h)]])# 主程序开始  
sample_idx=0 # 选择第一个样本sample = nusc.sample[sample_idx]
lidar_token = sample['data']['LIDAR_TOP']
sd_rec = nusc.get('sample_data', sample['data']['LIDAR_TOP'])
cs_record = nusc.get('calibrated_sensor',sd_rec['calibrated_sensor_token'])
pose_record = nusc.get('ego_pose', sd_rec['ego_pose_token'])
lidar_path, boxes, _ = nusc.get_sample_data(lidar_token)
lidar_data = nusc.get('sample_data', lidar_token)# 构建信息字典，包含所有必要的变换信息info = {'lidar_token': lidar_token,'lidar_path': lidar_path,'token': sample['token'],'sweeps': [],'cams': dict(),'lidar2ego_translation': cs_record['translation'],'lidar2ego_rotation': cs_record['rotation'],'ego2global_translation': pose_record['translation'],'ego2global_rotation': pose_record['rotation'],'timestamp': sample['timestamp'],
}# 提取变换矩阵
l2e_r = info['lidar2ego_rotation']
l2e_t = info['lidar2ego_translation']
e2g_r = info['ego2global_rotation']
e2g_t = info['ego2global_translation']
l2e_r_mat = Quaternion(l2e_r).rotation_matrix
e2g_r_mat = Quaternion(e2g_r).rotation_matrix# 定义相机通道名称（6个环视相机）
camera_typ