康谋分享 | 破解数据瓶颈：智能汽车合成数据架构与应用实践

在智能汽车快速演进的过程中，数据体系正面临深层次挑战。过去，数据是辅助模型开发的工具；如今，它已成为限制感知系统性能上限的核心因素。尤其是在感知系统广泛应用于自动驾驶和智能座舱场景之后，数据的广度、深度、时效性与结构化程度，已直接决定模型是否能够真正实现落地部署。

在数据获取难度持续上升、标注成本不断攀高、法规限制日益收紧的背景下，合成数据正逐步成为智能汽车感知系统开发的重要突破方向。

本文将聚焦于两个关键应用场景——舱外道路感知与舱内乘员状态识别，系统性探讨合成数据体系的建设路径、关键技术要素与工程落地实践。

01 智能汽车感知系统的数据困境

智能汽车的感知能力依赖于多模态数据，包括图像、点云、雷达信号、IMU与GPS数据，以及舱内的姿态信息、关键点标注与行为状态标签等。然而，感知系统在实际应用中面临如下数据困境：

• 数据结构高度复杂：多传感器异步采样带来时序对齐难题，舱外与舱内的标注维度各异；
• 采集与标注成本高昂：高精度3D标注和跨模态对齐需要大量人工投入，周期长、成本高；
• 场景覆盖受限：真实环境下的极端天气、稀有交通行为和边缘行为难以采集，长尾场景缺失严重。
• 合规性与隐私风险突出：特别是在舱内数据方面，涉及面部识别、儿童状态等隐私敏感内容，数据采集难以持续。
• 数据生产速度无法匹配模型迭代频率：模型更新周期短，而数据收集与标注无法实时响应。

因此，传统数据采集方式已难以满足智能汽车日益增长的感知开发需求。

一个相机和点云数据同步绘制标注框的示例

02 合成数据体系原则

合成数据，作为一种可控、自动化、可复现的数据生成方式，正被越来越多企业纳入核心研发流程。高质量的合成数据体系应具备以下技术特性：

• 高度可配置性：支持对场景、参与体、传感器参数等进行参数化建模；
• 自动化数据生成流程：数据采集、标注与结构化处理全过程无人工干预；
• 标准化输出结构：兼容主流数据格式，易于集成于训练、验证与回归流程；
• 强可追溯性与可复现性：每组数据可通过输入参数精确重现，保障一致性。

推荐采用分层结构设计合成数据系统：

• 配置层：定义场景元素、行为策略、传感器布局；
• 建模层：搭建道路结构、舱内布局、交通参与者模型；
• 渲染执行层：驱动仿真引擎进行时序渲染与数据采样；
• 标注生成层：输出图像、点云、关键点、分割图、3D框等标签；
• 数据导出层：以任务导向的数据结构输出结果，支持格式自定义与标准接口封装。

这一架构的优势在于实现逻辑与工具链的解耦，便于后期迭代与平台迁移。

03 舱外场景：覆盖长尾与多模态融合

舱外感知系统面向自动驾驶和高级辅助驾驶，涵盖目标检测、追踪、语义分割、路径预测等任务。其合成数据生成流程需覆盖：

• 地图构建与拓扑建模：包括道路结构、车道线、交通信号、标识牌等。
• 动态体建模与行为建控：构建多类交通参与者并设定其行为模型，模拟现实中复杂交互。
• 环境建模与扰动注入：配置多维气候、光照、背景动态因素，覆盖实际采集中难以获取的极端条件。
• 多模态传感器仿真：同步输出相机图像、激光雷达点云、毫米波雷达信息等。
• 标签与元信息输出：自动生成与样本一一对应的2D/3D标签、标注属性、坐标系信息与时间戳。

自动驾驶传感器布局示例

在数据结构方面，可参考 nuScenes 等主流公开数据集，输出内容包括：

• 图像与点云数据；
• sample_data.json：记录每帧传感器输出；
• calibrated_sensor.json：定义传感器内参与外参；
• ego_pose.json：记录自车位姿；
• sample_annotation.json：包含目标类别、姿态、属性等。

这类结构高度规范化，能够直接对接工业级模型训练平台。

使用nuScenes工具融合绘制点云和相机标注框的示例

04 舱内场景：DMS/OMS场景状态建模

舱内感知系统的发展，迫切依赖于高质量、可控、合规的数据供给。合成数据在此领域的优势更加显著。

舱内数据生成流程涵盖：

• 人物角色建模与行为驱动：构建多样化人群模型，并通过脚本驱动其执行如闭眼、注视、操作中控等动作。
• 舱内结构与光照建模：模拟不同车型、座椅布局、舱内饰件，以及多种照明干扰情况。
• 多摄像头布局配置：支持模拟ADAS系统中常见布置，如A柱、后视镜下方、方向盘摄像头等。
• 多标签同步输出：生成RGB图像、深度图、语义图、关键点坐标、行为状态标签等。

同时，舱内场景需要重点关注以下干扰要素：

• 遮挡情况模拟（口罩、墨镜、靠枕）；
• 光照扰动（反光、背光、高对比）；
• 姿态多样性（侧卧、低头、歪斜等复杂行为）；
• 行为序列的时间连续性与自然性。

数据结构建议以目录方式组织，明确划分图像类、几何类与标签类数据，保障时序一致性与跨视角同步。

提供多种数据分割方式及标注JSON文件的舱内合成数据示例

05 合成数据：助力感知系统开发

综上所述，合成数据不再是数据稀缺时的权宜之计，而正在演变为智能汽车感知系统大规模、高频率、端到端开发的关键支撑。通过系统性建设合成数据体系，开发团队可以实现：

• 快速生成高质量训练数据，覆盖边缘与稀缺场景；
• 标注自动化与一致性保障；
• 多模态融合的标准化输出；
• 可追溯、可重现的验证机制。

企业在构建合成数据平台时，重点关注以下三点：

• 平台工具链解耦：保持生成逻辑独立于具体仿真平台；
• 结构对齐标准数据集：如 nuScenes、COCO 等；
• 自动化与参数化流程完整闭环。

通过舱外与舱内双向并进的合成数据体系，智能汽车的感知能力将具备更高的鲁棒性、覆盖性与工程实用性。​​​​