当前位置: 首页 > news >正文

【JETSON+FPGA+GMSL+AI】自动驾驶与移动机器人的摄像头如何实现高精度时间同步?

图片

RGB点云图(来源于网络)

在自动驾驶、机器视觉等领域,多传感器协同感知是系统可靠运行的核心,无论是定位导航、构建地图、还是障碍物检测,都必须依赖摄像头和其他传感器(如激光雷达、IMU等)的数据融合。而时间同步在数据融合中扮演了关键的角色,特别是在自动驾驶、移动机器人等高速运动场景中,对同步性要求更高,通常需要达到1毫秒(ms,1e-3s)以内精度。

英伟达 Jetson AGX Orin 凭借高算力与灵活扩展性,成为自动驾驶、移动机器人等领域的主流计算平台。然而,如何实现接入Orin平台的摄像头高精度同步仍是关键挑战。

当前,市面主流的摄像头方案各有特点:USB 摄像头即插即用,但连接不稳定,无同步机制,易丢帧;网络摄像头适配性好,但需额外同步信号,且传输时延长(约 100ms);GMSL 摄像头连接稳定,低时延,支持同步信号透传,同步精度理论上可达微秒(μs,1e-6s)级,是自动驾驶、机器人视觉传感器的优选方案。

当GMSL 摄像头接入 Jetson AGX Orin 平台时,通常利用 Orin 内置定时器生成触发信号,经 FPC 排线传输至解串器,再通过 GMSL 链路透传控制摄像头曝光。

图片

Orin主机软件驱动同步示例图

GMSL 2协议具有高达6Gbps的传输带宽,支持点对点链路通信,硬件信号直接收发的机制,确保主机发出的硬件触发信号以极低的时延(<20μs)到达设备端(例如摄像头),同时多路设备接收到的触发信号时间差非常小(<2μs)。

图片

GMSL摄像头时间同步逻辑示意图

注:τ 是触发信号(Trigger)到Sensor曝光控制信号(FSYNC)的传输延迟 < 20μs;ΔT是两相机间 Trigger 信号到达 CMOS 的时间差 < 2μs,体现了GMSL 具备低时延与高同步性的特点。

GMSL摄像头两路外同步曝光Trigger时序实测图

然而,在Jetson Orin系统里,通常使用PWM(脉宽调制)信号或GPIO脉冲作为触发信号。PWM可以输出固定频率(例如30Hz)的周期信号,更适合作为摄像头的触发控制信号。但摄像头因内部采用多帧融合工作机制,对时序要求极为严格,控制信号精度需达到微秒级,否则易出现丢帧、错帧等问题。而在Jetson Orin系统中,除非使用专门的硬件控制PWM时序,否则其精度无法满足摄像头的要求。

解决方案与技术架构

此前已推出配套 Jetson AGX Orin 的视觉开发套件,结合在视觉传感与自动驾驶领域的技术积累,创新性地提出“硬件触发 + 协议授时”组合策略,打造跨平台、高精度时间同步解决方案,覆盖从多路摄像头同步到多传感器融合的全场景需求。

微秒级视觉同步:硬件触发,规避系统延迟

图片

同步盒高精度同步示例图

核心机制: CS300同步盒可生成 10-120Hz 高精度触发信号,精度达亚微秒级,经 GMSL 通道传递至摄像头以控制曝光同步。

同时,CS300同步盒还支持外接同步信号源并进行分频处理,例如将 IMU 输出的 200Hz 同步信号分频至 20Hz,实现与摄像头的同步。

关键优势: 绕过Jetson AGX Orin主机软件层及操作系统调度,彻底消除由此引入的抖动和延迟,实现稳定可靠、亚微秒级别的视觉设备硬件同步,并且支持摄像头与外部传感器的同步控制。

系统级时钟对齐:PTP授时,构建统一时间基准

由于不同传感器硬件特性与传输链路差异(例如激光雷达通常支持 PTP 授时并自带时间戳,而摄像头与 IMU 则无),因此为满足多传感器的高精度融合需求,需构建统一的系统级时间基准。而CS300同步盒支持PTP 和 gPTP 主/从模式,可作为精准时钟源。

图片

CS300同步盒授时同步示例图

核心机制: CS300同步盒与Jetson AGX Orin(配置为PTP从时钟)、支持PTP的激光雷达等传感器,共同构建分布式时间同步网络。

关键优势: 通过PTP协议实现系统内所有设备(Orin、摄像头、LiDAR、IMU等)的高精度时钟溯源与对齐,授时精度优于10微秒(μs),确保多源数据融合时具备严格的时空一致性。对于非PTP设备(如普通摄像头),其触发时刻或采集数据的时间戳可基于此统一时钟基准进行对齐。

方案优势与应用价值

基于 Jetson AGX Orin 平台打造的时间同步方案,通过 “硬件触发 + 协议授时” 的组合策略,实现了从高精度同步到多传感器融合的灵活覆盖,同时具备三大核心价值:

1.场景适配性:支持多种同步模式,能够满足从消费级到车规级的差异化需求,在精度与成本之间达到良好平衡,且具备跨平台适用能力。

2.开发便捷性:提供适配摄像头的完整驱动与配置,支持 V4L2 协议及 ROS 框架,配套 SDK 可快速完成摄像头参数设置与同步控制,显著缩短开发周期。

3.可靠性保障:采用硬件级同步机制与抗干扰设计,可确保在复杂车载环境下稳定运行,为系统的可靠工作提供坚实保障。

目前,时间同步方案已在自动驾驶多传感器融合、移动机器人导航等对时空一致性要求严苛的领域得到广泛应用,为高可靠感知系统提供了坚实的底层技术支撑,助力相关行业的技术升级与发展。

http://www.dtcms.com/a/490271.html

相关文章:

  • Java 设计模式——建造者模式:从原理到实战的极简指南
  • 怎么找做企业网站的雁塔区住房和城乡建设局网站
  • 哈尔滨电商企业服务器托管方案
  • 机器学习基础入门(第五篇):半监督学习与强化学习
  • 建网站解决方案代运营网店公司
  • 网站建设网页制作软件wordpress 移动到回收站发生错误
  • 5G安全深入解析:EAP-AKA、EAP-AKA‘与5G-AKA详解
  • YOLO 系列演进:从 V1 到 V2 的目标检测革命
  • 云栖实录|MaxCompute全新升级:AI时代的原生数据仓库
  • 基于Multi-Agent开发的SmartCare系统自动化运维管家
  • 终结浏览器隐患:自动化安全审计与报表
  • 笔记本卡顿,拖慢的不止是CAD看图评审速度
  • 电脑被捆绑软件缠上?3 步根治:紧急断网 + 深度清理 + 长效防护
  • 网站专业优化商城购物网站开发背景
  • 哪家做外贸网站好沈阳高端网页
  • GPU服务器深度解析:H100/H200的“机头”与“模组”架构详解
  • javaWeb-html、css-常见标签样式
  • 开发组件漏洞
  • 每日学习内容简单汇总记录
  • vue3 封装图片上传预览组件支持docx、excel、pdf、图片、txt格式
  • (3)Bug篇
  • Monkey测试Bug排查全攻略
  • 做的网站如何发布会网站建设要求 优帮云
  • 海外建站平台开发个网站开票名称是什么意思
  • 【具身智能】MolmoAct深度解析:在空间中推理的开放式机器人动作模型
  • Linux:库制作与原理
  • SpringBoot集成测试
  • PDF Protector for mac PDF文档加密解密工具
  • 任务型与聊天型语音机器人有什么区别
  • 【具身智能】Gemini Robotics 1.5 深度解析:当机器人学会“思考”与“技能迁移”