具身智能实战(一):物体的抓取1(sdk)
整体的流程

项目代码的书写
相机模块
返回RGB图与深度图
检测模块
运用yolo11与sam得到物体在图片中的位置,运用PCA得到物体的轴向线段;
运用颜色分割得到待放置区域的坐标
坐标转化模块
运用内参与手眼标定矩阵,加上机械臂的位姿,计算出物体在基座标系下的位置
运动模块
若是到不了指定点的位姿,就断开连接;控制夹爪的力与范围;连接机械臂并运动到初始位姿
整体行为逻辑
首先右臂到达初始位置,调用摄像头检测物体,指定路径进行抓取,然后回到初始位置再进行检测,若是抓取成功就移动到中间位置,放下物体;接着左臂到达初始位置,调用摄像头检测指定颜色区域,然后移动到中间,检测物体并进行抓取,若成功则放到指定区域。
硬件配置
相机:奥比中光大白
机械臂:松灵piper
单臂的视频
松灵机械臂的抓取
