通用抓取算法AnyGrasp(Graspnet)——本地部署并测试自定义输入数据
AnyGrasp通用抓取算法由上海交大-非夕科技智能机器人联合实验室自主研发,是业内鲜有的能大规模应用的六自由度通用抓取算法。
搭载AnyGrasp算法的自适应机器人可以对未知物体直接进行高速抓取,不受物体种类、是否可变形限制,无需提前的物体建模,可抓取透明、移动物体,对光照、物体纹理皆不敏感。
AnyGrasp具有极快的检测速度,只需数十毫秒即可生成上千个抓取点,同时单次抓取决策时间仅0.8秒,在持续工作状态下,每小时可抓取物体900件,达行业最高水平。
TRO上的论文:AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal Domains
目录
- 1.关于GraspNet概述
- 2.官方源码和文档
-
- 2.1 关于anygrasp_sdk、graspnetAPI、graspnet-baseline三者的说明
- 2.2 anygrasp_sdk(快速部署抓取功能)
- 2.3 graspnetAPI(处理数据集与评价)
- 2.4 graspnet-baseline(研究与训练模型)
- 3.本地部署 Graspnet
-
- 3.1 安装步骤
- 3.2 容差标签生成
- 3.3 训练和测试
- 3.4 测试验证
-
- 报错:ModuleNotFoundError: No module named 'torch._six'
- 报错:[Open3D WARNING] GLFW Error: GLX: Failed to create context: GLXBadFBConfig
- PS:部署成功设备的各个库版本pip list
- 4.使用自定义数据进行抓取点的预测
-
- 4.1 官方输入数据分析
- 4.2 自定义数据进行抓取位姿估计
- 4.3 graspnet输出的位姿是目标相对于相机的吗?
- 4.4 tips
- 4.5 源码:自定义输入数据进行抓取位姿预测
-
- 4.5.1 数据准备
- 4.5.2 (源码)基于官方抓取位姿预测
-
- bug:程序运行崩溃
- 4.5.3 (源码)基于参考博文的抓取位姿预测
1.关于GraspNet概述
- 背景:GraspNet在数据采集方面,首先将相机固定到机械臂末端,对同一个场景拍摄256个不同的角度,同时场景中的每个物体都会提前采集好3D模型,之后将其投射到仿真环境中,在仿真环境中,对抓取位姿进行打标签,如此完成数据的采集。

- 数据量如下:

