具身智能VR遥操开发记录

最近自研的轮式双臂人形机器人需要有遥操设备，也看了很多家的遥操，一般是外骨骼的方式比较多，要么是编码器与机器人关节进行映射，要么是发送末端位姿，基于时间和成本的考虑，决定自己用VR开发遥操。

1、设备选型：

调研了meta quest3和pico都可以，但是展会看到大家都是在使用Meta的VR设备，所以从大流选择了quest3。

2、开源代码选择：

重点看了3个开源的代码：

Open-Teach(https://github.com/aadhithya14/Open-Teach)、

OpenWBT(https://github.com/GalaxyGeneralRobotics/OpenWBT)、

TeleVision(https://github.com/OpenTeleVision/TeleVision)

3、实验情况：

TeleVision主要是使用网络穿墙的方式，使用免费的次数有限制，而且我也不是网络专家，虽然获取到VR手柄的数据，但是每次都要在VR的网页上输入网址，最终放弃了，还被公司的防火墙监测到异常，给拦截了。

OpenWBT在调研的时候发现是使用苹果的VR，放弃了。

Open-Teach将其demo走通了，发现可行，但是源代码是用手势来控制机器人的，而工作上要去是用手柄来控制，所以就需要自己修改unity的代码了。

最终决定狠心下来修改Open-Teach的unity代码。

4、unity开发：

开发最大的问题是我之前没有做过unity的开发，不会使用IDE，不会如何去编译代码，如何解决编译错误，好在使用了AI负责编程的软件，一点点问AI如何去使用IDE和打包VR需要的APK。

5、结尾：

最终实现了可以接收到VR手柄的数据，包括手柄的位置、旋转和按键的状态。