RoboTwin 2.0 部署DexVLA模型记录
配置训练环境and准备训练数据
第一步按照文档配置已经完成:
Train_Tiny_DexVLA_train.yml 文件有改动,由于版本冲突以及依赖包等问题,删除了以下这些包:(后面需要单独安装flash-attn==2.7.4.post1 )
- flash-attn==2.7.4.post1- nvidia-cublas-cu12==12.4.5.8- nvidia-cuda-cupti-cu12==12.1.105- nvidia-cuda-nvrtc-cu12==12.1.105- nvidia-cuda-runtime-cu12==12.1.105- nvidia-cudnn-cu12==8.9.2.26- nvidia-cufft-cu12==11.0.2.54- nvidia-cufile-cu12==1.11.1.6- nvidia-curand-cu12==10.3.2.106- nvidia-cusolver-cu12==11.4.5.107- nvidia-cusparse-cu12==12.1.0.106- nvidia-cusparselt-cu12==0.6.3- nvidia-nccl-cu12==2.20.5- nvidia-nvjitlink-cu12==12.6.85- nvidia-nvtx-cu12==12.1.105
pip install flash-attn==2.7.4.post1 -i https://pypi.tuna.tsinghua.edu.cn/simple
可以参考:(1 封私信 / 26 条消息) flash-attn安装避坑 - 知乎
不能保证改动是否正确(真的不确定),对DexVLA文件夹下的process_data.py文件做了以下改动
第一个改动是为了增加新任务click_bell和beat_block_hammer;
第二个改动是由于文件路径报错(原代码读取的是形如episode_0的文件夹,而/RoboTwin文件夹下的data文件夹中,数据存在)。
得到的数据文件如下:
ps:这一步还没做