当前位置：首页 > news >正文

（三）谷歌Code as Policies复现（操作记录）

news 来源：原创 2025/6/12 15:45:24

《复现的项目来源》

一、创建虚拟环境

二、下载原项目并修改（非必须）

二、可直接下载修改后的项目

三、配置环境

（1）安装jupyterlab以及内核

（2）安装ffmpeg

（3）配置环境（重要）

四、运行项目

《复现的项目来源》

感谢大佬的开源，大佬的开源地址为：ZhangHangTao/Embodied-AI-simulators

克隆大佬的项目后，按照下面步骤可在自己本地成功复现。

一、创建虚拟环境

conda create -n Embodied_AI_simulators python=3.10
conda activate Embodied_AI_simulators

二、下载原项目并修改（非必须）

git clone https://github.com/ZhangHangTao/Embodied-AI-simulators.git

# Code_as_Policies_Interactive_Demo.ipynb文件的修改变动
第一处:
# 添加安装额外的包
!pip install opencv-python==4.11.0.86
!pip install requests==2.32.3
!pip install gdown==5.2.0
!pip install matplotlib第二处:
# from google.colab.patches import cv2_imshow
import os
os.environ["FFMPEG_BINARY"] = "/home/nq123/anaconda3/envs/Embodied_AI_simulators/bin/ffmpeg"
from moviepy.editor import ImageSequenceClip第三处:
client = OpenAI(api_key='sk-xxxx', base_url="xxx")第四处:在class LMP里替换更智能的模型
model='gpt-4-turbo'第五处：修改Interactive Tabletop Manipulation的代码
#@title Initialize Env { vertical-output: true }
# num_blocks = 3 #@param {type:"slider", min:0, max:4, step:1}
# num_bowls = 3 #@param {type:"slider", min:0, max:4, step:1}
# high_resolution = False #@param {type:"boolean"}
# high_frame_rate = False #@param {type:"boolean"}# # setup env and LMP
# env = PickPlaceEnv(render=True, high_res=high_resolution, high_frame_rate=high_frame_rate)
# block_list = np.random.choice(ALL_BLOCKS, size=num_blocks, replace=False).tolist()
# bowl_list = np.random.choice(ALL_BOWLS, size=num_bowls, replace=False).tolist()
# obj_list = block_list + bowl_list
# _ = env.reset(obj_list)
# lmp_tabletop_ui = setup_LMP(env, cfg_tabletop)# # display env
# cv2_imshow(cv2.cvtColor(env.get_camera_image(), cv2.COLOR_BGR2RGB))# print('available objects:')
# print(obj_list)

二、可直接下载修改后的项目

MrQiguan/J_Embodied-AI-simulatorshttps://gitee.com/mrqiguan/j_-embodied-ai-simulators

git clone https://gitee.com/mrqiguan/j_-embodied-ai-simulators/tree/master

三、配置环境

（1）安装jupyterlab以及内核

pip install jupyterlab
pip install jupyterlab-language-pack-zh-CNpip install ipykernel
python -m ipykernel install --user --name=Embodied_AI_simulators

（2）安装ffmpeg

conda install -c conda-forge ffmpeg=7.1.1
which ffmpeg # 记住这个位置,如：/home/nq123/anaconda3/envs/Embodied_AI_simulators/bin/ffmpeg

（3）配置环境（重要）

第一、在Embodied_AI_simulators的终端，打开jupyter lab
第二、在jupyterlab右上角，切换内核Embodied_AI_simulators
第三、在代码里，修改Setup的内容，并保存!!!
os.environ["FFMPEG_BINARY"] = "/home/nq123/anaconda3/envs/Embodied_AI_simulators/bin/ffmpeg" # 修改1:ffmpeg位置
client = OpenAI(api_key='sk-xxx', base_url="xxx") # 修改2:api
第四、关闭jupyter lab!!!

四、运行项目

在Embodied_AI_simulators的终端，重新打开jupyter lab，依次运行代码。

注意：在Interactive Tabletop Manipulation，根据图片的物体列表，修改描述（如下图），继续运行代码即可

如遇报错：
Traceback (most recent call last)
Cell In[22], line 13
11 if env.cache_video:
12 rendered_clip = ImageSequenceClip(env.cache_video, fps=35 if high_frame_rate else 25)
---> 13 display(rendered_clip.ipython_display(autoplay=1, loop=1))

重新打开jupyter lab，再运行代码

最终效果