openpi
OpenPi 的 π0.5（Pi 0.5）模型是 Physical Intelligence 团队于 2025 年 9 月开源的视觉 - 语言 - 动作（VLA）模型 ，专为机器人在开放世界中的复杂任务执行而设计。它是 π0 模型的升级版，通过架构创新和多源数据融合，显著提升了在完全陌生环境中的泛化能力。
高层语义任务规划 ：根据全局指令（如 “整理厨房”）生成子任务序列（如 “拿起盘子→放入水槽”），类似人类的 “思维链”（Chain-of-Thought）推理。低层动作生成 ：通过流匹配（Flow Matching）技术生成连续的关节控制指令（50Hz 频率），支持高精度操作（如折叠衣物、抓取易碎物品）。
这种设计既保证了任务分解的逻辑性，又提升了动作执行的精细度。
网络多模态数据 ：包括图像、文本、视觉问答等，增强对未知物体和场景的语义理解（如识别烤面包机并放入橱柜）。跨形态机器人数据 ：整合 7 种机器人（如机械臂、移动平台）的 10,000 小时操作数据，解决不同硬件动作空间的差异问题。人类语言示范 ：通过自然语言指令（如 “清理洒出的牛奶”）优化子任务规划的准确性。真实物理交互数据 ：特别引入 Franka 机器人的力控数据，显著提升复杂任务（如分类摆放、力度控制）的成功率。
开放世界泛化能力
π0.5 在未训练过的家庭环境中（如新厨房、卧室）可完成 “制作床铺”“悬挂毛巾” 等长期任务，成功率比 π0 提升 25%-40%。研究表明，当训练环境数量超过 100 个时，模型在未知环境的表现接近直接在测试环境训练的基线模型，证明其高效的泛化能力。
复杂任务执行
家庭自动化 ：在新家环境中，π0.5 能以 60%-80% 的成功率完成多阶段任务（如整理餐具需 “抓取→分类→放置”），且支持动态环境适应（如未对齐的抽屉）。工业与医疗 ：虽未完全成熟，但已在实验室场景中实现 “鸡蛋装箱”“易碎品搬运” 等高精度操作，未来有望扩展至高风险领域。
零样本与低样本学习
基于网页数据的预训练使模型能理解未见过的物体（如 “空气炸锅”），并通过语言指令直接执行任务，无需额外微调。 对于类似任务（如叠毛巾），仅需 1-5 小时数据微调即可达到高成功率，而全新任务（如微波炉操作）的学习效率比从头训练提升 2 倍。
实时推理与部署支持
推理阶段需≥8GB GPU，支持 Docker 容器化部署，兼容 PyTorch 框架，降低了实际应用的门槛。 仓库提供针对 LIBERO、DROID 等平台的微调检查点，方便开发者快速适配自有机器人硬件。
代码与模型 ：可通过OpenPI GitHub 仓库获取预训练模型、示例代码及详细文档，包含从 JAX 到 PyTorch 的转换工具。训练与推理工具链 ：支持混合精度训练、FSDP 分布式训练及 LoRA 低秩适配，同时提供消融实验脚本，方便研究者分析各组件的贡献。社区生态 ：Physical Intelligence 团队定期发布技术博客和论文（如 ArXiv 预印本《π0.5: A Vision-Language-Action Model with Open-World Generalization》），并维护开发者论坛，推动机器人 AI 的开源协作。
当前局限
低层动作生成偶尔出现微小偏差，可能导致任务失败；高层语义推理在复杂场景下仍需优化。 工业级鲁棒性（如抗干扰、自我纠错）尚未完全验证，高风险场景应用需进一步探索。
改进计划
引入自我纠错机制，使机器人能在执行过程中动态调整策略。 扩展多模态输入（如触觉、声音），提升环境感知的全面性。 探索在线学习能力，实现 “边执行边改进” 的闭环优化。
π0.5 模型通过数据多样性 + 分层推理 + 跨模态迁移 的设计，突破了传统 VLA 模型的实验室局限，为机器人在开放世界中的实用化奠定了基础。其开源特性不仅推动了学术研究，也为工业界提供了可落地的解决方案。随着社区的持续贡献和技术迭代，π 系列有望成为机器人学中的通用基础设施，助力机器人从 “工具” 向 “伙伴” 的角色转变。
git clone --recurse-submodules git@github.com:Physical-Intelligence/openpi.git
# Or if you already cloned the repo:
# git submodule update --init --recursive
curl -LsSf https://astral.sh/uv/install.sh | sh
wget https://github.com/astral-sh/uv/releases/download/0.9.7/uv-x86_64-unknown-linux-gnu.tar.gz
# 解压
tar -zxf uv-x86_64-unknown-linux-gnu.tar.gz
# 进入解压后的目录（通常是单个二进制文件 `uv`）
cd uv-x86_64-unknown-linux-gnu
# 移动到 PATH 目录（确保该目录在你的环境变量中）
mv uv /usr/local/bin/ # 若没有 .cargo/bin，可替换为 /usr/local/bin/
GIT_LFS_SKIP_SMUDGE=1 uv sync
GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .
vi infer.pyfrom openpi.training import config as _config
from openpi.policies import policy_config
from openpi.shared import downloadconfig = _config.get_config("pi05_droid")
checkpoint_dir = download.maybe_download("gs://openpi-assets/checkpoints/pi05_droid")# Create a trained policy.
policy = policy_config.create_trained_policy(config, checkpoint_dir)# Run inference on a dummy example.
example = {"observation/exterior_image_1_left": ...,"observation/wrist_image_left": ...,..."prompt": "pick up the fork"
}
action_chunk = policy.infer(example)["actions"]
uv run python 打开 python shell
