机器人强化学习入门学习笔记

（1）物理引擎

      物理引擎就是模拟真实世界物理规律的软件工具。它会根据你给定的物体、质量、形状、力等信息，计算这些物体在时间上的运动和相互作用。如果你设计了一个机器人，那物理引擎就是“虚拟现实世界”，让机器人在里面“活起来”，模拟它走路、抓东西、摔倒等动作。而物理引擎通常负责这些任务：

功能	解释
刚体动力学（Rigid Body Dynamics）	模拟物体的移动和旋转，比如自由落体、抛物运动。
关节系统（Joints）	模拟多个身体之间的连接，比如机器人手臂的旋转关节。
碰撞检测（Collision Detection）	判断两个物体是否接触，防止物体“穿透”。
碰撞响应（Collision Response）	当发生碰撞时如何反应，比如反弹、滑动、停止。
摩擦与力学	模拟地面摩擦力、弹力、重力等。
控制接口（Actuators）	你可以给机器人施加控制力，比如“推一下”或“电机转动”。

MuJoCo（Multi-Joint dynamics with Contact）是一个高性能的物理引擎，广泛用于机器人学、强化学习和具身智能等领域。它特别擅长处理具有复杂接触和关节动力学的系统，比如机器人手臂、腿型机器人等。

---

🔧 MuJoCo 的主要特点：

1. 精确的物理建模：

   • 支持刚体动力学、多关节系统、摩擦、碰撞等。

   • 提供软约束（soft constraints）模拟，更稳定。

2. 高性能：

   • 使用C语言编写，模拟效率高，特别适合大规模强化学习训练。

3. 描述性建模语言 MJCF：

   • 使用 MJCF（MuJoCo XML）语言描述模型结构，支持灵活的建模方式。

4. 强大的可视化支持：

   • 支持实时仿真和三维可视化，便于调试和展示。

5. Python 接口（通过 mujoco-py 或 dm_control）：

   • 可与 OpenAI Gym、DeepMind 控制套件集成，便于强化学习研究。

6. 免费开源：

   • 2022年以后由 DeepMind 开源，MIT 许可证。

---

🧠 常见使用场景：

• 强化学习训练（例如 PPO、SAC、TD