机器人强化学习入门学习笔记
（1）物理引擎
物理引擎就是模拟真实世界物理规律的软件工具。它会根据你给定的物体、质量、形状、力等信息，计算这些物体在时间上的运动和相互作用。如果你设计了一个机器人，那物理引擎就是“虚拟现实世界”，让机器人在里面“活起来”，模拟它走路、抓东西、摔倒等动作。而物理引擎通常负责这些任务：
| 功能 | 解释 |
|---|---|
| 刚体动力学（Rigid Body Dynamics） | 模拟物体的移动和旋转，比如自由落体、抛物运动。 |
| 关节系统（Joints） | 模拟多个身体之间的连接，比如机器人手臂的旋转关节。 |
| 碰撞检测（Collision Detection） | 判断两个物体是否接触，防止物体“穿透”。 |
| 碰撞响应（Collision Response） | 当发生碰撞时如何反应，比如反弹、滑动、停止。 |
| 摩擦与力学 | 模拟地面摩擦力、弹力、重力等。 |
| 控制接口（Actuators） | 你可以给机器人施加控制力，比如“推一下”或“电机转动”。 |
MuJoCo（Multi-Joint dynamics with Contact）是一个高性能的物理引擎，广泛用于机器人学、强化学习和具身智能等领域。它特别擅长处理具有复杂接触和关节动力学的系统，比如机器人手臂、腿型机器人等。
🔧 MuJoCo 的主要特点：
-
精确的物理建模：
-
支持刚体动力学、多关节系统、摩擦、碰撞等。
-
提供软约束（soft constraints）模拟，更稳定。
-
-
高性能：
-
使用C语言编写，模拟效率高，特别适合大规模强化学习训练。
-
-
描述性建模语言 MJCF：
-
使用 MJCF（MuJoCo XML）语言描述模型结构，支持灵活的建模方式。
-
-
强大的可视化支持：
-
支持实时仿真和三维可视化，便于调试和展示。
-
-
Python 接口（通过
mujoco-py或dm_control）：-
可与 OpenAI Gym、DeepMind 控制套件集成，便于强化学习研究。
-
-
免费开源：
-
2022年以后由 DeepMind 开源，MIT 许可证。
-
🧠 常见使用场景：
-
强化学习训练（例如 PPO、SAC、TD