当前位置：首页 > wzjs >正文

杭州公司外贸网站设计效果图设计师主要做什么

wzjs 2025/9/10 9:02:27

杭州公司外贸网站设计,效果图设计师主要做什么,58同城做网站推广好不好,唯尚广告联盟app下载宇树机器人多姿态起立控制强化学习框架论文解析《Learning Humanoid Standing-up Control across Diverse Postures》论文来源： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学发布时间： 2025年2月（第一版）&…

宇树机器人多姿态起立控制强化学习框架论文解析

《Learning Humanoid Standing-up Control across Diverse Postures》

论文来源： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学
发布时间： 2025年2月（第一版），2025年4月（第二版）
实际部署： Unitree G1人形机器人

📋 目录

一、论文概况
二、技术方法详解
三、核心创新点
四、实验结果与评估
五、技术影响与展望

一、论文概况

1.1 研究背景与挑战

核心问题： 人形机器人从倒地姿态站起来的能力（起立控制）对实现跌倒恢复等功能至关重要。

现有方法的局限性：

方法类型	优势	局限性
传统轨迹跟踪	动作合理，在仿真中有效	依赖手工设计，对扰动敏感，部署困难
强化学习方法	灵活性高，建模假设少	动作剧烈不稳定，真实部署困难

1.2 HoST框架概述

HoST（Humanoid Standing-up Control） 是一个从零开始训练的强化学习框架，具备以下核心特点：

🎯 主要特点：

✅ 多评论架构 + 课程式训练 → 提升适应性
✅ 动作平滑正则化 + 隐式速度限制 → 抑制抖动
✅ 零微调部署 → 直接在Unitree G1上运行
✅ 多场景验证 → 室内外环境均表现稳定

1.3 技术创新亮点

创新点	技术方案	效果
多姿态适应	多地形训练 + 向上牵引力	支持多种初始姿态起立
训练稳定性	多评论强化学习架构	优化不同奖励维度
动作平滑性	正则化 + 速度约束	减少剧烈动作
sim-to-real	领域随机化技术	提升迁移能力

二、技术方法详解

2.1 问题建模：马尔可夫决策过程（MDP）

2.1.1 MDP五元组定义

人形机器人起立任务被建模为有限时长的MDP：

M = ⟨S, A, T, R, γ⟩

元素	含义	具体内容
S	状态空间	机器人本体感知信息
A	动作空间	关节目标位置变化量
T	状态转移函数	物理仿真引擎
R	奖励函数	多维度奖励设计
γ	折扣因子	长期奖励权衡

2.1.2 训练目标

最优策略学习：

π* = argmax E_πθ[∑γᵗ·rₜ]

算法选择： PPO（Proximal Policy Optimization）

✅ 大规模并行训练稳定性好
✅ 基于宇树官方框架：unitree_rl_gym/legged_gym + RSL-RL/PPO

2.2 观察空间设计

2.2.1 本体感知信息

状态向量构成：

观察项	符号	来源	维度
机体角速度	ωₜ	IMU传感器	3D
姿态角度	rₜ, qₜ	IMU（roll, pitch）	2D
关节位置	pₜ	编码器	23D
关节速度	ṗₜ	编码器	23D
上步动作	aₜ₋₁	历史记录	23D
缩放系数	β	配置参数	1D

2.2.2 时间上下文增强

历史状态融合：

📊 引入过去5个时间步的状态信息
🎯 增强接触感知能力（如判断是否触地）
💡 提供更强的时间上下文信息

技术实现： class LeggedRobot(BaseTask).compute_observations()

2.3 动作空间与控制

2.3.1 PD控制器架构

设计理念： 强化学习专注于"决策去哪里"，PD控制器负责"如何安全地到达"

2.3.2 控制流程

1. 目标位置计算：

pᵈₜ = pₜ + β·aₜ

2. PD控制律：

τₜ = Kp(pᵈₜ - pₜ) - Kd·ṗₜ

3. 参数说明：

Kp, Kd: PD控制器增益参数
β ∈ (0, 1]: 动作缩放因子（隐式速度限制）
维度: 23个自由度对应23维动作空间

2.3.3 PD控制器优势

优势	说明
安全性	避免直接扭矩输出，减少硬件损坏风险
稳定性	物理直觉的控制行为，天然稳定特性
可调性	仅需调节Kp、Kd两个参数
迁移性	仿真与真实机器人行为一致性高