Offline Transition Modeling via Contrastive Energy Learning

ICML 2024
paper
code
学习高质量的动力学模型对于顺序决策任务非常重要，尤其是在离线环境下。然而，真实世界环境中过渡动态的复杂行为给标准前向模型带来了挑战，因为这些模型偏向于平滑回归因子，与过渡的固有特性（如不连续或大曲率）相冲突。在这项工作中，建议通过标量值能量函数对过渡概率进行直观建模，这样不仅可以灵活预判分布，还能捕捉复杂的过渡情况。研究表明，基于能量的过渡模型（ETM）能准确拟合不连续的过渡函数，并能更好地泛化分布外过渡数据。此外，在 DOPE 基准测试中，证明基于能量的过渡模型提高了评估精度，并明显优于其他off-policy评估方法。最后证明了基于能量的过渡模型也有利于强化学习，并在 D4RL Gym-Mujoco 任务中优于先前的RL 算法。

总结：采用能量模型对动力学模型建模，训练能量模型则是采用对比学习（正样本为离线数据集真实转移，负样本为K-1个基于模型的通过Langevin MCMC 采样）

Method

能量模型

Langevin MCMC 采样

其中z为高斯噪声

能量模型训练

策略训练

采用集成能量模型，使用五个 ETM 的集合来进行策略优化，每一步都随机选择五个模型中的一个来生成过渡。提出的 EMPO 使用 Soft-Actor-Critic (SAC) 作为基础策略优化算法，并采用模型预测下一状态的不确定性估计作为奖励惩罚，实现保守估计：

Results

展示能量模型的泛化性，在非平滑和依赖外推法的数据上具有出色的普适性，表明在规避平滑近似值造成的负面干扰的同时，还能巧妙地捕捉到数据模式

其他

该集成能量模型使用Online的效果（结合MBPO）