SimBa:实现深度强化学习参数scaling up

ICLR 2025 spotlight
近年来，计算机视觉 (CV) 和自然语言处理 (NLP) 领域的进展主要归功于网络参数的扩展。尽管传统理论认为更大的网络容易过拟合，但这些大型网络通过整合能够诱导简洁性偏差的组件来避免过拟合，从而引导模型找到简单且具有泛化能力的解决方案。本文便是针对深度强化学习领域网络结构（actor与critic）提出一种设计方案SimBa，提高采样效率的同时实现网络参数上的scaling up。SimBa 包含三个组成部分：(i) 一个使用 running statistics 实现输入标准化的 observation normalization 层，(ii) 一个提供从输入到输出的线性路径的 residual feedforward block，以及 (iii) 一个用于控制特征幅度的 layer normalization。

从实验结果看出Simba有效性，以及对比传统MLP的表征能力大幅度提升

``

``
对比其他表征网络结构性能优异

网络结构参数上以及replay ratio（样本用于梯度更新次数）的scaling，证明结构可以防止overfitting