Training-free Neural Architecture Search for RNNs and Transformers（预览版本）

摘要 

神经架构搜索 (NAS) 允许自动创建新的有效神经网络架构，为手动设计复杂架构的繁琐过程提供了替代方案。然而，传统的 NAS 算法速度慢，需要大量的计算能力。最近的研究调查了图像分类架构的无训练 NAS 指标，大大加快了搜索算法的速度。在本文中，我们研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 Transformer 架构的无训练 NAS 指标。首先，我们开发了一种新的无训练指标，称为隐藏协方差，它可以预测 RNN 架构的训练性能，并且明显优于现有的无训练指标。我们在 NAS-Bench-NLP 基准上通过实验评估了隐藏协方差指标的有效性。其次，我们发现 Transformer 架构的当前搜索空间范式并未针对无训练神经架构搜索进行优化。相反，简单的定性分析可以有效地将搜索空间缩小到性能最佳的架构。这一结论基于我们对现有免训练指标和近期 Transformer 剪枝文献中开发的新指标的研究，这些指标在我们自己训练过的 BERT 架构基准上进行了评估。最终，我们的分析表明，架构搜索空间和免训练指标必须一起开发才能取得有效的结果。