论文略读：Parameter-efficient transfer learning for NLP

ICML 2019

• 增加了两个Adapter结构，分别是多头注意力的投影之后和第二个feed-forward层之后
• 在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构和 Layer Norm 层进行微调，从而保证了训练的高效性。
• 每当出现新的下游任务，通过添加新的Adapter模块来产生一个易于扩展的下游模型，从而避免全量微调与灾难性遗忘的问题。