Daily AI 20250514 (迁移学习与元学习)

参考资料：神经网络与深度学习

迁移学习 （Transfer Learning）

对于一个缺乏标注数据的任务，如果有一个相关任务已经有了大量的训练数据，虽然这些训练数据的分布和目标任务不同，但是由于训练数据的规模比较大，假设可以从中学习某些可以泛化的知识，那么这些知识对目标任务会有一定的帮助．如何将相关任务的训练数据中的可泛化知识迁移到目标任务上，即迁移学习。

从统计学习的观点来看，一个机器学习任务 $\mathcal{T}$定义为在一个领域 $\mathcal{D}=(\mathcal{X},\mathcal{Y},p(\mathbf{x},y))$上的条件概率 $p(y\mid \mathbf{x})$ 的建模问题．迁移学习旨在利用源领域（Source Domain） ${\mathcal{D}}_S$ 中学到的知识来帮助目标领域（Target Domain） ${\mathcal{D}}_T$ 上的学习任务。

归纳迁移学习

在归纳迁移学习中，源领域和目标领域有相同的输入空间 ${\mathcal{X}}_S={\mathcal{X}}_T$ ，输出空间可以相同也可以不同，源任务和目标任务一般不相同 ${\mathcal{T}}_S\ne {\mathcal{T}}_T$ ，即 $p_S(y\mid \mathbf{x})\ne$ $p_T(y\mid \mathbf{x})$ 。一般而言，归纳迁移学习要求源领域和目标领域是相关的，并且源领域 ${\mathcal{D}}_S$ 有大量的训练样本，这些样本可以是有标注的样本，也可以是无标注样本．
(1) 当源领域只有大量无标注数据时，源任务可以转换为无监督学习任务，比如自编码和密度估计任务．在自然语言处理领域，由于语言相关任务的标注成本比较高，很多自然语言处理任务的标注数据都比较少，这导致了在这些自然语言处理任务上经常会受限于训练样本数量而无法充分发挥深度学习模型的能力．同时，由于我们可以低成本地获取大规模的无标注自然语言文本，因此一种自然的迁移学习方式是将大规模文本上的无监督学习（比如语言模型）中学到的知识迁移到一个新的目标任务上．从早期的预训练词向量（比如word2vec和GloVe等）到句子级表示（比如ELMO、OpenAI GPT 以及BERT等）都对自然语言处理任务有很大的促进作用．
(2) 当源领域有大量的标注数据时，可以直接将源领域上训练的模型迁移到目标领域上．比如在计算机视觉领域有大规模的图像分类数据集ImageNet．由于在ImageNet数据集上有很多预训练的图像分类模型，比如AlexNet、VGG和ResNet等，我们可以将这些预训练模型迁移到目标任务上．归纳迁移学习的方式主要有：
-基于特征的方式：将预训练模型的输出或者是中间隐藏层的输出作为特征直接加入到目标任务的学习模型中．目标任务的学习模型可以是一般的浅层分类器（比如支持向量机等）或一个新的神经网络模型。
-精调的方式：在目标任务上复用预训练模型的部分组件，并对其参数进行精调（Fine-Tuning）。

转导迁移学习

转导迁移学习是一种从样本到样本的迁移，转导迁移学习通常假设源领域有大量的标注数据，而目标领域没有（或只有少量）标注数据，但是有大量的无标注数据．目标领域的数据在训练阶段是可见的．

元学习 （Meta Learning）

希望有一套自动方法，根据不同任务来动态地选择合适的模型或动态地调整超参数。（Learning to Learn）
元学习的目的是从已有任务中学习一种学习方法或元知识，可以加速新任务的学习．从这个角度来说，元学习+分类似于归纳迁移学习，但元学习更侧重从多种不同（甚至是不相关）的任务中归纳出一种学习方法．

基于优化器的元学习

学习优化器g的过程可以看做一种元学习过程，其目标是找到一个适用于多个不同任务的优化器。在标准梯度下降中，每步迭代的目标是使得$\mathcal{L}(\theta )$下降。在优化器的元学习中，希望在每步迭代的目标是$\mathcal{L}(\theta )$最小，具体的目标函数为：
$$\begin{array}{rl}\mathcal{L}(\varphi )& ={\mathbb{E}}_f\left[\sum _{t=1}^T{w}_t\mathcal{L}\left({\theta }_t\right)\right],\\ {\theta }_t& ={\theta }_{t-1}+{\mathbf{g}}_t,\\ \left[{\mathbf{g}}_t;{\mathbf{h}}_t\right]& =\mathrm{LSTM}\left(\nabla \mathcal{L}\left({\theta }_{t-1}\right),{\mathbf{h}}_{t-1};\varphi \right)\end{array}$$
（用lstm网络学习更新所需的gradient）

模型无关的元学习（Model-AgnosticMeta-Learning，MAML）

是模型无关、任务无关的元学习算法，假设所有的任务都来自于一个任务空间，其分布为$p(\mathcal{J})$。旨在对这个任务空间的所有任务学习一个通用表示，这种表示可以经过梯度下降方法在一个特定的单任务上进行精调：

假设一个模型为 $f_{\theta }$ ，如果我们让这个模型适应到一个新任务 ${\mathcal{J}}_m$ 上，通过一步或多步的梯度下降更新，学习到的任务适配参数${\theta }_m^{{}^{\prime }}$为:
$${\theta }_m^{\prime }=\theta -\alpha {\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{J}}_m}\left(f_{\theta }\right)$$
MAML的目标是学习一个参数𝜃使得其经过一个梯度迭代就可以在新任务上达到最好的性能，即
$$\underset{\theta }{\min }\sum _{{\mathcal{J}}_m\sim p(\mathcal{T})}{\mathcal{L}}_{{\mathcal{J}}_m}\left(f_{{\theta }_m^{\prime }}\right)=\underset{\theta }{\min }\sum _{{\mathcal{J}}_m\sim p(\mathcal{T})}{\mathcal{L}}_{{\mathcal{J}}_m}(f(\underset{{\theta }_m^{\prime }}{\underbrace{\theta -\alpha {\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)}}))$$
在所有任务上的元优化（Meta-Optimization）也采用梯度下降来进行优化，即
$$\begin{array}{rl}\theta & \leftarrow \theta -\beta {\nabla }_{\theta }\sum _{m=1}^M{\mathcal{L}}_{{\mathcal{J}}_m}\left(f_{{\theta }_m^{\prime }}\right)\\ & =\theta -\beta \sum _{m=1}^M{\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{J}}_m}\left(f_{{\theta }_m}\right)\left(I-\alpha {\nabla }_{\theta }^2{\mathcal{L}}_{{\mathcal{J}}_m}\left(f_{{\theta }_m}\right)\right)\end{array}$$
其中 $\beta$ 为元学习率，$I$ 为单位阵．
第二步二阶梯度得到是由于：
$${\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{{\theta }_m}^{\prime }\right)={\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }-\alpha {\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)\right)$$
对其做一阶泰勒展开得到：
$$\approx {\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)-\alpha {\nabla }_{\theta }^2{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right){\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)={\nabla }_{\theta }{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)\left(I-\alpha {\nabla }_{\theta }^2{\mathcal{L}}_{{\mathcal{T}}_m}\left(f_{\theta }\right)\right)$$

（即MAML是一个嵌套优化问题，内层一步下降优化单个模型性能，外层实现一个更好的通用表示）