当前位置：首页 > news >正文

迁移学习基础知识——迁移学习的问题形式化

news 2025/11/8 10:10:51

Hi，大家好，我是半亩花海。本文主要介绍迁移学习领域的一些基本知识，首先对迁移学习的问题进行简单的形式化，给出迁移学习的总体思路，并且介绍目前常用的一些度量准则。

一、领域 (Domain)

二、任务 (Task)

三、迁移学习 (Transfer Learning)

1. 迁移学习的定义

2. 符号小结

四、参考资料

迁移学习的问题形式化，是进行一切研究的前提。在迁移学习中，有两个最基本的概念：

领域 (Domain)
任务 (Task)

下面我将逐一介绍一下领域和任务这两个概念及其定义。

一、领域 (Domain)

领域是进行学习的主体。领域主要由两部分构成：

数据
生成这些数据的概率分布

通常我们用花体 $\mathcal{D}$ 来表示一个 domain，用大写斜体 $P$ 来表示一个概率分布（概率分布 $P$ 通常只是一个逻辑上的概念，一般难以给出具体形式）。

对于迁移学习，有两个基本的领域：

源领域 (Source Domain)
目标领域 (Target Domain)

这两个概念很好理解。源领域就是有知识、有大量数据标注的领域，是我们要迁移的对象；目标领域就是我们最终要赋予知识、赋予标注的对象。知识从源领域传递到目标领域，就完成了迁移。

其中，有两个方面的符号定义：

领域上的数据，我们通常用小写粗体 $\mathbf{x}$ 来表示，它也是向量的表示形式。例如， $\mathbf{x}_{i}$ 就表示第 $i$ 个样本或特征。用大写的黑体 $\mathbf{X}$ 表示一个领域的数据，这是一种矩阵形式。我们用大写花体 $\mathcal{X}$ 来表示数据的特征空间。
通常用小写下标 $s$ 和 $t$ 来分别指代两个领域。结合领域的表示方式，则： $\mathcal{D}_s$ 表示源领域， $\mathcal{D}_t$ 表示目标领域。

二、任务 (Task)

任务是学习的目标，主要由两部分组成：

标签
标签对应的函数

通常我们用花体 $\mathcal{Y}$ 来表示一个标签空间，用 $f(\cdot )$ 来表示一个学习函数。相应地，源领域和目标领域的类别空间就可以分别表示为 $\mathcal{Y}_s$ 和 $\mathcal{Y}_t$ 。我们用小写 $y_{s}$ 和 $y_{t}$ 分别表示源领域和目标领域的实际类别。

三、迁移学习 (Transfer Learning)

有了上面领域和任务的定义，我们就可以对迁移学习进行形式化。

1. 迁移学习的定义

迁移学习 (Transfer Learning) 的定义大致为：给定一个有标记的源域 $\mathcal{D}_s=\left\{\mathbf{x}_i, y_i\right\}_{i=1}^n$ 和一个无标记的目标域 $\mathcal{D}_t=\left\{\mathbf{x}_j\right\}_{j=n+1}^{n+m}$ 。这两个领域的数据分布 $P(\mathbf{x}_{s})$ 和 $P(\mathbf{x}_{t})$ 不同，即 $P(\mathbf{x}_{s})\neq P(\mathbf{x}_{t})$ 。迁移学习的目的就是要借助 $\mathcal{D}_s$ 的知识，来学习目标域 $\mathcal{D}_t$ 的知识 (标签)。

更进一步，结合我们前面说过的迁移学习研究领域，迁移学习的定义需要进行如下的考虑：

特征空间的异同，即 $\mathcal{X}_s$ 和 $\mathcal{X}_t$ 是否相等。
类别空间的异同：即 $\mathcal{Y}_s$ 和 $\mathcal{Y}_t$ 是否相等。
条件概率分布的异同：即 $Q_s\left(y_s \mid \mathbf{x}_s\right)$ 和 $Q_t\left(y_t \mid \mathbf{x}_t\right)$ 是否相等。

结合上述形式化，我们给出领域自适应 (Domain Adaptation) 这一热门研究方向的定义：

领域自适应 (Domain Adaptation): 给定一个有标记的源域 $\mathcal{D}_s=\left\{\mathbf{x}_i, y_i\right\}_{i=1}^n$ 和一个无标记的目标域 $\mathcal{D}_t=\left\{\mathbf{x}_j\right\}_{j=n+1}^{n+m}$ ，假定它们的特征空间相同，即 $\mathcal{X}_s= \mathcal{X}_t$ ，并且它们的类别空间也相同，即 $\mathcal{Y}_s= \mathcal{Y}_t$ 。但是这两个域的边缘分布不同，即 $P_{s}(\mathbf{x}_{s})\neq P_{t}(\mathbf{x}_{t})$ ，条件概率分布也不同，即 $Q_s\left(y_s \mid \mathbf{x}_s\right)\neq Q_t\left(y_t \mid \mathbf{x}_t\right)$ 。迁移学习的目标就是，利用有标记的数据 $\mathcal{D}_s$ 去学习一个分类器 $f: \mathbf{x}_t \mapsto \mathbf{y}_t$ 来预测目标域 $\mathcal{D}_t$ 的标签 $\mathbf{y}_t \in \mathcal{Y}_t$ 。