3.17日Man2Marine
上游任务 vs. 下游任务
| 任务类型 | 作用 | 你的研究中的例子 |
|---|---|---|
| 上游任务（Upstream Task） | 训练通用的音频表示，提供特征 | 在大规模人类语音数据集上进行自监督学习 |
| 下游任务（Downstream Task） | 利用上游任务学到的特征进行具体任务 | 微调模型进行海洋哺乳动物叫声分类 |
- 在 NLP（自然语言处理）中：
- 上游任务：在大规模文本数据上训练 BERT、GPT 这样的语言模型（目标是学习语言表示）。
- 下游任务：用训练好的模型进行情感分析、机器翻译、文本摘要等具体任务。
- 在计算机视觉中：
- 上游任务：用 ImageNet 数据集进行预训练，让模型学习通用的视觉特征。
- 下游任务：用预训练模型进行目标检测、人脸识别、医学影像分析等任务。
- 上游任务：主要是预训练阶段，目的是学习通用特征（你的研究中是从人类语音数据中学习音频特征）。
- 下游任务：是具体的应用任务（你的研究中是海洋哺乳动物叫声分类）。