PyTorch生成式人工智能——Hugging Face环境配置与应用详解
PyTorch生成式人工智能——Hugging Face环境配置与应用详解
-
- 0. 前言
- 1. 安装 transformers
- 2. 使用 hf-mirror 快速下载模型
- 3. 使用语言模型和分词器
- 4. 使用社区提供的模型
- 5. 使用多模态 Transformer
- 相关链接
0. 前言
在本节中,我们将介绍如何在 PyTorch
和 TensorFlow
框架中使用 Hugging Face
模型库,我们将讨论如何获取不同的模型以及使用不同管道的步骤,例如,双向自回归 Transformer
(Bidirectional and Auto-regressive Transformer
, BART
)、BERT
和 TAPAS
(TAble PArSing
) 等模型,同时介绍 GPT-2
(Generative Pretrained Transformer 2
) 文本生成。需要注意的是,本节主要集中在如何准备环境以及如何使用预训练模型,而不是模型训练,模型训练将在后续学习中详细讨论。
1. 安装 transformers
安装 transformers
库非常简单,只需要运行以下命令:
$ pip install transformers