3.10 实战Hugging Face Transformers：从文本分类到模型部署全流程

实战Hugging Face Transformers：从文本分类到模型部署全流程

---

一、文本分类实战：IMDB电影评论情感分析

1.1 数据准备与预处理

from datasets import load_dataset  
from transformers import AutoTokenizer  

# 加载IMDB数据集  
dataset = load_dataset("imdb")  

# 初始化分词器  
tokenizer =</