Transformer实战（18）——微调Transformer语言模型进行回归分析

0. 前言

在自然语言处理领域中，预训练 Transformer 模型不仅能胜任离散类别预测，也可用于连续数值回归任务。本节介绍了如何将 DistilBert 转变为回归模型，为模型赋予预测连续相似度分值的能力。我们以 GLUE 基准中的语义文本相似度 (STS-B) 数据集为例，详细介绍配置 DistilBertConfig、加载数据集、分词并构建 TrainingArguments，并定义 Pearson/Spearman 相关系数等回归指标。

1. 回归模型

回归模型通常最后一层只有一个神经元，它不会通过 softmax 逻辑回归处理，而是进行归一化。为了定义模型并在顶部添加一个单神经元的输出层，有两种方法：直接在 BERT.from_pretrained() 方法中使用参数 num_labels=1，或者通过 config 对象传递此信息。首先需要从预训练模型的 config 对象中复制这些信息：

from transformers import DistilBertConfig, DistilBertTokenizerFast, DistilBertForSequenceClassification
MODEL_PATH='distilbert-base-uncased'
config = DistilBertConfig.from_pretrained(MODEL_PATH, num_labels=1)
tokenizer = DistilBertTokenizerFast.from_pretrained(MODEL_PATH)
model = DistilBertForSequenceClassification.from_pretrained(MODEL_PATH, config=config)

由于我们设置了 num_labels=1 参数，因此预训练模型的输出层包含一个神经元。接下来，准备数据集微调模型进行回归分析。
在本节中，我们将使用语义文本相似度基准 (STS-B) 数据集，它包含从新闻标题等多种内容中提取的句子对。每对句子都有一个从 1 到 5 的相似度评分，我们的任务是微调 DistilBert 模型以预测这些评分，并使用 Pearson/Spearman 相关系数来评估模型。

2. 数据处理

(1) 加载数据。将原始数据分为三部分，但由于测试集没有标签，所以我们可以将验证数据分为两部分：

import datasets
from datasets import load_dataset
stsb_train= load_dataset('glue','stsb', split="train")
stsb_validation = load_dataset('glue','stsb', split="validation")
stsb_validation=stsb_validation.shuffle(seed=42)
stsb_val= datasets.Dataset.from_dict(stsb_validation[:750])
stsb_test= datasets.Dataset.from_dict(stsb_validation[750:])

(2) 使用 pandas 来整理 stsb_train 训练数据：

import pandas as pd
pd.DataFrame(stsb_train)

整理后的训练数据样本如下：

(3) 查看三个数据集的形状：

stsb_train.shape, stsb_val.shape, stsb_test.shape
# ((5749, 4), (750, 4), (750, 4))

(4) 对数据集进行分词处理：

enc_train = stsb_train.map(lambda e: tokenizer( e['sentence1'],e['sentence2'], padding=True, truncation=True), batched=True, batch_size=1000) 
enc_val =   stsb_val.map(lambda e: tokenizer( e['sentence1'],e['sentence2'], padding=True, truncation=True), batched=True, batch_size=1000) 
enc_test =  stsb_test.map(lambda e: tokenizer( e['sentence1'],e['sentence2'], padding=True, truncation=True), batched=True, batch_size=1000) 

(5) 分词器将两个句子用 [SEP] 分隔符连接，并为句子对生成 input_ids 和 attention_mask：

pd.DataFrame(enc_train)

输出结果如下：

3. 模型构建与训练

(1) 在 TrainingArguments 类中定义参数集：

from transformers import TrainingArguments, Trainer
training_args = TrainingArguments(# The output directory where the model predictions and checkpoints will be writtenoutput_dir='./stsb-model', do_train=True,do_eval=True,#  The number of epochs, defaults to 3.0 num_train_epochs=3,              per_device_train_batch_size=32,  per_device_eval_batch_size=64,# Number of steps used for a linear warmupwarmup_steps=100,                weight_decay=0.01,# TensorBoard log directorylogging_strategy='steps',                logging_dir='./logs',            logging_steps=50,# other options : no, stepsevaluation_strategy="epoch",save_strategy="epoch",fp16=True,load_best_model_at_end=True
)

(2) 定义 compute_metrics 函数。其中，评估指标基于皮尔逊相关系数 (Pearson correlation coefficient) 和斯皮尔曼等级相关系数 (Spearman’s rank correlation) 法，此外，还提供均方误差 (Mean Square Error, MSE)、均方根误差 (Root Mean Square Error, RMSE) 和平均绝对误差 (Mean Absolute Error, MAE) 等常用的回归模型评估指标：

from torch import cuda
device = 'cuda' if cuda.is_available() else 'cpu'
import numpy as np
from scipy.stats import pearsonr
from scipy.stats import spearmanr
def compute_metrics(pred):preds = np.squeeze(pred.predictions) return {"MSE": ((preds - pred.label_ids) ** 2).mean().item(),"RMSE": (np.sqrt ((  (preds - pred.label_ids) ** 2).mean())).item(),"MAE": (np.abs(preds - pred.label_ids)).mean().item(),"Pearson" : pearsonr(preds,pred.label_ids)[0],"Spearman's Rank" : spearmanr(preds,pred.label_ids)[0]}

(3) 实例化 Trainer 对象：

trainer = Trainer(model=model,args=training_args,train_dataset=enc_train,eval_dataset=enc_val,compute_metrics=compute_metrics,tokenizer=tokenizer)

(4) 运行训练过程：

train_result = trainer.train()
metrics = train_result.metrics

输出结果如下：

最佳验证损失为 0.542073，评估最佳权重模型：

q=[trainer.evaluate(eval_dataset=data) for data in [enc_train, enc_val, enc_test]]
pd.DataFrame(q, index=["train","val","test"]).iloc[:,:6]

输出结果如下：

在测试数据集上，Pearson 和 Spearman 相关系数得分分别为 87.69 和 87.64。

4. 模型推理

(1) 运行模型进行推理。以下面两个意义相同的句子为例，将它们输入模型：

s1,s2="A plane is taking off.",	"An air plane is taking off."
encoding = tokenizer(s1,s2, return_tensors='pt', padding=True, truncation=True, max_length=512)
input_ids = encoding['input_ids'].to(device)
attention_mask = encoding['attention_mask'].to(device)
outputs = model(input_ids, attention_mask=attention_mask)
outputs.logits.item()
# 4.57421875

(2) 接下来，将语义不同的句子对输入模型：

s1,s2="The men are playing soccer.",	"A man is riding a motorcycle."
encoding = tokenizer("hey how are you there","hey how are you", return_tensors='pt', padding=True, truncation=True, max_length=512)
input_ids = encoding['input_ids'].to(device)
attention_mask = encoding['attention_mask'].to(device)
outputs = model(input_ids, attention_mask=attention_mask)
outputs.logits.item()
# 3.1953125

(3) 最后，保存模型：

model_path = "sentence-pair-regression-model"
trainer.save_model(model_path)
tokenizer.save_pretrained(model_path)

小结

本节介绍了如何基于预训练 DistilBert 架构完成语义相似度回归分析。首先，通过修改配置或传参的方式，为模型顶层添加单神经元回归头；随后，借助 STS-B 数据集构建训练、验证与测试集，并应用分词器生成模型输入。接着，使用 Trainer 框架与自定义的 compute_metrics 函数，对模型在 MSE、RMSE、MAE 及 Pearson 和 Spearman 相关性等多维度指标上进行评估，验证了微调方法在回归任务中的有效性。

系列链接

Transformer实战（1）——词嵌入技术详解
Transformer实战（2）——循环神经网络详解
Transformer实战（3）——从词袋模型到Transformer：NLP技术演进
Transformer实战（4）——从零开始构建Transformer
Transformer实战（5）——Hugging Face环境配置与应用详解
Transformer实战（6）——Transformer模型性能评估
Transformer实战（7）——datasets库核心功能解析
Transformer实战（8）——BERT模型详解与实现
Transformer实战（9）——Transformer分词算法详解
Transformer实战（10）——生成式语言模型 (Generative Language Model, GLM)
Transformer实战（11）——从零开始构建GPT模型
Transformer实战（12）——基于Transformer的文本到文本模型
Transformer实战（13）——从零开始训练GPT-2语言模型
Transformer实战（14）——微调Transformer语言模型用于文本分类
Transformer实战（15）——使用PyTorch微调Transformer语言模型
Transformer实战（16）——微调Transformer语言模型用于多类别文本分类
Transformer实战（17）——微调Transformer语言模型进行多标签文本分类