当前位置：首页 > news >正文

使用 Scikit-LLM 进行零样本和少样本分类

news 2025/8/2 6:33:37

使用 Scikit-LLM 进行零样本和少样本分类

在这里插入图片描述
使用 Scikit-LLM 进行零样本和少样本分类

在本文中，您将学习：

Scikit-LLM如何将OpenAI的GPT等大型语言模型与Scikit-learn框架集成以进行文本分析。
零样本和少样本分类之间的区别以及如何使用Scikit-LLM实现它们。
一个指南，介绍如何配置 Scikit-LLM 并使用 OpenAI API 密钥，以及如何将其应用于一个示例文本分类任务。

介绍

Scikit-LLM 是一个旨在将大型语言模型（LLMs）如 OpenAI 的 GPT-3.5 和 GPT-4 与 Scikit-learn 机器学习框架集成的 Python 库。它提供了一个简单的接口，可以使用自然语言提示将 LLM 作为零样本或少样本分类器使用，使其非常适合下游文本分析任务，如分类、情感分析和主题标记。

本文重点介绍 Scikit-LLM的零样本和少样本分类能力，并展示了如何将其与Scikit-learn工作流程结合以完成这些任务。

在我们开始操作之前，让我们先弄清楚零样本分类和少样本分类之间的区别。

零样本分类： LLM类在没有来自数据集的任何先验标记示例的情况下对文本进行分类；它仅根据可能的类别标签进行提示。
少样本分类： 在提示中提供了一小组带标签的示例——通常是每个可能类别几组示例——以引导LLM的推理符合所请求的分类。

逐步过程

是时候尝试这两个使用案例了，主角是我们的文章中介绍的库：Scikit-LLM。我们首先安装它：

!pip install scikit-llm

我们现在需要导入以下两个类：

from skllm.config import SKLLMConfig
from skllm import ZeroShotGPTClassifier

由于使用OpenAI的模型需要一个API密钥，我们将需要进行配置。如果需要，请访问并注册 OpenAI平台以创建一个新的API密钥。请注意，如果您没有付费计划，您在下面示例中使用模型的选项可能会有限制。

SKLLMConfig.set_openai_key("API_KEY_GOES_HERE")

让我们考虑这个小型示例数据集，包含一些用户评论及其相关的感情标签：

X = ["I love this product! It works great and exceeded my expectations.","This is the worst service I have ever received.","The movie was okay, not bad but not great either.","Excellent customer support and very quick response.","I am disappointed with the quality of this item."
]y = ["positive","negative","neutral","positive","negative"
]

我们创建一个零样本分类器的实例如下：

clf = ZeroShotGPTClassifier()

正如其名字所示，Scikit-LLM 强烈依赖于 Scikit-learn。因此，如果您对 Scikit-learn 生态系统有经验，那么训练和评估模型的过程将非常熟悉：

clf.fit(X, y)
labels = clf.predict(X)print(labels)

但是这里正是零样本分类真正发挥作用的地方：不需要训练数据。分类器可以仅使用可能的标签进行“拟合”。换句话说，可以做到类似这样的事情：

clf_empty = ZeroShotGPTClassifier()
clf_empty.fit(None, ["positive", "negative", "neutral"])
labels = clf_empty.predict(X)

这仍然有效！这是真正的零样本分类的本质。

关于少样本分类，这个过程非常类似于我们提供训练数据的第一个零样本分类示例。事实上，fit()该方法是将少量标记示例传递给模型的正确方法。

from skllm import FewShotGPTClassifierclf = FewShotGPTClassifier()# Fit uses few-shot examples to build part of the prompt
clf.fit(X, y)test_samples = ["The new update is fantastic and really smooth.","I'm not happy with the experience at all.","Meh, it was neither exciting nor terrible."
]predictions = clf.predict(test_samples)
print(predictions)

这听起来可能有些奇怪，但在少样本分类的特定使用案例中，fit() 和 predict() 方法都是推理过程的一部分。fit() 提供了 prompt 的标记示例，而 predict() 提供了要分类的新文本。它们一起构成了发送到 LLM 的完整 prompt。