通过数据集微调LLM后怎么调用

通过数据集微调LLM后怎么调用

1. 导入必要的库

from transformers import AutoTokenizer, AutoModelForCausalLM

• AutoTokenizer：这是 transformers 库中的一个实用类，它能够根据指定的模型名称或路径自动选择合适的分词器。分词器的主要作用是将输入的文本字符串转换为模型可以处理的词元（token）序列，通常是一系列的整数 ID。
• AutoModelForCausalLM：同样来自 transformers 库，用于自动加载适合因果语言模型任务的模型。因果语言模型的任务是根据输入的前文来预测下一个词，从而生成连贯的文本。