成都网站建设及推广图像处理与网站开发

目录

写这篇文章的目的

1.准备训练所需的文件

2.将压缩包上传到谷歌云盘

使用colab

3.训练

---

写这篇文章的目的

这篇文章是对：大模型学习-在colab中训练并更换模型_colab调整模型-CSDN博客的一个优化，因为在之前的博文中，我是提供了一个现成的文件夹demo,然后基于这个文件夹进行修改完成的大模型的更换和训练。

那如果我不提供文件夹demo呢？好像就没办法进行下去了。所以我决定从文件准备阶段开始，重新过一遍流程。这样以后训练大模型就不用依赖现成的demo了，自己就可以构建训练所需的文件，然后训练。

1.准备训练所需的文件

首先创建一个大文件夹，用于存放所有的文件和文件夹，命名为train,我将它放到了e盘

然后进行train文件夹，在里面创建model文件夹，该文件夹用于存放要进行训练的大模型相关文件：

接着，在huggingface中选择一个大模型，这里我选择qwen-math-1.5B:Qwen/Qwen2.5-Math-1.5B at main

.gitattributes、LICENSE、README.md，这些都是相关的说明文件，不用下载，剩下的文件都下载下来，放到model文件夹中:

编写训练脚本train.py

# 加载模型和分词器
from unsloth import FastLanguageModel
from local_dataset import LocalJsonDataset
from safetensors.torch import load_model, save_modelmax_seq_length = 4096
dtype = None
load_in_4bit = False
model, tokenizer = FastLanguageModel.from_pretrained(model_name="./model",max_seq_length=max_seq_length,dtype=dtype,load_in_4bit=load_in_4bit,
)model = FastLanguageModel.get_peft_model(model,r = 16, # Choose any number > 0 ! Suggested 8, 16, 32, 64, 128target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj",],lora_alpha = 16,lora_dropout = 0, # Supports any, but = 0 is optimizedbias = "none",    # Supports any, but = "none" is optimized# [NEW] "unsloth" uses 30% less VRAM, fits 2x larger batch sizes!use_gradient_checkpointing = "unsloth", # True or "unsloth" for very long contextrandom_state = 3407,use_rslora = False,  # We support rank stabilized LoRAloftq_config = None, # And LoftQ
)# 加载和预处理数据集
custom_dataset = LocalJsonDataset(json_file='train_data.json', tokenizer=tokenizer, max_seq_length=max_seq_length)
dataset = custom_dataset.get_dataset()# 设置训练配置
from trl import SFTTrainer
from transformers import TrainingArguments
from unsloth import is_bfloat16_supportedtrainer = SFTTrainer(model=model,tokenizer=tokenizer,train_dataset=dataset,dataset_text_field="text",max_seq_length=max_seq_length,dataset_num_proc=2,args=TrainingArguments(per_device_train_batch_size=4,gradient_accumulation_steps=8,warmup_steps=20,max_steps=2000,learning_rate=5e-5,fp16=not is_bfloat16_supported(),bf16=is_bfloat16_supported(),logging_steps=1,optim="adamw_8bit",weight_decay=0.01,lr_scheduler_type="linear",seed=3407,output_dir="outputs",#save_strategy="no"),
)# 训练模型
trainer.train()
model.save_pretrained("lora_model")
tokenizer.save_pretrained("lora_model")FastLanguageModel.for_inference(model)def generate_answer(question):input_text = f"下面列出了一个问题. 请写出问题的答案.\n####问题:{question}\n####答案:"inputs = tokenizer([input_text], return_tensors="pt", padding=True, truncation=True).to("cuda")outputs = model.generate(**inputs, max_new_tokens=2048, use_cache=True)decoded_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]return decoded_output.split('<|im_end|>')[0].strip()print("请输入您的问题,输入'exit'退出:")
while True:user_input = input("> ")if user_input.lower() == 'exit':print("程序已退出。")breakanswer = generate_answer(user_input)print("---")print(answer)

在这个脚本中，有几个点需要注意：

调整model_name：model_name的值要改成你的大模型相关文件所在的相对路径，比如我的大模型相关的文件，相对于train.py，在model文件夹中，所以需要改成model_name="./model"

调整 max_seq_length：不同模型支持的最大序列长度不一样，我训练的大模型是Qwen2.5-math-1.5B，通过查阅资料，得知其支持的最大序列长度为4096，所以我改成max_seq_length = 4096

剩下的参数，根据实际情况调整。

将train.py放到与model同级的位置：

编写运行脚本run.py，用于测试训练后的大模型：

from unsloth import FastLanguageModelmax_seq_length = 4096
dtype = None
load_in_4bit = False
model, tokenizer = FastLanguageModel.from_pretrained(model_name="lora_model",max_seq_length=max_seq_length,dtype=dtype,load_in_4bit=load_in_4bit,
)FastLanguageModel.for_inference(model)def generate_answer(question):input_text = f"下面列出了一个问题. 请写出问题的答案.\n####问题:{question}\n####答案:"inputs = tokenizer([input_text], return_tensors="pt", padding=True, truncation=True).to("cuda")outputs = model.generate(**inputs, max_new_tokens=4096, use_cache=True)decoded_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]return decoded_output.split('<|im_end|>')[0].strip()print("请输入您的问题,输入'exit'退出:")
while True:user_input = input("> ")if user_input.lower() == 'exit':print("程序已退出。")breakanswer = generate_answer(user_input)print("---")print(answer)

将run.py放到与model同级的位置：

接下来编写local_dataset.py，这个文件是用来设计训练集的里的字段，train.py会引用local_dataset.py里的LocalJsonDataset，这样，在训练大模型时，大模型才能识别到训练集里面的数据。具体代码如下：

import json
from datasets import Datasetcustom_prompt = """下面列出了一个问题. 请写出问题的答案.
### 问题:
{}
### 答案:
{}"""class LocalJsonDataset:def __init__(self, json_file, tokenizer, max_seq_length=4096):self.json_file = json_fileself.tokenizer = tokenizerself.max_seq_length = max_seq_lengthself.dataset = self.load_dataset()def load_dataset(self):with open(self.json_file, 'r', encoding='utf-8') as f:data = json.load(f)texts = []for item in data:text = custom_prompt.format(item['question'], item['answer']) + self.tokenizer.eos_tokentexts.append(text)dataset_dict = {'text': texts  # 添加'text'字段以适配SFTTrainer}dataset = Dataset.from_dict(dataset_dict)return datasetdef get_dataset(self):return self.dataset

将local_dataset.py放到与model同级的位置：

根据上面的代码，我们的训练集（xxx.json）可以设计成这样（这里为方便展示，只列出了两组训练数据）：

[{"question": "7.32和7.23哪个数更大?","answer": "比较7.32和7.23的大小:\n1. 整数部分都是7,相等。\n2. 十分位,7.32是3,7.23是2。3大于2。\n因此,无需继续比较,可以得出7.32大于7.23。\n答案:7.32更大。"},{"question": "3.14和3.41哪个数值更高?","answer": "比较3.14和3.41:\n1. 整数部分都是3,相等。\n2. 十分位,3.14是1,3.41是4。4大于1。\n不需要继续比较,可以确定3.41大于3.14。\n答案:3.41的数值更高。"},
]

将训练集放到与model同级的位置：

！！！这里命名为train_data.json,因为在前面的train.py中，我们指定了训练集的名称为train_data.json

然后将整个train文件夹打包，便于后面上传到谷歌云盘

2.将压缩包上传到谷歌云盘

首先需要有谷歌的账号。且全程需要翻墙

进入谷歌云盘（使用谷歌账户登录）：drive.google.com

新建一个文件夹,并命名为colab：

我们可以将要用到的资源放到这个文件夹里，之后使用colab时就可以把该文件夹里的资源挂载过去。如此一来，即使colab断线了，使用的资源仍然在该网盘中，不会造成资源的丢失。

然后上传压缩包

可在右下角查看上传的进度

使用colab

colab的使用类似于在本地的浏览器中操作远端的谷歌云服务器。

新建一个colab页面：

在刚开始时，没有colab选项，我们需要点击连接更多应用

搜索colab,并点击下载：

之后会绑定谷歌账户，跟着引导操作即可。

下载完成后，点击colab:

重命名一下

默认情况下，它使用的是CPU，我们需要改成GPU：

选择连接到托管运行：

输入命令，查看当前分配的资源：

!nvidia-smi

可以看到，当前分配的GPU内存有15GB左右。

首先查看当前路径

输入命令!pwd

可以看到，当前在content目录下。

3.训练

挂载谷歌网盘

import os
from google.colab import drive
drive.mount('/content/drive')

进入colab目录

%cd /content/drive/MyDrive/colab

解压train.zip

!unzip train.zip

解压完成后，进入train目录

%cd train

在训练之前，需要安装一些依赖包

pip install unsloth safetensors torch torchvision torchaudio

安装完后，点击重启按钮：

并重新回到train目录（这里就不啰嗦了）

然后就可以训练了，执行：

!python3 train.py

训练时会询问是否启用 wandb 的在线功能，选择3即可，这里不启用。