MiniMind用极低的成本训练属于自己的大模型

本篇文章主要讲解，如何通过极低的成本训练自己的大模型的方法和教程，通过MiniMind快速实现普通家用电脑的模型训练。
日期：2025年3月5日
作者：任聪聪

一、MiniMind 介绍

基本信息

在2小时，训练出属于自己的28M大模型。

开源地址：https://github.com/jingyaogong/minimind

特性说明：

1、在家用电脑中即可进行大模型的训练。

2、训练时间可在一天之内，让你获得低成本训练出的大模型。

3、适用于性能不高的电脑本地运行及训练迭代。

模型基础认知

1.模型大小

诸如目前大家都会讲解的，多少M 多少B 等等，这代表了模型涵盖的参数数量。

2.模型速度

一般通过token/s测量，这代表了每秒输出的字符数，也是api常见的计费形式。

3.模型消耗

一般分为三个部分即算力消耗、能源消耗、硬件成本。一般情况下模型训练需要耗费大量的算力及电力。这是由GPU集群计算机决定的。

二、安装MiniMind

安装前的准备：

1、GPU:一台入门级独显计算机RTX 3060 左右的显卡。
2、RAM：16-64GB
3、硬盘：500GB及以上
4、python 3.9环境
5、pycharm 编辑器
6、git 版本管理工具
备注：配置低的也可以就是满，且效果没有配置高的电脑好。

安装说明：

通过git进行clone进行下载，使用python的pip进行安装所需依赖。

步骤一、克隆到本地

输入指令：

git clone https://github.com/jingyaogong/minimind.git

等待下载完毕…

步骤二、使用PyCharm打开项目工程如下图：

进入到加载打开项目的目录，如下图：

点击“OK”进入到项目，并等待加载完毕。

选择python 3.9的版本，过低的版本可能会报错，建议选择更高或相同于本篇文章的版本，点击“OK”进入到下一个环节。

步骤三、使用PIP 安装我们所需的依赖

输入命令：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

直到安装和完毕，如下图：

三、训练模型

需要先准备好所需的数据集，而后通过训练集和验证集进行训练，并同构测试集测试模型的性能。

阶段分为：预训练、监督微调、循环迭代

步骤一、准备好我们的训练数据，如下：

这里我们使用自己的数据集，优先创建一个val目录并在val目录下，创建名为training_data.txt 的文件如下图：

编入内容，一行一条：

步骤二、对数据进行预处理，如下优先安装预处理依赖：

pip install transformers datasets

下载依赖完毕后，通过pycharm创建一个新项目如下图：

完成后进入项目，并把val数据集放入项目根目录：

创建我们的预处理脚本，在项目根目录下：

内容如下：

from transformers import BertTokenizer
from datasets import Dataset

# 加载预训练的BERT分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

# 读取文本文件
with open('./val/training_data.txt', 'r', encoding='utf-8') as file:
    lines = [line.strip() for line in file.readlines()]

# 将文本转换为分词后的输入
def fc_func(examples):
    return tokenizer(examples['text'], truncation=True, padding='max_length', max_length=512)

dataset = Dataset.from_dict({'text': lines})
tokenized_dataset = dataset.map(fc_func, batched=True)

# 保存处理后的数据集
tokenized_dataset.save_to_disk('./go_ai_data')

步骤三、开始运行我们的数据预处理脚本：

运行成功后我们将得到如下的文件信息：

这些数据便是我们用来进行预训练的数据集，在根目录下创建训练脚本如下图：

脚本内容：

from transformers import BertTokenizer, BertForMaskedLM, Trainer, TrainingArguments
from datasets import Dataset

# 加载预训练的BERT分词器和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForMaskedLM.from_pretrained('bert-base-chinese')

# 读取文本文件并处理数据
with open('./val/training_data.txt', 'r', encoding='utf-8') as file:
    lines = [line.strip() for line in file.readlines()]

def preprocess_function(examples):
    return tokenizer(examples['text'], truncation=True, padding='max_length', max_length=512)

dataset = Dataset.from_dict({'text': lines})
tokenized_dataset = dataset.map(preprocess_function, batched=True)

# 设置训练参数
training_args = TrainingArguments(
    output_dir='./results',
    overwrite_output_dir=True,
    num_train_epochs=3,
    per_device_train_batch_size=8,
    save_steps=10_000,
    save_total_limit=2,
)

# 创建Trainer实例并开始训练
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_dataset,
)

trainer.train()

修改并设置自己的输出参数及输入的预训练数据，即可通过下方命令进行运行脚本执行训练，等待一段时间后将会获得自己的模型。

训练好的模型文件后缀为 .pth,通过自定义编写python的模型加载和调用脚本即可生成远端api进行外部的调用与本机的web ui的使用，此处不做详细说明，运行模型详细见章节四部分。

四、运行模型

一般情况，模型的运行使用api的形式调用，这里客户端一般为web ui、app、pc等客户端，其中客户端只是用来呈现我们的模型运行效果和对话消息的，主要用于我们的日常生活办公。

步骤一、下载我们所需的运行模型项目

命令输入：

git clone https://huggingface.co/jingyaogong/MiniMind2

完成，如下图：

步骤二、通过pycharm打开项目：

安装所需依赖 命令 pip install streamli：

步骤三、运行我们的web ui对话框

在pycharm的 --> minimind <—项目终端目录下，打卡我们的scripts目录如下图：

cd scripts

并执行运行web ui的命令：

streamlit run web_demo.py

运行后如下，需要输入自己的电子邮箱：

输入完毕后按下“Enter” 即可运行，弹出防火墙信息：

此处点击允许即可，回到终端即可看到web ui 的地址：

大功告成，ui已经正常运行.。

五、性能体验与迭代说明

实际效果

可以看到速度非常快！

迭代说明

形式说明通过模型的迭代，可以让模型的数据量及信息量，不断的增长和扩大所覆盖的参数信息，以此对模型的能力进行更新。

END：闭环，不断收集新的数据，筛选数据，不断迭代模型，使得其更加完善和智慧。

常见问题：

1、PIP提示更新：

解决办法：

命令 python.exe -m pip install --upgrade pip 进行更新即可重试。

2、初次进入到项目提示报错情况

具体报文内容如下：

pcFailed to Create Virtual Environment
Executed command:
C: Users/admin/ApDatalLocalyPrograms/Ppython/python39/python.exe cyProgram files/letrainsPycharm 2024.1/plugins/python,hepershitualenv-20.24.5 pyzEildeveloplaiminimindven
Error occurred:
AttributeError: module 'virtualenv.create.via global ref.buitin.cpython.mac os' has no attribute 'CPython2macOsframework'
Command output:
Traceback(most recent call last)File "c: \Users ladminlAppDatalLocal!Programs Python\Python39\lib\runpy. py", line 197, in _run module_as_mainreturn rum code(code, main globals, oneFile "c: \UsersladminlAppDatalLocal\ProgramslPython\Python39\liblrunpy.py", line 87, in ru codeexec(code, rum globals)File C:\Program FilesWletBrains\Pycharn2024,1lpluginslpvthonlhelperslvirtualenv-20.24.5.pyzl main py ,line 163,in<module>File "C:\Program FilesWJetBrains\PyCharms\virtualenv-20.24.5.pyz\ main .py", line 159, in run00941File"C:\ProgramFilesiletBrainslPvchars\virtualenv-20.24.5.pyz\virtualenvl main .py", line 18, in run“C:\ProgramFileFileslTetBrains\Pvchars\virtualenv-20.24.5.pyz\virtualenv\run\  init..py", line 3l, in cli_runFile"C:\Programinit .py ，line 49, in session via cliEileslTetBrainslPycha1111g119111svirtualenv-20.24.5.pvglvirtualenvirunlFile"C:\Program Files\JetBrains\Pycharmslvirtualenv-20.24.5.pyz\virtualenvlrunl  init__.py", line 82, in build_parser1\p1ug111sFile"C:\ProgramTetBrains\Pvchar1-20.24.5.pyz\virtualenv\run\plugin\creators.py",line 24,ininitFilesw“C:1PrOgIEi1e1-20.24.5.pyz\virtualenv\run\plugin\creators.py", line 31, in for_interpreter“C,5.pyz\virtualenv\run\pluginlbase.py", line 45, in options\Progr2File"C:Prograilhelperslvirtualeny-20.24.5.pyzlvirtualenv(runlpluginlbase.py", line 24, in entry points forFile\Prog120.24.5.pyzlvirtualenv\runlpluginlbase.py", line 24, in<genexpr>~C.File“C:\Isers\import1ih\metadata.py .line 79.in loadreturn functools.rattrs, moduleAttributeRrror: modulevirtualenv.create.via global ref.builtin.cpython.mac os’has no attributeCPython2macOsFramework
OK
Cancel

直接点击OK即可进入到项目目录，可以忽略

3、无法安装运行web ui的必要依赖 streamli 报错如下时：

通过加入镜像源进行再次下载即可：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit

4、打开链接后报错缺少依赖情况：

这个报错由于我们少安装依赖导致，只需要通过pip进行安装提示中的对应依赖 tansformers即可，具体命令如下：

pip install transformers

等待安装完毕即可解决该报错问题。

5、报错模型项目问题如下图：

这是由于我们git clone时没有将模型项目放入 minimind 目录的根目录导致，只需要转移目录即可。

6、预处理数据时报错：

这是由于缺少必要依赖导致，我们只需要下载特定提示的依赖即可。

pip install torch torchvision torchaudio
pip install tensorflow
pip install flax

等待下载完毕即可重新运行。

7、训练到一半突然报错停止的情况

更新检查依赖兼容性或脚本运行的python版本，建议使用最新的版本号。