Ubuntu22系统上源码部署LLamaFactory+微调模型 教程【亲测成功】
0.LLamaFactory
LLaMA-Factory 是一个开源的低代码大模型训练与微调框架，旨在简化大规模语言模型（LLM）的微调、评估和部署流程，帮助开发者和研究人员更高效地定制和优化模型。
1.安装部署
1.1克隆仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
克隆成功如下图所示
1.2切换目录
cd LLaMA-Factory
1.3通过conda创建python环境
conda create -n llama-factory python=3.10
1.4激活虚拟环境
conda activate llama-factory
1.5在conda环境中安装LLama-Factory相关依赖
pip install -e ".[torch,metrics]" --no-build-isolation
安装过程如下
2.启动LLama-Factory可视化微调界面（由 Gradio 驱动）
llamafactory-cli webui
3.在浏览器输入服务器ip+端口
启动成功如下图所示
4.从Hugging-Face上面下载基座模型
4.1创建一个文件夹统一存放所有基座模型
mkdir Hugging-Face
4.2修改 HuggingFace 镜像源（加速下载）
export HF_ENDPOINT=https://hf-mirror.com
4.3修改模型默认下载位置
export HF_HOME=/data/Hugging-Face
————————————————————————
NOTES:
4.2和4.3的做法是在临时会话中生效，如果想要永久化生效，如下操作：
（1）打开配置文件
sudo vi ~/.bashrc
（2）写入以下内容
export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/data/Hugging-Face
（3）配置生效
source ~/.bashrc
（4）验证生效即可
echo $HF_HOME
echo $HF_ENDPOINT
如下图所示
——————————————————————————
4.4安装HuggingFace官方下载工具
pip install -U huggingface_hub
——————————————————
NOTES:
1.pip install
Python 包管理工具的标准安装命令。
2.-U参数
--upgrade的简写，表示强制升级到最新版本（若已安装则更新）。
3.huggingface_hub
HuggingFace 官方提供的 Python 库，用于：
•访问 Hub 上的模型/数据集
•管理仓库和文件
•集成 Transformers/Diffusers 等库
———————————————————
执行成功如下
4.5执行下载命令
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
下载哪个模型到HuggingFace官网上面搜索即可
下载成功截图
模型位置
5.在LLamaFactory可视化页面上加载模型，检验是否加载成功
5.1选择模型
——————————————————
NOTES:
这里的模型路径不是整个模型文件夹，而是精确到模型特定快照的唯一哈希值snapshots
路径如下所示
——————————————————
5.2执行测试
5.2.1 分别点击chat->加载模型，出现如下界面即为成功
5.2.2 聊天测试
下图即为成功
