llamafactory 部署教程

llamafactory 部署教程

一、基础环境

1.创建Python环境

（1）.创建Python 3.10环境

conda create --name llamafactory python=3.10 --all

（2）.激活llamafactory 环境

conda activate llamafactory

（3）. 验证Python环境

python --version

2.安装torch

对应CUDA 12.4

pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

PyTorch GPU 可用性

python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())"

3.安装注意力机制

Github 下载地址
下载对应版本的.whl文件
使用如下命令安装

pip install flash_attn-xxx.whl

二、部署并启动 llamafactory

1.克隆项目并安装依赖

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

2.启动WebUI 界面

set CUDA_VISIBLE_DEVICES=0llamafactory-cli webui

三、下载模型和数据集

1.从HuggingFace上使用迅雷进行下载

2.使用命令行进行下载数据集

登录huggingface,获取access token, 选择read

hf auth login黏贴tokenset set HF_ENDPOINT= hf download FreedomIntelligence/medical-o1-reasoning-SFT --repo-type dataset --local-dir ./data

四、启动llamafactory

1.启动llamafactory

llamafactory-cli webui