大模型部署基础设施搭建 - LlamaFactory

参考：https://llamafactory.readthedocs.io/

一、系统

windows11

二、安装CUDA

2.1 下载安装（exe）

注意选择自定义安装，全选

2.2 CMD命令验证

nvcc -V

三、安装LlamaFactory

3.1 下载安装

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

3.2 验证

llamafactory-cli version

四、使用LlamaFactory

4.1 启动webui

llamafactory-cli webui

4.2 访问webui

http://localhost:7860/

4.3 以CPU方式启动webui

llamafactory-cli webui --force_cpu

五、常见问题

5.1 PyTorch版本问题

（1）卸载当前的 CPU 版 PyTorch

pip uninstall -y torch torchvision torchaudio

（2）安装与 CUDA 12.4 兼容的 GPU 版 PyTorch

pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

（3）验证安装

python -c "import torch; print(f'PyTorch版本: {torch.__version__}\nCUDA可用: {torch.cuda.is_available()}')"

（4）卸载当前GPU版本PyTorch

pip uninstall -y torch torchvision torchaudio

（5）安装CPU版本PyTorch

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

（6）验证安装

python -c "import torch; print(f'PyTorch版本: {torch.__version__}\nCUDA可用: {torch.cuda.is_available()}')"