当前位置：首页 > news >正文

llama-factory部署微调方法(wsl-Ubuntu Windows)

news 来源：原创 2025/6/12 19:10:17

llama-factory项目GitHub地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

wsl-Ubuntu：

1.获取项目

git clone https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory/

2.安装环境

# 创建一个环境
conda create -n llama-f python==3.10
# 激活环境 conda activate不行的话就用source activate
conda activate llama-f

安装包：

pip install -e ".[torch,metrics]"

可用的额外依赖项：torch、torch-npu、metrics、deepspeed、liger-kernel、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、apollo、badam、adam-mini、qwen、minicpm_v、modelscope、openmind、swanlab、quality

官方推荐的各个版本：

解决包冲突

冲突：

解决：

pip install --no-deps -e .

验证：

llamafactory-cli version

出现版本号就是成功了

(选用)额外报错：缺少Rust和Cargo

报错：

Installing build dependencies ... done
  Getting requirements to build wheel ... done
  Preparing metadata (pyproject.toml) ... error
  error: subprocess-exited-with-error

  × Preparing metadata (pyproject.toml) did not run successfully.
  │ exit code: 1
  ╰─> [6 lines of output]

      Cargo, the Rust package manager, is not installed or is not on PATH.
      This package requires Rust and Cargo to compile extensions. Install it through
      the system's package manager or via https://rustup.rs/

      Checking for Rust toolchain....
      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.

解决：

Rust官方提供了一个非常方便的安装脚本，可以通过以下命令安装Rust和Cargo：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

运行后，脚本会提示你选择安装选项。默认情况下，直接按回车键选择默认安装即可

配置环境变量

source $HOME/.cargo/env

如果想永久生效，可以将以下内容添加到你的Shell配置文件

nano ~/.bashrc 然后到最后一行添加：

export PATH="$HOME/.cargo/bin:$PATH"

用命令使配置生效

source ~/.bashrc

验证：

rustc --version
cargo --version

3. 启动

环境配置完后就可以通过命令启动webui界面，并通过网页访问

llamafactory-cli webui

参数参考

(可以加参数启动：CUDA_VISIBLE_DEVICES指定显卡，GRADIO_SHARE启动一个共享链接，这样可以让其他人通过互联网访问你的Gradio界面，GRADIO_SERVER_PORT指定端口号)

CUDA_VISIBLE_DEVICES=7 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7878 llamafactory-cli webui

然后在网页输入：

http://localhost:7860/

就进去了，可以进行微调操作

Windows：

前面的clone和环境以及 pip install -e ".[torch,metrics]"这些都是一样的

Windows缺少Rust和Cargo：

打开 PowerShell 或 命令提示符（以管理员身份运行）。
运行以下命令下载并安装 rustup：
```
winget install --id Rustlang.Rustup
```
如果 winget 不可用（例如在较旧的 Windows 版本中），可以使用以下命令：
```
curl -sSf https://sh.rustup.rs | sh
```
如果提示没有 curl，可以先安装 curl：
```
winget install curl.curl
```
安装过程中，会提示你选择安装选项。直接按回车键选择默认安装即可