基于 docker 的 LLaMA-Factory 全流程部署指南

一、下载代码

请在控制台下面执行下面的命令

# 克隆仓库到本地的 LLaMA-Factory 目录，使用 --depth 1 参数仅获取最新的一次提交，减少下载量, 命令如下：
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git LLaMA-Factory
# 注：如果您的网络环境不好，可以使用国内镜像仓库，命令如下
# git clone --depth 1 https://gitee.com/hiyouga/LLaMA-Factory.git LLaMA-Factory

二、安装环境

1、安装 docker 和 docker-compose

略（注：安装完成后请执行 docker -v 和 docker-compose -v 验证是否安装成功）

三、制作镜像

请在控制台下面切换到 LLaMA-Factory 目录下执行下面的命令

# 执行下面的命令，根据您的环境选择不同的镜像制作方法
# 使用 cuda（英伟达） 微调训练的镜像制作方法
docker-compose -f "LLaMA-Factory/docker/docker-cuda/docker-compose.yml" up --build
# 使用 npu（昇腾） 微调训练的镜像制作方法
# docker-compose -f "LLaMA-Factory/docker/docker-npu/docker-compose.yml" up --build
# 使用 ROCm（AMD） 微调训练的镜像制作方法
# docker-compose -f "LLaMA-Factory/docker/docker-rocm/docker-compose.yml" up --build

注：制作镜像完成后，您可以在控制台下面执行 docker images 命令查看是否有 docker-*-llamafactory:latest 镜像，如果有则说明制作成功。

四、创建容器

请在控制台下面执行下面的命令

# 执行下面的命令，根据您的环境选择不同的容器创建方法
# 使用 cuda（英伟达） 微调训练的容器创建方法
docker-compose -f "LLaMA-Factory/docker/docker-cuda/docker-compose.yml" up -d
# 使用 npu（昇腾） 微调训练的容器创建方法
# docker-compose -f "LLaMA-Factory/docker/docker-npu/docker-compose.yml" up -d
# 使用 ROCm（AMD） 微调训练的容器创建方法
# docker-compose -f "LLaMA-Factory/docker/docker-rocm/docker-compose.yml" up -d

注：创建容器完成后，您可以在控制台下面执行 docker ps 命令查看是否有 llamafactory 容器，如果有则说明制作成功。

五、启动WEB服务

请在控制台下面执行下面的命令，进入容器 llamafactory 内部：

docker exec -it llamafactory /bin/bash

在容器 llamafactory 内部执行下面的命令：

# 给如下目录赋予权限
chmod -R 777 /app/data
# 启动web服务，命令如下：
nohup llamafactory-cli webui > /app/webui.log 2>&1 &

六、访问WEB服务

请在浏览器中访问 http://localhost:7860/ ，即可访问WEB服务。