mac m4电脑运行 LLaMA Factory 微调

背景

之前使用的是 window直接运行的 docker镜像，直接运行，后来在mac m4电脑上运行的时候，发现docker 镜像一个是不兼容，另外一个是m4 苹果芯片不能简单实用gpu进行训练。

因此考虑本地启动项目进行训练

环境 mac m4 air
conda + python 10 + pycharm

1. 下载项目

git clone  https://github.com/hiyouga/LLaMA-Factory.git

2. 创建python虚拟环境

conda create -n llama-factory python=3.10

3. 激活环境

conda activate llama-factory            

4. 安装依赖

 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

5. 导入包

python -c "import torch; print(torch.backends.mps.is_available())" 

继续安装依赖

 pip install -e ".[torch,metrics]" 

 pip install "httpx[socks]" --upgrade

6. 启动

llamafactory-cli webui

访问地址

http://localhost:7860/

ok，启动完成 enjoy it。

windows docker微调大模型并部署服务提供外部调用