LLaMA-Factory安装部署
一、环境安装准备
CUDA安装
CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。
首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA
- 保证当前 Linux 版本支持CUDA.在命令行中输入 ，应当看到类似的输出：
uname -m && cat /etc/*release
2、检查是否安装了 gcc.在命令行中输入gcc--version，若没有安装，则使用apt-get install gcc进行安装。
3、在以下网址下载所需的 CUDA，这里我安装12.6版本。（我的显卡是Tesla P40）
从下面地址中选择合适的版本：CUDA Toolkit Archive | NVIDIA Developer
如果您之前安装过 CUDA(例如为12.1版本)，需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行，可以直接:
sudo rm-r/usr/local/cuda-12.1/
sudo apt clean && sudo apt autoclean根据上面的选择下载包：
wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
sudo sh cuda_12.6.3_560.35.05_linux.run
选择install后进行安装，出现如下图所示，表明安装成功！
设置如下环境变量：
export CUDA_PATH=/usr/local/cuda-12.6
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64
export PATH=$CUDA_PATH/bin:$PATH执行如下命令：nvcc -V 表明cuda安装成功
执行如下命令：nvidia-smi ，表明驱动是正常的。
Anaconda安装(略)
使用conda 创建虚拟环境
conda create -n llama-factory python=3.10切换到llama-factory环境中
source activate llama-factory二、LLaMA-Factory安装
从源码安装
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation安装校验
完成安装后，可以通过使用 1lamafactory-cli version 来快速校验安装是否成功
如果您能成功看到类似下面的界面，就说明安装成功了
高级选项
QLoRA
如果您想启用量化 LORA(QLORA)，请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。地址如下：https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels/
FlashAttention-2
如果您要在 Windows 平台上启用 FlashAttention-2，请根据您的 CUDA 版本选择适当的 fash-attention 发行版本。地址如下：https://github.com/kingbri1/flash-attention/releases
