Llama-Factory微调 Qwen2.5-VL-3B 模型

一、环境准备

1、硬件要求

• GPU：LoRA 微调在不同精度下的显存需求如下。

  • 16-bit 精度（bf16 或 fp16）：对于 7B 参数模型，LoRA 微调通常需要约 16GB 显存。Qwen2.5-VL-3B 是 3B 参数模型，显存需求会更低，估计在 8-12GB 显存 左右。

  • 8-bit 量化（QLoRA）：显存需求进一步降低，3B 模型可能需要 4-6GB 显存。

  • 4-bit 量化（QLoRA）：显存需求更少，3B 模型可能仅需 3-4GB 显存。

• 内存：推荐 32GB RAM 或更高，以确保流畅运行。如果数据集较小，16GB RAM 可能也够用。

• 存储：预留 50GB 以上空间（3B 模型未量化的权重文件约为 6-8GB。量化后的模型会更小）。

2、环境搭建

创建虚拟环境

# 安装Anaconda（若未安装），然后创建环境
conda create -n qwen-vl-finetune python=3.10 -y
conda activate qwen-vl-finetune

安装依赖

# 安装PyTorch（需匹配CUDA版本，以cu118为例）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118# 克隆Llama-Factory最新代码（确保支持Qwen2.5-VL）
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory# 安装核心依赖（含多模态支持）
pip install -e ".[metrics]"  # 包含评估指标和多模态处理依赖# 安装模型下载工具（可选，用于从ModelScope/Hugging Face下载模型）
pip install modelscope transformers

二、下载 Qwen2.5-VL-3B 模型

Qwen2.5-VL-3B 需从官方渠道获取，推荐使用 ModelScope 或 Hugging Face