济南网站建设山东聚搜网力推网站建设和管理中 经验

目录

一、安装与环境配置

二、​启动 Web 界面

三、数据准备

四、模型训练

五、模型评估

七、模型导出

八、API服务部署

---

        LLaMA-Factory 是一个开源的大语言模型（LLM）微调框架，旨在简化大规模模型的训练、微调和部署流程。它支持多种主流模型（如 LLaMA、Qwen、ChatGLM 等），提供命令行和可视化 WebUI 两种交互方式，并集成了 LoRA、QLoRA 等高效微调技术，显著降低了模型定制化的技术门槛。

一、安装与环境配置

# 克隆仓库
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory# 创建 Conda 环境
conda create -n llamafactory python=3.11
conda activate llamafactory# 安装依赖（含 PyTorch 和评估工具）
pip install -e ".[all]"
# 安装 DeepSpeed（可选）
pip install deepspeed

        若需从 ModelScope 下载模型，可设置环境变量：

export USE_MODELSCOPE_HUB=1（Linux）或 set USE_MODELSCOPE_HUB=1（Windows）

二、​启动 Web 界面

llamafactory-cli webui  # 自动启动可视化操作台，支持参数配置与训练启动

三、数据准备

        支持多种数据格式（JSON、CSV、TXT）转换成训练所需的格式（如Alpaca、ShareGPT等），需按如下格式组织：

[
  {"instruction": "问题1", "input": "输入1", "output": "答案1"},
  {"instruction": "问题2", "output": "答案2"}
]

        将数据转换为训练所需的格式：

python src/llamafactory/data/convert_data.py \--input_path data/raw.json \--output_path data/processed.json \--format alpaca

四、模型训练

llamafactory-cli train \--model_name_or_path meta-llama/Llama-2-7b-hf \--train_file data/train.json \--output_dir ./output \--num_train_epochs 3 \--per_device_train_batch_size 4 \--gradient_accumulation_steps 8 \--learning_rate 2e-4 \--deepspeed config/ds_config.json \--fp16

五、模型评估

llamafactory-cli evaluate \--model_name_or_path ./output \--eval_file data/val.json \--per_device_eval_batch_size 8 \--predict_with_generate

六、模型推理

llamafactory-cli generate \--model_name_or_path ./output \--prompt "请解释量子力学的基本原理。" \--max_new_tokens 256 \--temperature 0.7

七、模型导出

        在 LLaMA-Factory 中，导出训练后的模型可以通过 llamafactory-cli export 命令完成。支持导出为多种格式（如 GGUF 、ONNX 、Hugging Face 格式 ），以下是具体用法和示例：

        导出为 GGUF 格式（支持量化） 

# 导出为 GGUF 格式（不量化）
llamafactory-cli export \--model_name_or_path ./output/llama-3-finetuned \--export_dir ./exported/gguf \--export_format gguf# 导出为 GGUF 格式并量化（如 q4_k_m）
llamafactory-cli export \--model_name_or_path ./output/llama-3-finetuned \--export_dir ./exported/gguf-quantized \--export_format gguf \--quantization q4_k_m

        导出为 ONNX 格式 ：

llamafactory-cli export \--model_name_or_path ./output \--export_dir ./onnx \--export_format onnx

        导出为 Hugging Face 格式（原生格式）

llamafactory-cli export \--model_name_or_path ./output/llama-3-finetuned \--export_dir ./exported/hf-model \--export_format hf

八、API服务部署

# 启动 OpenAI 风格 API
CUDA_VISIBLE_DEVICES=0 llamafactory-cli api examples/inference/llama3_lora_sft.yaml# 使用 VLLM 加速推理（需先合并模型）
llamafactory-cli api --model_name_or_path merged_model --infer_backend vllm

通过 http://localhost:8000/docs 访问 API 文档。