LLaMA Factory 深度调参
注意，本文涵盖从基础调参到前沿研究的完整知识体系，建议结合具体业务场景灵活应用。一篇“参考文献”而非“可运行的代码”。https://github.com/zysNLP/quickllm
初始指令：
llamafactory-cli train \--stage sft \--do_train True \--model_name_or_path /data/quickllm/qwen3_models \--preprocessing_num_workers 16 \--finetuning_type lora \--template qwen3 \--flash_attn auto \--use_unsloth True \--dataset_dir data \--dataset alpaca_zh_demo \--cutoff_len 2048 \--learning_rate 5e-05 \--num_train_epochs 30.0 \--max_samples 100000 \--per_device_train_batch_size 2 \--gradient_accumulation_steps 8 \--lr_scheduler_type cosine \--max_grad_norm 1.0 \--logging_steps 5 \--save_steps 100 \--warmup_steps 0 \--packing False \--report_to none \--output_dir saves/Qwen3-14B-Instruct/lora/train_2025-05-10-05-45-52 \--bf16 True \--plot_loss True \--trust_remote_code True \--ddp_timeout 180000000 \--include_num_input_tokens_seen True \--optim adamw_torch \--lora_rank 8 \--lora_alpha 16 \--lora_dropout 0 \--loraplus_lr_ratio 16 \--lora_target all \--val_size 0.1 \--eval_strategy steps \--eval_steps 100 \--per_device_eval_batch_size 2一、核心参数体系化解析
1. 微调范式选择矩阵
| 微调类型 | 参数占比 | 显存需求 | 适用场景 | 技术原理 | 典型案例 |
|---|---|---|---|---|---|
| Full Fine-Tune | 100% | 极高 | 小模型全参数优化 | 反向传播更新所有权重 | 7B以下模型在垂直领域精调 |
| LoRA | 0.1%-1% | 低 | 大模型高效适配 | 低秩矩阵近似权重变化 ΔW=BA | 14B+模型指令微调 |
| QLoRA | 0.01%-0.1% | 极低 | 消费级显卡训练 | 4-bit量化+LoRA | RTX 3090训练13B模型 |
| Adapter | 0.5%-2% | 中 | 多任务学习 | 插入任务特定适配层 | 跨语言迁移学习 |
| Prefix Tuning | 0.1%-0.5% | 低 | 生成式任务优化 | 学习可训练前缀向量 | 对话生成任务 |
选择策略：
-
当显存 > 2*模型参数量时优先Full Fine-Tune
-
多任务场景使用Adapter
-
单任务适配首选LoRA
-
消费级硬件使用QLoRA
二、参数优化三维度分析
1. 学习率动态规划
复合调度策略：
# 三段式学习率（示例）
lr_scheduler = TriStageSchedule(warmup_steps=500, # 线性升温hold_steps=3000, # 稳定期decay_steps=2000, # 余弦退火base_lr=5e-5,max_lr=1e-4,final_lr=1e-6
)
实验数据对比：
| 策略 | 最终Loss | 收敛步数 | 显存波动 |
|---|---|---|---|
| 恒定学习率 | 1.23 | 15k | ±2% |
| 余弦退火 | 1.15 | 12k | ±5% |
| 三段式 | 1.08 | 10k | ±8% |
2. Batch Size动态调整
理论依据：
数量
动态缩放算法：
def dynamic_batch_scheduler(current_step):if current_step < 1000:return 2, 8 # (batch_size, accum_steps)elif current_step < 5000:return 4, 4else:return 8, 2
3. 混合精度训练
精度配置矩阵：
| 模式 | 计算精度 | 梯度精度 | 参数精度 | 适用场景 |
|---|---|---|---|---|
| FP32 | 32-bit | 32-bit | 32-bit | 调试阶段 |
| AMP | 16/32 | 32 | 32 | 通用训练 |
| BF16 | b16 | b16 | 32 | A100/H100 |
| QLoRA | 4-bit | 32 | 4/8 | 低显存环境 |
精度损失补偿：
--bf16 True \
--quantization_bit 4 \ # 4-bit量化
--quant_type nf4 \ # NormalFloat4量化
--double_quantization \ # 二次量化压缩
--quantization_cache_dir ./quant_cache
三、高阶优化技术
1. 注意力机制优化
Flash Attention v2 配置：
config.use_flash_attention_2 = True
config.attention_dropout = 0.1
config.hidden_dropout = 0.0
config.attention_softmax_in_fp32 = True # 稳定训练
不同Attention实现对比：
| 实现方式 | 吞吐量 (tokens/sec) | 显存占用 | 序列长度支持 |
|---|---|---|---|
| 原始Attention | 1200 | 100% | ≤2048 |
| Flash v1 | 2800 | 75% | ≤4096 |
| Flash v2 | 3500 | 65% | ≤8192 |
| xFormers | 3200 | 70% | ≤4096 |
2. 显存优化组合技
三级显存压缩策略：
- 激活压缩：
--gradient_checkpointing \ # 重计算激活值 --activation_checkpointing \ # 分层检查点 - 参数压缩：
--use_gradient_checkpointing \ --offload_param "cpu" \ # 参数卸载到CPU - 状态压缩：
--optimizer_state_offload \ # 优化器状态卸载 --use_8bit_optimizer \ # 8-bit Adam
3. 分布式训练策略
多GPU配置方案：
# 方案1：数据并行
deepspeed --num_gpus 4 train.py \--deepspeed ds_config.json# 方案2：模型并行
--tensor_parallel_size 2 \ # 张量并行
--pipeline_parallel_size 2 \ # 流水线并行# 方案3：3D并行
--3d_parallel \ # 数据+模型+流水线
--parallel_mode "hybrid"
DeepSpeed配置示例：
// ds_config.json
{"train_batch_size": 32,"gradient_accumulation_steps": 4,"optimizer": {"type": "AdamW","params": {"lr": 5e-5,"betas": [0.9, 0.999],"weight_decay": 0.01}},"fp16": {"enabled": true,"loss_scale_window": 100},"zero_optimization": {"stage": 3,"offload_optimizer": {"device": "cpu"}}
}
四、调试与监控体系
1. 训练状态三维监控
关键指标看板：
class TrainingDashboard:metrics = {'loss': {'current': 1.23, 'delta': -0.05},'grad_norm': {'value': 0.87, 'alert': False},'lr': {'value': 3.2e-5, 'history': [...]},'mem_usage': {'gpu': '18/24GB', 'cpu': '32/64GB'},'throughput': {'tokens/sec': 2450, 'samples/sec': 12.5}}def detect_anomalies(self):if abs(grad_norm) > 1.5: trigger_gradient_clip()if loss_spike_detected(): rollback_checkpoint()
2. 梯度病理分析
常见问题诊断表：
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
| 梯度爆炸 | LR过高/缺失梯度裁剪 | 启用--max_grad_norm 1.0 |
| 梯度消失 | 深度网络/不当初始化 | 检查参数初始化方式 |
| 梯度震荡 | Batch Size过小 | 增大gradient_accumulation_steps |
| 梯度截断 | 异常样本 | 启用--gradient_skip_threshold 5.0 |
3. 损失曲面分析
典型Loss曲线解读：
[健康曲线]
Train Loss: 2.1 → 1.3 → 0.9 (平滑下降)
Eval Loss: 2.0 → 1.2 → 0.95 (同步下降)[过拟合]
Train Loss: 2.1 → 0.5 → 0.2
Eval Loss: 2.0 → 1.0 → 1.5 (开始上升)[欠拟合]
Train/Eval Loss: 2.1 → 2.0 → 1.9 (下降缓慢)
五、行业最佳实践
1. 参数配置黄金法则
14B模型典型配置：
accelerate launch --num_processes 4 \--mixed_precision bf16 \--use_deepspeed \llamafactory-cli train \--per_device_batch_size 4 \--gradient_accumulation 8 \ # 有效Batch Size=128--learning_rate 3e-5 \--lr_scheduler cosine \--warmup_ratio 0.05 \--weight_decay 0.01 \--max_grad_norm 1.0 \--lora_rank 64 \ # 大秩适配--lora_alpha 128 \--lora_dropout 0.1 \--target_modules "q_proj,k_proj,v_proj,o_proj" \--flash_attention_2 \--optim adamw_bnb_8bit \ # 8-bit优化器--logging_steps 10 \--save_strategy "steps" \--eval_strategy "steps" \--fsdp "full_shard auto_wrap" \--deepspeed_stage 3
2. 超参数自动优化
Optuna搜索空间配置：
study = optuna.create_study()
study.optimize(objective, n_trials=100)def objective(trial):return {'lr': trial.suggest_float('lr', 1e-6, 1e-4, log=True),'batch_size': trial.suggest_categorical('bs', [2,4,8,16]),'lora_rank': trial.suggest_int('rank', 8, 128),'warmup_ratio': trial.suggest_float('warmup', 0.01, 0.2)}
3. 灾难恢复策略
自动回滚机制：
class TrainingGuard:def __init__(self):self.checkpoints = []self.metric_window = []def checkpoint(self, state):if len(self.checkpoints) > 5:oldest = self.checkpoints.pop(0)os.remove(oldest)torch.save(state, f"checkpoint_{step}.pt")self.checkpoints.append(f"checkpoint_{step}.pt")def detect_failure(self, metrics):if np.isnan(metrics['loss']):self.rollback()if len(self.metric_window) > 3 and \metrics['loss'] > np.mean(self.metric_window[-3:]):self.trigger_early_stop()
六、前沿技术融合
1. MoE+LoRA混合架构
class MoELoRALayer(nn.Module):def __init__(self, base_layer, num_experts=4):self.base = base_layerself.lora_experts = nn.ModuleList([LoRAAdapter(base_layer, rank=32) for _ in range(num_experts)])self.gate = nn.Linear(base_layer.in_features, num_experts)def forward(self, x):gate_scores = F.softmax(self.gate(x), dim=-1)expert_outputs = [expert(x) for expert in self.lora_experts]return sum(g * o for g, o in zip(gate_scores, expert_outputs))
2. 动态秩分配策略
class DynamicLoRA(nn.Module):def __init__(self, base_layer, max_rank=64):self.A = nn.Parameter(torch.Tensor(max_rank, base_layer.in_features))self.B = nn.Parameter(torch.Tensor(base_layer.out_features, max_rank))self.rank_controller = nn.Linear(base_layer.in_features, 1)def forward(self, x):current_rank = torch.sigmoid(self.rank_controller(x.mean())) * self.max_rankactive_A = self.A[:int(current_rank)]active_B = self.B[:, :int(current_rank)]return x @ active_A.T @ active_B.T