Stable Diffusion lora训练（一）
一、不同维度的LoRA训练步数建议
-
2D风格训练
- 数据规模：建议20-50张高质量图片（分辨率≥1024×1024），覆盖多角度、多表情的平面风格。
- 步数范围：总步数控制在1000-2000步，公式为
总步数 = Repeat × Image × Epoch / Batch_size。 - 示例：Image=30张，Repeat=10，Epoch=5，Batch_size=2 → 750步（偏低，需增加Epoch至10）。
-
2.5D风格训练
- 数据规模：30-60张图片，需兼具平面与立体细节（如半厚涂、轻3D渲染）。
- 步数范围：推荐1500-3000步，通过提高Epoch（8-12轮）增强细节捕捉能力。
-
3D风格训练
- 数据规模：50-100张高精度建模图，需包含光影、材质、多视角特征。
- 步数范围：建议15000步左右，搭配Dadaptation优化器动态调整学习率。
二、不同底模的步数适配策略
| 底模类型 | 适用场景 | 步数调整要点 | 推荐总步数范围 |
|---|---|---|---|
| Pony | 二次元、轻量化风格 | 降低Epoch（5-8轮），防止过拟合 | 800-1500步 |
| F1 | 厚涂、ACG风格 | 提高Repeat至12-15次以强化质感 | 1200-2500步 |
| SD1.5 | 通用型、人像与场景兼容 | 标准参数（Repeat=10，Epoch=10） | 1000-2000步 |
| Illustrious | 高精度3D与写实风格 | 增大Batch_size（4-6）以加速深度训练 | 2000-3000步 |
三、LoRA训练小技巧
数据预处理优化
- 使用智能裁剪工具（如ComfyUI）聚焦主体，避免“截肢”或背景干扰。
- 结合BLIP或WD 1.4 Tagger生成标签后，手动补充细节描述（如材质、光源）。
参数调优技巧
- 学习率平衡：Unet学习率设为0.0001-0.001，Text Encoder学习率降低至其1/5-1/10。
- 正则化图像：添加5-10张非目标风格图片（如素描），提升模型泛化性。
硬件适配策略
- 显存≤6G时，Batch_size=1，通过提高Repeat或Epoch补偿训练强度。
- 显存≥12G时，Batch_size=4-6，结合梯度累积加速收敛。
模型性能评估
- Loss率监控：保持Loss在0.3-0.5区间，过低（<0.1）可能过拟合。
- 多轮次保存：每轮训练保存模型，测试时选择泛化性与细节平衡的版本。
四、典型训练方案示例
| 场景 | 底模 | Image数量 | Repeat | Epoch | Batch_size | 总步数 |
|---|---|---|---|---|---|---|
| 轻量2D角色训练 | Pony | 25张 | 10 | 6 | 2 | 750步 |
| 深度3D材质训练 | F1 | 50张 | 15 | 10 | 4 | 1875步 |
| 通用写实场景训练 | SD1.5 | 40张 | 12 | 8 | 3 | 1280步 |
总结
- 训练步数需根据公式动态调整，优先保证数据质量与标签精准度。
- 2D/2.5D场景推荐1000-3000步，3D场景建议提升至1500步以上。
- 底模选择上，SD1.5和Illustrious适合通用需求，Pony/F1需针对性优化参数。
- 结合正则化图像与学习率平衡策略，可显著提升模型泛化性。