SD（Stable Diffusion）模型学习图谱

SD（Stable Diffusion）模型学习路径思维导图框架

一、新手阶段（基础认知）

核心概念理解

• 大模型（ckpt/safetensors）：
  • 决定生成风格的基础架构
  • 存放于models/Stable-diffusion路径
• VAE模型：
  • 优化图像色彩与细节的“滤镜”
  • 存放于models/VAE路径
• Clip跳过层：
  • 控制文本与图像关联强度的参数

环境搭建与工具使用

• 安装整合包（推荐WebUI版本）并配置Python环境
• 熟悉SD界面布局：
  • 提示词输入区
  • 参数设置区
  • 出图预览区

初阶操作

• 使用预设模型生成基础图像（如默认二次元/真人风格模型）
• 调整Steps（步数）和CFG Scale（提示词权重）观察效果变化

二、入门阶段（核心技能）

模型类型与应用场景

• 大模型：
  • 选择适配风格（如Anything V5二次元、ChilloutMix真人）
• 微调模型：
  • Lora（角色/风格定制）
  • Embedding（关键词反演）
• 扩展模型：
  • ControlNet（姿势/构图控制）
  • Hypernetwork（风格强化）

工作流设计

• 构建基础文生图流程：
  • 正向提示词 + 负向提示词 + 参数组合
• 使用ComfyUI实现模块化节点操作：
  • 加载模型 → 文本编码 → 采样 → 输出

三、进阶阶段（技术深化）

模型训练与优化

• 数据准备：
  • 清洗高质量数据集（如真人照片/二次元插画）并标准化格式
• 微调训练：
  • 通过Dreambooth/LoRA实现定制化模型训练
• 参数调优：
  • 学习率调整
  • Batch Size设置
  • 过拟合预防策略

高阶参数组合策略

• 采样器对比：
  • DPM++ 2M Karras（平衡速度与质量） vs Euler a（快速出图）
• 分辨率适配：
  • 根据显存容量选择512x768或768x1024等比例

四、高手阶段（创新应用）

跨模态技术融合

• 结合ControlNet实现“图生图”精准控制（如线稿上色、姿势重构）
• 多模型协同：
  • 大模型 + Lora + VAE联合调参生成复杂场景

源码级研究与优化

• 修改SD底层代码适配特定硬件（如TPU/多卡并行）
• 开发自定义插件（如自动提示词生成器、批量出图工具）

技术伦理与边界

• 生成内容合规性检测（如NSFW过滤机制）
• 版权风险规避：
  • 训练数据合法性验证

五、学习资源推荐

官方文档

• Hugging Face Transformers库
• Stable Diffusion GitHub仓库

社区教程

• CSDN/知乎专栏（如大模型微调实战指南）
• B站实操视频

实战项目

• Kaggle图像生成比赛
• 开源模型复现挑战

思维导图工具推荐

• 使用亿图脑图MindMaster整理学习路径
• 梳理模型类型、参数关系与工作流逻辑