AI大模型：（二）1.5 Stable Diffusion中文文生图模型部署

目录

1.部署要求  

2.Stable Diffusion模型介绍

3.环境准备

4.模型下载

5.推理

6.生成图片提示词（Prompt）

6.1.基本结构公式

6.2.提示词组成部分详解

6.3.常用风格关键词（中英对照）

6.4.官方案例

7.结果对比

7.1.基础调用生成图片

7.2.更多参数生成图片

7.3.采用DPMSolver

---

   

       本次部署一款Stable Diffusion中文文生图模型，由于数据集多是英文的限制，目前市面上多是英文文生图模型。所以本次我们部署一款中文文生图模型尝尝鲜。该模型是阿里采用的是Stable Diffusion 2.1模型框架，将原始英文领域的OpenCLIP-ViT/H文本编码器替换为中文CLIP文本编码器chinese-clip-vit-huge-patch14，并使用大规模中文图文pair数据进行训练。训练过程中，固定中文CLIP文本编码器，利用原始Stable Diffusion 2.1 权重对UNet网络参数进行初始化、利用64卡A100共训练35W steps训练而成。