Class41样式迁移

Class41样式迁移

样式迁移
样式迁移用于将一张图像的“艺术风格”迁移到另一张图像上，同时保留后者的主要内容。

基本流程

1.特征提取

使用 预训练的卷积神经网络（通常是 VGG-19） 提取图像的特征。

网络的低层卷积层提取纹理和边缘等低层特征（与样式密切相关），高层卷积层提取物体轮廓和语义信息（与内容相关）。

2.内容表示

选择较深的卷积层（如 VGG-19 的 conv4_2）作为内容特征。

通过比较生成图像与内容图像的这一层特征差异，保持生成图像的主要结构。

3.样式表示

选择多层卷积层（如 conv1_1, conv2_1, conv3_1, conv4_1, conv5_1）提取样式特征。

使用 Gram 矩阵（Gram Matrix） 表示样式，它反映了各特征图之间的相关性（即颜色和纹理分布）。

通过最小化生成图像与样式图像在这些 Gram 矩阵上的差异，实现样式迁移。

4.损失函数

总损失 = 内容损失 + 样式损失（有时还加上平滑损失）

内容损失：生成图像与内容图像的高层特征差异

样式损失：生成图像与样式图像的 Gram 矩阵差异

全变分损失（Total Variation Loss，可选）：减少噪声，平滑图像

5.优化

优化的参数不是网络权重，而是生成图像本身的像素值。

通常用梯度下降（如 L-BFGS 或 Adam） 来更新生成图像，使其最小化总损失。