【文献阅读】SteganoGAN：High Capacity Image Steganography with GANs

原文地址： https://arxiv.org/abs/1901.03892

1.简述

SteganoGAN展示了在自然图像中实现4.4 bpp的高容量隐写能力，远超传统方法的~0.4 bpp水平，这一结果证明了深度生成模型在信息隐藏中的巨大潜力。它的开源实现也成为该领域复现和改进的重要参考。

2.摘要

提出了一种使用生成对抗网络在图像中隐藏任意二进制数据的新技术，该技术使能够优化模型生成的图像的感知质量。实现了每像素4.4位的最先进的有效负载，避免了隐写分析工具的检测，并且对多个数据集的图像有效。

3.本文的主要贡献

（1）提出了一种新的方法，利用对抗训练来解决隐写问题，并实现了4.4比特/像素的相对载荷率，这比已有的深度学习方法（在相似的峰值信噪比条件下）高出10倍。
（2）提出了一种新的评价指标RS-BPP，用于衡量深度学习隐写算法的容量，从而能够与传统方法进行直接比较。
（3）通过评估模型规避传统隐写分析工具的能力来验证方法有效性。这些隐写分析工具旨在检测图像是否包含隐写信息。即使在图像中嵌入超过4比特/像素的信息，大多数传统隐写分析工具的检测auROC仍低于0.6。
（4）进一步评估了方法规避基于深度学习的隐写分析工具的能力。具体来说，在本方法生成的样本上训练了一个由Ye等人（2017）提出的最先进自动隐写分析模型。如果要求模型生成的隐写图像使检测率至多为0.8 auROC，那么模型仍然可以在图像中隐藏最高2比特/像素的信息。
（5）发布了一个完全维护的开源库STEGANOGAN，其中包含数据集和预训练模型，可作为评估深度学习隐写技术的基准。

4.体系结构

编码器： 使用载体图像和数据tensor 或 message，产生隐写图像
解码器： 从隐写图像中恢复数据
评估器： 评估载体图像和隐写图像的质量

符号注释：
C：载体图像
S：隐写图像
以上两者都是RGB格式，有相同分辨率W×H

M：要写入的二进制消息，M∈{0,1}D×W×H
D是相对有效载荷的上限，实际相对有效载荷是公式(1−2p)D
p是错误率，p∈[0,1]

4.1编码器

编码器网络接收一张载体图像C和一条要写入的二进制消息M，该消息是一个维度为D×W×H的二进制数据张量，其中D表示试图在载体图像的每个像素中隐藏的比特数。
探索了具有不同连接模式的编码器架构的三种变体，分别是Basic，Residual，Dense，他们最开始都是同样两个步骤：
①对载体图像C进行卷积得到张量a，这里维度从3维转换到32维。

②把M连接到a上，再进行卷积，得到张量bCat是连接操作。

Basic：
对b进行两次卷积，生成隐写图像。

Residual：
通过在Basic编码器的输出中加入载体图像C来对其进行修改，以便编码器能够学习生成图像。

Dense：
在卷积块之间引入了额外的连接，以便将早期块生成的特征图连接到后⾯的块生成的特征图。已被证明可以鼓励特征重用并缓解梯度消失问题。

图1 SteganoGAN模型

4.2解码器

解码器⽹络获取编码器产生的隐写图像S。

4.3评估器

对编码器的性能提供反馈并生成更真实的图像。三个卷积块后接一个输出为1的卷积层，最后生成一个得分，来评估生成图像为隐写图像的概率，采用自适应均值池化。

4.4训练

为了优化编码器-解码网络，联合优化了三个损耗：
（1）解码正确率：用交叉熵损失来衡量

（2）隐写图像和载体图像的相似性：用均方误差来衡量

（3）隐写图像的真实性：用评估器来衡量

训练目标是最小化以上三个损失

为了训练评估器，需要最小化Wasserstein loss，隐写图像和载体图像数据分布之间的差异

在每次迭代中，对每个载体图像C，都用一个数据张量M匹配，M是由从伯努利分布中采样得到的D×W×H bit随机序列组成，随着训练进行，生成的隐写图像越来越趋近于真实图像。
预处理中采用标准数据增强处理，包括水平翻转、随机裁剪。
使用Adam优化器，学习率0.0001，梯度标准为0.25，裁剪评估器权重在[-0.1,0.1]，训练32epoch。

5.评估指标

隐写算法沿三个轴进⾏评估：图像中可以隐藏的数据量（又称容量）、覆盖图像和隐写图像之间的相似性（又称失真）以及避免隐写分析⼯具检测的能力（又称保密）。

5.1 Reed Solomon Bits Per Pixel

Reed-Solomon 每像素比特数（RS-BPP）
衡量每个像素能够传递的有效比特数并非易事，因为隐藏比特能否被正确恢复在很大程度上依赖于模型、载体图像以及消息本身。
Reed-Solomon纠错码是一类线性分组码，具有如下性质：给定一条长度为k的消息，该码可以生成长度为n的编码，其中n ≥ k，并且能够从(n−k)/2个错误中恢复。
由此可知，对于一个平均错误概率为p的隐写算法，希望错误比特数满足：
$p\ast n\le \frac{n-k}{2}N$
其中，比例k/n表示每个“消息比特”中可以实际传递的“真实比特”比例。由上式可得，该比例至多为1−2p。因此，可以通过把每像素尝试隐藏的比特数乘以该比例，得到实际能够传输和恢复的“真实”比特数。
称这一指标为Reed-Solomon bits-per-pixel(RS-BPP)。该指标可以直接与传统隐写方法比较，因为它表示：在图像中，平均每个像素能可靠传输的比特数。

5.2 Peak Signal to Noise Ratio

峰值信噪比（PSNR）
除了测量相对载荷，还需要衡量隐写图像的质量。峰值信噪比(PSNR)是一种广泛使用的图像质量指标，它旨在衡量图像失真。
给定两幅图像XX和YY，大小为(W,H)(W,H)，以及缩放因子scsc，表示每个像素数值表示上的最大可能差异，PSNR定义为均方误差(MSE)的函数：


尽管PSNR被广泛用于评估隐写算法所造成的失真，Almohammad&Ghinea(2010)指出，它可能并不适合不同类型隐写算法之间的比较。因此，引入另一种指标来辅助评估图像质量：结构相似性指数(SSIM)。

5.3 Structural Similarity Index

结构相似性指数（SSIM）
在实验中，还报告了封面图像与隐写图像之间的结构相似性指数(SSIM)。SSIM在广播行业中被广泛用于图像和视频质量评估。
给定两幅图像XX和YY，SSIM可通过它们的均值，方差，以及协方差计算如下：

其中默认配置为k1=0.01，k2=0.03，SSIM的取值范围为[-1.0,1.0]，当值为1.0时表示两幅图像完全一致。

6.结果与分析

图2 结果与分析

7.检测隐写图像

7.1统计隐写分析

使用一个流行的开源隐写分析工具StegExpose，该工具结合了多种现有隐写分析方法，包括样本对分析、RS分析、卡方攻击和主集分析。
为了评估方法在规避这些技术检测方面的有效性，从测试集中随机选择1000张封面图像，利用稠密网络结构（Dense architecture）并设定数据深度为6生成相应的隐写图像，然后使用StegExpose进行分析。

图3 统计隐写分析

如图3所示，稠密模型的ROC曲线表明：即便在高达4.4 bpp的嵌入率下，StegExpose的检测效果也仅略优于随机猜测，其ROC曲线下面积（auROC）仅为0.59。这表明的模型能够成功规避标准隐写分析工具的检测，满足了作为一个可行隐写算法的最低要求。

7.2神经隐写分析

近年来的研究表明，基于深度学习的方法在检测隐写图像方面取得了有前景的成果（Ye et al.,2017）。因此，进一步研究本方法能否规避基于深度学习的隐写分析工具。采用Ye等人（2017）提出的隐写分析模型，并对其做了轻微修改以支持彩色图像，然后在STEGANOGAN生成的隐写图像上训练该模型。
在典型场景下，试图检测隐写图像的一方通常可以获得生成算法，但无法直接获得其具体模型参数。在实验中，这意味着攻击者可以使用相同的STEGANOGAN算法及其训练流程，但未知实际的预训练权重。
使用稠密结构（Dense architecture）和COCO数据集，设计如下实验流程以模拟这一场景：
（1）训练N个Dense-STEGANOGAN实例，随机初始化不同的种子。
（2）对于每个训练好的模型，生成一组1000张隐写图像。
（3）将第N个模型生成的图像作为测试集；检测方（隐写分析模型）用前N−1个模型生成的图像来训练，用第N个模型生成的图像来测试。用其余模型生成的图像子集{1}，{1,2}，{1,2,3}，…，{1,2,…,N-1}训练隐写分析模型。
（4）每组实验重复3次，并在图6中报告平均ROC曲线下面积（auROC）。

图4 神经隐写分析

横轴 (x-axis)： 不同数量的 STEGANOGAN 模型实例（1 ~> 7），即检测方在训练时使用的模型数量。横轴从1到7，表示检测方在训练隐写分析模型时，使用了多少个不同的STEGANOGAN实例（Dense架构、不同随机种子训练得到的）。
纵轴 (y-axis)： 检测性能，用 ROC 曲线下面积（auROC） 表示。数值越接近 1，说明检测器越容易区分隐写图像和真实图像；越接近> 0.5，说明检测几乎等同于随机猜测。
不同曲线 (D)： 表示隐写时的 消息深度 (data depth, D)，对应不同的 RS-BPP（每像素可传输比特数）。

8. 局限性

鲁棒性不足： 在实际应用中，图像常会经历 JPEG 压缩、缩放、裁剪等操作，而 SteganoGAN 在这些情况下容易丢失嵌入的信息。
抗检测性有限： 虽然能够规避传统隐写分析工具，但面对新一代基于深度学习的检测器，其隐蔽性下降明显。
训练复杂性： GAN 训练本身存在不稳定性，对超参数和网络结构较敏感，复现需要较高的计算资源和经验。

注释

1.auROC

auROC（Area under the ROC curve）是分类模型常用的性能指标，表示ROC曲线下的面积。ROC曲线横轴是假阳性率（FPR），纵轴是真阳性率（TPR）。auROC的取值范围是0~1，其中0.5表示随机猜测，1.0表示完美分类。在隐写检测任务中，低auROC（接近0.5）意味着隐写图像难以与正常图像区分，说明隐写方法隐蔽性强。

2.GAN

GAN（Generative Adversarial Network，生成对抗网络）由生成器和判别器组成。生成器负责“造假”，生成尽可能逼真的数据；判别器负责“识别”，判断输入是真实数据还是生成数据。两者在对抗训练中不断提升，最终生成器学会以假乱真。GAN广泛应用于图像生成、风格迁移、隐写等领域。在隐写中，GAN使得隐写图像更自然，更难被检测。

3.Wasserstein Loss

Wasserstein Loss源于Wasserstein GAN(WGAN)，它用Wasserstein距离替代传统GAN的JS散度来衡量真实分布和生成分布的差异。直观上，Wasserstein距离可理解为把一堆“概率土”搬运成另一堆的最小成本。相比传统GAN，Wasserstein Loss提供更稳定的梯度和更可靠的收敛信号。在SteganoGAN中，它用于训练critic网络，使隐写图像分布更接近自然图像，提升隐蔽性与质量。