BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models 译读笔记

BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models

摘要

图像到图像的转换是计算机视觉和图像处理领域中一个重要且具有挑战性的问题。扩散模型（DM）在高质量图像合成方面展现出巨大的潜力，并在图像到图像转换任务上取得了具有竞争力的性能。然而，现有的大多数扩散模型将图像到图像的转换视为条件生成过程，并且严重受到不同域之间的差异影响。本文提出了一种基于布朗桥扩散模型（Brownian Bridge Diffusion Model, BBDM）的新型图像到图像翻译方法，该方法将翻译过程建模为随机布朗桥过程，通过双向扩散直接学习两个领域之间的映射，而非条件生成过程。据本文所知，这是首次将布朗桥扩散过程应用于图像到图像转换的研究。在多个基准测试上的实验结果表明，所提出的 BBDM 模型在视觉检验和定量指标上均实现了具有竞争力的性能。

1 引言

Image-to-image translation [14_pix2pix] 是指在两个不同图像域之间构建映射的过程。许多计算机视觉和图形学中的问题都可以表述为图像到图像翻译（image-to-image translation）问题，例如风格迁移[3_Patch_based, 9_Image_Style, 13_Style_Transfer, 22_Photo_Style]、语义图像合成[21_Layout_to_image, 24_, 34_, 36_, 37_, 40_]以及草图到照片的合成[2,14,43].