论文名称：High-Resolution Image Synthesis with Latent Diffusion Models
论文地址：arxiv.org/pdf/2112.10752v2
项目地址：GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model
潜在扩散模型（LDMs）通过在预训练的自动编码器的潜在空间中应用扩散模型，实现了高分辨率图像合成。这种方法的关键是在像素空间和潜在空间之间找到一个平衡点，既能减少计算复杂性，又能保留足够的细节信息。
核心思想
-
分解图像形成过程：将图像形成过程分解为去噪自编码器的顺序应用，这种分解允许在不重新训练的情况下通过引导机制控制图像生成过程。
-
潜在空间的应用：在强大的预训练自动编码器的潜在空间中应用扩散模型，这允许在降低计算复杂性的同时，保持图像质量。
-
跨注意力层：通过引入跨注意力层，将扩散模型转变为能够处理一般条件输入（如文本或边界框）的强大且灵活的生成器。
1. 模型框架
LDMs的核心框架包括以下几个关键步骤:
-
感知图像压缩: 通过训练一个自动编码器(由编码器E和解码器D组成),将高维的像素空间压缩到低维的潜在空间,同时尽量保留感知上重要的信息。这一步使用了感知损失和对抗性损失来训练自动编码器。
-
潜在扩散模型: 在低维的潜在空间上训练扩散模型,通过逐步去噪的方式生成图像。相比于在像素空间训练,在潜在空间训练扩散模型大大减少了计算复杂度。
-
条件机制: 通过引入跨注意力层,将条件信息(如文本、图像等)编码为潜在表示,并将其融入扩散模型中。这使得LDMs能够进行条件图像生成。
2. 感知图像压缩
感知图像压缩的目标是学习一个从像素空间到潜在空间的映射,同时保留图像的重要信息。具体步骤如下:
(1) 使用编码器E将输入图像x编码为潜在表示z=E(x)。
(2) 使用解码器D将潜在表示z解码为重建图像x'=D(z)。
(3) 训练自动编码器,使其重建误差最小化,同时使用感知损失和对抗性损失来保证重建图像的质量。
(4) 为了控制潜在空间的尺度,引入正则化项,包括KL散度和向量量化。
3. 潜在扩散模型
在潜在空间上训练扩散模型,具体步骤如下:
(1) 定义一个从数据分布逐渐加入噪声的过程,形成噪声数据分布。
(2) 训练一个神经网络来预测每一步的去噪结果,即预测噪声数据的去噪版本。
(3) 通过最小化重构误差来训练去噪模型,使其能够逐步还原出干净的数据分布。
(4) 在生成阶段,从噪声分布中采样并逐步去噪,最终生成目标图像。
4. 条件机制
为了让LDMs能够进行条件图像生成,引入了跨注意力层作为条件机制。具体步骤如下:
(1) 对于文本、图像等条件输入,使用特定的编码器(如BERT)将其编码为潜在表示。
(2) 将条件潜在表示通过跨注意力层融入扩散模型的UNet网络中。
(3) 在训练阶段,最小化条件图像的重构误差,使模型能够根据条件信息生成相应的图像。
(4) 在生成阶段,提供条件信息并进行扩散过程,生成与条件信息一致的图像。
实验结果
- LDMs在图像修复、类条件图像合成以及各种任务（包括文本到图像合成、无条件图像生成和超分辨率）上取得了新的最先进成绩。
- 与基于像素的扩散模型相比，LDMs在显著降低计算需求的同时，保持了竞争力的性能。
社会影响和局限性
- 社会影响：生成模型可能被用于创造和传播操纵数据或虚假信息，需要谨慎使用。
- 局限性：尽管LDMs减少了计算需求，但其顺序采样过程仍然比GANs慢。在需要高精度的应用中，自动编码器的重建能力可能成为瓶颈。