Diffusion 加速系列之三 | LCM

0. 资源链接

• 论文: LCM：https://arxiv.org/abs/2310.04378

• 项目: https://github.com/luosiallen/latent-consistency-model

1. 背景动机

现有的高分辨率的 diffusion 模型推理存在的问题：

• Diffusion 模型推理过程包含多步去噪的流程，这会带来极大的推理延迟。

• 直接减少采样算法的步数，虽然会降低推理延迟，但是会极大地影响生成效果。

目前的一致性模型 CM, 可以降低低分辨率的生成model 的采样步数，同时能保持生成质量。 所以 LCM 基于类似的一致性想法通过隐编码实现高分辨率的 diffusion model 的一致性模型。

2. 内容提要

• 本文提出一个 Latent Consistency Model 方便快速、高分辨率的图片生成。

• 本文提出一个简单高效的一阶段引导一致性蒸馏方法，该方法可以在2-4步，甚至1步采样蒸馏 SD. 并提出了 Skipping-Step 技术进一步加速收敛。

• 本文并引入 Latent Consistency Fine-tuning 方法。

3. 技术细节

3.1 LCM 算法伪代码

3.2 实验分析

• LCM model 在少步测试中取得不错的效果。

4. 一些思考

• 基于 CM model 扩展，在 laten code 实现一致性约束，完成高分辨率的一致性模型。