这篇论文的核心突破在于将扩散模型的生成过程从高频且计算昂贵的高维像素空间，迁移到了降维后的隐空间（Latent Space）中。它将主要去噪计算放到压缩后的二维 latent 表征上，缓解了像素空间扩散模型在高分辨率图像上训练和采样成本高的问题。
论文的核心贡献
- 提出两阶段隐空间扩散范式（Latent Diffusion Models, LDM）：
- 论文具体做法： 作者先预训练一个强大的自编码器（Autoencoder），将高分辨率图像降采样到一个低维但保留空间结构的二维隐空间中。随后，扩散模型只在这个低维空间内进行加噪和去噪的训练。
- 为什么重要： 这种做法将计算复杂度与高分辨率图像的尺寸解耦，论文报告称，这种做法显著降低了高分辨率生成的训练与采样成本，使百万像素级生成更可行。
- 相对旧方法解决的问题： 以往的像素级扩散模型（如 DDPM）为了拟合人类肉眼几乎看不见的高频细节，浪费了过多的计算资源，动辄需要数百个 GPU days 的训练。LDM 极大地降低了算力门槛，也为后续隐空间文本到图像系统提供了重要技术基础。
- 引入交叉注意力（Cross-Attention）多模态条件机制：
- 论文具体做法： 在扩散模型的去噪 U-Net 主干中，引入了交叉注意力层。通过一个特定领域的编码器（如处理文本的 Transformer），将文本、布局图等条件映射为特征序列，U-Net 的中间层特征作为 Query 去检索这些条件特征（Key/Value）。
- 为什么重要： 这为扩散模型提供了统一接入文本、语义图、图像等条件信息的机制，使其更适合多种条件生成任务。
- 相对旧方法解决的问题： 以往的条件生成常依赖类别标签（Class-labels）或简单拼接。交叉注意力机制让 U-Net 中间特征可以与条件表征交互，从而支持更细粒度的条件控制。
- 实现高分辨率多任务的单一网络通用框架：
- 论文具体做法： 由于感知压缩（自编码器）是通用的，预训练后只需训练一次即可冻结复用。随后可以在同一个隐空间上训练多个不同的轻量级扩散模型，涵盖无条件生成、文本到图像、超分辨率（Super-Resolution）和图像修复（Inpainting）等各种任务。
- 为什么重要： 提供了一种高效探索各种图像生成任务的标准范式，不需要因为任务的改变去修改繁重的底层压缩架构。
- 相对旧方法解决的问题： 过去的生成模型往往需要针对每一个特定任务从头设计和训练庞大的像素级网络结构，LDM 大幅提升了架构和预训练权重的复用性。
复杂 Pipeline 深度解析
Figure 3 展示 LDM 的核心结构：像素图像只在入口/出口经过自编码器，主要扩散计算发生在绿色 latent space，条件信号通过 cross-attention 注入 U-Net。
逐帧图解
文字版补充
- 上面的逐帧图解只对论文原图做淡化、高亮、箭头和编号标注；被高亮区域仍是原论文图像内容。
- 每一帧只解释当前深色区域，浅色区域作为上下文保留，避免在一张复杂图里来回跳读。
- 若原图是概念图、算法伪代码或采样示意，而不是完整工程架构图，本文按辅助视觉证据解读，不把它包装成传统 pipeline。
- 图中没有直接显示的指标、速度倍数、SOTA 结论或数据集细节，仍以论文正文报告为准，不从图解中过度外推。