Scalable Diffusion Models with Transformers
论文的核心贡献
- 提出基于 Transformer 的扩散模型主干网络 Diffusion Transformer (DiT)： 作者在 latent diffusion 框架中用 Transformer 替换 U-Net 去噪主干。具体做法是先把 VAE 潜变量切成 patch token，再用一系列 DiT block 处理 token 序列，最后还原为噪声和协方差预测。它的重要性在于说明卷积归纳偏置不是高质量图像扩散生成的必要条件，解决了 U-Net 架构扩展规律不够直接、难以复用 Transformer 成熟 scaling 经验的问题。
- 系统研究模型计算量、token 数和生成质量的关系： 论文同时改变 Transformer 深度/宽度和 patch size。patch size 越小，token 数越多，前向 Gflops 明显上升，而参数量不一定同步变化。作者据此指出，参数量并不能充分刻画 DiT 的生成能力，Gflops 与 FID 改善之间有更强的经验相关性。这为扩散主干的扩展提供了比单看参数量更可操作的度量。
- 设计并验证 adaLN-Zero 条件注入机制： DiT 必须接收扩散时间步和类别条件。论文比较了 in-context conditioning、cross-attention 和 adaptive layer norm 等方式，最终发现 adaLN-Zero 效果最好。它把条件向量映射为 LayerNorm 的 scale/shift 以及残差分支缩放参数，并把残差缩放初始化为零，使深层模型训练初期更接近恒等映射，从而提高稳定性和收敛表现。
- 论文报告 DiT-XL/2 在 ImageNet 生成基准上达到很强结果： 作者报告 DiT-XL/2 在 ImageNet 256x256 和 512x512 条件生成上取得优于先前若干 U-Net 扩散模型的 FID 结果。这里应按论文报告理解，不能脱离同一任务、数据集、评价协议、采样设置和指导强度去推广为全局 SOTA 结论。
复杂 Pipeline 深度解析
DiT 图展示了把 latent patch 化后交给 Transformer 主干处理的路径，重点是 adaLN-Zero 等条件调制方式如何替代传统 U-Net 结构。
逐帧图解
文字版补充
- 上面的逐帧图解只对论文原图做淡化、高亮、箭头和编号标注；被高亮区域仍是原论文图像内容。
- 每一帧只解释当前深色区域，浅色区域作为上下文保留，避免在一张复杂图里来回跳读。
- 若原图是概念图、算法伪代码或采样示意，而不是完整工程架构图，本文按辅助视觉证据解读，不把它包装成传统 pipeline。
- 图中没有直接显示的指标、速度倍数、SOTA 结论或数据集细节，仍以论文正文报告为准，不从图解中过度外推。