HF Daily Papers·· 4 天前精选AI 评分39
扩散 Transformer 加速机制研究：残差门重塑与更广泛通道参与
No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
AI 导读
这项研究发现，REPA 等扩散 Transformer 训练加速方法会显著重组 AdaLN-Zero 残差门 α，加速模型对 α 的扰动也更敏感。研究提出归一化参与率 nPR 来刻画门在通道维度上的组织方式，并据此设计无需教师模型、基于特征范数正则化的径向目标。
推荐理由
论文将扩散训练加速与可测量的残差门重组织联系起来，并给出无需教师模型的径向目标，便于对照现有加速方法分析机制差异。
来源：HF Daily Papers · huggingface.co