SpecSlot 通过角色耦合 token 化解耦全局通信与图像细节建模
SpecSlot 通过局部频谱槽和受限全局注意力,在不增加全局注意力序列长度的情况下提升像素空间生成 Transformer 的图像细节。模型将每个空间锚点扩展为多个互不重叠的 DCT 频带槽,仅让最低频槽参与全局注意力,其余槽在局部交互,同时保留像素空间生成状态、目标和损失。
推荐理由:论文将全局通信与高频细节建模解耦,并提供同算力对照和多项生成结果,便于理解降低注意力成本的机制。
SpecSlot 通过局部频谱槽和受限全局注意力,在不增加全局注意力序列长度的情况下提升像素空间生成 Transformer 的图像细节。模型将每个空间锚点扩展为多个互不重叠的 DCT 频带槽,仅让最低频槽参与全局注意力,其余槽在局部交互,同时保留像素空间生成状态、目标和损失。
推荐理由:论文将全局通信与高频细节建模解耦,并提供同算力对照和多项生成结果,便于理解降低注意力成本的机制。
L3G-World 通过潜空间3D Gaussian记忆与视频扩散Transformer交替自回归更新,实时生成空间一致、可交互的无限世界。记忆规模随场景范围而非生成流长度增长,每个Gaussian还存储VAE潜特征,可直接渲染到DiT潜空间而无需VAE重新编码。
推荐理由:论文给出潜空间3D Gaussian记忆与视频扩散Transformer交替更新的实时世界生成方案,并以9 FPS及相对基线的效率对比展示实现路径。
IDM提出不依赖外部特征编码器的图像生成分布匹配方法,在2 NFE下取得LongText-CN 94.25%和LongText-EN 90.20%的最高对比分。
推荐理由:IDM呈现了无需外部编码器的分布匹配设计,并提供2 NFE下的对比数据和消融结果,便于评估新增矩约束的设计取舍。
HairDeck提出一种基于扩散Transformer的方法,从单张图像生成风格化发片及驱动它们的弹簧骨骼链,产出可导出至下游格式的动画资产。在CHARM自有测试集上,HairDeck将Chamfer距离降低44%,卡片朝向误差降低超过一半,运行速度提升33倍。
推荐理由:在CHARM自有测试集上,HairDeck降低Chamfer距离和卡片朝向误差,同时将运行速度提升33倍。
LARC 将统一多模态模型的推理从离散 token 空间转向连续隐状态,缓解 token 级瓶颈并支持测试时扩展。训练分为课程式 SFT 和信息增益 RL 两阶段,后者无需真实标签监督即可自演化潜在推理。
推荐理由:论文将推理置于连续隐状态以缓解 token 级瓶颈,并给出两阶段训练方法和 GenEval 对比,便于评估多模态推理的扩展表现。
这项研究发现,REPA 等扩散 Transformer 训练加速方法会显著重组 AdaLN-Zero 残差门 α,加速模型对 α 的扰动也更敏感。研究提出归一化参与率 nPR 来刻画门在通道维度上的组织方式,并据此设计无需教师模型、基于特征范数正则化的径向目标。
推荐理由:论文将扩散训练加速与可测量的残差门重组织联系起来,并给出无需教师模型的径向目标,便于对照现有加速方法分析机制差异。
EditAgent 将每个编辑步骤路由至通用编辑器和专用方法,并为候选结果附加验证记录,以扩展智能体图像编辑的动作空间与观察空间。专家标注基准显示,通用编辑器在超过 40% 的案例中没有可用结果,且没有评审器能在各类编辑上保持可靠。
推荐理由:论文把智能体图像编辑的问题归纳为动作空间与观察空间限制,并通过路由编辑器和记录式评审提升可靠性与效率。
IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。
推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。
FrameForge 动态选择不同虚拟间隔的时序 RoPE 专家,并通过潜在中间状态建模条件到目标的变换,实现统一条件图像生成。该方法以 Mixture of Temporal Experts(MoTE)和 Chain of Temporal Reasoning(CoTR)分别建模条件与目标的时序距离及变换路径,建立在预训练视频模型之上。
推荐理由:FrameForge 将视频模型的动态时序先验用于统一条件图像生成,并用 MoTE、CoTR 和三项基准对比展示多任务表现。
论文提出 Wiener-Informed Decoding(WiD),在像素解码器中引入二阶统计量驱动的速度估计,让新增路径与模型联合训练,以降低像素空间流模型的训练难度。
推荐理由:比较了冻结统计估计器与像素解码器的互补作用及额外收益递减趋势,为评估像素空间流模型训练改造的取舍提供参照。
模思智能与OpenMOSS团队开源5B参数生图模型MOSS-Image,4天在海外社区获130万次下载,GitHub达1.4k Stars。模型采用从零预训练的单流扩散Transformer架构,以DiT为主干,结合冻结的Qwen3.5-9B文本编码器与FLUX.2 VAE,重点优化中英文文字渲染、JSON Layout和最长4096 tokens复杂提示词。
推荐理由:文章汇总MOSS-Image的文字渲染、布局控制和长提示词数据,并梳理加速、量化与推理适配,可用于判断其实际可用性。
Qwen-Image-PE 通过两阶段训练学习视觉设计,把欠明确的用户请求增强为连贯的文本生成图像视觉规格。训练采用 Caption-Based Reverse Distillation(CRD)和 Groupwise Design Reward(GDR),后者联合比较同一请求的候选图像,优化光照、构图、布局与细节。
推荐理由:论文通过两阶段训练把视觉设计纳入提示词增强,并以基准结果和跨骨干泛化实验展示效果,为相关方法研究提供清晰参照。
GLOW-FM提出一步式潜空间流匹配框架,通过单次函数评估完成生成式低光照图像增强。该框架在冻结的Tiny-VAE潜空间中进行条件传输,并采用Terminal Velocity Matching(TVM)。实验显示,小型版本仅需34 GFLOPs,在真实世界基准上取得有竞争力的图像质量和SOTA跨数据集泛化表现,代码将在论文发表后公开。
推荐理由:GLOW-FM以单次函数评估完成低光照增强,小型版本计算量为34 GFLOPs,并展示跨数据集泛化能力。
TextRIRO 通过真实图像扰动构造自配对训练数据,并基于条件扩散模型完成场景文本编辑。Shuffle&Crop 在破坏文本语义的同时保留关键风格线索,使模型在真实场景基准上提升准确性与视觉真实性,并缓解合成到真实的域差距。团队还构建了用于长文本识别的 TextRIRO-3M,训练识别模型后显著提高识别准确率,代码已公开。
推荐理由:将字符列打乱与图像裁剪组合成自配对训练数据,为减少场景文本编辑对合成数据的依赖提供了可复用路径。
论文提出 StreamingSwap,一种基于流匹配的实时视频换脸框架,在单张 NVIDIA RTX 4090 GPU 上实现稳定 20 FPS 生成。
推荐理由:论文将身份重建损失、空间 token 缩减和短上下文训练组合到实时换脸流程中,并报告单卡 RTX 4090 上稳定 20 FPS、最长 10 分钟视频的实验结果。
SpecKCast 提出无需训练的扩散模型推理加速方法,以 2D DCT 分解输出,并用逐频带 Kalman 滤波和自适应步长调度预测跳步结果。在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上,该方法最高实现 6x 加速,额外内存低于 0.05 GiB,较现有缓存和预测方法呈现更好的加速与保真度权衡。
推荐理由:论文将频域分带 Kalman 预测与不确定性触发的自适应跳步结合,为扩散模型缓存优化提供了一种可迁移的方法。
SWIFT 提出一种自引导训练方法,利用冻结的弱去噪器将回归目标沿远离其预测的方向外推,以改进更强的扩散模型且不增加推理开销。弱引导器可采用训练早期检查点,主模型训练无需反向传播,之后可将其丢弃。
推荐理由:论文给出目标外推机制、理论证明及 CIFAR-10 和 ImageNet-256 实验,可用于比较弱到强扩散模型的训练效率。
MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式,面向统一多模态模型,结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成,减少递归误差累积;Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场,以保持跨轮内容一致。实验显示,该方法提升了视觉质量稳定性和跨轮一致性。
推荐理由:论文把多轮编辑中的质量退化与内容漂移拆成两类问题,并给出对应训练机制,便于理解统一多模态模型的稳定性改进路径。
LayerEditor 将指令引导的图像编辑与可控的 RGBA 图层生成统一建模,在单一 token 序列中表示编辑画布和有序图层。其 In-Context RGB-Alpha Token Modeling 支持语义编辑与单图层内容控制,Compositional Edit-Prior Distortion 将编辑先验迁移到编辑画布及预测图层合成图像。
推荐理由:论文将指令图像编辑与可复用 RGBA 图层生成统一建模,并构建配对数据集和专项基准,便于对照分层编辑方案。
RPO(Routing Policy Optimization)把注意力路由作为随机探索动作引入扩散生成器,使其在不改变原始确定性采样器的前提下完成在线强化学习对齐。
推荐理由:原文给出相比 Flow-GRPO 类方法近 4 倍的训练效率提升和完整的路由机制描述,便于与 rollout 扰动类扩散 RL 方法做对比。