SpecSlot 通过角色耦合 token 化解耦全局通信与图像细节建模
SpecSlot 通过局部频谱槽和受限全局注意力,在不增加全局注意力序列长度的情况下提升像素空间生成 Transformer 的图像细节。模型将每个空间锚点扩展为多个互不重叠的 DCT 频带槽,仅让最低频槽参与全局注意力,其余槽在局部交互,同时保留像素空间生成状态、目标和损失。
推荐理由:论文将全局通信与高频细节建模解耦,并提供同算力对照和多项生成结果,便于理解降低注意力成本的机制。
SpecSlot 通过局部频谱槽和受限全局注意力,在不增加全局注意力序列长度的情况下提升像素空间生成 Transformer 的图像细节。模型将每个空间锚点扩展为多个互不重叠的 DCT 频带槽,仅让最低频槽参与全局注意力,其余槽在局部交互,同时保留像素空间生成状态、目标和损失。
推荐理由:论文将全局通信与高频细节建模解耦,并提供同算力对照和多项生成结果,便于理解降低注意力成本的机制。
L3G-World 通过潜空间3D Gaussian记忆与视频扩散Transformer交替自回归更新,实时生成空间一致、可交互的无限世界。记忆规模随场景范围而非生成流长度增长,每个Gaussian还存储VAE潜特征,可直接渲染到DiT潜空间而无需VAE重新编码。
推荐理由:论文给出潜空间3D Gaussian记忆与视频扩散Transformer交替更新的实时世界生成方案,并以9 FPS及相对基线的效率对比展示实现路径。
IDM提出不依赖外部特征编码器的图像生成分布匹配方法,在2 NFE下取得LongText-CN 94.25%和LongText-EN 90.20%的最高对比分。
推荐理由:IDM呈现了无需外部编码器的分布匹配设计,并提供2 NFE下的对比数据和消融结果,便于评估新增矩约束的设计取舍。
HairDeck提出一种基于扩散Transformer的方法,从单张图像生成风格化发片及驱动它们的弹簧骨骼链,产出可导出至下游格式的动画资产。在CHARM自有测试集上,HairDeck将Chamfer距离降低44%,卡片朝向误差降低超过一半,运行速度提升33倍。
推荐理由:在CHARM自有测试集上,HairDeck降低Chamfer距离和卡片朝向误差,同时将运行速度提升33倍。
LARC 将统一多模态模型的推理从离散 token 空间转向连续隐状态,缓解 token 级瓶颈并支持测试时扩展。训练分为课程式 SFT 和信息增益 RL 两阶段,后者无需真实标签监督即可自演化潜在推理。
推荐理由:论文将推理置于连续隐状态以缓解 token 级瓶颈,并给出两阶段训练方法和 GenEval 对比,便于评估多模态推理的扩展表现。
这项研究发现,REPA 等扩散 Transformer 训练加速方法会显著重组 AdaLN-Zero 残差门 α,加速模型对 α 的扰动也更敏感。研究提出归一化参与率 nPR 来刻画门在通道维度上的组织方式,并据此设计无需教师模型、基于特征范数正则化的径向目标。
推荐理由:论文将扩散训练加速与可测量的残差门重组织联系起来,并给出无需教师模型的径向目标,便于对照现有加速方法分析机制差异。
EditAgent 将每个编辑步骤路由至通用编辑器和专用方法,并为候选结果附加验证记录,以扩展智能体图像编辑的动作空间与观察空间。专家标注基准显示,通用编辑器在超过 40% 的案例中没有可用结果,且没有评审器能在各类编辑上保持可靠。
推荐理由:论文把智能体图像编辑的问题归纳为动作空间与观察空间限制,并通过路由编辑器和记录式评审提升可靠性与效率。
IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。
推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。
FrameForge 动态选择不同虚拟间隔的时序 RoPE 专家,并通过潜在中间状态建模条件到目标的变换,实现统一条件图像生成。该方法以 Mixture of Temporal Experts(MoTE)和 Chain of Temporal Reasoning(CoTR)分别建模条件与目标的时序距离及变换路径,建立在预训练视频模型之上。
推荐理由:FrameForge 将视频模型的动态时序先验用于统一条件图像生成,并用 MoTE、CoTR 和三项基准对比展示多任务表现。
论文提出 Wiener-Informed Decoding(WiD),在像素解码器中引入二阶统计量驱动的速度估计,让新增路径与模型联合训练,以降低像素空间流模型的训练难度。
推荐理由:比较了冻结统计估计器与像素解码器的互补作用及额外收益递减趋势,为评估像素空间流模型训练改造的取舍提供参照。
模思智能与OpenMOSS团队开源5B参数生图模型MOSS-Image,4天在海外社区获130万次下载,GitHub达1.4k Stars。模型采用从零预训练的单流扩散Transformer架构,以DiT为主干,结合冻结的Qwen3.5-9B文本编码器与FLUX.2 VAE,重点优化中英文文字渲染、JSON Layout和最长4096 tokens复杂提示词。
推荐理由:文章汇总MOSS-Image的文字渲染、布局控制和长提示词数据,并梳理加速、量化与推理适配,可用于判断其实际可用性。
Qwen-Image-PE 通过两阶段训练学习视觉设计,把欠明确的用户请求增强为连贯的文本生成图像视觉规格。训练采用 Caption-Based Reverse Distillation(CRD)和 Groupwise Design Reward(GDR),后者联合比较同一请求的候选图像,优化光照、构图、布局与细节。
推荐理由:论文通过两阶段训练把视觉设计纳入提示词增强,并以基准结果和跨骨干泛化实验展示效果,为相关方法研究提供清晰参照。
GLOW-FM提出一步式潜空间流匹配框架,通过单次函数评估完成生成式低光照图像增强。该框架在冻结的Tiny-VAE潜空间中进行条件传输,并采用Terminal Velocity Matching(TVM)。实验显示,小型版本仅需34 GFLOPs,在真实世界基准上取得有竞争力的图像质量和SOTA跨数据集泛化表现,代码将在论文发表后公开。
推荐理由:GLOW-FM以单次函数评估完成低光照增强,小型版本计算量为34 GFLOPs,并展示跨数据集泛化能力。
TextRIRO 通过真实图像扰动构造自配对训练数据,并基于条件扩散模型完成场景文本编辑。Shuffle&Crop 在破坏文本语义的同时保留关键风格线索,使模型在真实场景基准上提升准确性与视觉真实性,并缓解合成到真实的域差距。团队还构建了用于长文本识别的 TextRIRO-3M,训练识别模型后显著提高识别准确率,代码已公开。
推荐理由:将字符列打乱与图像裁剪组合成自配对训练数据,为减少场景文本编辑对合成数据的依赖提供了可复用路径。
论文提出 StreamingSwap,一种基于流匹配的实时视频换脸框架,在单张 NVIDIA RTX 4090 GPU 上实现稳定 20 FPS 生成。
推荐理由:论文将身份重建损失、空间 token 缩减和短上下文训练组合到实时换脸流程中,并报告单卡 RTX 4090 上稳定 20 FPS、最长 10 分钟视频的实验结果。
SpecKCast 提出无需训练的扩散模型推理加速方法,以 2D DCT 分解输出,并用逐频带 Kalman 滤波和自适应步长调度预测跳步结果。在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上,该方法最高实现 6x 加速,额外内存低于 0.05 GiB,较现有缓存和预测方法呈现更好的加速与保真度权衡。
推荐理由:论文将频域分带 Kalman 预测与不确定性触发的自适应跳步结合,为扩散模型缓存优化提供了一种可迁移的方法。
SWIFT 提出一种自引导训练方法,利用冻结的弱去噪器将回归目标沿远离其预测的方向外推,以改进更强的扩散模型且不增加推理开销。弱引导器可采用训练早期检查点,主模型训练无需反向传播,之后可将其丢弃。
推荐理由:论文给出目标外推机制、理论证明及 CIFAR-10 和 ImageNet-256 实验,可用于比较弱到强扩散模型的训练效率。
MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式,面向统一多模态模型,结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成,减少递归误差累积;Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场,以保持跨轮内容一致。实验显示,该方法提升了视觉质量稳定性和跨轮一致性。
推荐理由:论文把多轮编辑中的质量退化与内容漂移拆成两类问题,并给出对应训练机制,便于理解统一多模态模型的稳定性改进路径。
LayerEditor 将指令引导的图像编辑与可控的 RGBA 图层生成统一建模,在单一 token 序列中表示编辑画布和有序图层。其 In-Context RGB-Alpha Token Modeling 支持语义编辑与单图层内容控制,Compositional Edit-Prior Distortion 将编辑先验迁移到编辑画布及预测图层合成图像。
推荐理由:论文将指令图像编辑与可复用 RGBA 图层生成统一建模,并构建配对数据集和专项基准,便于对照分层编辑方案。
SCOPE 基于 GRPO 提出语义跨度感知的目标函数,将文本到图像提示改写的强化学习策略更新与语义结构对齐,无需额外渲染。在 Qwen-Image、SD3 与 FLUX.1-dev 上,SCOPE 相对 vanilla GRPO 在 GeneVal 平均提升 9.48%,在 T2I-CompBench 提升 7.62%。
RPO(Routing Policy Optimization)把注意力路由作为随机探索动作引入扩散生成器,使其在不改变原始确定性采样器的前提下完成在线强化学习对齐。
推荐理由:原文给出相比 Flow-GRPO 类方法近 4 倍的训练效率提升和完整的路由机制描述,便于与 rollout 扰动类扩散 RL 方法做对比。
OpenMOSS-Team 发布 MOSS-Image 技术报告,提出一个 5B 单流 DiT 开源文生图模型,结合意图感知的智能体 Prompt 增强模块,用于生成包含长文本与复杂版式的图像。
推荐理由:原文给出了 5B DiT 的训练配方与两个新评测基准,读者可据此复现或在长文本排版任务上横向对比现有开源模型。
MTEdit 提出基于打包轨迹画布的多轮图像编辑数据集生成方法,包含 50 万条最多 8 轮、平均 5.38 轮的编辑轨迹,并同步推出 MTEdit-Bench 基准,用于评估指令遵循、内容一致性与视觉漂移等能力。
推荐理由:原文给出多轮图像编辑的数据集、基准与训练方法,对评估编辑模型的多轮一致性和视觉漂移有参考价值。
RAP(Reconstruct A Poster)提出面向论文到海报视觉编码任务的数据集与基准,覆盖 2022–2026 年间多场机器学习会议的 25K+ 经核验论文-海报对,并提供 150 篇留出测试集。自动化反向渲染流水线可将每张海报转为带类型化可填充槽位的 HTML/CSS,同时支持 PosterRAG 训练-free 多智能体检索填充和 SFT+RL 专用模型训练两种生成方法。
LensErase 是一个 mask-based Erase Anything 基础模型,覆盖物体、视觉文本、水印、多物体移除及不同尺度、宽高比与分辨率的真实擦除场景。
推荐理由:原文同时发布模型、1.01 亿配对样本数据集和评测基准,可作为图像擦除任务的复现起点。
APT 是一个面向文生图模型的自动化后训练框架,由评估、诊断与数据生成三个智能体协作,根据模型当前能力自适应构建训练任务并形成反馈闭环,无需人工整理数据。在多个基础模型、基准和生成架构上的实验显示 APT 与模型、基准和架构均无关,并支持无指定场景的通用评估。
推荐理由:APT 用评估、诊断和数据生成三个智能体串成反馈闭环,为文生图后训练提供不依赖人工数据的全自动方案,适用多种模型与架构。
ACEdit 提出一种稳定多轮图像编辑的训练方案,让模型在自身前序编辑输出上训练,并利用教师蒸馏提供可靠监督。学生模型连续编辑自己的输出,教师模型则以原始干净图像和复合编辑指令为条件,缓解自生成轨迹偏离真值轨迹的问题。实验显示,该方法能大幅减少长序列编辑中的性能退化,同时保持编辑质量与指令遵循能力。
推荐理由:论文将自生成轨迹、教师蒸馏和非对称条件结合,为缓解多轮图像编辑中的累积分布偏移提供了可迁移的训练思路。
作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。
推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。
WorldRecon 提出基于 TRELLIS.2 的多视角生成式重建框架,从无位姿 RGB 图像恢复完整的大规模 3D 场景网格。它先由重建模型估计全局点云与相机位姿并分块,再以基于重建的条件架构在每个块上产出 PBR 材质与稀疏结构,并通过邻域感知潜在补全与因果生成在块间传播结构、几何与材质信息。
推荐理由:基于 TRELLIS.2 的多视角生成式重建给出了室内场景的具体提升幅度,便于与现有 3D 重建方法横向比较。
AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架,结合确定性验证器与 VLM 评判的解耦跨模态奖励,通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。
推荐理由:原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度,可作为视觉化代码生成方向的方法参考。
CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架,结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization(布局优化)与 SKU-DiT 多条件扩散模型,在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。
推荐理由:原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架,并公开了配套的硬例评测基准。
研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。
推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。
研究提出一种扩散模型校正步骤,让校正器以基础模型预测和同一真值目标进行训练,并在每个去噪步骤迭代修正干净样本预测。该方法在 DiT、SiT 和 JiT 上改善了无引导及无条件生成的 FID,表现与 CFG 相当;与 CFG 结合还能提升多样性并减少过度饱和。研究还把校正后的预测蒸馏回基础扩散模型,以保留质量收益并消除额外推理开销。
推荐理由:论文把校正器训练与推理迭代结合起来,并给出蒸馏降开销路径,便于比较无引导生成质量与推理成本。
Intern Lumina U2 是一种扩散语言模型,用多码本离散视觉 token 在单一骨干网络中统一图像、视频与 3D 生成及文本建模。作者报告该模型在视觉理解、图像生成与编辑上达到领先性能,并提出稳定性感知采样策略将图像生成加速 4.45 倍,代码已在 GitHub 开源。
推荐理由:原文提出多码本扩散语言模型架构,统一文本建模与视觉生成并兼顾推理效率,可与既有统一多模态方案对照。
InfiniSplat v2 在六个数据集上以同一训练模型取得前馈 3DGS 重建的 SOTA 平均 LPIPS 与 DISTS。其通过解耦几何与属性预测、利用真实相机姿态对齐高斯点并引入大角度目标视角监督实现该改进。位姿条件下平均 LPIPS 与 DISTS 较最强基线分别降低 25.8% 和 32.9%。
本文提出 Simplified Matching Distillation(SMD),一种用于少步扩散模型蒸馏的回归框架,可在 4-NFE 下生成图像,无需在线分数估计或对抗训练。
推荐理由:原文给出一种不依赖在线分数估计和对抗训练的回归式蒸馏框架,覆盖图像、视频、3D 和音视频任务。
研究团队用包含 200 个提示词的 AgentDrawBench 评测通用编码智能体,发现其零样本绘图擅长保持结构和满足精确约束,但视觉丰富度有限。智能体的视觉表达随绘图界面变化,从人类示范提取的程序技能可支持不同艺术媒介;可执行视觉代码在部分领域的视觉问答准确率高于原始图像。研究进一步检验内部视觉语言思维假设,发现跨界面绘图和独立单像素查询呈现相关布局与色调,移除可见绘图后仍能维持房间排列。
推荐理由:AgentDrawBench 将结构保持、精确约束和视觉丰富度纳入同一评测,可帮助读者判断编码智能体在视觉生成中的适用边界。
PixText 提出一种面向生成图像局部文本的修正方法,通过像素空间分组生成配合四步 MeanFlow,在保留原图背景的同时提升字形与字符准确率。
推荐理由:原文给出具体基准对比与单图生成耗时数据,可参考其像素空间分组思路处理其他需要局部编辑的图像任务。
InfoVis 是一个用于幻灯片生成与编辑的统一 9B 模型,基于 FLUX.2-klein-base-9B 进行后训练,在超过 13M 持续预训练数据和 1.9M 监督微调数据上训练而成。
推荐理由:原文同时给出统一模型和覆盖四项任务的诊断基准,为开源幻灯片生成提供了可与自家产品的对比参照。
AReA 提出一种免训练的自适应感受野注意力机制,可在不增加参数的情况下降低扩散 Transformer 的推理成本并改善高分辨率生成质量。方法在去噪早期对下采样后的键值做跨尺度粗注意力以捕捉全局结构,后期在逐步收窄的窗口内做局部注意力以补充细节;作者称在多模型与多目标分辨率上均优于现有免训练基线,速度也更优。
推荐理由:针对 DiT 高分辨率推理成本与结构失真,给出一种免训练注意力方案,并与现有免训练基线做了对比。