APT:面向文生图模型的反馈驱动智能体后训练框架
APT 是一个面向文生图模型的自动化后训练框架,由评估、诊断与数据生成三个智能体协作,根据模型当前能力自适应构建训练任务并形成反馈闭环,无需人工整理数据。在多个基础模型、基准和生成架构上的实验显示 APT 与模型、基准和架构均无关,并支持无指定场景的通用评估。
推荐理由:APT 用评估、诊断和数据生成三个智能体串成反馈闭环,为文生图后训练提供不依赖人工数据的全自动方案,适用多种模型与架构。
技术方向
AI 画图与修图:文生图模型更新、图像编辑能力与创作工具。
84 条精选近 30 天 75 条共收录 100 条
APT 是一个面向文生图模型的自动化后训练框架,由评估、诊断与数据生成三个智能体协作,根据模型当前能力自适应构建训练任务并形成反馈闭环,无需人工整理数据。在多个基础模型、基准和生成架构上的实验显示 APT 与模型、基准和架构均无关,并支持无指定场景的通用评估。
推荐理由:APT 用评估、诊断和数据生成三个智能体串成反馈闭环,为文生图后训练提供不依赖人工数据的全自动方案,适用多种模型与架构。
ACEdit 提出一种稳定多轮图像编辑的训练方案,让模型在自身前序编辑输出上训练,并利用教师蒸馏提供可靠监督。学生模型连续编辑自己的输出,教师模型则以原始干净图像和复合编辑指令为条件,缓解自生成轨迹偏离真值轨迹的问题。实验显示,该方法能大幅减少长序列编辑中的性能退化,同时保持编辑质量与指令遵循能力。
推荐理由:论文将自生成轨迹、教师蒸馏和非对称条件结合,为缓解多轮图像编辑中的累积分布偏移提供了可迁移的训练思路。
作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。
推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。
WorldRecon 提出基于 TRELLIS.2 的多视角生成式重建框架,从无位姿 RGB 图像恢复完整的大规模 3D 场景网格。它先由重建模型估计全局点云与相机位姿并分块,再以基于重建的条件架构在每个块上产出 PBR 材质与稀疏结构,并通过邻域感知潜在补全与因果生成在块间传播结构、几何与材质信息。
推荐理由:基于 TRELLIS.2 的多视角生成式重建给出了室内场景的具体提升幅度,便于与现有 3D 重建方法横向比较。
White Circle 研究人员发表预印本,提出名为 RISE(Red-teaming via Iterative Strategy Evolution)的红队测试方法,可绕过 OpenAI 与 Google 图像模型的安全过滤。
推荐理由:White Circle 公开 RISE 红队测试方法和 13% 绕过率等结果,读者可据此评估前沿图像模型安全声明的可靠性。
抖音2026美好奇妙夜把 AI 大量植入舞台环节,胡彦斌、影视飓风 Tim 与杨丽萍等节目均使用字节跳动 AI 技术。
推荐理由:文章把字节多款 AI 模型与工具在晚会场景中并列呈现,便于读者一次性看清其在视频生成与动作迁移上的能力边界。
AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架,结合确定性验证器与 VLM 评判的解耦跨模态奖励,通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。
推荐理由:原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度,可作为视觉化代码生成方向的方法参考。
CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架,结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization(布局优化)与 SKU-DiT 多条件扩散模型,在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。
推荐理由:原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架,并公开了配套的硬例评测基准。
研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。
推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。
研究提出一种扩散模型校正步骤,让校正器以基础模型预测和同一真值目标进行训练,并在每个去噪步骤迭代修正干净样本预测。该方法在 DiT、SiT 和 JiT 上改善了无引导及无条件生成的 FID,表现与 CFG 相当;与 CFG 结合还能提升多样性并减少过度饱和。研究还把校正后的预测蒸馏回基础扩散模型,以保留质量收益并消除额外推理开销。
推荐理由:论文把校正器训练与推理迭代结合起来,并给出蒸馏降开销路径,便于比较无引导生成质量与推理成本。
Intern Lumina U2 是一种扩散语言模型,用多码本离散视觉 token 在单一骨干网络中统一图像、视频与 3D 生成及文本建模。作者报告该模型在视觉理解、图像生成与编辑上达到领先性能,并提出稳定性感知采样策略将图像生成加速 4.45 倍,代码已在 GitHub 开源。
推荐理由:原文提出多码本扩散语言模型架构,统一文本建模与视觉生成并兼顾推理效率,可与既有统一多模态方案对照。
Mia Goth 的经纪人 Christine Tripicchio 告诉 The Verge,Instagram 上带蓝标的粉丝账号 miagoth_ 发布了一张她的 AI 伪造图片,被大量用户和娱乐媒体当成真图传播,他们已多次投诉下架却无果。
推荐理由:梳理了带蓝标的粉丝账号用 AI 图像冒充名人的传播链路,可与 Meta 对静态 AI 内容不强制标注的政策对照阅读。
深响在钛媒体发文分析AI批量造星现象,结合AI漫剧、AI演员、AI歌手、AI偶像等案例,拆解虚拟角色从作品走红到粉丝运营再到品牌合作的完整链路。今年前8个月全国上线微短剧43万部,AI剧占比超过九成。文章同时指出真人明星仍拥有真实互动、不可预测性和长期人生经历沉淀等难以被AI替代的部分。
推荐理由:文章把AI虚拟偶像与真人明星拆成两类消费对象,对照标准化内容产能与不可复制的真实互动,给出当前行业分层判断。
本文提出 Simplified Matching Distillation(SMD),一种用于少步扩散模型蒸馏的回归框架,可在 4-NFE 下生成图像,无需在线分数估计或对抗训练。
推荐理由:原文给出一种不依赖在线分数估计和对抗训练的回归式蒸馏框架,覆盖图像、视频、3D 和音视频任务。
研究团队用包含 200 个提示词的 AgentDrawBench 评测通用编码智能体,发现其零样本绘图擅长保持结构和满足精确约束,但视觉丰富度有限。智能体的视觉表达随绘图界面变化,从人类示范提取的程序技能可支持不同艺术媒介;可执行视觉代码在部分领域的视觉问答准确率高于原始图像。研究进一步检验内部视觉语言思维假设,发现跨界面绘图和独立单像素查询呈现相关布局与色调,移除可见绘图后仍能维持房间排列。
推荐理由:AgentDrawBench 将结构保持、精确约束和视觉丰富度纳入同一评测,可帮助读者判断编码智能体在视觉生成中的适用边界。
PixText 提出一种面向生成图像局部文本的修正方法,通过像素空间分组生成配合四步 MeanFlow,在保留原图背景的同时提升字形与字符准确率。
推荐理由:原文给出具体基准对比与单图生成耗时数据,可参考其像素空间分组思路处理其他需要局部编辑的图像任务。
InfoVis 是一个用于幻灯片生成与编辑的统一 9B 模型,基于 FLUX.2-klein-base-9B 进行后训练,在超过 13M 持续预训练数据和 1.9M 监督微调数据上训练而成。
推荐理由:原文同时给出统一模型和覆盖四项任务的诊断基准,为开源幻灯片生成提供了可与自家产品的对比参照。
AReA 提出一种免训练的自适应感受野注意力机制,可在不增加参数的情况下降低扩散 Transformer 的推理成本并改善高分辨率生成质量。方法在去噪早期对下采样后的键值做跨尺度粗注意力以捕捉全局结构,后期在逐步收窄的窗口内做局部注意力以补充细节;作者称在多模型与多目标分辨率上均优于现有免训练基线,速度也更优。
推荐理由:针对 DiT 高分辨率推理成本与结构失真,给出一种免训练注意力方案,并与现有免训练基线做了对比。
谷歌发布生图模型 Nano Banana 2.1,主打 4K 直出与中文渲染改进,在 Arena 文本转图像排名升至第四、仅次于 GPT,1K/2K API 价格直接砍半。
推荐理由:把 Nano Banana 2.1 与 GPT Image 2.5 同台对比,给出 Arena 排名、API 降价幅度与中文渲染改进等可对照数据。
通义千问(Qwen)在 Hugging Face 发布 Qwen-Image-2.1-Turbo,是 Qwen-Image-2.1 的加速检查点,沿用同一 7B 视觉生成架构,支持文生图与图像编辑,默认 CFG=1 并仅需 8 步去噪,配合 prefix KV 缓存复用文本与参考图上下文。
推荐理由:8 步去噪与 prefix KV 缓存是该检查点的核心改动,读者可据此评估它在速度和质量上的取舍。