跳到正文
10月10日周六
10月9日周五
  1. Qwen58

    Qwen 开源图像生成加速版 Qwen-Image-2.1-Turbo

    通义千问(Qwen)在 Hugging Face 发布 Qwen-Image-2.1-Turbo,是 Qwen-Image-2.1 的加速检查点,沿用同一 7B 视觉生成架构,支持文生图与图像编辑,默认 CFG=1 并仅需 8 步去噪,配合 prefix KV 缓存复用文本与参考图上下文。

    推荐理由:8 步去噪与 prefix KV 缓存是该检查点的核心改动,读者可据此评估它在速度和质量上的取舍。

  2. HF Daily Papers41

    FreeMatching:突破时空先验限制的稠密对应匹配框架

    论文提出 FreeMatching 稠密对应匹配框架,融合生成式与语义基础表征,并在图像编辑与参考引导生成(IEG)场景中保持身份一致性。实验显示单一模型在 IEG 图像对上显著提升匹配质量,同时在经典基准上保持竞争力,其匹配分数与人类判断相关,可作为身份保持的定量评估指标。代码已开源:https://github.com/luping-liu/FreeMatching。

    推荐理由:原论文提出不依赖时空先验的稠密匹配框架 FreeMatching,并在图像编辑场景下验证了可量化的身份保持评估方法。

  3. HF Daily Papers41

    VibeEdit:基于画布指令的图像编辑方法

    研究团队提出 VibeEdit 图像编辑界面,将用户在图上直接放置的空间标记和简短备注作为画布指令,无需文字 prompt 即可完成对象增删、替换、属性修改和移动。

    推荐理由:原文给出画布指令的交互方式、层解耦条件编码与分阶段训练方法,并附自建 419 例基准的对比数据,可作为图像编辑交互设计的迁移参考。

  4. Hugging Face Blog72

    用 HuggingChat 的 ML Intern 训练定制小模型:6 个项目提示词与成本公开

    作者用 HuggingChat 的 ML Intern 在几天内训练了 6 个定制小模型,包括柑橘病害分类器、Huggy 角色 LoRA、相机视角 LoRA、涂鸦替换 LoRA、0.8B 口袋改写器与 Agate 4 步蒸馏模型,总算力约 103 美元。

    推荐理由:作者公开了用 ML Intern 训练小模型的 7 段提示词与项目流程,强调 Verified facts、基线、smoke test 与预算上限等可被迁移使用的写法。

  5. HF Daily Papers42

    Representation Guidance 引导像素扩散 Transformer 学习生成可用表示

    论文针对像素扩散 Transformer,提出 Representation Guidance(RG):通过低维瓶颈把生成相关信息压缩进紧凑表示,并据此修改流匹配目标来引导解码器生成。

    推荐理由:论文提出 Representation Guidance,用低维瓶颈压缩生成相关表示并据此修正流匹配目标,在 ImageNet 256x256 上以 459M 参数跑出 FID 1.55。

  6. HF Daily Papers39

    APEX:面向极限压缩的异步前缀去噪方法

    APEX 用分层潜空间加异步去噪把扩散生图压到 64 个 token,匹配训练与推理算力时画质仍超过 256 token 基线,token 用量降到原来的 1/4。该方法还让通道缩放在高压缩场景下保持可用,缓解其他方法出现的画质退化。

    推荐理由:APEX 用分层潜空间配合异步去噪把生成 token 压到 64 个,仍超过 256 token 基线,给高压缩场景下的扩散生图提供了一条可借鉴路线。

  7. HF Daily Papers37

    MixTok:结合全局 1D token 与稀疏 2D 精修的自适应视觉分词方法

    MixTok 提出一种混合视觉分词器,用紧凑 1D 全局表示结合稀疏 2D token 做局部精修,并通过内容自适应路由器在平均 token 预算下选定需要精修的位置。在 ImageNet 256x256 上,平均约 128 个内容 token 重建 rFID 达 1.195,约 131 个 token 生成 gFID 达 1.95。项目页与 GitHub 仓库已公开。

    推荐理由:提出 1D 全局加 2D 稀疏精修的混合视觉分词方案,并给出在 ImageNet 上具体的重建与生成指标,可作为对比参考。

  8. HF Daily Papers43

    InstantFusion:面向异构图像生成模型的共享潜在空间接口

    论文 InstantFusion 提出一个轻量级共享潜在空间接口,通过模型特定的 Latent AutoEncoders 将不同扩散/流生成模型的中间态投影到同一空间,使其去噪轨迹能在不同生成器之间无缝切换,无需为每对模型训练专用映射。

    推荐理由:给出了异构扩散/流模型间的中间态共享映射方案,读者可据此评估它对加速与多模型组合场景的迁移价值。

  9. OpenAI News26

    Pollo AI 借助 OpenAI 模型将创意转化为营销活动

    Pollo AI 基于 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5 推出 Pollo Agent 与 Photo to Video Ads,把创作者创意转化为成片图像和视频广告。平台已服务超 2600 万用户,30% 的创作者会话从视频模板起步,用户切换模型的时间减少超 50%。Pollo AI 计划未来 12 个月内让 AI 视频成为日常内容创作的常规环节。

10月8日周四
  1. HF Daily Papers41

    Pristine Models:预训练阶段分离安全与不安全知识的文生图架构

    Pristine Models 提出一种新的文生图架构,通过注意力机制在预训练阶段把安全与不安全知识分别放入独立参数分支,推理时可卸下不安全分支。在 ImageNet 上,该方法相比仅用安全数据训练或事后概念擦除,取得了更高的图像质量与更好的文本对齐;论文进一步在 CC12M 上验证其在更大规模、更多样化的开放世界预训练下仍然有效。

    推荐理由:提出预训练阶段把不安全知识隔离到独立分支的思路,避免事后概念擦除引发的灾难性遗忘,并给出与仅用安全数据训练及事后擦除的比较结果。

  2. HF Daily Papers41

    DiffusionART:面向扩散模型的高效稳定可扩展强化学习方法

    论文提出 DiffusionART,一种无需可微奖励和逐任务调参的扩散模型在线强化学习微调方法,支持配对奖励模型 DiffusionART-Pairwise。

    推荐理由:它提出一种无需奖励可微、无需逐任务调参的扩散模型 RL 微调方法,并以 HunyuanVideo-13B 上大幅领先 DiffusionNFT 和 Flow-GRPO-Fast 的 GPU 时间和奖励作为迁移参考。

  3. HF Daily Papers35

    RAESR:基于冻结 DINOv3 潜空间的图像超分辨率方法

    RAESR 使用 23 层冻结 DINOv3-L 融合得到的潜空间作为重建基底,训练 415M 解码器在重建与对抗目标下完成单步图像超分辨率。该方法在 RealSR、DRealSR、LSDIR 和 DIV2K-Val 上以单张 H20 GPU 处理 512×512 图像耗时 37ms,取得当前最佳的保真度-感知权衡;将基底换成 VAE 潜空间、其余设置不变则各项指标均下降。

    推荐理由:论文给出了在 DINOv3 潜空间做超分辨率的具体设计与 VAE 基底对比,可作为视觉表征迁移至底层视觉任务的方法参考。

10月7日周三
10月6日周二
  1. HF Daily Papers32

    Empirical Variational Autoencoder(EVA):基于经验自回归潜在先验的连续序列生成框架

    作者提出 Empirical Variational Autoencoder(EVA),一种面向连续值(非向量量化)序列的通用生成框架。EVA 基于 VAE 的证据下界(ELBO),从训练数据中经验式地学习自回归潜在先验,仅需在 VAE 之上增加一个线性层即可实现,通过用自预测先验替代标准高斯约束缓解了先验与后验之间的分布差距。

  2. HF Daily Papers38

    CDMD:面向无数据扩散蒸馏的一致性分布匹配方法

    CDMD 提出一种无数据扩散蒸馏方法,无需训练辅助 fake-score 网络,在 ImageNet 256×256 上以 1 NFE 取得 2.04 FID,超过 DMD2 的 3.43 FID。方法把样本生成与速度估计统一到单个学生网络,并给出通过 Wasserstein 收敛连接一致性目标与分布匹配的理论分析。

    推荐理由:把样本生成与速度估计统一到单个学生网络,给出更简洁的无数据扩散蒸馏框架,1 NFE 时 FID 即超过 DMD2。

10月5日周一
  1. HF Daily Papers40

    D-OPCD:通过 On-Policy 上下文蒸馏把智能体经验内化进扩散模型权重

    论文提出 Diffusion On-Policy Context Distillation(D-OPCD),把 Text-to-Image 智能体 harness 累积的提示迭代、记忆与技能等能力通过 on-policy 蒸馏固化进扩散模型权重,使模型在仅接收原始查询时也能保留部分 harness 增益。

    推荐理由:提出 D-OPCD 把智能体迭代增益固化进扩散模型权重,量化了脱离 harness 后仍可保留的提升幅度,并指出 harness 与模型持续协同进化的可行路径。

10月3日周六
  1. HF Daily Papers31

    DistScene:面向 3D 场景生成的对象到场景知识蒸馏框架

    DistScene 提出一个面向单图像组合式 3D 场景生成的框架,将环境与物体作为独立组件在同一坐标系中联合建模,并通过对象到场景知识蒸馏将预训练物体生成先验迁移到场景生成。其 Scene-Frame Generation 与 Object-Centric Refinement 两个步骤共同学习几何与相对位置关系,在室内与室外基准上相比基线展现出更好的场景级空间连贯性。

  2. HF Daily Papers41

    NAMVIS:基于几何条件下一尺度自回归的多视图图像合成框架

    论文提出 NAMVIS,一个无扩散的多视图图像合成框架,将多视图生成重新表述为几何条件下的下一尺度自回归任务:通过少量由粗到细的尺度步骤预测离散视觉 token,并在每个尺度内对所有目标视图的 token 并行采样。

    推荐理由:在扩散方法主导的多视图合成领域,给出一种以几何条件下一尺度自回归替代迭代去噪的路径,并提供与扩散基线在精度和速度上的直接对比。

10月1日周四
  1. MIT Technology Review43

    AI「读心」工具可通过脑扫描重建所看图像

    以色列魏茨曼科学研究所 Michal Irani 团队开发出一种 AI 工具,仅凭高分辨率 fMRI 脑扫描就能重建被试者看到的图像,并在对比中显著优于已有方案。

    推荐理由:原文把这项脑扫描重建图像方法与此前需约 40 小时校准的方案做了对比,并讨论迁移到 EEG 后放大的隐私风险。读者可以据此判断当前脑解码技术的实际进展。

9月28日周一
  1. HF Daily Papers34

    Tex-Zero:原生 3D 纹理生成无需 3D 资产训练

    Tex-Zero 框架证明原生 3D 纹理生成无需依赖真实 3D 资产训练,仅用 2D 图像即可实现高保真输出。其方法将 2D 图像表示为 3D 空间中的平面,通过 patch-wise 随机旋转与聚合构造几何结构,并据此训练 Tex-Zero VAE 与 Tex-Zero DiT。实验显示该方案仅依赖图像数据即可生成具有细粒度细节的 3D 纹理,项目代码已开源。

9月26日周六
  1. HF Daily Papers33

    GeoSET:面向 SAR-to-EO 图像翻译的通用基础模型

    GeoSET 是首个面向 SAR-to-EO 图像翻译的通用基础模型,基于单一预训练父模型通过统一协议适配下游任务。团队从逾千万 SAR 观测中精选 300 万对样本,提出散斑鲁棒 SAR 编码器,借助 LoRA 仅需更新 0.60% 生成器参数,每数据集约一小时即可适配。该模型在六个下游基准的 FID 与 DISTS 上均取得 SOTA。

9月20日周日
  1. Qwen64

    千问开源统一文生图与编辑模型 Qwen-Image-2.1

    千问(Qwen)开源统一文生图与编辑模型 Qwen-Image-2.1,视觉生成组件仅 7B 参数,采用 32 层 Single-Stream DiT,支持常规或 RGBA 透明图像生成与编辑。

    推荐理由:模型把文生图、图像编辑与 RGBA 透明图生成统一在 7B 视觉组件中,并附带完整的推理调用代码。

9月14日周一
9月10日周四
  1. Hugging Face Blog60

    用 Gradio Workflow 重建 AUTOMATIC1111 的图像生成流程

    Gradio 团队发布 Workflow1111,用 73 个节点、11 条媒体管线在 Gradio Workflow 画布上复刻了 AUTOMATIC1111 的大部分功能,包括文本生图、高清修复、图像编辑、prompt 矩阵、VLM 反推、检测生成 inpaint 蒙版、Annotator、上采样、背景移除、PNG Info 与图生视频。

    推荐理由:把 AUTOMATIC1111 的常见图像生成流程拆成 Gradio Workflow 节点,读者可以对照 ComfyUI 评估这种节点式工作流在多模型组合和 MCP 调用上的差异。

8月7日周五
7月7日周二
5月6日周三
  1. xAI News36

    Grok Imagine 上线 Quality Mode,通过 API 面向企业开放

    xAI 为 Grok Imagine 图像生成与编辑推出 Quality Mode,已通过 Grok Imagine API 向企业开发者和团队开放,主打更高真实感、更强文字渲染与更精细的创意控制;Quality Mode 也可与 xAI 视频生成能力结合,用于社媒视频素材、产品展示和广告等场景。

    推荐理由:原文给出了 Quality Mode 在真实感、文字渲染和创意控制上的具体提升,并明确以 API 形式面向企业开放,便于评估接入路径。

2024年12月9日周一
  1. xAI News60

    xAI 发布 Grok 图像生成模型 Aurora,采用自回归 MoE 架构

    xAI 发布 Grok 新一代图像生成模型 Aurora,采用自回归混合专家架构,已在 X 平台向部分国家开放,一周内全量上线。Aurora 基于海量互联网样本训练,主打照片级真实感与文本指令遵循度,能精确渲染真实实体、文字、商标与人像。

    推荐理由:原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力,及其在 X 平台的分阶段上线节奏,便于与同代图像生成模型做横向对比。