跳到正文
10月16日周五
  1. HF Daily Papers38

    执行先于记忆:诊断视频世界模型中的记忆失败

    该论文提出 MIST 评测,把场景搭建与指令执行拆开,用来定位视频世界模型中记忆失败的瓶颈;并提出 M3-Agent,通过递归修正输入指令的细节来推动模型执行指令。在 MIST reveal 指标上,M3-Agent 相对基线提升超过三倍;在 WRBench 上 score T 提升 26.1%,MBench-T 上 score U 提升 52.7%。

    推荐理由:原文把场景搭建与指令执行拆开定位视频世界模型的记忆瓶颈,并给出 M3-Agent 修正指令细节的具体方法与基准提升幅度。

  2. HF Daily Papers40

    MTEdit:基于打包轨迹的多轮图像编辑数据集与基准

    MTEdit 提出基于打包轨迹画布的多轮图像编辑数据集生成方法,包含 50 万条最多 8 轮、平均 5.38 轮的编辑轨迹,并同步推出 MTEdit-Bench 基准,用于评估指令遵循、内容一致性与视觉漂移等能力。

    推荐理由:原文给出多轮图像编辑的数据集、基准与训练方法,对评估编辑模型的多轮一致性和视觉漂移有参考价值。

  3. HF Daily Papers41

    OfficeTown:面向智能体能力进化的生成式组织模拟框架

    OfficeTown 是一个生成式模拟框架:从自然语言描述构建持续运作的专业组织,成员可委派任务给助手智能体并审核交付物,工件、决策与未决事项会持续影响后续工作。

    推荐理由:该工作把持续运转的组织建模为生成式模拟,用以合成面向智能体的工作数据与基准,可作为通用智能体训练与评估的一种可迁移数据生成方法。

  4. HF Daily Papers34

    RAP:基于人工范例与声明式标记的论文到海报生成数据集

    RAP(Reconstruct A Poster)提出面向论文到海报视觉编码任务的数据集与基准,覆盖 2022–2026 年间多场机器学习会议的 25K+ 经核验论文-海报对,并提供 150 篇留出测试集。自动化反向渲染流水线可将每张海报转为带类型化可填充槽位的 HTML/CSS,同时支持 PosterRAG 训练-free 多智能体检索填充和 SFT+RL 专用模型训练两种生成方法。

  5. HF Daily Papers41

    HexaShell:以 VLM 智能体作为机器人编码智能体的轻量框架

    HexaShell 是一个用 coding agent 通过视觉与自写工具驱动双臂机器人的轻量系统,基于 Codex 与 GPT-6-Astra(中推理强度),在 42 个 RoboDojo 任务上达到 39.7% 成功率(progress 48.0),刷新该榜单 SOTA。

    推荐理由:用 coding agent 自写工具控制双臂机器人并在 RoboDojo 上刷新 SOTA;测试显示推动类任务准确率高,而接触密集任务明显受限。

10月15日周四
  1. HF Daily Papers39

    τ-Emotion-Bench:揭示 LLM 智能体在真实用户情绪下的交互脆弱性

    论文提出 τ-Emotion-Bench 基准与 Tracer 数据生成流水线,用于在情绪化用户交互下评估并提升 LLM 工具调用智能体的可靠性。该基准覆盖十个领域,实验显示前沿智能体在平均任务成功率与持续完成度之间仍存在显著差距;Tracer 生成的监督数据可稳定改进不同规模的模型,并可泛化到未见领域以及 τ-Bench 和 τ-Trait。项目页与代码已在 GitHub 开源。

    推荐理由:τ-Emotion-Bench 与 Tracer 数据流水线为评估和提升工具调用智能体在情绪化用户交互下的可靠性提供了可迁移框架。

  2. HF Daily Papers39

    RuleTrek:复杂场景下智能体规则推理基准

    RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。

    推荐理由:给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。

  3. HF Daily Papers48

    Doc2Harness:编码智能体长链路 harness 工程的 LLM 评测基准

    Doc2Harness 提出一个两阶段基准,直接评测模型为编码智能体构建长链路 harness 的工程能力,覆盖 19 个前沿模型、328 个测试用例。GPT-6 Astra 取得最高通过率 53.05%,最弱模型为 27.44%;即便最强模型仍有近一半用例失败,失败集中在跨模块功能的拆分方式上。

    推荐理由:原文提出了针对 harness 工程的可复现评测方案,并给出 19 个前沿模型的具体差距,可据此对比模型在该层能力上的相对位置。

  4. HF Daily Papers49

    SciΠvot:评估 LLM 智能体在科研关键节点的判断力

    SciΠvot 是一个包含 248 例的科研判断评测基准,基于六个月里 6 个学科 26 个项目中资深研究者纠正 LLM 智能体的真实记录构建。在中推理努力且附带项目记录的条件下,5 个前沿模型中有 4 个表现低于随机,模型普遍偏好 LLM 原始方案而非人类修正方案;项目条件下最高准确率仅 63.5%,低于人类新人的 73.4%。

    推荐理由:用 248 例真实科研干预记录对照前沿模型与新人的科研决策准确率,为评估自主科研智能体的判断力提供了可复现基线。

  5. HF Daily Papers51

    REALCLI 论文提出 CLI 智能体任务执行与人机协作统一评测基准

    REALCLI 提出一个成对基准,统一评估 CLI 智能体在真实 CLI 任务中的执行效果与人机协作质量。该框架包含 5 个维度、22 个子维度和 51 个交互场景模板,并提供 REALCLI-EXEC 与 REALCLI-COLLAB 两种模式,分别支持一次性完整说明和渐进式信息、纠正、约束修订及授权决策。

    推荐理由:REALCLI把任务执行与运行时协作质量纳入同一评测,并区分一次性说明和渐进协作两种条件,便于定位CLI智能体的能力缺口。

  6. HF Daily Papers40

    LIBERO-Industry:工业流程约束下的机器人操作基准

    LIBERO-Industry 将工业制造约束转化为可控的机器人学习任务,用于评估通用机器人策略在真实生产条件下的表现。基准基于 LIBERO,包含 S2D 装料、D2S 卸料和 D2D 搬运 3 类场景,共 216 个任务,并改变物体几何尺寸、传送带速度、交互窗口时长和几何验收区域。

    推荐理由:该基准把多品种、小批量制造中的动态约束转为可控任务,便于比较通用机器人策略在约束逐步叠加时的性能变化。

  7. HF Daily Papers41

    视觉语言模型属性-对象绑定研究:提出 SABER 基准与合成文本微调方案

    论文提出 SABER 基准,揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置;论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器(无需图像监督),即可将性能迁移到跨模态和图像-图像检索,在 SABER 上取得 SOTA,同时在否定和实例检索基准上也有提升。

    推荐理由:SABER 给出了跨四种图文配对的属性-对象绑定评测维度,并展示了不依赖图像监督的合成文本微调路径,对多模态检索相关工作有直接参考价值。

  8. HF Daily Papers40

    PremiseCheck:拆分评审意见为显式前提以高效核查同行评审事实

    PremiseCheck 提出结合大语言模型与决策模型的事实核查框架:先用 LLM 将评审意见改写为显式前提,再由决策模型逐条核对原文。三领域测评显示其准确率与 GPT-5.5 相当,NLP 评审场景下成本约为其四分之一、延迟低于一半,并配套发布 ReviewFact 基准。

    推荐理由:原文提出将评审意见拆为显式前提后由决策模型核查,并以新基准展示了相比前沿 LLM 的成本与延迟优势。

  9. HF Daily Papers43

    PhysClosureBench:衡量 AI 智能体完成物理研究闭环能力的基准

    研究者推出 PhysClosureBench 基准,包含 50 个经专家验证、目标明确的物理研究任务,用于评估 AI 智能体组织调研并获取充分证据以回答问题的能力,其中 Atomic Score 衡量局部科研产出,Research Closure(RC0–RC4)衡量对研究问题的闭环程度。

    推荐理由:论文提出 RC0–RC4 五级闭环评分并测试 7 个前沿模型,揭示出局部科研产出与完整研究闭环之间的持续差距,为科研类 Agent 评测提供新角度。

10月14日周三
  1. HF Daily Papers39

    LifeSearch:面向现实生活与办公场景的深度研究智能体基准

    LifeSearch 是面向现实生活与办公场景的深度研究智能体基准,包含 203 个中英文任务,覆盖 7 个具体生活与生产力领域。论文经过 4500 多人时人工标注,构建 4000 多条专家撰写的细粒度评分准则,并在统一评测框架下测试了 12 个深度研究智能体;其中表现最好的 GPT-5.6 Sol 也仅取得 63.4% 的分数,基准综合得分与人类判断的 Spearman 相关系数达 0.89。

    推荐理由:论文给出基准结构、人工标注规模和 12 个智能体的实测分数,读者可直接对照自身 DR 系统的能力差距。

  2. HF Daily Papers45

    Tev:通过稠密进度奖励扩展长程智能体训练环境

    Tev 论文提出长程智能体训练数据集 Tev-Gym(含 1170 个跨 7 领域任务)和进度-势能奖励塑形方法 PPRS,并据此训练 Tev-27B。该模型在 ALE-CM 上 Pass@5 与 GPT-6 Astra、Claude Opus 5 持平,并泛化到 Terminal-Bench 3.0/4.0,超过 GLM 5.2 和 Gemini 3.7 Flash。

    推荐理由:原文同时给出长程智能体训练数据集 Tev-Gym 和稠密奖励塑形方法 PPRS,可作为同类智能体训练流程的参考方案。

  3. Google DeepMind73

    Google DeepMind 详述 Gemini 4 Argon 的负责任开发与安全设计

    Google DeepMind 开始广泛推送 Gemini 4 Argon 大模型,并详细阐述其安全开发方法。该模型在 12 个端到端网络攻击模拟场景中全部解决(上一代为 5 个),在 Gray Swan 的间接提示词注入基准上,15 次自适应攻击成功率降至 0.7%,编码基准上作弊尝试降至 2%。

    推荐理由:原文系统说明了滥用防护、对齐监控和提示词注入防御的具体机制与测试结果,可供同类模型在安全设计上参考。

  4. HF Daily Papers38

    CommerceGen-Studio:面向电商主图的端到端商用级生成框架

    CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架,结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization(布局优化)与 SKU-DiT 多条件扩散模型,在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。

    推荐理由:原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架,并公开了配套的硬例评测基准。

  5. HF Daily Papers42

    BizBench:揭示长链路业务 Agent 在真实部署中的中间执行漏洞

    BizBench 是一项多轮长链路业务 Agent 评测基准,基于一家头部支付公司的真实流程构建,包含 789 份知识文档和 601 个可发现工具,共 50 个任务,覆盖资源约束、时间依赖、过往承诺与冲突或过期指引等场景。

    推荐理由:BizBench对比前沿模型在真实业务流程中的严格合规执行表现,揭示仅看最终结果会掩盖中间过程的违规。

  6. HF Daily Papers38

    WorldCast:多模态生成世界状态预测基准

    研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。

    推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。

  7. HF Daily Papers38

    RoTA-Bench:通过交互式投影对齐评估 3D 空间推理

    RoTA-Bench 通过交互式 3D-2D 投影对齐任务,评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力,自动构建了 674 道题和分层 100 题测试集,并利用可逆初始化确保可解性。

    推荐理由:基准显示 GPT-5.6-Sol 仅有 17% 通过率,与人类 100% 表现存在显著差距,揭示了 2D 视觉到 3D 旋转控制的难点。

  8. HF Daily Papers50

    MAI-Gym:面向手机与电脑的 GUI 智能体评估与在线强化学习训练平台

    MAI-Gym 是一个开源 GUI 智能体评估与强化学习训练统一平台,覆盖手机、电脑和网页环境,可扩展至 20,000 个并行实例。基于该平台训练的 MAI-Gym-9B 在 10B 参数以下开源 GUI 智能体中达到当前最优,在 MobileWorld 上取得 78.4%、在 OSWorld-Verified 上取得 76.2%。

    推荐理由:论文同时给出平台规模、训练结果与模拟到真实的迁移数据,能为 GUI 智能体的训练成本和跨环境泛化提供参考。

  9. HF Daily Papers45

    Orbia:生成视频能否构成一致的 3D 世界?

    Orbia 提出一个系统性评估交互式视频世界模型 3D 一致性的基准,涵盖输入保持、生成内容持久性和 3D 自一致性三个维度。该基准包含室内外 720 个实例、六种探索-重访协议以及分钟级长程探索,对 27 个文本、动作和相机条件模型进行了评测,指出视觉逼真且吸引人的帧不一定对应一致的 3D 世界,可为诊断 3D 不一致和开发更持久的视频世界模型提供基础。

    推荐理由:Orbia 是面向交互式视频世界模型的系统 3D 一致性基准,通过受控探索和重访协议评测 27 个模型,可用于诊断生成视频在三维层面的一致性缺陷。

  10. AWS Machine Learning Blog69

    在 Amazon Bedrock 上用 Grok 4.7 构建长链路推理 Agent

    AWS 博客介绍如何在 Amazon Bedrock 上调用 Grok 4.7 构建工具调用 Agent,并在三个需要搜索而非查表的任务上比较四种 reasoning effort 档位:72 次运行中答对 67 次,xhigh 档 18/18 全部正确,low 档用约 1/8 的输出 token 答对 15/18 次。

    推荐理由:给出可复用的推理 Agent 评测方法与按档位调校的工程实践,并把推理质量与 token 成本做成可调旋钮。

10月13日周二
  1. 量子位39

    魔法原子EchoPolicy-0拿下MolmoSpaces全球第一

    魔法原子旗下EchoPolicy-0框架以75.4%的等权平均成功率位列MolmoSpaces Combined榜单全球第一,覆盖全部4个v1任务;同公司MagicBrain以72.4%排名第四,抓取任务成功率达94.4%。

    推荐理由:EchoPolicy-0走Agent调度路线,MagicBrain走视觉引导路线,两者在MolmoSpaces上的排名差异可以反映各自路径的侧重点。

  2. HF Daily Papers54

    编码智能体在视觉生成中的能力边界

    研究团队用包含 200 个提示词的 AgentDrawBench 评测通用编码智能体,发现其零样本绘图擅长保持结构和满足精确约束,但视觉丰富度有限。智能体的视觉表达随绘图界面变化,从人类示范提取的程序技能可支持不同艺术媒介;可执行视觉代码在部分领域的视觉问答准确率高于原始图像。研究进一步检验内部视觉语言思维假设,发现跨界面绘图和独立单像素查询呈现相关布局与色调,移除可见绘图后仍能维持房间排列。

    推荐理由:AgentDrawBench 将结构保持、精确约束和视觉丰富度纳入同一评测,可帮助读者判断编码智能体在视觉生成中的适用边界。

  3. HF Daily Papers51

    Into the Unknown 基准:测评 AI 智能体在开放科研问题上的表现

    Into the Unknown 基准让 9 个前沿 AI 智能体针对量子计算、等离子体物理、计算化学等方向的未发表后续研究各写 15 篇续作论文,共 135 篇均未通过领域科学家的全部条件评估。其中 114 篇因捏造的工作或与记录证据矛盾的数字未通过诚信检查,论文代码和数据均已公开。

    推荐理由:原文给出 9 个前沿 agent 在真实科研方向上 135 篇续作的结果,读者可以据此判断现有 agent 离独立科研还有多远。

  4. HF Daily Papers37

    CLASHarness:通过可控可验证生成流水线评测计算机使用中的多智能体冲突

    CLASHarness 提出生成可验证多智能体冲突任务的计算机使用基准,含 600 个多轮场景,由分层场景规划与八步验证微流水线构建,预先提交关键视觉事实并从执行轨迹直接编译混合评分器,保证任务在构造上可解。

    推荐理由:原文给出用预提交视觉事实与执行轨迹编译评分器的可控生成流水线,可作为多智能体冲突评测的构造范式。

  5. HF Daily Papers44

    WorldMemBench:评估视频世界模型记忆能力的综合基准

    WorldMemBench 是一个用于评估视频世界模型记忆能力的新基准,通过 260 个测试用例检验模型在多次重访中对静态外观/几何与动态状态演化的记忆保持。研究还评测了 9 个代表性模型,发现强静态记忆并不必然带来可靠的动态状态演化,多次重访时记忆会出现进一步退化。

    推荐理由:WorldMemBench 用 260 个测试用例系统评估视频世界模型的静态与动态记忆能力,为诊断记忆失效提供可复用的测试床。

  6. HF Daily Papers35

    OmniCompass:面向多模态视频定位与理解的综合基准

    OmniCompass 是一个用于多模态视频定位与理解的全景评测基准,包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道,分别针对视觉-语言与音视频联合推理,每条轨道覆盖时序定位、空间定位和问答三类任务。

    推荐理由:给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准,便于系统化诊断模型的时序、空间与跨模态短板。

10月12日周一
  1. HF Daily Papers37

    评测/基准:CineRecon 基准测试前沿模型在电影级重建中的智能体能力

    CineRecon 是一个新基准,用 50 段参考视频和 360 段标注评测片段,衡量 AI 智能体把电影级参考视频重建为可编辑动态 3D 场景的能力,设有 Proxy、Simplified、Detailed 三档由低到高的表示要求。

    推荐理由:原文给出 CineRecon 基准的数据规模、三档设置与三类失败维度,为评估智能体重建可控 3D 场景提供新参照。

10月11日周日
  1. 量子位55

    何恺明团队提出VISTA:面向交互推理的视觉原生Harness框架

    何恺明团队发布论文《VISTA》,提出面向交互推理的视觉原生Harness框架,让现有多模态模型直接观察环境、保存原始画面,并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,无需额外训练基础模型。

    推荐理由:原文给出了视觉原生Harness的三个组件设计与多基准成绩,读者可据此对比它与传统文本式Harness在交互推理上的差异。

  2. HF Daily Papers59

    Apertus 1.5:从开放文本模型到开放多模态推理模型

    瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。

    推荐理由:公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。

10月10日周六
  1. HF Daily Papers38

    ExeWorldBench:面向代码驱动的可执行 3D 世界建模评测基准

    论文提出 ExeWorldBench,据称是首个通过构建可执行 3D 世界来综合评估世界理解与可执行实现能力的基准,包含三个递进任务:机制可执行性、组合可执行性以及目标驱动的可执行世界合成。前沿模型上的大规模实验显示,当前模型在该任务上存在明显不足。论文还配套发布了 HelenPeng/ExeWorldBench 数据集与项目页 arXiv:2610.15166。

    推荐理由:该基准把物理因果推理与代码生成能力合并考察,可帮助读者评估前沿模型在可执行世界建模上的真实差距。

  2. HF Daily Papers40

    哪些对比学习策略真正有效:通用多模态嵌入的受控研究

    这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略,发现多数现有策略相比标准对齐基线增益有限,部分甚至会降低整体性能。

    推荐理由:论文在统一框架下复现并对比了多种对比学习策略,揭示出多数策略增益有限,并给出三条失败模式与可迁移的训练组合方案。

  3. HF Daily Papers57

    Last Secure Code Benchmark:AI 编码智能体 vibe coding 代码的安全性评测

    研究者提出 Last Secure Code Benchmark,用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE(含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点)。

    推荐理由:覆盖 7 种语言与 450 个真实漏洞任务,给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。