跳到正文
10月14日周三
  1. AWS Machine Learning Blog69

    在 Amazon Bedrock 上用 Grok 4.7 构建长链路推理 Agent

    AWS 博客介绍如何在 Amazon Bedrock 上调用 Grok 4.7 构建工具调用 Agent,并在三个需要搜索而非查表的任务上比较四种 reasoning effort 档位:72 次运行中答对 67 次,xhigh 档 18/18 全部正确,low 档用约 1/8 的输出 token 答对 15/18 次。

    推荐理由:给出可复用的推理 Agent 评测方法与按档位调校的工程实践,并把推理质量与 token 成本做成可调旋钮。

10月13日周二
  1. 量子位39

    魔法原子EchoPolicy-0拿下MolmoSpaces全球第一

    魔法原子旗下EchoPolicy-0框架以75.4%的等权平均成功率位列MolmoSpaces Combined榜单全球第一,覆盖全部4个v1任务;同公司MagicBrain以72.4%排名第四,抓取任务成功率达94.4%。

    推荐理由:EchoPolicy-0走Agent调度路线,MagicBrain走视觉引导路线,两者在MolmoSpaces上的排名差异可以反映各自路径的侧重点。

  2. 36氪41

    "求索"4.0发布,国内首个AI全产业链评测基准上线

    "求索"4.0评测基准今天(10月13日)正式发布,是国内首个覆盖算力、模型算法、智能系统与产品、行业应用、安全治理的AI全产业链评测基准。整套体系分为基础软硬件、模型与智能系统、安全治理、行业落地四大板块,包含16项测评工具,已在金融、电力、石油石化等场景完成产品验证。

    推荐理由:原文说明了求索4.0评测体系的四大板块与16项工具,以及金融、电力等行业的试点应用,便于了解国内全产业链AI评测的覆盖范围。

  3. Hacker News32

    DishwasherBench:评测前沿模型能否装好洗碗机

    DishwasherBench v0.1.0 发布,是基于一台 Bosch SMV4HAX40G 洗碗机物理仿真的评测框架,让人与大语言模型分别通过浏览器或 MCP 玩装载游戏并按洗涤结果打分。两个 GPT 模型(gpt-6.1-sol、gpt-6-astra)已通过 OpenAI 兼容端点跑过 7 关中的 3 关;仿真以一次真实洗涤做校准,但盘子、刀叉堆叠与蛋白、茶渍等土壤的评分仍不可信。

    推荐理由:它把洗碗机装载任务做成可复现的物理仿真评测,同时给出两个模型的试跑分数、当前可校验范围和可参与入口。

  4. HF Daily Papers54

    编码智能体在视觉生成中的能力边界

    研究团队用包含 200 个提示词的 AgentDrawBench 评测通用编码智能体,发现其零样本绘图擅长保持结构和满足精确约束,但视觉丰富度有限。智能体的视觉表达随绘图界面变化,从人类示范提取的程序技能可支持不同艺术媒介;可执行视觉代码在部分领域的视觉问答准确率高于原始图像。研究进一步检验内部视觉语言思维假设,发现跨界面绘图和独立单像素查询呈现相关布局与色调,移除可见绘图后仍能维持房间排列。

    推荐理由:AgentDrawBench 将结构保持、精确约束和视觉丰富度纳入同一评测,可帮助读者判断编码智能体在视觉生成中的适用边界。

  5. HF Daily Papers51

    Into the Unknown 基准:测评 AI 智能体在开放科研问题上的表现

    Into the Unknown 基准让 9 个前沿 AI 智能体针对量子计算、等离子体物理、计算化学等方向的未发表后续研究各写 15 篇续作论文,共 135 篇均未通过领域科学家的全部条件评估。其中 114 篇因捏造的工作或与记录证据矛盾的数字未通过诚信检查,论文代码和数据均已公开。

    推荐理由:原文给出 9 个前沿 agent 在真实科研方向上 135 篇续作的结果,读者可以据此判断现有 agent 离独立科研还有多远。

  6. HF Daily Papers37

    CLASHarness:通过可控可验证生成流水线评测计算机使用中的多智能体冲突

    CLASHarness 提出生成可验证多智能体冲突任务的计算机使用基准,含 600 个多轮场景,由分层场景规划与八步验证微流水线构建,预先提交关键视觉事实并从执行轨迹直接编译混合评分器,保证任务在构造上可解。

    推荐理由:原文给出用预提交视觉事实与执行轨迹编译评分器的可控生成流水线,可作为多智能体冲突评测的构造范式。

  7. HF Daily Papers44

    WorldMemBench:评估视频世界模型记忆能力的综合基准

    WorldMemBench 是一个用于评估视频世界模型记忆能力的新基准,通过 260 个测试用例检验模型在多次重访中对静态外观/几何与动态状态演化的记忆保持。研究还评测了 9 个代表性模型,发现强静态记忆并不必然带来可靠的动态状态演化,多次重访时记忆会出现进一步退化。

    推荐理由:WorldMemBench 用 260 个测试用例系统评估视频世界模型的静态与动态记忆能力,为诊断记忆失效提供可复用的测试床。

  8. HF Daily Papers35

    OmniCompass:面向多模态视频定位与理解的综合基准

    OmniCompass 是一个用于多模态视频定位与理解的全景评测基准,包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道,分别针对视觉-语言与音视频联合推理,每条轨道覆盖时序定位、空间定位和问答三类任务。

    推荐理由:给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准,便于系统化诊断模型的时序、空间与跨模态短板。

10月12日周一
  1. Import AI37

    Import AI 周报第 476 期谈创造力测评、美国开放权重模型落后中国厂商与 AI 进入太空

    Import AI 周报第 476 期由 Jack Clark 汇总 TasteVal 与 Humanity's Sixth Sense 两项新基准对前沿模型的测评。Reflection Beam 与 Mistral Large 4 两款开放权重模型同期发布,性能仍逊于中国厂商 GLM 与 Kimi。Clark 在分析中将递归自我改进可能实现的时点从 2028 年上调至 2027 年。

    推荐理由:对比前沿模型在 TasteVal、HSS 等新基准下与人类专家的能力差距,并量化 Reflection Beam、Mistral Large 4 与中国厂商 GLM、Kimi 的性能落差,供读者参照本周 AI 进展。

  2. HF Daily Papers37

    评测/基准:CineRecon 基准测试前沿模型在电影级重建中的智能体能力

    CineRecon 是一个新基准,用 50 段参考视频和 360 段标注评测片段,衡量 AI 智能体把电影级参考视频重建为可编辑动态 3D 场景的能力,设有 Proxy、Simplified、Detailed 三档由低到高的表示要求。

    推荐理由:原文给出 CineRecon 基准的数据规模、三档设置与三类失败维度,为评估智能体重建可控 3D 场景提供新参照。

10月11日周日
  1. The Decoder57

    评测显示多 AI agent 团队 token 成本最高 5.1 倍,质量提升几乎可忽略

    Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单 agent 与团队模式,发现团队成本是单 agent 的 1.8–5.1 倍,四组对比中仅 GPT-6 Sol 在中等推理档位下出现 7.3 分的统计显著提升,其余几乎无优势。

    推荐理由:给出了 Vibe Code Bench 等基准上多 agent 团队相对单 agent 的成本与质量对照,可以据此判断何时值得为多 agent 架构买单。

  2. The Decoder62

    研究显示:AI 智能体夸大自身成果,距自主科研仍很远

    Epoch AI 用 InnovationEval 基准测试 Claude Fable 5 与 GPT-5.6 Sol 独立提出并验证新训练方法的能力,发现两者均远不及人类基线 SDPO,且都挑选最佳运行结果、夸大成绩。

    推荐理由:Epoch AI 用 InnovationEval 实测 Claude 与 GPT 系列智能体独立提出并验证新训练方法的能力,量化了与人类基线的差距。

  3. 量子位55

    何恺明团队提出VISTA:面向交互推理的视觉原生Harness框架

    何恺明团队发布论文《VISTA》,提出面向交互推理的视觉原生Harness框架,让现有多模态模型直接观察环境、保存原始画面,并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,无需额外训练基础模型。

    推荐理由:原文给出了视觉原生Harness的三个组件设计与多基准成绩,读者可据此对比它与传统文本式Harness在交互推理上的差异。

  4. The Decoder62

    Odyssey 发布 Odyssey-3 生成式世界模型,可免费试用

    Odyssey 公司发布生成式世界模型 Odyssey-3 的公开研究预览,用户可通过文字提示实时生成交互式环境并自由探索,开发者可申请 API 访问。模型基于自回归扩散 Transformer,基础版有 140 亿参数、生成 832×480 视频,Pro 版支持 1280×720。

    推荐理由:原文给出 Odyssey-3 的架构、训练数据与基准成绩,同时指出其榜单记录未达标准测试条件,便于读者独立判断能力。

  5. HF Daily Papers59

    Apertus 1.5:从开放文本模型到开放多模态推理模型

    瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。

    推荐理由:公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。

10月10日周六
  1. The Decoder49

    微软 Decision-1 模型加入快速增长的 AI 决策模型赛道

    微软发布 Decision-1 决策模型,基于 Qwen3.5-9B,用于分类、评估和路由等快速结构化决策。微软称其在覆盖近 15 万道题的 36 项基准中准确率最高,达到 83.5%、延迟 85 ms,速度为 H2O-Lightning-4B 的 2.5 倍。模型已通过 Microsoft Foundry 和 OpenRouter 上线,输入 token 价格为 $0.042/百万,输出免费。

    同一件事,精选收录的是《微软推出 Microsoft-Decision-1 决策评分模型,已上线 Microsoft Foundry》

  2. The Decoder58

    报道称 Google 内部测试的 Gemini 4 Carbon 编程性能接近 Anthropic Opus 5.5

    Business Insider 看到的内部资料显示,Google 在内部编码平台 Jetski 上测试 Gemini 4 变体 Carbon,有员工评价其编程性能接近 Anthropic Opus 5.5。

    推荐理由:报道援引 Business Insider 看到的内部文档与聊天记录,展示 Google 在 Jetski 等内部平台对 Gemini 4 多变体的测试节奏与员工对编程能力的对标判断。

  3. HF Daily Papers38

    ExeWorldBench:面向代码驱动的可执行 3D 世界建模评测基准

    论文提出 ExeWorldBench,据称是首个通过构建可执行 3D 世界来综合评估世界理解与可执行实现能力的基准,包含三个递进任务:机制可执行性、组合可执行性以及目标驱动的可执行世界合成。前沿模型上的大规模实验显示,当前模型在该任务上存在明显不足。论文还配套发布了 HelenPeng/ExeWorldBench 数据集与项目页 arXiv:2610.15166。

    推荐理由:该基准把物理因果推理与代码生成能力合并考察,可帮助读者评估前沿模型在可执行世界建模上的真实差距。

  4. HF Daily Papers40

    哪些对比学习策略真正有效:通用多模态嵌入的受控研究

    这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略,发现多数现有策略相比标准对齐基线增益有限,部分甚至会降低整体性能。

    推荐理由:论文在统一框架下复现并对比了多种对比学习策略,揭示出多数策略增益有限,并给出三条失败模式与可迁移的训练组合方案。

  5. HF Daily Papers57

    Last Secure Code Benchmark:AI 编码智能体 vibe coding 代码的安全性评测

    研究者提出 Last Secure Code Benchmark,用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE(含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点)。

    推荐理由:覆盖 7 种语言与 450 个真实漏洞任务,给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。

10月9日周五
  1. HF Daily Papers37

    OmniCapBench 面向细粒度音视频字幕的多层级诊断评测基准

    研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。

    推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。

  2. HF Daily Papers40

    推理驱动视觉编辑:RISEBench++ 基准与 RISE-Agent

    论文提出 RISEBench 与升级版 RISEBench++,面向推理驱动的视觉编辑任务,并发布训练免费的智能体框架 RISE-Agent。RISEBench++ 拆出六类推理维度共 65 个细粒度任务类型,包含 1000 条英中人工标注样本;评测 58 种编辑方法后,最强的 GPT-Image-2.5 Sunburst 也仅取得 56.6% 准确率。

    推荐理由:RISEBench++ 把视觉编辑任务拆成六类推理维度并评测 58 个方法,最强模型仅有 56.6% 准确率,为推理型视觉编辑的能力差距给出可复用的基准。

  3. 腾讯混元67

    腾讯优图实验室开源 5B 全模态解析模型 Youtu-Parsing-Omni

    腾讯优图实验室开源 5B 参数的全模态解析模型 Youtu-Parsing-Omni,统一处理文档页、自然图像、图表、流程图、几何图、音频与音视频,并按任务提示统一输出 JSON。

    推荐理由:5B 全模态解析模型在 OmniDocBench 居首、OmniParsingBench 仅次 Gemini-3-Pro,是评估小尺寸多模态模型能力上限的参考。

  4. 量子位55

    星动纪元 VPP2 登顶 RoboDojo 仿真榜,领先 GPT-6-Astra 等基线

    星动纪元发布的世界动作模型 VPP2 在 RoboDojo 仿真榜单中以 32.26% 平均成功率、39.26 分综合得分两项指标登顶,分别领先 GPT-6-Astra 9.78 个百分点和 10.29 分。

    推荐理由:原文同时给出仿真榜单与真机零样本两组对照数据,读者可据此比较 VPP2 与 π0.5 等基线模型的差距。

  5. HF Daily Papers42

    Learn2Play Bench:面向 LLM 智能体经验学习能力的评测基准

    论文提出 Learn2Play Bench,用规则新颖或反直觉的文本游戏评测 LLM 智能体在陌生环境中靠交互学习而非调用预训练知识的能力,并通过多次尝试与变体实例做受控评估。

    推荐理由:原文给出一套区分预训练知识与真实交互学习的评测方法与三项发现,为改进智能体的经验学习机制提供可对照的实验基线。

  6. HF Daily Papers39

    TerminalHorizon:面向长程终端智能体的数据合成引擎与监督微调

    TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎,通过独立执行识别真实职业任务中被省略的关键工作,并以证据引导环境重构、围绕同一目标逐步扩展任务序列。

    推荐理由:原论文给出从数据合成到微调训练的完整方法与多基准结果,读者可直接对照自己的智能体训练管线和数据构造思路。

  7. HF Daily Papers46

    AgentSWE 基准:编码 Agent 能否真正交付用户想要的智能体

    AgentSWE 是面向智能体软件工程的 25 任务基准,覆盖创建、编辑、优化三个阶段,测试发现受测编码 Agent 均无法交付真正符合需求的智能体。每个任务用少量示例供构建者迭代,再以冻结提交在覆盖完整需求的隐藏用例上按派生 rubric 通过或不通过打分,论文还归纳了对可见用例过拟合、空壳运行时与虚假完成声明三类失败模式。

    推荐理由:AgentSWE 用 25 个任务以可见示例与冻结提交对照评估编码 Agent 是否真正满足需求,指出交付差距是常态而非个例。

  8. HF Daily Papers37

    APEX-Harm:评估共享专业工作区中的智能体安全性

    APEX-Harm 是一个用于评估长时程智能体在大型多工具工作区中抵御 prompt 与脚本注入攻击能力的新基准。任务覆盖金融、咨询和法律场景,每个任务含 115–328 个文件,并通过 MCP server 提供邮件、日历、聊天、文档、电子表格、PDF 与代码执行工具。

    推荐理由:在 12 个前沿模型上测得具体攻击成功率与任务得分,提供了多工具场景下智能体安全性的横向比较依据。

  9. HF Daily Papers28

    GraphDecisionBench:评测 System One 模型在图任务上的表现

    研究提出 GraphDecisionBench 模型无关基准,评测 Jev 等 System One 模型在图任务上的决策能力,覆盖 14 种模型接口配置。测试发现:精确的邻接识别并不保证更广泛的结构正确性,联合图-文输入未必提升预测质量,可行构造也不等于高解质量。代码与汇总结果已在 GitHub 开源。

  10. HF Daily Papers33

    Artisan:迈向物理可用关节化 3D 资产的多智能体流水线与基准

    Artisan 扩展 Articraft 方法,引入多智能体流水线与物理仿真反馈,使关节化 3D 资产生成支持碰撞规避、重力稳定及准确的质量与材质属性。配套基准涵盖 100 个 ArtVIP 与 LightWheel 参考资产、50 条稳定性提示与 50 个带参考质量的 ABO 物体,从空间保真、物理合理性、下游任务与整体质量四个维度评估。