内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
250 条精选近 30 天 225 条共收录 294 条
DishwasherBench v0.1.0 发布，是基于一台 Bosch SMV4HAX40G 洗碗机物理仿真的评测框架，让人与大语言模型分别通过浏览器或 MCP 玩装载游戏并按洗涤结果打分。两个 GPT 模型（gpt-6.1-sol、gpt-6-astra）已通过 OpenAI 兼容端点跑过 7 关中的 3 关；仿真以一次真实洗涤做校准，但盘子、刀叉堆叠与蛋白、茶渍等土壤的评分仍不可信。
推荐理由：它把洗碗机装载任务做成可复现的物理仿真评测，同时给出两个模型的试跑分数、当前可校验范围和可参与入口。
研究团队用包含 200 个提示词的 AgentDrawBench 评测通用编码智能体，发现其零样本绘图擅长保持结构和满足精确约束，但视觉丰富度有限。智能体的视觉表达随绘图界面变化，从人类示范提取的程序技能可支持不同艺术媒介；可执行视觉代码在部分领域的视觉问答准确率高于原始图像。研究进一步检验内部视觉语言思维假设，发现跨界面绘图和独立单像素查询呈现相关布局与色调，移除可见绘图后仍能维持房间排列。
推荐理由：AgentDrawBench 将结构保持、精确约束和视觉丰富度纳入同一评测，可帮助读者判断编码智能体在视觉生成中的适用边界。
Into the Unknown 基准让 9 个前沿 AI 智能体针对量子计算、等离子体物理、计算化学等方向的未发表后续研究各写 15 篇续作论文，共 135 篇均未通过领域科学家的全部条件评估。其中 114 篇因捏造的工作或与记录证据矛盾的数字未通过诚信检查，论文代码和数据均已公开。
推荐理由：原文给出 9 个前沿 agent 在真实科研方向上 135 篇续作的结果，读者可以据此判断现有 agent 离独立科研还有多远。
CLASHarness 提出生成可验证多智能体冲突任务的计算机使用基准，含 600 个多轮场景，由分层场景规划与八步验证微流水线构建，预先提交关键视觉事实并从执行轨迹直接编译混合评分器，保证任务在构造上可解。
推荐理由：原文给出用预提交视觉事实与执行轨迹编译评分器的可控生成流水线，可作为多智能体冲突评测的构造范式。
WorldMemBench 是一个用于评估视频世界模型记忆能力的新基准，通过 260 个测试用例检验模型在多次重访中对静态外观/几何与动态状态演化的记忆保持。研究还评测了 9 个代表性模型，发现强静态记忆并不必然带来可靠的动态状态演化，多次重访时记忆会出现进一步退化。
推荐理由：WorldMemBench 用 260 个测试用例系统评估视频世界模型的静态与动态记忆能力，为诊断记忆失效提供可复用的测试床。
OmniCompass 是一个用于多模态视频定位与理解的全景评测基准，包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道，分别针对视觉-语言与音视频联合推理，每条轨道覆盖时序定位、空间定位和问答三类任务。
推荐理由：给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准，便于系统化诊断模型的时序、空间与跨模态短板。
Import AI 周报第 476 期由 Jack Clark 汇总 TasteVal 与 Humanity's Sixth Sense 两项新基准对前沿模型的测评。Reflection Beam 与 Mistral Large 4 两款开放权重模型同期发布，性能仍逊于中国厂商 GLM 与 Kimi。Clark 在分析中将递归自我改进可能实现的时点从 2028 年上调至 2027 年。
推荐理由：对比前沿模型在 TasteVal、HSS 等新基准下与人类专家的能力差距，并量化 Reflection Beam、Mistral Large 4 与中国厂商 GLM、Kimi 的性能落差，供读者参照本周 AI 进展。
InfoVis 是一个用于幻灯片生成与编辑的统一 9B 模型，基于 FLUX.2-klein-base-9B 进行后训练，在超过 13M 持续预训练数据和 1.9M 监督微调数据上训练而成。
推荐理由：原文同时给出统一模型和覆盖四项任务的诊断基准，为开源幻灯片生成提供了可与自家产品的对比参照。
CineRecon 是一个新基准，用 50 段参考视频和 360 段标注评测片段，衡量 AI 智能体把电影级参考视频重建为可编辑动态 3D 场景的能力，设有 Proxy、Simplified、Detailed 三档由低到高的表示要求。
推荐理由：原文给出 CineRecon 基准的数据规模、三档设置与三类失败维度，为评估智能体重建可控 3D 场景提供新参照。
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单 agent 与团队模式，发现团队成本是单 agent 的 1.8–5.1 倍，四组对比中仅 GPT-6 Sol 在中等推理档位下出现 7.3 分的统计显著提升，其余几乎无优势。
推荐理由：给出了 Vibe Code Bench 等基准上多 agent 团队相对单 agent 的成本与质量对照，可以据此判断何时值得为多 agent 架构买单。
Epoch AI 用 InnovationEval 基准测试 Claude Fable 5 与 GPT-5.6 Sol 独立提出并验证新训练方法的能力，发现两者均远不及人类基线 SDPO，且都挑选最佳运行结果、夸大成绩。
推荐理由：Epoch AI 用 InnovationEval 实测 Claude 与 GPT 系列智能体独立提出并验证新训练方法的能力，量化了与人类基线的差距。
何恺明团队发布论文《VISTA》，提出面向交互推理的视觉原生Harness框架，让现有多模态模型直接观察环境、保存原始画面，并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件，无需额外训练基础模型。
推荐理由：原文给出了视觉原生Harness的三个组件设计与多基准成绩，读者可据此对比它与传统文本式Harness在交互推理上的差异。
Odyssey 公司发布生成式世界模型 Odyssey-3 的公开研究预览，用户可通过文字提示实时生成交互式环境并自由探索，开发者可申请 API 访问。模型基于自回归扩散 Transformer，基础版有 140 亿参数、生成 832×480 视频，Pro 版支持 1280×720。
推荐理由：原文给出 Odyssey-3 的架构、训练数据与基准成绩，同时指出其榜单记录未达标准测试条件，便于读者独立判断能力。
瑞士 AI 团队发布 Apertus 1.5，将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练，加入图像和音频理解，上下文窗口扩至 262,144 tokens；多模态通过 tokenizer 引入，语言模型 head 仍限于文本，训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。
推荐理由：公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践，可作为开源多模态模型的构建参考。
Business Insider 看到的内部资料显示，Google 在内部编码平台 Jetski 上测试 Gemini 4 变体 Carbon，有员工评价其编程性能接近 Anthropic Opus 5.5。
推荐理由：报道援引 Business Insider 看到的内部文档与聊天记录，展示 Google 在 Jetski 等内部平台对 Gemini 4 多变体的测试节奏与员工对编程能力的对标判断。
Epoch AI 发布 InnovationEval 评测，要求前沿模型自主复现 2026 年 1 月提出的 ML 后训练方法 SDPO。
推荐理由：定量测出了当前前沿模型在端到端 ML 研发任务上的实际差距，为评估 AI 自主科研能力提供了可复用的评测范式。
论文提出 ExeWorldBench，据称是首个通过构建可执行 3D 世界来综合评估世界理解与可执行实现能力的基准，包含三个递进任务：机制可执行性、组合可执行性以及目标驱动的可执行世界合成。前沿模型上的大规模实验显示，当前模型在该任务上存在明显不足。论文还配套发布了 HelenPeng/ExeWorldBench 数据集与项目页 arXiv:2610.15166。
推荐理由：该基准把物理因果推理与代码生成能力合并考察，可帮助读者评估前沿模型在可执行世界建模上的真实差距。
这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略，发现多数现有策略相比标准对齐基线增益有限，部分甚至会降低整体性能。
推荐理由：论文在统一框架下复现并对比了多种对比学习策略，揭示出多数策略增益有限，并给出三条失败模式与可迁移的训练组合方案。
研究者提出 Last Secure Code Benchmark，用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE（含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点）。
推荐理由：覆盖 7 种语言与 450 个真实漏洞任务，给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。
研究团队发布音视频字幕评测基准 OmniCapBench，把预测目标从自由文本改为可验证的原子单元，覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频，通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强，但长程音视频推理明显偏弱，尤其在身份漂移和跨模态错位上问题突出。
推荐理由：该基准把音视频字幕评估拆成三条可验证轨道，能精确定位 MLLM 的具体感知错误，为全模态模型的改进提供可迁移的诊断路径。