星动纪元 VPP2 登顶 RoboDojo 仿真榜，领先 GPT-6-Astra 等基线
星动纪元发布的世界动作模型 VPP2 在 RoboDojo 仿真榜单中以 32.26% 平均成功率、39.26 分综合得分两项指标登顶，分别领先 GPT-6-Astra 9.78 个百分点和 10.29 分。
推荐理由：原文同时给出仿真榜单与真机零样本两组对照数据，读者可据此比较 VPP2 与 π0.5 等基线模型的差距。
内容类型
评测基准 最新动态
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
248 条精选近 30 天 223 条共收录 292 条
更新
精选归档 · 第 11 页
量子位精选AI 评分5555 HF Daily Papers精选AI 评分4242 Learn2Play Bench：面向 LLM 智能体经验学习能力的评测基准
论文提出 Learn2Play Bench，用规则新颖或反直觉的文本游戏评测 LLM 智能体在陌生环境中靠交互学习而非调用预训练知识的能力，并通过多次尝试与变体实例做受控评估。
推荐理由：原文给出一套区分预训练知识与真实交互学习的评测方法与三项发现，为改进智能体的经验学习机制提供可对照的实验基线。
Latent Space精选AI 评分3939 Latent Space 汇总 10 月 7-8 日 AI 行业每日动态
Latent Space 汇总 10 月 7-8 日 AI 行业每日动态，覆盖 OpenAI、Anthropic、Google 等多家厂商的模型发布、安全事件与基准更新。
推荐理由：汇集当天 AI 行业多家厂商的模型发布、安全事件与基准更新，方便读者快速把握多线生态进展。
HF Daily Papers精选AI 评分3939 TerminalHorizon：面向长程终端智能体的数据合成引擎与监督微调
TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎，通过独立执行识别真实职业任务中被省略的关键工作，并以证据引导环境重构、围绕同一目标逐步扩展任务序列。
推荐理由：原论文给出从数据合成到微调训练的完整方法与多基准结果，读者可直接对照自己的智能体训练管线和数据构造思路。
HF Daily Papers精选AI 评分4646 AgentSWE 基准：编码 Agent 能否真正交付用户想要的智能体
AgentSWE 是面向智能体软件工程的 25 任务基准，覆盖创建、编辑、优化三个阶段，测试发现受测编码 Agent 均无法交付真正符合需求的智能体。每个任务用少量示例供构建者迭代，再以冻结提交在覆盖完整需求的隐藏用例上按派生 rubric 通过或不通过打分，论文还归纳了对可见用例过拟合、空壳运行时与虚假完成声明三类失败模式。
推荐理由：AgentSWE 用 25 个任务以可见示例与冻结提交对照评估编码 Agent 是否真正满足需求，指出交付差距是常态而非个例。
HF Daily Papers精选AI 评分3737 APEX-Harm：评估共享专业工作区中的智能体安全性
APEX-Harm 是一个用于评估长时程智能体在大型多工具工作区中抵御 prompt 与脚本注入攻击能力的新基准。任务覆盖金融、咨询和法律场景，每个任务含 115–328 个文件，并通过 MCP server 提供邮件、日历、聊天、文档、电子表格、PDF 与代码执行工具。
推荐理由：在 12 个前沿模型上测得具体攻击成功率与任务得分，提供了多工具场景下智能体安全性的横向比较依据。
TechCrunch精选AI 评分6363 AI 模型众包评测平台 Arena 获 2 亿美元 B 轮融资，估值 31 亿美元，10 个月内几近翻倍
AI 模型众包评测平台 Arena 获 2 亿美元 B 轮融资，估值升至 31 亿美元，较 1 月的 17 亿美元几近翻倍。
推荐理由：原文同时给出估值翻倍、年化营收变化和新增 alignment 排行榜的细节，可帮助读者判断众包评测在当前 AI 评估赛道的商业位置。
Hugging Face Blog精选AI 评分4949 阿布扎比技术创新研究所发布 Falcon-ASR：1.6B 参数阿拉伯语语音识别模型
阿布扎比技术创新研究所（TII）发布 1.6B 参数语音识别模型 Falcon-ASR，主打阿拉伯语尤其是阿联酋方言，使用同一组模型权重还支持英语、法语、西班牙语和葡萄牙语。
推荐理由：把模型在公开榜单和内部阿联酋方言评估上的具体 WER 与 CER 数字直接列出，读者可对照已发表系统查看差距。
量子位精选AI 评分6161 PaperBenchX发布：GPT-6 Astra在93篇论文复现任务中完整成功率仅13.98%
UniPat AI发布PaperBenchX基准，在93个跨学科论文复现任务上测试10组前沿模型与Agent框架配置，最强的GPT-6 Astra完整复现率仅13.98%。
推荐理由：从破解千禧难题到端到端复现论文不到七分之一的成功率，给出了衡量AI科研能力与数学解题之间差距的一把尺子。
Product Hunt精选AI 评分4747 Cekura 发布 Cekura Bench：在真实电话场景中评测 9 款实时语音模型
Cekura 发布 Cekura Bench，在真实电话场景中横向评测 9 款实时语音模型并公开每通电话转写与得分。测试覆盖 GPT Realtime 2.1、Gemini Live、Grok、Phonic 等模型，每款在 82 个场景上各跑 3 次，按可靠性、数据准确率、卡顿、响应时间和成本排名。
推荐理由：在真实电话场景里横向评测 9 个实时语音模型并公开全部转写与工具调用，可作为挑选语音 AI 模型时的对比参考。
量子位精选AI 评分6767 Claude Haiku 5.5正式发布 跑分超GPT-6 Luna等小档模型
Anthropic发布Claude Haiku 5.5小型号，在OSWorld 2.1、GDPval-AA v2.1、Terminal-Bench 4.0等基准上跑分超过GPT-6 Luna、DeepSeek V4.1 Flash等同档对手，是首个支持effort五档调节的Haiku型号。
推荐理由：文章将Haiku 5.5与GPT-6 Luna、DeepSeek V4.1 Flash等小档模型逐项跑分与价格对比，并列出从4.5迁移的五处接口改动，便于评估替代成本。
量子位精选AI 评分7474 OpenAI向ChatGPT免费用户推送GPT-6 Luna，聊天框新增Intelligent UI生成图表和交互组件
OpenAI于10月8日起向ChatGPT免费和Go用户推送GPT-6 Luna，替换此前的GPT-5.6 Luna；Plus、Pro等付费用户使用GPT-6 Sol。
推荐理由：汇总了GPT-6相对GPT-5.6在Intelligent UI、回答长度、多轮越狱和情感依赖等安全评测上的具体变化。
HF Daily Papers精选AI 评分4848 论文提出 HSS 基准评估多模态模型的直观视觉推理能力
论文提出 Humanity's Sixth Sense（HSS）基准，用于评估多模态大语言模型的直观视觉推理能力。HSS 覆盖图像与视频输入，按直觉性的时间、空间、社交和抽象结构组织题目，人类受试者准确率达 93.1%，而最强模型 GPT-6-astra 在最大推理强度下仅 53.6%；引入动态视觉操作的智能体设置能缩小差距，但仍未弥合人与模型之间的鸿沟。
推荐理由：论文提出直观视觉推理这一评测轴，人类准确率 93.1% 而最强模型仅 53.6%，为多模态模型的差距对比提供了可量化的标尺。
HF Daily Papers精选AI 评分4444 SWE-Duel：面向编码智能体的自扩展对战评测方法
论文提出 SWE-Duel 评测方法，由两个编码智能体在评测时互相出题与判题，任务在测试时动态生成以避免训练数据泄漏。在 11 个模型与 15 个跨语言仓库的 1,500 轮对战里，GPT-5.5 搭配 Codex CLI 修复 98.3% 被审核缺陷，Claude Opus 4.8 搭配 mini-swe-agent 作为出题方胜率 27.3%。
推荐理由：原文给出在评测时动态生成任务与题解的自扩展基准方法，可与传统静态编码基准在抗训练污染和抗饱和上做对比。
HF Daily Papers精选AI 评分4343 AI 智能体能否通过学习登顶：AAArena 基准上的启发式学习评估
研究提出 Adversarial Heuristic Learning（AHL）范式与 AAArena 评测基准，涵盖 12 款对抗游戏和 1,920 份人类存档程序。在固定对局与评估预算下，Opus 4.5 与 Claude Code 配置获得 6 枚金牌，其余 6 个排行榜未被任何受测配置登顶。实验还发现，对手选择、密集反馈以及自身与他人的对局回放都能支持策略改进。
推荐理由：原文给出 AHL 范式与 AAArena 评测基准，可作为衡量智能体在对抗博弈中相对人类存档程序策略改进表现的参考。
HF Daily Papers精选AI 评分3636 DataVista：面向多模态大模型的数据视频理解评测基准
研究团队发布 DataVista 基准，包含 961 个真实数据视频和 6775 道评估题，按数据感知、时序推理、叙事理解三层能力框架、10 类细粒度问题与 5 个主题领域组织，用于系统评测多模态大模型的数据视频理解能力。
推荐理由：原文提出数据视频理解新基准，并系统对比 19 个主流多模态模型在感知、推理、叙事三层能力上的差距。
HF Daily Papers精选AI 评分3636 论文《Thinking Inertia》：要求不思考时 LLM 仍持续输出推理
论文在 6 个 LLM 上用 6 种提示干预评测无思考行为，发现显式关闭思考模式后模型仍持续输出推理痕迹，称之为 Thinking Inertia。
推荐理由：论文提出三层评估指标来衡量无思考行为，发现显式关闭思考模式后模型仍持续输出推理痕迹，提示该能力需独立评测。
Hacker News精选AI 评分7474 Anthropic 发布 Claude Haiku 5.5，定位为迄今最便宜、最快且能力最强的小模型
Anthropic 发布 Claude Haiku 5.5，称其为迄今最便宜、最快且能力最强的小模型，主打高吞吐、成本敏感任务。
推荐理由：原文给出了 Haiku 5.5 与 Haiku 4.5 的价格和性能对比，以及 Sonnet 5.5 cache reads 降价信息，便于判断小模型在成本敏感场景里的适配位置。
HF Daily Papers精选AI 评分3535 CheckerBench：长程编码智能体能否从零开发静态分析检查器？
CheckerBench 是一个面向静态分析检查器开发的端到端智能体评测基准，包含源自 297 个 CVE、覆盖 167 个仓库与 85 类 CWE 的 300 个任务，每个任务附带漏洞版本、修复版本、固化分析环境与检查器脚手架。
推荐理由：提出了覆盖 297 个 CVE 的端到端检查器开发基准，并量化了当前编码智能体在该长程任务上的实际能力上限。
HF Daily Papers精选AI 评分3939 Gan Jiang：面向 X 射线衍射的自学习科学智能体
Gan Jiang 是一个面向粉末 X 射线衍射的自学习科学智能体，在 DeltaXRDbench 的单相与多相识别任务上均领先所对比方法。
推荐理由：原文展示了无需重训模型即可从失败诊断中迭代出可复用技能的方法，并给出了多基准上的精度对比，可作为科学智能体技能积累机制的参考。