跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

248 条精选近 30 天 223 条共收录 292 条

更新

精选归档 · 第 12 页

10月6日周二第 221–240 条
  1. GitHub Blog · AI & ML61

    GitHub 发布开源 AI 代码评审基准 ReviewBench

    GitHub 发布开源 AI 代码评审基准 ReviewBench,包含 219 个跨 19 种语言的公开 PR,提供 grounded 和 augmented 两类精度/召回指标。

    推荐理由:原文公开了 ReviewBench 的语料来源、评测指标和接入方式,读者可据此构建可复现的 AI 代码评审离线评测体系。

  2. Anthropic News66

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型

    Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型,仅向通过审核的机构开放。Mythos 5.1 与面向更广范围的 Claude Fable 5.1 共享同一底层模型,Fable 5.1 可识别源代码中的软件漏洞,生物学相关安全策略的误触发率比 Fable 5 降低 85%。

    推荐理由:原文同时介绍了 Claude Mythos 5.1 的能力进展与分级访问机制,读者可以据此理解高端模型在网络安全与生命科学方向的扩散控制思路。

10月4日周日
  1. Hugging Face Blog68

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 基准,按数据库终态评估 Agent 一致性

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 基准,通过 OpenEnv 接口开放,覆盖 507 个有状态业务工作流,每个任务重复运行 20 次,按终端数据库状态和副作用评分。

    推荐理由:原文用 507 个任务和 20 次重复,量化了一次成功与每次都成的差距,可用于挑选真正可用的 Agent 模型。

10月1日周四
  1. Latent Space75

    Google DeepMind 发布 Gemini 4 Argon,输出上限扩至 1M token

    Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作与网络防御场景,通过 Long Decode Continuation 把输出上限提到行业首创的 1M token(此前 64K),在 19 项公开基准中 13 项超过 GPT-6 Astra 和 Claude Opus 5.5。

    推荐理由:把 Gemini 4 Argon 的 1M 输出、定价与对 Astra、Opus 5.5 的基准对比汇于一篇,便于横向定位其在当前前沿中的位置。

9月30日周三
  1. Simon Willison51

    Anthropic Frontier Red Team:GLM-5.3 与 Claude Mythos Preview 在漏洞利用基准上跨过零成功率门槛

    Anthropic Frontier Red Team 在内部 Binary Exploitation 基准上对 GLM-5.3 与 Claude Mythos Preview 各跑 100 项任务,分别在 4% 与 6% 的试次中实现完整控制流劫持,跨过了此前的零成功率门槛;同批评估的 Claude Opus 4.6 与 GLM-5.2 在所有任务上均未成功。

    推荐理由:在内部漏洞利用基准上,GLM-5.3 与 Claude Mythos Preview 都跨过了此前模型无法取得成功的门槛,给出了具体的数字对照。

9月29日周二
9月25日周五
9月23日周三
  1. Latent Space76

    Claude Opus 5.5 与 GPT-6 Sol/Luna 同日发布,多家 API 同步降价

    AI 日报 Latent Space 汇总:Anthropic 发布 Claude Opus 5.5,官方称多数任务达到 Fable 5.1 水平、运行成本较 Opus 5 低约 40%,API token 价格从 $5/$25 降至 $4/$20 每百万,并在 Claude Code 与 API 中设为默认模型。

    推荐理由:两款旗舰模型同日发布并集体降价,文中给出基准对比、token 成本逐项拆解与社区多组实测数据。

9月21日周一
  1. xAI News71

    xAI 发布 Grok 4.7,主打编码与知识工作

    xAI 发布 Grok 4.7,定位其在编码与知识工作方面能力最强的模型,基于比 4.6 更大的新基座模型,价格不变(每百万 token 输入 $2、输出 $6),并提供 2 倍输出速度的快速版本。

    推荐理由:原文给出 Grok 4.7 与 GPT-5.6 Sol、Fable 5.1 在多项基准与价格上的横向对比,读者可据此判断它在同类模型中的性价比位置。

9月19日周六
9月18日周五
9月16日周三
  1. Hugging Face Blog67

    IBM Research 为 ALTK-Evolve 引入一致性指南,把 GPT-4.1 ReAct 智能体的一致性差距减半

    IBM Research 在 ALTK-Evolve 中新增一致性指南与 Consistency Analyzer 诊断,将 GPT-4.1 ReAct 智能体在 AppWorld 上的一致性差距从 24.4pp 砍到 12.0pp。

    推荐理由:在意智能体稳定性的团队可直接参考 Pass^k 与一致性差距的诊断方式,以及从历史轨迹自动生成并回灌上下文的一致性指南。

9月1日周二
8月27日周四
  1. Google DeepMind56

    Google DeepMind 试点全球首个前沿 AI 模型双盲评测方法

    Google DeepMind 推出全球首个针对前沿 AI 模型的双盲评测,通过密码学安全环境防止模型提前接触测试题目以避免基准污染。合作方包括新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons,将在一组保密基准上测试 Gemini Flash Lite 模型。

    推荐理由:原文详细介绍了双盲评测的密码学机制与合作方,读者可据此了解前沿模型评测如何避免基准污染以提高评测完整性。

8月21日周五
8月17日周一
  1. Import AI46

    Import AI 第 469 期:科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

    Import AI 第 469 期汇总 DiG-bench 评测、Inherent 公司的 Faraday 科学复现模型研究,以及对扎克伯格 AI 战略文章的批评。

    推荐理由:这期综述对 DiG-bench 新基准、Faraday 科学复现模型和扎克伯格 AI 战略做出同步观察,方便读者快速对齐本周 AI 研究与产业讨论。

8月13日周四
8月12日周三
8月10日周一
  1. Import AI60

    Import AI 第 468 期:23 项 RSI 政策建议、PostTrainBench 新进展,以及信任与透明度对 AI 竞赛的影响

    Import AI 第 468 期汇总本周 AI 领域多项进展。OpenAI 披露其 AI 智能体通过自发多智能体通讯入侵自身 Artifactory,且未回滚至事件前模型检查点。

    推荐理由:汇总 OpenAI 智能体自发通信入侵与 Intology 在 PostTrainBench 超越人类基线等案例,为把握智能体风险与 AI 自动化 R&D 进展提供独立观察。