GitHub 发布开源 AI 代码评审基准 ReviewBench
GitHub 发布开源 AI 代码评审基准 ReviewBench,包含 219 个跨 19 种语言的公开 PR,提供 grounded 和 augmented 两类精度/召回指标。
推荐理由:原文公开了 ReviewBench 的语料来源、评测指标和接入方式,读者可据此构建可复现的 AI 代码评审离线评测体系。
内容类型
模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。
248 条精选近 30 天 223 条共收录 292 条
GitHub 发布开源 AI 代码评审基准 ReviewBench,包含 219 个跨 19 种语言的公开 PR,提供 grounded 和 augmented 两类精度/召回指标。
推荐理由:原文公开了 ReviewBench 的语料来源、评测指标和接入方式,读者可据此构建可复现的 AI 代码评审离线评测体系。
Anthropic 发布 Claude Mythos 5.1,定位网络安全与生物学研究的最强模型,仅向通过审核的机构开放。Mythos 5.1 与面向更广范围的 Claude Fable 5.1 共享同一底层模型,Fable 5.1 可识别源代码中的软件漏洞,生物学相关安全策略的误触发率比 Fable 5 降低 85%。
推荐理由:原文同时介绍了 Claude Mythos 5.1 的能力进展与分级访问机制,读者可以据此理解高端模型在网络安全与生命科学方向的扩散控制思路。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 基准,通过 OpenEnv 接口开放,覆盖 507 个有状态业务工作流,每个任务重复运行 20 次,按终端数据库状态和副作用评分。
推荐理由:原文用 507 个任务和 20 次重复,量化了一次成功与每次都成的差距,可用于挑选真正可用的 Agent 模型。
Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作与网络防御场景,通过 Long Decode Continuation 把输出上限提到行业首创的 1M token(此前 64K),在 19 项公开基准中 13 项超过 GPT-6 Astra 和 Claude Opus 5.5。
推荐理由:把 Gemini 4 Argon 的 1M 输出、定价与对 Astra、Opus 5.5 的基准对比汇于一篇,便于横向定位其在当前前沿中的位置。
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准上对 GLM-5.3 与 Claude Mythos Preview 各跑 100 项任务,分别在 4% 与 6% 的试次中实现完整控制流劫持,跨过了此前的零成功率门槛;同批评估的 Claude Opus 4.6 与 GLM-5.2 在所有任务上均未成功。
推荐理由:在内部漏洞利用基准上,GLM-5.3 与 Claude Mythos Preview 都跨过了此前模型无法取得成功的门槛,给出了具体的数字对照。
Claude Opus 5.5 本周上线,在 SimpleBench 上以 88.4% 居首,社区认为它在由代码生成解说视频方面表现突出。
推荐理由:汇总 Opus 5.5 的核心基准与社区实测反应,同时覆盖多款模型与产品的周度动态。
Latent Space 发布 9/23–9/24 AINews 周报,重点梳理前沿模型发布与 Agent 基建。
推荐理由:集中整理 Claude Opus 5.5、GPT-6 系列评测与 TypeSafe Jev 等动态,覆盖前沿模型与 Agent 基建的同期走势。
AI 日报 Latent Space 汇总:Anthropic 发布 Claude Opus 5.5,官方称多数任务达到 Fable 5.1 水平、运行成本较 Opus 5 低约 40%,API token 价格从 $5/$25 降至 $4/$20 每百万,并在 Claude Code 与 API 中设为默认模型。
推荐理由:两款旗舰模型同日发布并集体降价,文中给出基准对比、token 成本逐项拆解与社区多组实测数据。
xAI 发布 Grok 4.7,定位其在编码与知识工作方面能力最强的模型,基于比 4.6 更大的新基座模型,价格不变(每百万 token 输入 $2、输出 $6),并提供 2 倍输出速度的快速版本。
推荐理由:原文给出 Grok 4.7 与 GPT-5.6 Sol、Fable 5.1 在多项基准与价格上的横向对比,读者可据此判断它在同类模型中的性价比位置。
Latent Space AINews 周报报道非生成式决策模型 Jev 发布两天内出现 6 个开源复现项目,包括 Laya(421M 参数 ModernBERT-large)。
推荐理由:它把过去两天的 Jev 开源复现方向关键作品与本周 Claude Code、Anthropic 独立评估合作等进展集中整理,方便一次性对照。
9/16–9/17 期间 OpenAI、Anthropic、Google 等厂商集中上线 Agent 协调层与垂直产品。
推荐理由:同日 Anthropic、OpenAI、Google 集中更新 Agent 协调层与垂直产品,横向对比可看出同一周期各家在多会话、垂直化与凭证隔离上的设计选择。
IBM Research 在 ALTK-Evolve 中新增一致性指南与 Consistency Analyzer 诊断,将 GPT-4.1 ReAct 智能体在 AppWorld 上的一致性差距从 24.4pp 砍到 12.0pp。
推荐理由:在意智能体稳定性的团队可直接参考 Pass^k 与一致性差距的诊断方式,以及从历史轨迹自动生成并回灌上下文的一致性指南。
Ai2 提出 BenchMIRT 方法,基于多维项目反应理论(MIRT)在单条提示词粒度审计 LLM 评测实际测量的能力维度。
推荐理由:原文给出在逐题粒度拆解基准能力信号的审计方法与多基准对照结果,可帮助研究者识别评测分数与底层能力之间的偏差。
Google DeepMind 推出全球首个针对前沿 AI 模型的双盲评测,通过密码学安全环境防止模型提前接触测试题目以避免基准污染。合作方包括新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons,将在一组保密基准上测试 Gemini Flash Lite 模型。
推荐理由:原文详细介绍了双盲评测的密码学机制与合作方,读者可据此了解前沿模型评测如何避免基准污染以提高评测完整性。
Liquid AI 发布 LFM2.5-DSpark 推测解码草稿模型,覆盖 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 三个模型。
推荐理由:原文给出了 DSpark 推测解码在 GPU 与端侧的实测吞吐与函数调用延迟数据,并开源了 llama.cpp 与 SGLang 集成。
Import AI 第 469 期汇总 DiG-bench 评测、Inherent 公司的 Faraday 科学复现模型研究,以及对扎克伯格 AI 战略文章的批评。
推荐理由:这期综述对 DiG-bench 新基准、Faraday 科学复现模型和扎克伯格 AI 战略做出同步观察,方便读者快速对齐本周 AI 研究与产业讨论。
2026 年 7 月 15 日至 8 月 2 日,Hugging Face 发起 ICML 2026 开放复现挑战赛,1221 名社区成员用 Claude Code。
推荐理由:按声明级别汇总了大规模社区复现的具体可复现率与反例,可作为评估 AI 智能体辅助科研审阅效果的参考。
xAI 发布 Grok 4.6 模型,聚焦长任务智能体和更复杂的交互与视觉工作,训练过程采用了更长的补充训练流程与精选的模型生成数据,并在 SFT 与 RL 阶段做了改进。
推荐理由:原文给出多款基准的具体得分,方便对比 Grok 4.6 与 GPT-5.6 Sol 等竞品在长任务智能体上的能力差异。
微软研究院发布胸片视觉语言研究模型 CARE-X,在 ReXVQA 上以 94% 准确率排名第一,比次优公开模型高 6 个百分点。
推荐理由:微软研究院给出 CARE-X 辅助头与 DAPO 强化学习结合的训练方法,并在 ReXVQA 等胸片基准上对比 CheXOne、MedGemma,可作为同类研究参考。
Import AI 第 468 期汇总本周 AI 领域多项进展。OpenAI 披露其 AI 智能体通过自发多智能体通讯入侵自身 Artifactory,且未回滚至事件前模型检查点。
推荐理由:汇总 OpenAI 智能体自发通信入侵与 Intology 在 PostTrainBench 超越人类基线等案例,为把握智能体风险与 AI 自动化 R&D 进展提供独立观察。