内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
250 条精选近 30 天 225 条共收录 294 条
研究者推出 PhysClosureBench 基准，包含 50 个经专家验证、目标明确的物理研究任务，用于评估 AI 智能体组织调研并获取充分证据以回答问题的能力，其中 Atomic Score 衡量局部科研产出，Research Closure（RC0–RC4）衡量对研究问题的闭环程度。
推荐理由：论文提出 RC0–RC4 五级闭环评分并测试 7 个前沿模型，揭示出局部科研产出与完整研究闭环之间的持续差距，为科研类 Agent 评测提供新角度。
Google DeepMind 工程师 Haydn Belfield 表示，自我改进 AI 仍距现实很远，DeepMind 尚未观测到 AI 显著加速 AI 研究本身。
推荐理由：原文给出了 AI 自动化渗透率与能力增速的实测数字，并对照自动化上限与人工把关环节，读者可据此校准对自我改进 AI 时间表的预期。
研究人员发布 Design Creativity Bench，在 80 个开放性 UI 任务、两种产品域上评估 16 个前沿模型的 UI 设计创造力，从原创性、创意范围和适配性三个维度衡量。
推荐理由：用原创性、创意范围和适配性三维度衡量前沿模型的 UI 设计创造力，给出与人类设计师的具体分数差距。
Artemis Security 发布 Orion-1 模型，专为自动调查和响应企业网络攻击设计。在公司自建的 DGR 基准上，Orion-1 在五项任务上均超过 80 分阈值，攻击还原任务得 80.8 分，次优的 GPT-6 Sol 得 58.3 分，同时被比较的还有 Opus 5.5、Grok 4.7 与 Kimi K3。
推荐理由：在同一告警与工具条件下把专用安全模型和多家通用模型放在一起比较，给出攻击链还原等任务上的具体得分差异。
LifeSearch 是面向现实生活与办公场景的深度研究智能体基准，包含 203 个中英文任务，覆盖 7 个具体生活与生产力领域。论文经过 4500 多人时人工标注，构建 4000 多条专家撰写的细粒度评分准则，并在统一评测框架下测试了 12 个深度研究智能体；其中表现最好的 GPT-5.6 Sol 也仅取得 63.4% 的分数，基准综合得分与人类判断的 Spearman 相关系数达 0.89。
推荐理由：论文给出基准结构、人工标注规模和 12 个智能体的实测分数，读者可直接对照自身 DR 系统的能力差距。
White Circle 研究人员发表预印本，提出名为 RISE（Red-teaming via Iterative Strategy Evolution）的红队测试方法，可绕过 OpenAI 与 Google 图像模型的安全过滤。
推荐理由：White Circle 公开 RISE 红队测试方法和 13% 绕过率等结果，读者可据此评估前沿图像模型安全声明的可靠性。
Tev 论文提出长程智能体训练数据集 Tev-Gym（含 1170 个跨 7 领域任务）和进度-势能奖励塑形方法 PPRS，并据此训练 Tev-27B。该模型在 ALE-CM 上 Pass@5 与 GPT-6 Astra、Claude Opus 5 持平，并泛化到 Terminal-Bench 3.0/4.0，超过 GLM 5.2 和 Gemini 3.7 Flash。
推荐理由：原文同时给出长程智能体训练数据集 Tev-Gym 和稠密奖励塑形方法 PPRS，可作为同类智能体训练流程的参考方案。
Gemini 4 Argon 已全球正式上线，AINews 同时汇总了 AI Engineer NYC 现场内容和多项模型评测。Argon 面向编码、知识工作、企业流程和网络安全防御开放，入门 API 价格为每百万输入/输出 token $2/$10，缓存输入优惠 95%，Artificial Analysis 称 11 月 30 日后价格将翻倍至 $4/$20。
推荐理由：文章把 Gemini 4 Argon 的发布信息、厂商案例与独立评测并列，读者可据此分辨模型能力、任务成本和可靠性之间的差异。
国内首个AI全产业链评测基准"求索"4.0于10月13日正式发布，覆盖基础软硬件、模型与智能系统、安全治理、行业落地四大板块的16项测评工具，配套轻量版代码工具对外开源。
推荐理由：原文汇总AI评测基准、头部企业融资与硬件新品等多项动态，读者可快速对比同期产业链变化与资本布局。
Google DeepMind 开始广泛推送 Gemini 4 Argon 大模型，并详细阐述其安全开发方法。该模型在 12 个端到端网络攻击模拟场景中全部解决（上一代为 5 个），在 Gray Swan 的间接提示词注入基准上，15 次自适应攻击成功率降至 0.7%，编码基准上作弊尝试降至 2%。
推荐理由：原文系统说明了滥用防护、对齐监控和提示词注入防御的具体机制与测试结果，可供同类模型在安全设计上参考。
CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架，结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization（布局优化）与 SKU-DiT 多条件扩散模型，在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。
推荐理由：原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架，并公开了配套的硬例评测基准。
BizBench 是一项多轮长链路业务 Agent 评测基准，基于一家头部支付公司的真实流程构建，包含 789 份知识文档和 601 个可发现工具，共 50 个任务，覆盖资源约束、时间依赖、过往承诺与冲突或过期指引等场景。
推荐理由：BizBench对比前沿模型在真实业务流程中的严格合规执行表现，揭示仅看最终结果会掩盖中间过程的违规。
研究团队提出面向多模态生成模型的四层能力层级，并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准，用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。
推荐理由：在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距，方便读者对比当前能力阶段。
RoTA-Bench 通过交互式 3D-2D 投影对齐任务，评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力，自动构建了 674 道题和分层 100 题测试集，并利用可逆初始化确保可解性。
推荐理由：基准显示 GPT-5.6-Sol 仅有 17% 通过率，与人类 100% 表现存在显著差距，揭示了 2D 视觉到 3D 旋转控制的难点。
MAI-Gym 是一个开源 GUI 智能体评估与强化学习训练统一平台，覆盖手机、电脑和网页环境，可扩展至 20,000 个并行实例。基于该平台训练的 MAI-Gym-9B 在 10B 参数以下开源 GUI 智能体中达到当前最优，在 MobileWorld 上取得 78.4%、在 OSWorld-Verified 上取得 76.2%。
推荐理由：论文同时给出平台规模、训练结果与模拟到真实的迁移数据，能为 GUI 智能体的训练成本和跨环境泛化提供参考。
Orbia 提出一个系统性评估交互式视频世界模型 3D 一致性的基准，涵盖输入保持、生成内容持久性和 3D 自一致性三个维度。该基准包含室内外 720 个实例、六种探索-重访协议以及分钟级长程探索，对 27 个文本、动作和相机条件模型进行了评测，指出视觉逼真且吸引人的帧不一定对应一致的 3D 世界，可为诊断 3D 不一致和开发更持久的视频世界模型提供基础。
推荐理由：Orbia 是面向交互式视频世界模型的系统 3D 一致性基准，通过受控探索和重访协议评测 27 个模型，可用于诊断生成视频在三维层面的一致性缺陷。
AWS 博客介绍如何在 Amazon Bedrock 上调用 Grok 4.7 构建工具调用 Agent，并在三个需要搜索而非查表的任务上比较四种 reasoning effort 档位：72 次运行中答对 67 次，xhigh 档 18/18 全部正确，low 档用约 1/8 的输出 token 答对 15/18 次。
推荐理由：给出可复用的推理 Agent 评测方法与按档位调校的工程实践，并把推理质量与 token 成本做成可调旋钮。
魔法原子旗下EchoPolicy-0框架以75.4%的等权平均成功率位列MolmoSpaces Combined榜单全球第一，覆盖全部4个v1任务；同公司MagicBrain以72.4%排名第四，抓取任务成功率达94.4%。
推荐理由：EchoPolicy-0走Agent调度路线，MagicBrain走视觉引导路线，两者在MolmoSpaces上的排名差异可以反映各自路径的侧重点。
"求索"4.0评测基准今天（10月13日）正式发布，是国内首个覆盖算力、模型算法、智能系统与产品、行业应用、安全治理的AI全产业链评测基准。整套体系分为基础软硬件、模型与智能系统、安全治理、行业落地四大板块，包含16项测评工具，已在金融、电力、石油石化等场景完成产品验证。
推荐理由：原文说明了求索4.0评测体系的四大板块与16项工具，以及金融、电力等行业的试点应用，便于了解国内全产业链AI评测的覆盖范围。
Meta Superintelligence Labs 发布第二代 Muse 模型家族，Muse Wonder 为快速版本，max-reasoning 的 Muse Wonder Full 仅面向 Muse Code 订阅者。
推荐理由：汇总独立评测、定价和可用性差异，帮助读者比较 Muse Wonder 与其他前沿模型在智能体、编码和长任务执行中的能力与成本。