内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
250 条精选近 30 天 225 条共收录 294 条
截至 10 月 17 日，元任务实验室研发的结构化决策模型 MetaDecision 在决策模型评测榜 JevBench 上进入前三：在参与排名的 129 个开源系统中，31B 版本排第 3，12B 版本在同尺寸模型中排第 1，按榜方 GPU 实测 31B 版本单次判断延迟中位数不到 0.2 秒（不含网络）。
推荐理由：给出了同尺寸模型排名第一和亚秒级延迟两项对比维度，方便读者把 MetaDecision 放进现有决策模型评测表里看差距。
作者 dom96 设计了针对大语言模型的对抗式编程语言 KillSwitch，其通过规格中的隐藏谎言、标识符字母计数、触发安全护栏的语句和以噪声填充的脚本等方式干扰模型。
推荐理由：原文给出一种针对 LLM 弱点设计的新型编程语言，并用其作为基准测试主流模型，读者可对比各模型在真正陌生代码上的真实理解能力。
SpatialScout 提出一个评测 VLM 智能体主动探索并完成物体级 3D 映射的基准，包含 80 个室内场景和 3,140 个目标物体。智能体控制相机探索场景，在有限交互预算下估计物体中心，评测同时衡量定位准确率与目标覆盖率。
推荐理由：SpatialScout 以 80 个室内场景和 3,140 个目标物体量化检验 VLM 智能体的主动 3D 映射，并显示精确建图仍是主要短板。
VerifierBench 汇集 6 个智能体基准的 222 个任务和 4,993 个隐藏测试用例，用于评测 LLM 智能体生成可执行验证器的能力。统一框架下测试 19 个模型后，归一化平衡准确率为 10.6–62.1，生成的验证器更可靠地拒绝无效解，却常因过严限制误拒有效解。多数误拒来自未接受任何受测解的验证器，案例还涉及解格式、工具使用和代码改动的无依据假设；项目页和数据集已公开。
推荐理由：VerifierBench 以多类任务和隐藏测试检验智能体生成可执行验证器的能力，并揭示误拒有效解常源于过严的隐含假设。
一项共享控制迷宫研究显示，语言模型智能体会在人类拥有路线优势时更多寻求协作，而自身能力更强时倾向独立完成任务。研究评测 GPT~5.6~Sol、Command~A+、Qwen~3.8~27B 和 Command~R，发现当人类路线更短时，模型约在 80% 的初始决策中让人参与，Command R 则未呈现这种选择性。论文链接：https://arxiv.org/abs/2610.27148
推荐理由：研究通过控制人类与智能体的路线优势，区分能力不足与合理分工，为评估智能体何时求助提供了实验设计参考。
Pan 等人提出 Taste-Bench 基准，从 SWE-bench Pro 和 METR 的 MALT 转录数据中提炼 502 个路径分叉点，让模型在每个分叉点从两条路径中选择更优方向。
推荐理由：文章把端到端测试看不到的长路径选择问题量化成基准，并展示用知识蒸馏即可显著提升智能体判断力的做法，对评估长周期智能体有参考价值。
StartLux（原点星辉）推出的StartLux-Decision-v1.1-27B Instant以69.1分登顶Hugging Face Decision Index 0.3.2榜单全球第一，在173项公开复现模型中领先第二名近3分，也是榜单中唯一突破69分的模型。该公司在9月底发布首代模型后仅用十余天迭代出v1.1版本，刷新全球决策模型最佳成绩。
推荐理由：中国创业公司在国际权威榜单上登顶，展示了决策模型方向的快速迭代能力，可作为行业基准跟踪参考。
智谱推出法律专用开源模型 GLM-Legal，在 Vals AI 法律评测中以 19.2% 的任务全通过率和 86.23% 的准确率位列 Harvey LAB 与 LegalBench 双榜开放权重模型榜首。
推荐理由：给出了 GLM-Legal 在 Harvey LAB 等榜单上的通过率与和 Gemini 4 Argon 的成本对比，读者可据此评估法律垂直模型在真实律所任务中的取舍。
开发者发布了一个 Show HN 计算器，根据实测带宽公式（带宽除以权重大小加固定开销）估算各苹果芯片运行大语言模型的显存与生成速度，复现实测误差在 4.6% 以内。
推荐理由：原文用实测拟合的带宽模型估算各苹果芯片跑大模型的速度，并给出可验证的显存与吞吐数据，可作为选购或租用 Mac 时的参考。
DeepSeek 发布 V4.1-Flash-1017，在官方基准的多项编码与智能体任务上超越自家前代以及 Claude Opus 5、GPT 5.6-Sol、Kimi K3、GLM 5.3 等更大竞品，模型权重开源发布在 Hugging Face 与 ModelScope。
推荐理由：原文给出 V4.1-Flash-1017 在 DeepSWE 等基准的准确率与单任务成本，并横向对比多家竞品，读者可据此判断该模型的成本效率边界。
Latent Space 开始试播 AINews 新节目 High Taste Testers，首期以旧金山午餐对话形式汇总 2026 年 10 月 15 日至 16 日的 AI 动态。
推荐理由：材料横向汇总开放权重模型、推理基础设施、智能体研究和监管提案，并保留基准与部署数字，便于快速扫描近两日 AI 变化。
作者在 Show HN 发布 Llmspeed 网站，可按硬件或模型浏览本地大语言模型推理速度估计，覆盖 NVIDIA RTX 5090/4090/3090、Mac Studio M5 Ultra/M4 Max。
推荐理由：把分散在社区里的本地推理速度数据汇总到一个可对比的页面，让读者在购买硬件前就能估算大语言模型的实际吞吐。
Black Forest Labs 发布 5.6B 参数开源文生图模型 FLUX 3 Image Klein，支持原生 4K 生成、多参考图与像素级编辑，配套 FP8、INT8 和 NVFP4 版本。
推荐理由：正文给出 5.6B 参数模型与更大闭源及开源版本的评测对比，并列出从 8GB 显存到 RTX 5090 的推理时间，读者可据此评估本地部署门槛。
Mercor 发布 Benchmark Map 研究，把 29 个 AI 基准题目映射到美国劳工部 O*NET 的 923 个职业、18,797 项任务上，结果显示仅 208 个职业的任务有至少 5 个基准题目覆盖，对应约 10% 的美国工作时间，其余 90% 缺乏有效基准评估。
推荐理由：把 29 个 AI 基准映射到 O*NET 职业任务，量化了基准对美国实际工作的覆盖比例，提示了评估模型经济能力时的显著盲区。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 97.5% 的得分成为继 OpenAI 之后第二家突破 95% 阈值的 AI 实验室，仍低于 GPT-6 Astra 的 99.9%。
推荐理由：文章对比了不同测试设置下的基准成绩，展示了评测方法对分数的显著影响，可作为解读同类榜单的方法参考。
Apple ML Research 博客发布 MLX v0.30.1 分布式推理方案，结合 macOS 26.2 引入的 Thunderbolt 5 RDMA 驱动与新的通信集合 jaccl，可在多台 Mac Studio 上运行 816B 总参数、42B 激活参数的 MoE 模型 Muse Spark Open。
推荐理由：Apple 用 4 台 M5 Ultra Mac Studio 通过 Thunderbolt RDMA 把 816B 参数的 MoE 模型跑到 36.73 tokens/s，给本地大模型推理提供了可复现的并行方案与基准数据。
StarSkirmish Bench v0.2 公布九款前沿模型用 1 小时写 C++ StarCraft 机器人的对战结果，GPT-6 Astra 排名第一、GPT-6.1 Sol 第二，Gemini 4 Argon、Claude Opus 5.5 与 Claude Fable 5.1 在 37 至 39 分区间并列。
推荐理由：给出九款前沿模型在 1 小时长程编码场景下的横向对比，可作为观察各家推理与工具调用能力的一份参考。
FDE-Gym 是一个面向真实客户交付场景的 AI 代理评测基准，包含 20 个客户场景、18 个行业的 95 个端到端任务，由行业专家从真实项目改写而成。基准按客户业务指标的归一化提升（0 到 1）打分，并对消息、试运行与等待时间扣分；评估七家厂商共 13 种模型配置的结果显示，最佳配置平均得分仅 0.56、仅完成 14 个任务（得分≥0.8 且无事故），发现隐含约束被指为主要瓶颈。
推荐理由：针对代理在真实客户交付场景的能力缺口，给出了由行业专家改写的 95 个端到端任务基准与瓶颈定位。
Data World 是一套多智能体数据合成引擎，先指定文件背后的世界机制再生成数据环境、任务与评分规则，用于训练模型的开放性分析能力。
推荐理由：给出了一套先描述世界机制再合成数据环境与任务的方法，使开放式分析题也能用 RL-zero 训练并通过审计评估。
OpenAI、Anthropic、Google 等硅谷厂商通过分层定价、API 降价和订阅补贴等多重手段压低大模型使用门槛，其中 Anthropic 的 Haiku 5.5 相比上代降幅最高约 90%。
推荐理由：用 SemiAnalysis 测算和用户实测，把价格战从每百万 Token 单价推到订阅额度与任务实际成本的综合比较。