硅谷大模型掀起价格补贴战,国产模型性价比优势受冲击
OpenAI、Anthropic、Google 等硅谷厂商通过分层定价、API 降价和订阅补贴等多重手段压低大模型使用门槛,其中 Anthropic 的 Haiku 5.5 相比上代降幅最高约 90%。
推荐理由:用 SemiAnalysis 测算和用户实测,把价格战从每百万 Token 单价推到订阅额度与任务实际成本的综合比较。
OpenAI、Anthropic、Google 等硅谷厂商通过分层定价、API 降价和订阅补贴等多重手段压低大模型使用门槛,其中 Anthropic 的 Haiku 5.5 相比上代降幅最高约 90%。
推荐理由:用 SemiAnalysis 测算和用户实测,把价格战从每百万 Token 单价推到订阅额度与任务实际成本的综合比较。
本文提出 JevAgentHarness,用小决策模型在 Agent harness 中分流 LLM 的多选决策,配合拟合的置信度阈值降低成本与延迟。
推荐理由:原文给出 Agent harness 把工具选择分流到小决策模型的阈值训练方法与实测成本收益,可供同类 Agent 工程参考。
IBM Granite 团队发布 Granite Switch 4.1 的 8B 与 30B 模型,把对话、通用与安全决策以及语音识别合并到同一端点,整体显存占用与基座模型接近。
推荐理由:文章介绍了 Granite Switch 4.1 如何用 aLoRA 把对话、决策与语音识别合并到单一端点,并给出与 Jev 等模型的推理速度对比,读者可据此评估这种组合架构的实际收益。
研究提出 EvalResearchBench(ERB),让 AI 智能体在试运行中修订任务与评分器,以测试它们能否为递归式自我改进自动构建反馈。在固定时间和 API 预算下,实验涉及 9 个 researcher 智能体、13 个候选模型和 14 个目标基准;最佳评测器与目标评测在约 75% 的候选对排序上保持一致,低于目标分歧所设的 91% 上限。
推荐理由:论文在固定时间和 API 预算下比较 9 个 researcher 智能体与 13 个候选模型,呈现自动评测器相对 14 个目标基准的一致性和成本表现。
该论文提出 MIST 评测,把场景搭建与指令执行拆开,用来定位视频世界模型中记忆失败的瓶颈;并提出 M3-Agent,通过递归修正输入指令的细节来推动模型执行指令。在 MIST reveal 指标上,M3-Agent 相对基线提升超过三倍;在 WRBench 上 score T 提升 26.1%,MBench-T 上 score U 提升 52.7%。
推荐理由:原文把场景搭建与指令执行拆开定位视频世界模型的记忆瓶颈,并给出 M3-Agent 修正指令细节的具体方法与基准提升幅度。
MTEdit 提出基于打包轨迹画布的多轮图像编辑数据集生成方法,包含 50 万条最多 8 轮、平均 5.38 轮的编辑轨迹,并同步推出 MTEdit-Bench 基准,用于评估指令遵循、内容一致性与视觉漂移等能力。
推荐理由:原文给出多轮图像编辑的数据集、基准与训练方法,对评估编辑模型的多轮一致性和视觉漂移有参考价值。
OfficeTown 是一个生成式模拟框架:从自然语言描述构建持续运作的专业组织,成员可委派任务给助手智能体并审核交付物,工件、决策与未决事项会持续影响后续工作。
推荐理由:该工作把持续运转的组织建模为生成式模拟,用以合成面向智能体的工作数据与基准,可作为通用智能体训练与评估的一种可迁移数据生成方法。
RAP(Reconstruct A Poster)提出面向论文到海报视觉编码任务的数据集与基准,覆盖 2022–2026 年间多场机器学习会议的 25K+ 经核验论文-海报对,并提供 150 篇留出测试集。自动化反向渲染流水线可将每张海报转为带类型化可填充槽位的 HTML/CSS,同时支持 PosterRAG 训练-free 多智能体检索填充和 SFT+RL 专用模型训练两种生成方法。
HexaShell 是一个用 coding agent 通过视觉与自写工具驱动双臂机器人的轻量系统,基于 Codex 与 GPT-6-Astra(中推理强度),在 42 个 RoboDojo 任务上达到 39.7% 成功率(progress 48.0),刷新该榜单 SOTA。
推荐理由:用 coding agent 自写工具控制双臂机器人并在 RoboDojo 上刷新 SOTA;测试显示推动类任务准确率高,而接触密集任务明显受限。
作者对 Jev 等十四款决策模型在电车难题多版本提示下的选择做了实测对比,发现多数模型在牺牲自身服务器与二十条人命之间出现偏好不一致。Jev 在 16/48 个提示版本中选择保护自身服务器,OpenAI 的 GPT-6 Luna 与 Verdict 是测试中始终选择救人的两款模型;作者认为对高风险决策需基于真实数据建立专门评测,配套代码已在 GitHub 公开。
推荐理由:实测 Jev 等十四款决策模型在电车难题多版本提示下的选择,量化了牺牲自身服务器与二十条人命之间的偏好不一致。
Google 发布 Gemini 4 Argon,主打用单一模型覆盖机器人控制、仿真构建和训练数据评估等全流程。
GPT-6-Astra 在 OpenAI Codex 环境中跑 TheoPhysEval 基准,50 道题解对 49 道,准确率 98%,平均每题不到 3 美元、整轮约 116 美元。
推荐理由:这份基准在同一组 50 道理论物理任务上对齐了主流智能体的准确率与单位成本,读者可据此评估现有模型承接科研常规计算的实用边界。
论文提出 τ-Emotion-Bench 基准与 Tracer 数据生成流水线,用于在情绪化用户交互下评估并提升 LLM 工具调用智能体的可靠性。该基准覆盖十个领域,实验显示前沿智能体在平均任务成功率与持续完成度之间仍存在显著差距;Tracer 生成的监督数据可稳定改进不同规模的模型,并可泛化到未见领域以及 τ-Bench 和 τ-Trait。项目页与代码已在 GitHub 开源。
推荐理由:τ-Emotion-Bench 与 Tracer 数据流水线为评估和提升工具调用智能体在情绪化用户交互下的可靠性提供了可迁移框架。
Modal 的年化收入规模突破 $1B,并完成由 Accel 领投的 $750M Series D,估值达到 $15.75B,过去一年使用量增长超过 15 倍。
推荐理由:把 Modal 的融资、收入与使用量增长放在同一框架下,并补充沙箱并发和产品数据,便于判断 AI 基础设施的扩张速度。
RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。
推荐理由:给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。
Doc2Harness 提出一个两阶段基准,直接评测模型为编码智能体构建长链路 harness 的工程能力,覆盖 19 个前沿模型、328 个测试用例。GPT-6 Astra 取得最高通过率 53.05%,最弱模型为 27.44%;即便最强模型仍有近一半用例失败,失败集中在跨模块功能的拆分方式上。
推荐理由:原文提出了针对 harness 工程的可复现评测方案,并给出 19 个前沿模型的具体差距,可据此对比模型在该层能力上的相对位置。
TypeSafe 发布 Jev 1.14.0,并以 TypeSafe-Danger-Zone-* 标志开放三项实验性能力:图像多模态(可在 JSON 字段中以 find-and-replace 插入图像)、新的 box 输出类型(用于返回单个 bounding box),以及不再受现有上限约束的更长上下文。
推荐理由:把实验性能力放在独立的 danger zone 标志下与稳定版本区分,为关心可控发布的开发者提供了一种分级启用的参考。
SciΠvot 是一个包含 248 例的科研判断评测基准,基于六个月里 6 个学科 26 个项目中资深研究者纠正 LLM 智能体的真实记录构建。在中推理努力且附带项目记录的条件下,5 个前沿模型中有 4 个表现低于随机,模型普遍偏好 LLM 原始方案而非人类修正方案;项目条件下最高准确率仅 63.5%,低于人类新人的 73.4%。
推荐理由:用 248 例真实科研干预记录对照前沿模型与新人的科研决策准确率,为评估自主科研智能体的判断力提供了可复现基线。
REALCLI 提出一个成对基准,统一评估 CLI 智能体在真实 CLI 任务中的执行效果与人机协作质量。该框架包含 5 个维度、22 个子维度和 51 个交互场景模板,并提供 REALCLI-EXEC 与 REALCLI-COLLAB 两种模式,分别支持一次性完整说明和渐进式信息、纠正、约束修订及授权决策。
推荐理由:REALCLI把任务执行与运行时协作质量纳入同一评测,并区分一次性说明和渐进协作两种条件,便于定位CLI智能体的能力缺口。
LIBERO-Industry 将工业制造约束转化为可控的机器人学习任务,用于评估通用机器人策略在真实生产条件下的表现。基准基于 LIBERO,包含 S2D 装料、D2S 卸料和 D2D 搬运 3 类场景,共 216 个任务,并改变物体几何尺寸、传送带速度、交互窗口时长和几何验收区域。
推荐理由:该基准把多品种、小批量制造中的动态约束转为可控任务,便于比较通用机器人策略在约束逐步叠加时的性能变化。
论文提出 SABER 基准,揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置;论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器(无需图像监督),即可将性能迁移到跨模态和图像-图像检索,在 SABER 上取得 SOTA,同时在否定和实例检索基准上也有提升。
推荐理由:SABER 给出了跨四种图文配对的属性-对象绑定评测维度,并展示了不依赖图像监督的合成文本微调路径,对多模态检索相关工作有直接参考价值。
PremiseCheck 提出结合大语言模型与决策模型的事实核查框架:先用 LLM 将评审意见改写为显式前提,再由决策模型逐条核对原文。三领域测评显示其准确率与 GPT-5.5 相当,NLP 评审场景下成本约为其四分之一、延迟低于一半,并配套发布 ReviewFact 基准。
推荐理由:原文提出将评审意见拆为显式前提后由决策模型核查,并以新基准展示了相比前沿 LLM 的成本与延迟优势。
GPT-6-Astra 在 12 个机器人基准上以 in-context learning 达成前所未有的表现,但在真实部署中仍有显著差距。
推荐理由:原文量化了 GPT-6-Astra 从基准到真实部署的能力差距,并提出面向真实需求的下一代具身评测框架构想。
研究者推出 PhysClosureBench 基准,包含 50 个经专家验证、目标明确的物理研究任务,用于评估 AI 智能体组织调研并获取充分证据以回答问题的能力,其中 Atomic Score 衡量局部科研产出,Research Closure(RC0–RC4)衡量对研究问题的闭环程度。
推荐理由:论文提出 RC0–RC4 五级闭环评分并测试 7 个前沿模型,揭示出局部科研产出与完整研究闭环之间的持续差距,为科研类 Agent 评测提供新角度。
Google DeepMind 工程师 Haydn Belfield 表示,自我改进 AI 仍距现实很远,DeepMind 尚未观测到 AI 显著加速 AI 研究本身。
推荐理由:原文给出了 AI 自动化渗透率与能力增速的实测数字,并对照自动化上限与人工把关环节,读者可据此校准对自我改进 AI 时间表的预期。
研究人员发布 Design Creativity Bench,在 80 个开放性 UI 任务、两种产品域上评估 16 个前沿模型的 UI 设计创造力,从原创性、创意范围和适配性三个维度衡量。
推荐理由:用原创性、创意范围和适配性三维度衡量前沿模型的 UI 设计创造力,给出与人类设计师的具体分数差距。
Artemis Security 发布 Orion-1 模型,专为自动调查和响应企业网络攻击设计。在公司自建的 DGR 基准上,Orion-1 在五项任务上均超过 80 分阈值,攻击还原任务得 80.8 分,次优的 GPT-6 Sol 得 58.3 分,同时被比较的还有 Opus 5.5、Grok 4.7 与 Kimi K3。
推荐理由:在同一告警与工具条件下把专用安全模型和多家通用模型放在一起比较,给出攻击链还原等任务上的具体得分差异。
LifeSearch 是面向现实生活与办公场景的深度研究智能体基准,包含 203 个中英文任务,覆盖 7 个具体生活与生产力领域。论文经过 4500 多人时人工标注,构建 4000 多条专家撰写的细粒度评分准则,并在统一评测框架下测试了 12 个深度研究智能体;其中表现最好的 GPT-5.6 Sol 也仅取得 63.4% 的分数,基准综合得分与人类判断的 Spearman 相关系数达 0.89。
推荐理由:论文给出基准结构、人工标注规模和 12 个智能体的实测分数,读者可直接对照自身 DR 系统的能力差距。
White Circle 研究人员发表预印本,提出名为 RISE(Red-teaming via Iterative Strategy Evolution)的红队测试方法,可绕过 OpenAI 与 Google 图像模型的安全过滤。
推荐理由:White Circle 公开 RISE 红队测试方法和 13% 绕过率等结果,读者可据此评估前沿图像模型安全声明的可靠性。
Tev 论文提出长程智能体训练数据集 Tev-Gym(含 1170 个跨 7 领域任务)和进度-势能奖励塑形方法 PPRS,并据此训练 Tev-27B。该模型在 ALE-CM 上 Pass@5 与 GPT-6 Astra、Claude Opus 5 持平,并泛化到 Terminal-Bench 3.0/4.0,超过 GLM 5.2 和 Gemini 3.7 Flash。
推荐理由:原文同时给出长程智能体训练数据集 Tev-Gym 和稠密奖励塑形方法 PPRS,可作为同类智能体训练流程的参考方案。
Gemini 4 Argon 已全球正式上线,AINews 同时汇总了 AI Engineer NYC 现场内容和多项模型评测。Argon 面向编码、知识工作、企业流程和网络安全防御开放,入门 API 价格为每百万输入/输出 token $2/$10,缓存输入优惠 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 $4/$20。
推荐理由:文章把 Gemini 4 Argon 的发布信息、厂商案例与独立评测并列,读者可据此分辨模型能力、任务成本和可靠性之间的差异。
国内首个AI全产业链评测基准"求索"4.0于10月13日正式发布,覆盖基础软硬件、模型与智能系统、安全治理、行业落地四大板块的16项测评工具,配套轻量版代码工具对外开源。
推荐理由:原文汇总AI评测基准、头部企业融资与硬件新品等多项动态,读者可快速对比同期产业链变化与资本布局。
Google DeepMind 开始广泛推送 Gemini 4 Argon 大模型,并详细阐述其安全开发方法。该模型在 12 个端到端网络攻击模拟场景中全部解决(上一代为 5 个),在 Gray Swan 的间接提示词注入基准上,15 次自适应攻击成功率降至 0.7%,编码基准上作弊尝试降至 2%。
推荐理由:原文系统说明了滥用防护、对齐监控和提示词注入防御的具体机制与测试结果,可供同类模型在安全设计上参考。
CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架,结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization(布局优化)与 SKU-DiT 多条件扩散模型,在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。
推荐理由:原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架,并公开了配套的硬例评测基准。
BizBench 是一项多轮长链路业务 Agent 评测基准,基于一家头部支付公司的真实流程构建,包含 789 份知识文档和 601 个可发现工具,共 50 个任务,覆盖资源约束、时间依赖、过往承诺与冲突或过期指引等场景。
推荐理由:BizBench对比前沿模型在真实业务流程中的严格合规执行表现,揭示仅看最终结果会掩盖中间过程的违规。
研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。
推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。
RoTA-Bench 通过交互式 3D-2D 投影对齐任务,评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力,自动构建了 674 道题和分层 100 题测试集,并利用可逆初始化确保可解性。
推荐理由:基准显示 GPT-5.6-Sol 仅有 17% 通过率,与人类 100% 表现存在显著差距,揭示了 2D 视觉到 3D 旋转控制的难点。
MAI-Gym 是一个开源 GUI 智能体评估与强化学习训练统一平台,覆盖手机、电脑和网页环境,可扩展至 20,000 个并行实例。基于该平台训练的 MAI-Gym-9B 在 10B 参数以下开源 GUI 智能体中达到当前最优,在 MobileWorld 上取得 78.4%、在 OSWorld-Verified 上取得 76.2%。
推荐理由:论文同时给出平台规模、训练结果与模拟到真实的迁移数据,能为 GUI 智能体的训练成本和跨环境泛化提供参考。
BlenderWorld 是面向真实 3D 创作的多模态大语言模型评测基准,涵盖 223 个跨建筑、产品、自然环境和科学可视化的任务,通过多视角渲染并依据 2,651 项二元评分细则打分。
Orbia 提出一个系统性评估交互式视频世界模型 3D 一致性的基准,涵盖输入保持、生成内容持久性和 3D 自一致性三个维度。该基准包含室内外 720 个实例、六种探索-重访协议以及分钟级长程探索,对 27 个文本、动作和相机条件模型进行了评测,指出视觉逼真且吸引人的帧不一定对应一致的 3D 世界,可为诊断 3D 不一致和开发更持久的视频世界模型提供基础。
推荐理由:Orbia 是面向交互式视频世界模型的系统 3D 一致性基准,通过受控探索和重访协议评测 27 个模型,可用于诊断生成视频在三维层面的一致性缺陷。