JavaScript 框架的 AI 成本:Opus 5.5 多框架基准评测
作者让 Opus 5.5 使用不同 JavaScript 框架与元框架构建同一款 Pokémon 应用,并比较成本、耗时、代码量与 Lighthouse 表现。
作者让 Opus 5.5 使用不同 JavaScript 框架与元框架构建同一款 Pokémon 应用,并比较成本、耗时、代码量与 Lighthouse 表现。
Omni-InteractScope 通过1,479条人工标注且交叉审阅的交互、1,790个时序目标和八类任务,评测 Omni-LLMs 在持续全模态流中的主动与智能体交互可靠性。
推荐理由:该基准以1,479条人工标注交互和1,790个时序目标检验持续多模态交互,量化 Omni-LLMs 在工具调用、主动提醒和持续指导上的短板。
论文提出 Δτ-Bench 可执行智能体评测基准,考察工具持续演化时的适应能力,并提出 Steward 生态管理器以联合管理工具与程序性知识。基准包含 1,588 个经验证的多轮任务,覆盖 42 个领域和六个连续生态状态;受测模型与框架的最好任务成功率仅为 42.3%,现有技能学习方法的初始收益也未能稳定转化为后续适应能力。
推荐理由:论文用可执行任务量化智能体在工具生态变化下的适应难题,受测模型与框架的最好任务成功率仅为42.3%。
Trajectory2Gym 在五个 Qwen3 规模上提升 Tau1、Tau2 和 BFCL,三项基准等权平均提高 16.9-29.8 个百分点。该方法围绕支持不足的组合结构构造可执行交互,只从实际执行中提取由智能体可见历史支撑的决策,并将这些交互作为监督微调单位。其在有状态和多轮交互场景中的增益最强,因为后续决策依赖先前观察与反馈。
推荐理由:论文提出以组合覆盖和可见历史支撑构造工具使用训练交互,并给出跨五个 Qwen3 规模的三项基准增益。
OpenVLHarness 通过整合持久多模态记忆、异构工具接口与编码执行层,让 MLLM 在推理中可调用外部工具并跨步骤组合视觉证据。
推荐理由:在 22 个基准上对照有无工具与记忆配置下的增益与 token 成本,为视觉智能体方案评估提供统一参照。
研究提出TEAL,在无标签模式下为数据湖分析中的编码智能体演化可复用工具,并提升紧步骤预算下的准确率。Explorer从数据湖取证,Critic从Worker轨迹提出修改,变更须在不增加步骤且有轨迹证据支持时被保留。
推荐理由:TEAL以无标签双智能体反馈演化数据分析工具,并量化比较四种Worker大语言模型在两项基准紧步骤预算下的准确率提升。
WildAWM 提出一条完全由开源模型驱动的可扩展流程,合成可控环境与任务,用于训练通用计算机操作智能体。其环境同时支持 GUI、MCP 服务和 CLI,并以异构智能体轨迹、跨评审一致性和反事实探针组成执行式质量门控,检查任务可解性、难度及验证器可靠性。
推荐理由:给出从环境合成、质量门控到跨基准验证的完整链路,并公开代码,便于比较计算机操作智能体训练方案。
作者提出 SpecAgent 协作协议,由小模型起草工具调用步骤、大模型做并行语义验证,把强模型从逐步生成改为整体审阅。在 τ²-Bench 上成功率与强模型相差约 1 分,并大致减半内存访问与端到端时延;在 AutomationBench、VitaBench 与 MCP-Atlas 边缘云部署中分别回收 44–75% 与 53–75% 的强弱模型质量差,且强模型生成 token 数最多减半。
推荐理由:给出小模型起草、大模型并行语义验证的工具调用协作协议,并附带 τ²-Bench 等基准上时延、内存访问与质量回收的对比数据。
Signals Corps 扫描了 Common Crawl 2026 年 9 月抓取的 2.17 亿网页 HTTP 响应,发现 7,959 个站点在响应头中写入了面向 AI 的内容,其中 7,271 个通过 x-llms-txt 等指针把智能体引向 llms.txt 或 MCP 服务器等资源,30 个站点尝试提示词注入且多数为恶作剧。
推荐理由:基于 2.17 亿页响应的实测数据,揭示了一条被主流防御忽略的间接提示词注入通道,并给出可落地的多层防护要点。
Agent-Reflex 是一个面向语言智能体的通用反思训练框架,包含环境反思技能发现(RSD)、反思监督微调(ReSFT)和反思策略优化(ORPO)三个阶段。
MolLean 提出一种用于化学推理的过程可验证语言,借助显式分子状态、基于 Lean 的验证和交互式工具反馈,以减少生成与反应任务中的模型幻觉。其分层 Lean 内核检查状态转换与断言,MolLean-MCP 状态化工具接口在生成时暴露状态转换、检查与分子读数,模型据反馈决定下一动作,被拒绝的动作不改变状态;框架支持单次轨迹执行、整条轨迹修订和交互式推理。
推荐理由:论文将化学推理表示为可验证的分子状态转换,用 Lean 内核检查状态变化,并在 12 个任务上比较三种执行模式,为可检查、可修订的推理流程提供方法参考。
ProgAgent 提出了一种基于程序化工具调用(PTC)的智能体训练框架,让模型通过可执行代码和运行时变量调用工具,而不是把工具响应依次堆进上下文。
推荐理由:原文给出了 PTC 与 DTC 在长链路工具调用任务上的直接对比,读者可以据此判断训练范式对智能体表现的提升幅度。
研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。