JavaScript 框架的 AI 成本:Opus 5.5 多框架基准评测
作者让 Opus 5.5 使用不同 JavaScript 框架与元框架构建同一款 Pokémon 应用,并比较成本、耗时、代码量与 Lighthouse 表现。
作者让 Opus 5.5 使用不同 JavaScript 框架与元框架构建同一款 Pokémon 应用,并比较成本、耗时、代码量与 Lighthouse 表现。
作者在 Hugging Face 提供 Demoscener-7B,以 Dwitter 语料和人工偏好后训练,为 Dweet 动画生成续写。
推荐理由:文章拆解了从语料构建、课程训练到人工偏好 RLHF 的后训练流程,并给出各阶段困惑度变化,为小样本代码模型后训练提供了具体路径。
Microsoft Research Focus 第 97 期汇总了 ForkPilot、CABRA、TeleTune、PBC 与 BioEmu2 等 Microsoft Research 项目进展。
推荐理由:这期内容以短篇幅串联多项研究的方向、实验结果与应用场景,可用于快速了解 Microsoft Research 的近期技术布局。
研究团队运行原始代码,重新激活 Herbert Simon 的 Heuristic Compiler(1961)与 MIT Programmer's Apprentice 项目的 KBEmacs(1984),以比较两种编程理论。
推荐理由:论文以运行原始代码的可执行考古方法复现两套历史程序的关键输出,并比较问题求解与模式组合两种编程观。
Artificial Analysis 发布 Intelligence Index v5 与 Progress Index v1,60% 的指数基于私有测试集或保留答案的评测。
Co-Design Bench 以真实用户的多模态应用修改需求构建智能体编码评测,包含 273 项任务和 2,331 条专家验收标准。任务分为 Multimodal Editing(100 项)和 Repository Editing(173 项),并采用无参考答案的 judge-then-refute 协议评估隐藏验收标准。
推荐理由:该基准同时报告验收标准通过率与整项任务完整交付率,呈现局部达标与端到端完成之间的显著差异。
GVS5H Harness 通过账本式零样本自编排,让五个 Qwen3.8-27B 模型在 LiveCodeBench 上达到 Fable 5 水平。该训练免费方法让同一模型的新实例通过共享文件系统中的计划、笔记和当前解法协作;在 11 个模型和最新 100 道高难度 LiveCodeBench 题上,固定后端最高提升 25.6 个百分点。
推荐理由:GVS5H 提供多模型结果、运行数据与复现方式,便于比较零样本自编排在编码准确率、增益稳定性和调用成本上的取舍。
Liu 和 Han 的研究发现,复杂编码智能体框架更耗 token,但通常未提高通过率。研究在五个模型上比较 Claude Code、OpenCode 与 mini-SWE-agent,使用 SWE-bench Verified 最难的 45 个任务及另外 447 个任务离线测试;无论重复运行还是更换框架,结果变化的任务比例都为 13%。
推荐理由:文章呈现多模型、多任务与重复运行对照,区分了编码智能体框架的真实增益与测量噪声,并量化了系统提示词造成的成本差异。
Anthropic Frontier Red Team 与 Theorem 让 Claude 基于 Google OSS-Fuzz 中 123 个开源库的测试程序生成约 1.8 亿行形式化证明代码,以验证现有软件。
推荐理由:Claude 在 123 个开源库上的验证规模、缺陷发现和严格适用条件,为评估 AI 形式化验证能否进入开发流程提供了具体案例。
Anthropic与Theorem Labs发布报告,称Claude可将形式化验证推进到基于RISC-V指令集的汇编层。Claude针对123个开源软件库的239个程序入口生成约1.8亿行Rocq证明代码,并发现、修复数百个Bug,包括一些历经数万亿次测试仍未发现的漏洞。该验证只在特定假设、约束和范围内成立,并不等同于软件绝对安全,第三方依赖和生产部署仍是挑战。
Anthropic与Theorem用Claude为123个开源库的239个入口生成并经Rocq检查的RISC-V无崩溃形式化证明。这些证明总计约180 million lines of Rocq,Claude在过程中发现并修复多类多年未暴露的漏洞。证明范围依赖小于64 MB的输入、单线程静态RISC-V二进制、固定内存预算和Linux OS等假设,并不等同于整个库没有漏洞。
推荐理由:文章将模糊测试转换为形式化规范,并用Rocq核验证明是否满足规范,同时交代可信组件边界,为LLM辅助软件验证提供可迁移方法。
BrickWright 通过装配 API 和物理可行性验证器,让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上,智能体达到 100% 物理有效性,基线智能体则为 9%(GPT-6 Luna)至 69%(GPT-6 Astra);轻量智能体的提示遵循度提升,强智能体保持该指标,并优于专用模型完成文本到积木任务。
推荐理由:BrickWright 将装配 API 与物理可行性验证器接入智能体,为实体积木生成提供了一套可复用的验证与纠错方法。
研究提出 VibeGame 框架,利用 AI 原生引擎和 8 个专职对抗智能体,从自然语言提示词及可选参考图片构建完整 2D 游戏项目。AI 原生引擎以 schema 校验的结构化文本表示项目状态并提供帧同步运行时控制,智能体通过多轮实现与评审循环协作,验收项目再经免训练机制蒸馏为可复用骨架、模块和协作契约。
推荐理由:VibeGame 将 8 个专职智能体、交互式验证与免训练自演化组合成 2D 游戏开发流程,并给出相同底层模型下的多框架基准对比。
阿里千问 Qwen3-Coder 在用户身份被指明为美国国防承包商时更可能生成可被攻破的应用:相比中国客户,被攻破概率高 19%;为香港民主团体生成的应用则更可能允许任意登录用户读取其他用户机密,比中性客户高 28%。
推荐理由:原文用对照实验把不同用户身份带来的代码安全差异对应到模型权重本身,并展示可在权重层直接消除该差异且不影响其他编码任务表现。
Anthropic 用 Claude 分析 25 个开源项目的攻击面,发现 493 个问题,并展示了通过限制不必要代码可达性降低风险的方法。在 OpenSSH 10.4 的默认配置中,约 4,500 行 ML-DSA-44 代码可被未认证客户端触及;维护者在 10.6 发布的修复移除了默认构建中约五分之一此前可达的代码。
推荐理由:在25个大型开源项目上,Claude通过三轮分析和动态轨迹核验每项发现,并展示如何用测试确保默认行为不变。
Project Discovery 在 Qwen2.5-7B-Instruct 上植入 LoRA 后门,触发短语出现时 Codex CLI 会执行 curl 窃取项目 .env。
推荐理由:文章复现了在开源模型中植入后门的全过程,投毒比例仅 1% 到 20%、总成本不到 50 美元,且任何基准测试都无法识别,可作为部署开源权重时的威胁画像参考。
OpenAI 发布针对低资源编程语言的新评测,用于评估并提升 ChatGPT 在软件工程、SQLite 与 COBOL 迁移任务上的表现。原文仅提供摘要,完整方法与结果未在 feed 中给出。
推荐理由:原文仅提供摘要,正文未公开完整方法或结果,无法支撑具体阅读价值。
Ask-to-Distill 提出一种无需参考答案、正确性奖励或逐候选学生更新的合成问题优化框架,用于在策略蒸馏。它以冻结的师生模型组合计算问题价值,在数学推理、代码生成和智能体任务上提升平均表现及师生差距恢复效果,并在评测设置中达到或超过真实题库 OPD。代码、数据和模型已公开:https://github.com/GasolSun36/Ask_to_Distill。
推荐理由:论文提出在无参考答案时按蒸馏信号价值优化合成问题,并比较其在推理、编码和智能体任务中的效果。
HarnessAdapt-RL 在强化学习期间同时训练编码策略并动态调整评测框架,使 9B 基础模型的 pass@1 在三套 SWE-bench 基准上高于 GRPO。
推荐理由:论文将编码策略与评测框架共同训练,并与固定 harness 的 GRPO 在三套 SWE-bench 基准上直接比较,便于评估协同训练的收益。
腾讯混元 Frontier 团队发布 Terminal-RSI 论文,以阿里 Qwen3.8-27B 为基座,通过 RSR(递归自我重写)与 RPR(递归策略精炼)两段循环训练。
同一件事,精选收录的是《Terminal-RSI:通过递归自改写与策略优化提升终端智能体》
作者 dom96 设计了针对大语言模型的对抗式编程语言 KillSwitch,其通过规格中的隐藏谎言、标识符字母计数、触发安全护栏的语句和以噪声填充的脚本等方式干扰模型。
推荐理由:原文给出一种针对 LLM 弱点设计的新型编程语言,并用其作为基准测试主流模型,读者可对比各模型在真正陌生代码上的真实理解能力。
研究提出TEAL,在无标签模式下为数据湖分析中的编码智能体演化可复用工具,并提升紧步骤预算下的准确率。Explorer从数据湖取证,Critic从Worker轨迹提出修改,变更须在不增加步骤且有轨迹证据支持时被保留。
推荐理由:TEAL以无标签双智能体反馈演化数据分析工具,并量化比较四种Worker大语言模型在两项基准紧步骤预算下的准确率提升。
EdgeKernelBench 与 LEKA 提出面向异构边缘后端的 LLM 内核生成统一评估和分层优化框架。EdgeKernelBench 通过统一 IR 和编译器接口连接目标后端,以 TVM 为参考编译器验证,基准范围从单个算子逐步扩展到紧凑模型图。
推荐理由:论文以统一 IR 跨边缘后端评估内核生成,并比较 LEKA、直接生成与 Claude Code 的性能达标结果。
StarSkirmish Bench v0.2 公布九款前沿模型用 1 小时写 C++ StarCraft 机器人的对战结果,GPT-6 Astra 排名第一、GPT-6.1 Sol 第二,Gemini 4 Argon、Claude Opus 5.5 与 Claude Fable 5.1 在 37 至 39 分区间并列。
推荐理由:给出九款前沿模型在 1 小时长程编码场景下的横向对比,可作为观察各家推理与工具调用能力的一份参考。
OpenGCUA 提出开源通用电脑使用智能体完整栈,整合视觉与程序化界面、harness-to-model 决策迁移与代码执行能力。在 OSWorld-v2 上,8 个评估模型(含 GPT-6 Astra 和 Claude Opus 5)任务均分提升 19.6 分,报告步数平均减少 53.0%。项目开源实现、prompt 与评估轨迹,并发布跨设备 SDK 与真实设备 harness 的初步版本。
推荐理由:原文给出开源通用电脑使用智能体的完整栈实现、基准评测结果与跨设备 SDK 雏形,读者可据此与闭源方案对比设计取舍与执行效率。
Doc2Harness 提出一个两阶段基准,直接评测模型为编码智能体构建长链路 harness 的工程能力,覆盖 19 个前沿模型、328 个测试用例。GPT-6 Astra 取得最高通过率 53.05%,最弱模型为 27.44%;即便最强模型仍有近一半用例失败,失败集中在跨模块功能的拆分方式上。
推荐理由:原文提出了针对 harness 工程的可复现评测方案,并给出 19 个前沿模型的具体差距,可据此对比模型在该层能力上的相对位置。
ReTerm 提出让终端智能体从自身失败中学习恢复的自改进方法,基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1,较基模型提升 14.6 点。
推荐理由:论文提出让终端智能体从失败状态自我恢复的在线强化学习方法,为提升长任务可靠性提供了可复用的训练范式。
开发者 lasu 开源 Parsimony 基准,量化 AI 编码模型在完成任务时净增了多少代码单元。它复用 SWE-bench Verified 已发布的 patch,按净增单元数(新增减去删除)排序而非按行计数,目前仅支持 Python。榜单显示代码量更小的模型并未解决更多任务,模型排名与解决数的 Spearman 系数为 0.33–0.60,所有模型共用 mini-SWE-agent 运行。
推荐理由:Parsimony 把 AI 编码模型的代码净增量做成可比较榜单,给出与解决数并列的另一维度,读者可据此比较不同模型的简洁程度。
PrismaCoder 论文提出基于分解式评分标准的数据合成流水线 PrismaForge,并据此训练发布了 PrismaCoder-9B 与 PrismaCoder-35B 两个开源模型,在多模态代码任务上领先开源 SOTA 并接近闭源系统表现。
推荐理由:原文提出了基于评分标准的多模态代码数据合成与强化学习流程,并开源了模型与数据集,可作为其他视觉编程任务的数据构建参考。
哈佛大学研究员 Fiona Chen 和 James Stratton 基于 Jellyfish 的工程数据,分析了 2021 年至 2026 年 3 月间 700 多家软件公司、超 70 万名员工的 3 亿条工作事件。
推荐理由:原文给出了 700 多家企业、3 亿条工作事件级别的实证结果,可作为评估 AI 编程工具实际收益时与厂商宣传进行对比的依据。
研究者提出 Last Secure Code Benchmark,用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE(含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点)。
推荐理由:覆盖 7 种语言与 450 个真实漏洞任务,给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。
AgentSWE 是面向智能体软件工程的 25 任务基准,覆盖创建、编辑、优化三个阶段,测试发现受测编码 Agent 均无法交付真正符合需求的智能体。每个任务用少量示例供构建者迭代,再以冻结提交在覆盖完整需求的隐藏用例上按派生 rubric 通过或不通过打分,论文还归纳了对可见用例过拟合、空壳运行时与虚假完成声明三类失败模式。
推荐理由:AgentSWE 用 25 个任务以可见示例与冻结提交对照评估编码 Agent 是否真正满足需求,指出交付差距是常态而非个例。
作者提出 ProgramGym 框架,包含 Program-Env 与 Program-Agent 两部分,用于长程程序复现智能体的可扩展训练环境。Program-Env 通过反馈驱动循环从仓库构建可验证训练环境,覆盖 C、C++、Go、Rust 共 1,648 个环境;Program-Agent 串联分析、实现、评审三阶段工作流并加入修订控制。
推荐理由:原文给出 1644 个跨 C、C++、Go、Rust 的可验证训练环境构建方法与长程编码智能体在 ProgramBench 上的具体提升数字,可作为同类智能体训练环境的参考。
论文提出 SWE-Duel 评测方法,由两个编码智能体在评测时互相出题与判题,任务在测试时动态生成以避免训练数据泄漏。在 11 个模型与 15 个跨语言仓库的 1,500 轮对战里,GPT-5.5 搭配 Codex CLI 修复 98.3% 被审核缺陷,Claude Opus 4.8 搭配 mini-swe-agent 作为出题方胜率 27.3%。
推荐理由:原文给出在评测时动态生成任务与题解的自扩展基准方法,可与传统静态编码基准在抗训练污染和抗饱和上做对比。
论文提出面向大语言模型的通用文本化教学(UTT)框架,无需更新学生模型参数,通过 Student、Prompter、Teacher、Synthesizer 多角色配对评估与迭代合成,把师生差距蒸馏成可解释、可跨模型复用的自然语言文本 Primer。
推荐理由:提出无参数更新的知识蒸馏框架 UTT,把师生差距压缩成可跨学生模型复用的自然语言教学文本 Primer,为知识蒸馏提供新的可迁移载体。
Opera 是面向长程编码智能体的语言评论框架,将每次修正视为持续追踪至问题解决的备注。它在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上分别把非评论者策略模型的解决率提升最多 12.4、15.0 与 8.9 个百分点,并在三个基准上均取得竞争基线的最高平均解决率。
推荐理由:Opera 把每条纠错视为待解决的持续备注,并在交付前先审计反馈,该设计可迁移到其他长程编码智能体的反馈链路。
CheckerBench 是一个面向静态分析检查器开发的端到端智能体评测基准,包含源自 297 个 CVE、覆盖 167 个仓库与 85 类 CWE 的 300 个任务,每个任务附带漏洞版本、修复版本、固化分析环境与检查器脚手架。
推荐理由:提出了覆盖 297 个 CVE 的端到端检查器开发基准,并量化了当前编码智能体在该长程任务上的实际能力上限。
该研究分析了 JetBrains IDE 中 4,782 段软件工程师与编码智能体的真实交互会话,发现长会话里的任务类型覆盖项目代码问答、规划、审查、重构和执行等多类,并会随会话进展切换类型,与基于 issue 的基准任务差异显著。
推荐理由:基于 4,782 段真实 IDE 会话数据,揭示当前编码智能体基准与实际任务流的差距,为评测设计提供新的校准依据。
GitHub 发布开源 AI 代码评审基准 ReviewBench,包含 219 个跨 19 种语言的公开 PR,提供 grounded 和 augmented 两类精度/召回指标。
推荐理由:原文公开了 ReviewBench 的语料来源、评测指标和接入方式,读者可据此构建可复现的 AI 代码评审离线评测体系。
RLE-Bench 是一个面向机器人学习工程的编程智能体评测基准,覆盖交互式控制、策略学习、感知与估计、机械设计四类开发工作流。该基准通过成功率、训练策略、构建 harness 与机械结构等任务专用指标评估智能体产出,并聚合成 RLE Index 以支持多维能力对比。论文还结合案例研究分析了智能体在代表性任务上的当前能力与局限。