开发者 lasu 开源 Parsimony 基准,量化 AI 编码模型净增的代码量
开发者 lasu 开源 Parsimony 基准,量化 AI 编码模型在完成任务时净增了多少代码单元。它复用 SWE-bench Verified 已发布的 patch,按净增单元数(新增减去删除)排序而非按行计数,目前仅支持 Python。榜单显示代码量更小的模型并未解决更多任务,模型排名与解决数的 Spearman 系数为 0.33–0.60,所有模型共用 mini-SWE-agent 运行。
推荐理由:Parsimony 把 AI 编码模型的代码净增量做成可比较榜单,给出与解决数并列的另一维度,读者可据此比较不同模型的简洁程度。