GVS5H Harness 让五个 Qwen3.8-27B 模型达到 Fable 5 水平

GVS5H：Gorilla 对阵 5 名人类

结果

Opus 5 在脚手架的较早版本上运行，通过 OpenRouter 一次性调用完成，而非在固定后端上运行五次。

摘要。 前沿编码性能通常需要以更高的成本使用更大的专有模型来获得。我们提出一种基于账本的零样本自我编排方法，这是一种无需训练的方法：同一模型的新实例通过共享文件系统进行问题分解与协调，该文件系统保存计划、笔记和当前解答。在 LiveCodeBench 最新的 100 道困难题目上，该方法针对 11 个开放权重和封闭权重模型，在固定后端上最高提升了 25.6 个百分点，并提供了两条达到前沿水平准确率的路径。经编排的 Qwen3.8 Flash Next 以 9% 的成本达到 93.0% 的 pass@1，相比之下 Fable 5 为 90.4%；本地部署的开放权重 Qwen3.8-27B 则从 66.8% 提升至 92.4%。提升并非普遍存在：有些模型没有变化，表现甚至更差。对轨迹记录的分析将提升归因于任务分解和持久化上下文。推理时的组织方式能够以一小部分成本接近前沿编码准确率，在使用可自托管权重时甚至可以略微超过。

— 论文

运行代码

需要 uv，以及用于测试目标模型的 API 密钥。

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

• --engine multiagent 运行管理器；--engine single 是单次调用基线。
• 其他模型：anthropic:<model>、dashscope:<model>、openrouter:<model>，每个都有各自的 *_API_KEY。
• pass@1 分数会在末尾打印。结果写入 runs/results.json，工作区写入 runs/ws/。

许可证

代码采用 MIT 许可证。论文、图表和运行数据采用 CC BY 4.0。LiveCodeBench 分支、基准题目陈述 和 LaTeX 模板文件保留各自的许可证。查看 NOTICE.md 以了解 哪些许可证适用于哪些路径。