ThinkingCap 发布 Gemma-4-26B-A4B-it 模型，思考 token 平均减少 38.9%
Gemma-4-26B-A4B with 39-69% less thinking at same accuracy
ThinkingCap 发布 Gemma-4-26B-A4B-it 模型，在 12 项基准上将思考 token 平均减少 38.9%，平均准确率变化为 -0.15pp。
文章在相同 vLLM 与采样设置下对比 12 项基准，列出思考 token、准确率和循环率变化，为评估效率收益与精度代价提供了具体依据。
简而言之
这是 ThinkingCap 系列中的第五个模型。我们减少了 Google 的 gemma-4-26B-A4B-it 的思考量，同时没有影响其回答质量。
- 思考 token 最多减少 69.1%，平均减少 38.9%，这一结果在十二项基准测试中测得，准确率仅损失 0.15pp
- 这是首个基于 Google 模型的 ThinkingCap，也是迄今为止准确率代价最小的 ThinkingCap
- 出现循环的回复占比从原模型的 3.6% 降至我们模型的 0.8%
- 采样设置相同（开启思考、temperature 1.0、top_p 0.95），服务栈相同（vLLM），可直接替换使用
ThinkingCap PRO：想要更高的效率？本模型的 PRO 版本最多可减少 87.6% 的思考 token，平均减少 62%。回答更快，大规模应用时推理成本更低。请通过 enterprise@bottlecapai.com 联系我们。
我们的第五款 ThinkingCap
我们目前已发布四款 token 高效模型：ThinkingCap-Qwen3.6-27B、ThinkingCap-Qwen3.8-27B、ThinkingCap-NVIDIA-Nemotron-3.5-Lightning-30B-A3B 和 ThinkingCap: Qwen3.8-Flash-Next。
gemma-4-26B-A4B 是 Google 的稀疏混合专家模型——总参数量为 26B，每个 token 激活约 4B 参数。这是我们在 Qwen 和 NVIDIA 之后，将这项工作应用于的第三个模型系列。对于这个模型，我们投入了更多精力来保持准确率：思考量平均减少 38.9%，准确率代价仅为 0.15pp，小于大多数测试项在不同运行之间的波动范围。
原始模型与 ThinkingCap 模型的视频对比，使用相同输入进行提示。
两个模型在相同硬件上运行，并采用相同的推理设置。
训练目标
我们以 gemma-4-26B-A4B-it 为起点。目标是用更少的 token 得到答案，同时不改变其他任何方面：保留知识、推理能力、回答质量、指令遵循能力和安全行为。
结果
各类任务的准确率：gemma-4-26B-A4B-it 与 ThinkingCap 模型对比
各类任务的准确率几乎没有变化，其中两类还有所提升。指令遵循与智能体任务提升 0.65pp，数学提升 0.39pp；代码持平，为 0.02pp；知识与推理下降 0.51pp，长上下文与多模态下降 0.92pp。十二项基准测试的平均变化为 −0.15pp。
各类任务的平均思考 token 数：gemma-4-26B-A4B-it 与 ThinkingCap 模型对比
变化主要发生在思考过程上，各类任务都变得更短。长上下文与多模态的缩减幅度最大，为 54.4%；其次是知识与推理 44.4%、数学 36.1% 和代码 27.6%；指令遵循与智能体的缩减幅度最小，为 17.2%。十二项基准测试的平均降幅为 38.9%。
| 基准测试 | 准确率（基线） | 准确率（我们的模型） | Δ 准确率 | 平均思考 token 数 | Δ 平均思考量 | 截断率（%） | 循环率（%） |
|---|---|---|---|---|---|---|---|
| 数学 | |||||||
aime26 | 86.20% ±0.86 | 86.72% ±0.98 | +0.52pp | 14766 → 8963 | -39.3% | 5.2 → 0.5% | 5.5 → 0.9% |
hmmt_nov25 | 81.51% ±1.06 | 80.89% ±1.19 | -0.62pp | 16462 → 10542 | -36.0% | 9.0 → 1.2% | 8.6 → 1.2% |
hmmt_feb26 | 72.92% ±1.08 | 74.20% ±1.16 | +1.28pp | 22005 → 14717 | -33.1% | 18.6 → 4.6% | 17.0 → 4.5% |
| 代码 | |||||||
livecodebench | 76.98% ±0.56 | 76.96% ±0.67 | -0.02pp | 11560 → 8375 | -27.6% | 6.8 → 1.3% | 2.2 → 0.3% |
| 知识 & 推理 | |||||||
gpqa_diamond | 79.92% ±0.57 | 78.96% ±0.67 | -0.96pp | 7699 → 4284 | -44.4% | 0.3 → 0.1% | 0.3 → 0.1% |
mmlu_pro | 84.55% ±0.29 | 84.64% ±0.16 | +0.09pp | 3907 → 1989 | -49.1% | 0.0 → 0.0% | 0.1 → 0.0% |
mmmlu | 84.09% ±0.26 | 83.43% ±0.27 | -0.66pp | 1212 → 731 | -39.7% | 0.0 → 0.0% | 0.0 → 0.0% |
| 长上下文 & 多模态 | |||||||
aa_lcr | 64.62% ±2.49 | 60.62% ±2.89 | -4.00pp | 6519 → 2655 | -59.3% | 4.0 → 0.0% | 3.6 → 0.4% |
longbench_v2 | 59.43% ±1.14 | 60.88% ±1.29 | +1.45pp | 9486 → 2934 | -69.1% | 7.7 → 0.5% | 5.9 → 1.2% |
realworldqa | 70.83% ±0.56 | 70.61% ±0.56 | -0.21pp | 819 → 533 | -34.9% | 0.0 → 0.0% | 0.0 → 0.0% |
| 指令遵循 & 智能体 | |||||||
ifbench | 76.83% ±0.80 | 78.67% ±0.73 | +1.83pp | 6470 → 5585 | -13.7% | 0.4 → 0.4% | 0.5 → 0.5% |
tau2 | 64.25% ±0.97 | 63.73% ±1.26 | -0.53pp | 4374 → 3466 | -20.8% | 0.0 → 0.0% | 0.0 → 0.0% |
| 平均值（12 项基准测试） | 75.18% | 75.03% | -0.15pp | 8773 → 5398 | -38.9% | 4.35 → 0.72% | 3.64 → 0.76% |
每一行都将原始 BF16 与 ThinkingCap 模型进行对比；两者使用相同的评测框架、相同的设置和相同的问题运行。准确率是各随机种子的均值，± 表示根据随机种子之间的离散程度计算的 95% 置信区间。最后一行中的每个单元格都是十二项基准测试的平均值，每项基准测试仅计一次——因此那里的 Δ 平均思考量 是十二项降幅的平均值，而不是旁边两个 token 数值之比；该比值为 38.5%。同样的区别也适用于上方的模型系列柱状图，它们展示的是每个系列的平均 token 数。在 τ²-bench 上，思考 token 数按任务统计，并汇总一次 rollout 中各轮次的数值，而不是按单次响应统计。各列定义见 评估方法。
十二项测试的输出长度全部缩短。降幅最大的是 LongBench v2（−69.1%）、AA-LCR（−59.3%）和 MMLU-Pro（−49.1%）；降幅最小的是 IFBench（−13.7%）和 τ²-bench（−20.8%）。这两项降幅较小的测试最不需要长时间思考：按照一组格式约束执行，以及通过正确的工具调用落实固定的客户服务政策。
在准确率方面，大多数结果都处于噪声范围内：十二项测试中有八项的差距小于不同运行之间的波动范围，另有五项的结果优于原始模型。四项变化超出置信区间允许范围的结果是 IFBench（+1.83pp，对我们有利）、GPQA-Diamond（−0.96pp）、MMMLU（−0.66pp）和 AA-LCR（−4.00pp）。AA-LCR 是整个测试套件中唯一一项实质性损失。
循环问题在整个测试套件中均有所改善。原始模型有 3.64% 的响应陷入循环，而我们的模型仅有 0.76%——在原模型循环最多的三个基准测试 AIME 2026、HMMT Nov 25 和 HMMT Feb 26 上，循环率从 5.5%、8.6% 和 17.0% 降至 0.9%、1.2% 和 4.5%。
两个模型的准确率与思考 token 预算关系
从左到右看，这正是实际部署会提出的问题：在每个问题给定 token 预算的情况下，能获得多少准确率？在整个范围的中段，ThinkingCap 的曲线始终高于原始模型的曲线——即以更小的预算获得相同的准确率——当预算宽裕到不再限制任何一个模型时，两条曲线便趋于一致。
评估方法
推理模型在评估时存在噪声。在建议的温度 1.0 下，响应的内容和长度都会在不同运行之间发生变化，因此仅用一个随机种子几乎无法说明什么。下文所有结果均基于每项基准测试的多个随机种子，准确率报告为均值，并附上跨随机种子的 95% 置信区间。
两侧均为同一次运行的结果。 原始模型和我们的模型使用相同的评测框架进行评估，采样和服务设置完全一致。原始模型的数据由我们实测得出，而非引用已发表的数据。配置如下：
- 评测框架 — 我们的内部评测套件，使用 vLLM 运行两个模型。
- 上下文 — 每项基准测试的每次响应生成上限均为 65,536 tokens；在 τ²-bench 上，每个轮次也以此为上限。
- 采样 — 开启思考；temperature 1.0、top_p 0.95、top_k 64。我们的模型原样沿用 Google 推荐的预设，因此比较中不涉及任何解码方面的变更。
- 准确率 — 跨随机种子的均值及 95% t 区间，用以说明仅改变采样随机种子时，答案会波动多大。
- 种子 — 在 AIME 2026、HMMT Nov 2025 和 HMMT Feb 2026 上为 64；在 GPQA-Diamond 和 LiveCodeBench 上为 32；在 RealWorldQA、IFBench 和 τ²-bench 上为 16；在 AA-LCR 和 LongBench v2 上为 8；在 MMLU-Pro 和 MMMLU 上为 4，这些测试集的题目数量足够多，因此题目采样并非主要的限制性噪声来源。
- 题集 — AIME 2026（30 道题）、HMMT Nov 2025（30 道）、HMMT Feb 2026（33 道）、LiveCodeBench（175 道）、GPQA-Diamond（198 道）、MMLU-Pro（12,032 道）、MMMLU（9,996 道）、AA-LCR（100 道）、LongBench v2（370 道）、RealWorldQA（765 道）、IFBench（300 道）以及 τ²-bench（278 个任务，覆盖航空、零售和电信领域）。
- 评分 — 对提取出的答案进行精确匹配，但 LiveCodeBench 除外，它会针对题目的测试用例运行生成的代码；IFBench 由其程序化验证器评分；τ²-bench 和 AA-LCR 则由人工评判。τ²-bench 还会针对模拟用户运行，并按其三个领域报告未加权平均值。
各列的含义
- 准确率（基座模型） / 准确率（我们的模型） — 如上所述；准确率变化 是两者之差，以百分点计。
- 平均思考量变化 — 核心指标：思考 token 的变化量，先在整个基准测试上求和，再除以题目数量，因此长题比短题权重更大。
- 平均思考 token 数是推理关闭前的 token 数，对基准测试中的每个问题和随机种子取平均，写作
base → ours。 - 截断率——思考始终未关闭、因此得分为零的回答所占比例。循环率——被基于压缩的循环检测器捕获的回答所占比例；该检测器会标记文本压缩程度远超普通散文水平的回答。
获取模型
您可以在这里找到模型：bottlecapai/ThinkingCap-gemma-4-26B-A4B-it，同时还发布了GGUF 构建版本。
有任何问题，或者有希望让此次运行针对其进行测试的工作负载吗？
给我们发邮件至 hey@bottlecapai.com
ThinkingCap PRO：想要更高的效率吗？该模型的 PRO 版本最多可减少 87.6% 的思考 token，平均减少 62%。在大规模应用场景中实现更快的回答和更低的推理成本。请通过 enterprise@bottlecapai.com 联系我们。
来源：Hacker News · bottlecapai.com