Google Research 提出 Retrieve-for-Train:用离线强化学习蒸馏扩散模型加速搜索推理
Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架,先用离线强化学习让 Gemma3-4B 与 Qwen3-4B 生成满足多样性、对齐和 groundedness 的子查询,再蒸馏为一个 53.9M 参数的非自回归扩散模型。
推荐理由:用离线强化学习把检索策略蒸馏成轻量扩散模型,给搜索类推理加速提供了一条不依赖增大推理预算的迁移路径。