用单一算法训练基础模型

该论文提出 unified training，将基础模型的预训练、中期训练、SFT 和 RL 统一到一个基于似然的算法中。研究把 RL 目标推导为对模型生成目标分布的最大似然拟合，并在同一训练器中混合静态数据与 RL 生成数据。受控实验和真实世界实验显示，该方法改善了准确率与计算量权衡和任务覆盖，同时保留更广泛的能力，并为持续学习提供更强的起点。