HF Daily Papers·· 25 天前AI 评分32
超越域路由监督：多教师在线策略蒸馏中的跨教师守卫（Road MOPD）
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
AI 导读
Road MOPD 通过引入非路由教师作为跨域评论者，解决多教师在线策略蒸馏中共享参数上多教师梯度冲突的问题，采用 token 级信用分配与多教师梯度投影协调监督信号。在高冲突场景下性能增益超过 5 个百分点，并在低冲突与三域设置中提升整体表现。
来源：HF Daily Papers · huggingface.co