跳到正文
HF Daily Papers·· 26 天前精选AI 评分36

DCOCO:通过上下文校正恢复推测解码中并行草稿的块内依赖

Contextual Correction of Parallel Drafts for Speculative Decoding

AI 导读

DCOCO(DFlash Contextual Corrector)是一种面向扩散式推测解码的轻量级校正机制,通过对并行草稿相邻位置的多个候选 token 评估上下文兼容性,在不放弃并行性的同时恢复块内依赖。

推荐理由

论文指出扩散式草稿缺少块内依赖这一被忽视的代价,并给出一种轻量级并行上下文评分方案,对推测解码在多并发下的吞吐取舍有参考价值。

来源:HF Daily Papers · huggingface.co