HF Daily Papers·· 2026-09-29AI 评分34
E-MoE：面向非因子化扩散语言模型的增强型 Mixture-of-Experts
E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
AI 导读
E-MoE 提出将扩散语言模型的反向过程构建为基于 MoE 专家路由离散共享隐变量的因子化分布混合，以避免高斯潜变量方法的后验坍缩问题。在合成多模态基准、二值化 MNIST 和 LM1B 上的实验中，E-MoE 在少步生成场景下优于因子化基线，且相较该基线未增加激活参数。
来源：HF Daily Papers · huggingface.co