字节Seed发现DeepSeek-V4答题表现随输入Token位置周期性波动
字节Seed团队发现DeepSeek-V4在同一信息仅改变输入位置时,检索准确率会随分块KV Cache压缩步长周期性波动,最高差距达40.2个百分点。
推荐理由:分块KV Cache压缩会随步长引入周期性检索弱点,文中给出按压缩相位分别评测的方法,对评估同类长上下文模型有参考价值。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
44 条精选近 30 天 41 条共收录 59 条
字节Seed团队发现DeepSeek-V4在同一信息仅改变输入位置时,检索准确率会随分块KV Cache压缩步长周期性波动,最高差距达40.2个百分点。
推荐理由:分块KV Cache压缩会随步长引入周期性检索弱点,文中给出按压缩相位分别评测的方法,对评估同类长上下文模型有参考价值。
DeepSeek 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,采用 CED 架构、CSA2 与 FP4 KV cache 等压缩手段,将全局 KV cache 占用压至每 token 890 字节,相对 DeepSeek-V4-Flash 和 DeepSeek-V1 分别缩减约 4 倍与 437 倍。
推荐理由:原文给出 CED 架构、CSA2 与 FP4 KV cache 等具体压缩设计,并对照 Opus-5.0、GPT-5.6 等前沿模型列出 agentic 基准成绩,读者可据此评估压缩策略对推理成本的实际收益。
DeepSeek 发布 V4 系列首个实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp,在 V4-Flash 架构上加入视觉模块继续训练。
推荐理由:仓库同时给出与 Opus-4.8 的多模态 Agent 基准对比和开源推理实现,读者可据此判断它在 V4 系列里的相对位置。
DeepSeek 正式发布 DeepSeek-V4-Pro 0813,在预览版基础上挂载 DSpark 推测解码模块,重点强化智能体能力。该模型在 HLE 上得分 42.7/60.0(无工具/有工具),Terminal Bench 2.1 达 87.9,DeepSWE 62.7。
推荐理由:正文给出与同代模型的基准对比和 vLLM/SGLang 部署方式,读者可直接评估其相对位置并复现推理流程。