百度文心 Unlimited OCR 2 发布并开源,峰值 KV Cache 占用从 47GB 降至 1.77GB
百度文心 Unlimited OCR 2 正式发布并开源,百页级单序列测试中的峰值 KV Cache 占用从 47GB 降至 1.77GB,减少约96%。SR-SWA按需筛选相关页面和视觉信息,无限解码机制通过分块处理、复用边界页缓存并及时释放其余缓存;16路并发端到端吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍。
推荐理由:文章通过整本书实测与技术报告,拆解SR-SWA和分块解码的降缓存机制,并对比吞吐量、速度与文档解析质量。