长文档首字延迟砍半:RedKnot把KV缓存拆到注意力头

流云 2026-10-29 3694 0条评论
摘要: 长文档问答有个绕不开的浪费:同一份合同、同一份研报被反复追问,每次都要把整段提示的注意力重算一遍。小红书机器学习团队6月开源了一个叫RedKnot的推理加速引擎,做的就是把这段重复...

长文档问答有个绕不开的浪费:同一份合同、同一份研报被反复追问,每次都要把整段提示的注意力重算一遍。小红书机器学习团队6月开源了一个叫RedKnot的推理加速引擎,做的就是把这段重复计算拆开——不需要整段提示的注意力头,离线算好;需要的,留在线上。Apache-2.0协议,代码和策略文件都放了出来。

先看它动了哪里

RedKnot的核心判断是:长上下文里大部分注意力头其实用不着整段提示。按行为把注意力头分成两类——可复用的局部头离线准备好,全局头、检索头、恢复头保持在线。两部分的投影贡献最后合并回原模型,接口不变。同一套抽象能映射到MLA、MHA、GQA和原生滑窗注意力,但实际支持程度看模型和分支。

另一个动作在FFN上:按token级重要性决定哪些行进入开销大的计算,MoE模型上再按路由分布自适应调专家Top-K,必要时才多派。稠密的边界层和受保护的查询行留在关键路径上,避免为了省算力把精度伤了。KV存储则按头、按段分页,让不同头各自吃不同范围的上下文,不必挤在同一份缓存布局里。

能跑出什么数字

官方给的目标是热态首字延迟2到5倍、质量回退不超过1个百分点、算术账本省70%到90%。但注意,70%到90%是组件级数字,不含访存、内核启动和张量并行通信,不等于端到端提速。论文在8×H800上实测的是1.6到3.54倍。打包好的发布配置是DeepSeek-V4-Flash-0731配TP8,8张H200或8张B300,64K、128K、256K、440K四档题集连输入、头策略和执行清单一并打包,一条命令跑完。440K指450,560 token的文档预算,不是模型原生上下文承诺。

想试的话,三条路

最容易复现的是打包路径,在SGLang分支上。准备一台8卡TP8节点,按仓库说明拉取打包好的输入、头策略、稀疏专家策略与执行清单,执行命令依次跑四档题集,记录首字延迟和质量分,对照仓库随附的结果JSON判断是否落在验证过的区间内。

按分支接入的话,先确认用哪个分支——SGLang、vLLM还是DeepInfer——按该分支Quick Start对齐环境,准备该模型的头策略文件,先在小流量上验证输出与重算路径一致,再开启分页后端观察显存和吞吐变化。自评的话,先拿一小批真实请求做对照:重算路径和RedKnot路径各跑一遍,比延迟和答案一致性,把“质量回退1个百分点”当内部验收线。

几个坑得提前知道

默认分支已经从SGLang换成了DeepInfer,但这条分支上RedKnot的注意力复用优化还没实现,跑的是全量重算基线,除V4.1-Flash外其余模型待移植。Mistral、Qwen3、Qwen3.5 MoE和Llama 3.3目前只有实验性基准入口,不像V4-Flash那样有打包配置。vLLM侧核心代码9月迁完,但模型级集成和端到端验证仍在推进。昇腾NPU由华为云在推。在AI工具导航的推理加速分类里,RedKnot的定位是挂在运行时之上的优化层,不重新实现调度与并行——它和SGLang是叠着用的关系,收益能不能拿到,取决于模型和上下文长度是否落在验证过的区间内。

谁适合用,谁别碰

收益出现在“同一份长文档被反复问”的地方。上下文长度常年超过32K、自建推理服务的团队,热态首字延迟的改善最明显。但省的是预填充阶段的计算量,账本降幅不等于机器数量降幅,实际要按显存和端到端延迟压测。只跑短对话、或者用托管API的团队,拿不到这层收益。在AI模型库的选型对比中,RedKnot更适合作为自建长上下文服务的优化组件,而不是开箱即用的推理框架。

编辑判断

RedKnot的价值不在于“又一个推理加速引擎”,而在于它把KV缓存的复用粒度从“整段命中”拆到了“注意力头”。前缀缓存是整段命中才省,RedKnot允许一部分头离线算、一部分头在线算,命中范围更大——代价是需要离线准备头策略,多一步模型适配。2到5倍是热态首字延迟的目标,质量回退1个百分点是验收线,这两个数字给得很克制。开源免费不等于运行免费,TP8机时是主要支出,四档题集要连续占用同一组8卡。长上下文推理的优化正在从“加显卡”转向“改缓存策略”,RedKnot是这条路线上的一个务实起点。


文章版权及转载声明:

作者:流云本文地址:https://sanwenge.com/post/1542.html发布于 2026-10-29
文章转载或复制请以超链接形式并注明出处三文阁