2026-11-17 10:50
导语:不搬运KV Cache,注意力图让TTFT降15%–20%。MapFlow是什么 MapFlow是北大PKU-DAIR团
MapFlow是北大PKU-DAIR团队推出的跨模型LLM推理加速系统,当Agent在多模型间交接、共享长上下文时,不再重算prefill,也不复用强耦合的KV Cache,是复用更易迁移的“注意力图”。MapFlow在共享tokenizer下让接收模型重算前几层,后续层经轻量层/头线性映射复用发送模型的token依赖;用块稀疏top-p压缩、前缀哈希缓存和融合GPU内核控制显存与延迟。实验中TTFT降低15%–20%,多轮路由吞吐最高提升25%。


微信关注回复“开源”,加入AI开源项目交流群
nvidia-cuda-mps-control -d 启动 NVIDIA MPS,为发送端、接收端与缓存服务器的 GPU 共享做准备。examples/bash/ 下的 server 脚本(如 server_top_p.sh 指定模型对与 top-p),负责注意力图的压缩、前缀哈希索引与块池管理。sender_top_p.sh Qwen3-8B 0.7 0),让大模型 prefill 共享上下文并生成注意力图存入缓存。receiver_top_p.sh Qwen3-1.7B 0.7 1 ./examples/weights/Qwen3-8B_to_Qwen3-1.7B/hotpotqa),加载预校准的映射权重,命中前缀哈希后走复用路径。accuracy/hotpotqa.sh)、TTFT(ttft/hotpotqa.sh)、端到端吞吐(e2e/multi_rounds_window_correct_log.sh)、三模型工作流或 RULER-20K 长上下文脚本,并用 extract_ttft.py 等工具解析日志结果。| 对比维度 | MapFlow(北大 PKU-DAIR) | RedKnot(小红书/北大/华为云) |
|---|---|---|
| 要解决的问题 | 多模型路由/Agent 工作流中,模型切换后长上下文重复 prefill | 长上下文 RAG 中,同一文档片段跨请求、非前缀位置出现时重复 prefill |
| 复用范围 | 跨模型(不同层数/头数/维度的模型对) | 同模型内、跨请求(位置无关缓存,PIC) |
| 复用状态 | 注意力图(token 间依赖结构) | KV Cache(但按头维度解耦管理) |
| 核心机制 | 部分重计算 + 层/头线性映射 + 块稀疏 top-p 压缩 + 融合检索内核 | 离线头分类(全局头重算/局部头复用)+ RoPE 位置对齐 + SegPagedAttention 按头分页 + 稀疏 FFN/MoE |
| 是否需要训练 | 需要:离线校准线性映射权重(< 接收模型参数 0.001%,冻结两个 LLM) | 不需要训练:needle-in-a-haystack 离线画像分类注意力头,在线零开销 |
| 质量保障 | 前 r 层重算保精度,注意力图结构跨模型可迁移 | 头级恢复优于 token 级恢复,EM 指标优于 CacheBlend/ProphetKV(如 Llama-3.3-70B HotpotQA 上 EM 0.60→0.80) |
| 延迟/算力收益 | TTFT 降 15%–20%,多轮路由吞吐最高 +25% | Prefill 计算量降 3.9–4.3×(16K–24K),64K 时 QPS/GPU 约 4× 于全量重算 |
| 推理框架 | 集成 vLLM(Triton 融合内核) | 初建基于 SGLang,现默认分支转向 DeepInfer;vLLM 侧集成在推进 |
| 开源情况 | GitHub 开源,附四组模型对预校准权重 | GitHub 开源(Apache-2.0),DeepSeek-V4-Flash 有一键复现配置,其余模型为实验性入口 |
| 适用场景 | 多模型路由、级联推理、多 Agent 工作流(数据库助手、text-to-SQL 等前缀密集负载) | 同一份长文档被反复查询的 RAG 服务、超长上下文(128K+)高并发场景 |
| 主要局限 | 要求共享 tokenizer;收益受 prefill 占端到端延迟比例限制 | 只对同模型生效,不解决跨模型交接;短上下文收益有限,部分模型集成尚处实验阶段 |
来源:AI工具集
免责声明:含第三方意见,不构成财务建议
Step Code – 阶跃星辰开源的终端编程智能体
09-24
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型
09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型
09-02
开源版Retool来了,60+组件拖拽搭后台
08-19
Claude Opus 5来了:半价逼近Fable 5
07-25
腾讯开源260个真实任务,考AI打工能力
07-25
美团开源AI考场:813个Minecraft任务
07-25






