每一行勾上这种并行训练一步里要用到的通信,可以勾不止一个。五行都勾完再点「对答案」。
| 并行方式 | AllReduce | AllGather | ReduceScatter | AllToAll | 一对一收发 |
|---|---|---|---|---|---|
| DP 数据并行每张卡一份完整模型,各吃一份数据 | |||||
| FSDP(ZeRO-3)权重、梯度、优化器状态全切开 | |||||
| TP 张量并行一层里的矩阵切给几张卡 | |||||
| PP 流水线并行按层切成几段 stage | |||||
| EP 专家并行MoE 的专家分到不同卡 |
| 并行方式 | 答案 | 用在哪 |
|---|---|---|
| DP | AllReduce | 每步把各卡的梯度加起来、人人一份。AllReduce 本来就能拆成 ReduceScatter + AllGather,拆开勾也算对 |
| FSDP | AllGather + ReduceScatter | 前向用到哪层先 AllGather 拼回权重,反向再拼一次;算完的梯度 ReduceScatter,各卡只留自己那块 |
| TP | AllReduce | 每层前向两次、反向两次,把切开的矩阵乘结果加回来;配序列并行时换成 AllGather + ReduceScatter,也算对 |
| PP | 一对一收发 | 只在相邻 stage 之间传激活(反向传梯度),不需要全员一起 |
| EP | AllToAll | 每层两次:把 token 派给它选中的专家,算完再原路收回 |
推理只剩前向,这张表还能用,但轻重变了:TP 每层那几次 AllReduce 数据不多,卡的是延迟;EP 也不一定走 AllToAll —— 公开的 TPU 推理专家那步用的是 AllGather 加 ReduceScatter(完整版 6.4)。
训练一步算一大批,推理得一个字一个字往外吐。 贵就贵在:每吐一个字,都要把整车货从显存里搬一趟。
⚠️ 示意时间线:格子长短不按比例,prompt 画成 6 格 KV、decode 画 8 步,都是为了看得清。
📌 TTFT、TPOT 的定义按 vLLM 的 benchmark_serving:TTFT 从请求发出算到第一个输出 token,TPOT 是除第一个 token 外平均每个输出 token 的时间。第二节会细讲它们的口径(含不含排队、平均还是 p99)。
⚠️ 「第一个字由 prefill 产出」是标准实现:prefill 的最后一个位置直接给出第一个输出 token 的分布。
首次公开:Orca OSDI'22;GPTQ arXiv 2210.17323;投机解码 Leviathan 等 arXiv 2211.17192;GQA arXiv 2305.13245;PagedAttention 博客 2023-06-20;Splitwise arXiv 2311.18677;RadixAttention arXiv 2312.07104;SARATHI arXiv 2308.16369;Mooncake arXiv 2407.00079;Meta 上下文并行 arXiv 2411.01783;SGLang v0.4 博客 2024-12-04(DP attention)、DeepSeek-V3 arXiv 2412.19437;⑫ Qwen3-Next 博客 2025-09-10(更早:H3 arXiv 2212.14052、Jamba 2403.19887);⑬ Koi-4B arXiv 2610.12582、NVIDIA-Nemotron-Labs-Dory1.0-4B 2026-10-16(更早:Universal Transformers arXiv 1807.03819)。末年:DeepSeek-V3.2-Exp 技术报告(DSA,2025-09);SGLang HiCache 博客 2025-09-10;NVIDIA Dynamo 新闻稿 2025-03-18;SGLang 大 EP 博客 2025-05-05;vLLM v0.10.2 release(DCP,2025-09);EAGLE-3 arXiv 2503.01840;Inferact TPU megakernel 博客 2026-09、vLLM DeepSeek-V4.1-Flash 博客 2026-10-07(FP4 KV)。外力:OpenAI DevDay 2023-11-06、Google 2024-02-15;OpenAI 2024-09-12、DeepSeek-R1 arXiv 2501.12948。年内等距排,只表先后。
| 首次公开 | 卡在哪 | 怎么解 | 又留下什么 | 节 |
|---|---|---|---|---|
| 2022 | 整批人陪最慢的写完 | 连续批:每步都能上下车 | 座位归 KV 管,KV 按最长预留 | 二 |
| 2023–2024 | KV 白占显存、每行太厚 | 分页;GQA、MLA 压薄;相同开头不重算 | 上下文越来越长 | 三 |
| 2024–2025 | MoE 把人拆散到几百个专家 | DEP + 大 EP:专家铺满上百张卡 | 每卡自备状态,长上下文 KV 被复制 | 四 |
| 2024–2025 | 长上下文 KV 放不下、首字慢 | DCP/PCP:按序列切 | 只在长上下文划算 | 五 |
| 2023–2025 | 长 prompt 卡住正在出字的人 | PD 分离:两种活分开放 | 每个请求多搬一趟 KV | 六 |
| 2022–2025 | 思考模型一题几千字,一趟一个字 | 投机解码:一趟验好几个字 | 人多时缩水 | 七 |
| 2022–2026 | 能省的只剩字节 | FP8、FP4 量化,合并 kernel | 掉不掉点要实测 | 八 |
同一颗芯片,读 prompt 时忙得不行,往外吐字时大半在发呆。 差别只在一件事:一趟喂进去几行。
📌 7168 = DeepSeek-V3 config.json 的 hidden_size。屋脊点 313 = v7 每芯片 bf16 2,307 TFLOP/s ÷ HBM 7.37 TB/s(Google Cloud 公开规格;bf16 是 FP8 4,614 的一半,本课推导;专题二同一个数)。
📌 本课推导:运算 2·M·H²,字节 2·(H² + 2·M·H)(权重读一遍、输入读一遍、输出写一遍,bf16 每数 2 字节),强度 = M·H ÷ (H + 2M)。令它等于 313 解出 M ≈ 343。
⚠️ 只算权重时强度就是 M,过线点正好是 313(专题五 fig5-decode-ai 的口径);这里把输入输出也算上,过线点往右挪到 343。
⚠️ 刻意没画:注意力(它读的是 KV,强度不随人数涨,第五节讲)和 MoE 专家层(见本节专家行数那张图)。
37 GB ÷ 7.37 TB/s ≈ 5 毫秒,算力只用上 0.32%(理想下限)。换更快的计算单元没用,下限是带宽定的。
📌 本课推导:KV = 70,272 字节/token(MLA 每层存 512 + 64 个数,bf16,61 层,config.json)× 上下文。128K 时 9.21 GB = 8.58 GiB,与专题五同一个数。
📌 本课推导:b 人一步读的权重 = 不经路由的部分 + 653.9B 路由专家 × [1 − (1 − 8/256)^b](FP8,每参数 1 字节)。b=1 时恰好 37 GB,b 很大时趋近 670.5 GB,对上 671B。
⚠️ 64 人时每人摊到 9.14 GB 而不是 37 ÷ 64:每人挑的专家不同,一步里 87% 的专家都被碰到、都要读。
⚠️ 假设路由均匀、所有人上下文一样长;没算激活和通信字节。KV 改存 FP8 时紫段减半。
📌 256 个路由专家、每 token 挑 8 个:DeepSeek-V3 config.json(n_routed_experts、num_experts_per_tok)。MXU 一边 256:JAX 公开源码 jax/_src/pallas/mosaic/tpu_info.py,TPU 7 的 mxu_column_size=256。
📌 本课推导:专家矩阵 7168×2048,M=8 时强度 = 2·8·7168·2048 ÷ [2·(7168·2048 + 8·(7168 + 2048))] ≈ 8。稠密层 239 来自本节第一张图。
⚠️ 8 是平均数,路由不均时有的专家几十行、有的零行。共享专家每个 token 都过,不受影响。
过线只对整块矩阵乘成立;要每个专家都喂饱,一步得凑 9 千多个 token(完整版第三节按 H100 推导)。
要多拉人,可人不是一起上车、一起下车的:有人问一句就走,有人要写三千字。 车怎么排,决定一趟能坐满几个人;座位有多少,决定最多坐几个;坐得越满,每个人越慢。
Orca(OSDI 2022)第一招:每走一步就停下来看一眼。 后来叫连续批(continuous batching),vLLM、SGLang 都这样排。
KV 池装得下几个人,就有几个座位。一笔账:每卡吞吐 ≈ 车上人数 ÷ 两字间隔,座位一满,吞吐就到顶。
那多给座位呢?两字间隔不会原地不动:
实测:GB300、DeepSeek-V4-Pro、SGLang,mem-fraction-static 0.85 → 0.88;每 rank 请求 886 → 999,TPOT 77.7 → 85.3 ms,端到端吞吐 10,614 → 10,704(SGLANG-V4PRO-RUNBOOK.md:849-858、885-894)。
本课推导:0.8% = 10,704 ÷ 10,614 − 1;上限 = 999/886 × 77.7/85.3 − 1 ≈ 2.7%,假设新座位全坐满、两字间隔按实测。
权重早已摊薄,新上车的人带来的全是 KV,每一步就长了。
InferenceX 三点:gpu-tpu-pedia gpu/inference/a4x-max/deepseek-v4/VLLM-V4PRO-RUNBOOK.md:683-695(GB300 Dynamo + vLLM,V4-Pro FP4,8K/1K,output ÷ decode GPU)。
PyTorch 博客 2026-06-23「Serving DeepSeek-V4 on GB300 with SGLang: 5x Higher Throughput at the Same Interactivity Since Day-0」:~11,200 tok/s/GPU at roughly 50 tok/s/user,Day-0 无 MTP 曲线约 2,200。
⚠️ 11,200 用的是 output ÷ decode GPU 还是 (in+out) ÷ 全部 GPU,公开材料没钉死(SGLANG-V4PRO-RUNBOOK.md:745)。本图按前者画,若是后者,这个点要往下挪。
本仓库实测 9,168:SGLANG-V4PRO-RUNBOOK.md:596(conc600,TPOT 59–61 ms)、723-725。横坐标 1000 ÷ 60 ≈ 17 是本课推导。
goodput:DistServe(arXiv 2401.09670)。
座位就是 KV:每人一本笔记,说过的每个字记一行。 座位数 = KV 池 ÷ 每人那本笔记有多厚。想多坐人分三步:先把每行写薄,再让纸别浪费,最后算过的不再算。
写薄了掉不掉分?GQA 原论文把 T5-XXL 改成 8 组:解码快约 5.4 倍(本课推导),平均分 47.1 对原版 47.2;只是 T5-XXL 在 TPU v4 上的数。
出处:每 token KV:V3 (512+64)×61×2 B = 70,272(config.json);Llama-3.1-70B 2×8×128×80×2 = 327,680(HF config.json);Qwen3.5 全注意力 15 层 × 2 头 × 256 维 × K、V × 2 B = 30,720,线性层状态 45×64×128×128×4 B = 180 MiB(HF config.json,mamba_ssm_dtype float32)。
口径:MHA 一行是 V3 形状的假想(128 头 × 128 维,专题三第一题):3,997,696 B/token。
本课推导:v7 一颗芯片对软件是两个 device,各管自己的显存,按 device 记账;V3 权重全按 FP8 1 B/参数算 671 GB ÷ 16 个 device = 41.9 GB = 39.1 GiB;每 device 实测可用 94.75 GiB(tpu-inference R1 FP4 README),再留 10% 给激活(本课假设);KV 池 = 94.75 GiB × 0.9 − 39.1 GiB = 46.2 GiB,先按权重全切粗算,DP attention 下非专家权重每个 device 各一份,实际更少。假设 attention 走数据并行(每个 device 只存自己那几条序列);若 attention 走 TP,MLA 的 KV 每个 device 复制一份(专题五)。
口径:没算激活与通信缓冲(归入那 10%)、线性层卷积状态、引擎实际的状态 dtype(可能不是 fp32)。
人少,这一趟又分给几个人;每人每步要读的 KV 也更多。长上下文贵就贵在这两头。
出处:首字 13 s → 0.5 s 取自 DeepSeek API 文档的磁盘缓存公告(api-docs.deepseek.com/news/news0802,2024-08,原文 128K prompt with high reference)。
出处:6,080 亿输入 token、56.3% 命中取自 DeepSeek open-infra-index 202502OpenSourceWeek day_6(统计窗口 2025-02-27 12:00 到 02-28 12:00 UTC+8,608B 里 342B 命中,V3 与 R1 合计)。
本课推导:13 ÷ 0.5 = 26;100% − 56.3% = 43.7%。两个数来自两份文档、两个时间点,不是同一次测量。价格不画。
V3 这么大的模型,一张卡装不下,得几张卡一起跑。专家那一半大家都按 EP 分,分歧在注意力:几张卡合算一批人,还是各带各的人? 这一选,决定每人那本笔记被复印了几份。
📌 TensorRT-LLM 定义:TEP<N> shards both attention (TP) and experts (EP) across N ranks;DEP<N> keeps attention data-parallel (ADP) while distributing experts across N ranks。
⚠️ 专家那一步的通信按常见实现画:attention 用 TP 时各卡 token 相同,专家输出用 AllReduce 合并;attention 用数据并行时各卡 token 不同,走 AllToAll。示意 4 张卡、8 个专家。
代进去:MLA、V4-Pro 1 个 KV 头,TEP8 复印 8 份;Qwen3.5-397B 32 个查询头共用 2 个,复印 4 份;8 个 KV 头的 GQA 不复印,DEP 不占便宜。
V4-Pro 1 个 KV 头。我们自己在 GB300 上用 SGLang 搭的一套部署,读题和写字拆在两批机器上(为什么这么拆,第六节讲),两头都用 DEP:14 台 prefill 各跑 dep4,decode 跑 dep8,每张 decode 卡端到端 10,704 tok/s,是官方目标(PyTorch 博客报的每卡约 11,200,分母官方没写明,本课按 decode 卡读)的 95.6%。
SGLang 部署:gpu/inference/a4x-max/deepseek-v4/SGLANG-V4PRO-RUNBOOK.md:33-34(14 prefill 各 dep4 + dep8 decode、16 节点同一 NVL72 域)、scripts/prefill-dep4.sh、decode-dep8.sh(--enable-dp-attention,EP 4/8);三行实测 :851-858(ISL 4096,14 路 × 并发 1050,#1/#3/#7)。
旁证:VLLM-V4PRO-RUNBOOK.md:298-302(num_key_value_heads 1)、:464-465、:476(并发 512:TP4 decode 输出 4,220、出字间隔 46.8 ms;dep8 为 11,031、11.8 ms;GPU 16 与 20)。
本课推导:容量上限倍数 = TP ÷ min(TP, KV 头数),上半张是示意,条长不按实测请求数画;+54% = 10,614 ÷ 6,887,+0.8% = 10,704 ÷ 10,614;2.09 倍 = (55,153 ÷ 20) ÷ (21,100 ÷ 16),55,153、21,100 是同表的总吞吐(输入+输出,4K 进 1K 出,所以约是输出的 5 倍),1.31 倍 = (11,031 ÷ 8) ÷ (4,220 ÷ 4)。
第一节的洞:每个专家平均只剩 8 行。解法是把专家铺开:出了一台 8 卡机还在分,就是大 EP(TensorRT-LLM 的线是 EP 超过 8);注意力各管各的人,所以它是放大版的 DEP。
DeepSeek 线上 decode 用 EP144:18 台机器,256 个专家加 32 份冗余共 288 份,每卡 2 个路由专家加 1 个共享专家。
左:DeepEP v1.2.1 README 低延迟 kernel 表(H800 NVLink 约 160 GB/s;CX7 400 Gb/s IB 约 50 GB/s;128 token/批、hidden 7168、top-8、FP8 分发、BF16 汇回)。右:DeepSeek-V3 技术报告 §3.4;LMSYS 2025-06-16「GB200 NVL72 Part I」(pure-NVLink … allows two-batch overlap to be disabled);Google Cloud「Inside the Ironwood TPU codesigned AI stack」(64-chip cube、3D torus、9,216 颗、DCN)。
本课推导:(194 + 360) µs × 58 层 ≈ 32 ms,是不重叠时的上限;V3 61 层中前 3 层稠密,MoE 58 层(config.json first_k_dense_replace 3)。NVL72、ICI 的带宽没写数字。
还有一笔账:批小了凑不满车,传的开销照付。
LMSYS 2025-06-16「GB200 NVL72 Part I」:decode 每卡 7,583 tok/s,对 H100 每卡 2.7×(2,000 token 输入;H100 柱含模拟 MTP;decode 用 slow-down 接口攒满再放开)。
LMSYS 2025-09-25「Part II」:FP8 注意力 + NVFP4 专家,prefill 26,156、decode 13,386 tok/s 每卡,对 H100 3.8× 和 4.8×;decode 48 卡(「For decode, we use 48 ranks」)。
H100 基线是两篇各自引用的 H100 PD + 大 EP 部署;倍数为原文所报,未做同精度拆分。
上一节的洞:K3 这类模型 DEP 起不来,退回 TP,笔记被复印好几份,上下文一长先把显存吃光。第二个麻烦:prompt 一长,首字要等很久。 两招都沿序列切,名字只差一个字母。
注意力是一张表:行是新 token 的提问(Q),列是前面 token 的笔记(K、V),只看前面,所以是三角。切开它,总有一方得搬家。
切法一样:都按 token 把序列切成几段,每张卡管一段、存自己那段的 KV。不同只在传什么。
答案怎么拼:先别除。注意力是加权平均:每张卡交出分子和分母,加总后只除一次。
📌 讲法:Ring Attention(Liu 等,arXiv 2310.01889)附录实现按分子、分母分别累加;分块 softmax 的数值稳定写法见 FlashAttention(arXiv 2205.14135)。
⚠️ 本课示例:数字是随手取的,按定义现算并断言。
📌 vLLM context parallel 部署文档:KV cache 会被复制 tp_size / H 次;DeepSeek-R1 在 MLA 下只有 1 个 KV 头,-tp 8 就是 8 倍复制,可加 -dcp 8。KV 尺寸取自 V3 config.json,本脚本现算。
gpu/inference/a4x-max/kimi-k3/SGLANG-K3-RUNBOOK.md §11.0.3(:1010-1023,八个工作点)、§11.0.0 宽表(:921-938,4K c8/c32 本脚本取 symm-mem 开着时 TP8 最好的一档现算)、:721-723(逻辑 KV 1.5M → 12.2M token)、:1024-1026(−26% = 关 symm-mem 的损失)、:962(symm-mem 在 DCP 下用不了)。
各点比值:4K c1 −26%、c8 −9%、c32 −11%、c64 −7%;8K c8 −11%、c32 +24%;32K c8 −17%、c32 +7%;128K c1 +12%、c8 +237%。
吞吐是输出 tok/s,热轮;32K c32 按 §11.0.3 取 TP8 408.2(宽表 ratio 0.4 那行是 420,比值变 1.04,不改结论)。K3 的 MLA 层只有一个 KV 头,它的 69 层 KDA 状态池 DCP 不切(同文件 :725-726)。横轴没换成「KV 总量」:原表只给输入长度和并发,没有实测的 KV 占用。
DCP 只管注意力那一半:不添卡,叠在注意力的 TP 上,把复印件改成分册。专家那一半用 EP 还是 TP 都不碍事,所以常见写法是 TEP + DCP(我们 K3 那组是 TP8 + DCP8,专家没开 EP)。按现在的做法,它的路数从注意力 TP 那组卡里借(最多「TP 路数 ÷ KV 头数」份);DEP 注意力那边每组只有一张卡,没得借。不是不能配 EP,是不能配 DEP。它救的正是 DEP 起不来、注意力退回 TP 的那批模型。
上一节的洞:prefill 和 decode 还挤在同一批卡上,每卡装的人越多,一个长 prompt 进门耽误的人越多。 PD 分离把两种活拆到两批机器上,代价是每个请求多搬一趟 KV。多搬一趟,凭什么接的人反而更多?
📌 DistServe(Zhong 等,arXiv 2401.09670)sec. 1 与图 1 的例子(13B 模型、单张 A100,90% 请求达标):同一 SLO 下单卡 goodput 1.6/5.6/10 rps,2P1D 每卡 3.3 rps、2.1 倍;作者博客「Throughput is Not All You Need」用同一组数讲了一遍。
⚠️ 本课推导:2P1D 每秒 min(2 × 5.6, 10) = 10 个,每卡约 3.3 个;混着做接 10 个要 ⌈10 ÷ 1.6⌉ = 7 张卡。
DistServe 报告每卡请求率最多是不拆的 7.4 倍(九成以上请求守住延迟)。Mooncake 做进 Kimi 线上,NVIDIA Dynamo 2026 年 3 月出 1.0 版,PD 分离成了标准件。
📌 我们的 TPU v7x 1P1D 记录(wiki qwen3-coder-480b-pd-disagg-tpuv7x-20260425):三段按带宽估算约 10 / 80 / 10 ms、合计约 100 ms、占 prefill 5–10%(prefill 1–2 s 由此反推)。
⚠️ 本课推导:KV = 2 × 62 层 × 8 个 KV 头 × 128 × 8,192 × 1 字节 ≈ 1.04 GB;100 Gb/s = 12.5 GB/s → 约 83 ms。
📌 PrFaaS,arXiv 2604.15039(Moonshot AI + 清华):Table 3 的 Φ_kv;案例吞吐 +54%、P90 TTFT −64%、同成本约 +15%、比不调度的朴素异构 +32%;长度阈值 19.4K,约一半请求外送;平均出口 13 Gb/s,占整条以太网的 13%(§4.3.1,故专线约 100 Gb/s)。「够并几台」= ⌊100 ÷ 每台外送⌋,本课推导。
📌 案例:内部 1T 混合模型,32 张 H200 做 prefill + 64 张 H20 做本地 PD,对比 96 张 H20 同构 PD。「每 4 层里 3 层线性」即论文的混合 3:1;「每 6 层里 5 层只看近处」即 5:1 滑窗注意力(SWA)。
⚠️ 那 4 倍、13 倍是论文拿规模相近的模型两两对比(原话 dense models of similar size),不是同一参数量下的严格对照。
📌 gpu/inference/a4/deepseek-v3/REPORT-2P1D-DeepSeek-V3.md:表在 :69、:85,对比在 :100–142(每卡 = 总输出 ÷ 卡数,报告原算法,脚本复算)。c256:1,798.1 → 1,775.6。
⚠️ TTFT 是客户端测的,含排队。两边都开了 --disable-cuda-graph(REPORT-1P1D :129),所以没画 TPOT。
上一节的洞:拆不拆 PD,decode 都一步一字、每字搬一趟。要每个字都快的档 batch 开不大,推理模型又一答几千字。能不能搬一趟,出好几个字?
V3 结构取自 HF deepseek-ai/DeepSeek-V3 config.json:hidden 7,168、moe_intermediate 2,048、61 层中前 3 层稠密、256 个路由专家挑 8 个。每个专家 3 × 7,168 × 2,048 ≈ 4,404 万参数。
⚠️ 本课推导:其余部分 = 671B − 256 × 58 × 专家大小 ≈ 17.1B;由此推出每 token 激活 ≈ 37.5B,与技术报告的 37B 差 2% 以内(外部锚点)。
⚠️ 本课推导:n 个 token 独立、均匀地挑专家时,一层平均碰到 256 × (1 − (1 − 8/256)^n) 个;实际路由不均匀、相邻 token 常挑同一批专家,所以深蓝那段是偏高的估计。
K3:gpu/inference/a4x-max/kimi-k3/SGLANG-K3-RUNBOOK.md:1089(GB300 TP8 跨两节点,ISL 4096/OSL 1024,temperature 0,bs=1,TPOT 11.1 → 2.31 ms)、:979(accept len 6.96,block 7)。
⚠️ 本课推导:开投机后一趟耗时 = 2.31 ms × 6.96 ≈ 16.1 ms;每字间隔降到 1/4.81(11.1 ÷ 2.31 ≈ 4.81)。runbook 报的端到端 4.22× 含首字时间,所以比 4.81 小。右图第 7 个方块代表平均值里的 0.96 个,示意。
注:K3 是 8 张卡跑 bs=1,一步里除了读权重还有通信和 kernel 之间的空转,所以「用时 1.45×」不能全归给多读的专家。
Kimi K3 在 GB300 上一个人用:一趟从 11.1 ms 慢到约 16 ms(本课反推),平均带回 6.96 个字,每字快到 4.81 倍。这是温度 0、随机 prompt 测的,偏乐观:官方按温度 1.0 给的接受长度低一截,代码类约 4.73、创作类约 2.61(引擎不同,别直接相除)。
K3:gpu/inference/a4x-max/kimi-k3/SGLANG-K3-RUNBOOK.md:1089-1092(GB300,TP8 跨两节点,ISL 4096/OSL 1024,random,temperature 0,开环,只报热轮;输出 tok/s 总量)、:1057-1058(32K,只测了并发 1;8/32 没测,集群已删)。
注:K3 并发 64 时开投机的 TPOT 仍只有不开的 40%,这一档吞吐和延迟同时变好。
另两组相关实测的出处 —— B200:gpu/inference/a4/deepseek-v4/README.vllm.md:265-277(DeepSeek-V4-Flash,8× B200,vLLM v0.20.0,EP+DP=8,MTP num_speculative_tokens=2;接受率约 54%;十档并发 −3% 到 −37%)。
V4-Pro:gpu/inference/a4x-max/deepseek-v4/SGLANG-V4PRO-RUNBOOK.md:900-911(steps 1/draft 2 → steps 2/draft 3;接受长度 1.88 → 2.36(+26%),反推单步耗时 115.3 → 162.5 ms(+41%);decode 峰值 −13%、端到端 +28%)。B200 那套是 EP+DP 高吞吐配置,结论不能搬到 TP-only 低延迟配置。
所以呢:低并发、要跟手的档先开;为大 batch 配的部署先实测再开。
时间取 arXiv 首版(2026-10-15 逐个核过摘要页):投机解码 Leviathan 等 2211.17192;Chen 等 2302.01318;Medusa 2401.10774;EAGLE 2401.15077、EAGLE-2 2406.16858;MTP · DeepSeek-V3 2412.19437;EAGLE-3 2503.01840;DSpark 2607.05147。Prompt Lookup 没有论文,年份按 GitHub 仓库 apoorvumang/prompt-lookup-decoding 的创建时间(2023-11,GitHub API 核过;已集成进 vLLM 与 transformers)。Medusa 与 EAGLE 都是 2024-01,轴上两点挨着。
没画进图的:SpecInfer 2305.09781 把草稿排成树;SuffixDecoding 2411.04975 从历史输出里抄;扩散草稿 DiffuSpec 2510.02358、DFlash 2602.06036;Lookahead 2402.02057。P-EAGLE、PARD、LayerSkip 等也没画。
注:各家倍数都是原作者在自己的模型和负载上测的,口径不同,不横比,所以图上不画。
各家倍数口径不同,比的对象、用的模型都不一样,不能横比,完整版第十一节逐条列了。
DSpark 怎么补的:两刀。一趟出整块的草稿开头准、往后掉得快;闲聊又天生比解题难猜(论文实测在下面折叠里)。两刀各补一头。
DSpark:arXiv 2607.05147。左:§4.3.1 正文给出的数(Figure 2 全曲线未逐点公开,图上只画正文写明的;右端是正文说的「块里更靠后」处,没写明是第几位)。右:表 1 Qwen3-8B,数学=GSM8K/MATH500/AIME25、代码=MBPP/HumanEval/LiveCodeBench、闲聊=MT-Bench/Alpaca/Arena-Hard,每类取三个基准的平均(本课计算)。
核对:九个基准的平均算出来 DSpark 比 EAGLE-3 高 26.7%、比 DFlash 高 18.4%,与论文正文一致。温度 1.0、块长 7、草稿 5 层(EAGLE-3 为 1 层)。
EAGLE:arXiv 2401.15077 v3 §3(Figure 6 说明:嵌入层、LM head 用目标模型参数不训;FC+一层 decoder;特征与提前一位的 token 嵌入拼 2 倍宽)、§4 Training(70B 可训 0.99B,A100 40G 服务器 1–2 天)。EAGLE-3:arXiv 2503.01840 v3 §3.1–3.2(低/中/高特征拼 3k 经 FC 压回 k;第 2 步起用草稿输出 a 顶替;training-time test);how/can/I/do/it 是论文 Figure 5 的例子。
MTP:DeepSeek-V3 技术报告 MTP 一节;各家采用见 sebastianraschka.com 架构图鉴 MTP 页、FastMTP 引言。接受率:FastMTP arXiv 2509.18362(MiMo-7B 单层 MTP,冻结主模型、自蒸馏数据微调 MTP 头;原样第 2 位约 10%,第 3 位约 2%)。
上一节的洞:人一多投机帮得少了,每一趟还是那么重。前面大多走「一趟多坐人」,这一节换另一条:车不变,货变轻,权重和 KV 少用几位存。 省多少?掉不掉点?
V3:技术报告 arXiv 2412.19437 摘要,总参数 671B、每 token 激活 37B。TPU v7:Google Cloud 公开规格,每芯片 HBM 192 GiB、带宽 7.37 TB/s。右图统一用十进制 GB:8 × 192 GiB = 1,536 GiB ≈ 1,649 GB(本课推导)。
MXFP4:OCP Microscaling Formats (MX) Specification v1.0。NVFP4:NVIDIA 技术博客「Introducing NVFP4 for Efficient and Accurate Low-Precision Inference」。
⚠️ 本课推导:下限 = 激活参数 × 每参数位数 ÷ 8 ÷ (8 × 7.37 TB/s)。假设权重均匀摊开、带宽跑满;不含 KV、激活值和通信,实际一步更慢。
注:真实部署很少整模型都降到 FP4:DeepSeek-V4 只把专家放 FP4、其余多为 FP8(HF 模型卡)。
gpt-oss-120b 的模型卡分开列:专家 114.71B,注意力 0.96B,嵌入和输出层 1.16B。专家约占 98%,注意力不到 1%(本课推导)。OpenAI 只把专家压成 MXFP4,整个模型装进一张 80 GB 的卡。
gpt-oss-120b config.json(hidden 2880、intermediate 2880、128 专家选 4、36 层、64 头、8 个 KV 头、head_dim 64、词表 201,088);模型卡 Table 1(注意力 0.96B、激活 5.13B)作核对锚点;MXFP4 每参数 4.25 bit(模型卡)。
按 config 算的注意力 0.955B、激活 5.12B(另加路由约 0.01B)对上模型卡;字节、占比、倍数为本课推导,未计 KV、激活和缩放外的开销。
所以呢:专家压到四分之一,整步只省一半左右:压完后注意力占每步字节约 38%(本课推导),上下文一长还要再加 KV。
误差过四道关。不是 softmax 把误差补回来了;跟着一个四舍五入误差从权重走到出字(出处见完整版第十二节):
掉多少,看怎么压。同是 4 bit,直接四舍五入和挑过缩放差一截:
AWQ:arXiv 2306.00978v5,Llama-2-7B、WikiText-2 困惑度 FP16 5.47、RTN 5.73、AWQ 5.60(INT4,每 128 个数一组缩放)。只这一组模型和数据集。
--kv-cache-dtype。Kimi K3 高吞吐配方列为必开:BF16 的 KV 装不下每组卡 128 个请求。V3.2:FlashMLA README(2026-09-30 提交 2e5429f 之前版本「FP8 with scale」)每 token 每层 512 个 FP8 + 4 个 FP32 缩放 + 64 维 BF16 RoPE = 656 B,另加 132 B 的 FP8 indexer key;BF16 = (512 + 64) × 2 + 132 = 1,284 B。本课推导:1,284 ÷ 788 ≈ 1.63,没算权重和激活。
V4.1-Flash:2026-09 模型卡称主 KV 存 FP4(每 16 个数一个缩放),FlashMLA 同时放出读它的 kernel;但 README 写这个格式只能用于 extra_k_cache,k_cache 那份仍是 FP8。每 token FP4 256 B 数据 + 32 B 缩放 = 288 B,FP8 512 B 数据 + 16 B 缩放 = 528 B,小 45%(本课推导)。
招齐了。回到第零节那一趟:拿到一个模型、一批卡,第一天先问哪几件事? 八问:前四问在纸上算账,后四问才去拨开关。
⚠️ 本课归纳:顺序按「先校准、再算账、后调招数」排,各问拿什么回答、判据见正文和对应的节。
顺序别反:还是第四节那套 vLLM 实测,先换 DEP 每卡 2.09 倍,只调并发(256 → 512)才涨 28%(见完整版第十节)。
⭐ 八问是一个问题:这一趟卡在哪;招要么让更多人分,要么让它变轻。
第零节的题:同一套 GB300、同一个 DeepSeek-V4-Pro、每个用户出字一样快,光改软件,每卡吞吐是首发日的几倍?
左:PyTorch 博客 2026-06-23「Serving DeepSeek-V4 on GB300 with SGLang: 5x Higher Throughput at the Same Interactivity Since Day-0」(「the June 2026 MTP curve delivers ~11,200 tok/s/GPU … versus ~2,200 tok/s/GPU for the Day-0 (April 2026) no-MTP curve」)。
本课推导:11,200 ÷ 2,200 ≈ 5.1;成本 2,200 ÷ 11,200 ≈ 0.196。
右:TensorRT-LLM 技术博客「Pushing Latency Boundaries: Optimizing DeepSeek-R1 Performance on NVIDIA B200 GPUs」,8 × B200、输入 1k 输出 2k,不开 MTP 111 TPS/user,MTP1 198、MTP3 253、MTP5 239;模型和卡都与左边不同。
← 回 课程总纲 ·
上一讲 专题五 · 并行策略 ·
想深挖 专题六完整版(L300)
本页由 Courses/tools/topic06-build-L200.py 拼装,正文在 topic06_L200_s*.py。