紧接着那句是：「In this work we employ h = 8 … we use
d_k = d_v = d_model/h = 64」。「In this work」四个字说明它是个取值，不是个规律。
而给出的理由也写得很直白：
原文给的理由（Vaswani et al., 2017 · arXiv 1706.03762）
「Due to the reduced dimension of each head, the total computational cost
is similar to that of single-head attention with full dimensionality.」 —— 理由是算力预算，不是数学必要。
八年下来，这个取值被抄成了直觉。但它从来只是个惯例。
V3 为什么敢把它撑开
因为在标准注意力里，把头做宽是要付 cache 的：
每个头的 K 和 V 都要各存一份，2 × 头数 × 每头维度 个数 ——
头一宽，每份就变大，cache 跟着线性涨。这两件事是锁在一起的。
如果整个 K 都带 RoPE，会发生什么
推理时本来有一个漂亮的省法：把「K 的升维矩阵」提前乘进「Q 的矩阵」里，
这样连 K 都不用算出来，直接拿 Q 去和缓存里那个 512 维的
c_KV 打分就行。 但 RoPE 是跟位置有关的旋转 —— 它会夹在这两个矩阵中间。
矩阵乘法不满足交换律，夹在中间的东西挪不走，这个合并就做不成了。
后果很直接：每生成一个字，都得把前面所有 token 的 K 重新算一遍。
展开：论文原话—— DeepSeek-V2 · 2.1.3 节
「RoPE is incompatible with low-rank KV compression … W^UK cannot be
absorbed into W^Q any more during inference, since a RoPE matrix related to
the currently generating token will lie between W^Q and W^UK and matrix
multiplication does not obey a commutative law. As a result, we must
recompute the keys for all the prefix tokens during inference.」
注意最后那句 we must recompute the keys ——
论文说的是「必须重算」，不是「会算错」。坏掉的是效率，不是正确性。 这个区别在讲台上很值钱：
说成「算出来会错」，懂行的人会当场纠正你。
一句诚实的补充：上面那个「合并矩阵」是推理优化，不是模型定义
公开的参考实现（HuggingFace 那份 modeling_deepseek.py）
是老老实实把 K 和 V 都算出来再做注意力的 ——
图里画的就是这条路径，因为它才是模型在数学上的定义。 「把升维矩阵吸收进 Q / 吸收进 o_proj」是高性能推理引擎才会做的一步等价变形。但正因为要给这一步留出可能性，RoPE 才必须被隔离出去 —— 架构在设计阶段就为它让了路。 论文自己也是这么说的（V2 附录 C 末尾）：「due to the associative law of
matrix multiplication, we can absorb W^UK into W^UQ, and
W^UV into W^O. Therefore, we do not need to compute keys and
values out for each query.」
两个值得较真的细节① 原始论文对这一步的措辞是「我们怀疑」，不是「我们证明」。Attention Is All You Need §3.2.1 的原话是 “We suspect that for large values of
d_k, the dot products grow large in magnitude, pushing the softmax function into
regions where it has extremely small gradients”，
脚注里给的是一个直觉论证：假设各分量独立、均值 0 方差 1，点积的方差就是 d_k，
所以除以 √d_k 把标准差拉回 1。这是个很好用的直觉，但它是猜想不是定理。 ② V3 实际代码里这个系数不等于 1/√192。
因为开了 YaRN 做长度外推（original_max_position_embeddings = 4096，
factor = 40，4,096 × 40 = 163,840），
缩放系数还要再乘一个 mscale²： mscale = 0.1 × ln(40) + 1 = 1.3689，
1/√192 × 1.3689² = 0.1352 ——
而不是 0.0722，差了 1.87 倍。原理完全不变，只是这个常数跟长上下文外推是绑在一起的。 出处是参考实现 modeling_deepseek.py 里
softmax_scale = q_head_dim^(-0.5) 之后那个
* mscale * mscale，以及 yarn_get_mscale() 的定义。
另外注意 163,840 才是配置里的位置上限，128K 是对外宣称的可用长度，两个数不一样。
这里必须诚实：连提出 SwiGLU 的人都说不出为什么它好
这篇论文的结论段原话是：“We offer no explanation as to why these architectures
seem to work; we attribute their success, as all else, to divine benevolence.” 翻成人话：我们没法解释它为什么行，就当是老天赏饭。所以上面那句「乘法带来交互项」是一个说得通的直觉，不是被证明的因果。这张表能支撑的只有一件事：门控这一组确实赢，而且赢的不是激活函数。
「乘 2/3」不是我们凑的，是论文里明写的“All of these layers have three weight matrices, as opposed to two for the
original FFN. To keep the number of parameters and the amount of computation
constant, we reduce the number of hidden units dff … by a factor of
2/3 when comparing these layers to the original two-matrix version.” —— GLU Variants Improve Transformer，arXiv 2002.05202 第 2 节。
上面那张消融表也是在这条规则下跑的，所以那八个写法才真的可比。
// DeepSeekMoE (arXiv:2401.06066), §5.1 Experimental Setup
We substitute all FFNs except for the first layer with MoE layers,
since we observe that the load balance status converges
especially slower for the first layer.
请注意措辞是 we observe —— 这是一条实验观察，不是理论推导。
论文没有解释「为什么偏偏是第一层」，后面两代也再没展开过。
同一篇里 145B 那版也是同样处理，但没有重复给理由；
DeepSeek-V2 的原文是 Following Dai et al. (2024), we substitute
all FFNs except for the first layer；DeepSeek-V3 的原文是
We substitute all FFNs except for the first three layers ——
1 变成 3 这件事，前后没有一个字的说明。
后果有三条，都很实在：① 偏置可以任意大力地掰 —— 掰得再狠，输出也不失真；
② 它不参与反向传播，因此不跟主目标抢梯度；
③ 它是训练循环外面的一个动作，想改策略不用动模型。
（这不用从源码推，论文里有一句现成的：
“Note that the bias term is only used for routing. The gating value,
which will be multiplied with the FFN output, is still derived from
the original affinity score.”
—— arXiv 2412.19437 第 2.1.2 节。两份分数，两条路。）
论文原话“Like the device-limited routing used by DeepSeek-V2, DeepSeek-V3 also uses a
restricted routing mechanism to limit communication costs during training. In short,
we ensure that each token will be sent to at most M nodes, which are selected
according to the sum of the highest Kr/M affinity scores of the
experts distributed on each node.” —— DeepSeek-V3 Technical Report，arXiv 2412.19437 第 2.1.2 节。
注意它给的理由是一个字都不含糊的 “to limit communication costs”。
“…we limit each token to be dispatched to at most 4 nodes, thereby reducing IB traffic.
For each token, when its routing decision is made, it will first be transmitted via IB to the
GPUs with the same in-node index on its target nodes. Once it reaches the target nodes, we will
endeavor to ensure that it is instantaneously forwarded via NVLink to specific GPUs that host
their target experts… This implies that, although DeepSeek-V3 selects only 8 routed experts in
practice, it can scale up this number to a maximum of 13 experts (4 nodes × 3.2 experts/node)
while preserving the same communication cost.”
—— DeepSeek-V3 Technical Report，arXiv 2412.19437 第 3.2.2 节。
// JAX / MaxText 的 megablox Pallas kernel，_get_tile_sizes()
bf16_bf16_tile_m = 128// 注释原话：「128 is the largest tile_m value that is safe to use
// for most scenarios」（低位宽会往上调）
① 残差 = 支路。He 等 2015，Deep Residual Learning for Image
Recognition（arXiv 1512.03385）摘要原话：
"We explicitly reformulate the layers as learning
residual functions with reference to the layer inputs,
instead of learning unreferenced functions."
// 正文里主干叫什么：
"The formulation of F(x)+x can be realized by feedforward
neural networks with shortcut connections."
② 残差流 = 残差的累加。Elhage 等 2021，
A Mathematical Framework for Transformer Circuits：
"each layer adds its results into what we call
the residual stream."
"The residual stream is simply the sum of the output
of all the previous layers and the original embedding."
彩蛋：主干的另一个名字就是「embedding」，而他们特意没用它
同一篇里还有这么一句 ——
「In transformers, the residual stream vectors are often called the
"embedding". We prefer the residual stream terminology, both because it
emphasizes the residual nature ... and also because we believe the residual
stream often dedicates subspaces to tokens other than the present token,
breaking the intuitions the embedding terminology suggests.」 所以「主干该不该有自己的名字」这个直觉是对的，它本来就有一个 —— 叫 embedding。
是这一派刻意换掉了它：一来要强调「这里面装的是残差」，
二来因为这条流里常常有子空间是留给别的 token 的，
叫 embedding 会误导人以为它只描述当前这个 token。
一个立住问题、只给半个答案的数字
在每一层的边界上把残差流存一份。61 个边界存满，光这一项就是
106.75 GiB —— 已经超过单张卡，而这还没算层内部的任何中间量。
于是自然冒出一个问题：凭什么要留着？ 半个答案就在 V3 论文里，而且它选择的是「不留」。原文：「We recompute all RMSNorm operations and MLA up-projections during back-propagation,
thereby eliminating the need to persistently store their output activations.」存不下就别存，反向的时候拿算力换回来 —— 这是拿时间换空间，不是免费的。
另外半个答案（为什么反向非要这些中间量、这笔交换怎么定价）在
专题四。
这里要留下的是这个反射：看到一个「装不下」的激活数字，先问的不是「怎么加卡」，是「这份非存不可吗」。
// 出处：DeepSeek-V4 技术报告（arXiv 2606.19348）§4.2.1 模型配置
V4-Pro layers = 61 d = 7168 n_hc = 4 s_max = 20 1.6 T 总 / 49 B 激活
V4-Flash layers = 43 d = 4096 n_hc = 4 s_max = 20 284 B 总 / 13 B 激活
// 出处：mHC 论文（arXiv 2512.24880）实验设置
HC 与 mHC 的 expansion rate n 均设为 4，主实验模型 27 B
那「4 倍宽」到底涨了多少显存？这门课不给这个数，因为给不出来。naive 的算法是 1.75 GiB × 4 = 7.00 GiB 每层 ——
但那是假设四条流的每层激活全部原样留着。V4 论文对这一点的原话是：
「we recompute most hidden states between layers and all normalized layer inputs,
while avoiding recomputation of compute-intensive operations」。
也就是说，层间的大部分 hidden state 根本不存，反向时重算。存多少、重算多少，是一个工程档位，不是一个由架构决定的常数 ——
所以真实增量取决于他们怎么调这个档位，论文没有给出显存的绝对数。
论文唯一给了绝对数的代价是时间：「Collectively, these optimizations constrain the wall-time overhead of mHC
to only 6.7% of the overlapped 1F1B pipeline stage.」
注意这个 6.7% 的分母是重叠后的 1F1B 流水线级，不是整个训练时间 ——
引用这个数的时候要连分母一起引，否则就是断章取义。
「during inference, we can directly discard the MTP modules
and the main model can function independently and normally」 ——
它是训练期的脚手架，拆掉不影响主模型。消融实验也正是这么做的，
所以对比双方的推理成本完全一样
原论文自己就说了这笔交易换的是什么「During training, we employed label smoothing of value εls = 0.1.
This hurts perplexity, as the model learns to be more unsure,
but improves accuracy and BLEU score.」
—— Vaswani 等 2017，Attention Is All You Need §5.4 「让模型变得更不确定」这句话，正好说反了你担心的那件事：
one-hot 的问题不是把模型教得太糊涂，而是把它教得太自信。
label smoothing 是在往回拉。
上面说了 one-hot 在期望上是对的。它唯一的毛病是慢。
蒸馏做的事只有一件：把那个硬标签换成老师模型输出的完整分布。
就这一下，换来的东西超乎直觉 —— 下面的数字全部出自
Hinton / Vinyals / Dean 2015，Distilling the Knowledge in a Neural Network
（arXiv:1503.02531）。
第一层：老师真正教的，是那些「小到没意义」的概率之间的比值「one version of a 2 may be given a probability of 10−6 of being a 3
and 10−9 of being a 7 whereas for another version it may be the other
way around. This is valuable information that defines a rich similarity
structure over the data.」
百万分之一和十亿分之一都小到不值一提，但它们的比值有意义 ——
它说的是「这个 2 写得偏 3，不偏 7」。
这就是后来大家说的 dark knowledge：老师在答案之外，
还顺带交出了一张「谁像谁」的关系图。 one-hot 把这张图整个扔了。
第二层：one-hot 是抽样，所以它抖 —— 老师的分布不抖「When the soft targets have high entropy, they provide much more
information per training case than hard targets and much less variance
in the gradient between training cases, so the small model can often be
trained on much less data than the original cumbersome model and using
a much higher learning rate.」
回到上一节那个硬币比喻：one-hot 是每次抛一次硬币，同一个前缀
这次抽到「不错」、下次抽到「很好」，梯度方向来回晃，只能靠海量样本平均掉。
老师直接把那枚硬币的偏向报给你 —— 每次都一样，没有噪声要平均。 论文里那句「可以用高得多的学习率」，就是这么来的。
