这份讲义怎么用
两个用法。
① 上台讲:照着念,台词、切图、每段几分钟都写着。
② 自学:把这一整份丢给 AI,你会得到一个既有全部背景、
也知道该怎么讲的助教,让它带你走一遍。
内容本身在课件那边,这一份只管「怎么讲」。
课程作者 Chris Yang · Google Cloud AI Infra 架构师。
| 🎯 | 这一节要留下什么 讲完之后台下脑子里该剩的那一句。 |
| 🗣 | 讲稿 黄底的可以照着念。 |
| 🖥 | 屏幕 该滚到课件的哪张图。
⭐ 这些提示挂了 class="board",构建时逐条对账。 |
| ⚠️ | 别讲什么 这一节最容易跑偏的方向。 |
⏱ 时间:一次课,主线 83′
⛔ 这一讲是一条接力线,不能跳。 每节最后那句「这一节留下的问题」就是下一节的开场,时间再紧也要念。 一次讲完:先立尺子(第一到三节:什么叫对齐、地基、逐步曲线),再定责与看硬件(第四到六节:第 1 步逐张量、浮点与硬件、观测),最后两个案例与守住(第七到十节)。台词写到「照着就能自己算出来」,不为时间删讲法。照稿念完(含放动画)的分钟数以下面现算的地板表为准;计划按 28/27/28 排,83′;标 ✂️ 的几处已经都默认压成一句(第四节两类尺子四格、第五节 TF32、第九节开关上不上生产),细节在各节备答或课件;再超时就压第七节以外各节的例子。
| 段落 | 分钟 | 能不能砍 | 说明 |
|---|---|---|---|
| 一 什么叫对齐 | 10 | 不能 | ⭐ 开场大表(挑五六条念,3–4′)+开场题;尺子这个概念必须立住 |
| 二 地基 L0 | 7 | 不能 | 回放、权重转回来比、配置按实际值;第 1 步 loss 自检 |
| 三 逐步序列 | 11 | 不能 | ⭐ 只讲一把尺子:dₜ、三个数、读图两步、N 怎么造、一个例子、份数要够 |
| 四 张量指标 | 12 | 不能 | rel_L2 / cos / 范数比;R 比定责 |
| 五 浮点与硬件 | 12 | 不能 | ⭐ 两个案子:8 个设备才出现的多舍(往里投的求和维被切);32K 上被删的 RMSNorm 舍入(4K 验过没用)。收一句:换了条件,之前的验证就不作数 |
| 六 观测 | 3 | 不能 | TPU 上钩子多一个输出就多一次舍入;从程序外面拿证据的三条路 |
| 七 案例一 | 8 | 不能 | ⭐ 一条线查到底,每步一个数:现象 → 冷门行压得少 → 整体水平那股力 → GPU 那次十二万项求和 → 分块修 |
| 八 案例二 | 7 | 不能 | ⭐ 一条线查到底:现象 → 词嵌入梯度 → 第一个假设推翻 → 排没排序 → 切开词嵌入表 |
| 九 一条查不完的尾巴 | 6 | 不能 | ⭐ 按调查顺序讲到底,最后才揭晓全课最想带走的一招:编一次、扫一遍;清单是候选,两头验证才算数 |
| 十 工程化与收尾 | 7 | 收尾不能砍 | 逐位优先的回归;三条暗线;回到开头那一句 |
| 合计 | 83 | 第十节末尾的出处台账不进课堂,被追问时翻 |
⛔ 上面那张表是计划,下面这张是地板。 「地板」= 把讲稿一字不落念完、再加切图的时间,一句现场发挥都没有,也不含互动;放动画那一步按片长算。每次 build 现数。
| 节 | 台词汉字 | 切图 | 地板 | 计划给的 |
|---|---|---|---|---|
| 第一节 什么叫对齐 | 1,855 | 5 | 10.5′ | 10′ |
| 第二节 地基 L0:输入必须一位不差 | 648 | 4 | 4.2′ | 7′ |
| 第三节 指标(一):逐步序列 | 1,050 | 5 | 6.6′ | 11′ |
| 第四节 指标(二):张量 | 1,401 | 8 | 9.2′ | 12′ |
| 第五节 浮点与硬件:差从哪来 | 1,191 | 5 | 7.4′ | 12′ |
| 第六节 观测:在 TPU 上怎么看 | 344 | 1 | 2.0′ | 3′ |
| 第七节 案例一:loss 偏低,查到是谁的差 | 789 | 8 | 6.2′ | 8′ |
| 第八节 案例二:DDP 和 FSDP 对不上 | 690 | 4 | 4.7′ | 7′ |
| 第九节 一条查不完的尾巴 | 886 | 4 | 5.4′ | 6′ |
| 第十节 工程化与教训 | 843 | 5 | 5.5′ | 7′ |
| 合计 | 62′ | 83′ | ||
🧵 上台之前:把四条暗线记在心里
① 每个结论都要一把尺子。 一点七乘十的负四次方大不大、R 比 1.2 高不高、参照要几对 —— 每一处都先问「拿什么比」。
② 读回值、工具输出都要实测核对。 TF32 开关、配置文件里的权重衰减、加了钩子的程序,都是「看上去是 A,实际是 B」(第二节「名字对了,不等于生效了」);第八节那个 FP32 开关打开了,r 反而冲到 611,开关开了不等于梯度真在 FP32 里加对了。
③ 先排除自己,再怀疑硬件。 地基、口径、步号、测量工具,先查这些;案例一查的时候发现参照没关 TF32、一度判反结论(台上不讲,课件 §10.4 坑表有),就是这一条。
④ 换了条件就要重验。 设备数、梯度累积、步数、芯片、运行库,换一样,之前的验证就不作数(第五节两件事、第十节换运行库)。
⭐ 如果只能让台下带走一句话: TPU 跟 GPU 的差,不能比 GPU 自己跟自己的差大;超了,就查到底是谁的差。🖥 投屏怎么放
⭐ 课件打开时讲解默认已折叠,直接投屏就行。 要看讲解,点右下角「展开讲解」或按 T;投屏前确认它是折叠的,不然台下会低头读字,不听你讲。
⭐ 课件里有十支动画,讲课用其中五支(§3.3、§4.3、§5.3、§7.6、§8.5),默认连续播放。
讲之前先取消「连续播放」,点「开始」一步一步走;或者干脆先闭嘴等它播完一圈。很多静态图是左右两格的,投屏时一次讲一格;判定图(fig-judge)第一次出现时先只讲色带,不念点上的数。
第一节 什么叫对齐(10′)
🎯 这一节只留一句:TPU 跟 GPU 的差,不能比 GPU 自己跟自己的差大。
▍一 开场:先看我们查出来了什么
🖥 屏幕:课件最上面的蓝框「开场:三次迁移,真正查清的 16 处」,整张表留在屏幕上,念到哪一组指哪一组。
「正式开讲之前,先给大家看一张表。我们把模型从 GPU 搬到 TPU,前后三次。两边不一样的地方,我们找到的远不止一百处:光后两次,两边为对上而改的就有七十来处,编译器悄悄省掉的舍入,一份程序里就数出两百七十二处。绝大多数单独看影响很小,盖不过 GPU 自己的噪声。真正查清的,是这张表上的十六处。今天先不解释,只挑几条念,剩下的大家自己扫一眼。」
「第一组最不起眼:权重衰减。GPU 训练框架的模板里,两个默认值分了家:优化器写零点一,调度器另写零点零三三,每一步都拿自己的值覆盖优化器。零点一一步都没用上,差三倍。配置文件里写的,不是实际生效的。」
「第二组,硬件和编译器。同一份程序,四个设备上验得好好的,换到八个设备,代码一行没改,编译器把一次求和拆成几段,舍入从一次变成六次,离 FP64 的距离是 GPU 的一点四一倍。还有一条更隐蔽:同一行舍入,四千那份程序里在,三万二那份程序里被编译器整个删了,一千步主 loss 是尺子的七点八倍。」
「第三组,路由。输入只差一丝,排名打平边上的 token 就换了专家,第一步一个专家的梯度跟 GPU 的相对差,是五十个张量合起来那个数的八十倍。」
「最后一组是两个案例。DDP 和 FSDP,数学上完全等价,一比,曲线超出了噪声,误差全挤在三十九个词上。另一个:TPU 的 loss 三百步以后平均比 GPU 低一点七乘十的负四次方。TPU 算错了吗?」
「有的差比 GPU 自己的噪声大几十倍,有的小到 GPU 重跑都盖得住。这么多处,是怎么一处一处查出来的?这就是今天要讲的。」
▍二 一件真事,三道题
「就是刚才念的最后那件:一个模型从 GPU 搬到 TPU,第一步几乎一样,可三百步以后,TPU 的 loss 平均低这么一点。按别的项目上线用的门槛,这早能交差;我们偏要查,因为这一讲的规矩是每一处差都得说得出是谁的。最后查到一个谁都没怀疑的地方。」
🖥 屏幕:课件 s一 最上面的「🎯 开场热身」,点开(三道题会一起露出来),先只念第一问。
「先做一道浮点的小题。BF16 和 FP32,指数位一样多,都是 8 位。那 BF16 比 FP32 少的是什么?少了几位?」
💬 互动:等台下说出「尾数」「少 16 位」,再点开答案。
「对,少的是尾数:23 位只剩 7 位。所以两者能表示的范围一样大,差的是精度。在 1 附近,BF16 一格就有七点八乘十的负三次方那么宽。这一格,后面整整一讲都绕不开。
再留两道预习题,不用现在答。第二问:同一个 GPU 程序跑两遍,会一位不差吗?第三问:就是刚才那件事 —— TPU 算错了吗?」
▍三 一位不差,做不到
「今天的问题只有一句:一个模型在 GPU 上已经训稳了,搬到 TPU 上,怎么证明训的还是同一个模型?
你一定会想:那让两边一位不差不就行了?」
🖥 屏幕:fig-assoc,先指左格,再指右格。
「看这个最小的例子:三个数相加,1 加两个 2 的负 8 次方,也就是 0.0039,正好半格。左边先加前两个,结果正好落在两格中间;正好在中间时,规矩是舍到末位为偶数的那一格,1 就是,所以舍回 1;再加一次,又舍回 1。右边先把两个小数加起来,正好一格,1 加上它落在格点上。
同一个式子,换个加法顺序,差了一整格。」
「有人做过更夸张的:八个大小悬殊的数,随机打乱顺序加一万次,加出一百零二种结果 —— 用的还是 64 位双精度,精确答案是 0。」
「一次矩阵乘就是成千上万次这样的加法。GPU 和 TPU 切块不同、加的顺序不同,末位必然不同。混元 3 是 MoE 模型,每个词由路由器挑几位「专家」来算;末位一不同,某个词可能就挑了另一个专家,几百步之后两条轨迹必然分开。
预习第二问的答案也在这儿:GPU 自己跑两遍,也不一位不差。」
「为什么?前向通常是确定的,两次运行第一步的 loss 一样;分叉从反向开始。反向里有些算子,比如注意力的反向、MoE 分发 token 那一步的反向,要很多线程往同一个格子里加数,谁先算完谁先加进去。每次的先后,都不一样。加法换了顺序,就是刚才那张图。
所以「完全相同」根本不是一个能达到的目标。」
▍四 尺子:GPU 自己跟自己的差
🖥 屏幕:fig-ruler,先只指灰色的带,蓝点先不讲;浅灰小点不讲。
「既然一位不差做不到,就得换一个问法:TPU 跟 GPU 的差,不能比 GPU 自己跟自己的差大。
GPU 上跑出来当标准答案的那条记录,我们叫 golden。同样设置的 GPU 多跑几次,彼此之间的差,就是噪声。」
「横轴是第三百零一到一千步 loss 平均偏了多少,零是第一份 GPU 自己。尺子这样造:GPU 同样设置跑十份,两两配对四十五对;每一对,一份当被测、一份当参照,算横轴这个数;四十五个数里取绝对值最大的,六点七六乘十的负五次方,叫 N。灰带就是正负 N。」
「再看蓝点:同一份代码在 TPU 上的三种跑法,只改执行方式、不改数学。三个点都在带外,是 N 的二点四五、二点零、一点五三倍,朝同一边 —— 是整团挪到了左边。
有了尺子,「一点几乘十的负四次方」才有了大小。这是这门课第一条暗线:每个结论,先问拿什么比。」
「道理一句话:TPU 要是只换了加法顺序,它跟 GPU 的差,就该跟 GPU 两次重跑之间的差一样大;比这个大,就是真有东西不一样。
为什么尺子只拿 GPU 的重跑?TPU 同一个程序重跑,每一位都一样,量不出宽度。
这三个蓝点,就是今天要查到底的那件事。」
▍五 从哪查起:五级
🖥 屏幕:fig-funnel,指左右两根箭头;红色那级要一位不差,蓝色几级比噪声或比 FP64 真值。
「从哪查起?分五级。最底下 L0 是地基:数据、权重、配置,喂进去的东西,必须一位不差。往上是单个算子、单层、整网第一步、一千步。
验收从下往上,低一级不过,上一级的结论不可信;出了问题从上往下,一级一级缩小范围。后面第一个案例就是这么查的:从一千步的曲线一级级往下,最后落到一次矩阵乘上。」
▍六 这一讲跟着的那一次
「开头那件事,就是混元 3 截前 4 层,从八张 B200 搬到 TPU v5p(8 颗芯片):地基全部逐位,第一步 loss 只差二点五乘十的负六次方;一千步下来 loss 低一点七乘十的负四次方,参数范数也多涨了一截。
前六节备工具,第七节回来把它查到底。」
「另外两次迁移当旁证。「第二次迁移」:一个更新的模型,同一套方法在它身上又走了一遍。「第三次迁移」:混元 4 的另一个尺寸,这回不先对齐代码,从生产代码原样起步,一个开关一个开关地打开;它的几个发现,都是「换了一个条件,之前的验证就不作数」。课上用到它们,都先报名字。」
「第一步,先把地基铺平:数据、权重、配置,怎么做到一位不差?」
⛔ 一次课清理(11-15)收进备答:三个蓝点各是什么跑法。❓「三种跑法是哪三种?」—— 答:原样、不开重算(反向时把前向中间结果再算一遍、省显存的那个开关)、改编译器的片上内存上限。
❓ 台下可能问:「课件 §1.4 那张运行表要记吗?」—— 答:不用。只记最后定下来的标准答案叫「修好的 golden」,第九节讲;用到别的会说是哪一份
❓ 台下可能问(GPU 老手):「尺子为什么不换随机种子多跑几份?」—— 答:本课的尺子只量执行噪声,随机种子和数据顺序两边都固定;换种子就把两边本来一样的东西也变成了噪声,尺子会被撑宽
❓ 台下可能问(负责验收的技术负责人):「一点七乘十的负四次方影不影响模型效果?」—— 答:对齐只回答「两条轨迹是不是同一个模型」;超出噪声就要查清是谁的差,效果好坏是另一件事,本课不下这个判断。loss 低也不说明训得更好(第七节)
⛔ 开场大表只念现象和数,不解释为什么:每一条正文都会讲到;两个案例的答案、第五节那几条的机制都不点破,念完五六条就进「一件真事」,整段控制在 3–4 分钟。
⛔ 不要在这一节讲任何判定细节(N 怎么取、2 倍、参照对数)。那是第三节的事;这里只立「尺子」这个概念。
⛔ 不要提前说出案例的结论(GPU 输出头 dgrad 那次长求和有偏)。第三问的答案在第七节揭晓。
❓ 台下可能问:「为什么不拿 FP64 当标准答案?」—— 答:对齐的目标是 GPU,模型是在 GPU 上调稳的;FP64 只在第一步那几级(单算子、单层、整网第一步)帮我们判断差是谁带来的,第四节讲。
❓ 台下可能问:「GPU 为什么不开确定性模式,把噪声关成零?」—— 答:生产训练不开它;尺子要量的是生产配置下会有的执行噪声。
❓ 台下可能问:「一点七乘十的负四次方是哪个数?」—— 答:第三百零一到一千步,主 loss 逐步相对差的带符号均值负一点六六乘十的负四次方,对一份 GPU 基线。
❓ 台下可能问(入门):「为什么 TPU 同一个程序重跑一位不差,GPU 却不行?」—— 答:实测第二次迁移 TPU 换机器、换集群重跑都逐位相同;GPU 反向里有原子加,谁先算完谁先加(§1.1)。TPU 为什么没有这类先后,本课没讲机理,实测如此。
🖥 本节主屏:课件 第一节 什么叫对齐 · 主图 fig-ruler
第二节 地基 L0:输入必须一位不差(7′)
🎯 这一节只留一句:地基这一级只有一个标准,一位不差;第一步 loss 是最便宜的自检。
▍一 三样输入,一个验法
🖥 屏幕:第二节导语下那排四格,从左到右扫一遍,不念数。
「L0 只要求一件事:喂进去的东西,两边一位不差。这一级不过,后面量到的任何差,都说不清是算出来的还是喂出来的。
喂进去的有三样:数据、权重、配置。验法也只有一个:不信过程,只比结果,把两边真正吃进去的东西拿出来逐位比。下面一样一样过。」
▍二 数据:原样回放,逐个比指纹
🖥 屏幕:fig-replay,指上下两排颜色一一对上的那些格子。
「第一样,数据。TPU 不重读数据集,原样回放。GPU 训练时,把每一步、每张卡、每一个微批吃进去的东西原样存下来,每一份记一个指纹;微批就是一步的数据再切成的小份。TPU 按同样的顺序回放:设备 d 的第 m 份,就是 GPU 第 d 张卡的第 m 份。
每份的 token、标签、掩码、位置各一个指纹,对 GPU 逐个比了前三十步,全部相同;之后按步号回放同一份批文件。」
▍三 权重:转过去再转回来,逐字节比
「第二样,权重。GPU 的检查点转成 TPU 的格式,再转回来,跟原始文件逐个张量按字节比。一千七百八十一个张量,全部相同,不抽样。加载到设备上以后,再读出来比一遍。」
▍四 配置:比实际生效的值,不比配置文件
💬 互动:切图之前问「GPU 的配置文件,TPU 照抄行不行?」
🖥 屏幕:fig-wd,先指虚线,再指实线,最后指右上红字。
「第三样,配置,最容易翻车。验法还是同一个:比程序里实际生效的值,不比配置文件。
就拿开场念过的权重衰减说:优化器写 0.1,调度器另写 0.033,第一次更新之前就把优化器的值改掉,之后每一步都改。开场没说的是:这是框架上游的默认行为,用这个预训练模板、只改优化器那一项的人都会碰上。」
「我们是在 GPU 上用 FP64 重放优化器对不上,拟合出 0.033 才发现的;再看每一步从优化器里读出来的值,一千步全是 0.033。TPU 要是照抄配置文件,每一步多衰减三倍,而且不报任何错。
所以混元 3 的配置对照表有几十行,学习率、精度、批大小怎么切、重算怎么开,每一行写的都是实际生效的值,附一条从程序里读出来的证据。名字对了,不等于生效了,这是第二条暗线。」
▍五 收口:第一步 loss
🖥 屏幕:§2.4 那个绿框「第 1 步 loss」。
「三样都对上了,还有一个最便宜的自检:第一步的 loss。第一步还没有任何更新,两边只差前向的舍入。混元 3 是二点五乘十的负六次方。
第一步就差得离谱,别去查数值,先回头查地基。」
「地基平了,两边就开始各算各的了,每一步都会有一点差。一千步的差,怎么压成几个能判的数?」
❓「存下路由结果那条怎么回事?」—— 答:第二次迁移(混元 4 缩小版)里配置写着「存下路由结果、反向不重选」,在 TPU 框架里它只是自定义重算策略(remat_policy: custom)的一个参数;配置写的是整层重算(full),什么都不存、反向整层重跑,top-k 也重跑,不报错也不告警。实测(第 1 步、一台主机的 4 个设备)786,432 个(token, 专家)槽位里 922 个选得不一样,约 1.2e-3;改成自定义重算、只存路由,是零。GPU 侧对称的坑(混元 3 搭 GPU golden 时碰上的):Megatron 的路由回放开关单独打开也不起作用,训练循环从不调用它,得自己写回调。
❓「0.033 是怎么来的?」—— 答:是框架预训练模板写死的常数,框架里没写来历,我们没查到出处。
❓「直接用 Megatron 也会碰上吗?」—— 答:Megatron 自己的命令行入口不会,那里调度器的起止值默认取 --weight-decay;用 Megatron-Bridge 的模板、只改优化器那一项才会。一维参数和 bias 两边都是 0。
❓「续训要验吗?」—— 答:要。第十步存档、恢复后跑到第二十步,跟一口气跑下来逐位相同;生产一定会断点重启。
⛔ 一次课清理(11-15)收进备答,课上不讲:TPU 自己的数据加载器只有八分之一落到同号设备;训练入口逐参数对检查点比;批大小怎么切(31 倍);第三次迁移反向重选 2.4%;续训为什么要紧。
❓「为什么不用 TPU 自己的数据加载器?」—— 答:读的同一份数据、内容逐位相同,可只有八分之一落到同号设备,切小份的方式不同;加一步重排能对上,对齐阶段直接回放少一个要证明的环节,生产管线另外验。
❓「批大小怎么切也要对?」—— 答:一次算两条和分两次各算一条再相加,舍入不同;GPU 只换这个切法,第一步词嵌入梯度的差是它自己重跑的 31 倍。
❓「路由重选那条,第三次迁移也有吗?」—— 答:有,从生产代码起步反向重选约 2.4% 的 token;补上以后参数范数那一项的 r 从 4.56 降到 2.27、约减半,步时不变,生产也该开。
❓ 台下可能问:「重算重选路由那次,补上以后差多少?」—— 答:第三次迁移,参数范数那一项的 r 4.56 → 2.27(前 300 步 11.87 → 1.19),步时不变;2.27 仍大于 2,说明还有别的差,后面几个开关接着补
❓ 台下可能问(入门):「指纹用什么算?」—— 答:每个单元的 tokens、labels、loss_mask、position_ids 各算一个 sha256,另比每步非 padding 的 token 总数
❓ 台下可能问(GPU 老手):「TPU 原生加载器要怎么重排才能对上?」—— 答:按全局批的第几行排:GPU 第 d 张卡的第 m 份放在全局批第 d·G+m 行(G 是每卡的微批数);框架建设备网格会按物理拓扑重排设备,排错了不报错,要组好批以后逐设备拿索引对指纹(课件 §2.1 折叠)
⛔ 不讲权重转换的细节(改名、拼接、转置怎么做)。台下只需要知道「转过去再转回来、逐字节比」这个办法。
⚠️ 口径:对 GPU 逐项比的是前 30 步:30 步 × 8 卡 × 2 小份 × 4 个字段,另加每步一个非 padding 总数,共 1,950 项。1000 步全程的逐单元指纹只在 GPU 对 GPU、TPU 对 TPU(日常回归)之间比过;别说成「一千步一万六千个单元对 GPU 全部相同」,也别说成 1,950 个样本。
❓ 台下可能问:「生产里 TPU 总要用自己的数据管线吧?」—— 答:对,生产管线要另外单独验;对齐阶段先用回放,把「喂」的差排除掉。
❓ 台下可能问:「第一步 loss 对上了,权重是不是就没问题?」—— 答:不一定。主权重(优化器手里那份 FP32)上不到半格的错,前向舍成 BF16 时被舍掉,要等第二步以后才可能露出来;所以权重要逐字节比,不能靠第一步 loss。
❓ 台下可能问:「主权重只比了 50 个张量,剩下的呢?」—— 答:这是缺口,没补;要补就在 GPU 第 0 步全量抓 FP32 主权重。
🖥 本节主屏:课件 第二节 地基 L0:输入必须一位不差 · 主图 fig-replay
第三节 指标(一):逐步序列(11′)
🎯 这一节只留一句:被测的差除以 GPU 自己两两比出的最大差,得一个倍数,2 倍以上不过;份数要够,这把尺子才稳。
▍一 每一步的相对差
「每一步算一个相对差:被测减参照,除以参照的绝对值,带正负号。我们把它记作 d,右下角的小 t 是第几步。比如混元 3 第一步的 loss,相对差是正的 2.5e-6。一千步,就是一千个 d。」
「为什么用相对差?loss 十一点几,参数范数三千多,量级差得远,除以参照才能放在一起比。为什么带正负号?随机的差有正有负,会互相抵消;一直往一边偏的,抵消不掉。」
▍二 窗口和三个数
🖥 屏幕:§3.2 的 fig-dt,上排灰点、下排蓝点各指一次,最后指下排那个橙圈。
「一千个数要压短。先划一个窗口,比如第三百零一到一千步;第一步单独报,不进窗口。窗口里压成三个数。第一个,偏多少:带符号的平均。第二个,抖多大:绝对值的平均。第三个,最尖的一下:最大的那一步。
带符号均值像一台站秤:每次上下跳一点,平均下来就抵消了;要是一直多报半斤,怎么平均也抵消不掉。它专抓这个。看图:上排 GPU 对 GPU,围着零抖;下排 TPU 对 GPU,抖得一样宽,可整团往下沉;橙圈是最尖的一下。」
「窗口为什么从第三百零一步起?前几百步两条轨迹还没分开,放进来会冲淡偏移。窗口还得事先写进协议,不能看了结果再挑。混元 3 这个窗口里的带符号均值,是负一点六六乘十的负四次方,就是开场说的低一点七。」
▍三 尺子怎么造
🖥 屏幕:anim-ceiling(§3.3 开头),先闭嘴看它把五份配成十对、挑出最高那根,再让被测出场(约 23 秒);再往下到公式卡,四行一行一指。
「这个数算不算大?拿尺子量。同一设置的 GPU 跑好几份,两两配对,动画里五份配出十对。每一对,一份当被测、一份当参照,算同样的三个数。每种数取绝对值最大的那一对,就是这种数的噪声上限,还叫 N。
被测的数除以 N,得一个倍数,记作小写 r。r 在 1 以内过,2 以上不过,中间待定。2 是约定的余量,不是推出来的。」
「为什么取最大的那一对?被测要是纯噪声,它就是又一个同样的样本,该落在已有的范围里,所以拿范围的上沿当线。三个数,每个除自己的 N。一次看好几条曲线,取最差的那个 r 当结论。」
▍四 一个真实例子
🖥 屏幕:公式卡下面那张小表,只指梯度范数 2.62 那行。
「看一个真实例子,第二次迁移:TPU 把 FSDP 改成纯数据并行,跑三百步。最差的是梯度范数的带符号均值,r 二点六二,不过。抖多大、最尖一步,都在两倍以内。每步都不大,却一直往一边偏,这就是系统偏差的样子。」
「所以读 r,先看是哪个数领头。领头的是带符号均值,就去找一直往一边偏的原因。这个案子,第八节整节查。」
▍五 读图两步
🖥 屏幕:往下到公式卡后面的 fig-mtp32k:先指灰带和红线,再指深红线和零线;右边三根条只指带符号均值那根。
「日常怎么读这种图?先认个名字:MTP 是多 token 预测,模型末尾多一层,多猜一个 token,单独记一项 loss。图上是第三次迁移、图文 32K 的 MTP loss,TPU 对一份 GPU 基线,一千步。
读两步。第一步,红线出没出灰带:几乎没出,单步不乱跳。第二步,是不是围着零转:另外七份 GPU 的平均线来回穿过零,TPU 那条一直浮在零上面。」
「抖和尖都正常,只有方向不对:带符号均值 r 三点零二,不过。单步几乎都在带里,整体照样不过。」
▍六 份数要够
🖥 屏幕:fig-loo(§3.4),先指上面两排灰点,再指最下面一行的空心圈和实心点。
「份数少,尺子就短。拿 GPU 自己跟自己比,轮流挑一份当被测。三百步、八份的时候,纯噪声最高也能拿到二点四七,常常超线;补到一千步、十六份,纯噪声最高降到一点八二。当时判在两倍上下的六个 TPU 改动,补完全部退回两倍以内。」
「补到十六份,是看到这片灰区以后才定的,所以这次只算重判,不算事先定好的检验。规矩是:签字前每种设置至少六份,一千步要更多。」
「到这儿证明了一件事:开场那件事不是噪声。混元 3 那三种跑法都在尺子外、朝同一边,最大的是两倍半。可这不等于 TPU 算错了,差也可能是 GPU 那边带来的。到底是谁的?下一节拿第一步的一个个张量来定责。」
❓「fig-mtp32k 右边另两根条?」—— 答:最大单步是尺子的 0.94 倍,过;抖多大 1.15 倍,待定;带符号均值 2.08e-5 对尺子 6.87e-6,3.02 倍;单步 87% 落在带里(这个占比从逐步记录重算,对齐记录未收)。
❓「补到十六份以后六个改动各是多少?」—— 答:1.19 到 1.64,都在两倍以内(fig-loo 实心点)。补份数的同时梯度范数的分母也改了口径,所以只算重判(课件 §3.4 折叠)。
❓「几份配几对?」—— 答:K 份两两配 C(K,2) 对:五份十对,八份二十八对,十六份一百二十对(课件 §3.3 公式卡)。
⛔ 一次课清理(11-15)收进备答:❓「为什么第一步单独报?」—— 答:GPU 重跑第一步 loss 常常一位不差,差是零,当不了尺子。❓「为什么份数少尺子就短?」—— 答:N 是所有对里的最大值,八份只有二十八对,最大值偏小;十六份一百二十对,才接近真实的上沿。
❓ 台下可能问:「为什么不干脆把门槛 2 改大?」—— 答:纯噪声能拿几分取决于份数和检查条数,没有一个放之四海的数;Bonferroni 那样按几十倍加严,这些数彼此相关,会严过头。该做的是把份数补够,直接量「几十个里最差那个」在纯噪声下落在哪
❓ 台下可能问:「留一法具体怎么挑?」—— 答:轮流挑一份当被测、另一份当参照,尺子用被测之外的那几份两两重算(被测不进自己的尺子,参照进);三百步八份 56 种挑法、每种 21 对;一千步十六份 240 种、每种 105 对
❓(会后) 台下可能问:「实际比 n 加 1 分之一高多少?」—— 答:模拟和留一法都约翻倍:高斯噪声模拟约两倍;第二次迁移 GPU 留一法 300 步约 1.7 倍(对齐记录·判法说明「参照要几对」:300 步 1.67 倍、1000 步 1.86 倍;课件只写「约翻倍」)
❓ 台下可能问:「为什么只对一份基线,不对几份取平均?」—— 答:尺子量的是两份运行之间差多少,被测也该跟一份运行比,口径才一致;代价是基线自己也是个样本,所以 N 取最大值兜住;课件 §3.3 量过,换成十份的中心,TPU 还是偏
❓ 台下可能问:「参照对能不能混不同设置?」—— 答:不能。混元 3 有一组 GPU 运行比别的组持续低一点点(推断当时开着分布式优化器),原因没查清;混进来尺子就被撑宽了。确定性开关、分布式优化器开不开,都算设置
❓(会后) 台下可能问:「1 减(n 除以 n 加 1)的 m 次方,跟实测对得上吗?」—— 答:三百步算 67%、实测 59%,一千步算 23%、实测 22%,看着对上,其实是两头抵消凑巧:各统计彼此相关让它偏低,配对共用运行让它偏高。以留一法实测为准
❓ 台下可能问(GPU 老手):「配置改了,尺子能不能接着用旧的?」—— 答:不能。第二次迁移换成生产配方(学习率调度、YaRN、路由偏置零均值三样一起改),同配方的 GPU 两份拿旧尺子一量,自己就 r 4.12;补到同配方 16 份重量尺子,TPU(只跑了 1 份)九项全过,仍是诊断。配方一换,GPU 自己的波动就变了
❓ 台下可能问(入门):「为什么比相对差,不比绝对差?」—— 答:loss、梯度范数、参数范数量级差很远,相对差没有单位,三条曲线才能用同一套规则判;分母一律用参照
❓ 台下可能问(负责验收的技术负责人):「签字前要跑多少份 GPU?」—— 答:每种设置至少六份(十五对),这是几百步短窗口的下限,不是够用的证明;一千步要更多,第二次迁移用了十六份(一百二十对);够不够用拿留一法看
❓ 台下可能问:「那份 FP32 修法在新版本上也全过吗?」—— 答:运行库 0.0.52 上三百步最差一点五五,仍跟 GPU 重跑分不开,第十节讲换版本
⛔ 不讲标准误这类辅助统计。它只做提示,不做判定;被问到再答。
❓ 台下可能问:「纯噪声都能拿到 2.47,超过 2 判不过,不会误杀吗?」—— 答:2.47 是 300 步、只有 8 份、二十几个数取最差的情况;签字前把份数补够,1000 步补到 16 份时纯噪声最高 1.82。门槛不改,改的是份数。
❓ 台下可能问:「梯度范数逐步涨落 3%,带符号均值为什么天生偏正?」—— 答:dₜ = a ÷ b − 1;a、b 各带一点独立涨落时,a ÷ b 的平均比 1 大一截,大小约是相对涨落的平方(本课推导),3% 的平方约 1e-3;这个 3% 是混元 3 量到的逐步涨落,「两份各自独立地抖」才是假设。混元 3 为此用过两边均值当分母;第二次迁移实测偏置只有二乘十的负七次方,统一回参照。
❓ 台下可能问:「全程窗口为什么从第 2 步起?」—— 答:第 1 步总是单独报,所以全程统计的是第 2–1000 步,999 个;对齐记录里写成「1:1001」,左闭右开,跟 Python 切片同一个习惯。
❓ 台下可能问:「路由偏置、参数范数怎么记?」—— 答:有两条要说清怎么记。路由偏置:第二次迁移的小模型有 7 组路由,六个 MoE 层加 MTP 层,每组一条曲线;一项检查对 7 组各算三个统计,每个统计取 7 组里最差的,噪声对也一样。散布按无偏写法算,除以 n 减 1(对齐记录,部分是推断)。参数范数:TPU 每个参数在 FP32 里求平方和,再在 FP64 里合起来;GPU 整个在 FP64 里算。TPU 自比时 TPU 记的是这一步更新之前,GPU 重跑记的是更新之后,差一步,只用来取尺子的量级;GPU 搬 TPU 时两边都读更新之后,口径相同。
❓ 台下可能问:「1.82 跟哪一条比?」—— 答:1.82 是整次比较几十个数里最差的那个;单看一条,后段 loss 纯噪声最高 1.23,参数范数 1.58。拿哪一条去比,就比那一条的最高分。
❓ 台下可能问:「为什么不用 TPU 自己重跑当尺子?」—— 答:TPU 同一个程序重跑,换机器、换集群都逐位相同,尺子宽度是 0;硬造波动去撑宽,就成了被测给自己定门槛。
⚠️ 别把 2 倍说成统计推导出来的。它是约定的余量,用来把「刚比样本最大值大一点」和「明显大一截」分开。
❓ 台下可能问:「路由偏置那条曲线灵不灵?」—— 答:均值那条不灵:它本身在零附近来回穿,过零那几步 dₜ 除以一个接近零的数被放大,N 也跟着放大,最大单步的 N 到了 43.6(对齐记录·尺子说明「路由偏置均值」一行,第二次迁移 TPU 自比那次的结果文件;MARE 的 N 1.52;课件未收),只抓得到大的语义差(比如每步减不减均值);小差靠路由偏置散布那一条。
❓ 台下可能问:「为什么用最大值,不用均值再往外加几倍散布?」—— 答:只有十来对样本,最大值不用假设分布。
❓ 台下可能问:「参数范数的相对差才 4e-7,为什么反而不过?」—— 答:r 是跟同一个量自己的噪声比,量级已经除掉了。
❓ 台下可能问(入门):「1000 步就够吗?生产要训几十万步。」—— 答:1000 步是验收这一级的设置,具体的数只对截 4 层、1000 步、学习率不变成立(§1.4)。更长的轨迹会把任何不逐位的扰动放大到换了顺序那个量级,所以长跑比的是同一窗口两边像不像;第二次迁移延长到 2000 步,见过尾巴在第 1000–1250 步到顶后回落(§9.1)。
🖥 本节主屏:课件 第三节 指标(一):逐步序列 · 主图 fig-dt
第四节 指标(二):张量(12′)
🎯 这一节只留一句:TPU 离 GPU 远了,请 FP64 当靶心来定责;离真值远了 1.2 倍以上才算丢了精度,没变远就只是换了顺序。
「开场第三问还悬着:TPU 算错了吗?曲线只告诉我们偏了,说不出是谁的错。这一节换个看法:不看曲线,看第一步的一个个张量。」
▍一 rel_L2、cos、范数比
「第一步的激活、梯度、权重,每个张量拉直成一长串数,当一个向量来比。比法有几种,各有盲点。」
🖥 屏幕:fig-cos,左格、中格、右边小表依次指。
「主判是差了几成:差向量的长度除以参照的长度,图上就是红虚线占灰箭头的几成,这个数叫 rel_L2。
左格:被测是参照的两倍长、方向一样,cos 是 1,完全看不出问题;rel_L2 是百分之百。中格:一样长、只转了两度半,cos 0.999,看着很近;rel_L2 已经是四点五乘十的负二次方。」
「所以 cos 只看方向,整体放大缩小它看不见。比如累加完忘了除以微批数,梯度整体大一倍,cos 还是 1;只有范数比,也就是两个张量长度之比,抓得到。」
▍二 R 比:对 FP64 定责
🖥 屏幕:§4.2 开头那张定责公式卡,先指大号那行 R,再指左右两格;小表这里先只指 qkv 那两行。
🖥 屏幕:fig-rratio,先讲三圈底色,再指两个点和旁边写的两边绝对值。
「TPU 离 GPU 远了,是谁的错?第一步的前向,GPU 自己重跑一位不差,噪声是零,当不了尺子。这时候请 FP64 出来:同一份输入,用 64 位浮点算一遍,当靶心。
TPU 离靶心的距离,除以 GPU 离靶心的距离,这个比叫大写 R。距离还是用 rel_L2 量。」
「R 约等于 1:两边离真值一样远,只是加法顺序不同。R 超过 1.2:TPU 这一步多舍了,去查 TPU。
混元 3 注意力的 qkv 投影,R 一点二三五,超线;查出来是 TPU 自己多舍了,改完回到 1.000。
再记一个记号,不是门槛:根号 2,一点四一。两份差不多大的独立误差,平方相加,就是根号 2 倍;R 停在这儿,像是多出了一份同量级的误差。」
🖥 屏幕:fig-rR(就在 fig-rratio 下面)。
「小写 r 和大写 R 别混。r 是两边的差除以 GPU 的噪声,两边换个位置一样大,说不出谁错;R 对的是真值,才能定责。报比值时带上三样:比什么、基线多少、被测多少。」
「记住:FP64 只在第一步帮我们定责,多步不用它;对齐的目标还是 GPU。」
▍三 第一步四步定责
🖥 屏幕:fig-step1,从左到右四个框,再看下面两行算例。
「第一步具体怎么比?四件事,照着就能算。
第一件,拿到梯度。TPU 上不挂钩子,第六节讲为什么;梯度从优化器的动量里倒推。动量每一步只收进梯度的一成,衰减系数是零点九。第一步之前动量是零,更新一次以后,动量正好是梯度的一成;倒过来,梯度就是动量除以 0.1。」
「第二件,跟基线比:被测减基线,差向量的长度除以基线的长度,就是 rel_L2;用这个张量的全部元素,拿双精度来累加。」
「第三件,除以这个张量自己的尺子:GPU 第一步重跑三份,两两比出的最大差。除完不超过 1,在噪声内,到此为止。」
「超过 1,走第四件:请 FP64 定责。基线是 GPU 时,这就是刚才那个 R。严格说,分子是被测离 FP64 的距离,分母在两个里挑离得远的那个:基线离 FP64 的距离,和 GPU 三份离 FP64 的中位数。不超过 1.2,记换了顺序;超过,记丢了精度。」
「FP64 一律用 GPU golden 那一侧的代码在 CPU 上整网重算,TPU 自比时也一样,TPU 的代码一行不用:裁判不能是选手。」
「看下面两行算例,第二次迁移的词嵌入梯度。改成纯数据并行那一行:超出尺子,R 三点六二,丢了精度。」
「修好以后那一行:照样超出尺子,可 R 零点九一,记换了顺序。超出尺子不等于有问题,所以第四件非走不可。」
🖥 屏幕:往下到 fig-quad(两类尺子四格),一扫而过,指右下那格。
「曲线和第一步两样都过,才敢说这个改动只是换了求和顺序。」
🖥 屏幕:fig-twoaxis,先指红虚线,再从左到右看三块里有没有点飞到线上面。
「这张图把每个张量的两次比较画在一起:横轴是超出噪声几倍,竖轴是离 FP64 远了几倍,红虚线是 1.2。
第二次迁移里 TPU 自己改代码:换 v7x,九成超出噪声,一个都没飞过红线;改纯数据并行、关掉省舍入(第五节讲),飞过红线的都是词嵌入梯度。为什么是它,第八节整节讲。」
▍四 路由翻转
「回到混元 3 第一步的梯度。第 3 层 0 号专家,梯度跟 GPU 的相对差是零点一,是全部张量合起来那个相对差的八十倍。这个专家的梯度,GPU 自己重跑一位不差,尺子宽度是零,照字面就是不过;对不对,要靠 FP64 来判。」
「那这个专家为什么大八十倍?」
💬 互动:屏幕停在 §4.3 的「先想一想」框(下面的动画就是答案,先别滚),问「这个专家的梯度差了八十倍,是 TPU 的专家矩阵乘算错了吗?」押完再切动画。
🖥 屏幕:anim-flip,取消「连续播放」,每停一次讲一句。
「第一停:一个 token 给一百九十二个专家打分,取前八名,第八、第九名几乎一样高。排名用的是分数加一个负载均衡偏置,偏置只管选谁,不管加权。
第二停:上游注意力两边舍入差一点点,分数挪一丝,第八、第九名对调。第三停:这个 token 那一份输出,整块换了一个专家来算。」
「第四停看右边:这个专家在那批四千零九十六个 token 里一共才分到一百三十九个,换出三个、换进一个,梯度就差到零点一,大了约八十倍。」
「第五停:给路由器喂完全相同的输入,一个都不翻;输入换成 TPU 自己算的,每层翻百分之三点五到五点四。差在路由器的输入里。最后一停:路由翻了的专家,要按两边选中的同一批 token 重比,不能直接判算错。」
「回头看 FP64:这个专家离 FP64 并不比 GPU 远,R 不超过一点零四。不是算错,是选了不同的 token。R 比能告诉你谁离真值远。可为什么会远?要看两边的硬件,到底在哪儿舍入。」
❓「两行算例怎么一步步算的?」—— 答:表头三个数:基线离 FP64 4.00e-3,GPU 三份中位数 4.17e-3,尺子 2.48e-3。纯数据并行:对基线的差 ÷ 尺子 = 5.89;R = 离 FP64 的 1.51e-2 ÷ GPU 中位数 4.17e-3(它比基线离得远)= 3.62。修好以后:÷ 尺子 1.36,R 0.91(fig-step1)。
❓「FP64 那边整体怎么样?」—— 答:五十个张量按能量合起来 R 一点二(只作参考),逐张量最差的是第 3 层一个归一化权重 2.2;这个专家不在第 3 层最差的五个里,所以 R 不超过 1.04(课件 §4.3 折叠)。
❓「cos 和 rel_L2 怎么换算?」—— 答:两支箭头一样长时,rel_L2 的平方等于 2 乘(1 减 cos)。
⛔ 一次课清理(11-15)收进备答,课上不讲:优化器迭代 12.8%/97%;尺子下限;路由翻转怎么记;fig-twoaxis 的分母口径和三个输出头小参数;把 TPU 重跑并进尺子又撤回那段。
❓「路由翻了的张量怎么判?」—— 答:把 TPU 自己选的专家喂给 FP64 再算,分母不变,还在 1.2 以内就记翻转。
❓「r 很大、R 却说 TPU 更准,有例子吗?」—— 答:第二次迁移优化器里那段正交化迭代(8 步回放):照 GPU 把它改到 BF16 之前,TPU 对 GPU 的更新差最多 12.8%,之后 1.6%;可改之前 97% 的张量步 TPU 比 GPU 更接近 FP64,更新离 FP64 的中位数:TPU 改前 3.0e-3,照 GPU 改成 BF16 以后 3.95e-2(课件 fig-rR 折叠)。
❓「换 v7x 九成超出噪声、一个都没远过 1.2 倍,就算只换了顺序?」—— 答:只对画出的 160 个大张量成立。单列的 45 个多路残差混合小参数里,输出头的 3 个在 v7x 上离 FP64 远 18–46 倍;2026-11-12 单列加了倍数上限 5.22,这次改判「超」,所以换 v7x 本身不算只换了顺序(课件 §4.2 fig-twoaxis 折叠、§10.1)。
❓「为什么不把 TPU 只改执行参数的重跑也并进尺子?」—— 答:被测给自己定门槛等于自证;按只用 GPU 的尺子重判,混元 3 第一步十一项变严、没有一项变松。
❓ 台下可能问:「v7x 只有 4 颗芯片,怎么对 8 张卡?」—— 答:v7x 每颗芯片是两个设备,正好 8 个。
❓ 台下可能问:「不选专家的层也会被路由翻转带偏吗?」—— 答:会。第三次迁移的图文模型,视觉塔的 q、k 梯度越线,R 1.21 到 1.53(两种候选配置合计);视觉塔自己不选专家,可它的梯度要穿过后面的 MoE 层才回得来,那一步 8% 到 26% 的 token 换了专家。照 TPU 的路由重算 FP64,R 降到 0.43 到 0.83,全是路由翻转。R 小于 1 也别读成 TPU 更准:同一状态下 FP64 用的是 FP32 主权重,两边乘的是 BF16,取值点本来就不同(课件 §4.3 折叠)
❓ 台下可能问:「两类尺子四格各是什么情况?」—— 答:曲线分不开、第一步也没丢精度:只是换了顺序,不是 bug。曲线超出、第一步没丢精度:多半是第一步以后才出现的事,比如只作用在权重一侧的开关,第一步权重还在 BF16 格点上测不到。曲线分不开、第一步有丢精度的张量:曲线没灵敏到那一处,比如关掉一种小矩阵乘的改写,三百步曲线零点九四,第一步一个归一化权重离 FP64 远了一点四倍(同一次运行输出头另有三个小参数远十几到几十倍,加了倍数上限以后整次判超)。两样都不过:按 bug 查,纯数据并行、关掉编译器那个优化就是这一格(课件 §4.2 fig-quad,四格各一个例子在图下出处)
❓ 台下可能问:「倒推梯度时裁剪和 Muon 怎么处理?准不准?」—— 答:第一步触发了裁剪,动量里存的是裁剪后的梯度,再除以裁剪系数(阈值 ÷ 裁剪前范数;混元 3 第一步 17.5、阈值 1、系数约 0.057);Muon 管的参数拿动量缓冲除以 1 − β。混元 3(AdamW)那边用二阶动量独立再推一遍,相对差约 6e-8;Muon 参数没有二阶动量,不这样核
❓ 台下可能问:「尺子为什么有下限 2⁻²⁰?」—— 答:倒推梯度本身会带进几个 2⁻²⁴ 量级的舍入,所以尺子不低于 2⁻²⁰;GPU 三份逐位相同的张量也按这个下限算
❓ 台下可能问(GPU 老手):「CPU 上整网 FP64 跑一步要多久、多大内存?」—— 答:第三次迁移的截层实测(满宽,1 层稠密加 3 层 MoE 加 MTP,80 核机器;对齐记录):4K 序列 16 行一共 55 分钟,峰值内存 135 GiB;32K 序列一行常驻就要两百多 GiB,改成每行一个进程,每行约 25 分钟、峰值 243 GiB,2 行合计约 50 分钟(数出自对齐记录·第三次迁移环境说明的 CPU 一行;课件未收)。只对这个截层成立,不外推到整模型
❓ 台下可能问(入门):「rel_L2 多大算大?」—— 答:没有统一的线。每个张量跟它自己的尺子比(GPU 第一步重跑三份两两的最大差),超了再对 FP64 定责;不同张量自己的噪声水平不一样,不能拿一条线卡所有张量
❓ 台下可能问:「ULP 能不能当门槛?」—— 答:不能,只诊断。GPU 自己两次运行第一步的梯度按 FP32 数格(梯度存的就是 FP32),差一格的只占 1.3%,十七格以上占 67%;跨芯片、经过长求和以后健康的差也常有几十格
❓ 台下可能问:「GPU 搬 TPU 时第一步怎么定责?」—— 答:跟 TPU 自比有四处不同(分子、噪声上限、R 的分母、下限),最要紧的两处:R 的分母只用 GPU 六份(两两十五对)离 FP64 的中位数;GPU 几份逐位相同、两边离 FP64 又都小于一次 BF16 舍入(2⁻⁸ ≈ 3.9e-3)的张量,直接按过
❓ 台下可能问:「零点一跟换了四个 token 对得上吗?」—— 答:这个专家在那批 4096 个 token 里分到 139 个,换出 3 个、换进 1 个;相对差约 √(4 ÷ 139) ≈ 0.17,跟 0.1 同量级(推断)
⛔ 不逐个讲其余六个指标(宽度比、均值偏移、零元素比例……)。它们在课件折叠里,是会后查的。
⚠️ 别把 FP64 讲成终极裁判。整网多步的裁判是 GPU 自己的重跑噪声;FP64 只在第 1 步定责(单算子、单层、整网第 1 步)。
❓ 台下可能问:「rel_L2 到底是什么?只转了一下为什么不是 0?」—— 答:差向量的长度除以参照的长度,‖a − b‖ ÷ ‖b‖。展开是 rel² = (k − 1)² + 2k(1 − cos),k 是范数比:前一项管长短,后一项管方向。等长转 θ,差向量就是两个箭尖之间那一段,长 2 sin(θ/2);cos 0.999 就是四点五乘十的负二次方。
❓ 台下可能问:「刚说第一步 GPU 噪声是零,fig-twoaxis 的横轴怎么还除以 GPU 噪声?」—— 答:噪声是零的是混元 3 第一步的前向;fig-twoaxis 比的是梯度,反向有原子加,GPU 三份大多不逐位。三份完全逐位的张量,尺子按一个很小的下限算,所以横轴能到上千。
❓ 台下可能问:「R 为什么通常在 1 附近?」—— 答:两边走同一条精度路径(BF16 乘、FP32 累加),每一步舍入同量级,只是顺序不同。两种情况别这么读:GPU 碰巧几乎正好,分母接近 0,R 被除得很大;两边精度路径本来就不同,比如路由打分 GPU 离 FP64 3.8e-6、TPU 4.8e-8,R 约 0.013,只说明 TPU 这一处更近真值。
❓ 台下可能问:「几十个张量是拼成一个大向量比吗?参数范数又是什么?」—— 答:判定逐张量:每个张量单独算,一条检查取最差的那个;拼起来,大张量会淹掉小张量上的错。参数范数是另一回事:每一步把全部主权重合成一个数,第三节比的是它。按能量把一组张量合起来,只用来说「整体差多少、整体谁更远」,不当门槛。
❓ 台下可能问:「FP64 参照和反推梯度的代码在哪?」—— 在公开仓库 yangwhale/janus(课件 §4.2 有链接):
models/hunyuan4/frameworks/megatron/step1_ref.py 用 GPU 一侧的模型代码在 CPU 上整网 FP64 跑第 1 步,加 --dtype float64;models/hunyuan4/analysis/tpu_self_compare.py 里有从 Adam/Muon 动量反推梯度(g = m ÷ (1 − β₁),再除以裁剪系数)和逐张量定责的写法。
🖥 本节主屏:课件 第四节 指标(二):张量 · 主图 fig-rratio
第五节 浮点与硬件:差从哪来(12′)
🎯 这一节只留一句:换了条件,之前的验证就不作数。两个案子都是第三次迁移碰上的,一个换了设备数,一个换了梯度累积。
▍一 先铺一句:乘是精确的,加才舍
🖥 屏幕:fig-formats,只指下半的「乘」「加」两行。
「一次矩阵乘,先两两相乘,再把乘积加起来。BF16 乘 BF16,乘积放进 FP32 是精确的;舍入落在加法上:小数要往右对齐,挤出窗口的低位就舍掉。好比记账只记到分,大数加一个很小的数,小数那几位对不上格,就丢了。
所以两边都叫「BF16 乘、FP32 累加」,差别全在累加那一步:怎么舍,舍几次。」
「GPU 张量核还有一个脾气,第七节要用:每 16 个乘积一组,低位直接抹掉,绝对值只少不多,也就是朝零偏;求和越长,偏得越多。留个小题,下一节开头揭晓:输入全是负数,结果会偏大还是偏小?」
▍二 案子一:同是投影,分成两拨
🖥 屏幕:停在 §5.3「先想一想」框(下面 fig-inout 上半就是答案,先别滚),口述下面的数让台下猜;猜完再滚到 fig-inout,先指底下那一行。
「第一个案子。第三次迁移,从生产代码原样起步,8 个设备。曲线上认不出它,是单算子回放先报的警:拿 GPU 的输入,单独跑一个算子,第六节讲。
报警的是 q、kv 那几个投影、输出门、MLP 的 gate 和 up:TPU 离 FP64 是 GPU 的一点四一倍,就是上一节那个根号 2,像多舍了一次。」
「反常在这儿:同样是投影,注意力的输出投影和 MLP 的 down,正好一倍。同样是 BF16 矩阵乘,凭什么分成两拨?先猜猜。」
▍三 揭晓:求和维被切开,边传边乘
🖥 屏幕:fig-inout 上半;再 anim-windowed,取消「连续播放」,点「开始」走到第 2 步停住,数红块;第 3、4 步先不点(修法和「只是设备数变了」是下一段的事,片子里已经写着)。
「看上面。FSDP 把权重沿模型宽度切八片。左边往里投,模型宽度是求和那一维:每片只算得出一份部分和,八份得加起来。右边往外投,模型宽度是输出那一维:每片算出完整的几列,拼起来就完了,没有加法。红的七个全是左边这种。」
「要加本来没事:一次矩阵乘里 FP32 一路加到底,只舍一次。可设备一多,编译器换了算法,边传边乘。像流水线:零件一批批送来,到一批装一批,等料的时间就藏起来了;这里是权重片一片片传过来,到一片乘一段。
而程序声明的是 BF16,每段就写成 BF16,累加器也是 BF16。同一次求和,GPU 舍一次,这里舍六次。」
▍四 代码一行没改,只是设备数变了
🖥 屏幕:fig-windowed,先左边三行数红块,再指右边 4 个设备那一行是空的。
「再看右边:同一份生产配置,在 CPU 上为不同的设备数离线编译,数这种循环有几个。4 个设备,一个都没有;8 个、16 个,各二十个。代码一行没改,切法也没变,只是设备数变了。拿 4 个设备的小切片验,这件事永远看不到。」
「修法很便宜:让这批矩阵乘声明 FP32 输出,累加器跟着变 FP32,步时多百分之零点四,单算子回到一倍。」
▍五 案子二:4K 上验过没用,32K 上被删了
🖥 屏幕:§5.4 的 fig-normscale:先指右栏最上面「不加」那根红条,再指橙框「只加 RMSNorm scale」;最后指左栏 GPU 那条贴着零的灰线(头 150 多步它乘的 scale 都是 1.0)。
「第二个案子,还是第三次迁移,换到 32K 序列。一千步主 loss 的带符号均值,是 GPU 尺子的七点八倍,不过。」
「反常在这儿:RMSNorm 有个开关,照 GPU 先把 scale 舍成 BF16 再乘。4K 上开不开它,三百步每一步都一位不差,只是耗时不同;结论是这个开关没用。可到了 32K,逐个加开关二分:右栏最上面那根红条是什么都不补;只补这一处,降到零点五四倍。」
「同一个开关,为什么 4K 没用、32K 管用?离线编译一扫:代码写的是「转 BF16 再转回」,4K 的程序里这次舍入在;32K 的程序里,8 个 norm 的这次舍入全被编译器删了。」
「谁让它被删的?我们一开始猜是切法:4K 是 FSDP 8,32K 是上下文并行 8 乘 FSDP 2。可把两个变量拆开一看:4K 只去掉梯度累积、切法不动,8 处全删;32K 只加上梯度累积,8 处全保住。不是切法,是有没有梯度累积循环。
4K 每步分两份先后算、梯度加起来,程序里就有个循环。编译器把转 BF16 那一下提到循环外面,BF16 的值存进内存,舍入真发生了。32K 没有这个循环,一转一转回落在同一颗融合里,就被删了。」
「删它的,是编译器一个默认开着的选项,叫 excess precision,我们叫它「省舍入」:融合起来的一块里,中间那几次舍入可以省掉。4K 上「没用」,是因为那里舍入本来就在。」
「为什么第一步看不见?scale 初值是 1.0,正好在格点上,两边一样。之后它每步只挪一丝,可 BF16 的格子很粗,像只有整度刻度的温度计:真温度每天涨一点点,读数要攒到半格才跳。所以 GPU 那份 BF16,头一百五十多步一直是 1.0;TPU 乘的却是一直在动的 FP32 值,差一步步长大。」
「修法:写成强制舍入,编译器删不掉,步时几乎不变。」
▍六 收成一句
「两个案子,收成一句:换了设备数、换了梯度累积,之前的验证就不作数;在小切片上、在 4K 上验过的,到生产配置上要重验。
知道差可能从哪来了,还得量得到。可在 TPU 上,量这个动作本身就会改结果。」
❓「32K 那个七点八倍的细数?」—— 答:第 2–1000 步带符号均值 −4.4e-5,GPU 尺子(8 份两两 28 对)5.6e-6;偏得最狠的第 51–300 步,尺子按这段重算是 53.6 倍,第 301–1000 步平均 1.5 倍,漂移第 500 步前后翻正(课件 §5.4)。二分用的是 120 步短跑,尺子按那段重算;只补其余三处舍入之一,都还在 28 倍左右(三百步那批里补别的开关仍是五十三、五十四倍)。
❓「4K 上那个开关怎么判的没用?」—— 答:300 步里除墙钟外 13,800 个逐步量逐位相同。
❓「scale 每步挪多少、格子多粗?」—— 答:FP32 原值每步偏开约 6.4e-6;BF16 在 1.0 附近(1 以下)一格 3.9e-3,攒到半格才跳;第 200 步才有元素跳格(16 个 scale 中位数 2.9%)。修法前后 32K 步时 1.804 → 1.802 s(各一份)。
⛔ 一次课清理(11-15)收进备答:舍六次为什么只有 1.41(见下面那条问答);修好以后编译产物里二十个循环的累加器全变 FP32、曲线单份分不开。
❓ 台下可能问:「MTP 头那个,N 取 2 的幂会怎样?」—— 答:两种写法逐位相同,说明问题在尾数落在格距里的位置,不在数的大小(对齐记录 numpy 实测,课件 §5.5 折叠)。
❓ 台下可能问:「MTP 头那个修好了吗?」—— 答:诊断开关只用来定位;正式修法按 TPU 这边的写法改 GPU,golden 已重跑:MTP 从不过变成待定,可 TPU 反过来偏低约 1e-5,还没收尾;生产建议 MTP 头的 logits 留 FP32。
❓ 台下可能问:「舍了六次,为什么只有一点四一倍?」—— 答:要是六次一样大该是根号六、约二点四;可前四次舍的是部分和,每份只有终值一半上下大,四次合起来才抵整舍一次,再加累加器那半次和出口那一次,粗算约一点六;实测一点四一还低一截,原因没查清
❓ 台下可能问:「TF32 的开关到底怎么关才算数?」—— 答:三层各管各的:torch 的开关只管 torch 自己的 cuBLAS 句柄;Transformer Engine 对纯 FP32 矩阵乘一律请求 TF32,不看 torch;NVIDIA_TF32_OVERRIDE=0 是 cuBLAS 自己读的,压在所有人之上,torch 不读它,所以读回来还是开——读回值是请求,不是库实际做了什么。只关 torch 的两个开关,读回来是关了;可 Transformer Engine 那条路照样走 TF32,FP32 矩阵乘对 FP64 的误差还有 2.94e-4。设环境变量 NVIDIA_TF32_OVERRIDE 等于 0 才真关掉,误差降到 1.15e-6,这时 torch 的开关读回来反而还是开着。每次启动拿一次 FP32 矩阵乘对 FP64 实测,记进运行的元数据(课件 §5.5 fig-tf32)
⚠️ 口径:就近舍入「长了能抵消」只在每一项都比累加值的一格大得多时成立;一大串同号小项每项不到半格时也会整项舍掉、偏向一边
⛔ 不要说「这就是案例的答案」。抹零和「越长偏得越多」,第七节回扣;这里点破,后半节就没有悬念了。
❓ 台下可能问:「RMSNorm 那次怎么二分出来的?」—— 答:32K 上一个开关一个个往上加,第五十一到三百步、尺子按这段重算,前几个都还是五十三、五十四倍,四处舍入一起补上降到一点九七倍;单独再验,只补 scale 是零点五四倍(120 步短跑窗口,尺子按这个窗口重算)
❓ 台下可能问:「v7x 上 exp 也这么差吗?」—— 答:v7x 默认准一些,可 exp 还差六十四格,配运行库 0.0.46 时开了精确开关也降不下来;运行库就是 TPU 的编译器后端加运行时
❓ 台下可能问:「三档精度各多少?」—— 答:前 300 步主 loss r:默认 7.32、high 1.03、highest 1.31;highest 贵一倍却不更好;high 步时 +5.7%
❓ 台下可能问:「v5p 上精确开关修到多少?」—— 答:开关对 sigmoid 不起作用(它走的函数在高精度档跟默认一样);改用精确的 exp 自己搭,83 格降到 3 格(第二次迁移)
⚠️ 口径:舍 6 次实测 R 1.41;按 6 次各自独立粗算约 1.6 倍,实测更低的原因没查清,别给更多解释
❓ 台下可能问:「8 个设备那处修好以后,第一步还有超线的吗?」—— 答:超线的从 91 个降到 63 个;那 63 个再对 FP64 定责:R 超过 1.2 的 8 个,未定责的 3 个,这 3 个按路由翻转定责以后剩 0
❓ 台下可能问(GPU 老手):「H100 也这样抹零吗?」—— 答:公开的比特级建模(Khattak、Mikaitis,arXiv:2512.07004)说 H100、H200 与 B200 同一个模型:16 项一组对齐、截断;更早 V100 到 A100 也有人量出加法向零舍入
❓ 台下可能问(入门):「张量核为什么不用四舍五入?」—— 答:官方没有公开设计理由;我们只量出了它的行为模型,按它重算能逐位对上
❓ 台下可能问(负责验收的技术负责人):「投影 FP32 累加那个开关,生产要不要开?」—— 答:它是少舍、更准,按「开关上不上生产」那三问看代价:第三次迁移步时 +0.4%;混元 3 上 v5p +0.66%、v7x +1.9%,v7x 上超过 1% 那条线,要权衡
⛔ 不讲病态数值(§5.5 折叠里的病态,船和船长)、超越函数的细节(fig-trans、fig-ulp2)、「一处中间值两处用、一处没舍」(fig-elide)。对故事线没帮助、讲起来费劲;被问到再翻课件折叠。
❓ 台下可能问:「为什么 4 个设备不拆?」—— 答:切法一样、权重照样切满,也不看矩阵大小(8 个设备上连最小的路由矩阵都拆);编译器按快慢定,推断
❓ 台下可能问:「回放工具会不会量错?」—— 答:会。回放把几个投影也拆了,量到一个生产里不存在的多舍(训练步编译产物里没看到那组循环,所以说训练里不拆,这是推断);用回放前先拿编译产物对一遍写法
⚠️ 口径:边传边乘时每段输出和累加器都是 BF16、一次求和舍 6 次,是编译产物显示的;只在权重切在求和维上时才这样。还是推断的只有「为什么设备少不拆」
❓ 台下可能问:「动画里红线往下、右图往上?数也不一样?」—— 答:动画纵轴带正负号,右图画的是偏了多少;动画终点 3.5e-4 是模拟、只算截断,右图实测 3.1e-4,口径不同。
⚠️ 口径:右图是合成的正数输入,输出写回 BF16 —— 短求和那几点主要是输出舍入(推断),长求和才是截断主导;求和长度到 12 万时合成输入的偏差反而降了(推断是换了算法),被问到再说。
❓ 台下可能问:「TPU 的累加是四舍五入吗?」—— 答:我们没有直接证据,只有旁证(路由打分对 FP64 很准),按推断说。
❓ 台下可能问:「抹零再讲慢一点?」—— 答:要点一句:张量核一单把 16 个乘积连同累加值对齐到最大的指数,只留约 25 位,挤出去的直接扔,所以误差永远朝零、越长越偏;十进制的例子在课件 §5.2 第一个折叠里,照着念。
❓ 台下可能问:「16 和 25 是 NVIDIA 的规格吗?」—— 答:不是。是我们从实测拟合的,按它重算能逐位对上,跟一篇公开论文的比特级模型一致;官方没有公开。
❓ 台下可能问:「HIGHEST 不就是 FP32 吗?」—— 答:不是。它是多遍 BF16 拼出来的近似。但还要看编译后的样子:第二次迁移里一处写着 HIGHEST 的四路加权和,编译器早改写成逐元素 FP32 乘加,跟 GPU 只差加法顺序。定责一律对 CPU 上的 FP64 整网重算,不对 TPU 自己跑的 FP32 参照。
❓ 台下可能问:「那个存成 BF16 的中间值,影响有多大?」—— 答:第 1 步只改它,loss 变八乘十的负七次方,GPU 自己重跑八份的极差是一点七乘十的负六次方,量级相当,单看第一步分不清。所以它不是靠数值抓到的,是逐格读代码读出来的;按写法判 bug,不按大小。
⚠️ 船和船长的数是按比例换算的比方(lse 1 单位 ↔ 1000 吨),不是实测;实测的是「一格 = KL 的 4.3e-3」。
❓ 台下可能问:「软件怎么把 exp 算准?」—— 答:拆成 2 的整数次方乘一个小余数,余数上用几项多项式;各家库的系数和项数不同,所以末位不同(课件 §5.5 折叠里 fig-trans 的右格是示意)。
❓ 台下可能问:「第二次迁移那次,为什么 sigmoid 的高精度开关没用?」—— 答:读回是开,实际编出来的算子逐位没变,又是一个「开关说的不算」;要用高精度的 exp 自己搭。搭好以后单算子跟 GPU 一样准,整网先偏得更多;查到一处是反向公式:精确写法的反向由自动微分推出来,跟 GPU 的解析式不同,改成同一个解析式就收拢了。
❓ 台下可能问(GPU 老手):「FP8 训练也能这么对齐吗?」—— 答:这门课只讲 BF16 混合精度。FP8 上同类问题更凶:DeepSeek-V3 报告 H800 上 FP8 矩阵乘累加只保留约 14 位,所以每 128 个元素搬到 CUDA core 用 FP32 加一次(§5.2 折叠)。尺子、对 FP64 定责这套方法通用,具体的数不能搬,我们没在 FP8 上做过。
❓ 台下可能问(入门):「excess precision 是好是坏?」—— 答:它本身不是错:混元 3 上关掉它,单层每个张量离 GPU 反而远一到六成;第二次迁移关掉它,词嵌入梯度离 FP64 的距离是 GPU 的二十六倍(R 26,§5.4)。为什么 XLA 默认开,课件没写,别凭印象说「为了快」。
🖥 本节主屏:课件 第五节 浮点与硬件:差从哪来 · 主图 fig-inout
第六节 观测:在 TPU 上怎么看(3′)
🎯 这一节只留一句:在 TPU 上,证据要从训练程序外面拿。
▍一 钩子为什么不行
「先答上一节留的小题:输入全是负数,结果偏大。低位抹掉,等于往零的方向靠;负数往零靠,就是变大。」
🖥 屏幕:fig-hooks,左格、中格依次指,中格指那个被切开的虚框;讲三条路时再指右格。
「要定位,就得把中间的张量拿出来看。GPU 上每个 kernel 的输出本来就写回显存,钩子只是读已经落地的数,开不开逐位相同。
TPU 上整张图一起编译,好多算子融成一块,舍入多半只落在块的边界上。你多要一个输出,边界就跟着变,舍入的位置也变了,量到的就不是生产程序那份数了。好比量轮胎气压,一按气门芯就漏一点气。」
▍二 从程序外面拿证据的三条路
「所以换三条路,都不碰训练程序。
第一条,步与步之间读状态:主权重和两个动量;梯度从动量里倒推,第四节讲过。
第二条,隔离回放,第五节那个单算子回放就是它:拿 GPU 那一层的输入,TPU 上只编译这一层,一层层往下比,第一个超线的就是出错的那层。设备数和切法要跟训练一样。
第三条,固定探针:每隔 25 步,在一条固定的序列上单独跑一次前向,看每一层的整体水平。」
「工具齐了。回到开头那件事:TPU 的 loss,三百步以后为什么平均低一点七乘十的负四次方?」
❓ 台下可能问:「回放工具靠得住吗?」—— 答:要先验。第二次迁移有一次稠密 MLP R 1.563,是工具只换了按位置传的参数,算子吃的还是 TPU 上游的输入;修好后 0.95(这组数对齐记录未收)
⛔ 不讲「观测版程序过标定」的细节。一句话:每步都加钩子的程序要先当扰动臂过标定,v5p 上没过,只当诊断值。
⛔ 不讲状态互换、「第 1 步逐位相同不等于开关没用」(格点上的坑)。2026-11-15 收进课件 §6 折叠。状态互换第七节用到时当场一句话交代。
❓ 台下可能问:「梯度怎么从动量倒推?」—— 答:这一步的动量减上一步乘 0.9,除以 0.1,再除以裁剪系数;只差 FP32 舍入,拿二阶动量独立核一遍,相对差约六乘十的负八次方。
❓ 台下可能问:「开关第 1 步开和不开逐位相同,是不是没用?」—— 答:不一定。权重全在 BF16 格点上时(从 BF16 检查点续训,或像第三次迁移那样随机初始化后按 BF16 存),单遍 BF16 一位没截掉;第三次迁移投到词表那次矩阵乘就是这样,第 1 步前向逐位相同(梯度只差一点,远小于本身的误差),三百步主 loss r 七点三二。要拿训练若干步以后的权重测(课件 §6 折叠 fig-ongrid)。
⚠️ 反推公式里除的是 1 − β₁ = 0.1,不是 β₁。
❓ 台下可能问:「隔离回放和探针也是单独编译的,读数还算生产程序的吗?」—— 答:不算。它们是另编的程序,只用来定责、确认修法方向。生产程序的证据只有两条:一千步的逐步序列,和步间读出的第一步状态。开关在生产程序里有没有生效,日常回归直接数生产训练步编译后的程序里几类算子的个数;边传边乘的矩阵乘还没有计数规则,只有整份程序的指纹兜底。
❓ 台下可能问:「为什么不用 jax.debug.callback 直接把中间值 dump 出来?」—— 答:那也是多一个输出,推断一样会切开融合(没单独测过)。
🖥 本节主屏:课件 第六节 观测:在 TPU 上怎么看 · 主图 fig-hooks
第七节 案例一:loss 偏低,查到是谁的差(8′)
🎯 这一节只留一句:TPU 的 loss 偏低,不是 TPU 算错,是 GPU 输出头反向那一次十二万项的求和,每一步都少推了一点。
⭐ 讲法:一条线从现象查到源头,每一步只报一个数;细数都在课件和下面的备答里,不念。
▍一 先认识输出头
🖥 屏幕:第七节开头那排六格「调查线」,停两秒不念(让台下知道今天沿这六步查);再往下到「先把输出头摆清楚」的卡,只指大号那行 dH。
「这个案子绕着输出头转,先认识它。输出矩阵每个词一行,十二万行,跟输入的词嵌入是两份。前向,隐状态乘它得到每个词的分数,就是 logits。反向,梯度要乘回这个矩阵传给隐状态,每个数都是十二万项相加:一项接近负一,其余全是很小的正数,加起来几乎抵消。这次求和最经不起舍入。先记住它。」
▍二 现象
🖥 屏幕:fig-drift,上格指蓝线往下离开,下格指蓝线往上,最后指第 100 步那条橙色竖线。
「现象就是开场那件事。从第一百步前后,TPU 的 loss 开始比 GPU 低,三百步以后平均低一点七乘十的负四次方,是 GPU 噪声尺子的两倍半。同一时间,参数范数也比 GPU 多涨了一截。两条线同时离开噪声,一个往下,一个往上。」
▍三 拆:多涨的在哪
🖥 屏幕:fig-rows,左边那根独大的,再右边第一根。
「把多涨的那一截拆开:近九成在输出层;再按词频拆,四分之三在数据里从没出现过的词,五万八千多行。这些词从来不是正确答案,每一步都被往下压一点,所以一直在缩。可 TPU 压得少,到第三百步,比 GPU 少压了四分之一。」
▍四 为什么压得少:一股让所有分数一起升降的力
🖥 屏幕:fig-gauge,左边粗箭头,右边那条一路往下的线。
「冷门词挨多少压,跟着所有分数的整体水平走:水平越低,挨的压越小。探针一量,TPU 的整体水平一路比 GPU 低,所以压得少。说明有一股让所有分数一起升降的力,两边不一样大。这些行梯度很小,偏差每步都落在同一边,就积起来了。」
🖥 屏幕:fig-intervene,先绿柱,再橙柱。
「先证明就是这股力。两边都把这个方向的梯度去掉,整体水平的差归零。反过来让 GPU 往这个方向多推一把,就复现了 TPU。」
▍五 谁推歪的
💬 互动:问「TPU 多推了,还是 GPU 少推了?」押完再切下一张。
🖥 屏幕:fig-head,只指标着 BF16 的那根红柱;再到 fig-swap,三根柱子对比。
「同一批数据,在 FP64 里重算,红柱就是开头那次十二万项的求和:GPU 在张量核上算,沿这个方向少推了,误差是 TPU 的十七倍。再确认一次:把 GPU 某一步的权重搬到 TPU,两边各算一步。GPU 明显少走,只把那次求和换成 FP32,少走的大半就没了,TPU 几乎不少走。」
「预习第三问的答案:TPU 没算错,偏的是 GPU 当标准答案的那份 golden。这是第三条暗线:先排除自己这一侧,包括当参照的那一份。」
▍六 怎么修,再串起来
🖥 屏幕:fig-onepass,只指右格三组条和左下那条绿线。
「先试最直接的:那次求和换成 FP32。只追回六成。剩下的原因是:冷门词的概率越压越小,这些小正数还不到累加值的半格,加进去就被舍掉,舍掉的都在同一边,这一条是推断。」
「所以改成分块:每一千零二十四项先加成一块,块结果留在 FP32,再把块加起来。块里的和不大,小项丢不掉。一千步下来,GPU 的参数范数跟 TPU 重合;只分块就够,步时多百分之六。只改 GPU 的标准答案,TPU 一行不动。」
🖥 屏幕:anim-chain,取消「连续播放」,一步一步点到最后一步。
「GPU 那次求和每步少推一点,GPU 的分数整体偏高,冷门词压得更狠,于是 GPU 参数范数小、loss 高。看起来像 TPU 偏低,其实是 GPU 偏高。」
「这个案例偏的是 GPU。下一个案例两边都在 TPU 上:同一份代码只换并行方式,数学上等价,曲线却对不上。这回又是谁的差?」
❓「截断和吞小项怎么分?」—— 答:第一步各词概率差不多、没有特别小的项,误差几乎全是张量核把低位朝零截掉,换 FP32 就去掉;训练以后冷门词概率越来越小,同号小项不到累加值半格被整项舍掉,cuBLAS 那条 FP32 一次加到底的长累加也躲不掉(推断),要分块。cuBLAS 内部怎么累加没有源码,后一条是我们的解释。
⛔ 不讲 AdamW 公式卡和 ε 区(负责人 11-15 定,收进课件 §7.2 折叠)。口径:ε 不制造偏差,也不放大偏差。常见行 Adam 按每个元素自己的梯度大小归一化,梯度整体偏大偏小都被约掉;冷门行分母被 ε 托住,这层保护失效,梯度上的系统偏差原样进了更新。被压小 4.8 倍两边一样,不影响两边之比。台上不说「放大」。
❓「这些行的梯度到底多小?」—— 答:第三百步,没出现过的词那些行 √v̂ 中位数 2.6e-9,约为 ε(1e-8)的四分之一,九成二的元素在 ε 以下(课件 §7.2 折叠)。
❓「第 0 层怎么回事?」—— 答:顺着主干往回查,第 0 层最先分开,是第 0 层权重的方向长得不一样;推它的是输出头流回来的梯度(课件 §7.3 折叠)。
❓「去掉这个方向以后,loss 呢?」—— 答:loss 尾段平均接近噪声。
❓「冷门行那笔账怎么拆?」—— 答:到第三百步,扣掉两边一样的权重衰减 31.8,剩下 Adam 更新这一份:GPU 让平方和少了 34.5,TPU 只少了 17.3。
❓「截断和吞小项哪个大?」—— 答:同一个量级。不分块时张量核的总偏差每个阶段都比 FP32 大;单步确认里 GPU 那 3.6e-3 少走,按相减粗算约七成来自截断(本课推断)。
⛔ 一次课清理(11-15)收进备答:离真值还差的那一截。❓「分块以后离真值还差一点,是什么?」—— 答:两边都把流进输出头反向的梯度存成 BF16,两边一样,不算谁的差。
❓ 台下可能问:「1,781 个张量怎么数出来的?单步确认那里怎么又是 1,193?」—— 答:开源命名一个矩阵一个张量:3 个 MoE 层 × 192 个专家 × 3 个矩阵 = 1,728,加其余 53 个。GPU 框架把 q/k/v、gate/up 各合成一个,每个专家只剩 2 个矩阵:1,152 加其余 41 个 = 1,193。元素一样多,切法不同。
⚠️ 口径:两个数别混。6.5e-4 是那一次矩阵乘、沿「所有 logits 一起升降」方向少推的相对量;0.36% 是同一状态下这一整步、权重沿 TPU−GPU 漂移方向少走的比例
❓ 台下可能问(负责验收的技术负责人):「那 GPU 生产要不要改?」—— 答:这处改动只影响 golden 的制作。修好的 golden 是升 FP32 再分段,步时多 61%(大头在升 FP32,推断);乘法留在 BF16 张量核、只分段,1000 步跟它分不开,步时只多 6%(课件 §9.5 折叠)
⛔ 不放 fig-layer0。「第 0 层最先分开、是权重的方向长歪了」一句话讲完,图里的逐层曲线和互换柱子被问到再翻。
❓ 台下可能问:「怎么知道是第 0 层权重长歪了?」—— 答:两边第 0 层权重拿出来用同一份输入各算一遍:换上 TPU 的权重输出就偏;换成另两份 GPU 重跑的权重,偏得小得多,第 100 步最多八分之一(fig-layer0)
⚠️ 口径:五环链第一格的原因是推断,第二、三格之间没有定量对上
❓ 台下可能问:「第 0 层哪一组权重最要紧?」—— 答:只换一组,注意力的输出投影就占了七成
⛔ 按调查顺序讲,只走查对的那条线,不讲岔路:不逐条念排除清单,不讲「规范分量」「行和残差」那条支线,不讲 TF32 一度判反;被问到再翻课件折叠。fig-head 上已不画那根「名义 FP32 其实走了 TF32」的柱子(一度判反的结论),数在图下出处里,被问到再讲,第十节坑表会讲。台上只说「按成本从低到高验,排除了一串」;那条支线被验证过不是根因。
⚠️ 口径:冷门行「梯度大小两边一样,差在方向」—— 别说成 TPU 的梯度更小;「六点五乘十的负四次方」是沿那个方向的相对误差,不是 dgrad 整体错了这么多。
⚠️ 口径:精确轨迹不是「全程 FP32 训练」—— 权重仍按 BF16 用。纯 FP32 训练前 100 步 loss 就低 1.75%,是另一条轨迹。
❓ 台下可能问:「loss 更低是不是说明 TPU 训得更好?」—— 答:不能这么读。loss 系统性地低只说明两条轨迹有系统差别。
❓ 台下可能问:「那把 ε 调小不就好了?」—— 答:对齐不靠调 ε 把差藏起来。两边用同一个 ε,要做的是让这些小梯度本身算准。
❓ 台下可能问:「分段累加为什么就准了?」—— 答:拿同一批张量换四种写法重算:升 FP32 不分段,第 300 步还偏负二点六乘十的负四次方;BF16 张量核每 1024 一段、段结果留 FP32 再相加,降到 1e-7 到 1e-6,单次 7.2 毫秒,对 FP32 分块的 71.7 毫秒。条件是段结果留 FP32、段长不超过 1024。cuBLAS 的 FP32 一次累加为什么偏,没有源码可看,不往下猜。
❓ 台下可能问:「别的矩阵乘也抹零,为什么偏偏是输出头露了馅?」—— 答:三样凑齐了:求和最长,十二万;沿那个方向的小项大多同号,抵消不掉;冷门行梯度很小,Adam 按大小归一化的保护失效,每步的小差落在同一边、原样累积。别的矩阵乘真实输入有正有负,大半抵消(推断)。
❓ 台下可能问(GPU 老手):「GPU 侧注意力用哪个实现?换实现影响多大?」—— 答:案例一排除过:GPU 换两种实现都在噪声内,TPU 换掉融合注意力照样漂(§7 排除清单)。
❓ 台下可能问(GPU 老手):「怎么知道生产 GPU 里 cuBLAS 那次长求和没分块?」—— 答:不靠猜:训练里实际用到的张量在同一张 B200 上重做这次矩阵乘,跟训练逐位相同,沿 w̄ 偏负六点五乘十的负四次方(§7.4、§7.5)。cuBLAS 内部怎么切没有源码;合成输入在 K = 120,832 时偏差反而降到六点四乘十的负五次方,推断是换了算法,所以合成数据不能替代真张量(§5.2 折叠)。
❓ 台下可能问(GPU 老手):「会不会是 loss 分母两边算法不一样?」—— 答:这种常数口径的差第 1 步就该在;第 1 步只差二点五乘十的负六次方,偏移是后来长出来的。还故意错开一步比过:平均绝对差从一点五三乘十的负四次方涨到一点四一乘十的负二次方,步号是对的(§7.1 折叠)。
❓ 台下可能问(入门):「为什么不干脆全用 FP32 训练?」—— 答:一,生产在 GPU 上就是 BF16 混合精度训稳的,对齐的目标是它;二,纯 FP32 训练是另一条轨迹,前 100 步 loss 就比 BF16 低一点七五乘十的负二次方,跟哪边都差得远(§7.5 折叠)。
🖥 本节主屏:课件 第七节 案例一:loss 偏低,查到是谁的差 · 主图 fig-head
第八节 案例二:DDP 和 FSDP 对不上(7′)
🎯 这一节只留一句:精度丢在高频词的那次加法上,丢不丢看它排没排序;最好的修法是把词嵌入表切开。
⭐ 讲法:跟第七节一样,一条线从现象查到源头,每一步只报一个数;细数在课件和备答里。
▍一 现象,定位到一个张量
🖥 屏幕:fig-ddpcurve,只指蓝色粗线前一百五十步在零下面。
「第二个案例在第二次迁移上。TPU 自己跟自己比:基线是 FSDP 八卡,只改成纯数据并行。两种并行数学上完全等价,曲线却超了:梯度范数是 GPU 噪声的二点六倍,不过。这就是第三节那个例子。」
「第一步两百零五个张量各自对 FP64,只有一个丢了精度:词嵌入梯度,离 FP64 是 GPU 的三点六倍,就是第四节那行算例。词嵌入的反向,就是把每个 token 的梯度按 token 号加回词表对应的那一行,叫 scatter-add。范围从整个模型缩到了这一次加法。」
▍二 第一个假设被推翻
🖥 屏幕:fig-ddprows,只指右边那组:紫柱比红柱,橙柱比红柱,最后指最矮的绿柱。
「最顺手的猜测:纯数据并行每张卡一整张表,八张卡加完还要用 BF16 再相加,多舍了一次。现成的 FP32 开关一开,修好了;可它同时改了本卡和跨卡两处,修好不等于找到病根。中间还撞上一个编译器 bug,曲线冲到噪声的六百一十一倍,第十节讲。」
「那就按行拆:误差全在三十九个高频词上。再做两个对照:每张卡一次加的 token 翻倍,误差翻倍;卡数翻倍,误差不变。变的是本卡加几次,不是跨卡几路,第一个假设推翻了。可还有个反常:FSDP 每张卡一次收齐八张卡的 token,同一个词加的次数是八倍,误差反而最小。为什么?」
▍三 揭晓:排没排序
🖥 屏幕:anim-scatter,取消「连续播放」,第 1、2 步边点边讲;再到 fig-sweep,指红线过了竖线掉下来那一下。
「差别只有一处:FSDP 那次加法,下标先按 token 号排了序。不排序,同一个词的更新散在别人中间,后端每碰到一次就读出来、加上、舍回 BF16,高频词一次加几十到几百个,就舍几十到几百次。排好序,后端把一块表搬进片上的 FP32 缓冲,全部加完再写回,每行只舍一次。」
「谁来排序?编译器后端自己:一次的下标数过了一道门槛才排。FSDP 一次三万多个,过线;纯数据并行四千个,不过线。FSDP 加得多,恰好跨过了线。门槛跟着运行库版本、芯片变,别背数,看编译产物里那次加法排没排序。」
▍四 结论和修法
🖥 屏幕:fig-ddp2x2 右下那一格;再到 fig-shard 右下那对通信条(绿条只剩零头),最后 fig-ddpfix 指下格绿线的平均回到尺子以内。
「所以差在 TPU 纯数据并行那一侧:没有谁算错,是那次加法的组织方式让高频词多舍了几十到几百次。高频词、不排序,两个条件缺一个都不丢精度。」
「修法有三种:整次用 FP32、本卡用 FP32,或者其余参数照旧,只把词嵌入表像 FSDP 那样切开,编译器就自动走排序那条路。三种精度一样,第三种通信还少九成以上,所以首选它。」
「两个案例查完。第二次迁移还有一条主 loss 的尾巴,查得比这两个都久。它最后是怎么查出来的?」
❓「排序要满足几个条件才只舍一次?」—— 答:三样同时在:下标排好序、带「已排序」标记、excess precision 开着(课件 fig-rmw 中间四格)。
❓「左边低频行为什么柱子也不矮?」—— 答:四种跑法一样高,误差是加进词表之前就带着的,推断来自上游的 BF16 计算。
❓「第三种修法什么时候不灵?」—— 答:切分组里所有卡合起来还不过排序门槛时,退回 FP32 那个开关。只切表这一招平时还省显存,步时跟不修一样快。
⛔ 一次课清理(11-15)收进备答:哪些改动也超(换卡数、换 v7x 都超;换张量并行、专家并行没事);门槛是换几种表的形状找出来的。
❓ 台下可能问(GPU 老手):「2.62 只比纯噪声最高分 2.47 多一点点,凭什么判它不是噪声?」—— 答:单看 2.62 确实压线。判它不是噪声靠三样:一,同一改动换几种跑法都过线,不累积 3.69、16 卡 2.65、v7x 不累积 4.06,纯噪声不会每次都偏到同一边;二,第一步词嵌入梯度对 FP64 R 3.62,丢了精度;三,修好以后 300 步回到 0.98、第一步 R 0.91。2.62 只是立案,定案靠第一步定责。
❓ 台下可能问(负责验收的技术负责人):「只切词嵌入表那个修法,生产上有什么限制?」—— 答:三条:它跟 FSDP 一样要 excess precision 开着;不能跟按数据并行切优化器状态的 ZeRO-1 同开;目前只在 v5p、缩小版、纯数据并行 8 加累积 2 上验证过。切分组里所有卡合起来还过不了门槛,就退回 FP32 那个开关
❓ 台下可能问:「只把本卡换成 FP32、跨卡仍传 BF16 呢?」—— 答:也修好,r 0.93,这是「跨卡不是主因」的第一个线索;按行分组那张图把它坐实
❓ 台下可能问:「前向只切表会不会多传?」—— 答:不会,前向只换取到的行,不取整张表(fig-shard 上半)
⛔ 不讲 0.0.52 那张跑法表的逐行数、生产宽度的门槛数、§8.10 怎么从编译产物数通信(fig-comm)。门槛数会随版本过期,带走的只有「看编译产物里排没排序」;数通信是方法细节,第九节会用到同一个思路。
❓ 台下可能问:「0.0.52 上门槛具体多少?」—— 答:v5p 列数 1024 时 14,420、列数 128 时 1,783;v7x 列数 1024 时 7,181;v7x 纯数据并行不累积每卡 8192 个下标,过线排了序,r 4.06 → 0.89(词嵌入那处消失;同一次输出头另有小参数偏,整次判超);生产宽度 6144 列时 v7x 门槛 43,648、v5p 到 65,536 都不插
❓ 台下可能问:「混元 3 也中招了吗?」—— 答:验收跑的两种切法没有(另有一组纯数据并行 8 的阶梯实验中招了:词嵌入梯度离 FP64 是 FSDP 的 6 倍)。按专家切 8 离线编译核过,词嵌入表沿隐藏维切,每卡收齐 32768 个下标、排了序;FSDP 8 那份观测程序里也排了序(运行库 0.0.46,v5p;正式程序没直接读,所以是推断)。v7x 上交给 SparseCore,累加精度没测
⛔ 不讲后端指令条数、各道工序的名字,不讲那个编译器 bug 的细节。台上只说「后端自己插了排序」「撞上一个编译器 bug」;名字、条数和 bug 的机制在课件折叠和第十节,被问到再翻。
❓ 台下可能问:「PyTorch 的 FSDP 不是先算整表梯度再 reduce-scatter 吗?」—— 答:那是 PyTorch 的做法;这里是 XLA 在「表按隐藏维切」这个前提下自动切出来的:先 all-to-all 交换原始梯度,再在本卡加,见 fig-ddpflow 下半那条(橙框那一步就是 all-to-all)。
❓ 台下可能问:「自查怎么算?」—— 答:按运行库 0.0.46 的规则,比如词表二十五万行,门槛三万一千二百五十;八张卡、每卡每个微批 8192 个 token,不过线,会中招;只切词嵌入表以后八卡合起来六万五千多,过线(按规则推断)。换了版本这个数就不能用了,以编译产物里有没有排序为准。课件那道考考自己就是这题。
⚠️ 口径:通信字节是按形状算的,不是线上实测,只适合几种跑法互相比;关省舍入那一臂三百步曲线 r 十三。
❓ 台下可能问:「GPU 为什么没这个问题?」—— 答:推断。PyTorch 的词嵌入反向,下标超过 3072 个就先排序、按段在 FP32 里累加,最后才转回 BF16,跟 TPU FSDP 排序后是同一种舍入结构;GPU 那边每卡每个微批 4096 个,超过 3072。读的是 PyTorch 主分支,GPU 镜像里那个版本没有逐行核过。
❓ 台下可能问:「我想自己数一遍通信。」—— 照着跑(公开仓库 yangwhale/janus 里的脚本,课件 §8.10 有链接):先按目标拓扑离线编一遍、让 XLA 存下训练步的
after_optimizations.txt,再跑 python models/hunyuan4/analysis/hlo_comm_bytes.py ddp8=<文件> shard=<文件> --out comm.json;它列出每条集合通信的类型、形状、每步次数和字节,哪几行属于词嵌入要自己按形状和 op_name 认。⚠️ 口径:第三种修法只在 v5p、缩小版、纯数据并行 8 + 累积 2 上验证过;「步时不变是因为原来就重叠」是推断,没看 profile。
❓ 台下可能问:「三种修法在代码里怎么开?」—— 答:都是 MaxText 的配置开关,混元 4 的公开分支里有:
embedding_grad_fp32、embedding_grad_fp32_local_bf16_comm、embedding_shard_over_data,默认都关;全部开关的说明在那个分支根目录的 HUNYUAN.md(课件 §8.9 有链接)。❓ 台下可能问:「修法①是不是让通信翻倍了?」—— 答:没有。编译器把两路输入合成一次 FP32 跨卡相加,每个微批一次,字节跟原来两次 BF16 一样;另多了约 6.7e7 字节的点对点交换,词嵌入那份每步 1.06e9 对 9.90e8。只有一路输入的模型才会翻倍(推断)。
⚠️ 口径:门槛「表行数的八分之一」只对运行库 0.0.46 成立;0.0.52 上跟列宽、芯片代际都有关;表很小(按 FP32 放得进片上内存)时也不插。别说成 TPU 的固定规格。
⚠️ 口径:GPU 那条是读 PyTorch 主分支源码的推断,GPU 镜像里那个版本没有逐行核过。
❓ 台下可能问:「那 FSDP 就一定安全吗?」—— 答:不一定。按这条规则,FSDP 一个微批的 token 太少,也会落到不排序那边(推断,没跑过)。不过线、或拿不准运行库版本时,开 FP32 那个开关最稳,用修好编译器 bug 以后的代码。
❓ 台下可能问:「为什么次数翻倍误差接近翻倍,不是根号二倍?」—— 答:舍入误差有正有负、互不相关时,次数翻倍误差只涨约一点四倍;训练里接近线性,推断是舍入偏向一边,后加进去的小梯度被系统地吞掉一部分。这是这一步实测到的,不是一般规律。
❓ 台下可能问:「为什么 1000 步的 1.09、1.07、1.15 判略超,还说修好了?」—— 答:三种修法都只有梯度范数略过 1,没超过纯噪声自己能拿到的分(第三节的留一法),跟 GPU 重跑分不开。
❓ 台下可能问:「v7x 也一样吗?」—— 答:运行库 0.0.46 上一样:v7x 纯数据并行曲线 r 二点二一,过了 2 倍线,但没超过纯噪声的最高分,是第一步定责分开的;编译产物核过,跟 v5p 一样走不排序那条路。换到 0.0.52,v7x 不累积那种跑法过了门槛,r 四点零六掉到零点八九,词嵌入那一处消失(第一步另有三个输出头的小参数离 FP64 远八到二十六倍,原先靠豁免判在噪声内,十一月十二号豁免加了上限,这次改判「超」;那是输出头反向另一处舍入,已离线定位,因果还没上卡验证,跟词嵌入无关);累积两份(每卡四千零九十六)还是不过线。
🖥 本节主屏:课件 第八节 案例二:DDP 和 FSDP 对不上 · 主图 fig-ddp2x2
第九节 一条查不完的尾巴(6′)
🎯 一条主 loss 的尾巴:排除一圈、找到主因、补上还剩一截。剩下那截去哪找?答案留到节末揭晓。
▍一 一条尾巴
🖥 屏幕:第九节开头的 fig-minidrift(验收与 golden 设计那两个折叠在节末,课上不讲),先指红粗线第 50–100 步的小鼓包,再指第 550 步以后往上爬那段。图上标的 +1.8e-5 是八份最后 25 步的平均,台词念的 +9.4e-6 是四份对照后段(第 551–1000 步)的平均,被问到这样分。
「第二次迁移的上一代配置,主 loss 按尺子判是一点五五倍,待定。八份 TPU 全在 GPU 上面,第五百五十步以后一路往上爬。八份同一个方向,不像噪声;同一份权重上两边前向几乎没差,是一步步攒出来的。」
「这个模型把残差流复制成四路,叫多路残差,最后再收成一路。图上第五十到一百步还有个小鼓包:在四路收成一路那处照 GPU 强制舍一次,鼓包就没了;可后段一点没降。记住这个补丁,它后面还会回来。」
▍二 一路排除,两头验证
🖥 屏幕:fig-ihcroot,只指缩进灰带的那根绿条;再 fig-twoway,左块红点降到绿点,右块灰点升到橙点。
「先挨个排除:关掉 MTP、蒸馏这两项附加的 loss,还偏;两边都把多路残差换成普通残差,尾巴没了。嫌疑锁在多路残差。」
「再往里,是流梯度。残差流在一层里被用三次,反向回来三份梯度要相加。GPU 每加一次就舍一次 BF16;TPU 这边,我们推断是在 FP32 里加完才舍。像记三笔账:一种每记一笔就四舍五入一次,一种记完再四舍五入,差一点点,一千步攒成尾巴。」
「两头验证。TPU 照 GPU 补上,后段的平均偏移从九点四降到一点九,都是乘十的负六次方;GPU 反过来改成 TPU 的写法,自己也长出同方向的尾巴。两头对上,主因就是它,每格四五份。」
▍三 看似查完,又剩一截
「可单补流梯度是一点九;跟鼓包补丁一起补,就是现行配置,后段反而剩加六点九乘十的负六次方,跟不修那组分不出来。剩下那截,一处处猜太慢。回头看抓到的两处:鼓包那处在芯片指令里核过,是代码写了舍、编译器省掉了;流梯度按同一规律推断也是。两处是同一个毛病。」
「这个毛病,到底是怎么回事?」
▍四 声明了,却被省掉
🖥 屏幕:fig-elided,从左往右指到第三格,橙色的 0,再指 256。
「就是第五节 32K 上 RMSNorm 那种省舍入。代码里写一对「转 BF16 再转回」,不改数学,写它只有一个意思:这里要舍。拿已补上的一处退回旧写法,离线编一遍。编译器优化完的程序叫 HLO,那里面两条转换都在;可芯片指令里,真把 FP32 打包成 BF16 的,零条。写成强制舍入,二百五十六条。」
「为什么省?好比心算:中间数还要接着用,就留在脑子里不写下来;要交给下一个人,才誊到纸上,誊的时候才舍。编译器也一样,往返留在一颗 kernel 里,就不舍;写回内存交给下一颗,才真舍。」
「那整个模型里,还有多少处这样被省掉的?」
▍五 全部列出来
🖥 屏幕:fig-elsweep(272 处按位置分);再 fig-verify,先左块后右块。
「整个训练步离线编一次,不用上卡,把写了往返、芯片指令里却没舍的地方全列出来:两百七十二处。按位置归成几类,反向梯度路径上的两类排最前。」
「列出来,还是两头验证:GPU 照 TPU 改,看长不长出尾巴;TPU 照 GPU 补,看尾巴下不下去。前两类都没坐实,后来验的几处也都不是,残余到现在没定责。清单只告诉你先查哪儿,判它的只有上卡:清单是候选,不是结论。」
「这就是这一节最想让你带走的一招,叫编一次、扫一遍:别一处处猜,让编译器把没舍的地方全交代出来,再一类类上卡验证。」
「验收是一次性的。可模型投产以后,训练代码每天都在变,怎么知道它没有悄悄改了数值?」
❓「GPU 改成 TPU 写法长出多少?」—— 答:四份全部为正、均值 +3.9e-6(fig-twoway 右块,GPU 对其余 15 份)。
❓「换运行库、换芯片排除过吗?」—— 答:排除过,三十五次长跑最后两百五十步全是正的。
⛔ 一次课清理(11-15)收进备答:验收那句。❓「第二次迁移验收过了吗?」—— 答:还没签字:小尺寸 1000 步九项过八项,路由偏置均值一项待定(课件 §9.7 折叠)。基线换成修好的 golden、全部过的是混元 3(§9.5)。
❓ 台下可能问:「4K 到 32K,设备数和序列长度也变了,凭什么说是梯度累积?」—— 答:离线编译对照,一次只改一样:4K 只改梯度累积 2→1、切法不动,8 处全删;32K 只改 1→2,8 处全保住。两份程序里 8 个 scale 都整份复制、不切分;4K 那颗转换内核的芯片指令里有 BF16 打包指令,32K 那颗是 0 条。「凡是梯度累积为 1 的配置都会删」是推断,只编过这四份;「提出循环」是循环不变量外提,也是推断(课件 §5.4)
❓ 台下可能问:「怎么锁定到多路残差的?」—— 答:先排除嫌疑:关掉 MTP、蒸馏,换运行库、芯片、并行,都还偏;两边都把四路的多路残差换回普通残差,尾巴没了(课件 §9.1 fig-ihcroot)
⚠️ 口径:§9.1 两头验证的 p 只当方向性证据:4 份对 5 份的置换检验一共 126 种分组,完全分开时 p 最小就是 0.016;这一节做了十几次检验,没做多重比较校正。别说「坐实」
❓ 台下可能问(负责验收的技术负责人):「第二关不判过不过,那我们签什么?」—— 答:签第一关全过,加一份第二关的说明:TPU 对原来那份生产 golden 差多少(v5p 参数范数 +0.0209、loss −1.37e-4),全部来自哪一处查清了的 GPU 偏差,证据在哪。差的来由说清了,才签
❓ 台下可能问:「定案前那 3.45 倍是什么?」—— 答:两笔相反的偏差相抵剩下的差额:当参照的精确轨迹自己少漂一截,让 TPU 显得多漂;TPU 把流进输出头反向的梯度存成 BF16,自己也少漂一截,往回抵掉大半
❓ 台下可能问:「第二次迁移真实宽度对上了吗?」—— 答:TPU 那一半的偏查到 base2:常数 log₂e 跟着 BF16 的 q 舍成 1.4453125,logits 整体乘 1.0018,关掉就对上 FP64;GPU 那一半还在查
❓ 台下可能问:「规模怎么往上加?」—— 答:一级级上,每级只换一类(fig-ladder):第二次迁移补了中间一级、两边各自对 FP64,才看出 GPU 中间一级就偏高、TPU 到真实权重才偏低
⛔ §9.1 只讲「尾巴 → 锁定多路残差 → 两头验证主因 → 先编译再扫描 → 清单是候选」。地图上的三个编号、前段鼓包、「一台秤三个毛病」(anim-cancel、fig-cancel)、「丙在哪」、anim-declared、anim-scan 都不讲 —— 推断多、编号多、讲起来费劲,对这条线没有新东西;被问到用下面的备答。base2 的细节、anim-lineage 也不放。
❓ 台下可能问:「换修好的 golden 里另一份当基线,还全过吗?」—— 答:事后十份逐份当基线重判过:单条检查的 r 最多挪零点四七,四条取最差以后最多挪零点三三;v5p 和 v7x 按专家切都全过,v7x 当前配置有三份基线落进待定、最差一点一一,没有不过。所以「全过」要说清是对事先定下的那一份
❓ 台下可能问:「小尺寸那截主 loss 偏高是怎么长出来的?」—— 答:课件 §9.1 那张 fig-minidrift:前面一个小鼓包,定到一处少舍的 BF16;五百五十步以后一路往上,最后二十五步平均偏到一点八乘十的负五次方;同一份权重上两边前向几乎没差,是轨迹慢慢偏开。后段:两边都去掉多路残差就不飘,范围缩到那一段;再两头各改一处(fig-twoway),主因定到流梯度的舍法;两处都补以后后段又高了五乘十的负六次方,对齐记录的解释是:被多路残差收成一路那次少舍遮住的另一个毛病露了出来(推断,fig-cancel);扫描列出候选,A、B、C 三类和注意力内核四处都验过,都不是;剩累加顺序没查,这条线暂停,残余约七乘十的负六次方没定责
❓ 台下可能问:「既然是编译器省掉了舍入,干脆把省舍入整个关掉不就行了?」—— 答:那是一刀切:所有融合里的往返都真舍,连 GPU 本来不舍的地方也舍了。对齐记录里试过,上一代配置下单跑过一份,第七百五十一到一千步主 loss 比 GPU 高四点一乘十的负五次方,同一窗口原来偏高一点三乘十的负五次方,约三倍(对齐记录);为什么更大没拆开过,推断是连 GPU 不舍的地方也一起舍了。扫描的用处正在这里:只挑出 GPU 也舍的那几类,一处一处补
❓ 台下可能问:「扫出来两百七十二处,是两百七十二个 bug 吗?」—— 答:不是。那是使用次数,同一行代码在 scan 外的层、MTP 块、前向、重算、反向里各记一次;而且只是「TPU 少舍一次」的候选,GPU 那边舍不舍还要对照代码,舍了的才算差别。按位置归下来就三大类
❓(会后)台下可能问:「只含往返的 kernel 是四十一颗,关掉省舍入怎么变成三十五颗?」—— 答:关掉以后编译器融合的切法也跟着变了(推断),同样的挑法挑出来的就是三十五颗;要紧的是这三十五颗没有一颗是零条打包,说明「零条」确实是省舍入造成的
❓ 台下可能问:「那为什么不只补流梯度、还要补多路残差收成一路的地方?」—— 答:只补流梯度,后段平了,可前面那个小鼓包还在;再补那一处,鼓包没了,流梯度那处却测不出作用了,后段跟不修分不开。按对齐记录的解释(推断),只补流梯度时那个一点九有一部分是两个毛病相抵出来的,看着准不等于修好;对齐配置照 GPU 的写法都舍,剩下那截照实写「没定责」。对齐记录把「那一处不补」的配置读数并排列着,换不换待拍板
❓ 台下可能问:「后段六份平均还偏六点九乘十的负六次方,主 loss 怎么还算过?」—— 答:判档看的是全程三个统计对 GPU 两两 120 对的最大差,不是后段这一截的均值(对齐记录);事先定的那一份全程带符号均值三点五乘十的负六次方,上限四点六五乘十的负六次方,在线内。后段窗口的偏是用来查原因的,不是判据
❓ 台下可能问:「跑到两千步尾巴自己回落了,那还算问题吗?」—— 答:算。修之前只有一份跑到两千步:尾巴在第一千步前后到顶后回落,落回两份 GPU 的范围里(GPU 只有两份,尺子粗),更像一段暂时的轨迹差;可对齐要比的是同一窗口里两边像不像,而且两头改动的方向一致,像是有来源(推断),不是纯噪声
❓ 台下可能问:「小尺寸那截偏高跟 MTP、索引器蒸馏有关吗?」—— 答:MTP 同期反着走;两边把 MTP 和索引器蒸馏都关掉,后段照样往上(约剩六成),所以不是它们(fig-ihcroot)
❓ 台下可能问:「TPU 自己的扰动运行呢?」—— 答:九份扰动运行,八份不超过零点八五;剩一份只改了注意力分块,梯度范数待定,按 GPU 尺子判就是待定,不拿 TPU 自己的散布解释
❓ 台下可能问:「三点四五倍拆成哪几笔?到真精确还差多少?」—— 答:TPU 对精确轨迹多出二点三五乘十的负三次方 = 精确轨迹自己少漂八点七乘十的负三次方,TPU 的梯度舍入少漂六点八乘十的负三次方,其余多出五乘十的负四次方。再往右到真精确还差零点零零六七:两边都把流进输出头反向的梯度存成了 BF16,两边共有,不算两边的差(对齐记录)
❓ 台下可能问:「那三倍半是开 FP32 累加开关之前还是之后?」—— 答:之前那版 TPU;打开以后三点四五倍,几乎没动
⛔ 出处总表不在台上讲。被问到就答:每一处改动、为什么改、证据在哪,一行一处,连试过没采用的也写(课件 §9.3)。
⚠️ 说实话:过了是因为基线修对了,别说成「TPU 本来就没偏」;对原来那份生产 golden 的差,第二关照实报。
❓ 台下可能问:「那 TPU 能不能上线?」—— 答:这是业务判断,不是数值判断;数值上我们能说清楚差多大、几成是谁的。
❓ 台下可能问(定案前):「为什么不用精确轨迹自己扰动出来的散布当尺子?」—— 答:两个原因:扰动多大是我们挑的,量的不是真实的执行噪声;尺子只来自参照一侧的重跑,被测或人为扰动只作诊断(§4.3 末尾那条规矩)。
❓ 台下可能问(定案前):「为什么借只修一处那组的尺子、不借生产 golden 那组?」—— 答:协议事先选定那组;理由没有单独写下来,我们不替它编。
❓ 台下可能问:「补到四十五对才过,是不是把尺子放宽了?」—— 答:只有十对时几项落在一点零二到一点二四倍,先查出两处量法的问题(TPU 参数范数测得粗、梯度范数统计量两边不对称),再补五份重跑;老实说,这两步都是看到待定以后做的,事先没有写停止规则,跑完十份没再加;十对时所有比值挤在 0.7 到 1.3、没有离群项;不改量法也过;TPU 九份扰动运行八份过,剩一份(只改注意力分块)待定。
❓ 台下可能问:「还有哪些格子没过?」—— 答:原生加载器的顺序、v7x 第 2 层 MoE 块对 FP64 那一格(4096 个 token 里一个近平局选了别的专家,去掉它就过)、第一步整步的梯度(路由翻转,加上 TPU 三类参数的梯度先舍成 BF16;后一处有三个可选开关,第一步对 FP64 按能量合计的 R 从 1.20 降到 0.67(逐张量最差仍 1.79),路由那一份不受影响;打开后一千步 v5p 全过、v7x 梯度范数待定 1.05 倍,没加进正式配置)、加钩子改了融合;每一格都对上了机制,见课件 §9.5 的折叠。
❓ 台下可能问:「为什么不拿真精确当基线?」—— 答:真精确比的是「离精确值多远」,两边都舍了一次 dlogits;TPU 把 dlogits 留 FP32 能再近一步,步时多百分之九点六(v7x),定案不需要;定案选的是「生产对生产」。
❓ 台下可能问(GPU 老手):「Megatron 的 gradient_accumulation_fusion 开没开?」—— 答:GPU 参照关着:每个微批的 dW 先出 BF16 再加进 FP32 累加器,所以扫描里每微批 dW 那一类才算两边的差;开着的话这一类就不算(§9.1 折叠)。
❓ 台下可能问(GPU 老手):「GPU 扩到多机,golden 能不能用多机跑?」—— 答:第二次迁移量过:多机重跑自己的尺子是单机的 1.0–1.3 倍,对单机基线也没有系统偏移(Welch 检验 |t| ≤ 1.3),多机 GPU 可以当 golden,判多机被测要用多机自己的尺子(§9.7 折叠)。
❓ 台下可能问:「dlogits 两边都留 FP32 不是更准吗?」—— 答:能再朝真精确近一步,TPU 步时多百分之九点六(v7x),对齐本身不需要(§9.5 折叠)。
🖥 本节主屏:课件 第九节 一条查不完的尾巴 · 主图 fig-minidrift
第十节 工程化与教训(7′)
🎯 这一节只留一句:投产以后先要求逐位;不逐位,就分清是换了顺序还是改出了 bug,换运行库也不例外。
▍一 TPU 的脾气
🖥 屏幕:fig-temper,先上块六堆的颜色,再下块挤在 1 附近的蓝点,最后只指下面标「不能忍」的那两行(实心红点)。
「改完不逐位,算不算 bug?第二次迁移一样一样量过。重跑、换机器、起名字拆函数这类不改程序的重构,逐位相同;只换顺序的改动不逐位,但跟重跑分不开。真有影响的归成七件,不能忍的只有两件:纯数据并行,和关掉省舍入。」
▍二 换运行库
🖥 屏幕:fig-libtpu,先指最上面那个基准点,再指 RMSNorm 那根往右蹿的红箭头。排序门槛那张(fig-libsort)在折叠里,被问到再打开。
「运行库升级了一版,又走了一遍。基准运行自己新旧版本一比,在噪声内。按理说可以放心了?把当时已知的六件,在 v5p 上一件件重测:RMSNorm 多舍一次那件,旧版本上跟噪声分不开,新版本上是 GPU 噪声尺子的五点五倍,主 loss 偏高;重跑逐位相同,不是偶然。」
「所以换版本不能当成只换了加法顺序:新版本先建基准,再把已知的几件重测。RMSNorm 单次舍入那个开关开着,就没事;这个开关对齐时开着,生产上也该开。」
▍三 指纹与日常回归
🖥 屏幕:fig-screen(§10.3 开头),先走左块三个出口,再指右块那根绿条。
「改完代码,最便宜的一步:只编译,比程序指纹。好比两份菜谱逐字相同,炒出来的菜就不用再尝。程序一样,结果一定逐位。CPU 上离线编一次就行,不占芯片;上过卡的改动里能判的九十五个,全部判对;换运行库判不了,直接上卡。
指纹加上噪声尺子和 FP64,还抓到过一个编译器的真 bug,就是第八节曲线冲到六百一十一倍那次:编译器把一到七号卡第一个微批的梯度清掉了,只剩第二个。」
🖥 屏幕:fig-regress,先走上面那条绿线,再走三条分流。
「日常回归的参照,是上一次全部通过的 TPU 运行,叫 LKG。TPU 重跑逐位相同,数学不变的改动就该一位不变;不逐位的,看改代码的人写的数值影响声明,分三条路。」
「怎么分,看图;最短的流程在课件这一小节末尾:改完先比指纹;变了跑三百步;动到精度再跑一千步,每项 loss 逐项比。」
▍四 三条暗线
「三条暗线前面都讲过:每个结论先问拿什么比;名字对了不等于生效,读回值要实测;先排除自己这一侧,包括当参照的那一份。」
▍五 收尾
「回到开头:TPU 的主 loss 三百步以后平均低一点七乘十的负四次方,按噪声尺子是真偏差。查到最后,大头偏在 GPU 的 golden:一次十二万项的求和,每一步都朝零少算了一点;改成分块累加,拿它当基线,全部在噪声内。」
「怎么证明训的还是同一个模型?迁移验收证明一次,日常回归天天守。混元 3 这一次查到底了:对齐了,剩下的每一处差都说得清。课件 10.6 有动手清单、速查卡、排查表和练习,拿回去用。」
🖥 屏幕:§10.5 末尾的框「这门课带走的三句话」,一句一句指。
「这门课带走三句话。一,拿 GPU 自己的重跑当尺子:TPU 跟 GPU 的差,不能比 GPU 自己跟自己的差大;超了,就查到底是谁的差,当参照的那一份也要查。二,超了就对 FP64 定责:离真值远了 1.2 倍以上才是丢了精度,没变远就只是换了顺序。」
「三,换了条件就要重验:设备数、梯度累积、步数、芯片、运行库,换一样,之前的验证就不作数;精度验证在生产的设备数上做,改完代码先离线编译看一眼。」
❓「换运行库那两个读数?」—— 答:基准运行新对旧 300 / 1000 步 0.99 / 0.96;RMSNorm 多舍一次,旧版本 1.06 倍、新版本 5.50 倍,1000 步 3.68(课件 §10.2)。
❓「七件里另外五件呢?」—— 答:曲线分不开,是第一步对 FP64 才抓到的:四件能忍,第七件输出头反向少舍一次,换 v7x 就碰上,忍不忍还没定;那张图基本在运行库 0.0.46 上量的。
❓「换运行库还有别的变化吗?」—— 答:第八节那个排序门槛:v7x 每卡 8,192 个下标,旧版本门槛在它右边不排序,新版本降到七千一百多、排了序,曲线从噪声的 4.06 倍掉到 0.89 倍(§10.2 折叠里的 fig-libsort)。
⛔ 一次课清理(11-15)收进备答:❓「新版本为什么变强?」—— 答:老版本把最后一层那两次舍入融在一起、省掉了一次,新版本两次都真舍了;版本只决定编译器省没省那一次。
❓ 台下可能问(入门):「我们组明天开始迁移,头一周先做什么?」—— 答:照课件 §10.6 动手清单的顺序:先写下要对齐的配置和「对谁比」;GPU 同一设置起步三份、签字前至少六份(一千步的窗口要十六份),把尺子造出来;再铺地基(数据回放、权重转回来比、配置按实际生效值),看第 1 步 loss
❓ 台下可能问(GPU 老手):「GPU 换代、换框架也能用这套吗?」—— 答:方法是通用的:参照一侧同设置重跑当尺子,超出的对 FP64 定责;课件 §1.4 也写了「方法通用,具体的数只对这个设置成立」。GPU 换代的例子这门课没做过,数字不能搬
❓ 台下可能问(负责验收的技术负责人):「这套我们自己能照做吗?要哪些工具?」—— 答:能。课件里每个「代码:」链接都指向公开的对齐记录仓库,按课件小节找:判档和三种统计(§3.3)、留一法与《尺子》入门(§3.4)、FP64 参照和动量反推(§4.2)、按行分组与单算子实验(§8.3、§8.5)、数通信(§8.10)、扫描脚本与排查指南(§9.1)、跑前离线筛(§10.3);训练框架那边的开关在 MaxText 的公开分支里。课件 §10.6 有动手清单
❓ 台下可能问:「排查记录怎么写?」—— 答:只问一句:下一个人从仓库里看不看得出查到哪了。一个问题一份案例文件,标题就是发现;事实带出处,推断标出来;排除了的也写下来(课件 §10.4)
❓ 台下可能问:「三条分流具体怎么判?」—— 答:写了数学不变却不逐位,退回;执行级(只改舍入位置、升级依赖)用 TPU 自己的执行噪声判;数学级对修好的 golden 不变差
⛔ 不讲 fig-sens(尺子能抓多小)、fig-rms2r 的机理细节、fig-journey 逐步。前者是尺子的局限,备答够用;后两者结论台词里已经有。
❓ 台下可能问:「这把尺子能抓多小?」—— 答:学习率故意大 1e-4 抓得到(r 4.1),大 3e-5 分不开;只动一部分梯度的 bug,主 loss 藏得住,记下的那项 loss 藏不住,所以每项 loss 逐项比(fig-sens)
❓ 台下可能问:「RMSNorm 两次舍入为什么系统偏小?」—— 答:第二次舍入的输入已在 BF16 格点上,乘一个贴近 1、不等于 1 的 γ 再舍,结果系统偏小;输出头输入整体缩小 1.5e-4(对齐记录·0.0.52 那次案例的机制:按最后一层 γ 的分布平均缩小 1.49e-4;课件未收),预测被压平,loss 变高(fig-rms2r)
❓(会后)台下可能问:「七件里怎么没算「强制舍两次」那次?」—— 答:那是查 RMSNorm 机理时专门做的诊断改动,不是日常会碰到的改动,所以没算进七件。
❓ 台下可能问:「指纹抓到过真 bug 吗?」—— 答:第八节那个:r 冲到六百一十一先报警,再读编译后的程序,一到七号卡的第一个微批全丢了(课件 §10.3 的 fig-bug)
⚠️ 口径:回归里数学级那道门挂在修好的 golden 上(验收事先定下的那一份当基线,它自己 10 份两两 45 对当尺子);原先挂在起点那份 GPU golden 上,2026-11-15 换过来,课里没有按旧门算出的数要重算
⛔ 不逐条念坑表和记录规矩。挑三个讲,其余是会后查的。
⚠️ 三句话念完就停,后面不再加话。
❓ 台下可能问:「为什么只有最后一层要紧?」—— 答:对齐记录的推断:最后一层的输出直接进输出头,整体缩小直接变成 logits 缩小;层内的输出还要过投影、加回残差、再归一化,影响被冲淡,没有单独量。
❓ 台下可能问:「为什么第一步看不出来?」—— 答:初始化时模型预测接近均匀(loss 接近 ln 词表大小),输出整体缩小一点不改 loss;学会预测以后,缩小等于把预测压平,loss 才高。同一份权重上前向就高三点二乘十的负五次方;拿第三百零一步那一批,FP64 模拟三点一七、TPU 三点一三,对得上。「学会预测以后才显」是推断,只在第一步和第三百零一步两个状态上量过。
❓ 台下可能问:「v7x 上也这样吗?」—— 答:同一份代码在 v7x、0.0.52 上没有单独写回,曲线一点二二,跟 GPU 重跑分不开 —— 发不发生看融合,跟芯片、并行方式、模型结构都有关。
❓ 台下可能问:「离线筛说程序相同,就一定不用跑?」—— 答:同一个运行库、同一个镜像、同一代芯片下是的:TPU 上同一个程序重跑逐位相同,回测里判相同的二十三个全部逐位。换运行库、换镜像、换芯片、SparseCore 卸载的开关,规则上直接判「判不了」,要上卡。
⚠️ 口径:六件重测只在 v5p 缩小版、运行库 0.0.46 和 0.0.52 这一对上做过;别说成「新版本更差」或「新版本更好」,两个方向各有一件。
❓ 台下可能问:「「TPU 的脾气」和日常回归用的不是同一把尺子?」—— 答:对。「TPU 的脾气」借 GPU 重跑当尺子,回答「在不在 GPU 的噪声里」;日常回归用 TPU 自己的执行噪声,只回答「跟上次比变没变」。
❓ 台下可能问:「每天跑回归要多少资源?」—— 答:v5p 上 20 步那档一次约 10 分钟,1000 步那档约 25 分钟(提交到取回)。
❓ 台下可能问:「TPU 的执行噪声怎么造?」—— 答:跑几份只改执行方式(片上内存上限、注意力分块大小)的 TPU 运行,旧配置试了十四个、三项检查都过的七个,加上基线八份,两两二十八对;配置一换,在新配置下重跑、重新标定。
❓ 台下可能问:「LKG 怎么建立、怎么往前走?」—— 答:第一次建立要同一个提交跑两遍、逐位相同才算数;数值没变指针自己往前走,数值变了每次换代都要负责人点头。
❓ 台下可能问:「迁移验收签字前,LKG 的『全部通过』指什么?」—— 答:指回归那几项检查全过,跟迁移验收签不签字是两回事。
❓ 台下可能问:「只改执行方式的那几份运行,要过哪三关?」—— 答:自己重跑逐位;配置、版本不变,编译出的程序里几类算子(all-reduce、reduce-precision)的个数跟基线一样;第三项分两半:一千步 loss 对基线不超过 GPU 自己的噪声;第一步梯度离 FP64 不比基线远(GPU 噪声看不见路由翻转,而只改执行方式的臂也会翻)。第一步那一关后来补做了六个(其中五个在参照的七个里,参照里有两个没补),v5p 的 R 一点零零一到一点零零八、v7x 一点零零三到一点零三九,全过;所以 TPU 扰动组(只报不判)的散布里含着路由翻转。
❓ 台下可能问(入门):「手边没有 B200 和 TPU,能自己练吗?」—— 答:§10.6 有练习;fig-ongrid、fig-assoc 那种几十行的玩具实验 CPU 上就能跑;判档、留一法、FP64 参照的脚本在公开的对齐记录仓库里。
🖥 本节主屏:课件 第十节 工程化与教训 · 主图 fig-regress
🚧 这份讲义还薄的地方
- [ ] 没真讲过,时间表是估的。第一次讲完按实际用时回来改。
- [ ] 时长:照稿(含放动画)以地板表为准,计划 83′;超时按 ✂️ 砍。第一次讲完按实际用时回来改。