这份讲义怎么用
两个用法。
① 上台讲:照着念,台词、切图、互动、每段几分钟都写着。每节第一行 🧭 是开讲前先带大家切到的位置;🖥 是切到哪张图、按哪个编号指;黄底「」是要说出口的话;💬 是问台下什么、等到什么答案再往下;节尾 ⚠️ 是被问到时再讲的备答。
② 自学:把这一整份丢给 AI,让它当助教带你走一遍。
内容本身在课件那边,这一份只管「怎么讲」。课件默认只留标题、结论句、图和表(右下角「展开讲解」开关才展开正文),投屏就保持这个状态,台下看图听你讲。 课程作者 Chris Yang · Google Cloud AI Infra 架构师。
🧵 上台之前
暗线三条:① 先估再看——好消息先拿尺子量,估出该找什么再打开 profile;② 一页只问一个问题——Overview 问闲没闲、Trace Viewer 问哪一段、总账问是不是没干的活、HLO 问本来该有什么、代码问为什么;③ 真快是同样的活干得快,假快是活少了。
⭐ 如果只能带走一句话:好得不像真的,先看 profile 再庆祝。
⏱ 时间:计划 82′
⛔ 第零、六节不能砍。第零节立住「好消息先估再看」,第六节收住五步;中间每节开头都接上一节最后那个问题,压时间压中间不压首尾。
不限时长:该讲什么就讲什么。每节的分钟数按这一份现数:台词每分钟 200 字、每次切屏 15 秒、每个互动半分钟(含互动约 77 分钟,以下表的地板为准),
再把讲义指到的录屏、动画按停点的播放时长全额加上(约 4.9 分钟:第二节 open 停 3–7 和 agdone 停 1–5 约 1.0;第三节 roof 停 2–3 和显存录屏停 1–11 约 2.7;第四节 graph 停 1、2、9–11 和 experts 停 1–7 约 1.2;第五节显存录屏停 12 不到 0.1),
合计约 82 分钟(各节分钟数=含互动+该节停点,四舍五入)。接追问、现场开 XProf 不在里面;要压回一小时,照「能不能砍」那一列压中间几节。
录屏和动画:第二节 xrec-open(停 3–9 演示收拾、认行、开到一层)、可选 xrec-basics、anim-agdone(停 1–5);第三节 xrec-opprof 只在现场开不了 XProf 时放、xrec-roof(停 2、3)、xrec-mem(停 1–11 分四段放,停 12 留给第五节;能现场开就照停点真点);第四节 xrec-graph(挑停)、anim-experts(边放边指)。
| 段落 | 分钟 | 能不能砍 | 一条主线 |
|---|---|---|---|
| 零 一步快了 50%,你信吗? | 4 | 不能砍 | 两行步时、改了什么;只摆现象,先估 |
| 一 先估:这个数可能吗? | 10 | 可压到 9(口径表、自己算一遍只指不讲,三个互动只问不等) | MFU 和屋顶线两把尺子;MoE 拿到稠密的涨幅,可疑 |
| 二 打开 profile:少掉的时间在哪? | 17 | 可压到 15(录屏和动画不放、只指静态图;Overview 其余几格、竖着读一列、叶子分四类各缩成一句) | Overview 主核没闲 → 收拾成一步一层、竖着读一列、叶子分四类 → 同一层并排,小核少了两类通信 |
| 三 对总账:少的是不是「没干的活」? | 21 | 可压到 17(Roofline 录屏不放;显存录屏只放停 1、5、10、11;375 秒插曲缩成两句、押注互动跳过) | custom-call 117.45% → 单颗 25 倍峰值 → Roofline 整步平均也被抬高 → 次数没少 → 两头对账 → 显存账 |
| 四 下到 HLO 和代码:为什么没干? | 14 | 可压到 11(Graph Viewer 录屏只放停 1、2、11;动画连放不停;押注只问不等) | 按形状数集合通信 12/6 → 0;Graph Viewer;op_name 指回 tokamax 那一支;补 0 不报错 |
| 五 对照:真变快长什么样? | 9 | 已贴地板(8.4′),只能把两个互动只问不等 | BF16 同一改动:通信一条不少,每颗 kernel 短一截 |
| 六 收尾:下次怎么查? | 7 | 不能砍(地板 6.3′;原料图只指不讲可省半分钟) | 五步定位顺序、庆祝前三查、自己抓 profile |
| 合计 | 82 |
⛔ 上面是计划,下面是地板(台词 200 字/分钟 + 每次切屏 15 秒 + 每个互动半分钟,每次 build 现数)。
| 节 | 台词汉字 | 切图 | 地板 | 计划给的 | 互动 / 可跳 | 含互动 | 跳后 |
|---|---|---|---|---|---|---|---|
| 第零节 一步快了 50%,你信吗? | 547 | 4 | 3.7′ | 4′ | 1 / 0 | 4.2′ | 4.2′ |
| 第一节 先估:这个数可能吗? | 1,240 | 8 | 8.2′ | 10′ | 3 / 0 | 9.7′ | 9.7′ |
| 第二节 打开 profile:少掉的时间在哪? | 2,084 | 15 | 14.2′ | 17′ | 3 / 0 | 15.7′ | 15.7′ |
| 第三节 对总账:少的是不是「没干的活」? | 2,497 | 17 | 16.7′ | 21′ | 4 / 0 | 18.7′ | 18.7′ |
| 第四节 下到 HLO 和代码:为什么没干? | 1,652 | 11 | 11.0′ | 14′ | 3 / 0 | 12.5′ | 12.5′ |
| 第五节 对照:真变快长什么样? | 1,274 | 8 | 8.4′ | 9′ | 2 / 0 | 9.4′ | 9.4′ |
| 第六节 收尾:下次怎么查? | 859 | 8 | 6.3′ | 7′ | 1 / 0 | 6.8′ | 6.8′ |
| 合计 | 69′ | 82′ | 17 / 0 | 77′ | 77′ | ||
第零节 一步快了 50%,你信吗?(4′)计划 4′ · 含互动 4.2′
🖥 本节主屏:课件 第零节 一步快了 50%,你信吗?
🎯 这一节只留一句:好消息先别庆祝,也先别怀疑:花一分钟估一下,这个数可能吗?
🧭 开讲前先带到位:「我们现在在课件第零节「一步快了 50%,你信吗?」。」先切过去、让大家找到,再开讲。
🖥 屏幕:切到 0.1 两行步时,先指上下两行步时,再指底下那行 1.50。
「先讲一件我们自己碰到的事。我们在训腾讯的混元3,有一天改了一组参数,再跑一次,一步从十一点七六秒掉到了七点八四秒。改之前那份配置,后面一直叫它「原配方」。十一点七六除以七点八四,等于一点五:同样的时间,多跑一半的 token。」
「会不会是碰巧跑得快?同一个配置又跑了两次,七点八四六、七点八四零,差不到千分之一,不是抖动。」
💬 互动:问台下:这个数,你信不信?信的、不信的、说不好的,各举一次手,再各请一位说一句理由。等到有人说出「换了参数,变快很正常」,也有人说出「一下快一半,太多了」,就往下,先不评谁对。
🖥 屏幕:还在 0.1,指两行步时下面那张「在什么上跑的」小表,从上往下指四行。
「先交代这是在什么上跑的。混元3 是 MoE 模型,两千九百五十亿参数,八十层,除了第一层,每层有一百九十二个专家。专家就是一套前馈网络,每个 token 只挑其中八个来算。」
「机器是六十四颗 TPU v7x。一颗芯片有两个 TensorCore,profile 里算两个 device,所以一共一百二十八个 device。权重太大,一个 device 装不下,就切成六十四份,每个 device 存一份,用到的时候再从别的 device 拼回来,这叫 FSDP,后面一直用得到。」
「精度是 FP8,每个数只占一个字节。训练框架是 MaxText,开源的。」
🖥 屏幕:切到 0.2 改了什么,从上往下指表里三行。
「改了什么?两份配置逐行比,只差十三行。其中十二行是专家矩阵乘的 tile。kernel 是芯片上实际跑的那段计算程序;tile 是它每次搬进片上存储、一起算的那一块有多大。看配置,从一千零二十四调到了两千零四十八和一千五百三十六。」
「剩下一行叫 use_tokamax_gmm,从 True 改成 False:专家矩阵乘不再用 tokamax 库的 kernel,换成 MaxText 自带的那一套。」
「换了实现、调大了分块,矩阵乘变快,听起来完全说得通,我们当时也没觉得哪里不对。可心里也没底:这是真快了,还是哪里出了问题?我也不确定。不确定的时候,先别急着打开 profile,也就是跑的时候录下来的每个算子的起止时间。先花一分钟,估一下。」
🖥 屏幕:停在 0.3 不确定,就先估一下 那句 ⭐。
「估什么?就问一句:这台机器、这种模型,FP8 训练一步快一半,算不算正常?心里有了这个范围,打开 profile 的时候,就知道该找什么。」
- 被问「快 50% 说的是吞吐还是步时」:吞吐,11,758.2 ÷ 7,842.1 = 1.499;换成步时是少了三分之一(0.667)。0.1 折叠块。
- 被问「profile 里的步时和日志里的对得上吗」:profile 中位步 11,758.2/7,842.1 ms,MaxText 主机计时 11.765/7.853 s,含派发,长约 0.1%。复跑两次 7,846.1/7,840.1 ms。都在 0.1 折叠块。
- 被问「原配方 tile 1024 是它真用的吗」:不是。原配方走 tokamax 时 tile 是启动脚本另外注入的,编译后的程序里写着 (512, 2048, 1536);所以「1024 → 2048」不等于 kernel 真用的分块变了(0.2 折叠块)。
- 被问「为什么切 64 份、却有 128 个 device」:FSDP 64 路之外还有 data 轴 2 份,64 × 2 = 128,每份权重放两个 device(第三节显存那里会再碰到)。
- 被问「295B 怎么核的」:Hugging Face 上 tencent/Hy3 模型卡把 Total 295B 和 MTP 层 3.8B 分两行列(层数那一行写的是 80 层、不含 MTP 层);第三节用显存反算出 2,988.5 亿,正好是两者相加。
- 台下有人不认识 gmm、tile、FSDP、all-gather 这些词:0.3 末尾「遇到不认识的词」折叠块有十个词,讲到时再就地讲,别在这里念词表。
- ⛔ 这一节不评对错、不暗示结论;「信不信」只是让台下先押一个、说出理由,第一节拿尺子来判。
第一节 先估:这个数可能吗?(10′)计划 10′ · 含互动 9.7′
🖥 本节主屏:课件 第一节 先估:这个数可能吗? · 主图 fig-t7-ruler
🎯 这一节只留一句:DeepSeek-V3(MoE)换 FP8 只多出两成;改后拿到的是稠密模型的涨幅——可疑,该打开 profile 找那 3.9 秒。
🧭 开讲前先带到位:「我们现在在课件第一节「先估:这个数可能吗?」。」先切过去、让大家找到,再开讲。
「估要拿尺子。第一把尺子叫 MFU:每颗芯片实际每秒做了多少浮点运算,除以它的峰值。TFLOP/s 就是每秒多少万亿次。v7x 每颗芯片 BF16 的峰值是两千三百零七 TFLOP/s。BF16 是每个数占两个字节的格式,训练里最常用。」
「算 FP8 也除这个数。运算量按模型形状数,一次乘加就记两次运算,不管一个数占几个字节;分母也不换。这样两种精度站在同一把尺子上比。」
🖥 屏幕:切到 1.1 第一把尺子:MFU 那张表,先指两行公开 MoE,再指混元3 BF16 和原配方,最后指红色那行,和最底下的 405B。
「公开的 MoE,Qwen3 和 DeepSeek-V3,都在百分之二十七上下。混元3 BF16 是二十八点七,FP8 原配方二十九点三,也挤在这一堆里。改后这一行一下子跳到四十四,离最底下稠密的 Llama 405B 只差一截。」
「这个数怎么来的?MaxText 每一步记一个运算量,每个 device 三千九百八十一 TFLOP。一颗芯片两个 device,乘二,再除以步时。两份 FP8 记的运算量一模一样,所以 MFU 涨了多少,完全是步时短了多少。光看 MFU,只能说它跳出来了,说不清该不该跳。」
🖥 屏幕:点开 1.1 下面「MFU 的分母」折叠块,指 4,614 那一条。
「顺便说一个常见的坑:FP8 的峰值是 BF16 的两倍,每颗芯片四千六百一十四。要是拿它当分母,改后这份的 MFU 就只剩百分之二十二,凭空减半。同一个数换个分母就变,所以报 FP8 的 MFU,一定写明除的是哪个峰值。」
🖥 屏幕:点开 1.1 下面「自己算一遍」折叠块,指那八行代码里取步时和取运算量的两行,再指 676.2、1,013.7。
「这把尺子不用信我们,自己就能量:MaxText 把每一步的步时和运算量写进 TensorBoard 的事件文件,八行 Python 读出来,取中位步,乘二除一下。我们两份各跑了一次,六百七十六和一千零一十四,和表里差千分之一,只是取的步不一样。」
🖥 屏幕:切到 1.1 末尾「五条口径」 那张五行表,只扫前四行「坑」那一列;第五行显存到第三节才用,这里不念。
「这一课从头到尾用这几条口径,每一条都是我们踩过、或者差点踩的坑。步时取中位数,躲开写 profile 拖长的那一步;运算量按形状数,FP8 也一样;分母写死两千三百零七。自检只有一句:算出来的 MFU 要是超过百分之百,口径一定错了。」
💬 互动:问台下:FP8 让一个数从两个字节变成一个字节,一个矩阵乘最多能快几倍?整个一步呢?答「两倍」「一步也两倍」都行,不纠正,有人开口就往下,屋顶线讲完答案自己出来。
🖥 屏幕:切到 1.2 屋顶线图,先只指左边:斜坡、平顶、拐点,再指示意点从蓝顶升到橙顶。
「第二把尺子叫屋顶线,回答一个算子最快能多快。横轴是算术强度:每从显存搬一个字节,做几次运算。左边是斜坡,快慢看从显存搬得多快;右边是平顶,快慢看算力峰值;两段交在拐点。」
「换成 FP8,两头各翻一倍。落在平顶上的矩阵乘,平顶抬高一倍;落在斜坡上的,要搬的字节减半,点往右挪一倍,沿着斜坡也正好快一倍。所以一个矩阵乘,最多快一倍。」
「可一步里不只有矩阵乘。路由、按专家重排 token、逐元素运算、通信,都不在这张图上,FP8 帮不了它们。所以刚才那个问题:一个矩阵乘最多两倍,整个一步一定到不了两倍。」
🖥 屏幕:还在这张图,指右边那条曲线和上面的红点;图下那条落点带先别念,它是后面互动的答案。
「右边这条线是我们自己推的。一步里矩阵乘占比例 p,FP8 最好也就把这一截砍成一半,一步最多快一除以一减二分之 p 倍。p 到百分之百,才是两倍。」
「注意这里的起点是混元3 自己的 BF16,不是第零节的原配方,因为别人报的都是从 BF16 换 FP8 涨多少。改后这一份是混元3 BF16 的一点五三倍,倒推回去,一步里至少七成得是矩阵乘。」
「拿同一个式子去量别人,就有了参照:DeepSeek-V3 换 FP8 后是原来的一点二一倍,倒推它一步里矩阵乘至少占三成五;稠密的 405B 是一点五三倍,倒推出来也是七成。稠密模型一层就是几个大矩阵乘,占七成说得过去。」
💬 互动:问台下:一个 MoE,每层还要路由、重排 token、从别的 device 收专家权重,矩阵乘能占到一步的七成吗?等有人说「占不到」或「不确定」,再切下一张图。
🖥 屏幕:切到 1.3 同类比尺子,先指最上面两行:稠密 +52.8%、DeepSeek-V3 +21.4%;再指混元3 原配方 +2.2%;最后指红行 +53.2%。
「拿同类比。同一种芯片、同样换 FP8:稠密的 405B 多出百分之五十二点八;DeepSeek-V3 是 MoE,只多出二十一点四;混元3 原配方自己,只比 BF16 多出二点二。改后这一份,多出五十三点二,和稠密模型一样多。」
「图上混元3 的三个点都是我们在六十四颗芯片上实测的,另外几行是转引的公开实测。尺子不精确,但它量的是同一件事:同一种改动,在同类模型上,一般能多出多少。」
💬 互动:问台下:还记得第零节那次举手吗?现在再押一次:一个 MoE 拿到了稠密模型的涨幅,是这一改太厉害了,还是哪里漏了?跟刚才比改了主意的,再举一次手。不揭晓,带着押注往下看。
「要么这一改,把 MoE 的老毛病一下子全治好了;要么,有什么东西不对。估到这里,判不了真假,可已经知道打开 profile 该找什么了。」
🖥 屏幕:切到 1.4 估完:带着问题去打开 profile 那张两列表。
「回到第零节那两行步时:少掉的三点九秒,总得落在某些算子上。如果是真快,同样那些算子都还在,只是每个变短了,主要是专家矩阵乘,通信该多少还是多少。如果有问题,会有一类算子整块不见,或者短得离谱,通信也跟着少。」
「这张表不是结论,是一张待查清单。左边一列对上了,我们就庆祝;右边一列对上了,就得往下挖。带着这张表,去打开 profile。」
- 被问「MFU 的分母到底用哪个」:2,307 是每芯片 BF16 峰值(MaxText 和本课都用);XProf Roofline 页写每 TensorCore 1,028.75,乘 2 是 2,057.5,小 10.8%;FP8 峰值 4,614,用它当分母 MFU 凭空减半(1,014.8 ÷ 4,614 = 22.0%)。报 FP8 的 MFU 一定写明分母(1.1 折叠块)。
- 被问「p ≥ 七成怎么推的」:新步时 = p/2 + (1 − p),实测快 s 倍 → p ≥ 2 × (1 − 1/s);DeepSeek-V3 s = 1.214 → 35%,405B 和混元3 改后 s ≈ 1.53 → 69%。这是本课推导的上限,不是测量(1.2 折叠块)。
- 被问「原配方把专家权重量化成 FP8 再收,通信字节也减半,FP8 就不只动矩阵乘了」:对,但原配方没被计算盖住的通信每步只有约 0.2 s(195.9 ms,第二节 2.5 折叠块「start/done 怎么读、藏住多少、露出多少」的整步账里有),算进去 p 的下限不变(1.2 折叠块)。
- 被问「1.53 倍和第零节的 1.50 倍怎么不一样」:起点不同。1.53 = 改后 1,014.8 ÷ 混元3 BF16 662.3(和公开表一样比「BF16 换 FP8」);1.50 = 原配方步时 ÷ 改后步时。两份 BF16/FP8 的 batch 不同(12 vs 7),所以比每芯片 TFLOP/s 不比步时。
- 公开实测数(Qwen3、DeepSeek-V3、405B)是转引自混元3 调优记录,不是本课自己测的;被追问来源就这么说。
- ⛔ 这一节不下「是假的」的结论,只说「可疑、知道该找什么」。
第二节 打开 profile:少掉的时间在哪?(17′)计划 17′ · 含互动 15.7′
🖥 本节主屏:课件 第二节 打开 profile:少掉的时间在哪? · 主图 fig-t7-22a
🎯 这一节只留一句:两份主核都没闲;放大到同一层并排,改后小核那一行少了两类通信,专家矩阵乘短到原来的 1/75–1/93:活少了一大块。
🧭 开讲前先带到位:「我们现在在课件第二节「打开 profile:少掉的时间在哪?」,先到 2.1 Overview。」先切过去、让大家找到,再开讲。
「带着第一节那张表打开 profile。看 profile 的工具叫 XProf,开源的,pip 装上本机就能开。第一页叫 Overview,像体检报告的第一页。我们只问它一个问题:少掉的三点九秒,是主核闲下来了,还是主核干的活变了?主核就是 TensorCore,芯片上做矩阵乘的那个。」
🖥 屏幕:切到 图 2.1 Overview,只指左栏:① 平均步时,② TPU Duty Cycle;图下表 ② 那一行先别念,它是后面互动的答案。
「① 步时,一万一千七百九十四毫秒对七千八百五十七,比值还是一点五。② Duty Cycle,是主核有活干的时间占比:两份都是百分之九十九点九,平均每步空着十一、十二毫秒;按步拆开,每步五到十五毫秒,两份差不多。少掉的三千九百毫秒,跟空闲没有关系。」
💬 互动:问台下:Duty Cycle 九十九点九,能不能说主核一直在全力干活?等到有人说「不一定,停下来等数据也算有活」再往下。
「对,主核停在那儿等别人送数据,工具也算它有活。所以 Overview 只告诉我们一件事:两份主核都没闲着,少掉的时间不在空闲里,在主核干的活上。」
🖥 屏幕:切到 图 2.1B,从 ① 往下扫到 ⑦,只停在 ② ④ 两组「零点零」上。
「左栏还有五格,第一次打开都会想要不要看。两份对着扫一遍:FLOPS 和 HBM 两组都是零点零,是开源这一版没算出来,不是真为零;算子放在哪、有没有即时执行,两份一字不差,JAX 训练本来就这样。能区分两份的只有步时和 Duty Cycle。」
「芯片上除了主核,还有小核,叫 SparseCore,专门帮主核搬数据。小核忙不忙,这一栏里没有它的格子。主核干了什么、小核在搬什么,都得看时间线,下一页 Trace Viewer。」
🖥 屏幕:切到 2.0 录屏,取消「连续播放」,从停 3 一停一停走到停 7,每停念一下字幕里的操作。能现场开 XProf 就不放录屏,照这几停真点一遍(课件 2.1「本机怎么开」)。
「Trace Viewer 一打开是整份会话:八个主核,每个下面挂两颗小核,几十行,乱。先收拾:点 Collapse All,一个进程收成一行;只留 TPU:0 和它下面两颗小核,其余的点右端的 X 关掉,它们的行一模一样;再 Expand All。」
「然后在 XLA Modules 那一行,单击 train 7 那一块 jit_train_step,抓到的三步里它的步时居中;按 f,这一步就铺满一屏。多个 device 之间收数据、求和这类通信叫集合通信;这份 trace 里,它们都跑在小核的行上:主核发完令接着算,小核在旁边搬。」
🖥 屏幕:台下有人第一次用 Trace Viewer 时:点开 2.2 底下「基础操作」折叠块,放录屏 xrec-basics,停 2(W 放大)、停 4(单击读 Details)、停 5(m 标宽度)、停 7(Ctrl 多选看 Totals)各停一下,边放边说:鼠标停在哪,W/S 就以哪为中心放大缩小,A/D 平移;单击出 Details,f 铺满,m 标宽度;Ctrl 单击几块看 Totals;顶上 Find Events 搜名字。台下都用过就整段跳过(约 1 分钟,不计入下面的地板)。
🖥 屏幕:切到 图 2.2A 和下面的 图 2.2B,指 ② 前向 scan、③ 反向 scan;再切到上面那条按比例画的一步时间线(一步切五段),指两个循环之外那三小段。
「一步的骨架:前向一个大块,反向一个大块,反向差不多是前向的三倍。这两个大块叫 scan:MaxText 把七十九个结构一样的 MoE 层叠成一个循环来编译,trace 上一圈就是一层,转七十八圈,剩下那一层被编译器剥到了循环外面。」
「两份并排,骨架一样:前向两千七百零四毫秒变一千九百九十八,反向八千三百一十三变五千一百六十八,两段都短了,反向短了三秒多。两个循环之外还有七百多毫秒,0 号层、输出头、优化器,两份几乎一样:变的全在循环里。可一步一万多毫秒挤在一屏里,名字全挤没了,看不出是谁短了。」
🖥 屏幕:切到 2.3 认行 那张表,只指 XLA Ops 和 Sparse Core Ops 两行;再切到表下面那张 一颗芯片在 Trace Viewer 里,只指左半边:标「实测」的两行、标「标签」的几行。右半边留到 2.5。录屏停 8 是同一件事在真页面上:两个绿色实线框是实测,三个灰色虚线框是标签。
「放大之前先认行。这么多行,真正记录『做了什么』的只有两行:主核的 XLA Ops,小核的 Sparse Core Ops,一个色块就是一条指令执行一次。其余的行,Steps 是第几步,XLA Modules 是哪个程序,都是帮你认东西的标签。时长只从这两行读。」
🖥 屏幕:切到 图 2.3C,从 ① 往下指到 ⑤,再指 ⑦。
「放大以后一列能叠十几层色块,先学会竖着读一列。上下叠就是包含:最上面是前向那个大循环,两千七百毫秒,它装着下面那颗三点四毫秒的专家矩阵乘。时长只数最底下那块,叫叶子,上面的容器已经把它算进去了。再往下几行不是又叠了几层,是这片叶子的标签:名字路径、操作名、哪一行 Python。左边邻居的路径里多一段 sort_activations,一看就知道是 MoE 按专家给 token 排队那一步。」
💬 互动:问台下:照第一节那张表,放大到一层以后先盯什么?等「盯专家矩阵乘」和「看小核那行通信还在不在」两个答案都出来再往下。
🖥 屏幕:切到 图 2.4A,指 ① 三颗 gmm、② 小核三条 all-gather。
「放大到一层,几十毫秒一屏。从一步按 W 要放大三百多倍,会漂;链接里写好这一层的起止时刻直接开过去最稳,录屏停 9 就是这么开的。两份取同一层,四十号层,窗宽一样,左端各自对齐这一层的起点。原配方前向:① 主核上三颗专家矩阵乘,trace 上叫 gmm,各三点几毫秒;② 小核上三条 all-gather。」
「all-gather 在这里干的事:每个 device 只存一百九十二个专家的六十四分之一,用到时从六十四个 device 收齐。它的形状首维写着一百九十二,就是一整套专家。」
🖥 屏幕:切到 图 2.4B,指同样的 ① 和 ② 虚线框。
「再看改后同一层:① 三颗 gmm 每颗只剩零点零四毫秒;② 小核那一段空了。虚线框的意思是:原配方这里有,这里没有。一层的专家矩阵乘,从十点一毫秒变成零点一。」
「那一段也不是全空:还剩几条很小的 all-gather,没有一条是一百九十二个专家的;还有按专家搬 token 的 gather_offload,两份都有。少掉的,恰好就是收专家权重那一类。」
💬 互动:问台下:前向用权重之前要先收齐;那反向算完专家权重的梯度之后,按 FSDP 的规矩,还该有一种什么通信?等有人说出「梯度要求和、再分回每个 device」再切下一张图。
🖥 屏幕:切到 图 2.5A,指 ③ 三条 reduce-scatter;再切图 2.5B,指 ② ③ 两个虚线框。
「反向更明显。原配方小核上多了 ③,三条 reduce-scatter,每条十毫秒左右。reduce-scatter 是 all-gather 的反方向:算完的梯度先在六十四个 device 之间求和,每个 device 只留自己那份;形状首维写着三,每个 device 三个专家,一百九十二除以六十四。」
「改后,② ③ 都是空的;九颗专家矩阵乘从三十五点七毫秒掉到零点五。回到第一节那张表:同样那些算子都在、只是变短?不是。小核上两类通信整块不见了,专家矩阵乘短到七十五到九十三分之一。活少了一大块。」
🖥 屏幕:切到 40 号层通信按先后排的那张图,先指两个虚线格 ④ ⑤,再从左往右扫一遍其余格子,最后指反向 A 行最右边的 ⑦ 和 B 行里的 ⑦。
「截图只框了最长的几条,那别的通信呢?把这一层小核上的集合通信一条不漏排出来:注意力、路由器、共享专家的权重,两份都收,条数基本一样,改后反向还多收一次路由器;虚线格就两类,④ 收专家权重、⑤ 散专家梯度。两份程序里一条 all-to-all 都没有,token 根本不出 device。」
「再看 ⑦:专家梯度在 data 轴两份之间求和,两份都有;原配方在它前面还有 ⑤,先在六十四份之间求和,改后没有。改后的专家梯度只在两份之间求了和?先记下这个疑点。」
🖥 屏幕:切到 图 2.4C,先指 ①,再指下半张放大窗里 ② 那片细条,最后指 ③。
「回头看一眼:一层里五百多个叶子,我们为什么只盯了这几样?先按名字分个类:十三块大计算占了这一层的六成八;五百多个不到零点一毫秒的细条,加起来还不到百分之三。主核上等通信、等小核搬完的记号叫 done,这一层二十七个,只有四个有宽度,其余的数据早到了。所以放大到一层只盯两样:最宽的计算,和有宽度的 done。」
「少的正是两件事:把一百九十二个专家收齐,和把专家梯度散回去。」
🖥 屏幕:切到 2.5 小节那张 done 截图,先指 ① ② 右沿那根竖虚线,再指下面两段括号。
「马上冒出一个问题:原配方这些通信,本来占了主核多少时间?通信在小核上跑,主核发完令接着算,主核那一行只留两个记号:start 是发令,done 是要用这份数据的地方。数据到了,done 没有宽度;没到,主核就停在 done 上等,done 有多宽,就白等了多久。」
「打个比方:主核是主厨,小核是去库房搬食材的帮厨。start 是主厨喊一声『去拿』,喊完接着炒菜;done 是主厨伸手去接。食材早到了,伸手就有;还没到,主厨只能站着干等。」
🖥 屏幕:切到 2.5 动画,取消连续播放,停 1–5 各停一下。
「把这一条从发令放一遍。它在主核上记作 548,小核上真正搬的那条号小一,叫 547。停一,主核发令,接着往下算。停二,小核这一行还在按专家搬 token,547 晚了四毫秒多才开搬。停三,小核搬的同时主核在做量化,这一点二三毫秒藏住了。」
「停四,主核走到 done,547 还没搬完,只好停下白等一点一八毫秒;done 和 547 的右沿只差零点一微秒,搬完那一刻放行。停五,放行后马上算的那颗 gmm,吃的就是这份权重。」
🖥 屏幕:点开 2.5 下面「start/done 怎么读」折叠块,指「整步」那一条:两千六百多个 done,大部分宽不到一微秒。
「整步加起来,原配方主核停在通信 done 上只有一百六十一毫秒,改后四十二,省下一百一十九毫秒,远不到三点九秒。通信没了,本身省不下多少;省下的大头在别处。一层只是七十八圈里的一圈:整步少掉的三点九秒,是不是全落在这些没干的活上?」
- 被问「Overview 上的步时为什么比第零节大一点」:Overview 按主机记的步边界切、3 步平均(11,793.8/7,857.0),第零节是 TPU:0 上 jit_train_step 的中位步(11,758.2/7,842.1),差 0.2–0.3%,比值都是 1.50(图 2.1B 表 ①)。
- 被问「79 层为什么转 78 圈、前向第几圈对反向第几圈」:0 号 MoE 层被剥到循环外;前向第 k 圈 = k+1 号层,反向第 k 圈 = 78−k 号层,前向第 39 圈和反向第 38 圈都是 40 号层,从 HLO 里 while 的计数器核过(2.2 折叠块)。前后向之间那 8 个专家矩阵乘是 MTP 层,第四节 4.6 核过。
- 被问「每颗 gmm 只剩 1/93,为什么不是 1/64」:kernel 有固定开销,所以比例不等于专家数之比——这是推断,没单独量过。
- 被问「Details 里那几格都是什么」:切 2.3 的折叠块(图 2.3A 计算算子、图 2.3B 通信 done)。要点只一句:
model_flops/bytes_accessed按形状记,改后那颗 gmm.27 也是 2,886,218,022,912,实测的只有 Wall Duration。 - 被问「Find 搜出来 1,872 个,TPU:0 上有这么多吗」:Find 把关掉的进程也算进去了,1,872 = 78 圈 × 3 步 × 8 个 TensorCore;而且回车只高亮不跳,点 → 才跳,回车之后关掉的进程会全冒回来(基础操作录屏停 8、9)。
- 被问「done 的另一种估法」:小核通信没被主核计算盖住的部分,原配方 195.9 ms、改后 67.6 ms,量级一样(2.5 折叠块)。
- 被问「Overview 上小核忙不忙」:开源 2.23.1 左栏没有 SparseCore 的格子;数据接口里有 sc_* 几个字段(原配方步时 8,606.2、空闲 5,234.02 ms)。「计算」那一项是 16 颗小核里最闲那颗的(源码里取最小值),步时和空闲是平均,所以步时 − 空闲 ≠ 计算;原配方 16 颗忙闲很不均,只当旁证(2.1B 下面的折叠块)。
- 被问「叶子怎么分的类」:按名字和 HLO 类别分(gmm/tgmm/splash 和 convolution fusion 算大计算,名字带集合通信的算通信,copy、gather_offload、dynamic-slice 的 start/done 这类算搬数据,其余算小计算),口径在 2.4 那张计数表下面的折叠块。反向同一层 63 个 done 里 14 个有宽度。
- 被问「一层里那三个小 while 是什么」:按专家给 token 找位置的二分查找(op_name 带 searchsorted),每个转 9 圈;trace 上数子层第一块出现几次就是几圈(图 2.3D)。
- 色块颜色没有含义,同名同色而已;截图约定(实线=实测、虚线=这里没有、竖虚线=本层结束)在 2.0 下面那个框。
- 现场开 XProf:2.1「本机怎么开」,从 GitHub Release 下载 7 份 profile、zstd 解压、pip install xprof、目录结构、几行脚本打印带窗口的链接;从首页 Tools 点进去的 Trace Viewer 不认窗口参数。
第三节 对总账:少的是不是「没干的活」?(21′)计划 21′ · 含互动 18.7′
🖥 本节主屏:课件 第三节 对总账:少的是不是「没干的活」? · 主图 fig-t7-32
🎯 这一节只留一句:少掉的 3.9 秒九成是没算的专家矩阵乘:117.45% 是警报,单颗 kernel 报出 25 倍峰值才是证据。
🧭 开讲前先带到位:「我们现在在课件第三节「对总账:少的是不是「没干的活」?」,先到 3.1 Op Profile。」先切过去、让大家找到,再开讲。
「Trace Viewer 一次只看一小段时间。要看一整步的总数,换两张按总数统计的页。先看 Op Profile:它把主核上所有指令按类别归成几堆,每堆给两个数,占了多少时间,利用率多少。」
💬 互动:切图之前问台下:要是某一类的时间少了一半多,它的利用率会怎么变?押一个:降、不变、升。都押完了再切图。
🖥 屏幕:切到 图 3.1,指两份的 ② custom-call 那一行(名字和最左边的 TIME %);③ FLOPS 先别指,① 整体利用率也先跳过。
「custom-call 这一类,是 XLA(JAX 背后的编译器)不自己生成、直接调用的外部 kernel;这里就是用 Pallas(JAX 里手写 kernel 的工具)写的那些,注意力和专家矩阵乘都在里面。两份比:这一类每步从六千五百多毫秒掉到两千九百多,一类就少了三点六秒,别的类加起来变化不大。」
🖥 屏幕:这时再指两份的 ③。
「③ 利用率从百分之五十三,涨到一百一十七点四五。超过百分之百,意思是这一类每秒做的运算,比这页自己认定的峰值还多。先别下结论,展开看是谁拉上去的。」
🖥 屏幕:切到 图 3.2,先指右边 ①②③ 三处 FLOPS,再指左栏 ④⑤⑥。
「单击 custom-call 展开:占时间大头的是三个注意力 kernel,利用率三四十,和原配方几乎一样。离谱的是两行只占零点二时间的专家矩阵乘:gmm.27 一组百分之五千一百多,tgmm.8 一组两千七百多。一百一十七只是平均数:一大块老实的注意力,加一小块离谱的专家矩阵乘。」
「单击 gmm.27 读左栏:每次四十九微秒,每秒五十八点五 PFLOP,P 是千万亿。v7x 的 FP8 峰值每颗芯片四千六百一十四 TFLOP/s,每个主核两千三百零七。差了二十五倍。没有芯片做得到。」
「那这个数是怎么算出来的?利用率等于记账的运算量,除以实测时间。Pallas kernel 的运算量是作者在代码里自己报的,只按输入的形状算,不管实际算了几个专家。三份 FP8 记的一模一样,时间却缩了一半多。记账没少,活少了。」
「这里要小心一件事:光凭『超过百分之百』,还不能说不可能。这一页用的峰值,我们推断是 BF16 那一档,它又不给 Pallas kernel 按精度折算,一颗跑满的 FP8 kernel,理论上能显示到两百左右。所以一百一十七只是警报;单颗 kernel 那个二十五倍,才是证据。」
🖥 屏幕:切到 3.2 Roofline 录屏,停 2、停 3 各停一下。
「换 Roofline 页看同一颗,它把每颗算子画成第一节屋顶线图上的一个点。原配方的 gmm_megablox.16,一个点贴着屋顶线的平顶,峰值的百分之八十一点七,真在干活就该是这样。改后的 gmm.27,图里一个点都没有:它比这页的平顶高出五十七倍,画到图外去了。五十七倍和刚才的二十五倍不打架:这页的平顶每核一千零二十八点七五,比官方 FP8 每核两千三百零七低一半多,除数小,倍数就大。」
🖥 屏幕:切到 图 3.2B,指两份的 ⑦,再指 ② 那个点往上抬了一截。
「同一页的第一节把整个程序当成一个点:原配方峰值的百分之四十三,改后六十五,看上去整步真变快了一大截。可每步记的运算量两份差千分之一,时间少了三分之一,利用率当然涨一半。把专家矩阵乘这一族从分子分母里都拿掉,剩下的部分从二十九点九到三十一点四,几乎没动。整步平均也被同一笔账带上去了。」
🖥 屏幕:台下问「别的算子在 Roofline 上正常吗」时,点开 3.2 下面「Roofline 第 2 节怎么读」折叠块:切到 图 3.2C,指 ② 绿点、蓝点贴着平顶,再指 ③ 橙点那一片挨着斜线;再切到 图 3.2D 上半张,指 ④ done 那几行全是 0 FLOP、标 HBM。不问就跳过。
「第二节按算子画点:矩阵乘贴着平顶,逐元素的 loop fusion 贴着带宽那条斜线,都是正常的样子。done 这一类没有运算,点画不出来,表里标着 HBM 受限,那其实是主核在等小核,回 Trace Viewer 看。」
🖥 屏幕:切到 图 3.3,先指 4–10 名,再指前三名。
「那是不是根本没调?换 Op Stats,一张按算子排的大表。原配方前十名里七个是专家矩阵乘,改后一个不剩,4 到 10 名整段换了人,换上来的是 loop fusion(XLA 把一串逐元素运算融成的一个算子)和按专家搬 token 的 gather_offload。前三名都是注意力,两份每次的时间差不到千分之一:没动的东西一动不动,这次改动只碰到了专家矩阵乘。」
🖥 屏幕:切到 图 3.4,指 ② 次数、③ 每次的时间。
「名字过滤 gmm,两份并排:改后第一个专家矩阵乘排到了一百二十四。次数一样,一千八百七十二,七十八圈乘三步乘八个主核,每一圈都照常调了;每次的时间从五千六百九十二微秒掉到九十四点五。调了,几乎没干。」
🖥 屏幕:切到 图 3.5,先指原配方的 ①、②,再指改后的 ③。
「Op Stats 页底下还有一张小核的表,记的是小核上每条指令。过滤 reduce-scatter:原配方六条专家梯度的 reduce-scatter,循环里三条、每步各跑七十八次,循环外三条、每步一次,每次都是九到十一毫秒,加起来每步两千三百五十多毫秒;改后两张表一条都没有。主核上对应的 done 每次只有零点零二毫秒:这些通信本来就藏在计算底下,没了它们,主核几乎省不下时间。」
🖥 屏幕:切到 3.4 两头对账 那张表,指「一步」「其中专家矩阵乘」「停在 done 上等」三行的「少了」那一列。
「两头对账。一头是时间:一步少了三千九百一十六毫秒,专家矩阵乘少了三千五百七十,占九成;主核少等的约四百八十五毫秒,其中集合通信只占一百一十九。」
「另一头是活:一百九十二个专家分在六十四个 device 上,每个 device 三个。要是每个 device 只算了自己那三个,没干的就是一百八十九份。原配方算全部花三千六百六十九毫秒,按专家数成比例,没干的那部分值三千六百一十一,实际少了三千五百七十,差百分之一。两头对上了。」
「还有一行反着走:loop fusion 改后反而多花了两百多毫秒。活少了,怎么还有东西变多?先记下这个疑点,往下挖的时候会碰到它。」
🖥 屏幕:切到 图 3.6(3.5 插曲,375 秒那一份),先指上半张 ② ③,再指下半张 ⑤ 那一列。
「插一个反面的病例。另一份 profile 一步三百七十五秒,慢了三十一点九倍;同一张页第一行就点了名:custom-call 占百分之九十八点五的时间,利用率不到百分之一。下半张 Op Stats 前十全是专家矩阵乘,每次零点三七到零点四二秒。它是原配方没注入 tile 的那一次:tile 是 kernel 每次搬进片上内存、一起算的那块矩阵,这次全退回默认的 128×128×128,块太小,每颗慢了一百零九倍。」
💬 互动:问台下:同一张页,一个利用率一百一十七,一个不到一,各该去查什么?等到「一个查谁没干活,一个查 kernel 配置」再往下。
「读法是同一个:一类的时间占比和它的利用率放在一起看,再展开到具体的 kernel。」
🖥 屏幕:往下指 3.5 那个「从一类走到一颗 kernel」框,不念,留给大家回去照着走。
「时间的账对上了,还有一本账:显存。原配方要把一百九十二个专家收齐才能算,反向算完的梯度也是一百九十二个专家一整份,散回去之前得有地方放,这样一块就是两千三百 MiB。改后要是真的没收没散,这些块都该不见,峰值该降下来好几 GiB。」
💬 互动:问台下:你猜改后显存峰值会少多少?押一个:好几 GiB、几百 MiB、差不多一样。押完再放录屏。
🖥 屏幕:切到 3.6 显存录屏,取消连续播放,放停 1、2、3;能现场开 XProf 就照停点真点一遍。
「看显存有两页。Memory Profile 是运行时的账,横轴是时间。停一:九十四点七四 GiB 的 device 用到九十三点三,只剩一点五;可峰值时刻落在一点四毫秒,训练步还没开始。停二:Memory ID 换成一,换一个 device,峰值时刻到了第二步里。停三:峰值时刻填进 HLO's at time,这一刻在跑的只有训练步。原配方九十三点二,改后同一页九十一点六:只少了一点七 GiB。」
💬 互动:问台下:峰值那一刻到底是谁占着,这一页回答得了吗?等有人说「回答不了,线是平的」或「要换一页」再往下。
「三条线从头平到尾:程序一开跑就把工作区整块划好,里面的涨落分配器看不见。所以要换一页。」
🖥 屏幕:放停 4、5,再切到 3.6 里 Memory Viewer 三份并排那张图,从上往下指三组 ① ② ③,再指 A、B 两条曲线上绿带的位置。
「Memory Viewer 是编译器给一个程序排的账,横轴是第几条指令。停四:默认开的是个零碎小程序。停五:换成训练步 jit_train_step;页头的模块名这一版不刷新,以左栏为准。页头三个数:峰值;入口参数,就是开跑时传进来的参数、优化器状态;还有峰值那一刻的临时变量。」
「两份 FP8 的入口参数一模一样,四万四千五百多 MiB;BF16 差不多正好一半,因为它把参数切成一百二十八份,FP8 只切六十四份、每份放两个 device。峰值两份只差一百六十九 MiB。估的是好几 GiB,怎么只少这么一点?绿带的位置也不一样:原配方在后面,改后挪到了前面。去看峰值那一刻是谁。」
🖥 屏幕:放停 6–10,再切到 3.6 里 by Buffer Size 那张图,先指 A 的 ① ②,最后停在 ③。
「往下滚,峰值那一刻活着的每块 buffer 一根条,按大小排,鼠标停上去左栏出名字。停六、七:最宽的六根是三份专家权重,和 Adam 给它们记的二阶矩 nu;形状里那个三,就是每个 device 手里的三个专家。」
「停八:宽度减半的是一阶矩 mu,存成 bf16。Adam 给每个参数记这两个滑动平均,参数加两样状态,一共是参数本身的两倍半,正好凑成页头的入口参数。停九:有些块左栏根本没有 Framework Op,那是编译器自己插的,改代码改不掉。」
「停十,原配方最该看的 ③:五块两千三百 MiB 的梯度,形状一百九十二乘四零九六乘一五三六。三块是反向循环里这一层刚算完、还没散回三个的;另两块属于 MTP 层,就是主干后面多接的一层、用来多预测一个词,在循环外面,它的专家梯度在全部 device 上求和。峰值就落在它们活着的时候。」
🖥 屏幕:放停 11,切到 by Buffer Size 那张图的 B,先指 ④,再指 ⑦。停 12(BF16)先跳过,第五节再回来。
「停十一,改后同一页:循环里那三块一百九十二个专家的梯度,一块都找不到;最宽的三根换成了输出头的 logits,就是给每个位置、词表里每个词打的分,一块六千六百 MiB。⑦ 那三块也是一百九十二打头,可它们是 MTP 层收齐的权重,两份都有,不是循环里的梯度。省下的确实没了,可峰值只看最高的那一刻:最高点换了人,所以只少一百六十九。」
🖥 屏幕:往下指 3.6 那个「从峰值走到代码:四步」框,不念,和 3.5 那个框一样留给大家回去照着走。
「时间账、显存账说的是同一件事:循环里没收、没散。可 profile 只记录发生了的事。每个 device 是不是真的只拿到三个专家,又是为什么,得去看程序本身。」
- 被问「FP8 不是比 BF16 快一倍吗,超过 100% 不正常吗」:这页的峰值按 BF16 档 [推断:同一页把 XLA 的 FP8 矩阵乘按一半折算](每核 1,137.15 = 1,028.75 × Time Scale Multiplier 1.10537),对 Pallas kernel 不按精度折算,满速的 FP8 Pallas kernel 理论上能显示到约 200%。所以 117% 只是警报,证据是单颗 58.53 PFLOP/s 连 FP8 峰值都超了 25 倍(3.2 折叠块)。
- 被问「自报的运算量具体是多少」:gmm.27 每次 2,886,218,022,912 FLOP = 2 × 229,376 × 4,096 × 1,536;229,376 = 7 × 4,096 个 token × 每个选 8 个专家(3.2 正文)。
- 被问「WASTED 怎么是 0.0%」:WASTED = 时间占比 × (1 − max(FLOPS 利用率, HBM 利用率)),利用率过 100% 括号成负数,页面记 0——一颗没干活的 kernel 被判成「一点没浪费」。
- 被问「改后还有没缩水的 gmm 吗」:每步只跑一次的那几颗(在 78 圈循环外面)还是 4.2–5.0 ms,是 MTP 那一层,它的权重另走一条路收齐了(3.3、4.6)。
- 被问「loop fusion 改后为什么多了 276 ms」:改后那条代码路径给没算的行补 0,第四节 4.6 在 HLO 里找到了:两类新 fusion 合计约 321 ms,其中约 136 ms 是原来就有的一次相加换了类别,补 0 本身约 185 ms;别的 loop fusion 合计少了约 45 ms,所以这一类净多 276。
- 被问「主核少等的是多少」:表里停在 done 上等的一类少了约 485 ms;其中集合通信的 done 少 119 ms(2.5),其余是 gather_offload 等别的异步搬运,没细拆。
- 被问「375 秒那次为什么没注入、调优记录为什么没写」:启动脚本和日志没找到,没查到;调优记录 §3.4.1 记过同一机制「不设 tile 慢 12.4 倍」,那组是别的规模。
- 被问「Op Stats 读哪一列时间」:读 self time,扣掉嵌套在里面的子指令后自己花的时间;while 那种大块把整圈包在里面,读 Total time 会重复算(3.3 折叠块)。
- 被问「Op Stats 的次数怎么换成每步」:主核表是这台主机 8 个 TensorCore × 3 步的合计,次数 ÷ 24;小核表只记了一颗小核。两张表别混加,时间是重叠的。
- 被问「Memory Profile 和 Memory Viewer 的峰值为什么差 3.6 GiB」:运行时峰值 = 整块 Stack + Heap,跟程序跑到哪无关;Memory Viewer = 入口参数 + 峰值那一刻的临时变量。差的就是 Stack 比峰值时临时变量多的那截加上 Heap 比入口参数多的 0.36 GiB(3.6 折叠块)。会不会 OOM 以运行时为准。
- 被问「Heap 里那块为什么叫 unused preallocated」:分配器把抓 profile 之前就分好的整块这么记;大小和入口参数(参数+优化器状态)只差 0.36 GiB,[推断] 里面就是它们。
- 被问「入口参数拆出来是什么」:f32 参数 17,813 + Adam nu 17,813(f32)+ mu 8,906.5(bf16)MiB;f32 参数 × 64 份 ÷ 4 字节 ≈ 2,988.5 亿个;混元3 的模型卡写主体 2,950 亿 + MTP 层 38 亿 = 2,988 亿,对上(3.6 折叠块)。
- 被问「改后 [192,…] 的块真的一块都没有吗」:峰值那一刻的列表里,循环里 tgmm 出来的 [192,…] 梯度没有;MTP 层专家梯度的 all-reduce 改后还在(all-reduce.364/366/368),只是这一刻不在峰值里;列表里剩的 3 块 [192,…] bf16 是 MTP 层编译器插的权重收齐(op_name convert_element_type)。
- 被问「Roofline 第 2 节截掉了多少」:只画最费时的前 1000 个算子;这一份 3,897 个算子,截掉的只占 0.21% 的时间,custom-call 占比 55.5% 对 Op Stats 的 55.4%;开源 2.23.1 这页没有饼图(3.2 折叠块)。
- 被问「注意力 kernel 报没报字节、Bound by 能不能信」:18 条 cost_estimate 都报了字节,没有「HBM BW 是 0、Bound by 作废」的行;splash 两颗的 HBM BW 70.20/56.99 GiB/s(图 3.2D)。
- 被问「Utilization Viewer 能不能看 MXU 真在跑 FP8」:开源 2.23.1 这一页对任何 profile 都是 No Data,是这一版的路由问题(日志 No ProfileProcessor registered for tool: utilization_viewer),2.23.2 已修,7 份 profile 里硬件计数器是有的;本课截图用 2.23.1,改看 Details 里 kernel 操作数的类型和单颗 kernel 的速度。
- 被问「Roofline 页的 5,674.9% 和 Op Profile 的 5,147.80% 为什么不一样」:Roofline 页直接 ÷ 1,028.75,Op Profile 还乘了 Time Scale Multiplier(约 1.105),差约 1.1 倍(3.2 折叠块)。
- 录屏:3.0
xrec-opprof七停把 3.1–3.3 在真页面上走了一遍;现场没法开 XProf 时放它代替。
第四节 下到 HLO 和代码:为什么没干?(14′)计划 14′ · 含互动 12.5′
🖥 本节主屏:课件 第四节 下到 HLO 和代码:为什么没干? · 主图 anim-experts
🎯 这一节只留一句:原配方有 12 条收专家的 all-gather、6 条散梯度的 reduce-scatter,改后一条没有;收和散只写在 tokamax 那一支;切小的专家维仍是合法输入,所以一声不吭。
🧭 开讲前先带到位:「我们现在在课件第四节「下到 HLO 和代码:为什么没干?」,先到 4.1。」先切过去、让大家找到,再开讲。
「没发生的事,profile 上不会留下任何痕迹。要知道本来该有什么,得看编译器最后交给芯片的那份程序,叫 HLO。你写的是一个 train_step 函数,XLA 把它按六十四个 device 切开、把一串逐元素运算融成一个 fusion、在需要的地方插上集合通信、排好顺序,得到的就是最终 HLO。」
🖥 屏幕:切到 4.1 HLO 那两行代码。
「HLO 一行一条指令,每个值都带形状:名字、等号、类型和形状、操作码、括号里的操作数。第二行就是 gmm.27:输出二十二万九千多行乘一千五百三十六列,操作码 custom-call,调用一个外部 kernel。trace 上每个色块的名字,就是这里一条指令的名字。trace 说它什么时候跑、跑多久;HLO 说它吃什么、吐什么,以及程序里一共有哪些指令。」
「HLO 去哪拿?三个地方:XProf 的 Graph Viewer 和 Op Stats 页上能看一条;profile 文件里存着整份,取出来能数;还可以让 XLA 编译时直接写出来,要重新编译一次。要数条数,用第二条路。」
💬 互动:问台下:要证实『改后没收专家』,在 HLO 里该数什么?等到有人说出「数 all-gather 的条数,而且要看形状」再往下。
🖥 屏幕:切到 4.2 那张条数表,先指第一行总条数,再指两行红色。
「先数总条数:all-gather 九十二条变八十二,reduce-scatter 六条变零。这只能说少了点什么。按形状数才清楚:原配方有十二条 all-gather,把专家权重从本 device 的三个收成一百九十二个;六条 reduce-scatter,把专家梯度从一百九十二个散回三个。改后,这十八条一条都没有。」
💬 互动:问台下:每个 device 手里三个,收完是一百九十二个,这条 all-gather 是跟几个 device 一起收的?等有人算出「六十四」再切到摘录。
🖥 屏幕:往下到 4.2 的 HLO 摘录,指第一行 async-start 的输入 [1,3,…] 和输出 [1,192,…],再指 'fsdp'=64,最后指改后那段的 [3,4096,1536]。
「答案就写在第一行里:输入是本 device 的一乘三乘四零九六乘一五三六,输出是一乘一百九十二乘……里面真正干活的 all-gather 按 fsdp 六十四个 device 分组,沿第一维拼,三乘六十四,一百九十二。改后,gmm.27 的权重直接来自一个只做量化的 fusion,形状是三,中间什么也没收。」
🖥 屏幕:切到 4.2 那张 FP8 量化在哪一步的图,先指上面一行 ① 到 ④,再指分叉后的两个 ⑤,最后指右边两根条。
「第一节说原配方先量化再收。那改后是不是把量化挪了地方?顺着两份的量化 fusion 往上追:f32 主权重,进循环前转 bf16,每层取一层,乘二、截到正负四百四十八、转 FP8。这四步两份一字不差。分叉在量化之后:原配方收齐六十四份,收的是 FP8,一千一百五十二兆;要是先收 bf16 就得两千三百零四兆。改后不收,kernel 拿的就是本 device 那十八兆。」
🖥 屏幕:切到 4.3 录屏,取消连续播放:停 1、停 2 各停一下,停 3–8 点过去不讲,停 9、停 10、停 11 再停;最后切到图 4.2,指两边的 ⑥。
「在页面上也能顺着追。Trace Viewer 单击原配方的 gmm_megablox.16,Details 第一行是 Graph Viewer 的链接:以它为中心,画出谁喂给它、它喂给谁。停二,下面就是它那一行 HLO:权重是一百九十二个专家,还有一个 s32 一百九十三,先记着它。」
「沿七号操作数往上:bitcast、done、start,再进去就是那条 all-gather,本 device 的三个、六十四个 device、收成一百九十二。改后以 gmm.27 为中心,七号操作数直接是量化 fusion,三个专家。」
「再看刚才记着的 ⑥:s32 一百九十三,是一百九十二组 token 的分组偏移,两边一样。token 照样按一百九十二个专家分好组送了进来,改后手里却只有三个专家的权重。」
💬 互动:问台下:kernel 拿三个专家的权重去乘一百九十二组 token,会发生什么——报错,还是算出点什么?先让大家押一把,不揭晓,直接放动画。
🖥 屏幕:切到 4.4 动画,取消连续播放,边放边按停 1–7 指,不用先放完一圈;停 5 那里回答刚才的押注。
「动画里画的是 device 零。原配方:先从别的六十三个 device 收齐一百九十二个专家,一百九十二组全算,算完梯度再散回去,每个 device 留三个。改后:手里只有三个,就只算了三组,其余一百八十九组的行写零。没报错。」
🖥 屏幕:切到 4.4 那张专家怎么切到 device 上的图,左右两列同号对着指:①、② 的蓝格、④ 的虚线、⑤。
「这张图把动画摊开:一百九十二个专家按顺序切六十四份,每个 device 三个。原配方收齐、全算、六十四份求和散回三个,最后 data 轴两份再加一次。改后只有三个、只算三组、直接出三个梯度,④ 整个没有。」
「第二节通信图记下的疑点就在这儿:那张图的 ⑤ 是这里的 ④,⑦ 是这里的 ⑤。改后只剩两份之间那一次求和,梯度本来就只有三个,没东西要散。」
「动画最后一停的数要记住:活少了一百八十九份,专家矩阵乘每步从三千六百六十九毫秒掉到九十八。第三节对的账,在这里有了画面。」
🖥 屏幕:切到 4.5 回到代码 那张 op_name 表,再往下指代码里的 ① ④ 和 ③ ⑤。
「是哪一段代码?每条 HLO 指令都带一个 op_name,是 JAX 追踪你的程序时记下的名字路径。收权重那条 all-gather 末尾是 shard_map/all_gather,代码里亲手写的;原配方的 gmm 带着 tokamax,改后的 gmm.27 带着 jit(gmm)/pallas_call,是另一支。第零节那十三行里,正好就改了 use_tokamax_gmm。」
「翻开公开 MaxText 的 ops.py:前向收权重的 all_gather,① ;反向散梯度的 psum_scatter(代码里的 reduce-scatter),④;都只写在 tokamax 那一支。改后走的另一支直接调 kernel,两样都没有。前向漏收、反向漏散,正好对上小核那一行 all-gather 和 reduce-scatter 一起不见。」
「那个『沿 fsdp 轴去收』的参数,两支其实都收到了:专家维按 FSDP 切、权重校准方法以 fixed 开头时,MoE 层就会把它传下来。可走另一支的时候,没有人用它。参数传到了,执行的代码不在这一支里。」
🖥 屏幕:往下指 backend.py 那段代码:num_current_groups、num_total_groups、L555 那行。
「动画里那句『其余写零』,就是这几行。backend.gmm 本来就支持『这个 device 只负责其中几组专家』。它看到权重只有三组、分组表有一百九十二组,就只给三组建表、只算这三组的行,其余补零。形状处处合法,哪儿都不会报错。把一个维度切小以后,下游还能把小的当成合法输入用,错误就不会报出来。能报警的,只剩『快得不像真的』。」
🖥 屏幕:切到 4.6 回头看第三节的两个疑点 那张两行表。
「第三节留了个疑点:loop fusion 改后多了两百七十六毫秒。在 HLO 里一找,改后每层多出两个融合算子,名字里带着 jit(gmm) 里的 where,就是刚才那个『其余补零』,每层把二十二万多行里一百八十九份的行写成零。这两个新算子合计约三百二十一毫秒,其中约一百三十六是原来就有的一次相加被融进来、换了类别,剩下约一百八十五毫秒才是补零;别的 loop fusion 合计少了约四十五,所以这一类净多两百七十六。活没干,补零的活倒多出来了。」
「另一个疑点:循环外那几颗专家矩阵乘为什么没缩水?它们是 MTP 那一层,权重由编译器自己收齐了一百九十二个,不走那两行收和散,所以没漏,两份一样慢。」
🖥 屏幕:停在 4.7 补上之后 那句 ⭐。
「补上以后:把收和散挪到那个 if 外面,两支共用,一步十二点五零一秒,比原配方的十一点七六一还慢百分之六。这个数来自调优记录,那次没留 profile。快了百分之五十,全部来自漏算。那一个真变快的改动,在同样这几页上,又长什么样?」
- 被问「为什么是 92 → 82,不是 92 → 80」:改后还剩路由器那张 [4096,192] 小权重的收集,以及 MTP 层三份专家矩阵的 bf16 收集(编译器按切分自己插的:op_name 是 convert_element_type,HLO 里带 is_spmd_generated);原配方循环外那层的 3 份权重和别的权重合在一条里收,所以按形状 12 条、按指令 10 条(4.2 折叠块)。
- 被问「从哪拿 HLO」:Graph Viewer/Op Stats 的 HLO op text;profile 里的 HloProto(
<模块>.hlo_proto.pb);或者XLA_FLAGS=--xla_dump_to重新编译(4.1 表)。读不动先降噪(4.1 折叠块)。 - 被问「is_spmd_generated 是什么」:编译器按权重切法自己插的通信才带它;原配方 573 没有,是代码里亲手写的;BF16 的 580 有(4.1「一行 HLO 逐个符号怎么读」折叠块、第五节)。
- 被问「开源 Graph Viewer 从链接打开报找不到」:开源 2.23.1 不认链接里的模块名,下拉框停在 jit_add,手动选一次 jit_train_step(录屏停 3–4)。Check HLO Full Text 本机没显示全文,没再追。
- 被问「别的 device 算的是哪 3 组」:读代码推断:group_offset 没开 ring-of-experts 时每个 device 都是 0,所以每个 device 都算第 0–2 组的 token;device 0 正好对,device r 拿第 3r 号起的专家乘第 0–2 组的 token——[推断:读代码,未验证],照这句答,别说成测过的。
- 被问「代码是哪一版」:混元3 调优记录写明的 yangwhale/maxtext hunyuan3 分支 @1afaa0fb;ops.py、backend.py 和上游 AI-Hypercomputer/maxtext @188af874 一字不差,行号相同;xplane 里的 Python 调用栈行号对得上。
- 被问「循环外那 9 颗没缩水的」:MTP 层,op_name 不带 while/body,调用栈经过 multi_token_prediction.py,权重由编译器按 bf16 收齐,两份一样慢(4.6)。
- 12.501 s 是文档数,没有 profile,本课复算不了;被追问就这么说。
第五节 对照:真变快长什么样?(9′)计划 9′ · 含互动 9.4′
🖥 本节主屏:课件 第五节 对照:真变快长什么样? · 主图 fig-t7-53b
🎯 这一节只留一句:真快:活的条数和形状不变,同样的 kernel 每颗短一截,利用率在 100% 以下。
🧭 开讲前先带到位:「我们现在在课件第五节「对照:真变快长什么样?」,先到 5.1。」先切过去、让大家找到,再开讲。
「第四节把 FP8 那三点九秒查清了:是漏算。反过来想,一个真变快的改动,在同样这几页上长什么样?不用另找例子:同一个改动,同样从 tokamax 换到 native 那一支、同一组十二个 tile 值,在 BF16 的配方上也做过一次。」
💬 互动:问台下:照 1.4 那张「如果是真快/如果有问题」的两列表,你猜 BF16 这一次会落在哪一列?举手押一个,再往下。
🖥 屏幕:切到 5.1 那张表,先只看右边 BF16 一列的「一步」那一行。
「实测一步从两万一千七百四十七毫秒到两万零六百九十四,快了一千零五十三毫秒,百分之四点八。先估一下合不合理:BF16 一步里专家矩阵乘大约占三成八,表里它快了一成三,三成八乘一成三,折到一步正好百分之五上下。账是平的,这是第一个信号。」
🖥 屏幕:顺着右边一列往下扫;再扫左边 FP8 一列,从「小核上 all-gather」那一行往下。
「右边这一列往下看,真在动的只有两行:步时,和专家矩阵乘,八千一百八十四毫秒到七千一百一十六,少了百分之十三。通信的毫秒数、HLO 里的条数、kernel 拿到的权重形状,改前改后都一样。再看左边 FP8,从小核通信那一行往下,每一行都在报警。BF16 落在「真快」那一列。」
🖥 屏幕:切到 图 5.1A 和 图 5.1B,先指小核上 ② 收专家、③ 散梯度两个实线框,再回指一眼 第二节图 2.5B 同一位置的虚线框,最后指主核 ① 九颗专家矩阵乘。
「反向四十号层并排。先看小核:② 收专家、③ 散梯度,两边都是实线框,宽度几乎一样,all-gather 每条四点九毫秒上下。第二节图 2.5B 里,FP8 改后同一个位置是空的虚线框。再看主核:① 九颗专家矩阵乘一颗不少,每颗还是六到十毫秒,合起来七十九点一变六十六点九。活一样多,干得快了。」
「反向这一层少十二点二毫秒,前向同一层三颗专家矩阵乘再少一点零七,一层合计十三点三。乘七十八层,大约一千零三十七毫秒,和一步少的一千零五十三只差十几毫秒。少的时间,就是这样一层一层摊出来的。」
🖥 屏幕:切到 5.3 那张对账表,指三行「差」,再指最后一行 Model GFLOP/s。
「整步的账也对得上:一步少一千零五十三,custom-call 这一类少一千零五十四,其中专家矩阵乘少一千零六十八。颗数也几乎一样,九百五十七对九百五十六。」
「再看速度合不合理。同一颗专家矩阵乘,改后每秒五十一万多 GFLOP,也就是零点五一 PFLOP,在 BF16 每核峰值的四成多。FP8 改后那颗 gmm.27 呢?每秒五十八点五 PFLOP,连 FP8 的峰值都超了二十五倍。真快的 kernel,速度永远在物理上限以内。」
「没动的东西也该一动不动:Op Stats 前三名都是注意力,每次耗时两份差不到千分之一。改动只碰到了专家矩阵乘。」
🖥 屏幕:切到 3.6 的显存录屏,放第三节跳过的停 12(bf16old 的 Memory Viewer),先指 ③ 最宽三根 logits,再指 ② 悬停的那根参数。
「第三节跳过的停十二,现在放。这是 BF16 原配方的 Memory Viewer:最宽三根也是输出头的 logits,一块一万一千三百多 MiB。两份 BF16 的峰值只差两 MiB,峰值那一刻最大的几块一模一样。同样的活,就要同样的地方放。」
「可停十二里悬停的那根参数,形状有点怪:f32 的一百九十二乘七十九乘一五三六乘三十二。一百九十二个专家全在,每个只有三十二行。FP8 那边,每个 device 拿的是三个完整的专家。同一个模型,怎么切出两种样子?」
🖥 屏幕:切到 5.4 BF16 为什么没踩坑 那张三条件表,指第 ① 和第 ③ 条 BF16 那一格。
「调优记录把 FP8 那次漏算的触发条件写成三条,要同时成立。BF16 第 ① 条不成立:它没开按专家维切,也不量化。第 ③ 条也不成立:它切一百二十八份,一百九十二除以一百二十八除不尽。所以 BF16 的专家权重是按四零九六那一维切的,每个 device 一百九十二个专家、每个三十二行,就是停十二里那个形状。」
🖥 屏幕:往下指 5.4 的 HLO 摘录:[1,192,32,1536] → [1,192,4096,1536]、dimensions={2}、is_spmd_generated。
「kernel 要的是完整的权重,谁来收齐?HLO 里有一条 all-gather:输入一乘一百九十二乘三十二乘一五三六,输出一乘一百九十二乘四零九六乘一五三六,沿四零九六那一维拼一百二十八份,三十二乘一百二十八正好四零九六。它带着 is_spmd_generated,是编译器按切法自己插的,代码里搜不到这一句。」
「所以不管走哪条分支,kernel 拿到的都是一百九十二个专家。专家维没被切小,就不存在『三个专家也是合法输入』这个坑;收齐不靠代码那两行,也就不会被那两行漏掉。」
💬 互动:问台下:两个例子都在手上了。如果只给你看一页,旁边没有改前那份可比,哪一页能直接认出漏算?等到有人说「Op Profile 的利用率」或「单颗 kernel 的速度,超了物理上限」再收:别的页都要两份并排才看得出差别,只有超峰值不用对照,一个数就是错的。
🖥 屏幕:切到 5.5 并排 那张五行表,只指「Op Profile/Op Stats」和「显存」两行。
「这张表挑两行看。总账那一行:真快利用率四十九点六;漏算一百一十七,单颗超峰值,这就是不用对照的那一行。显存那一行最容易看走眼:两边峰值都只差一点,可漏算那边峰值那一刻的东西换了人,循环里那三块一百九十二个专家的梯度不见了。只看峰值那个数,会以为什么都没变。」
「其余几行是同一个规律:真快,是同样的东西变窄;漏算,是某样东西整块不见,或者超了物理上限。真快是同样的活干得快了,假快是活少了。下次再碰到一个好得不像真的数,按什么顺序去查?」
- 被问「三个触发条件是哪三个」:调优记录 TUNING-v7 §3.4.10:① shard_exp_on_fsdp=True 且权重校准以 fixed 开头;② use_tokamax_gmm=False;③ 专家数能被 FSDP 份数整除。BF16 ① 不成立(shard_exp_on_fsdp=False,也不量化),③ 不成立(ici_fsdp=-1 = 128 份,192 ÷ 128 除不尽——本课推导)(5.4 表)。
- 被问「BF16 HLO 里那条收集长什么样」:all-gather.580,
bf16[1,192,32,1536] → [1,192,4096,1536],沿第 2 维(从 0 数,就是 4096 那一维)拼 128 份,带 is_spmd_generated;gmm.24 拿到[192,4096,1536](5.4 摘录)。 - 被问「BF16 两份颗数怎么差一颗」:957 对 956,本课没追是哪一颗(5.3 表和正文)。
- 被问「新 kernel 为什么每颗快 10% 上下」:那是 kernel 和 tile 自己的事,本课不拆;profile 能告诉你的是活一样多、干得快了。
- 被问「BF16 改前改后前十名」:前十里专家矩阵乘两份个数一样,前三名注意力每次差不到 0.1%——没动的东西一动不动,也是旁证(5.3 表和正文)。
- BF16 的同层图和整步骨架在 5.2 折叠块,结论一样,台上不用翻。
- 被问「零点五一 PFLOP 的『四成多』怎么算」:Op Stats 同一颗 gmm.19 513,223 GFLOP/s ÷ Op Profile 每核峰值 1,137,150 ≈ 45%(原配方 475,232 ≈ 42%);Roofline 页按 1,028.75 算是 49.9%/46.2%。gmm.27 的「25 倍」是对官方 FP8 每核 2,307 TFLOP/s 比的(第三节)。
- 被问「一层 13.29 ms × 78 = 1,037,和 1,053 差的十几毫秒在哪」:专家矩阵乘全步少 1,067.6,循环里 78 层约 1,037,剩约 30 ms 在循环外那几颗(0 号层、MTP)[推断:没逐颗拆];其余算子合计反而多了约 14 ms(1,067.6 − 1,053.4)。这一层的 Ctrl 多选读数见练习 13。
第六节 收尾:下次怎么查?(7′)计划 7′ · 含互动 6.8′
🖥 本节主屏:课件 第六节 收尾:下次怎么查? · 主图 fig-t7-route
🎯 这一节只留一句:好得不像真的,先看 profile 再庆祝:五步,上一步确认了才进下一步,每一步都有一个读得出来的数。
🧭 开讲前先带到位:「我们现在在课件第六节「收尾:下次怎么查?」。」先切过去、让大家找到,再开讲。
🖥 屏幕:切到 图 · 定位顺序:先指最上面橙色的「起点」,再从左往右指五步,每步指一下最下面红色虚线框里本课看到的东西。
「回头看这一路。一个数好得不像真的,我们没有先怀疑,也没有先庆祝,而是先拿尺子估:一个 MoE 拿到了稠密模型的涨幅,不一定错,但值得打开看一眼。然后按一个固定的顺序,一页页往下走。」
「① Overview 定性:两份 Duty Cycle 都是百分之九十九点九,少的时间不是闲出来的。② Trace Viewer 定位:同一层并排,小核上收专家、散梯度的通信整块不见了。③ 两张总账对账:custom-call 利用率一百一十七,第一个专家矩阵乘从第四名掉到第一百二十四名。」
「④ HLO 定原因:收专家的 all-gather 十二条变零,kernel 拿到的权重从一百九十二个专家变成三个。⑤ 回到代码:收和散只写在 tokamax 那一支里。」
「这个顺序为什么管用?每一步只回答一个问题,答案就是红框里那一个读得出来的数。上一步确认了,才进下一步;跳过任何一步,后面的结论就没有地基。」
💬 互动:问台下:要是一开始就直接去读那十三行配置 diff,能看出问题吗?等到有人说「每一行看着都合理,看不出来」再往下。
🖥 屏幕:往下切到 6.1 的症状决策树:先指最上面一排五个黑底的入口,再指框的颜色和图例。
「换一份 profile,症状不一样,读法一样。先问自己手上是哪一类问题:步时变了不知道差在哪、某个数好得不像真的、改了一项不知道生没生效、显存紧、一个色块不知道是谁。从对应的入口进去往下走。框的颜色是最后停在哪一层:灰的 Overview、蓝的 Trace Viewer、绿的几张总账页、紫的 HLO、橙的代码。」
🖥 屏幕:还在决策树,指第二个入口往下那一列:④ → ⑧ → ⑪。
「拿本课走一遍:某个数好得不像真的,进第二个入口。④ 利用率离谱,展开到单颗 kernel,gmm.27 一组报出百分之五千一百多。往下一格,是上一格还没回答完:⑧ 离上限多远,Roofline 里它画到了图外。再往下是 ⑪,两页的数对不上。」
🖥 屏幕:往下切到 6.1「常见症状去哪看」 那张十二行的表,指 # 列的 4、8、11 三行。
「图上每个圆圈号,对应这张表同号的一行:去哪页、看什么、怎么确认、本课的例子在哪一节。表不用现在念,回去碰到症状,按号对着查。」
🖥 屏幕:往下切到 6.1 末尾那张原料图:先指上排四类原料,再指最下一排四次「两页数打架」,中间一排工具卡不念。
「⑪ 这一行,本课一路碰到过四次:一百一十七和 Wall Duration;Roofline 和 Op Profile 对同一颗 kernel 报的利用率差一成;两种显存峰值差三点六 GiB;点在拐点左边却标算力受限。每一次都不是哪一页算错了,是两页读了同一份文件里不同的原料:时长是跑的时候录的,FLOP、字节是编译时按形状记的。数打架,先问各读的是哪一类。」
🖥 屏幕:切到 6.2 庆祝之前,先查三样 那张三行表,先扫最左一列,再左右对比真快、漏算两列。
「所以数字漂亮的时候,庆祝之前先查三样,就是第五节那张并排表压出来的:尺子对不对得上;同样的活还在不在;有没有哪个数超出了物理上限。三样都过了,还有一件事 profile 管不了:损失曲线和改之前对不对得上,那要跑足够多步去比。」
🖥 屏幕:切到 6.3 自己抓一份、自己打开,指表里 profiler、skip_first_n_steps_for_profiler、profiler_steps 三行。
「本课这七份 profile 不用自己抓,直接从 GitHub Release 下载,打开的命令在 2.1 的折叠块「本机怎么开」。想抓自己的:MaxText 里把 profiler 设成 xplane,跳过前五步的编译和预热,抓三步;把产物里的 tensorboard 目录交给 xprof,本课每一屏都能在你自己的机器上开出来。」
🖥 屏幕:指课件页首的「✍️ 练习」按钮。
「练习页有二十四道题:前十二道跟着正文再走一遍,后十二道换一条通信、一份 profile、一颗 kernel 再走一遍,都只用开源 XProf 就能找到答案。」
「最后只留一句:好得不像真的,先估,再看 profile,然后再庆祝。」
- 被问「换一份 profile 怎么查」:6.1 的决策树从五个入口进,走到的号查下面「常见症状去哪看」表同号那一行(十二行),每行带本课的例子;事件名怎么读在 2.3 的折叠块。台上不念,只指给他。
- 被问「原料图中间那一排是什么」:九个工具页各读四类原料里的哪几类(卡片右上角的号);Utilization Viewer 在 7 份上都是 No Data,读哪类本课未核(6.1 原料图)。
- 被问「开源 XProf 有哪些坑」:本课碰到四处——Graph Viewer 从链接打开不认模块名、Overview 的 FLOPS/HBM Utilization 显示 0.0%、从首页点进的 Trace Viewer 不认窗口参数、Utilization Viewer 对任何 profile 都是 No Data(2.23.2 已修)(6.3 列表)。
- 被问「profile_cleanly 是什么」:默认打开,每步结束等训练状态算完,profile 里的步边界才对得齐。
- 被问「多台主机的 profile」:默认只上传第一台(
upload_all_profiler_results=false);本课每份只读一台主机的一个文件。 - 被问「入口命令是不是这个」:按公开仓库的本机运行文档写(maxtext.trainers.pre_train.train),版本不同入口可能不同,以你用的那一版为准。
- 被问「有没有一条命令直接出这些账的脚本」:本课没有给,本课的数是用自己的脚本从 xplane 读的;页面上都能读到同样的数。
🚧 这份讲义还薄的地方
- [x] 七节逐节对齐课件小节号与图号,屏幕指引里的锚点都在课件里(构建时对账)。
- [x] 串讲计时:地板加互动、录屏和动画停点的播放时长,约 82 分钟(见上面的时间账)。
- [ ] 还没有真人试讲:台上切屏、等互动答案的实际耗时没量过。