现代 AI 加速器 GPU / TPU 系统课程 · 视频课

大模型长成今天这个样子,是被芯片逼出来的;芯片长成今天这个样子,也是被大模型逼出来的。

以 DeepSeek V3 为线索,不背结论,每一步都算给你看。每讲 1.5–2 小时,4K 画面、中文字幕,课件和讲义全部免费开源。

DeepSeek V3KV cache / MLAMoETPU vs GPUFlashAttention分布式并行
专题01 一个 Token 的一生
第 1 讲 · 2:03:19

一个 Token 的一生

拆一个真的 DeepSeek V3:跟着一个 token 走完全程,每一步都算账——KV cache、MLA、MoE、残差流,最后对上官方口径。

专题02 TPU 与 GPU
第 2 讲 · 1:59:34

TPU 与 GPU

同一个 FlashAttention 在两边并排走一遍:每一步是硬件在运行时决定,还是编译器提前决定。

专题03 注意力演进
第 3 讲 · 1:45:45

注意力演进

从 RNN、Transformer 到 MQA/GQA/MLA、稀疏与线性注意力:八年一直在跟同一笔 KV cache 账较劲。

专题04 反向与优化器
第 4 讲 · 1:27:53

反向与优化器

猜错一个字,6,710 亿个参数各改多少?反向传播、激活重算、Adam 显存、学习率与训练稳定性。

专题05 并行策略
第 5 讲 · 1:21:58

并行策略

一张卡装不下 DeepSeek-V3,怎么切到 2048 张卡上:FSDP、TP、EP、Ulysses/Ring、PD 分离。

全部 14 个专题的课件与讲义:课程总纲。视频陆续更新。课程以 CC BY-NC-SA 4.0 协议开源。