Google 第七代 TPU 与 NVIDIA Blackwell 全方位参数对比 · 训练 & 推理
Google 自研的第 7 代 AI 加速器，代号 Ironwood。专为大模型推理设计（Google 官方叫它 "the first TPU for the age of inference"），但也支持训练。采用双 chiplet 设计，3nm 工艺，192 GB HBM3e。通过 ICI（Inter-Chip Interconnect）互连，最大可组成 9,216 芯片的 Pod，共享 1.77 PB 内存。
NVIDIA Blackwell 架构的旗舰 GPU，2024 年发布。同样采用双 die 设计，4nm 工艺，208B 晶体管，180-192 GB HBM3e。通过 NVLink 5 互连（1.8 TB/s），标准配置为 DGX B200（8 GPU）或 GB200 NVL72（72 GPU 液冷机架）。拥有完整的 CUDA 生态。
| 规格项 | TPU v7 (Ironwood) | NVIDIA B200 | 对比 |
|---|---|---|---|
| 架构 | |||
| 代号 / 架构 | Ironwood | Blackwell | — |
| 制程工艺 | TSMC N3P (3nm) | TSMC 4NP (4nm) | TPU 领先 |
| 芯片设计 | 双 Chiplet每 chiplet 96 GB HBM | 双 Die10 TB/s NV-HBI 互联 | 相似 |
| 核心单元 | 2 TensorCore + 4 SparseCoreMXU 256×256 | 148 SM / 528 Tensor Cores16,896 CUDA Cores | — |
| 计算性能 (Dense, per chip) | |||
| BF16 (Tensor) | 2,307 TFLOPS | 2,250 TFLOPS | TPU +3% |
| FP8 (Tensor) | 4,614 TFLOPS | 4,500 TFLOPS | TPU +3% |
| INT8 (Tensor) | —未公开具体数据 | 4,500 TOPS | — |
| FP4 (Tensor) | —不支持 | 9,000 TFLOPS | B200 独有 |
| FP32 | —TPU 无通用 FP32 | 75 TFLOPS | — |
| FP64 | —TPU 无 FP64 | 37 TFLOPS | B200 独有 |
| 内存 | |||
| HBM 容量 | 192 GB HBM3e8-Hi stacks | 180 GB HBM3e1000W 版本 | TPU +7% |
| HBM 带宽 | 7.4 TB/s | 8.0 TB/s | B200 +8% |
| 芯片间互连 | |||
| 互连技术 | ICI (Inter-Chip Interconnect)3D Torus Mesh | NVLink 5GPU-to-NVSwitch | — |
| 单芯片互连带宽 | 1.2 TB/s | 1.8 TB/s | B200 +50% |
| 外部网络 | |||
| 单芯片外部网络 | 100 GbpsDCN | 400 GbpsConnectX-7 | B200 4× |
| 功耗 | |||
| TDP (单芯片) | ~600W官方参考值 | 1,000W | TPU 低 40% |
| 能效比 (FP8) | ~7.7 TFLOPS/W | ~4.5 TFLOPS/W | TPU +71% |
| 系统规模 | |||
| 标准系统 | 256-chip Pod最小部署单元 | DGX B200 (8 GPU)10U 机箱 | — |
| 最大配置 | 9,216 chips144 racks, 1.77 PB 共享内存 | NVL72 (72 GPU)液冷机架 | TPU 规模更大 |
大规模预训练是两者都在争夺的核心战场。关键看三个维度：算力密度、互连带宽（决定多芯片扩展效率）、内存容量（决定单芯片能装多大模型）。
微调通常不需要超大规模集群，更看重单节点性能和易用性。
推理场景最核心的指标是 tokens/s/W（每瓦吞吐）和 首 token 延迟。Google 官方称 TPU v7 为 "the first TPU for the age of inference"，重点优化了推理场景。
批量推理更看重吞吐量和成本效率，对延迟不敏感。