CS336 学习记录 02：Resource Accounting
第二节从浮点数、FLOPs 和 Roofline，一路算到反向传播、训练显存、梯度累积和 activation checkpointing。开头整理了一张公式速查卡和两道 napkin math 例题，正文保留推导过程。
第二节从浮点数、FLOPs 和 Roofline，一路算到反向传播、训练显存、梯度累积和 activation checkpointing。开头整理了一张公式速查卡和两道 napkin math 例题，正文保留推导过程。