CS336 学习记录 02：Resource Accounting
第二节从浮点数、FLOPs 和 Roofline，一路算到反向传播、训练显存、梯度累积和 activation checkpointing。开头整理了一张公式速查卡和两道 napkin math 例题，正文保留推导过程。
CS336
CS336 学习记录 01：Overview 与 Tokenization
从课程 Overview 到 Tokenization，我开始重新理解 token、scaling、data、alignment，以及为什么效率本身就是大模型训练的一部分。开头整理了 scaling law、tokenizer 和 post-training 的速查表。