CS336：从训练模型开始
这是围绕 CS336 展开的持续学习记录。条目不要求按章节或固定形式出现；每次有值得留下的问题、实验或理解变化，就在这里接上。
收录条目
- 01
CS336 学习记录 02：Resource Accounting
第二节从浮点数、FLOPs 和 Roofline，一路算到反向传播、训练显存、梯度累积和 activation checkpointing。开头整理了一张公式速查卡和两道 napkin math 例题，正文保留推导过程。
- 02
CS336 学习记录 01：Overview 与 Tokenization
从课程 Overview 到 Tokenization，我开始重新理解 token、scaling、data、alignment，以及为什么效率本身就是大模型训练的一部分。开头整理了 scaling law、tokenizer 和 post-training 的速查表。