CS336 学习记录 01:Overview 与 Tokenization
从课程 Overview 到 Tokenization,我开始重新理解 token、scaling、data、alignment,以及为什么效率本身就是大模型训练的一部分。开头整理了 scaling law、tokenizer 和 post-training 的速查表。
从课程 Overview 到 Tokenization,我开始重新理解 token、scaling、data、alignment,以及为什么效率本身就是大模型训练的一部分。开头整理了 scaling law、tokenizer 和 post-training 的速查表。