面向数学家的 LLM 架构导论，以及一个 GPT-2 交互式演示

聊天框背后：词与 token 的生命周期

为斯坦福 MATH 289 课程中关于 LLM 架构的几节课，我用 Claude Code 做了一个小的交互式网页，用来演示词与 token 在训练和推理过程中的生命周期：

GPT-2 small，逐阶段演示 →（英文）

讲义

讲义以 Google Colab 笔记本的形式给出：LLM architecture I、LLM architecture II。

它们逐一介绍架构中的各个组件 词 → token → 向量 → $L\times$[注意力 + MLP（含 Add 与 Norm）] → 输出层 → 损失函数或下一个 token，并讨论一些当下常见的设计实践。

深度学习与 LLM 的哲学

1. 用线性代数结构来表示信息、目标和启发式规则，这些结构由有限多个参数控制。
2. 只有线性部分是可学习的；非线性部分在训练中固定不变。 根据万能逼近定理和实际经验，尽管非线性部分是预先固定的，这已足以逼近大多数函数和任务。
3. 相信机器能够神奇地学会并实现你的愿望，只要选择一个合理的损失函数（任务成功率的代理指标）、一个合理的优化器、海量数据，再加上一些细致的工程。也就是说，如果机器没有学好，就用更多的工程再试一次。