Introduction à l'architecture des LLM pour mathématiciens, et une démo interactive de GPT-2

Le cycle de vie des mots et des tokens derrière la fenêtre de chat

Pour les cours MATH 289 de Stanford sur l'architecture des LLM, j'ai réalisé avec Claude Code une petite page interactive qui montre le cycle de vie des mots et des tokens pendant l'entraînement et l'inférence :

GPT-2 small, étape par étape → (en anglais)

Notes de cours

Les notes de cours sont des carnets Google Colab : LLM architecture I, LLM architecture II.

Elles couvrent chaque composant de l'architecture mots → tokens → vecteurs → $L\times$[attention + MLP (avec Add et Norm)] → couche de sortie → perte ou token suivant et discutent quelques pratiques de conception courantes aujourd'hui.

Philosophies de l'apprentissage profond et des LLM

1. Représenter l'information, les objectifs et les heuristiques par des structures d'algèbre linéaire, contrôlées par un ensemble fini de paramètres.
2. Seules les parties linéaires sont apprenables ; les parties non linéaires sont fixées pendant l'entraînement. D'après le théorème d'approximation universelle et l'expérience pratique, cela suffit à approximer la plupart des fonctions et des tâches, bien que les parties non linéaires soient fixées à l'avance.
3. Croire que la machine peut apprendre comme par magie et réaliser votre souhait, pourvu que l'on choisisse une fonction de perte raisonnable (un substitut du taux de réussite sur les tâches), un optimiseur raisonnable, une énorme quantité de données et un peu d'ingénierie soignée. Autrement dit, si la machine n'a pas bien appris, il faut réessayer avec plus d'ingénierie.