Урок 77. Трансформер: блок за блоком

Трансформер не равен attention. Блок чередует смешивание позиций и нелинейное преобразование каждой позиции; residual оставляет прямой путь, normalization управляет масштабом. Глубина возникает из многократного повторения этой простой грамматики.

Два вида обмена

Пусть $X\in\mathbb R^{n\times d}$ содержит представления токенов. Self-attention позволяет позиции получать сведения от других позиций. Feed-forward network, или MLP, независимо преобразует каждую строку:

\operatorname{MLP}(x)=W_2\phi(W_1x+b_1)+b_2.

Attention смешивает по длине, MLP смешивает по каналам. Один без другого ограничен: attention даёт взвешенные линейные смеси values, MLP создаёт новые нелинейные признаки.

В pre-norm записи блок:

\begin{aligned} X'&=X+\operatorname{MHA}(\operatorname{LN}(X)),\\ Y&=X'+\operatorname{MLP}(\operatorname{LN}(X')). \end{aligned}

Подробности $Q,K,V$ разобраны в attention. Здесь важен весь маршрут сигнала.

Схема pre-norm transformer block с attention MLP residual и размерностями — Рис. 77.1. Грамматика блока трансформера
Поток $n\times d$ разветвляется перед каждым подслоем: одна ветвь проходит без изменений, вторая через LN и MHA или MLP. Знаки сложения показывают residual. На полях подписано, где взаимодействуют позиции, а где только каналы.

Residual как право ничего не менять

Подслой обучает поправку $F(x)$ :

y=x+F(x).

Если полезное преобразование пока не найдено, достаточно сделать $F\approx0$ . Без residual каждый слой обязан заново передавать весь сигнал. Для градиента

\frac{\partial y}{\partial x}=I+\frac{\partial F}{\partial x},

и единичный путь не зависит от весов $F$ .

Это не гарантирует идеальной оптимизации: много матриц $I+J_\ell$ тоже могут быть нестабильны. Но архитектура даёт короткую дорогу. Похожую идею аддитивной памяти мы видели в LSTM.

Layer normalization

Для одного token vector $x\in\mathbb R^d$ :

\mu=\frac1d\sum_jx_j,\qquad \sigma^2=\frac1d\sum_j(x_j-\mu)^2,

\operatorname{LN}(x)_j= \gamma_j\frac{x_j-\mu}{\sqrt{\sigma^2+\varepsilon}}+\beta_j.

Нормировка идёт по каналам внутри позиции, не по batch и не по времени. Поэтому один пример можно обрабатывать независимо.

Pre-norm помещает LN до подслоя и обычно облегчает обучение глубоких сетей. Post-norm из исходной работы нормирует после residual; варианты отличаются градиентной динамикой. При сравнении нельзя менять порядок молча.

Нормы активаций и градиентов по слоям для сети с residual и без него — Рис. 77.2. Residual удерживает сигнал сквозь глубину
Слева показана норма представления по 24 слоям, справа — норма градиента от выхода к каждому слою. Серые кривые без residual быстро затухают или расходятся, синие остаются в рабочем диапазоне. Это конкретный опыт на одинаковой synthetic-задаче, не универсальная гарантия.

Лаборатория блока

Отключайте подслои по одному. Без MLP позиции обмениваются исходными признаками, но хуже строят нелинейную комбинацию. Без attention каждая позиция живёт отдельно. Без residual небольшое случайное преобразование на каждом слое быстро стирает начальную геометрию.

Проследите один token vector по слоям и сравните cosine similarity с его начальным embedding. Снижение similarity не равно потере информации: представление может поворачиваться, сохраняя декодируемый признак. Проверьте линейным probe.

Decoder: следующий токен

Decoder-only transformer использует causal mask. После $L$ блоков получаем $H^{(L)}$ , затем logits:

z_t=W_{\mathrm{vocab}}h_t+b.

Обучающая цель — следующий токен. Все позиции одной последовательности можно вычислить параллельно во время обучения, потому что правильные предыдущие токены известны. При генерации следующий токен неизвестен, поэтому шаги последовательны; KV-cache экономит пересчёт прошлого.

Weight tying может использовать одну матрицу для входных embeddings и выходной проекции. Это уменьшает параметры и связывает геометрию чтения с предсказанием.

Encoder и encoder–decoder

Encoder видит весь вход двунаправленно и строит контекстные представления. Для классификации можно агрегировать специальный токен или все позиции. Encoder–decoder добавляет cross-attention: decoder queries обращаются к encoder keys/values.

Архитектуры соответствуют задачам:

encoder — понимание фиксированного входа;
decoder — авторегрессивная генерация;
encoder–decoder — преобразование входной последовательности в выходную, например перевод.

Граница не абсолютна: decoder можно обучить классификации через текстовый ответ, но вычислительная цена и интерфейс цели будут другими.

Что меняется с глубиной

Ранние слои часто сохраняют локальные и лексические признаки, средние собирают отношения, поздние подстраиваются под выходную цель. Это статистическая картина, а не жёсткое расписание.

Linear probe обучает простой классификатор по замороженным представлениям разных слоёв. Если признак декодируется, он присутствует линейно, но не обязательно используется моделью причинно. Activation patching заменяет активацию одного запуска другой и проверяет влияние на результат.

Визуализации attention map должны дополняться такими вмешательствами. Отдельная голова — лишь одна ветвь residual stream.

TinyStories как контролируемый корпус

TinyStories состоит из коротких историй с ограниченной лексикой, сгенерированных для исследования малых языковых моделей. На нём можно обучить небольшой decoder и увидеть связный текст без огромных вычислений. Но синтетический стиль и узкий мир делают benchmark специальным.

Проведите ablation: одинаковые данные и бюджет, но без residual, без positional encoding или с меньшим MLP. Сравните validation loss, скорость оптимизации и специально составленные минимальные пары на порядок слов.

Кривые validation loss четырёх трансформеров и результаты на тесте порядка слов — Рис. 77.3. Ablation раскрывает работу частей блока
Кривые показывают полный блок, вариант без residual, без positional encoding и без MLP. Справа столбцы дают accuracy на парах `кот догнал пса` / `пёс догнал кота`. Без позиции общий loss может быть умеренным, но порядок рушится.

Мини-исследование: где хранится признак

Создайте предложения с двумя именами и отношением: Анна выше Бориса. После нескольких отвлекающих фраз задайте вопрос, кто ниже. Для каждого слоя обучите linear probe, предсказывающий отношение из представления последнего токена. Получится кривая decodability по глубине.

Затем проведите causal test. Возьмите пару примеров с противоположным отношением и замените activation выбранного слоя/позиции из одного примера другой. Если output переворачивается, этот участок residual stream не только содержит декодируемый признак, но и влияет на ответ.

Контроль обязателен: patch случайной позиции того же слоя и patch с тем же отношением. Измеряйте изменение log-odds, а не только итоговый класс. Связь с attention-интервенциями помогает не принимать heatmap за причинную схему.

Мини-исследование: compute одного блока

Для фиксированного $d=512$ измерьте время forward при длинах 64–4096. Отдельно профилируйте MHA и MLP. На коротких строках MLP может доминировать из-за $d^2$ , на длинных attention — из-за $n^2$ . Найдите empirical crossover на своём устройстве.

Повторите при MLP expansion 2 и 8 и при local attention. Укажите batch, precision, прогрев и память. Это не benchmark hardware вообще; это способ проверить формулы сложности на конкретном режиме и понять, почему оптимизация одной части иногда почти не ускоряет весь блок.

Для каждого варианта оцените arithmetic intensity: число операций на прочитанный байт. Attention при малых batch может быть ограничена bandwidth, MLP лучше насыщает матричный ускоритель. Поэтому одинаковые FLOP не гарантируют одинаковое время.

Сравнивайте также end-to-end generation с KV-cache. Быстрый training forward и низкая latency одного нового токена являются разными режимами. Эта проверка готовит почву для стоимости инференса в scaling laws.

Unit test должен подтвердить: logits полного префикса и пошагового decode с cache совпадают в пределах численной погрешности на нескольких длинах.

Параметры и вычисления

В типичном блоке MHA содержит около $4d^2$ параметров, MLP с шириной $4d$ — около $8d^2$ . Значит, большая часть параметров часто находится в MLP, хотя внимание получает больше картинок. На длине $n$ attention имеет квадратичную часть $O(n^2d)$ , MLP — $O(nd^2)$ .

При короткой последовательности и большом $d$ доминирует MLP; при очень длинной — карта внимания. Это объясняет, почему ускорения зависят от режима.

Следующий урок рассмотрит не блок, а то, чем его кормят: корпус и предобучение.

Блок как система путей

Трансформер — композиция двух операций и двух инфраструктурных опор. Attention смешивает позиции, MLP перестраивает каналы, residual сохраняет маршрут сигнала, LN стабилизирует масштаб. Понимание блока начинается с отключения частей и контрольных задач, а не с рисунка сотен прямоугольников.

Задачи

5баллов

Один pre-norm Transformer-блок имеет $d=512$ , восемь голов и MLP $512\to2048\to512$ . MHA содержит четыре плотные матрицы $W_Q,W_K,W_V,W_O\in\mathbb R^{512\times512}$ и четыре bias-вектора длины 512; MLP содержит biases длины 2048 и 512; каждый из двух LayerNorm имеет обучаемые $\gamma,\beta\in\mathbb R^{512}$ . Embeddings не считайте. Вычислите точное общее число параметров и доли MHA, MLP, LayerNorm. Случайности и инициализации нет; зачёт требует объяснить, почему разбиение 512 координат на восемь голов не меняет размеры проекций.

6баллов

Алфавит равен 16 символам a–p, длина каждой последовательности 32. Цель $y=1$ , если первый и последний символы равны. В каждом split ровно половина объектов положительна: первый символ равномерен; для $y=1$ последний копирует его, для $y=0$ равномерно выбирается из остальных 15; позиции 2–31 независимы и равномерны. Сгенерируйте train/validation/test размеров 80 000/10 000/10 000 с PCG64 seeds 7740, 7741, 7742. Полная модель добавляет [CLS], использует token и learned position embeddings $d=64$ , два pre-norm блока, четыре головы, MLP 128 с GELU, dropout 0 и linear 64→2. Сравните её с нулевыми position embeddings, с удалёнными MHA-подслоями и с заменой каждого $x+F(\operatorname{LN}x)$ на $F(\operatorname{LN}x)$ . Все варианты: Xavier initialization, $h_0$ не нужен, AdamW $3\cdot10^{-4}$ , batch 256, ровно 20 000 шагов, cross-entropy, seeds 7743–7747. Зачёт требует train/validation/test accuracy и точное число параметров каждого варианта. Градиент измеряйте после последнего шага, в eval-режиме, на фиксированном batch из первых 256 test-примеров в порядке генерации. «Первый token» означает первый символ исходной строки, то есть позицию 1 сразу после [CLS], а embedding — выход token-lookup до сложения с position embedding. Для каждого примера $i$ возьмите неусреднённую cross-entropy $\ell_i$ и вычислите $g_i=\|\partial\ell_i/\partial E_{i,1,:}\|_2$ ; сначала отчитайте среднее, медиану и стандартное отклонение 256 значений, затем среднее и стандартное отклонение этих статистик по пяти seed.

7баллов

Используйте Hugging Face Salesforce/wikitext, config wikitext-103-raw-v1, dataset revision b08601e04326c79dfdd32d625aee71d232d685c3, и GPT-2 tokenizer openai-community/gpt2 revision 607a30d783dfa663caf39e06633721c8d4cfcd7e. Соединяйте непустые train-строки через EOS и возьмите первые 16 000 000 токенов; official validation и test не входят в обучение, поэтому общий снимок меньше 20 млн токенов. Базовый causal decoder: context 256, четыре блока, $d=256$ , четыре головы, MLP expansion 4, pre-norm, learned positions, tied embeddings, dropout 0,1. Обучите baseline и три одиночные ablation: post-norm; expansion 2; одна голова. Инициализируйте матрицы из $\mathcal N(0,0{,}02^2)$ , biases нулями, LayerNorm с $\gamma=1,\beta=0$ . Для каждой конфигурации и seeds 7751–7753 используйте AdamW $3\cdot10^{-4}$ , cosine decay с warm-up 500, effective batch 32 последовательности и ровно 6 104 шага, то есть 50 003 968 предъявленных token positions; $h_0$ отсутствует. Помимо validation bits per byte $-\log_2p(\text{bytes})/N_{\rm bytes}$ составьте и опубликуйте по 100 английских минимальных пар на порядок слов, согласование числа и копирование имени, фиксируя список до обучения. Зачёт требует кривые, test bpb, accuracy выбора лучшего предложения в трёх наборах с интервалом по seed и примеры, где общий bpb и специальная accuracy ранжируют модели по-разному.