Урок 76. Внимание и трансформер

Attention позволяет каждой позиции построить собственную взвешенную выборку из контекста. Запрос говорит, что ищем; ключ — что может предложить позиция; value — какой сигнал будет перенесён. Карта внимания вычисляется заново для каждого текста.

Местоимение ищет опору

В предложении «Робот положил стакан на стол, потому что он был свободен» местоимение связано со столом, а не со стаканом. Между словами несколько позиций; фиксированного локального окна может не хватить. RNN должна пронести нужный факт через состояние. Attention создаёт прямую связь.

Для матрицы представлений $X\in\mathbb R^{n\times d}$ строятся

Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.

Строка $q_i$ — query позиции $i$ , $k_j$ — key позиции $j$ , $v_j$ — переносимое value. Оценка совместимости

s_{ij}=\frac{q_i^\top k_j}{\sqrt{d_k}},

а веса

a_{ij}=\frac{\exp s_{ij}}{\sum_{\ell=1}^n\exp s_{i\ell}}.

Выход позиции:

z_i=\sum_{j=1}^n a_{ij}v_j.

Каждая строка $A$ суммируется в единицу, поэтому $z_i$ — выпуклая комбинация value-векторов.

Схема вычисления внимания для одного слова с запросами ключами значениями и весами — Рис. 76.1. Query адресует, value переносит
Запрос слова `он` сравнивается с ключами всех позиций. Толщина линий равна $a_{ij}$ ; в сумматор поступают value, а не ключи. Справа показан численный пример трёх scores, softmax и результирующей смеси.

Почему делим на корень размерности

Если компоненты $q$ и $k$ независимы, имеют среднее ноль и дисперсию единицу, скалярное произведение

q^\top k=\sum_{r=1}^{d_k}q_rk_r

имеет дисперсию порядка $d_k$ . При большой размерности logits становятся крупными, softmax почти one-hot, а его градиенты малы. Деление на $\sqrt{d_k}$ удерживает типичный масштаб около единицы.

Это нормировка дисперсии, а не косметическая константа. Она родственная идеям инициализации нейросетей: масштаб суммы должен оставаться управляемым при росте числа слагаемых.

Маска меняет множество допустимого

В decoder языковой модели позиция $i$ не должна видеть будущие токены. К scores добавляют

M_{ij}= \begin{cases} 0,&j\le i,\\ -\infty,&j>i. \end{cases}

После softmax запрещённые веса равны нулю. Padding mask убирает фиктивные позиции. Эти маски имеют разный смысл: causal mask защищает от утечки будущего, padding mask — от искусственного содержимого.

При реализации значение $-\infty$ часто заменяют большим отрицательным числом. В низкой точности слишком большое по модулю число может создать численные проблемы; библиотечные операции учитывают это.

Две матрицы attention для предложения, одна полная, другая с треугольной маской — Рис. 76.2. Полная и причинная карта
Оси обеих тепловых карт подписаны токенами. Слева позиции видят весь текст, справа верхний треугольник запрещён. Строка для последнего доступного токена показывает, как нормировка перераспределяет массу после маски.

Несколько голов — несколько подпространств

Multi-head attention вычисляет $H$ независимых наборов проекций:

\operatorname{head}_h= \operatorname{softmax}\left( \frac{Q_hK_h^\top}{\sqrt{d_h}} \right)V_h,

затем конкатенирует:

\operatorname{MHA}(X)= \operatorname{Concat}(\operatorname{head}_1,\ldots,\operatorname{head}_H)W_O.

Головы могут специализироваться на локальных соседях, согласовании форм, разделителях или дальних ссылках. Но это наблюдаемая тенденция, не гарантированная роль. Несколько голов нередко дублируются, а отдельная attention map не является полным объяснением решения.

Число голов меняет размер $d_h=d/H$ . Слишком много голов дают маленькие подпространства; слишком мало ограничивают параллельные типы связи.

Позиция не входит сама

Без positional information self-attention эквивариантен перестановке: если одинаково переставить строки $X$ , выход переставится так же. Модель различит набор токенов, но не порядок.

Синусоидальное кодирование:

\begin{aligned} \mathrm{PE}_{(pos,2i)}&=\sin(pos/10000^{2i/d}),\\ \mathrm{PE}_{(pos,2i+1)}&=\cos(pos/10000^{2i/d}). \end{aligned}

прибавляется к embeddings. Другие методы кодируют относительное расстояние или вращают query/key (RoPE). Относительные схемы естественно выражают «на три позиции раньше», но поведение за обученной длиной нужно проверять отдельно.

Лаборатория внимания

Выберите запрос и меняйте один key. Следите, как softmax перераспределяет все веса: повышение одного score уменьшает доли остальных, даже если их scores не менялись. Затем измените value при фиксированных весах и убедитесь, что адресация остаётся прежней, а содержание выхода меняется.

Включите causal mask и попытайтесь связать позицию с будущим. Нулевой вес — следствие запрета до softmax, а не обучения.

Квадратичная цена

Матрица $QK^\top$ имеет $n^2$ элементов. Время и память self-attention растут как $O(n^2d)$ . Удвоение контекста примерно учетверяет размер карты. На длинных последовательностях это основное ограничение.

Локальное attention оставляет окно, sparse-схемы — выбранные рёбра, linear attention меняет порядок вычислений через аппроксимации. Но экономия меняет доступные связи. Сравнивать надо на задаче, где дальний контекст действительно нужен.

KV-cache при авторегрессивной генерации хранит прошлые keys и values: новый токен не пересчитывает их. Время одного следующего шага всё равно растёт с длиной истории, а память линейна по $n$ .

Графики памяти полной attention карты и доли найденных дальних связей для локального окна — Рис. 76.3. Длина контекста и цена карты
Синяя кривая показывает $n^2$ элементов полной карты, зелёные — линейную память локальных окон 128 и 512. На правой оси нанесена доля эталонных зависимостей, попавших в окно на наборе длинных документов: экономия имеет измеримую предметную цену.

Реальный пример: выравнивание перевода

В encoder–decoder модели decoder query обращается к keys/values исходного предложения. На корпусах WMT можно сравнить attention с человеческим или алгоритмическим выравниванием слов. Но перевод не всегда один-к-одному: артикль может не иметь русского соответствия, фраза — перестраиваться целиком.

Оцените не только BLEU, но и конкретные дальние согласования, имена, числа, отрицания. Карта внимания помогает найти гипотезу ошибки, однако output зависит также от residual, MLP и всех слоёв трансформера.

Мини-исследование: синтетическая задача адресации

Сгенерируйте строки вида ключ\:значение, например A\:7 B\:2 C\:9 ?B, и потребуйте вернуть значение запрошенного ключа. Меняйте число пар от 2 до 64, порядок и расстояние до запроса. Такой dataset даёт точный expected attention pattern: query должен найти соответствующий key и перенести его value.

Обучите одну голову и сравните три вмешательства. Переставьте пары: ответ должен сохраниться. Замените ключ при прежнем value: адрес должен смениться. Замените value при прежнем ключе: вес должен сохраниться, output — измениться. Эта тройка проверяет функциональное разделение $Q/K/V$ лучше красивой heatmap.

Затем добавьте два одинаковых ключа с разными values и правило «брать последний». Без positional information задача неоднозначна; с относительной позицией модель может предпочесть ближайшее прошлое. Измерьте accuracy по длине, превышающей train. Это связывает attention с обобщением за обученный диапазон.

Проверка объяснения вмешательством

Для ста реальных текстов выберите attention head и токен с максимальным весом. Маскируйте его, затем токен со средним весом и случайный. Сравните изменение нужного logit. Если high-attention masking не влияет сильнее, карта не объясняет решение на этом наборе.

Но маскирование создаёт out-of-distribution строку. Более мягкий метод — activation patching: заменить value одного токена значением из контрольного примера. Обязательно отделите «куда смотрит голова» от «что несёт её value» и от других residual путей. Так визуализация становится гипотезой, проверенной вмешательством.

Проведите ещё один контроль нормировки. Добавьте к предложению десять нерелевантных токенов с умеренными scores. Даже если score опорного слова не меняется, его weight уменьшится, потому что denominator softmax вырос. Поэтому сравнивать raw attention weights между разной длиной без оговорки рискованно.

Запишите и logits $s_{ij}$ , и weights $a_{ij}$ . Первый график показывает совместимость до конкуренции, второй — распределённый бюджет внимания. Если вывод держится только на одном представлении, формулируйте его узко.

Сравните heads после перестановки их порядка и согласованного изменения $W_O$ : функция MHA не изменится, а номера «голова 3» и «голова 7» поменяются. Поэтому историческое имя головы не является устойчивым объектом между seed.

Для сильного вывода ищите повторяемый паттерн на нескольких моделях и измеряйте функциональную роль ablation-ом. Яркая индивидуальная карта может оказаться полностью компенсируемой соседними головами.

Адресация не равна объяснению

Attention — динамическая адресация контекста. Масштабирование стабилизирует softmax, маска задаёт допустимые связи, позиции возвращают порядок, головы дают несколько подпространств. Рисунок карты полезен, когда отвечает на конкретный вопрос и проверяется вмешательством, а не когда служит цветным орнаментом.

Задачи

3баллов

Для одного запроса уже масштабированные scores равны $(2,1,0)$ , а скалярные values $(1,4,-2)$ . По формулам $a_i=\exp(s_i)/\sum_j\exp(s_j)$ и $o=\sum_ia_iv_i$ вычислите веса и выход. Затем присвойте третьему score значение $-\infty$ , повторите softmax и объясните перенормировку первых двух весов. Случайности и единиц измерения нет; оба набора весов должны суммироваться в 1 с ошибкой менее $10^{-6}$ , выходы нужны с четырьмя знаками.

4баллов

Пусть пары $(q_r,k_r)$ независимы по $r$ , внутри пары $q_r$ и $k_r$ тоже независимы, $\mathbb E q_r=\mathbb E k_r=0$ и $\operatorname{Var}q_r=\operatorname{Var}k_r=1$ . Выведите $\operatorname{Var}(q_rk_r)$ , затем $\operatorname{Var}(\sum_{r=1}^{d_k}q_rk_r)$ и дисперсию после деления суммы на $\sqrt{d_k}$ . Случайности, инициализации и единиц измерения в теоретическом расчёте нет; зачёт требует явно использовать независимость ковариаций.

5баллов

Задайте четыре различных токена $X\in\mathbb R^{4\times2}$ и матрицы $W_Q,W_K,W_V\in\mathbb R^{2\times2}$ без biases. Используйте $Q=XW_Q$ , $K=XW_K$ , $V=XW_V$ и $A=\operatorname{softmax}(QK^\mathsf T/\sqrt2)$ построчно, без mask. Добейтесь $A_{4,1}\ge0{,}99$ , а для каждой строки $i=1,2,3$ все четыре веса должны отличаться от $1/4$ не более чем на $0{,}01$ . Случайности и seed не нужны. Зачёт требует опубликовать $X$ , три матрицы, все scores, weights и $AV$ , а также проверить две численные границы.

6баллов

На одном явно названном CPU или GPU измерьте PyTorch scaled_dot_product_attention в float32 для batch 8, heads 8, $d_{\rm head}=64$ и $n\in\{128,256,512,1024,2048\}$ . Тензоры $Q,K,V$ создайте из $\mathcal N(0,1)$ с seed 7604; для каждого $n$ выполните 10 прогревов и 50 синхронизированных повторов, не включая генерацию данных. Сравните полный attention и mask с локальным причинным окном 128, $j\le i$ и $i-j<128$ . Пиковую выделенную память сбрасывайте перед режимом; на CPU используйте peak RSS, на CUDA max_memory_allocated. Подберите МНК $\log t=a+b\log n$ по пяти медианам. Зачёт требует версию ПО и устройства, медиану/IQR времени в мс, память в МиБ и показатели $b$ для двух режимов.

7баллов

Используйте Google GAP Coreference v1.0, GitHub commit 83135f26025cdd705c04f77e940d0c9201116b80, файл gap-test.tsv с SHA-256 1c35e36d5b14f6313ec3f6cd67b275de282595dd59e59390e00cfff9897a6819, и tokenizer вместе с checkpoint biu-nlp/lingmess-coref ровно revision fa5d8a827a09388d03adbe9e800c7d8c509c3935. Запускайте исходный inference этой revision в eval-режиме, без dropout, градиентов, обрезания текста и дообучения. Сырые выходы pair scorer до sigmoid/softmax обозначьте $z_A=s(p,A)$ и $z_B=s(p,B)$ ; цель примера есть $m=z_{\rm gold}-z_{\rm other}$ . Строки Neither удалите. Отсортируйте по ID и возьмите первые 100, где исходный $m>0$ , оба candidate offset проходят проверку точного текста, а gold задан ровно одним из A-coref, B-coref; это фиксированный 100-example test без дообучения. Из слоя 23, головы 0 суммируйте attention от wordpieces местоимения к wordpieces gold-кандидата. До отбора 100 строк постройте фиксированный кандидатный словарь по всему gap-test.tsv: обработайте тексты spaCy en_core_web_sm==3.8.0, оставьте односоставные alphabetic-токены, встречающиеся не менее двух раз, сгруппируйте их по token.pos_, внутри группы удалите повторы и отсортируйте строки по Unicode code point. POS многословного gold-кандидата равен POS корня его spaCy-span. Затем отдельно замените весь gold-span на единственный mask token checkpoint и на одно слово, равномерно выбранное из той же POS-группы. Случайное слово выбирайте PCG64 seed 760500+i, исключая без учёта регистра A, B и местоимение; после замены заново токенизируйте полный текст и вычислите $z_A,z_B$ тем же pair scorer. Сравните исходный attention, $m-m_{\rm goldmask}$ и $m-m_{\rm randommask}$ ; bootstrap 10 000 выборок, seed 7605. Зачёт требует objective, правило отбора ровно 100, версии, 95%-интервалы корреляций и пять наибольших расхождений между attention и изменением margin.