Metric learning и мультимодальность

Контрастивное обучение помещает согласованные тексты и изображения рядом в общем пространстве. Оно не переводит пиксели в слова буквально: два encoder-а учатся сохранять ровно те признаки, которые помогают выбрать правильную пару среди отрицательных. Значит, всё решает вопрос — кого мы объявили парой, а кого соперником.

Подпись нельзя перевести дословно

Слово «собака» не спрятано в конкретном пикселе, а фотография не разбирается на буквы. Между картинкой и текстом нет пословного словаря, поэтому нельзя обучать модель переводу «пиксель за пиксель». Зато есть задача попроще и честнее: положить перед моделью партию снимков и партию подписей и попросить расставить, кто с кем.

Такая формулировка сразу превращает семантику в геометрию. Мы не требуем, чтобы координата 17 означала «собака». Мы требуем, чтобы вектор снимка и вектор его подписи оказались ближе друг к другу, чем к любым другим кандидатам из партии. Всё остальное — расстояния, углы, кластеры — модель придумает сама, лишь бы задача выбора решалась.

Фёрт говорил о словах, но правило шире: смысл объекта в контрастивной модели задаётся тем, среди кого он стоит и от кого отличается. Отсюда весь дальнейший разговор: температура, размер партии, ложные отрицательные пары — это не технические мелочи, а способ определить «компанию».

Партия подписей превращается в матрицу

В батче лежат $B$ пар $(I_i,T_i)$. Image encoder строит вектор $v_i$, text encoder — вектор $u_j$. После $\ell_2$-нормировки

$$\bar v_i=\frac{v_i}{\|v_i\|},\qquad \bar u_j=\frac{u_j}{\|u_j\|}$$

обе модальности живут на одной единичной сфере, и близость сводится к косинусу угла:

$$c_{ij}=\bar v_i^\top\bar u_j\in[-1,1],\qquad s_{ij}=\frac{c_{ij}}{\tau}.$$

Для изображения $i$ правильный текст имеет индекс $i$, остальные $B-1$ служат отрицательными. Потери «изображение к тексту»:

$$\mathcal L_{I\to T} =-\frac1B\sum_{i=1}^{B} \log\frac{e^{s_{ii}}}{\sum_{j=1}^{B}e^{s_{ij}}}.$$

Симметрично, по столбцам, строится «текст к изображению»:

$$\mathcal L_{T\to I} =-\frac1B\sum_{j=1}^{B} \log\frac{e^{s_{jj}}}{\sum_{i=1}^{B}e^{s_{ij}}},$$

и обучают полусумму:

$$\mathcal L=\tfrac12\left(\mathcal L_{I\to T}+\mathcal L_{T\to I}\right).$$

Одна матрица $B\times B$ порождает $B$ положительных и $B(B-1)$ отрицательных сопоставлений: при $B=64$ это 64 пары и 4032 противопоставления, полученные без единой дополнительной разметки. Именно поэтому метод так дёшев — и именно поэтому он так легко обманывается.

Модельный опыт: два сенсора, один объект

Настоящие пары «фотография — подпись» весят сотни гигабайт, поэтому в классе мы поставим уменьшенный, но полностью честный опыт на реальных данных. Возьмём классический набор рукописных цифр load_digits: $1797$ изображений $8\times8$. Каждое изображение разрежем на две «модальности»: чётные строки развёртки — «снимок», нечётные — «подпись». Это модельный пример: две подписи не являются текстом, но обладают главным нужным свойством — два разных набора чисел описывают один и тот же объект, и никакого пословного соответствия между ними нет.

Два маленьких encoder-а (один скрытый слой из 64 нейронов, выход — 32 числа) обучены симметричным InfoNCE при $\tau=0{,}1$, батче $B=64$, 4000 шагов Adam, что даёт около 213 проходов по обучающей части. Обучающих объектов $1200$, тестовых — $597$; тестовые объекты encoder не видел ни разу.

На тесте модель ищет для каждого «снимка» его подпись среди всех $597$ кандидатов:

$$\hat\jmath(i)=\arg\max_j\ \bar v_i^\top\bar u_j.$$

Уровень случайного угадывания задаётся размером пула:

$$\operatorname{R@1}_{\text{случ}}=\frac1N=\frac{1}{597}=0{,}17\%.$$

Правильная подпись оказывается первой в $63{,}1\%$ случаев, попадает в первую пятёрку в $90{,}6\%$ и в первую десятку в $94{,}5\%$; медианный ранг равен $1$. Случайный выбор дал бы $100/597=0{,}17\%$. Мы не сообщали модели ни одной метки класса — только то, какие две половинки принадлежат одному объекту.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Что видит матрица $B\times B$

Матрица косинусов — главный объект урока. По диагонали стоят размеченные пары, вне диагонали — соперники. Но соперники неоднородны: часть из них не имеет ничего общего с запросом, а часть описывает объект того же сорта.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Посчитаем, сколько ложных отрицательных приходится на строку. В наборе десять классов, распределённых почти поровну; при случайном батче $B=64$ среднее число объектов того же класса в строке равно $6{,}28$, то есть $10{,}0\%$ всех соперников. Модель на каждом шаге получает приказ оттолкнуть примерно шесть подписей, которые человек счёл бы подходящими.

Температура: кому достаётся штраф

Температура $\tau$ — это масштаб логитов, а не косметика. Производная потерь по логиту равна расхождению между предсказанной вероятностью и меткой:

$$\frac{\partial\mathcal L_{I\to T}}{\partial s_{ij}} =\frac1B\left(p_{ij}-\mathbf 1\{i=j\}\right),\qquad p_{ij}=\frac{e^{s_{ij}}}{\sum_ke^{s_{ik}}}.$$

Через цепное правило штраф превращается в силу, действующую на сами векторы:

$$\frac{\partial\mathcal L_{I\to T}}{\partial\bar v_i} =\frac{1}{B\tau}\sum_{j=1}^{B}\left(p_{ij}-\mathbf 1\{i=j\}\right)\bar u_j,$$

а нормировка пропускает через себя лишь составляющую, перпендикулярную самому вектору:

$$\frac{\partial\bar v}{\partial v} =\frac{1}{\|v\|}\left(I-\bar v\,\bar v^\top\right).$$

Итог прост: положительная пара притягивается, каждый соперник отталкивается с весом $p_{ij}$. А распределение этих весов целиком задано температурой.

$$\lim_{\tau\to0}p_{ij}\to\mathbf 1\{j=\arg\max_k c_{ik}\}, \qquad \lim_{\tau\to\infty}p_{ij}\to\frac1B.$$

На нашей обученной модели это измеримо. Доля отталкивающего градиента, доставшаяся самому трудному сопернику строки, равна $76{,}8\%$ при $\tau=0{,}02$ и всего $0{,}6\%$ при $\tau=0{,}5$. Холодный softmax — это почти метод «отталкивай ближайшего», тёплый — «отталкивай всех понемногу».

Перебор температуры при прочих равных даёт неожиданно поучительную картину: Recall@1 равен $60{,}3\%$ при $\tau=0{,}02$, $63{,}1\%$ при $\tau=0{,}1$ и падает до $48{,}9\%$ при $\tau=1$. А вот доля случаев, когда найденная подпись принадлежит той же цифре, ведёт себя иначе: её максимум $95{,}0\%$ достигается при $\tau=0{,}2$. Холодная температура заостряет опознание конкретного экземпляра, тёплая бережнее сохраняет классовую структуру. Одного «правильного» $\tau$ не существует — есть выбор между двумя разными задачами.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Сколько нужно соперников

Расхожий лозунг гласит: «чем больше батч, тем больше отрицательных, тем лучше пространство». Проверим его на своих данных, уравняв число проходов по выборке (иначе маленький батч получит больше шагов и сравнение станет нечестным).

Измерения: $B=8$ даёт Recall@1 $65{,}8\%$, $B=16$ — $64{,}0\%$, $B=32$ — $62{,}1\%$, $B=64$ — $63{,}8\%$, $B=128$ — $58{,}5\%$, $B=256$ — $59{,}6\%$. Весь разброс укладывается в $7{,}4$ процентных пункта и не образует монотонного роста. Более того, повтор той же конфигурации $B=64$ с чуть иным числом шагов дал $63{,}1\%$ вместо $63{,}8\%$ — это оценка шума перезапуска, примерно $0{,}7$ пункта, и меньшие различия обсуждать нельзя.

Вывод честный и полезный: на коллекции из $1200$ объектов десятки соперников уже исчерпывают полезную информацию, а дальше растёт лишь число ложных отрицательных — при $B=256$ их около $25$ на строку. Выигрыш от гигантских батчей в промышленных моделях связан с коллекциями в миллиарды пар, где случайный соперник почти никогда не бывает подходящим.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Ложный negative и мультипозитивный числитель

Если две подписи одинаково верны для снимка, одна из них в обычной схеме объявлена соперником. Лечение известно: расширить числитель множеством положительных $P(i)$:

$$\mathcal L_i=-\log\frac{\sum_{j\in P(i)}e^{s_{ij}}}{\sum_{j}e^{s_{ij}}},$$

или, в варианте с усреднением по положительным,

$$\mathcal L_i=-\frac{1}{|P(i)|}\sum_{j\in P(i)} \log\frac{e^{s_{ij}}}{\sum_ke^{s_{ik}}}.$$

Но расширять множество положительных надо аккуратно, и это тоже можно измерить. Обучим ту же архитектуру, объявив положительными все объекты того же класса. Точность попадания в верный класс поднимается с $92{,}6\%$ до $94{,}3\%$, зато Recall@1 по конкретной паре рушится с $63{,}1\%$ до $2{,}7\%$. Модель поняла, что от неё требовали: она собрала все «тройки» в одну точку и перестала различать почерк.

Что значит «общее пространство»

После нормировки от вектора остаётся только направление. Косинус лежит в $[-1,1]$, но его абсолютное значение ничего не говорит о «проценте смысла»: масштаб зависит от модели, от температуры обучения и от набора кандидатов. Смысл распределён по всем координатам, и координата номер 17 не означает «собака».

Проверим геометрию на числах. Средняя близость размеченной пары равна $0{,}735$, средняя близость случайной несогласованной пары — $0{,}001$: центр распределения ровно там, где ему полагается быть у независимых направлений. Но средний максимум по строке (то есть близость самого трудного соперника) равен $0{,}713$ — почти как у настоящей пары. Хвосты пересекаются, и именно в этом пересечении живут все ошибки поиска.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Связь с эмбеддингами и низким рангом прямая, а язык расстояний и проекций мы разбирали в уроке про PCA. Разница здесь одна, но принципиальная: два разных encoder-а должны договориться об одной системе координат, хотя видят совершенно разные входные данные.

Загоруйко: сходство имеет смысл только рядом с соперником

Мысль, что близость нельзя мерить в одиночку, была явно сформулирована в новосибирской школе распознавания образов. Николай Григорьевич Загоруйко (1931–2015), работавший в Институте математики Сибирского отделения, предложил функцию конкурентного сходства — FRiS. Идея проста до дерзости: спрашивать «как похож объект $z$ на образ $a$» бессмысленно, пока не назван конкурент $b$. Осмысленная величина — относительная:

$$F(z\mid a,b)=\frac{r(z,b)-r(z,a)}{r(z,b)+r(z,a)}\in[-1,1],$$

где $r$ — расстояние; на единичной сфере удобно взять

$$r(z,a)=1-\cos(z,a).$$

Если $z$ вдвое ближе к своему образу, чем к сопернику, FRiS равен $1/3$; если расстояния равны, ровно нулю; знак сразу говорит, кто победил.

Сходство наших формул с FRiS не поверхностное. Разложим потери одной строки при единственном сопернике:

$$\mathcal L_i=\log\left(1+e^{(c_{ij}-c_{ii})/\tau}\right),$$

то есть потери зависят только от разности «своё минус чужое» — в точности от конкурентного превосходства. При малых значениях аргумента

$$\mathcal L_i\approx\log 2+\frac{c_{ij}-c_{ii}}{2\tau},$$

и градиент толкает именно разность, а не каждое сходство по отдельности. Загоруйко строил на этой мере алгоритмы таксономии, отбора признаков и цензурирования обучающей выборки — задач, которые сегодня формулируются как «выбрать хорошие негативы».

Zero-shot: классификатор, собранный из подписей

Общее пространство позволяет строить классификатор без обучения классификатора. Для класса $c$ берут описания, кодируют их text encoder-ом и усредняют:

$$\bar w_c=\frac{1}{M}\sum_{m=1}^{M}\bar u_{c,m},\qquad \hat c(i)=\arg\max_c\ \bar v_i^\top\frac{\bar w_c}{\|\bar w_c\|}.$$

Заметим, что после нормировки прототипов это обычный линейный классификатор над эмбеддингом снимка:

$$\hat c(i)=\arg\max_c\ \left(W\bar v_i\right)_c,\qquad W=\begin{pmatrix}\bar w_1^\top\\ \vdots\\ \bar w_{10}^\top\end{pmatrix},$$

только его веса не обучались градиентом, а собраны из текстов.

В нашем опыте роль «промптов» играют закодированные подписи обучающих объектов класса. Прототип, усреднённый по всем обучающим примерам класса, даёт точность $71{,}4\%$ на тесте. Если же взять по одному случайному примеру на класс — аналог единственной неудачной формулировки промпта, — точность падает до $31{,}1\%$ при разбросе $\pm3{,}1$ пункта между попытками.

Это и есть измеренная цена формулировки. Ансамбль описаний не добавляет модели знаний: он усредняет случайные отклонения отдельных векторов, оставляя общее направление класса. Тот же эффект в больших моделях достигают набором шаблонов вроде «фотография {класса}», «размытое фото {класса}», «рисунок {класса}».

Витгенштейн объясняет, почему промпт вообще имеет значение. Text encoder видел слово не в словаре, а в потоке употреблений; фраза «спутниковый снимок кошки» попадает в область, где употреблений почти не было, и вектор оказывается в пустой части пространства. Промпт — это не заклинание, а указание области, из которой модель будет доставать смысл.

Recall@K, margin и право на отказ

Метрика поиска устроена просто:

$$\operatorname{R@K}=\frac1N\sum_{i=1}^{N} \mathbf 1\{\text{есть релевантный среди первых }K\}.$$

У неё два уязвимых места. Первое мы уже видели: значение зависит от размера пула. Второе — определение «релевантного». Если в наборе одна подпись на изображение, любая другая, даже верная по смыслу, считается ошибкой. В нашем опыте $80{,}0\%$ ошибок top-1 приходятся на подпись объекта того же класса. Значит, «настоящая» доля бессмысленных ответов почти впятеро меньше, чем показывает метрика.

Полезно помнить и теоретический смысл величины $\log B-\mathcal L$: она оценивает снизу взаимную информацию между модальностями,

$$I(V;U)\ \ge\ \log B-\mathcal L,$$

поэтому потери контрастивной модели упираются в потолок $\log B$ и никакая идеальная модель не опустит их ниже нуля при конечном батче.

Полезнее всего разность между первым и вторым кандидатом:

$$m_i=c_{i,(1)}-c_{i,(2)}.$$

Отвечая лишь на долю $\alpha$ самых уверенных запросов, мы измеряем условную точность

$$\operatorname{acc}(\alpha)= \frac{\#\{i:\ m_i\ge m_{(\alpha)},\ \hat\jmath(i)=i\}} {\#\{i:\ m_i\ge m_{(\alpha)}\}}.$$

Медиана margin у нас равна $0{,}058$ — то есть у половины запросов победитель опережает второго меньше чем на шесть сотых косинуса. Если отвечать только на $20\%$ запросов с наибольшим margin, точность top-1 поднимается с $63{,}1\%$ до $92{,}4\%$. Система с правом молчать намного полезнее системы, обязанной всегда называть первого.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Сдвиг домена: те же цифры, другой сенсор

Проверим устойчивость. Сдвинем все тестовые изображения на один пиксель вбок — объекты те же, класс тот же, человек не заметит разницы. Encoder заметит.

Recall@1 падает с $63{,}1\%$ до $8{,}0\%$, доля попаданий в верный класс — с $92{,}6\%$ до $45{,}6\%$, точность zero-shot по прототипам — с $71{,}4\%$ до $15{,}9\%$. При этом отношение средних длин векторов до нормировки

$$\rho=\frac{\mathbb E\|v^{\text{сдвиг}}\|}{\mathbb E\|v\|}=1{,}87$$

выросло почти вдвое: сеть «кричит», что вход непривычен, но нормировка стирает этот крик, и в косинусной близости он не виден.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Отсюда правило разбиения данных. Если бы соседние наблюдения попали и в обучение, и в тест, мы измерили бы не перенос, а память: близкие объекты почти дублируют друг друга. Для спутниковых снимков это буквально так — соседние фрагменты одной сцены различаются именами файлов, но не содержанием. Географическое разбиение вместо случайного — тот же принцип, что и в уроке про train/val/test, только «утечка» здесь географическая.

Смещения веб-пар: подпись описывает не то, что на снимке

В настоящих web-парах текст часто говорит о странице, а не об изображении. Подпись «нажмите для покупки» ничего не сообщает о товаре. Мем содержит слова прямо в пикселях, и модель может научиться их читать вместо распознавания сцены. Водяной знак фотобанка коррелирует с тематикой снимка.

Контрастивная модель усваивает всё, что помогает отличать пары: шаблоны подписей, стиль фотостока, разрешение, географические и социальные стереотипы, популярность знаменитостей. Она не отличает признак «полезный» от признака «удобный», потому что objective спрашивает только про выбор пары.

Отсюда обязательная часть работы — аудит. Строят сбалансированные наборы изображений и контрфактические промпты, в которых меняется единственный чувствительный атрибут при сохранении профессии или занятия, и смотрят на сдвиг близости. Вывод о конкретном человеке по такой близости делать нельзя никогда: цель аудита — обнаружить смещение представления, а не «измерить» людей. Тема продолжает разговор о том, откуда берётся бесплатная разметка, из урока 78.

Лаборатория общего пространства

После нормировки всё пространство помещается на окружность, поэтому лаборатория рисует именно её. Круги — снимки, квадраты — подписи; стрелки показывают силы, действующие на подписи со стороны первого снимка: зелёная притягивает свою пару, красные отталкивают соперников. Сдвиньте подпись $T_2$ вплотную к снимку $I_1$ и уменьшайте температуру: смотрите, как доля отталкивания, доставшаяся ближайшему сопернику, растёт к сотне процентов, а остальные соперники перестают получать хоть какой-то сигнал.

Затем переключите режим на «две верных подписи». Числитель становится мультипозитивным, красная стрелка у $T_2$ гаснет — модель больше не расталкивает то, что должно стоять рядом. Кнопка «шаг обучения» честно применяет градиент к обеим модальностям: нажмите её несколько раз в обоих режимах и сравните итоговую картину. При одном положительном пары выстраиваются равномерно по окружности, при двух — сливаются в общий кластер. Это и есть выбор между «различать экземпляры» и «различать классы», который мы измеряли числами.

Куда это ведёт: генерация и переоптимизация метрики

Text-image пространство редко остаётся самостоятельным продуктом. Его вектор служит условием для генератора, отбирает подписи, работает перцептивной метрикой качества. В diffusion-модели текстовое условие обычно входит через cross-attention, а CLIP-подобный encoder участвует в фильтрации обучающих данных и в оценке результата.

И здесь подстерегает ловушка. Пусть кто-то решает задачу

$$x^\star=\arg\max_{x}\ \bar v(x)^\top\bar u(\text{текст}),$$

то есть максимизирует близость к тексту прямо в пикселях, получится изображение с артефактами и высокой близостью: метрика измеряет то, что ей задали, а не то, что мы имели в виду.

Практический вывод: держать оценку и оптимизацию врозь. Модель, по которой считается перцептивная близость, не должна совпадать с моделью, которую оптимизируют; независимая человеческая оценка обязательна; сравнение двух систем при разных настройках приближённого индекса поиска нечестно, потому что инфраструктурная погрешность легко съедает разницу представлений.

Пара определяет пространство

Контрастивный loss создаёт общий язык не тем, что «понимает» смысл, а тем, что заставляет решать задачу выбора. Всё, что мы измерили, — следствия того, как эта задача поставлена: температура решает, кому достанется штраф ($76{,}8\%$ одному сопернику при $\tau=0{,}02$ против $0{,}6\%$ при $\tau=0{,}5$); размер партии определяет число соперников и вместе с ним число ложных отрицательных ($6{,}28$ на строку при $B=64$); определение положительного выбирает между поиском экземпляра ($63{,}1\%$) и поиском класса ($94{,}3\%$); размер пула меняет метрику вчетверо при неизменной модели; сдвиг на один пиксель роняет Recall@1 в восемь раз.

Общее пространство полезно ровно настолько, насколько честно определены пары. Это старая мысль Загоруйко о конкурентном сходстве, записанная через softmax: близость не абсолютна, она всегда «ближе, чем кто».

Задачи