GAN: генератор против дискриминатора

GAN обучает две сети в игре. Судья ищет отличие настоящего распределения от сгенерированного, генератор меняет свои примеры по этому сигналу. Равновесие красиво на бумаге: в нём судья беспомощен, а подделка неотличима от правды. Но траектория обучения может вращаться, схлопываться и забывать целые режимы данных, и никакая кривая потерь об этом не сообщит.

Фальшивомонетчик и эксперт

Пусть $z\sim p_z$ — простой шум, а генератор $G_\theta(z)$ создаёт объект $x$. Распределение его выходов обозначим $p_g$. Судья (discriminator) $D_\phi(x)\in(0,1)$ оценивает вероятность того, что объект пришёл из реальных данных $p_{\mathrm{data}}$, а не из мастерской генератора.

Исходная минимаксная игра записывается одной строкой:

$$\min_G\max_D V(D,G)= \mathbb E_{x\sim p_{\mathrm{data}}}\log D(x) + \mathbb E_{z\sim p_z}\log\bigl[1-D(G(z))\bigr].$$

Распределение $p_g$ задано неявно — как образ шума под действием сети:

$$p_g=G_\theta\#p_z,\qquad x=G_\theta(z),\;z\sim p_z .$$

Судья максимизирует правильность различения, генератор минимизирует её. Важная особенность: у генератора нет готового правильного ответа для каждого $z$. Никто не говорит ему «вот такую картинку надо было выдать». Градиент приходит к нему только через судью — то есть через обучаемую функцию потерь.

Это состязательное (adversarial) обучение, но не обязательно злонамеренная атака, как в уроке про атаки на модели. Соперник здесь служит измерительным прибором: он превращает расплывчатое «похоже на правду» в конкретное число, по которому можно взять производную.

Судья, который читает отношение плотностей

Начнём не с сетей, а с честной арифметики. Возьмём реальные данные — 17 379 часов работы велопроката из урока про регрессию. Число поездок за час имеет среднее 189,5, медиану 142 и стандартное отклонение 181,4: распределение сильно скошено вправо. Пусть «генератор» — не сеть, а простая вероятностная модель, подогнанная под эти данные. Возьмём две: нормальную с тем же средним и той же дисперсией и логнормальную.

При фиксированном $G$ оптимального судью можно найти вообще без обучения. Запишем $V$ как интеграл, в котором каждая точка $x$ разбирается отдельно и независимо от остальных:

$$V(D,G)=\int\Bigl[p_{\mathrm{data}}(x)\log D(x)+p_g(x)\log(1-D(x))\Bigr]dx .$$

Теперь максимизируем подынтегральное выражение по одному числу $D(x)$:

$$p_{\mathrm{data}}(x)\log D+p_g(x)\log(1-D)\to\max_D,$$ $$\frac{p_{\mathrm{data}}(x)}{D}-\frac{p_g(x)}{1-D}=0 \quad\Longrightarrow\quad D^*(x)= \frac{p_{\mathrm{data}}(x)} {p_{\mathrm{data}}(x)+p_g(x)}.$$

Никакой мистики: идеальный судья — это перенормированное отношение плотностей, ровно тот же объект, что и апостериорная вероятность класса в формуле Байеса при равных априорных долях настоящих и поддельных объектов.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Нормальный генератор проваливается ещё и физически: 14,8% его массы приходится на отрицательное число поездок за час. Судье даже не нужна тонкая статистика, чтобы поймать такую подделку, — достаточно посмотреть на знак.

Что на самом деле минимизирует генератор

Подставим $D^*$ обратно в $V$. После группировки получается

$$V(D^*,G)= \mathbb E_{p_{\mathrm{data}}} \log\frac{p_{\mathrm{data}}}{p_{\mathrm{data}}+p_g} + \mathbb E_{p_g} \log\frac{p_g}{p_{\mathrm{data}}+p_g},$$

а если внести множитель $2$ под логарифм и вычесть его снаружи —

$$V(D^*,G)= -\log4+ 2\,\operatorname{JS} (p_{\mathrm{data}}\,\|\,p_g),$$

где

$$\operatorname{JS}(p\|q)= \tfrac12\operatorname{KL}\!\left(p\,\Big\|\,\tfrac{p+q}2\right) +\tfrac12\operatorname{KL}\!\left(q\,\Big\|\,\tfrac{p+q}2\right).$$

Минимум достигается при $p_g=p_{\mathrm{data}}$, тогда $\operatorname{JS}=0$, $D^*(x)\equiv1/2$ и $V=-\log4\approx-1{,}386$. Проверим на наших данных: нормальный генератор даёт $V=-1{,}313$, логнормальный $-1{,}342$ — ближе к идеальному $-1{,}386$, что и соответствует меньшей JS. Значение игры честно ранжирует две модели.

Полезно помнить границы этой величины:

$$0\le\operatorname{JS}(p\|q)\le\log2, \qquad -\log4\le V(D^*,G)\le0 .$$

Оговорка, без которой формула вводит в заблуждение: всё это описывает идеальное равновесие при бесконечно выразительных сетях и оптимальном судье на каждом шаге. Реальные сети обновляются попеременно, судья всегда чуть отстаёт, и доказанное равновесие — лишь цель, а не описание происходящего.

Когда подделка очевидна, уклон исчезает

В начале обучения генератор плох, и судья уверенно ставит на подделке $D(G(z))\approx0$. Посмотрим, что при этом чувствует генератор. Насыщающая (исходная минимаксная) цель

$$\mathcal L_G^{\mathrm{sat}} =\mathbb E_z\log\bigl[1-D(G(z))\bigr], \qquad \left|\frac{\partial\mathcal L^{\mathrm{sat}}_G}{\partial D}\right| =\frac1{1-D},$$

при $D=0{,}05$ даёт модуль градиента 1,05. Non-saturating цель

$$\mathcal L_G^{\mathrm{NS}} =-\mathbb E_z\log D(G(z)), \qquad \left|\frac{\partial\mathcal L^{\mathrm{NS}}_G}{\partial D}\right| =\frac1D,$$

при том же $D=0{,}05$ даёт 20,0 — в 19 раз больше. Разрыв ещё нагляднее, если считать градиент по логиту $s$, где $D=\sigma(s)$:

$$\left|\frac{\partial}{\partial s}\log(1-\sigma(s))\right|=\sigma(s), \qquad \left|\frac{\partial}{\partial s}\bigl(-\log\sigma(s)\bigr)\right|=1-\sigma(s).$$

До весов генератора этот множитель доходит по цепному правилу обратного распространения:

$$\frac{\partial\mathcal L_G}{\partial\theta} =\mathbb E_z\left[ \frac{\partial\mathcal L_G}{\partial D}\cdot \nabla_xD(x)\Big|_{x=G(z)}\cdot \frac{\partial G_\theta(z)}{\partial\theta}\right],$$

так что маленький первый сомножитель обнуляет всё произведение независимо от того, насколько хороша архитектура генератора. При $s=-4$ (то есть $D=0{,}018$) насыщающая цель передаёт генератору 0,018, а non-saturating — 0,982: отношение 54,6. Одна и та же уверенность судьи для первой цели означает «уклона нет», для второй — «уклон максимален».

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Это тот же сюжет, что и с выбором функции потерь: равенство минимумов не означает равенства траекторий. Формулировка цели — это выбор не только «куда», но и «насколько круто».

Почему обучение вращается

Разница между минимизацией и игрой глубже, чем формулировка потери. Возьмём простейшую игру $V(x,y)=xy$: игрок $x$ минимизирует, игрок $y$ максимизирует. Равновесие очевидно — точка $(0,0)$. Одновременный градиентный шаг:

$$x_{t+1}=x_t-\eta y_t,\qquad y_{t+1}=y_t+\eta x_t,$$

или в матричной форме

$$\begin{pmatrix}x_{t+1}\\y_{t+1}\end{pmatrix} = \begin{pmatrix}1&-\eta\\ \eta&1\end{pmatrix} \begin{pmatrix}x_t\\y_t\end{pmatrix}.$$

Её собственные значения и их модуль равны

$$\lambda_{1,2}=1\pm i\eta, \qquad |\lambda_{1,2}|=\sqrt{1+\eta^2}>1 \quad\text{при любом }\eta>0 .$$

Значит,

$$r_{t+1}^2=x_{t+1}^2+y_{t+1}^2=(1+\eta^2)\,r_t^2,$$

и расстояние до равновесия строго растёт. За 100 шагов из точки $(1,0)$ радиус становится равен 1,005 при $\eta=0{,}01$, 1,64 при $\eta=0{,}1$ и 70 065 при $\eta=0{,}5$. Уменьшение шага замедляет катастрофу, но не меняет её знака: в игре векторное поле обновлений содержит вращательную часть, у которой нет потенциала.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Вот почему в градиентном спуске кривая потери падает, а в GAN она не обязана падать вовсе. Отсюда же весь арсенал лечения: разные частоты обновления игроков, осторожный моментум, экстраградиентные и «раскрученные» (unrolled) схемы, регуляризация градиента судьи.

Красовский: равновесие есть, а как в него попасть?

Что существование равновесия не решает задачу движения к нему, математики поняли задолго до GAN. Николай Николаевич Красовский и его свердловская школа занимались позиционными дифференциальными играми: две управляемые системы, одна стремится к сближению, другая к уклонению, и решение приходится принимать не один раз, а непрерывно, зная лишь текущее состояние. Красовский и Субботин доказали теорему об альтернативе: игра имеет цену, седловая точка в классе позиционных стратегий существует. Но главным их вкладом было другое — конструкция экстремального прицеливания: правило, по которому игрок на каждом шаге целится в сопровождающую точку идеальной траектории, отвечая на фактическое поведение соперника, а не на его предполагаемое поведение.

Для нас важна методологическая мораль. Красовский отделил два вопроса, которые в наивном изложении GAN сливаются в один: «существует ли равновесие» и «какое правило пошагового поведения к нему ведёт». Первый вопрос решается теоремой, второй — конструкцией стратегии. Обучение GAN живёт целиком во втором вопросе: доказанное $p_g=p_{\mathrm{data}}$ ничего не говорит о том, что делают Adam, батч из 128 объектов и поочерёдные обновления.

Схлопывание мод: узкий латент на реальных цифрах

Перейдём к настоящему обучению. Возьмём реальные данные — 1797 рукописных цифр из sklearn — и спроецируем их на две дискриминантные оси, чтобы получить двумерное распределение с десятью честными модами (по одной на цифру). Модой считаем окрестность центра класса радиуса 0,412 (медиана внутриклассового расстояния); мода покрыта, если в неё попал хотя бы 1% выборки генератора.

Формально доля выборки в моде $k$ и признак покрытия записываются так:

$$\pi_k=\frac1M\sum_{j=1}^M \mathbb 1\bigl[\,\|\hat x_j-c_k\|\le r\;\wedge\; k=\arg\min_l\|\hat x_j-c_l\|\,\bigr], \qquad \text{мода покрыта}\iff\pi_k\ge0{,}01 .$$

Обучаем маленький GAN на numpy: генератор $z\to64\to64\to2$, судья $2\to64\to64\to1$, LeakyReLU, Adam, non-saturating цель, 6000 шагов. Меняем одну вещь — размерность шума. При $z\in\mathbb R^8$ генератор к концу покрывает все 10 мод из 10. При $z\in\mathbb R^1$ образ генератора — кривая: одномерная линия физически не может одновременно накрыть десять островов. Покрытие колеблется между 1 и 8 модами, в среднем 4,9, к шагу 6000 равно 5. За обучение покрытие падало 21 раз, и каждая из 10 мод хотя бы однажды была потеряна и позже возвращена.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Причина схлопывания не сводится к нехватке размерности. Судья видит один батч и не наказывает за отсутствие редкой моды сразу; генератор получает похожие градиенты для разных $z$ и сносит их в одну область; судья наконец обучается ловить это скопление, генератор перебегает в другое место — и цикл повторяется. Узкий латент лишь делает механизм наглядным.

Реализм и покрытие — две разные оси

Соблазнительно свести качество генератора к одному числу. Наш эксперимент показывает, чем это кончается. Посчитаем по методу ближайших соседей две величины: precision — долю сгенерированных объектов, попавших в многообразие реальных данных, и recall — долю реальных объектов, попавших в многообразие сгенерированных ($k=5$, по 600 объектов в каждой выборке).

$$\text{precision}= \frac1M\sum_{j=1}^M\mathbb 1\bigl[\hat x_j\in \mathcal M(\text{real})\bigr], \qquad \text{recall}= \frac1n\sum_{i=1}^n\mathbb 1\bigl[x_i\in \mathcal M(\text{fake})\bigr].$$

Многообразие здесь определяется через $k$-го ближайшего соседа: точка считается принадлежащей выборке, если она попала в чей-нибудь шар радиуса до $k$-го соседа,

$$\mathcal M(\text{real})= \bigcup_{i=1}^n B\bigl(x_i,\;\|x_i-\mathrm{NN}_k(x_i)\|\bigr).$$

Для генератора с $z\in\mathbb R^8$: precision 0,96, recall 0,99. Для схлопнувшегося с $z\in\mathbb R^1$: precision 0,98 — выше! — а recall 0,10. Схлопнувшийся генератор делает почти безупречные объекты; он просто делает их десятую часть от нужного разнообразия.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Та же логика знакома по оценке классификатора: точность и полнота меряют разные ошибки, и их среднее скрывает, какая именно случилась. У генеративных моделей роль полноты играет покрытие распределения, и его нужно измерять специально.

Кривая потерь не ведёт счёт матча

В обычном обучении падение потери — сигнал прогресса. В GAN это не так, и у нас есть число: корреляция между потерей генератора и числом покрытых мод по всей истории обучения равна 0,02. Практически ноль. Формально это обычный коэффициент корреляции по 61 замеру:

$$\rho= \frac{\operatorname{cov}\bigl(\mathcal L_G(t),\,K(t)\bigr)} {\sqrt{\operatorname{Var}\mathcal L_G(t)\cdot\operatorname{Var}K(t)}} =0{,}02,$$

где $K(t)$ — число покрытых мод на шаге $t$. Финальные значения потерь — 1,35 у судьи и 0,70 у генератора — не отличают модель, покрывающую 5 мод, от модели, покрывающей 10.

Отсюда практическое правило: чекпойнт нельзя выбирать по кривой потерь. Нужны независимые измерения — покрытие, precision/recall, расстояние до реальных объектов — и протокол выбора, зафиксированный заранее, как в уроке про валидацию. Если метрики колеблются, честнее сообщить диапазон последних чекпойнтов, чем единственное удачное число.

Wasserstein: мера, у которой не кончается уклон

Слабое место JS видно на простом примере. Пусть данные — узкое распределение около нуля, а генератор — такое же, сдвинутое на $\theta$. При $\theta=1$ и $\theta=2$ носители практически не пересекаются, и JS равна 1,000 бит в обоих случаях: её производная по $\theta$ численно равна $3\cdot10^{-5}$, то есть нулю. Мера не может подсказать, в какую сторону двигаться, потому что она уже на потолке.

Расстояние Вассерштейна-1 ведёт себя иначе:

$$W_1(p,q)= \inf_{\gamma\in\Pi(p,q)} \mathbb E_{(x,y)\sim\gamma}\|x-y\| = \int_{-\infty}^{\infty}\bigl|F_p(t)-F_q(t)\bigr|\,dt.$$

В нашем примере $W_1=|\theta|$: 1,00 при $\theta=1$ и 2,00 при $\theta=2$, наклон равен единице всюду. Уклон есть даже там, где распределения не пересекаются вовсе.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Отсюда WGAN: вместо вероятностного судьи вводится критик $f$ и приближается двойственная форма Канторовича–Рубинштейна:

$$W_1(p_{\mathrm{data}},p_g)= \sup_{\|f\|_L\le1} \Bigl(\mathbb E_{x\sim p_{\mathrm{data}}}f(x) -\mathbb E_{z}f(G(z))\Bigr).$$

На практике оба матожидания заменяются средними по батчу:

$$\widehat W_1= \frac1B\sum_{i=1}^Bf(x_i)- \frac1B\sum_{i=1}^Bf(G(z_i)).$$

Ограничение 1-липшицевости здесь не украшение: без него супремум бесконечен. Его обеспечивают штрафом за градиент

$$\lambda\, \mathbb E_{\widehat x} \bigl(\|\nabla_{\widehat x}f(\widehat x)\|_2-1\bigr)^2, \qquad \widehat x=\alpha x+(1-\alpha)G(z),\;\alpha\sim U[0,1],$$

то есть на отрезках между реальными и поддельными объектами. Выход критика нельзя читать как вероятность: это число произвольного масштаба, у которого осмысленна только разность средних.

Лаборатория игры

Здесь всё считается точно: данные — модельная смесь двух гауссовых мод (пример придуман, а не взят из наблюдений), судья не обучается, а берётся оптимальным для текущего генератора. Уведите центр генератора далеко от данных ($\mu=4{,}5$): JS упрётся в 0,984 бит, $W_1$ покажет 4,90, а модуль градиента по $\mu$ у насыщающей цели составит 0,028 против 6,08 у non-saturating — разница в 217 раз. Это ровно тот случай, ради которого меняли формулировку потери.

Затем поставьте генератор точно на левую моду ($\mu=-2$, доля второй моды 0): получится идеальное схлопывание — precision 0,99 при recall 0,60 и JS 0,236. Раздуйте ширину ($\sigma=2{,}5$, $\mu=0$) — картина зеркальная: recall 1,00, но precision 0,62. И только когда доля второй моды поднята до 0,4, а центр стоит на $-2$, обе плотности совпадают и JS обращается в нуль. Три способа быть неправым и один — правым.

Как честно проверять генератор

Аудит генератора — это не одна метрика, а протокол. Минимальный список:

• сетка выборок при фиксированных $z$ на всех чекпойнтах — показывает, как меняются одни и те же латентные точки;
• сетка при свежих $z$ — показывает текущее распределение;
• доля каждой моды по времени (тепловая карта рисунка 82.4);
• precision и recall по методу ближайших соседей;
• расстояния до ближайших обучающих объектов — тест на копирование;
• разнообразие внутри класса для условных моделей.

Если сетка с фиксированными $z$ улучшается, а покрытие свежих выборок падает, генератор точечно полирует часть пространства. Если качество выросло сразу по всем осям — вероятно, честно.

Схлопывание и запоминание — разные болезни

Генератор выдаёт мало разного по двум противоположным причинам. При схлопывании множество $z$ отображается почти в одну область. При запоминании выходы разнообразны, но подозрительно близки к конкретным обучающим объектам. Тесты нужны разные.

Проверка на запоминание строится на сравнении двух расстояний. Разобьём реальные данные на обучающую часть и отложенную, которую генератор не видел, и для каждой сгенерированной точки найдём ближайшего соседа в обеих. В нашем эксперименте медиана расстояния до обучающих равна 0,050, до отложенных — 0,065; отношение 1,30. Небольшая систематическая близость к обучающим есть — она и должна быть, ведь генератор учился именно на них, — но разрыв не похож на копирование, при котором расстояние до обучающих упало бы почти до нуля.

Дополнительно применяют тест дня рождения: в большом сгенерированном наборе ищут почти-дубликаты друг друга. Частые столкновения означают малый эффективный носитель распределения. И измеряют локальную чувствительность: для пар близких кодов $z$ и $z+\delta$ смотрят, насколько различаются выходы. Если

$$\frac{\|G(z+\delta)-G(z)\|}{\|\delta\|}\approx0$$

в больших областях латента, значит направления в нём ничего не меняют — это геометрический признак схлопывания, дополняющий подсчёт мод.

GAN среди других генераторов

Автокодировщик и VAE задают явный вероятностный энкодер и компромисс между реконструкцией и априорным распределением; их обучение — минимизация одной функции, а не игра, и потому оно устойчивее, но результаты обычно более размытые. Диффузионные модели учат многошаговое расшумление: обучение сводится к регрессии и стабильно, зато генерация требует десятков проходов. GAN порождает объект за один проход и способен на резкие детали, но платит за это хрупкой динамикой.

Равновесие не гарантирует траекторию

GAN сопоставляет два распределения через обучаемого критика — и это красивая идея: функция потерь перестаёт быть выдумкой инженера и становится результатом обучения. Идеальный оптимум описан точно: $D^*=p_{\mathrm{data}}/(p_{\mathrm{data}}+p_g)$, $V=-\log4+2\operatorname{JS}$, минимум при совпадении распределений. Но путь к нему проходит по векторному полю с вращением, а не по склону: в игре $V=xy$ одновременный шаг уводит от равновесия при любом $\eta$. По дороге исчезает уклон у насыщающей цели, гаснут и загораются моды, а кривые потерь остаются немы: корреляция потери генератора с покрытием 0,02.

Практический вывод короток. Формулировку цели выбирают по силе градиента, а не только по расположению минимума. Обучение проверяют раздельно по трём осям — реализм, покрытие, копирование, — и обязательно во времени, а не по последнему чекпойнту. А доказанное существование равновесия, как учил Красовский, — это ответ на другой вопрос, чем «как ходить». Следующий шаг — посмотреть, что происходит с геометрией латентного пространства, когда игру удаётся стабилизировать.

Задачи