StyleGAN и состязательные атаки

StyleGAN разделяет случайный код и управление масштабами генератора: ранние уровни задают геометрию, поздние уточняют текстуру. Та же чувствительность нейросетей, которая делает редактирование плавным, напоминает о другой стороне — малые направленные возмущения могут резко менять решение. В этом уроке мы доводим оба сюжета до чисел: собственный маленький генератор, у которого можно измерить всё, и классификатор, который ломается от сдвига в шесть сотых шкалы яркости.

Почему исходный шум неудобен

В обычном GAN шум $z\sim\mathcal N(0,I)$ подаётся прямо в generator. Координаты $z$ не обязаны соответствовать осмысленным изменениям: путь между двумя кодами может менять позу, фон и идентичность одновременно. Причина проста. Распределение реальных картинок занимает в пространстве пикселей искривлённое множество малой размерности, а $\mathcal N(0,I)$ — идеально круглый шар. Чтобы натянуть шар на кривое множество, генератор вынужден сильно растягивать одни направления и сминать другие, и «прямая» в $z$ превращается в петляющую траекторию на многообразии.

StyleGAN вводит промежуточное отображение (mapping network):

$$w=f(z),\qquad f:\mathbb R^{512}\to\mathbb R^{512},$$

а affine-преобразования $A_\ell(w)$ управляют слоями synthesis network:

$$h_{\ell+1}=\mathrm{Conv}_\ell\bigl(h_\ell;\ \theta_\ell,\ s_\ell=A_\ell(w)\bigr).$$

Mapping может «развернуть» распределение: у $w$ нет обязанности быть гауссовым, и сеть вольна отдать искривление отображению $f$, оставив synthesis более ровным. Generator при этом начинает не с пространственной карты, полученной из $z$, а с обучаемой константы $h_0$ размера $4\times4$; на каждом масштабе style модулирует каналы свёртки, а отдельный случайный noise добавляет мелкие стохастические детали вроде отдельных волосков.

Обратите внимание на слово «возникающему». Разделение не задано формулой и не гарантировано теоремой: это наблюдение, которое надо проверять измерением каждый раз заново. Именно такую проверку мы и построим.

Модуляция и демодуляция

Пусть style даёт коэффициенты $s_i$ для входных каналов свёртки. Веса модулируются:

$$w'_{ijk}=s_i\,w_{ijk}.$$

Затем demodulation нормирует выходной канал:

$$w''_{ijk}= \frac{w'_{ijk}} {\sqrt{\sum_{i,k}(w'_{ijk})^2+\varepsilon}}.$$

Смысл второй формулы виден, если посчитать дисперсию выхода. Для входа с единичной дисперсией и независимых координат

$$\operatorname{Var}\Bigl(\sum_{i,k}w'_{ijk}x_{ik}\Bigr)=\sum_{i,k}(w'_{ijk})^2,$$

так что деление на корень из этой суммы возвращает выходу масштаб около единицы при любом style. Style меняет относительный вклад каналов, а не громкость сигнала; сеть не сползает в насыщение и не гаснет.

Path length regularization поощряет одинаковый масштаб изменения изображения при одинаковом шаге в latent:

$$\mathbb E_{w,y} \left( \|J_w^\top y\|_2-a \right)^2,\qquad J_w=\frac{\partial G(w)}{\partial w}.$$

Она делает геометрию более ровной, но не гарантирует независимых семантических осей: ровность длины шага и независимость смыслов — разные требования.

Генератор, у которого можно измерить всё

Проверять заявления про StyleGAN на самом StyleGAN трудно: веса весят гигабайты, а один эксперимент занимает часы. Поэтому дальше мы работаем с честной уменьшенной моделью. Возьмём реальные рукописные цифры (набор load_digits: $1797$ изображений $8\times8$, значения яркости от $0$ до $16$), разделим их на $1257$ обучающих и $540$ тестовых и построим линейный генератор

$$G(w)=m+\sum_{j=1}^{K}w_j v_j=m+Vw,\qquad K=20,$$

где $m$ — средний образ, а $v_j$ — главные направления обучающей выборки из урока про PCA. Это не GAN: отображение линейно, и никакой дискриминатор здесь не спорит с генератором. Но два интересующих нас свойства у него настоящие. Во-первых, код входит на разных масштабах: ранние оси несут крупную геометрию, поздние — мелкие детали. Во-вторых, у него есть выученное многообразие, вне которого инверсия не работает. Всё, что ниже, посчитано скриптом на этих данных и заассерчено.

Первые четыре оси объясняют $48{,}6\%$ разброса, оси с семнадцатой по двадцатую — всего $4{,}5\%$, а все двадцать вместе — $89{,}4\%$. Это уже подсказывает, кто отвечает за форму, а кто за отделку.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Смешение стилей как измеримый эксперимент

Возьмём два кода $w_A$ и $w_B$. До границы $c$ используем координаты $A$, после — координаты $B$:

$$w^{(c)}=\bigl(w_{A,1},\ldots,w_{A,c},\ w_{B,c+1},\ldots,w_{B,K}\bigr).$$

При $c=0$ получается ровно $B$, при $c=K$ — ровно $A$. Матрица mixing experiment должна показывать не лучшие четыре примера, а фиксированную сетку источников и границу слоёв.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Чтобы не спорить впечатлениями, введём измеримые признаки. Все три — линейные функционалы изображения, поэтому доля наследования считается однозначно:

$$f_{\text{крупн}}(I)=\frac1{64}\sum_{x,y}(x-3{,}5)\,I_{xy},\qquad f_{\text{чернил}}(I)=\frac1{64}\sum_{x,y}I_{xy},$$ $$f_{\text{мелк}}(I)=\frac1{64}\sum_{x,y}(-1)^{x+y}I_{xy}.$$

Последний — коэффициент при самой высокой пространственной частоте («шахматная мода»): мельче на решётке $8\times8$ уже ничего нет. Для каждой границы посчитаем долю признака, унаследованную от A:

$$S_f(c)=\frac{f\bigl(G(w^{(c)})\bigr)-f\bigl(G(w_B)\bigr)} {f\bigl(G(w_A)\bigr)-f\bigl(G(w_B)\bigr)}.$$

По $200$ парам тестовых цифр берём медиану — она устойчива к парам, у которых знаменатель случайно мал.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Чтобы шаг значил одно и то же

У StyleGAN есть неприятность, которую легко увидеть на стенде. Если писать код в «сырых» единицах главных компонент, шаг длины $1$ по первой оси двигает картинку в $4{,}0$ раза сильнее, чем такой же шаг по двадцатой: стандартные отклонения координат различаются во столько же раз. Ползунок в интерфейсе редактора при этом честно показывает «единицу» и там и там, а пользователь видит то землетрясение, то ничего.

$$\|G(w+\delta e_j)-G(w)\|_2=|\delta|\,\|v_j\|_2=|\delta|, \qquad\text{но}\qquad \delta_j^{\text{типичный}}\propto\sqrt{\lambda_j}.$$

Отношение крайних масштабов и есть измеренная четвёрка:

$$\frac{\sqrt{\lambda_1}}{\sqrt{\lambda_{20}}}=4{,}0 .$$

Отсюда рецепт: измерять шаг в единицах разброса самой координаты ($\delta_j=\alpha\sqrt{\lambda_j}$) либо, как в StyleGAN, штрафовать отклонение $\|J_w^\top y\|_2$ от постоянной. Обе меры — про одно: сделать слово «шаг» осмысленным.

Лаборатория масштаба

Первая вкладка: два кода, ползунок границы смешения и два измеримых признака — крупный (горизонтальный момент) и мелкий (шахматная мода). Передвигайте границу и следите не за впечатлением, а за числами в правой колонке: крупный признак уходит к источнику A уже на первых координатах, мелкий держится за B почти до конца. Нажмите «новые источники» несколько раз — порядок сохраняется, а конкретные проценты пляшут: это и есть разница между тенденцией и законом.

Вторая вкладка: к картинке прибавляется возмущение с одинаковым бюджетом на каждый пиксель — один раз вдоль знаков весов линейной оценки, один раз со случайными знаками. Картинки выглядят одинаково зашумлёнными; сдвиг оценки различается в несколько раз. Ползунок $\varepsilon$ показывает, что дело не в величине шума, а в его направлении.

Инверсия: найти код существующей картинки

Для реального $x$ ищут $w$:

$$w^*=\arg\min_w \left[ \lambda_{\mathrm{pix}}\|G(w)-x\|_2^2 +\lambda_{\mathrm{perc}} \|\phi(G(w))-\phi(x)\|_2^2 \right].$$

Pixel loss хранит точные цвета, perceptual loss — признаки сети $\phi$. В линейном стенде с ортонормированным базисом задача решается в одну строку:

$$w^*=V^\top(x-m),\qquad G(w^*)=m+VV^\top(x-m),$$

то есть инверсия — ортогональная проекция на выученное подпространство, а ошибка равна норме составляющей, которая в него не попала:

$$\|x-G(w^*)\|_2^2=\|(I-VV^\top)(x-m)\|_2^2.$$

Отсюда главный вывод про инверсию: она честно восстанавливает только то, что лежит на многообразии. Средняя ошибка на реальных тестовых цифрах при $K=20$ равна $1{,}38$ уровня яркости на пиксель (при шкале $0..16$). Та же процедура на «шахматке» даёт $9{,}15$, на «рамке» — $8{,}76$: в $6{,}6$ раза хуже, чем на цифрах. Генератор не умеет сказать «это не цифра» — он говорит ближайшую цифру.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Расширенное пространство $W^+$ разрешает отдельный style каждому слою и реконструирует лучше — в стенде это соответствует росту $K$. При $k=40$ средняя ошибка восстановления $0{,}45$ против $2{,}15$ при $k=10$: почти впятеро точнее. Но за это платят устойчивостью редактирования, и это тоже измеримо.

Некорректная задача и спасительный компакт

Инверсия — типичная обратная задача: по результату $x$ восстановить причину $w$. Такие задачи знамениты своей неустойчивостью.

Стоит нарушиться третьему условию — и малый шум в $x$ даёт огромное изменение в $w$. В нашем стенде это видно на формуле: если бы мы разрешили латенту размерность $64$ и стали приближать пиксели точно, коэффициенты при осях с крошечными $\lambda_j$ ловили бы чистый шум и разлетались.

Здесь и вступает советская школа обратных задач, и в этом уроке её представляют двое Лаврентьевых. Михаил Алексеевич Лаврентьев в 1930-е годы построил теорию квазиконформных отображений: он предложил измерять отображение не одной производной, а характеристикой искажения — тем, во сколько раз маленькая окружность превращается в вытянутый эллипс, и в какую сторону этот эллипс наклонён. Это ровно тот язык, на котором сегодня говорят о якобиане генератора: path length regularization требует, чтобы искажение было ограничено, то есть чтобы отображение оставалось «почти конформным» и шаг в латенте значил одно и то же в любой точке.

Михаил Михайлович Лаврентьев (сын) в книге «О некоторых некорректных задачах математической физики» (1962) ввёл понятие условной корректности: задача, неустойчивая на всём пространстве, становится устойчивой, если заранее известно, что решение принадлежит компактному множеству. Оценка условной устойчивости имеет вид

$$\|w_1-w_2\|\le\omega\bigl(\|G(w_1)-G(w_2)\|\bigr), \qquad w_1,w_2\in M,$$

где $M$ компактно, а $\omega$ — модуль непрерывности, стремящийся к нулю. Именно это и делает генератор: он сужает множество допустимых картинок до своего многообразия и тем превращает безнадёжную задачу «найти код по пикселям» в разрешимую. Обратная сторона той же медали — то, что мы уже измерили: всё, что лежит вне $M$, будет насильно приведено к ближайшей точке $M$, и шахматка станет цифрой.

Редактирование: цель и побочный эффект

После инверсии можно двигать $w^*+\alpha d$, где $d$ — найденное направление признака. Найдём его честно: линейной регрессией предскажем количество чернил по коду. Модель объясняет $95{,}8\%$ дисперсии признака, а нормированный вектор коэффициентов и есть направление «жирности».

$$d=\frac{\nabla_w\widehat{f}_{\text{чернил}}(w)} {\|\nabla_w\widehat{f}_{\text{чернил}}(w)\|},\qquad \widehat f(w)=b_0+b^\top w.$$

Шаг измеряем в единицах разброса самого признака вдоль $d$ ($\sigma_d=5{,}23$). Целевой эффект растёт монотонно: при $\alpha=3\sigma_d$ чернил становится больше на $1{,}30$ уровня яркости, при $\alpha=8\sigma_d$ — на $3{,}13$. Побочный эффект тоже виден: доля картинок, у которых классификатор не поменял ответ, падает со $100\%$ при $\alpha\le\sigma_d$ до $98\%$ при $3\sigma_d$ и $92\%$ при $8\sigma_d$. У направления есть рабочий диапазон, и интерфейс редактора обязан его показывать, а не молча экстраполировать.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Состязательное возмущение

Теперь вторая половина урока. Тот же вопрос — как реагирует функция на маленький сдвиг входа — но с враждебной целью. Обучим на тех же цифрах многоклассовую логистическую регрессию: чистая точность на тесте $97{,}4\%$. Атакуем в ограничении $\|\delta\|_\infty\le\varepsilon$ методом FGSM:

$$x_{\mathrm{adv}}= x+\varepsilon\operatorname{sign} \nabla_x\mathcal L(f_\theta(x),y).$$

Почему знак, а не сам градиент? Потому что при линейном приближении

$$\mathcal L(x+\delta)\approx\mathcal L(x)+\delta^\top\nabla_x\mathcal L,$$

и максимум линейной функции на кубе $\|\delta\|_\infty\le\varepsilon$ достигается в его вершине:

$$\max_{\|\delta\|_\infty\le\varepsilon}\delta^\top g =\varepsilon\|g\|_1, \qquad \delta^*=\varepsilon\operatorname{sign}g.$$

Projected Gradient Descent повторяет маленькие шаги и проецирует обратно:

$$x^{k+1}= \Pi_{B_\varepsilon(x)} \left(x^k+\alpha\operatorname{sign} \nabla_x\mathcal L(f_\theta(x^k),y)\right).$$

При $\varepsilon=0{,}15$ (пятнадцать сотых от полной шкалы яркости) точность падает с $97{,}4\%$ до $35{,}2\%$ для FGSM и до $32{,}4\%$ для PGD в десять шагов. Случайный шум ровно того же бюджета оставляет $94{,}3\%$. Разница между $32\%$ и $94\%$ — это и есть цена слова «направленное».

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Две цитаты спорят друг с другом, и спор поучителен. Первая объясняет эффект экзотикой высокой размерности, вторая — самой обыкновенной линейностью. Наш стенд на стороне второй: модель линейна до последнего знака, никаких «карманов низкой вероятности» в ней нет, а атака всё равно работает.

Почему направление важнее нормы

Посчитаем прямо. Для линейной оценки $s(x)=v^\top x$ направленное возмущение даёт сдвиг

$$\Delta s_{\text{напр}}=\varepsilon\|v\|_1,$$

а случайные знаки $r_i=\pm1$ — случайную величину со средним нулём и стандартным отклонением

$$\sqrt{\operatorname{Var}\bigl(\varepsilon v^\top r\bigr)}=\varepsilon\|v\|_2.$$

Отношение $\|v\|_1/\|v\|_2$ доходит до $\sqrt d$ и равно ему, когда все координаты весов одинаковы по модулю. При $d=64$ это восьмикратная разница между «согласованным» и «случайным» сдвигом при абсолютно одинаковой норме $\ell_\infty$. Наши измерения согласуются: при $\varepsilon=0{,}15$ каждый пиксель сдвинут не более чем на $0{,}15$, средняя $\ell_2$-норма возмущения равна $1{,}01$ при теоретическом потолке $0{,}15\sqrt{64}=1{,}2$ — и этой малости хватает, чтобы уронить точность втрое.

Защита и честная атака

Adversarial training минимизирует worst-case loss:

$$\min_\theta \mathbb E_{(x,y)} \max_{\|\delta\|\le\varepsilon} \mathcal L(f_\theta(x+\delta),y).$$

Это в точности седловая задача из урока про min-max: внешний игрок выбирает веса, внутренний — возмущение. Внутренний максимум приближают несколькими шагами PGD прямо внутри обучающего цикла. Мы это сделали: модель, каждый батч которой атаковали FGSM при $\varepsilon=0{,}15$, показала $56{,}5\%$ под PGD вместо $32{,}4\%$ у обычной — плюс $24{,}1$ процентных пункта устойчивости. И потеряла $4{,}1$ пункта чистой точности. Robust accuracy почти всегда ниже clean accuracy: устойчивость имеет цену, и её надо называть.

Слабая атака создаёт ложное чувство защиты. Полезный индикатор — сравнение белого ящика с переносом: примеры, построенные на обычной модели и поданные защищённой, оставляют ей $60{,}0\%$ — заметно больше, чем прямая атака ($56{,}5\%$). Это правильный порядок: белый ящик должен быть сильнее переноса. Если бы вышло наоборот, мы заподозрили бы gradient masking — ситуацию, когда градиент испорчен (обнулён, зашумлён, оборван), атака по нему не находит направления, а модель на самом деле не устойчива. Тогда её ломает чёрный ящик или атака без градиента.

Сравнивать защиты можно лишь при одинаковом бюджете атаки. Число шагов, рестарты, размер шага и доступ к градиенту записывайте рядом с robust accuracy, иначе одна цифра не воспроизводит эксперимент. Здесь работает та же логика честной оценки, что и в уроке про переплату за выбор модели: чем больше защит вы перебрали по одной и той же атаке, тем оптимистичнее лучшая из полученных цифр.

Данные, лица и ответственность

FFHQ содержит $70\,000$ изображений лиц, собранных из Flickr с проверкой лицензий. Набор разнообразнее ранних celebrity datasets, но не представляет случайную выборку мира: Flickr снимают те, у кого есть камера и привычка публиковать. Генерация лиц создаёт риски для идентичности и согласия и открывает возможность злоупотребления.

Приём truncation, которым улучшают картинку, — тоже вмешательство в распределение:

$$w'=\bar w+\psi\,(w-\bar w),\qquad 0<\psi<1,$$

и при $\psi<1$ выборка стягивается к среднему лицу: качество растёт, разнообразие падает.

Аудит StyleGAN включает: поиск ближайших соседей в обучающей выборке (не запомнил ли генератор конкретных людей); качество по возрастным и визуальным группам; failure cases аксессуаров и фона; provenance выхода; ограничения на распространение весов; проверку редактирования на сохранение identity. Техническая редактируемость не равна этической допустимости применения.

Мини-исследование: редактирование без скрытой подмены

Выберите measurable attribute — например, угол поворота головы — и направление $d$ в latent. Для 200 исходных кодов примените $\alpha\in[-3,3]$. Целевой эффект измерьте pose estimator-ом, побочные — identity similarity, фоном, яркостью и другими атрибутами. Покажите среднюю кривую вместе с худшими $10\%$.

Проведите cycle test: примените $+\alpha d$, затем $-\alpha d$. В идеальной линейной геометрии вернётся исходник; ошибка возврата обнаруживает нелинейность и обрезку. Сравните $W$ и $W^+$: второй лучше реконструирует, но может хуже выдерживать цикл — на нашем стенде именно так и вышло. Такой протокол соединяет инверсию VAE и StyleGAN: latent edit оценивается как преобразование с целью и побочными эффектами, а не как галерея удачных лиц.

Мини-исследование: перцептивная и нормативная малость

Для состязательных возмущений вычислите одновременно $\ell_\infty$, $\ell_2$, LPIPS и результат печать–фото или JPEG. Малое значение одной нормы не означает незаметности в другой. Покажите диаграмму рассеяния «успех атаки против каждой меры».

Добавьте targeted attack: требуется не любой неверный класс, а заданный. Сравните необходимую норму и число шагов с untargeted-режимом; целевая задача обычно труднее и лучше проверяет, управляет ли атака решением. Проверьте физические преобразования: случайные crop, JPEG и небольшую перспективу на каждом шаге PGD через expectation over transformations. Если возмущение сохраняет эффект, угроза серьёзнее. Но по-прежнему не называйте его «незаметным», пока это не проверено людьми и предметными ограничениями.

Не смешивайте robustness и calibration. Модель может сохранить правильный класс под атакой, но выдавать чрезмерную уверенность, либо менять класс и честно снижать confidence. Стройте robust accuracy, отрицательное логарифмическое правдоподобие и кривую отказов от ответа — так же, как при выборе порога решения. При рандомизированной защите атака обязана усреднять градиент по случайности: один forward даёт шумную оценку и завышает защиту.

Геометрия должна выдержать вмешательство

Мы прошли один и тот же вопрос дважды. Сначала дружелюбно: как меняется картинка, если чуть сдвинуть код, — и получили измеримое разделение масштабов (крупный признак наследуется от источника A при $c=4$, мелкий при $c=14$), рабочий диапазон редактирования и честную границу инверсии (ошибка $1{,}38$ на цифрах против $9{,}15$ на посторонней картинке). Потом враждебно: как меняется решение, если чуть сдвинуть вход, — и получили падение точности с $97{,}4\%$ до $32{,}4\%$ при возмущении, которое случайным шумом той же нормы не воспроизводится ($94{,}3\%$).

Общее у двух половин — предмет изучения: локальная геометрия отображения в многомерном пространстве. Разница — в намерении наблюдателя. И в обоих случаях надёжный вывод требует измерения на фиксированной выборке с заранее объявленной метрикой, а не одной впечатляющей картинки: галерея удачных редактирований и одна цифра robust accuracy без описания бюджета атаки — это свидетельства одинаково малой силы.

Задачи