Урок 86. Diffusion: учимся обращать шум

Diffusion model учит обращать не один огромный прыжок от шума к изображению, а длинную последовательность малых поправок. Прямой процесс известен точно; сеть приближает, какой шум был добавлен на каждом уровне.

Фотография растворяется по расписанию

Пусть $x_0$ — изображение. На шаге $t$ добавляется Gaussian noise:

q(x_t\mid x_{t-1}) =\mathcal N( \sqrt{1-\beta_t}\,x_{t-1}, \beta_tI).

Обозначим $\alpha_t=1-\beta_t$ и $\bar\alpha_t=\prod_{s=1}^t\alpha_s$ . Благодаря сумме Gaussian можно сразу получить любой уровень:

x_t= \sqrt{\bar\alpha_t}\,x_0+ \sqrt{1-\bar\alpha_t}\,\varepsilon, \qquad \varepsilon\sim\mathcal N(0,I).

Первое слагаемое — сохранившийся сигнал, второе — шум. При большом $T$ и малом $\bar\alpha_T$ распределение $x_T$ близко к стандартному Gaussian.

Изображение на пяти уровнях diffusion и график signal to noise ratio — Рис. 86.1. Signal-to-noise задаёт видимые стадии
Верхняя лента показывает один $x_0$ при выбранных $t$ , нижний график — $\mathrm{SNR}_t=\bar\alpha_t/(1-\bar\alpha_t)$ . Вертикали связывают вид изображения с точками schedule, а не с равными визуальными интервалами.

Сеть предсказывает добавленный шум

Выбираем случайные $x_0$ , $t$ и $\varepsilon$ , строим $x_t$ , затем минимизируем

\mathcal L_{\mathrm{simple}} =\mathbb E \left\| \varepsilon- \varepsilon_\theta(x_t,t) \right\|_2^2.

Сеть получает embedding времени, потому что одна и та же текстура при слабом и сильном шуме требует разных поправок. Предсказание noise связано с score:

\nabla_{x_t}\log q_t(x_t) \approx -\frac{\varepsilon_\theta(x_t,t)} {\sqrt{1-\bar\alpha_t}}.

Score указывает направление роста плотности noisy data. Denoising — движение от менее вероятной шумной точки к более вероятной структуре.

Обратный шаг

Обратную цепь моделируют

p_\theta(x_{t-1}\mid x_t) =\mathcal N( \mu_\theta(x_t,t), \Sigma_t).

При noise-prediction среднее выражается через $\varepsilon_\theta$ :

\mu_\theta(x_t,t) =\frac1{\sqrt{\alpha_t}} \left( x_t- \frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \varepsilon_\theta(x_t,t) \right).

На каждом шаге добавляют случайность, кроме часто последнего. Начинают с $x_T\sim\mathcal N(0,I)$ и идут $T,T-1,\ldots,1$ .

Ошибки накапливаются, но каждый шаг локален. Уменьшить число шагов можно DDIM или современными ODE/SDE solvers; ускорение требует проверять качество и diversity.

Спектры и изображения на обратных diffusion шагах — Рис. 86.2. Обратная траектория уточняет частоты по очереди
Для четырёх $t$ показаны sample и радиальный спектр мощности. Низкие частоты и глобальная компоновка стабилизируются раньше, высокочастотные детали позже. Стрелки подписаны величиной предсказанной noise correction.

Лаборатория обращения шума

Сравните linear и cosine schedules по SNR, а не только по номеру шага. При schedule, который слишком быстро уничтожает сигнал, большая часть $t$ почти неразличима и обучение тратит бюджет на чистый шум.

Запустите sampling с разным числом шагов. Отмечайте, когда появляется глобальная форма, цвет и мелкая текстура. Один удачный seed не достаточен: сравнивайте распределение метрик.

Условная генерация и guidance

Условие $c$ — текст, класс или маска — входит в denoiser. Classifier-free guidance комбинирует условный и безусловный прогноз:

\widehat\varepsilon= \varepsilon_\theta(x_t,t,\varnothing) +w\left[ \varepsilon_\theta(x_t,t,c) -\varepsilon_\theta(x_t,t,\varnothing) \right].

$w>1$ усиливает соответствие условию, но часто уменьшает diversity и создаёт пересыщенные артефакты. Guidance scale — knob precision–recall, не «качество».

Для обучения часть условий случайно заменяют на null, чтобы одна сеть умела оба режима.

Latent diffusion

Работать в пикселях дорого. VAE кодирует изображение в меньший latent $z_0$ , diffusion идёт там, затем decoder возвращает пиксели. Сжатие снижает пространственный размер и вычисления.

Цена: детали, потерянные VAE, diffusion восстановить не может. При оценке надо разделять reconstruction ceiling autoencoder-а и качество generative prior.

Text condition обычно подаётся через cross-attention, используя представления, родственные контрастивным text encoders.

Непрерывный взгляд

При малых шагах forward diffusion описывается stochastic differential equation:

dx=f(x,t)\,dt+g(t)\,dW_t.

Reverse-time SDE содержит score $\nabla_x\log p_t(x)$ . Существует probability flow ODE с теми же маргинальными распределениями, что позволяет deterministic sampling и likelihood estimates при дополнительных вычислениях.

Этот мост связывает случайные блуждания урока 66 с генерацией: броуновский шум разрушает данные, выученное поле score направляет обратное движение.

Двумерные distributions forward diffusion and reverse score vector field — Рис. 86.3. Score обращает рассеяние распределения
Столбцы показывают $p_t$ от двух мод до почти Gaussian. В обратных панелях стрелки score направлены к областям высокой плотности; sample paths расходятся к разным модам. Цвет фона — log-density.

CIFAR-10: что измерять

CIFAR-10 мал и позволяет обучить компактный U-Net. Сравните:

loss по $t$ и SNR;
FID и precision/recall;
class coverage замороженным classifier;
sampling time;
качество при 10, 25, 50, 100 шагах;
nearest train neighbors;
diversity при одном condition.

FID зависит от feature extractor и sample size. Для честности real-statistics и число samples одинаковы. Лучший checkpoint выбирается по validation protocol, не по test FID после десятков попыток.

Мини-исследование: ошибка по времени

Uniform sampling $t$ даёт одинаковое число примеров каждому шагу, но их difficulty и вклад различаются. После обучения вычислите

E_t= \mathbb E\|\varepsilon-\varepsilon_\theta(x_t,t)\|^2

по bins SNR. Нарисуйте $E_t$ , norm predicted noise и reconstruction $\widehat x_0$ . Высокий MSE на почти чистых шагах может быть визуально важнее той же ошибки в почти полном шуме.

Попробуйте loss weighting по SNR и снова сравните. Не выбирайте weighting по одному FID: покажите, какие временные диапазоны улучшились и как изменились precision/recall. Если ранние обратные шаги ошибаются, глобальная композиция может уйти; поздние ошибки чаще портят texture.

Проведите intervention: замените prediction сети истинным noise только на выбранном диапазоне $t$ и завершите sampling. Изменение итогового качества даёт причинную оценку важности шагов, пусть и на synthetic oracle. Это продолжает ритм проверки внимания вмешательством.

Мини-исследование: stochasticity и разнообразие

Зафиксируйте один $x_T$ и condition, затем запускайте stochastic sampler с разными внутренними noise seeds. Сравните outputs. В deterministic DDIM при фиксированных настройках результат один; stochastic reverse chain создаёт семейство.

Измерьте text/class alignment, pairwise diversity и nearest-neighbor distance. Увеличивая guidance, постройте Pareto-кривую alignment–diversity. Отметьте область, где score растёт, а samples начинают повторяться.

Мини-исследование: ускорение без несопоставимых seed

Для samplers на 10, 25 и 100 шагов используйте одинаковые initial $x_T$ . Тогда outputs образуют paired сравнения. Вычислите perceptual distance каждого ускоренного результата до 100-шагового reference и человеческое preference на рандомизированных парах.

Покажите время отдельно для batch 1 и batch 64. Latency пользователя и throughput сервера отвечают на разные вопросы. Связь со scaling и стоимостью инференса здесь прямая: лучший sampler выбирается на frontier качества и цены.

Мини-исследование: восстановление известного $x_0$

Обычная генерация не имеет эталона для конкретного noise. Создайте контролируемый тест: возьмите реальные $x_0$ , зашумите до выбранного $t$ по известному $\varepsilon$ , затем запустите reverse только с этого уровня. Измерьте reconstruction против $t$ .

При малом $t$ задача почти реставрационная, при большом исходная индивидуальность исчезает и модель создаёт другой правдоподобный объект. Нарисуйте PSNR/LPIPS и class consistency. Не требуйте pixel match там, где forward process уничтожил информацию.

Сравните stochastic и deterministic reverse. Первый даёт распределение возможных восстановлений, второй — один путь. Для каждого $t$ покажите variation между samples и расстояние до исходника. Так становится видна граница между denoising и generation.

Мини-исследование: условие, которое конфликтует с изображением

При image-to-image diffusion подайте зашумлённое изображение кошки и condition собака. Меняйте starting noise level и guidance. На слабом шуме сохраняется исходная структура, на сильном условие получает власть. Измерьте identity/perceptual preservation и condition score.

Этот опыт делает два коэффициента интерфейса осмысленными: noise strength управляет количеством сохранённого evidence, guidance — давлением condition. Оба могут быть переоптимизированы. Связь с inpainting и контрактом маски прямая: пользователь должен понимать границу допустимого изменения.

Численная точность обратной цепи

Сравните float32 и mixed precision на одинаковых initial noises. Малые ошибки каждого шага могут разойтись в stochastic trajectory, поэтому pixel equality не ожидается. Сравнивайте распределительные метрики и paired perceptual distance.

Зафиксируйте library, scheduler configuration и random generator. Название 50 steps недостаточно: разные timesteps, solver order и eta дают разные процессы. Reproducibility требует полной sampler-конфигурации.

Наконец, проверьте memorization не только nearest neighbor-ом. Возьмите редкие training images, измерьте conditional extraction rate при близких prompts и сравните с test images той же редкости. Exact совпадение легко найти hash-ом, частичное — crop-aware features.

Если модель воспроизводит training object, причина может лежать в дубликатах корпуса, чрезмерных эпохах или узком condition. Этот аудит соединяет diffusion с дедупликацией предобучения.

Генерация как обращение шума

Diffusion раскладывает генерацию на известное зашумление и выученное обращение. Closed-form $q(x_t\mid x_0)$ делает обучение простым, score связывает denoising с градиентом плотности, guidance меняет соответствие и diversity. Schedule и sampler являются частью модели результата.

Задачи

4баллов

Пусть условная дисперсия нового шума на шаге равна $\beta_t$ , $\alpha_t=1-\beta_t$ , а накопленный коэффициент сигнала $\bar\alpha_t=\prod_{s=1}^{t}\alpha_s$ . Для $\beta_1=0{,}1$ , $\beta_2=0{,}2$ , $\beta_3=0{,}3$ вычислите все $\alpha_t$ , $\bar\alpha_t$ , добавленную именно на шаге долю $\beta_t$ и накопленную долю дисперсии шума $1-\bar\alpha_t$ . Объясните через произведение, почему $1-\bar\alpha_3$ нельзя получить простым сложением трёх $\beta_t$ .

5баллов

Безусловный noise prediction равен $\varepsilon_u=(1,0)$ , условный — $\varepsilon_c=(0{,}2,-0{,}5)$ . Используйте convention $\varepsilon_{\mathrm{cfg}}(w)=\varepsilon_u+w(\varepsilon_c-\varepsilon_u)$ , так что $w=0$ даёт безусловный прогноз, а $w=1$ — условный. Вычислите $\varepsilon_{\mathrm{cfg}}$ для $w\in\{0,1,3,7\}$ , его евклидово расстояние до $\varepsilon_u$ и скалярный множитель вдоль направления $\varepsilon_c-\varepsilon_u$ . Объясните геометрически, почему $w>1$ является экстраполяцией за условный прогноз.

6баллов

Возьмите изображения 0–9 999 официального Fashion-MNIST train, преобразуйте пиксели в float и стандартизуйте этот набор до среднего 0 и population variance 1. Положите $\bar\alpha_0=1$ . Для $t=1,\ldots,T=1000$ linear schedule задаёт $\beta_t=10^{-4}+(t-1)(0{,}02-10^{-4})/999$ , $\alpha_t=1-\beta_t$ и $\bar\alpha_t=\prod_{s=1}^t\alpha_s$ . Для cosine schedule $f(t)=\cos^2(((t/T+0{,}008)/1{,}008)\pi/2)$ , $\bar\alpha_t=f(t)/f(0)$ и $\beta_t=\min(1-\bar\alpha_t/\bar\alpha_{t-1},0{,}999)$ ; после clipping пересчитайте $\bar\alpha_t$ произведением $1-\beta_t$ . Вычислите $\mathrm{SNR}_t=\bar\alpha_t/(1-\bar\alpha_t)$ , считая $\mathrm{SNR}_0=+\infty$ .

Для изображений 0–99 и 20 различных шагов $t=\mathrm{round}(\mathrm{linspace}(0,1000,20))$ создайте независимый Gaussian noise PCG64 seed 2026000+t*100+index и $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\varepsilon$ . Для каждого $t$ найдите Pearson correlation объединённых пикселей $x_t$ и $x_0$ . Percentile bootstrap ресэмплирует 100 изображений 2 000 раз, PCG64 seed 860400+t, и даёт 95%-интервал. Сравните результат с $\sqrt{\bar\alpha_t}$ и объясните конечновыборочное расхождение.

7баллов

Разделите официальный Fashion-MNIST train: индексы 0–54 999 для обучения, 55 000–59 999 для validation. Обучите noise-prediction U-Net: channels 64–128–256, два residual блока на разрешение, GroupNorm 32, SiLU, stride-2 Conv вниз и nearest-neighbor resize плюс Conv вверх, skip connections, sinusoidal time embedding 128; attention отсутствует. Используйте linear $\beta_t$ от $10^{-4}$ до $0{,}02$ для $t=1,\ldots,1000$ , pixel range $[-1,1]$ , AdamW $10^{-4}$ с weight decay $10^{-4}$ , batch 128, clipping 1, 100 эпох, seed 2026. Выбирайте minimum validation noise-MSE; validation не участвует в обновлениях.

DDIM имеет $\eta=0$ . Для $K\in\{10,25,50,100\}$ возьмите неповторяющиеся убывающие $t$ из round(linspace(1000,1,K)) и добавьте конечный $s=0$ , где $\bar\alpha_0=1$ . Для перехода к следующему $s<t$ вычислите $\widehat x_0=(x_t-\sqrt{1-\bar\alpha_t}\, \varepsilon_\theta(x_t,t))/\sqrt{\bar\alpha_t}$ и $x_s=\sqrt{\bar\alpha_s}\widehat x_0+ \sqrt{1-\bar\alpha_s}\varepsilon_\theta(x_t,t)$ . Initial Gaussian tensors для samples 0–9 999 задаются одноимёнными PCG64 seeds и общие для всех $K$ .

LeNet-5 обучите на тех же 55 000 объектах 20 эпох Adam $10^{-3}$ , batch 128, seed 8605, выберите по validation accuracy и заморозьте. В его предпоследних features измерьте Fréchet distance и prdc==0.2 precision/recall, $k=5$ , по 10 000 real test и generated изображений; coverage — число классов с долей предсказаний не ниже 1%. LPIPS используйте lpips==0.1.4, backbone AlexNet, между соседними $K$ для одинаковых seeds: grayscale повторите в три канала, а входные значения приведите к диапазону $[-1,1]$ . На одном устройстве сообщите синхронизированный wall-clock, сетки seeds 0–63 и ближайших train-соседей samples 0–99, сохранив manifest.