Урок 87. Редактирование, deepfake и AI-safety

Редактирование и deepfake используют те же генеративные механизмы, что реставрация и кино. Безопасность начинается не с одного детектора, а с threat model: кто меняет файл, что известно проверяющему, какова доля подделок и что произойдёт после ошибки.

Маска задаёт, что можно изменить

Пусть $x$ — изображение, $m\in\{0,1\}^{H\times W}$ равна единице в редактируемой области. Результат $\widehat x$ должен сохранять известную часть:

(1-m)\odot\widehat x \approx(1-m)\odot x,

а внутри маски соответствовать условию $c$ и контексту. В diffusion inpainting на каждом обратном шаге известные пиксели подмешиваются из appropriately noised исходника.

Маска является контрактом. Если она размыта, граница редактирования шире видимого контура. Модель может менять отражение, тень или фон, чтобы согласовать новый объект; технически это улучшает правдоподобие, но усложняет provenance.

Исходное изображение binary mask inpainting result and difference map — Рис. 87.1. Маска, контекст и невидимая область правки
Четыре панели показывают исходник, маску, результат и $|\widehat x-x|$ . Контур маски наложен на difference map: изменения вне него измеримы. Отдельно отмечены тень и отражение как спорные элементы контракта.

Перенос стиля и identity

Face swap пытается сохранить позу, освещение и выражение кадра-источника, меняя identity. Можно разделить признаки:

z_{\mathrm{id}}=E_{\mathrm{id}}(x_A), \qquad z_{\mathrm{attr}}=E_{\mathrm{attr}}(x_B), \qquad \widehat x=G(z_{\mathrm{id}},z_{\mathrm{attr}}).

На практике разделение неполно: identity encoder содержит возраст и освещение, attribute encoder — черты лица. Метрика cosine similarity face-recognition модели тоже может быть обманута.

Style transfer меняет статистику признаков, а не «переносит художественную душу». Любое использование узнаваемого человека требует согласия и контекста распространения.

Threat model раньше accuracy

Нужно определить:

тип подделки: face swap, lip-sync, full synthesis, inpainting;
доступ атакующего к detector;
допустимые преобразования: resize, recompression, screenshot;
base rate подделок;
стоимость false positive и false negative;
время до появления нового generator;
есть ли оригинал или только подозрительный файл.

Detector, обученный на артефактах одного generator-а, может распознавать его fingerprint, а не общий факт синтеза. После обновления generator-а fingerprint исчезает.

Порог зависит от редкости

Пусть sensitivity $\Pr(+\mid F)=0{,}9$ , specificity $\Pr(-\mid R)=0{,}95$ . При base rate $\Pr(F)=0{,}01$ positive predictive value:

\Pr(F\mid+)= \frac{0{,}9\cdot0{,}01} {0{,}9\cdot0{,}01+0{,}05\cdot0{,}99} \approx0{,}154.

Большинство флагов окажется ложным, хотя sensitivity и specificity выглядят высокими. Поэтому нельзя автоматически обвинять автора по одному score.

Порог выбирают по expected cost:

C(t)= c_{\mathrm{FN}}\Pr(\mathrm{FN};t) +c_{\mathrm{FP}}\Pr(\mathrm{FP};t).

В журналистской проверке пропуск опасной подделки и ложное обвинение имеют разные, оба серьёзные последствия.

Дерево из 10000 файлов с real fake detector outcomes and predictive value — Рис. 87.2. Редкая подделка превращает флаги в ложные тревоги
Из 10 000 файлов 100 поддельны: 90 найдены, 10 пропущены; из 9 900 настоящих 495 ошибочно помечены. Цветные блоки позволяют увидеть знаменатель: среди 585 тревог истинны только 90.

Лаборатория порога

Меняйте base rate, sensitivity и specificity. Следите, как PPV рушится при редких подделках. Затем включите новый generator: ROC старого test больше не описывает работу.

Выберите порог для двух контекстов — массовой автоматической модерации и ручной проверки редакцией. Во втором можно позволить больше false positives, если каждый флаг изучает эксперт; в первом цена масштаба другая.

Detector стареет

Разделение случайными кадрами опасно: соседние кадры одного видео почти одинаковы. Train/test делят по исходным видео, людям и генераторам. Ещё лучше — временной split, где test создан позже.

Преобразования тестируют цепочкой: JPEG quality, resize, crop, blur, screenshot, повторная запись экрана. Но augmentation не должна случайно создавать shortcut — например, все fake пережаты сильнее real.

Калибровку проверяют после shift. Temperature scaling на старом validation не исправляет новую физику артефактов.

Provenance сильнее угадывания пикселей

C2PA-подобная provenance связывает файл с подписанными утверждениями об источнике и истории редактирования. Криптографическая подпись не доказывает истинность сцены, но помогает обнаружить изменение после захвата.

Watermark встраивает сигнал в generated content. Он должен переживать обычные преобразования и иметь контролируемый false positive. Атакующий может удалить watermark, поэтому отсутствие сигнала не доказывает реальность.

Комбинированная система:

проверяет подпись и цепочку происхождения;
ищет watermark;
анализирует пиксельные и временные признаки;
сопоставляет независимые источники;
передаёт спорный случай человеку.

Decision flow provenance signature watermark detector source corroboration human review — Рис. 87.3. Проверка как дерево свидетельств
Схема не выдаёт бинарный приговор из detector score. Ветви подписаны типом свидетельства и возможным отказом: подпись отсутствует, watermark повреждён, classifier вне домена. Финал — уровни уверенности и действие, а не ярлык «фейк».

FaceForensics++ и перенос

FaceForensics++ содержит оригинальные и манипулированные видео несколькими методами и уровнями compression. Он удобен для сравнения, но generators исторические. Высокая intra-dataset accuracy не гарантирует перенос на современные diffusion edits.

Эксперимент должен иметь:

split по исходным видео;
balanced training, но evaluation при нескольких base rates;
leave-one-manipulation-out;
compression stress test;
калибровку;
error audit по освещению, движению и группам;
запрет вывода личности и публичного обвинения.

Связь с adversarial robustness очевидна: атакующий адаптируется к проверке, а фиксированный benchmark стареет.

Мини-исследование: временной fingerprint

Для видео возьмите landmarks лица и оцените траектории глаз, губ и головы. Вместо classification каждого кадра вычислите derivatives и cross-correlations. Lip-sync может создавать правдоподобные frames, но запаздывать относительно аудио или нарушать согласованное движение соседних точек. В уроке о видеогенерации эта проверка продолжается через 3D-согласованность и поведение сцены после вмешательства.

Сравните три splits: случайные frames, видео и leave-one-generator-out. Один и тот же temporal feature может отлично работать на первых двух и упасть на третьем. Это показывает, распознал ли он общую несогласованность или конкретный pipeline.

Добавьте обычные real-видео с плохой связью аудио из-за монтажа. Если detector считает их fake, признак обнаруживает рассинхронизацию, а не происхождение. Название output должно отражать измеренное событие.

Мини-исследование: evidence card вместо приговора

Для 100 файлов составьте card: provenance status, watermark result, pixel score с calibration interval, temporal score, metadata anomalies и доступные независимые источники. Не сворачивайте всё сразу в среднее.

Попросите двух экспертов принимать действие по card и по одному detector score в случайном порядке. Сравните accuracy, время и уверенность. Structured evidence может замедлить решение и снизить ложные обвинения.

Сценарий связывает тему с человеческими предпочтениями и разногласием: экспертные решения тоже имеют вариативность, поэтому нужен adjudication protocol. Ни classifier, ни человек не являются безошибочным oracle.

Проверка после сжатия

Проведите каждый файл через две реальные цепочки: загрузка в мессенджер и запись экрана. Сохраняйте exact transformations. Стройте calibration curve заново и измеряйте selective accuracy, когда система может сказать «не знаю».

Отказ от решения при высоком shift — полезная функция. Coverage–risk curve показывает долю обработанных файлов и ошибку на них. Система, уверенно классифицирующая всё, может быть хуже осторожной.

Связь с adversarial threat model и общей устойчивостью задаёт требование к тесту: включить преобразования, доступные противнику и обычному пользователю.

Укажите, что происходит с отложенными случаями. Если их автоматически считать настоящими, selective policy лишь прячет ошибки. Они должны идти в отдельную ручную очередь, а end-to-end метрика включать её стоимость и задержку.

Проверьте равенство coverage по важным режимам. Система может отказываться почти на всех тёмных видео и показывать низкий риск на оставшихся. Общая кривая хороша, доступность проверки распределена неравномерно.

Для каждого режима покажите и sample size. Маленькая группа даёт широкий интервал, а не автоматически худшее качество. Если порог выбирался на той же группе, нужен отдельный validation.

Финальный пользовательский текст должен говорить «обнаружены признаки, требующие проверки», а не «человек сфальсифицировал видео». Detector оценивает файл, не намерение автора.

Флаг только начинает проверку

Генеративное редактирование определяется маской, условием и допустимыми изменениями. Deepfake detection — задача под сдвигом и адаптивным противником. Base rate превращает высокую accuracy в слабую достоверность отдельного флага. Provenance и процедура проверки надёжнее одиночного классификатора.

Задачи

6баллов

Используйте Celeb-DF v2 release 2020 и официальные списки real/fake videos. Из имени real-видео извлеките его idN; имя fake-видео idN_idM_* соединяет обе identity. Connected components этого графа — единицы identity split. Из каждого видео возьмите 32 момента от 5% до 95% длительности. Лицо найдите facenet-pytorch==2.5.3 MTCNN с thresholds $(0{,}6;0{,}7;0{,}7)$ , margin=0, крупнейший box; квадрат расширьте до максимальной стороны и bicubic resize до $224^2$ . Кадр без detection удалите, видео с менее чем 16 кадрами исключите и перечислите.

Сравните две отдельные EfficientNet-B0 с ImageNet weights. В frame split каждый кадр назначается по первому байту SHA-256 video_path|frame_index|2026: 0–178/179–216/217–255. В identity split целая component назначается теми же границами по SHA-256 отсортированного списка её identity. Обучение одинаково: horizontal flip, ImageNet normalization, AdamW $10^{-4}$ , weight decay $10^{-4}$ , batch 64, 20 эпох, seed 2026; checkpoint имеет maximum validation PR-AUC. Вероятность видео — среднее его доступных frame probabilities. В frame split вероятность test-видео усредняйте только по кадрам, назначенным в test; видео без test-кадров исключите из video-level оценки и сообщите число таких видео.

На каждом неизменном test отдельно примените JPEG quality 50 и bicubic downscale $112^2$ с возвратом к $224^2$ . Для clean и искажений сообщите video-level ROC-AUC, PR-AUC, Brier, ECE по 15 равным bins и PPV при base rate 1% и 10%, пересчитанный из sensitivity и specificity. Приведите число components, videos и кадров в частях; threshold 0,5 фиксирован, test не используется для настройки.

7баллов

Используйте FaceForensics++ release 2019, compression c23, методы DeepFakes, Face2Face, FaceSwap и соответствующие originals. Соедините два original video ID, если они образуют fake-пару. Connected components назначьте по первому байту SHA-256 отсортированного списка IDs: 0–178 train, 179–216 validation, 217–255 test. Из каждого видео возьмите 32 равноотстоящих кадра. Декодируйте кадр в RGB uint8 и примените facenet-pytorch==2.5.3 MTCNN с thresholds $(0{,}6;0{,}7;0{,}7)$ и margin=0. Выберите box наибольшей площади; равенство разрешите лексикографически по $(x_1,y_1,x_2,y_2)$ . Расширьте box относительно центра до квадрата со стороной $\max(x_2-x_1,y_2-y_1)$ , округлите левую и верхнюю границы вниз, правую и нижнюю вверх, а выход за изображение дополните нулевыми RGB-пикселями. Сделайте bicubic resize до $256^2$ , переведите значения в $[0,1]$ и для EfficientNet примените ImageNet normalization. Кадр без detection удалите. Видео с менее чем 16 валидными crops исключите; для остальных используйте все доступные crops без повторения и сообщите их число. Для каждого оставшегося видео соберите 16–32 crops в MP4 командой ffmpeg==7.0, libx264 -crf 23 -pix_fmt yuv420p, затем декодируйте эти кадры для обеих моделей.

В каждом leave-one-generator-out run обучайте только на train/validation components двух методов, а test состоит из test components held-out метода и их originals. EfficientNet-B0: ImageNet weights, horizontal flip, AdamW $10^{-4}$ , weight decay $10^{-4}$ , batch 64, 20 эпох, seed 8700+heldout_index, выбор по validation PR-AUC. Второй detector — L2-logistic regression $C=1$ по 64 средним radial-power bins каждого видео; спектр считается от Hann-windowed luminance crop. Обе вероятности калибруйте Platt regression только на validation и усредняйте.

Для held-out test сообщите video-level ROC-AUC, PR-AUC, EER, FPR при TPR 95%, Brier и PPV при base rate 1%. Metadata inconsistency всегда ведёт к ручной проверке; иначе ensemble ниже 0,2 означает низкий риск, 0,2–0,8 — второй detector, выше 0,8 — ручную проверку, но не вывод о намерении. Первые 50 ошибок по SHA-256 video_id|2026 разберите вслепую и опубликуйте только агрегаты.