Урок 88. От изображения к видео, 3D и симуляции

Видео добавляет время, 3D — точку обзора, world model — действие и последствия. Хороший отдельный кадр больше не достаточен: объект должен сохранять идентичность, камера — геометрию, а будущее — реагировать на вмешательство.

Мяч обязан продолжить траекторию

Пусть кадры $x_1,\ldots,x_T$ . Генератор может создать каждый кадр реалистично и всё же заставить мяч телепортироваться, тень перескочить или человека сменить одежду. Нужна временная согласованность.

Простейшая модель прогнозирует

p(x_{t+1}\mid x_{\le t}).

Pixel loss

\|x_{t+1}-\widehat x_{t+1}\|^2

на неопределённом будущем усредняет варианты и размывает движение. Поэтому используют latent dynamics, perceptual loss, diffusion и adversarial компоненты.

Оптический поток $F_{t\to t+1}$ связывает пиксели:

x_t(p)\approx x_{t+1}(p+F(p)).

Нарушение warping consistency обнаруживает скачки, но не работает идеально на окклюзиях и новых областях.

Две последовательности мяча с правдоподобными кадрами, одна физически согласована — Рис. 88.1. Покадровый реализм не сохраняет движение
Верхняя последовательность следует параболе, нижняя имеет скачок, хотя каждый кадр резок. Справа показаны координата центра $y(t)$ , residual к ballistic fit и warping error с учётом маски окклюзии.

Модель времени

Video transformer превращает пространство-время в tokens: patches каждого кадра плюс temporal position. Full attention по $THW$ токенам дорого, поэтому разделяют spatial и temporal attention или работают в сжатом latent.

Recurrent state model:

h_{t+1}=f_\theta(h_t,a_t,\varepsilon_t), \qquad \widehat x_t=g_\theta(h_t).

Без действий $a_t$ это video predictor. С действиями — кандидат на world model. Noise $\varepsilon_t$ хранит неопределённость будущего.

Долгий rollout страдает compounding error: модель обучалась на real states, а затем получает собственные слегка ошибочные predictions. Scheduled sampling и latent regularization помогают, но не заменяют multi-step evaluation.

Камера задаёт проектирование

В pinhole model 3D-точка $X=(X,Y,Z)$ переходит в пиксель

\begin{pmatrix}u\\v\\1\end{pmatrix} \sim K[R\mid t] \begin{pmatrix}X\\Y\\Z\\1\end{pmatrix}.

$K$ содержит intrinsics, $R,t$ — положение камеры. Один пиксель задаёт луч, а не глубину. Несколько views связываются epipolar geometry.

Если модель генерирует новый ракурс, линии и окклюзии должны соответствовать одной 3D-сцене. Просто похожие текстуры недостаточны.

Две камеры, 3D точка, rays, image planes and epipolar line — Рис. 88.2. Один 3D-объект связывает два изображения
Точка $X$ проецируется в $u_1,u_2$ . Луч первой камеры и baseline задают epipolar plane; на второй плоскости соответствие лежит на линии. Рядом показана ошибочная генерация, где matching point нарушает constraint.

NeRF: цвет и плотность вдоль луча

Neural Radiance Field задаёт

F_\theta(x,d)=(\sigma,c),

где $x$ — 3D-точка, $d$ — направление взгляда, $\sigma$ — density, $c$ — цвет. Pixel получается volume rendering:

C(r)=\int T(t)\sigma(r(t))c(r(t),d)\,dt,

T(t)=\exp\left( -\int_{t_n}^{t}\sigma(r(s))\,ds \right).

Модель обучается по нескольким фотографиям с известными poses. Новый view рендерится интегрированием по новым лучам. Ошибки camera calibration превращаются в размытое поле.

3D Gaussian Splatting использует явные Gaussian-примитивы и быстрее рендерит, но тоже требует согласованных views.

Лаборатория мира

Задайте начальную скорость мяча и сравните генерацию, обученную только по кадрам, с моделью, получающей physics penalty. Измените действие — толчок — и проверьте, реагирует ли будущая траектория.

Перемещайте виртуальную камеру. Если размер объекта меняется не по глубине или дальний объект закрывает ближний, 2D-реализм нарушает 3D-логику.

World model и действие

Для управления latent model учит

p_\theta(z_{t+1},r_{t+1} \mid z_t,a_t),

где encoder переводит observation $x_t$ в $z_t$ . Агент планирует во внутреннем rollout, выбирая последовательность действий по predicted rewards.

Главная опасность — model exploitation: planner ищет траектории, где модель ошибочно обещает высокий reward. Ensemble uncertainty, короткий planning horizon и проверка в реальной среде ограничивают риск.

Связь с MDP прямая: world model приближает $P$ и $R$ . В отличие от пассивного видео, данные зависят от behavior policy. Неисследованные действия остаются неизвестными.

Причинность требует вмешательства

Наблюдение «руль повернулся, машина пошла вправо» может быть корреляцией с дорогой: водитель поворачивает руль именно на изгибе. Чтобы оценить действие, нужны разнообразные interventions или simulator.

Counterfactual test: из одного состояния подать разные $a$ и проверить правдоподобное расхождение. Если output не меняется, модель игнорирует action. Если меняет фон целиком, action entangled с данными.

World model rollout from same initial state under left straight right actions — Рис. 88.3. Один префикс, три вмешательства
Верхняя строка — общий наблюдаемый префикс. Три ветви получают разные steering actions; нанесены траектории, uncertainty cones и predicted collision risk. Серым показан недоступный в train участок, где uncertainty растёт.

Waymo Open Dataset

Waymo Open Dataset содержит последовательности камер и lidar, 3D boxes и motion data. Объём велик; школьный проект берёт опубликованный subset. Split по segments, а не frames, предотвращает утечку соседних кадров.

Возможная задача — прогноз траекторий объектов на несколько секунд. Метрики:

displacement error по горизонту;
miss rate;
calibration множества траекторий;
collision/road-boundary violations;
результат по редким манёврам;
latency.

Average displacement не наказывает одинаково пропущенный поворот и небольшой сдвиг на прямой. Сценарные метрики продолжают материал урока.

Мини-исследование: раскладываем ошибку траектории

Прогноз позиции может ошибаться по трём причинам: неверна скорость, направление или выбранная мода будущего. Для каждой predicted trajectory разложите displacement относительно истинной tangent:

e_{\parallel}=(\widehat r-r)\cdot\hat v, \qquad e_{\perp}=(\widehat r-r)\cdot\hat v_\perp.

Продольная ошибка означает опережение/отставание, поперечная — уход с пути. На повороте basis меняется по времени. Постройте обе компоненты по горизонту, а не один ADE.

Для multimodal predictor оцените coverage: попала ли истина хотя бы в одну из $K$ траекторий, и calibration вероятностей мод. Десять почти одинаковых вариантов не дают настоящей diversity. Добавьте pairwise endpoint distance и occupancy.

Мини-исследование: обнаружить exploitation world model

Обучите model на действиях в ограниченном диапазоне, например steering $[-0{,}3,0{,}3]$ . Planner разрешите выбирать $[-1,1]$ . Он, вероятно, уйдёт к краям, где predicted reward необоснованно высок.

Нанесите выбранные actions на histogram behavior data. Добавьте uncertainty ensemble и штраф

\widetilde r=r-\lambda\,\operatorname{Std}_{m} \widehat r^{(m)}.

Сравните predicted и true simulator return. Пессимизм уменьшит exploitation, но может отвергать полезные новые действия. Это offline RL support problem в model-based форме.

Мини-исследование: 3D consistency через замкнутый маршрут

Рендерите сцену по камерам, образующим круг, и сравните первый и последний view. Geometry должна вернуться, хотя stochastic texture может немного отличаться. Отслеживайте landmarks и depth ordering.

Для двух промежуточных views постройте feature correspondences и epipolar residual. Простая perceptual similarity не обнаружит, что объект оказался за неправильной поверхностью. Геометрический тест продолжает computer vision и проекции.

Наконец, измените camera intrinsics вне train. Если сцена распадается, limitation относится к calibration range. Публикуйте его вместе с красивым novel-view video.

Мини-исследование: окклюзия как проверка памяти объекта

Пусть машина на десять кадров скрывается за автобусом и появляется снова. Tracking/world model должна сохранить identity и предсказать область выхода. Сравните embedding до и после окклюзии, position uncertainty и число identity switches.

Удлиняйте окклюзию и меняйте возможные выходы. Uncertainty должна расти; уверенная точка при трёх развилках некалибрована. Сравните deterministic и multimodal forecasts.

Эта задача связывает видео с рекуррентной памятью: hidden state переносит объект без пиксельного evidence. Но если модель узнаёт конкретный фон, geographical split выявит shortcut.

Мини-исследование: conservation residual

В synthetic-сцене без внешних сил вычисляйте momentum до и после взаимодействия. Для столкновения двух тел

\rho_t= \|m_1v_{1,t}+m_2v_{2,t} -(m_1v_{1,t+1}+m_2v_{2,t+1})\|.

Сравните generated rollout и real simulator. Малый pixel loss не гарантирует малый $\rho_t$ : скорости чувствительны к положению между кадрами.

Не навязывайте conservation в сценах с неизвестными внешними силами. Помечайте только контролируемые эпизоды. Physics residual является контрольным вопросом к модели, а не универсальным score реализма.

Добавьте energy residual отдельно: momentum может сохраняться при неупругом столкновении, kinetic energy — нет. Если модель штрафует оба одинаково, она запрещает физически допустимую потерю энергии.

Для bouncing ball коэффициент restitution задаёт отношение нормальных скоростей после и до удара. Оцените его по generated видео и сравните с simulator. Так «физичность» распадается на измеримые законы с условиями применимости.

Мир проверяется временем и действием

Видео требует согласованности во времени, 3D — согласованности между views, world model — правильной реакции на действия. One-step realism не проверяет rollout. Геометрические и физические рисунки полезны как тесты: они дают инварианты, которые можно измерить, а не только посмотреть.

Задачи

6баллов

PCG64 seed 2026 создаёт 5 000 траекторий по 101 кадру, $\Delta t=0{,}05$ , в $[0,1]^2$ : $x_0\sim U(0{,}1,0{,}9)$ , $y_0\sim U(0{,}4,0{,}9)$ , $v_x\sim U(-0{,}3,0{,}3)$ , $v_y\sim U(0{,}2,0{,}8)$ , $g\sim U(0{,}6,1{,}4)$ , $e\sim U(0{,}7,0{,}95)$ . Сначала обновляйте позицию формулами $x'=x+v_x\Delta t$ , $y'=y+v_y\Delta t-\frac12g\Delta t^2$ , затем $v_y'=v_y-g\Delta t$ . При выходе за пол или стену отражайте лишнее расстояние; нормальную компоненту уже обновлённой скорости заменяйте по правилу $v_n\leftarrow-e v_n$ , а тангенциальную оставляйте без изменения. Повторяйте отражение, пока точка не внутри квадрата. Gaussian-диск $\sigma=1{,}5$ пикселя рисуется в $64^2$ , затем добавляется независимый pixel noise $\mathcal N(0,0{,}01^2)$ и clipping. Индексы 0–3499/3500–4249/4250–4999 задают train/validation/test.

Из десяти кадров предсказывайте следующие 50. ConvLSTM имеет два слоя, hidden 32, kernel 3, и sigmoid Conv $1\times1$ output; он минимизирует pixel MSE, при обучении teacher-forcing probability линейно падает от 1 до 0 за 50 эпох. Координата его кадра — intensity centroid. MLP получает 20 координат, имеет слои $20\to128\to128\to2$ с ReLU и autoregressive предсказывает следующую позицию. Обычный MLP минимизирует position MSE; physics-MLP добавляет $\lambda\sum_t\|\widehat p_{t+1}-2\widehat p_t+\widehat p_{t-1} -(0,-\widehat g)\Delta t^2\|_2^2$ , где $\widehat g$ — один МНК-коэффициент по всем pre-bounce train-тройкам, а $\lambda\in\{0{,}01;0{,}1;1\}$ выбирается по validation 50-step RMSE.

Все модели: Xavier, Adam $10^{-3}$ , batch 64, 50 эпох, seeds 8841–8845, checkpoint по validation loss. Сообщите one-step и 50-step position RMSE до первого отскока, на десяти кадрах после него и на траекториях без отскока, со средним и 95%-интервалом по пяти seeds; покажите первые по test-индексу случаи, где prior больше всего помогает и мешает.

7баллов

Используйте Argoverse 2 Motion Forecasting v1.1 train archive и focal track: первые 50 состояний при 10 Гц — история, следующие 60 — цель. Возьмите первые 10 000 scenario_id по SHA-256 scenario_id|2026. Целый log_id назначается по первому байту SHA-256 log_id|2026: 0–178 train, 179–216 validation, 217–255 test. Координаты переведите в локальную систему с началом и осью $x$ по heading focal actor в последнем наблюдаемом состоянии. Вход GRU содержит только доступные 50 пар $(x,y)$ focal actor и 50 пар наблюдённой ego-позиции; будущая ego-траектория запрещена.

Baseline продолжает последнюю focal velocity. Двухслойный GRU hidden 128 выдаёт три последовательности по 60 точек и три logits. Loss — сумма smooth- $L_1$ для ближайшей по ADE моды и cross-entropy её номера. Xavier, AdamW $10^{-3}$ , weight decay $10^{-4}$ , batch 64, до 50 эпох, patience 5 по validation minADE, seed 2026. На test измерьте minADE, minFDE, miss rate 2 м и долю точек вне drivable-area polygon.

Категорию задаёт ground truth: сопоставьте 50-е и 110-е состояния, то есть элементы с zero-based индексами 49 и 109, ближайшим lane centerline в радиусе 3 м, ничью разрешите меньшим lane ID. Если хотя бы для одного состояния lane в этом радиусе отсутствует, категория равна unknown; сообщите размер этой группы. Разные известные lane IDs означают смену полосы, иначе изменение heading больше $30^\circ$ — поворот, остальные сцены — прямые. Для наиболее вероятной моды confidence равен softmax-весу, успех — FDE не больше 2 м; вычислите Brier и ECE по десяти равным bins. В 50 test-сценах с наименьшим хэшем измените только наблюдённую ego-историю: добавьте к её последовательным velocity yaw rate $+2^\circ$ /с и заново интегрируйте позиции при прежней скорости. Повторный прогноз вслепую оцените по кинематической гладкости и нахождению на дороге как sensitivity test, без причинного вывода.