Урок 74. LSTM и проблема длинной памяти

LSTM прокладывает через время почти линейный путь состояния. Ворота не являются маленькими разумными контролёрами: это дифференцируемые числа от нуля до единицы, которые учатся пропускать, стирать и показывать сигнал.

Пароль через длинную паузу

Последовательность начинается символом К, затем идут двести нерелевантных знаков, а в конце нужно воспроизвести первый символ. Простая RNN многократно переписывает $h_t$ и проводит градиент через произведение матриц. LSTM добавляет отдельное состояние памяти $c_t$ с аддитивным обновлением.

Для входа $x_t$ и предыдущего $h_{t-1}$ вычисляются ворота:

\begin{aligned} f_t&=\sigma(W_f[x_t,h_{t-1}]+b_f),\\ i_t&=\sigma(W_i[x_t,h_{t-1}]+b_i),\\ o_t&=\sigma(W_o[x_t,h_{t-1}]+b_o),\\ \widetilde c_t&=\tanh(W_c[x_t,h_{t-1}]+b_c). \end{aligned}

Затем

c_t=f_t\odot c_{t-1}+i_t\odot\widetilde c_t, \qquad h_t=o_t\odot\tanh(c_t).

Forget gate $f_t$ сохраняет часть старого, input gate $i_t$ дозирует запись, output gate $o_t$ решает, что показать наружу. Все операции покомпонентны.

Схема LSTM с forget input output gates и потоками состояния — Рис. 74.1. Путь памяти через ячейку LSTM
Горизонтальная синяя линия — $c_{t-1}\to c_t$ , умножение на $f_t$ отмечено затвором. Зелёная ветвь добавляет $i_t\widetilde c_t$ , нижняя ветвь формирует $h_t$ . Под схемой те же операции показаны для одной координаты численно.

Почему сложение помогает градиенту

Частная производная по прямому пути

\frac{\partial c_t}{\partial c_{t-1}}\approx f_t.

Если на промежутке ворота близки к единице,

\frac{\partial c_T}{\partial c_t} \approx\prod_{k=t+1}^Tf_k

затухает медленно. В простой RNN к этому произведению добавлялись рекуррентные матрицы и производные $\tanh$ на каждом шаге.

«Почти» в формуле существенно: ворота зависят от $h_{t-1}$ , поэтому полный градиент имеет дополнительные пути. LSTM смягчает исчезновение, а не доказывает бесконечную память.

Если $f$ постоянно равен $0{,}99$ , половина сигнала остаётся после

t_{1/2}=\frac{\log 0{,}5}{\log0{,}99}\approx69

шагов. При $f=0{,}9$ — всего около 7. Небольшое изменение ворот резко меняет временной масштаб.

Записать, не стерев

Ворота могут создавать разные режимы:

$f\approx1,i\approx0$ : хранить;
$f\approx0,i\approx1$ : заменить;
$f\approx1,i>0$ : накопить;
$o\approx0$ : скрыть память от выхода, не удаляя её.

Последний режим отличает внутреннее хранение от наблюдаемого состояния. Модель может помнить фазу процесса и не использовать её для текущего прогноза.

Bias forget gate часто инициализируют положительно, чтобы в начале $f_t$ был ближе к единице. Это полезный prior на длительную память, но слишком большой bias мешает быстро забывать смену режима.

Временные ряды входа, forget input output gates, cell state и hidden state — Рис. 74.2. Ворота размечают события во времени
На шаге «ключ» input gate открывается и записывает импульс. Во время паузы $f_t\approx1$ , $i_t\approx0$ . У маркера ответа output gate открывает скрытый сигнал. Вертикальные линии связывают события с изменениями ворот.

Лаборатория ворот

Задайте импульс и вручную управляйте $f,i,o$ . Проверьте формулу времени полураспада. Затем разрешите модели подобрать ворота для задачи delayed copy и сравните их с вашей ручной стратегией.

Не ищите буквальное «это нейрон памяти буквы К». Представление распределено: одна координата может участвовать в нескольких функциях, а один факт храниться в нескольких координатах.

Маска, padding и неодинаковая длина

В batch последовательности дополняют padding. Маска $m_t\in\{0,1\}$ может сохранять состояние на фиктивных шагах:

c_t=m_t c_t^{\mathrm{new}}+(1-m_t)c_{t-1}.

Loss также умножают на маску. Иначе короткие примеры получают лишние нулевые события, а последнее состояние относится к padding, не к данным.

В медицинских рядах пропуск измерения несёт информацию: анализ могли назначить из-за ухудшения. Маска наблюдаемости и время с последнего измерения становятся входными признаками. Заполнить все пропуски нулём — значит смешать «значение равно нулю» с «не измерено».

GRU: меньше ворот

Gated Recurrent Unit объединяет память и скрытое состояние:

\begin{aligned} z_t&=\sigma(W_z[x_t,h_{t-1}]),\\ r_t&=\sigma(W_r[x_t,h_{t-1}]),\\ \widetilde h_t&=\tanh(W_h[x_t,r_t\odot h_{t-1}]),\\ h_t&=(1-z_t)\odot h_{t-1}+z_t\odot\widetilde h_t. \end{aligned}

Update gate $z_t$ интерполирует между старым и новым. Параметров меньше, вычисление быстрее. Нельзя заранее утверждать, что LSTM «лучше помнит»: сравнение зависит от данных, размера и бюджета.

Одинаковое число скрытых координат не означает одинаковое число параметров. При честном сравнении выравнивают хотя бы размер модели или время обучения.

Электропотребление дома

Набор UCI Individual Household Electric Power Consumption содержит поминутные измерения нескольких лет. Реальная задача: по последним суткам предсказать нагрузку на следующий час или сутки. Периодичность дня и недели создаёт длинный контекст, а пропуски требуют явной обработки.

Хороший эксперимент:

разбить время на train, validation и будущий test;
построить seasonal naive baseline: значение неделю назад;
использовать доступные календарные признаки;
сравнить GRU, LSTM и 1D-convolution при близком бюджете;
оценить MAE отдельно в пиковые часы.

Если нормировать по среднему всего датасета, test влияет на train. Статистики вычисляют только по обучающему периоду.

Почасовая нагрузка дома, прогнозы seasonal baseline и LSTM, ошибки на пиках — Рис. 74.3. Память о недельном ритме
Верхняя панель показывает две недели нагрузки и границу прогноза. Внизу — абсолютная ошибка seasonal baseline и LSTM; красным отмечены вечерние пики. Рядом приведён профиль среднего forget gate, но он интерпретируется как диагностический сигнал, не причинное объяснение.

Что ворота не решают

LSTM всё ещё обрабатывает шаги последовательно, что ограничивает параллельность. Состояние остаётся фиксированного размера. Дальняя информация может затухнуть или быть перезаписана, а интерпретация ворот неоднозначна.

Для задач с прямыми связями между далёкими токенами attention создаст короткий путь. Для потоковой обработки на устройстве LSTM может быть дешевле. Архитектура выбирается по ограничениям, а не по хронологии моды.

Связь с остаточными соединениями трансформера содержательная: и аддитивный путь $c_t$ , и residual дают сигналу возможность пройти без полного нелинейного переписывания.

Мини-исследование: ворота на смене режима

Сгенерируйте ряд, где скрытый уровень $b_t$ постоянен 50–150 шагов, затем маркер $m_t=1$ сообщает, что уровень заново выбран. Наблюдение

x_t=b_t+\varepsilon_t,\qquad \varepsilon_t\sim\mathcal N(0,0{,}2^2).

LSTM должна усреднять шум внутри сегмента и быстро забывать старое после маркера. Постройте средние $f_t,i_t$ в окне от $-10$ до $+20$ вокруг переключения. Ожидается падение forget gate и рост input gate, но проверяйте одновременно ошибку: красивый профиль без улучшения прогноза ничего не доказывает.

Проведите counterfactual: удалите маркер из входа, сохранив сами значения. Время адаптации должно увеличиться. Затем вставьте ложный маркер без смены уровня. Если сеть полностью стирает память, возникнет краткий всплеск ошибки. Так выясняется, как она объединяет явное событие и статистическое свидетельство.

Сравните с change-point detection, где переключение ищется по вероятностному критерию. LSTM обучает внутренний detector вместе с прогнозом, но не выдаёт калиброванную вероятность смены.

Практическая проверка масок

Создайте batch из одной короткой и одной длинной последовательности. Один раз правильно замаскируйте padding, второй — оставьте нули как обычный вход. Убедитесь, что prediction короткого объекта зависит от количества добавленных нулей только во втором режиме. Этот unit test стоит держать рядом с кодом: ошибка padding способна тихо пережить обучение и проявиться лишь на другой длине.

При irregular sampling добавьте $\Delta t$ как признак. Два одинаковых значения, разделённые минутой и сутками, означают разную скорость процесса. Здесь LSTM встречается с работой над временными данными: индекс времени является частью наблюдения, а не подписью на графике.

Проверьте state reset. Отсортируйте объекты в batch двумя разными порядками и убедитесь, что прогноз каждого не меняется. Если hidden state случайно перетекает между объектами, результат зависит от технического порядка строк. Такой баг способен дать особенно высокий validation score, когда соседние записи относятся к одному устройству.

Для streaming inference явно задайте событие сброса: новый двигатель, длинный разрыв или смена пользователя. Сохраните этот контракт рядом с моделью, иначе offline и production будут вычислять разные состояния.

Отдельно протестируйте длинное накопление в mixed precision. Ограниченный $h_t$ способен скрывать рост внутреннего $c_t$ ; позднее открытие output gate насыщает $\tanh$ и стирает различия.

Тестируйте state contract на отдельном наборе коротких, длинных и прерванных последовательностей.

Ворота задают временной масштаб

LSTM делает память управляемой: отдельный аддитивный канал, запись, забывание и чтение. Формула постоянного forget gate связывает значение ворот с временным масштабом. На практике качество определяется масками, разделением данных, baseline и честным бюджетом не меньше самой ячейки.

Задачи

5баллов

Последовательность начинается битом 0 или 1, затем содержит $D$ символов blank, после чего приходит query и модель должна выдать начальный бит. Для train/validation/test создайте 50 000/10 000/10 000 примеров с $D\in[20,200]$ , равномерным по целым, и точным балансом классов; отдельный extrapolation test содержит 10 000 примеров с $D\in[201,300]$ и тем же балансом. PCG64 seeds равны 7430–7433. One-hot вход имеет размер 4. Сравните однослойные tanh-RNN ширины 64, GRU ширины 36 и LSTM ширины 31, $h_0=c_0=0$ , с линейным двухклассовым выходом; числа параметров должны различаться менее чем на 5%, их нужно опубликовать. Xavier initialization, Adam $10^{-3}$ , batch 256, 30 эпох, patience 4, gradient clipping 1 и PyTorch seeds 7441–7445. Зачёт требует accuracy по 20 равным корзинам длины, extrapolation accuracy и медиану $\lVert\partial\mathcal L/\partial h_t\rVert_2$ по лагу с интервалом по seed.

6баллов

Используйте снимок Open Power System Data time_series версии 2020-10-06, файл time_series_60min_singleindex.csv, регион Германия, столбец DE_load_actual_entsoe_transparency в МВт, время UTC 2015-01-01–2019-12-31. Train равен 2015–2017, validation 2018, test 2019 без перемешивания. Одиночные пропуски линейно интерполируйте отдельно внутри каждой части; неполные после этого окна удалите. Окно пометьте gap, если среди 168 входных часов был исходный пропуск, а цель наблюдалась. Статистики нормировки считайте только на train. Предскажите следующий час seasonal naive $\widehat y_t=y_{t-168}$ , ridge-модель $\lambda=1$ , GRU и LSTM: один слой ширины 32, окно 168, линейный выход, $h_0=c_0=0$ , Xavier weights, нулевые biases, Adam $10^{-3}$ , batch 128, до 40 эпох, patience 5, seeds 74401–74405. Пик определяется истинной test-нагрузкой выше 90-го процентиля train. Зачёт требует MAE в МВт для всех, пиковых и gap-часов, числа примеров и 95%-интервалы нейросетей.

7баллов

Сгенерируйте 10 000 последовательностей длины 400. Начальный уровень $m_0\sim\mathcal N(0,1)$ ; на каждом шаге без маркера $m_t=m_{t-1}+\epsilon_t$ , $\epsilon_t\sim\mathcal N(0,0{,}01^2)$ , а маркер приходит независимо с вероятностью 0,01 и заменяет $m_t\sim\mathcal N(0,1)$ . Наблюдение $x_t=m_t+\nu_t$ , $\nu_t\sim\mathcal N(0,0{,}1^2)$ ; цель равна $m_t$ . Разделите первые 8 000/1 000/1 000 последовательностей на train/validation/test, PCG64 seed 7450. На вход LSTM в момент $t$ подавайте пару $(x_t,r_t)$ , где $r_t\in\{0,1\}$ — наблюдаемый индикатор маркера. Сравните LSTM ширины 32 с нулевыми $h_0,c_0$ и forget-gate bias 0, 1, 3; прочие веса Xavier, Adam $10^{-3}$ , batch 128, 40 эпох, patience 5. Для 30 инициализаций seeds 7451–7480 измерьте test RMSE вне десяти шагов после маркера и средние $f_t,i_t$ в окне $[-10,20]$ . Для каждого маркера задержка — наименьшее $d\ge0$ , после которого абсолютная ошибка меньше 0,1 пять шагов подряд до следующего маркера или конца последовательности. Если такого $d$ нет, наблюдение считайте цензурированным справа в момент следующего маркера или конца; не подменяйте его числом. Отчитайте Kaplan–Meier-медиану задержки (или нижнюю границу, если медиана не достигнута), долю цензурированных случаев и интервалы по seed. Зачёт также требует объяснить компромисс хранения со сбросом.