Оптимизаторы: Momentum, AdaGrad, Adam

Оптимизатор не меняет, где расположены минимумы функции потерь, но меняет траекторию, скорость и часто то, к какому из многих решений придёт обучение. История градиентов может задавать инерцию или отдельный масштаб каждой координаты — и одна и та же задача решается то за сотню шагов, то не решается вовсе.

Ландшафт один, походка разная

В уроке 22 мы условились: антиградиент указывает направление самого быстрого локального убывания. Из этого не следует, что идти надо именно туда. Направление наибыстрейшего спуска — свойство одного шага; нам же нужен маршрут из десятков тысяч шагов, и жадность на каждом из них не гарантирует короткого пути.

Оптимизатор — это правило, по которому история наблюдённых градиентов превращается в очередной сдвиг весов:

$$\theta_{t+1}=\theta_t-\eta\,D_t\bigl(g_1,\ldots,g_t\bigr).$$

Обычный градиентный спуск — частный случай с самой короткой памятью:

$$D_t=g_t .$$

Все методы этого урока отличаются только видом $D_t$. Минимумы функции потерь от выбора $D_t$ не сдвигаются ни на волос: они заданы данными и моделью. Меняется путь, скорость и — что важнее всего в переопределённой области из урока 59 — то, какой именно из множества почти одинаково хороших минимумов будет найден.

Шарик в узком овраге

Возьмём модельную функцию — она модельная сознательно, зато считается на бумаге:

$$f(x,y)=\tfrac12\bigl(x^2+\kappa y^2\bigr),\qquad \nabla f=(x,\ \kappa y).$$

Градиентный спуск с шагом $\eta$ распадается на две независимые геометрические прогрессии:

$$x_{t+1}=(1-\eta)x_t,\qquad y_{t+1}=(1-\eta\kappa)y_t.$$

Устойчивость требует $|1-\eta\kappa|<1$, то есть $\eta<2/\kappa$: крутая координата запрещает большой шаг. А скорость по пологой координате равна $1-\eta$ — при $\eta<2/\kappa$ она не может быть быстрее, чем $1-2/\kappa$. Число $\kappa$ (отношение кривизн, оно же число обусловленности) целиком определяет беду: чем оно больше, тем сильнее разрыв между тем шагом, который можно сделать, и тем, который нужен.

При наилучшем $\eta=2/(1+\kappa)$ расстояние до минимума за один шаг умножается на

$$\rho=\frac{\kappa-1}{\kappa+1},$$

и при $\kappa=100$ это $\rho\approx0{,}980$ — на каждый шаг приходится всего два процента прогресса. Чтобы сократить расстояние в $10^{3}$ раз, нужно

$$T=\frac{\ln 10^{3}}{\ln(1/\rho)}\approx\frac{6{,}91}{0{,}0200}\approx346$$

шагов при $\kappa=100$ и примерно в десять раз больше при $\kappa=1000$: число шагов растёт линейно по $\kappa$. Это не про «медленный компьютер», это про форму чаши.

Почему шаг нельзя просто увеличить

Мы уже знаем, что шаг ограничен: крутая координата требует $\eta<2/\kappa$, иначе прогрессия расходится. Теперь спросим, чего мы из-за этого лишаемся.

Представим, что шаги сделаны совсем мелкими, а считаем мы их очень часто. Точки сольются в гладкую кривую, которая просто скатывается ко дну, всё время поворачивая в сторону наискорейшего спуска. Назовём её идеальной траекторией и будем держать как эталон: реальный метод идёт по ней рывками и ровно настолько хорош, насколько точно за ней успевает.

Сравнение эталона с рывками сразу показывает, где потери. У идеальной кривой нет ограничения на длину шага — она просто скользит по склону. У метода оно есть, и диктует его самое крутое направление, каким бы редким оно ни было. Вдоль пологого дна оврага разрешённый шаг оказывается чудовищно мал.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Отсюда неожиданный вывод: ускорять надо не движение, а шаги. Идеальную кривую подгонять бессмысленно — она и так скатывается со скоростью, какую позволяет форма чаши. А вот метод делает сотни осторожных шажков там, где кривая проходит одним махом. Значит, задача не «идти быстрее», а «складывать много мелких шагов в один длинный вдоль дна, не расшатав движение поперёк».

Ровно это и делает инерция. Обычный шарик, скатываясь в чашу, не останавливается на каждом миллиметре, чтобы заново посмотреть на уклон: у него есть скорость, и он переносит её из прошлого в будущее. Метод с моментом устроен так же — слагаемое $\beta\,(x_k-x_{k-1})$ и есть накопленная скорость, а множитель $\beta<1$ играет роль трения, которое не даёт разогнаться до бесконечности. Поперёк оврага скорость на соседних шагах меняет знак и гасит сама себя, а вдоль дна она копится шаг за шагом. «Момент» здесь не красивое слово: это обычная механическая инерция, записанная в двух строчках.

Momentum: память о направлении

Инерция накапливает скорость:

$$v_t=\beta v_{t-1}+g_t,\qquad \theta_{t+1}=\theta_t-\eta v_t .$$

Ту же схему можно записать без вспомогательной переменной — как «шаг плюс доля предыдущего смещения»:

$$\theta_{t+1}=\theta_t-\eta g_t+\beta(\theta_t-\theta_{t-1}),$$

откуда и старое название «метод тяжёлого шарика»: шарик с массой не может мгновенно развернуться поперёк оврага.

Поперечные градиенты в овраге меняют знак почти каждый шаг и при суммировании взаимно гасятся; продольные сохраняют знак и накапливаются. Это ровно то, что нужно: подавить то, что мешает, усилить то, что ведёт к цели.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Числа с рисунка стоит проговорить вслух. Стартовое значение $f(9;1)=81+100=181$. Градиентный спуск с наилучшим шагом снял с него меньше чем в двадцать два раза; момент — почти в девять тысяч раз; Adam — в двадцать четыре тысячи. Все трое считали одинаковое число градиентов, то есть потратили одинаковые деньги.

Сколько шагов помнит инерция

Раскроем рекурсию:

$$v_t=\sum_{k=0}^{t-1}\beta^k g_{t-k}.$$

Это взвешенная сумма прошлого с геометрически убывающими весами. Сумма весов при постоянном градиенте равна

$$\sum_{k\ge0}\beta^k=\frac1{1-\beta},$$

то есть эффективный шаг вдоль устойчивого направления вырастает в $1/(1-\beta)$ раз: при $\beta=0{,}9$ — в десять, при $\beta=0{,}99$ — в сто. Характерная глубина памяти тоже равна $1/(1-\beta)$ шагов.

Нестеровская версия вычисляет градиент не в текущей точке, а в сдвинутой по уже накопленной скорости:

$$v_t=\beta v_{t-1}+\nabla f(\theta_t-\eta\beta v_{t-1}),\qquad \theta_{t+1}=\theta_t-\eta v_t .$$

Смысл поправки — «сначала посмотри, куда тебя несёт, потом измеряй наклон». Для гладких выпуклых задач это даёт доказуемо лучшую оценку числа шагов; в нейросетях выигрыш зависит от режима, и его надо измерять, а не предполагать.

AdaGrad: редкая координата получает шанс

Инерция работает с направлением. Второе семейство работает с масштабом координаты. AdaGrad копит квадраты градиентов покоординатно:

$$G_{t,j}=\sum_{s\le t}g_{s,j}^2,\qquad \theta_{t+1,j}=\theta_{t,j}-\frac{\eta}{\sqrt{G_{t,j}}+\varepsilon}\,g_{t,j}.$$

Это в точности шаг в изменённой метрике: если ввести диагональную матрицу

$$H_t=\operatorname{diag}\bigl(\sqrt{G_{t,1}},\ldots,\sqrt{G_{t,d}}\bigr),$$

то обновление записывается как $\theta_{t+1}=\theta_t-\eta H_t^{-1}g_t$ — формально то же самое, что растяжение осей перед обычным спуском.

Координата, по которой градиент часто велик, быстро набирает $G$ и получает маленький множитель; редкая координата сохраняет крупный шаг. Это ровно тот случай, что описан в уроке 24 для разреженных текстов: вес слова, встретившегося в пяти письмах из четырёх с половиной тысяч, не должен тащить на себе тормоз, заработанный словом «to».

Проверим это на настоящем корпусе SMS-спама, с которым мы работали в уроке 42: 4457 обучающих сообщений, словарь из 1553 слов, встретившихся не менее чем в пяти письмах, заполненность матрицы признаков 0,78 % — то есть 99,2 % всех клеток нули.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

У вечной суммы есть цена: $G_{t,j}$ только растёт, поэтому шаг монотонно затухает. На выпуклой задаче это даже доказуемо полезно, но при долгом обучении нейросети метод может остановиться раньше, чем найдёт хорошее решение.

RMSProp и экспоненциальная память

RMSProp заменяет вечную сумму скользящим средним:

$$v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2,\qquad \theta_{t+1}=\theta_t-\eta\,\frac{g_t}{\sqrt{v_t}+\varepsilon}.$$

Развернув рекурсию, видим взвешенное среднее прошлых квадратов с суммой весов, равной единице (с точностью до начального смещения):

$$v_t=(1-\beta_2)\sum_{k=0}^{t-1}\beta_2^{\,k}g_{t-k}^2 .$$

Квадраты берутся покоординатно, старое забывается геометрически, окно памяти — порядка $1/(1-\beta_2)$ шагов: при $\beta_2=0{,}9$ это десяток, при $\beta_2=0{,}999$ — тысяча.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Adam соединяет два момента

Adam хранит экспоненциальные средние и градиента, и его квадрата:

$$m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,$$ $$v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2 .$$

Числитель задаёт сглаженное направление (это инерция), знаменатель — масштаб координаты (это RMSProp). Вместе:

$$\theta_{t+1}=\theta_t-\eta\, \frac{\widehat m_t}{\sqrt{\widehat v_t}+\varepsilon},\qquad \widehat m_t=\frac{m_t}{1-\beta_1^{\,t}},\quad \widehat v_t=\frac{v_t}{1-\beta_2^{\,t}} .$$

Полезное следствие: длина шага почти не зависит от величины градиента. Если градиент по координате стабилен, то $\widehat m\approx g$ и $\sqrt{\widehat v}\approx|g|$, поэтому

$$|\Delta\theta_j|\approx\eta\,\frac{|g_j|}{|g_j|}=\eta .$$

Adam переводит $\eta$ из «множителя при градиенте» в «размер шага в единицах весов» — отсюда и знаменитое значение по умолчанию $10^{-3}$, которое работает в задачах с совершенно разными масштабами потерь.

Слова «инвариантен к диагональному перемасштабированию» — самые важные в этой цитате. Умножьте одну координату признака на тысячу: градиент по соответствующему весу тоже умножится на тысячу, но и $\sqrt{v}$ умножится на тысячу, и отношение не изменится. Именно эту инвариантность мы сейчас увидим на настоящих данных.

Зачем нужна коррекция смещения

Инициализация $m_0=v_0=0$ — не безобидная деталь. При постоянном $g=1$ имеем $m_1=1-\beta_1=0{,}1$ и $v_1=1-\beta_2=0{,}001$, поэтому без коррекции первый множитель равен

$$\frac{m_1}{\sqrt{v_1}}=\frac{0{,}1}{0{,}0316}=\sqrt{10}\approx3{,}16 ,$$

то есть первый шаг был бы втрое длиннее задуманного $\eta$. Коррекция делит на $1-\beta_1^t$ и $1-\beta_2^t$ и возвращает обеим оценкам правильный масштаб.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Реальные данные: когда масштабы врозь

Модельный овраг убедителен, но настоящие овраги не рисуют — их получают. Возьмём данные диагностики опухолей молочной железы из sklearn (569 объектов, 30 признаков) и обучим логистическую регрессию полным градиентом, 300 итераций. Признаки берём сырыми, как они записаны в файле: наибольшее стандартное отклонение превосходит наименьшее в 215 тысяч раз.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Вывод из этой пары панелей стоит десятка формул: адаптивные методы в основном делают ту работу, которую вы не сделали при подготовке данных. Стандартизация дешевле, проверяемее и не мешает никакому оптимизатору.

Один и тот же шаг — нечестное сравнение

Самая частая ошибка в отчётах: «мы сравнили оптимизаторы при $\eta=10^{-3}$». Масштаб обновления у методов разный по построению. У GD сдвиг пропорционален $|g|$; у Adam он близок к $\eta$ независимо от $|g|$, потому что $\widehat m/\sqrt{\widehat v}$ по модулю порядка единицы. Никакого общего $\eta$ не существует.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Лаборатория оптимизаторов

По умолчанию лаборатория работает честно: каждому методу она подбирает свой лучший $\eta$ из сетки, ровно как рисунок 62.6. Начните с $\kappa=1$: круглая чаша, все четверо приходят в минимум почти сразу — на симметричной задаче адаптивность не нужна. Поднимайте $\kappa$ и следите за счётчиком пересечений оси: у GD он растёт первым, и найденный для него $\eta$ упирается в потолок $2/\kappa$.

Затем переключите режим на «общий $\eta$ для всех» и поднимайте шаг: вы увидите три разных порога устойчивости и то самое несправедливое сравнение, о котором шла речь выше. И наконец включите шум градиента $\sigma$: на гладкой детерминированной чаше покоординатная нормировка почти творит чудеса, но как только $\sqrt{v}$ начинает измерять не сигнал, а шум, порядок методов меняется. Именно поэтому выводы, полученные на модельной квадратичной задаче, нельзя переносить на обучение сети без проверки.

AdamW: decay, который снова стал сжатием

Для обычного SGD штраф $\tfrac{\lambda}{2}\|\theta\|^2$ и «затухание весов» — одно и то же:

$$\theta\leftarrow\theta-\eta(g+\lambda\theta)=(1-\eta\lambda)\theta-\eta g .$$

В Adam это равенство ломается: слагаемое $\lambda\theta$ попадает в градиент, проходит через покоординатное деление на $\sqrt{\widehat v}$ и сжимает разные веса по-разному. Координата с малым $\sqrt{v}$ получает огромное сжатие, координата с большим — почти никакого. AdamW отделяет decay от градиента:

$$\theta\leftarrow(1-\eta\lambda)\theta- \eta\frac{\widehat m}{\sqrt{\widehat v}+\varepsilon}.$$

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Практический вывод для регуляризации: число $\lambda$ без имени оптимизатора ничего не значит, а переход с Adam на AdamW требует заново настроить $\lambda$, а не переписать одну букву в конфигурации.

Шор: растяжение пространства вместо угадывания шага

Мысль «поменяем метрику вместо того, чтобы мучить шаг» появилась задолго до AdaGrad, и появилась она в Киеве. Наум Зуселевич Шор (1937–2006), сотрудник Института кибернетики имени В. М. Глушкова, занимался задачами, где функция негладкая и обычный градиент попросту не определён. На рубеже 1960–1970-х годов он предложил субградиентные методы с растяжением пространства: после каждого шага координаты пересчитываются линейным преобразованием, вытягивающим то направление, вдоль которого метод топчется. Знаменитый $r$-алгоритм Шора растягивает пространство в направлении разности двух последовательных субградиентов — то есть ровно в том направлении, где ландшафт оказался оврагом.

$$\theta_{t+1}=\theta_t-\eta_t\,B_tB_t^\top g_t,$$

где матрица $B_t$ обновляется после каждого шага так, чтобы растянуть пространство вдоль $g_t-g_{t-1}$. Сравните с AdaGrad: там роль $B_tB_t^\top$ играет диагональная матрица $\operatorname{diag}(G_{t,j}^{-1/2})$. Идея одна и та же — заменить метрику; отличается только цена.

Обрезка градиента и численная точность

Иногда норма градиента взрывается — обычно в рекуррентных сетях или при неудачном сочетании шага и батча. Клиппинг по норме заменяет

$$g\leftarrow g\cdot\min\Bigl(1,\ \frac{c}{\|g\|}\Bigr),$$

сохраняя направление и ограничивая длину числом $c$. Иначе говоря, на обрезанных шагах метод работает с уменьшенной скоростью обучения

$$\eta_{\text{эфф}}=\eta\,\frac{c}{\|g\|},$$

и чем сильнее выброс, тем сильнее автоматическое торможение. Покоординатная обрезка устроена иначе: она поворачивает вектор, и это надо оговаривать в отчёте.

Численная точность тоже участвует в траектории. В смешанной точности малые градиенты округляются в ноль; loss scaling временно увеличивает их до представимого диапазона и делит обратно перед шагом:

$$\tilde L=S\cdot L,\qquad g=\frac1S\,\nabla\tilde L,\qquad S\sim10^{4} .$$

Появление NaN не доказывает, что плохо выбрана функция потерь, пока не проверены переполнение, $\varepsilon$ и порядок операций.

Быстрый train не гарантирует лучший test

Adam почти всегда быстрее уменьшает обучающую потерю — мы это и увидели. Но обучение не соревнование по скорости спуска. В переопределённом режиме из урока 59 существует целое многообразие параметров, дающих почти нулевую ошибку на обучении; оптимизатор молча выбирает из него один, и этот выбор — часть модели, а не часть вычислительной техники.

Спорить с этой цитатой можно и нужно: в трансформерах картина другая, там AdamW стал стандартом не от лени. Но методологический смысл её бесспорен: «достиг той же train loss» и «построил ту же функцию» — разные утверждения, и второе проверяется только на отложенных данных.

Как выбирать оптимизатор: короткий протокол

Порядок действий, который экономит месяцы:

1. Приведите признаки к сопоставимым масштабам и проверьте нормализацию внутри сети. Половина «плохой обусловленности» лечится здесь и бесплатно.
2. Возьмите проверенный baseline: AdamW для трансформеров, SGD с моментом для многих задач зрения, AdaGrad для разреженных выпуклых моделей.
3. Настройте $\eta$ по логарифмической сетке и выберите расписание. Это дороже и важнее, чем выбор между Adam и SGD.
4. Только потом трогайте $\lambda$, $\beta_1$, $\beta_2$ и размер батча. По одному решению за раз.
5. Логируйте норму градиента, долю обрезанных шагов и отношение $\|\Delta\theta\|/\|\theta\|$ по слоям. Диагностика дешевле перебора.
6. Сравнивайте на нескольких seeds и по validation, а тест открывайте один раз в конце, как договаривались в уроке 58.

Обратное распространение из урока 25 даёт нам $g_t$; оптимизатор решает, что с ним делать. Ни один из них не знает истинной матрицы кривизны и не обязан её знать: каждый строит дешёвую догадку о геометрии по той истории, что уже видел. Понимать, какую именно догадку строит ваш метод, — и значит уметь выбирать оптимизатор.

Задачи