Урок 17. Нелинейность: сигмоида и ReLU

Прошлый урок показал, что глубина решает то, что не под силу одному слою. Но у порогового нейрона есть изъян, который мешает учить глубину: ступенька негладкая, и градиентный спуск об неё спотыкается. Сегодня мы заменим ступеньку гладкой кривой — и по дороге выясним, что без нелинейности глубина вообще бессмысленна, а неудачный выбор кривой губит обучение сетей.

Зачем вообще гнуть прямую

Начнём с вопроса, который легко проскочить: а нужна ли активация вообще? Пусть у нас два слоя без всякой нелинейности между ними — просто две линейные операции подряд. Первый слой превращает вход $x$ в $W_1 x$ , второй берёт результат и делает $W_2(W_1 x)$ . Раскроем:

W_2\,(W_1\,x) = (W_2 W_1)\,x = W\,x, \qquad W = W_2 W_1 .

Произведение двух матриц — снова матрица. Два линейных слоя схлопнулись в один; сколько бы линейных слоёв мы ни поставили друг за другом, всё это равно одному линейному преобразованию. Глубина без нелинейности — иллюзия: она не добавляет ни грамма выразительности. Именно нелинейная функция, вставленная между слоями, ломает это схлопывание и даёт глубине смысл — ту самую способность гнуть пространство из прошлого урока. Без неё многослойная сеть не сложнее одного нейрона.

ОриентирДва требования к активации

Активации на двух осях: нелинейность даёт выразительность, гладкость — обучаемость. Ступенька провалилась по второй оси; сигмоида и ReLU держат обе.

От активации мы хотим двух разных вещей, и они про разное. Нелинейность нужна, чтобы глубина работала, — это про выразительность. Гладкость нужна, чтобы сеть можно было обучать спуском по градиенту, — это про обучаемость. Пороговая ступенька из урока 13 нелинейна, но негладка: она даёт выразительность и отнимает обучаемость. Весь сегодняшний урок — поиск функций, у которых есть и то и другое.

УпражнениеСхлопывание трёх слоёв

Пусть три линейных слоя без активаций заданы матрицами $W_1=\left(\begin{smallmatrix}1&2\\0&1\end{smallmatrix}\right)$ , $W_2=\left(\begin{smallmatrix}1&0\\1&1\end{smallmatrix}\right)$ , $W_3=\left(\begin{smallmatrix}2&0\\0&2\end{smallmatrix}\right)$ . Найдите одну матрицу $W$ , задающую ту же функцию $x\mapsto W_3 W_2 W_1 x$ , и объясните, что изменится, если между слоями вставить ReLU.

Сверить вычисление

$W_2 W_1=\left(\begin{smallmatrix}1&2\\1&3\end{smallmatrix}\right)$ , затем $W_3(W_2 W_1)=\left(\begin{smallmatrix}2&4\\2&6\end{smallmatrix}\right)=W$ . Три слоя — одно умножение на $W$ : без активаций глубина не дала ничего нового. Вставим ReLU — и между слоями появится излом, зависящий от знака промежуточных значений; произведение матриц больше не «проходит насквозь», и сеть получает возможность задавать кусочно-линейные, непрямые границы, как в уроке 16.

Ступенька, о которую спотыкается спуск

Пороговый нейрон Мак-Каллока–Питтса выдаёт ступеньку: $0$ слева от порога, $1$ справа, резкий скачок посередине. Нелинейность безупречная — но приглядимся к её производной. Слева и справа от скачка функция постоянна, значит, её наклон равен нулю; ровно в точке скачка наклон бесконечен и не определён. Производная ступеньки — ноль почти всюду.

Для обучения это приговор. Градиентный спуск, к которому мы идём, двигает веса в сторону, подсказанную производной ошибки: «наклони чуть туда, где ошибка убывает». Но если производять активации всюду ноль, подсказки нет — как ни двинь вес, выход ступеньки не шелохнётся, пока не перевалит через порог, а там прыгнет разом. Плоскость без наклона не говорит, куда идти. Чтобы спуск заработал, ступеньку надо сгладить: чуть наклонить полки, скруглить скачок — так, чтобы у функции всюду был ненулевой, осмысленный наклон.

Слева жёсткая пороговая ступенька с нулевой производной по бокам и скачком в центре; справа сигмоида — плавная S-кривая, приближающая ступеньку, с ненулевым наклоном везде — Рис. 17.1. Ступенька и её сглаженные наследницы
Слева — пороговая ступенька: нелинейна, но её наклон нулевой по бокам и не определён в скачке, спуску не за что зацепиться. Справа — сигмоида, плавная S-образная наследница ступеньки: та же форма «переключателя», но всюду с ненулевым наклоном. Сглаживание превращает негладкий переключатель в обучаемую функцию.

Сигмоида: гладкий переключатель и вероятность

Самая известная гладкая замена ступеньки — сигмоида, или логистическая функция:

\sigma(z)=\frac{1}{1+e^{-z}} .

Она плавно поднимается от $0$ (при больших отрицательных $z$ ) к $1$ (при больших положительных), проходя через $\tfrac12$ в нуле, — та же S-форма переключателя, но без разрыва. Два её свойства драгоценны. Во-первых, выход лежит строго между $0$ и $1$ , и его можно читать как вероятность: сигмоида превращает произвольный «счёт уверенности» $z=w\cdot x$ в число «насколько модель уверена, что это класс $1$ ». Ровно так работал логистический классификатор спама из урока о классификации: его сырые счёта проходили через сигмоиду и становились вероятностями «это спам».

Во-вторых, у сигмоиды на редкость удобная производная:

\sigma'(z)=\sigma(z)\,\bigl(1-\sigma(z)\bigr).

Наклон выражается через саму функцию — не надо ничего пересчитывать. В нуле, где сигмоида круче всего, наклон равен $\sigma(0)(1-\sigma(0))= \tfrac12\cdot\tfrac12=\tfrac14$ . Это её максимальный наклон, и вот это число $\tfrac14$ ещё выйдет нам боком.

Сигмоида, отображающая ось счёта w·x в вероятность от 0 до 1; на оси отмечены реальные счёта спам-классификатора урока 07, ниже нуля тянутся к вероятности 0 (не спам), выше — к 1 (спам) — Рис. 17.2. Сигмоида превращает счёт в вероятность
Сигмоида отображает счёт $z=w\cdot x$ (сколь уверенно сработали признаки) в вероятность от $0$ до $1$ . Точки внизу — реальные счёта спам-классификатора из урока 07: отрицательные счёта сигмоида уводит к «не спам», положительные — к «спам», а околонулевые попадают в зону сомнения вокруг $\tfrac12$ . Одна кривая связывает линейный счёт и вероятностный ответ.

УпражнениеПроизводная через саму функцию

Проверьте формулу $\sigma'=\sigma(1-\sigma)$ , продифференцировав $\sigma(z)=(1+e^{-z})^{-1}$ напрямую. Затем найдите наклон сигмоиды при $z=2$ и при $z=-2$ и объясните, почему вдали от нуля она обучается медленно.

Сверить вычисление

$\sigma'=-(1+e^{-z})^{-2}\cdot(-e^{-z})=\dfrac{e^{-z}}{(1+e^{-z})^2}$ . Домножив и поделив, узнаём $\sigma\cdot(1-\sigma)$ . При $z=2$ : $\sigma(2)\approx 0{,}88$ , наклон $0{,}88\cdot 0{,}12\approx 0{,}106$ ; при $z=-2$ по симметрии столько же. Это вчетверо меньше максимального $\tfrac14$ : на «полках» сигмоиды, где она почти $0$ или почти $1$ , наклон крошечный, подсказка спуску слабая, и веса, попавшие в насыщение, почти застревают. Насыщение сигмоиды — первый звоночек проблемы, к которой мы сейчас придём.

tanh: та же кривая, но по центру

У сигмоиды есть неудобство: её выход всегда положителен, среднее не в нуле, и это чуть замедляет обучение следующего слоя. Лечит это близкая родственница — гиперболический тангенс:

\tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}} =2\,\sigma(2z)-1 .

Это та же S-кривая, растянутая на диапазон от $-1$ до $1$ и симметричная относительно нуля. Её наклон в нуле равен $1$ — вчетверо круче сигмоиды, и градиент сквозь неё проходит легче. Долгое время $\tanh$ был активацией по умолчанию в скрытых слоях, а сигмоиду оставляли для выхода, где нужна именно вероятность. Но у обеих S-кривых остаётся общая болезнь, и ради неё стоит присмотреться к наклонам внимательнее.

Упражнениеtanh через сигмоиду

Докажите тождество $\tanh(z)=2\sigma(2z)-1$ и выведите из него, что наклон $\tanh$ в нуле равен $1$ . Почему центрированность (выход от $-1$ до $1$ вместо $0$ до $1$ ) помогает следующему слою?

Сверить вывод

$2\sigma(2z)-1=\dfrac{2}{1+e^{-2z}}-1=\dfrac{1-e^{-2z}}{1+e^{-2z}}= \dfrac{e^{z}-e^{-z}}{e^{z}+e^{-z}}=\tanh z$ (домножили на $e^{z}$ числитель и знаменатель). Наклон: $\tanh'(z)=2\cdot 2\sigma'(2z)= 4\sigma(2z)(1-\sigma(2z))$ ; в нуле это $4\cdot\tfrac14=1$ . Центрированность важна тем, что при выходе всегда положительном (как у сигмоиды) все входы следующего слоя одного знака, и его веса вынуждены двигаться синхронно — обучение петляет; симметричный выход $\tanh$ снимает этот перекос.

Затухающий градиент: почему глубокие сигмоиды не учились

Вот главный сюжет урока. Обучая многослойную сеть, ошибку проводят с выхода назад к ранним слоям, перемножая по дороге наклоны активаций — подробно этот механизм разберёт урок о backprop. Пока достаточно знать: чтобы поправить вес в слое, отстоящем от выхода на $L$ активаций, ошибку домножают на произведение $L$ их наклонов.

У сигмоиды наклон нигде не превышает $\tfrac14$ . Значит, проходя через $L$ сигмоидных слоёв, сигнал ошибки умножается на число не большее

\left(\tfrac14\right)^{L}, \qquad \left(\tfrac14\right)^{10}\approx 10^{-6}.

Через десяток слоёв поправка сжимается в миллион раз: ранние слои глубокой сигмоидной сети получают исчезающе слабый сигнал и почти не учатся. Это и есть проблема затухающего градиента — она годами держала нейросети мелкими. Чем глубже сеть, тем сильнее душит её собственная активация; сигмоида, спасшая нас от негладкой ступеньки, сама оказалась удавкой для глубины.

Логарифмический график: множитель градиента по числу слоёв; для сигмоиды кривая падает как одна четвёртая в степени L, к десятому слою около миллионной доли; для ReLU остаётся на единице — Рис. 17.3. Градиент сквозь слои: сигмоида гаснет, ReLU держится
Во сколько раз усыхает сигнал ошибки, пройдя $L$ слоёв. У сигмоиды множитель падает как $(\tfrac14)^L$ — к десятому слою около миллионной доли, ранние слои не учатся. У ReLU наклон на активной стороне равен $1$ , произведение остаётся порядка единицы, и градиент доходит до первых слоёв живым. Один график объясняет, почему глубокое обучение взлетело только со сменой активации.

ИсторияГлубина до моды

Сеть МГУА Ивахненко (1971): восемь слоёв полиномиальных узлов с послойным отбором. Глубокое обучение в Киеве за сорок лет до моды.

Глубокие сети построили в СССР задолго до того, как это стало возможным на Западе. Киевский учёный Алексей Ивахненко в конце 1960-х создал «метод группового учёта аргументов» и уже в 1971 году обучил сеть в восемь слоёв — с полиномиальными активациями и послойным обучением, обходя и негладкость, и затухание градиента ещё до того, как их осознали проблемой. Многие историки считают именно Ивахненко родоначальником глубокого обучения; мода на глубокие сети пришла на сорок лет позже, но первопроходец работал в Киеве.

:::

ReLU: почти линейная, но всё меняет

Спасение оказалось обезоруживающе простым. Взять функцию

\operatorname{ReLU}(z)=\max(0,\,z):

отрицательные значения обнулить, положительные пропустить как есть. Никакой экспоненты, никакой S-кривой — просто сломанная в нуле прямая. Её наклон тоже элементарен: $0$ для отрицательных $z$ и ровно $1$ для положительных. И именно эта единица всё решает: проходя через слой активных ( $z>0$ ) ReLU-нейронов, градиент домножается на $1$ — не гаснет. Стек ReLU-слоёв проводит сигнал ошибки к первым слоям без затухания, и глубокие сети наконец стали обучаемыми.

\operatorname{ReLU}'(z)= \begin{cases} 0,& z<0,\\ 1,& z>0. \end{cases}

ReLU нелинейна (излом в нуле не даёт слоям схлопнуться), почти гладка (наклон постоянен на каждой половине), считается за одно сравнение и не душит градиент. Когда в 2012 году глубокая сеть с ReLU выиграла соревнование по распознаванию изображений с большим отрывом, активация по умолчанию сменилась почти повсеместно: сигмоиду и $\tanh$ оставили там, где нужен именно их диапазон, а скрытые слои перешли на ReLU.

Четыре пары графиков: пороговая ступенька, сигмоида, гиперболический тангенс и ReLU, у каждой сверху сама функция, снизу её производная; у ступеньки производная всюду ноль, у сигмоиды колокол с максимумом одна четвёртая, у tanh колокол с максимумом один, у ReLU ступенька из нуля и единицы — Рис. 17.4. Четыре активации и их наклоны
Четыре активации (верхний ряд) и их наклоны (нижний). Ступенька: наклон всюду ноль — необучаема. Сигмоида и $\tanh$ : наклон-колокол, максимум $\tfrac14$ и $1$ , по краям гаснет — насыщение и затухание. ReLU: наклон $0$ или $1$ , на активной стороне градиент проходит без потерь. Эволюция активаций — это история борьбы за то, чтобы наклон не обнулялся.

УпражнениеНасколько ReLU спасает глубину

Сравните, во сколько раз усохнет градиент, пройдя $20$ слоёв, для сигмоиды (наклон $\le\tfrac14$ ) и для ReLU (наклон $1$ на активной стороне). Если у ReLU в каждом слое активна лишь половина нейронов, как это скажется на сигнале?

Сверить оценку

Сигмоида: не больше $(\tfrac14)^{20}=4^{-20}\approx 10^{-12}$ — сигнал уничтожен полностью. ReLU при всех активных: $1^{20}=1$ , градиент доходит невредимым. Если активна половина — половина путей обнулится, но по выжившим путям множитель по-прежнему $1$ : сигнал слабеет линейно от доли активных, а не экспоненциально от глубины. Разница между «в $10^{12}$ раз» и «вдвое» и есть причина, по которой глубина стала работать.

Тень ReLU: мёртвые нейроны

Совершенных активаций не бывает, и у ReLU своя болезнь. Если веса нейрона сложились так, что на всех примерах его вход $z$ отрицателен, то выход всегда $0$ , а наклон всегда $0$ — градиент до него не доходит никогда, и вес больше не меняется. Нейрон «умер»: он навсегда выключен и не участвует в обучении. При неудачной инициализации или слишком большом шаге так может отмереть заметная доля сети.

Лечат это лёгким наклоном на отрицательной стороне — «дырявой» ReLU:

\operatorname{LeakyReLU}(z)= \begin{cases} z,& z\ge 0,\\ 0{,}01\,z,& z<0, \end{cases}

у которой наклон слева не ноль, а маленькая положительная величина. Тогда даже «отрицательный» нейрон получает тонкий ручеёк градиента и может ожить. Мёртвые ReLU и дырявые заплатки — типичная для инженерии история: простое решение работает почти всегда, а на оставшиеся редкие случаи ставят маленькую починку.

ПрактикаЗоопарк активаций

Мёртвый ReLU: вход всегда слева от нуля, выход и наклон нулевые, нейрон не учится. Дырявая ReLU даёт слева тонкий наклон и оживляет его.

После ReLU придумали десятки её вариантов — leaky, параметрическую, ELU, GELU, Swish, — каждая чуть глаже или чуть удачнее ведёт себя на отрицательной стороне. В современных больших моделях чаще всего стоит GELU — гладкая родня ReLU. Но идея у всех одна: не дать наклону обнулиться там, где он нужен для обучения. Выбор активации почти всегда сводится к этому единственному требованию.

Лаборатория: активация и её наклон

Порядок опытов. Переключайте активацию — ступенька, сигмоида, tanh, ReLU, дырявая ReLU — и смотрите на пару графиков: саму функцию и её наклон. У ступеньки наклон всюду ноль; у сигмоиды колокол с вершиной $\tfrac14$ ; у ReLU наклон-ступенька из $0$ и $1$ . Затем крутите число слоёв и следите за табло множителя градиента: сигмоида уводит его к исчезающим долям за десяток слоёв, ReLU держит на месте. Вы своими глазами увидите, почему смена активации открыла эпоху глубоких сетей.

Сборка: одна кривая решает судьбу глубины

Активация — крошечная деталь нейрона, от которой зависит всё. Без нелинейности глубина схлопывается в один линейный слой, поэтому гнуть прямую обязательно. Но негладкая ступенька, идеальная как переключатель, не даёт обучать сеть градиентом, потому что её наклон всюду ноль. Гладкая сигмоида чинит это и вдобавок читается как вероятность, но её наклон не больше $\tfrac14$ , и через десяток слоёв градиент гаснет в миллион раз — глубокие сигмоидные сети не учились. ReLU, почти линейная и оттого дешёвая, держит наклон $1$ на активной стороне, проводит градиент сквозь глубину без потерь и ценой мелкой болезни мёртвых нейронов открыла эпоху по-настоящему глубоких сетей. Теперь у нас есть всё для обучения: многослойная сеть, гнущая пространство, и гладкая активация, сквозь которую пройдёт градиент. Осталось понять, что именно этот градиент уменьшает, — то есть как измерить ошибку сети одним числом. С этой функции потерь начинается разговор об оптимизации.

Задачи

5баллов

Приближение ступеньки: покажите, что $\sigma(kz)$ при $k\to\infty$ стремится к пороговой ступеньке, и постройте семейство кривых для $k\in\{1,3,10,30\}$ . Как ведёт себя максимальный наклон $\sigma'$ с ростом $k$ и почему это ставит обучение перед выбором «гладко, но вяло» против «резко, но негладко»? Свяжите с ролью температуры в softmax, которую встретите позже. Рубрика: 3 балла за семейство и предел, 2 за анализ наклона и связь.

6баллов

Активации и глубина эксперимент: обучите (любым доступным способом или готовой библиотекой) две сети одинаковой глубины $8$ слоёв — одну с сигмоидами, другую с ReLU — на «двух лунах» из урока 16 и сравните, как быстро падает ошибка. Извлеките и постройте среднюю величину градиента в первом и последнем слоях по ходу обучения. Покажите, что у сигмоидной сети градиент первого слоя на порядки меньше, и свяжите это с $(\tfrac14)^L$ . Рубрика: 3 балла за обе сети и кривые ошибки, 3 за сравнение градиентов по слоям.