Урок 18. Простейшая нейронная сеть

У нас на руках все детали: слой умеет гнуть пространство из урока о глубине, а гладкая активация из прошлого урока пропускает через себя обучение. Сегодня мы соберём из них первую целую нейронную сеть и прогоним сквозь неё настоящий цветок — не обучая её, а просто глядя, как вход превращается в ответ.

Сеть — это композиция слоёв

Одиночный нейрон считает $\varphi(w\cdot x)$ : взвешивает входы и пропускает через активацию. Слой — это просто много таких нейронов бок о бок, каждый со своими весами смотрит на один и тот же вход $x$ и выдаёт своё число. Сложим их веса построчно в матрицу $W$ (одна строка на нейрон), смещения — в вектор $b$ , и весь слой запишется одной строкой:

h = \varphi(W x + b).

Здесь $x$ — вектор входов, $Wx+b$ — вектор из счётов всех нейронов разом, а $\varphi$ применяется к каждой координате. Это то же самое, что вычислить нейроны по одному, но записанное как единая операция над векторами, матрично-векторное умножение. Сеть получается, когда выход одного слоя становится входом следующего:

h = \varphi(W_1 x + b_1), \qquad \hat y = \operatorname{softmax}(W_2 h + b_2).

Первый слой превращает вход $x$ в скрытые признаки $h$ , второй делает из этих признаков ответ $\hat y$ . Вся сеть — это композиция двух простых операций, функция, которая берёт вектор чисел на входе и отдаёт вектор чисел на выходе. Больше в ней ничего нет.

ОриентирСтрока матрицы — это нейрон

Каждая строка матрицы W — один нейрон; умножение Wx считает все скалярные произведения разом. Матрица — просто стопка нейронов.

Матрица $W$ выглядит абстрактно, но читается просто: каждая её строка — веса одного нейрона, а умножение $Wx$ — это разом посчитанные скалярные произведения всех строк с входом. Шесть нейронов от четырёх входов дают матрицу $6\times 4$ : шесть строк-нейронов, каждая длиной в четыре веса. Матричная запись не прячет нейроны, а складывает их в аккуратную таблицу — и позволяет посчитать весь слой одним действием.

Соберём сеть для ирисов

Хватит абстракций, возьмём живую задачу. Ирисы Фишера из урока о перцептроне: четыре измерения цветка (длина и ширина лепестка и чашелистика) и три вида — setosa, versicolor, virginica. Построим крошечную сеть: четыре входа, скрытый слой из шести нейронов с активацией $\tanh$ , выходной слой из трёх нейронов — по одному на вид. Веса этой сети уже настроены (как именно их настраивают, мы узнаем в уроке о backprop); сейчас важно другое — проследить, как сеть считает.

Схема ниже — вся наша сеть: четыре входных узла, шесть скрытых, три выходных, а между ними — веса, которые мы прогоним численно.

Схема сети: четыре входных узла (измерения цветка) соединены со слоем из шести скрытых нейронов, те — с тремя выходными узлами по одному на вид ириса; на выходе softmax даёт вероятности — Рис. 18.1. Сеть 4–6–3 для ирисов: входы, скрытый слой, выходы
Сеть для ирисов: четыре входа (измерения цветка), скрытый слой из шести $\tanh$ -нейронов и три выхода. Каждая стрелка — вес; их у первого слоя $6\times 4=24$ , у второго $3\times 6=18$ . Softmax на выходе превращает три счёта в три вероятности видов. Крошечная сеть, но это уже полноценная архитектура.

Прогон одного цветка, шаг за шагом

Возьмём первый цветок датасета — setosa с измерениями $(5{,}1;\,3{,}5;\,1{,}4;\,0{,}2)$ см. Проследим его путь через сеть.

Сначала вход приводят к общему масштабу — вычитают среднее и делят на разброс, как в уроке о кластерах, иначе признаки с крупными числами задавят мелкие. Цветок превращается в стандартизованный вектор

x = (-0{,}90;\ 1{,}03;\ -1{,}34;\ -1{,}31).

Первый слой умножает его на матрицу $W_1$ , добавляет $b_1$ и пропускает через $\tanh$ . Получается вектор из шести скрытых признаков:

h = \tanh(W_1 x + b_1) = (-0{,}55;\ -0{,}98;\ 1{,}00;\ -0{,}99;\ -0{,}97;\ 1{,}00).

Каждое из этих чисел есть ответ одного скрытого нейрона: насколько сильно сработал его выученный признак. Мы не знаем заранее, что «значит» третий или пятый нейрон, — сеть сама подобрала эти признаки при обучении, но их шесть чисел уже несут в себе всё, что сеть поняла про цветок. Второй слой берёт эти шесть чисел, умножает на $W_2$ , добавляет $b_2$ и получает три выходных счёта, по одному на вид. Осталось превратить счёта в вероятности.

Пошаговая схема прогона: слева четыре стандартизованных измерения, затем шесть столбиков скрытых активаций tanh, затем три выходных счёта, справа три вероятности softmax с явным победителем setosa — Рис. 18.2. Forward pass: от измерений цветка к вероятностям видов
Путь цветка сквозь сеть слева направо: четыре стандартизованных измерения, шесть скрытых активаций $\tanh$ (столбики от $-1$ до $1$ ), три выходных счёта и, наконец, три вероятности softmax. Для этого setosa сеть выдаёт $0{,}998$ на нужном виде — уверенное попадание. Ни одного обучения на этом рисунке: только прогон уже готовых весов.

УпражнениеПрочтите скрытый слой

Скрытые активации setosa из урока — $h=(-0{,}55;-0{,}98;1{,}00;-0{,}99;-0{,}97;1{,}00)$ . Три нейрона насыщены у $\pm 1$ , а первый — около $-0{,}55$ . Что означает насыщение $\tanh$ у $\pm 1$ для «уверенности» признака, и почему промежуточное значение $-0{,}55$ говорит о менее решительном признаке?

Сверить рассуждение

$\tanh$ выходит на $\pm 1$ при больших по модулю входах: насыщенный нейрон получил сильный сигнал и «твёрдо» голосует за или против своего признака. Значение $-0{,}55$ лежит в наклонной части $\tanh$ — вход близок к нулю, признак сработал вполсилы, нейрон не уверен. Читать скрытый слой можно так: близкие к $\pm 1$ активации — решительные голоса, близкие к нулю — колеблющиеся. Заметьте и обратную сторону: у насыщенных нейронов наклон $\tanh$ почти ноль (урок 17), и учить их трудно — та же палка о двух концах.

Softmax: три счёта в три вероятности

Выходные счёта — произвольные числа, они не похожи на вероятности: могут быть отрицательными, не складываются в единицу. Превращает их в вероятности функция softmax — обобщение сигмоиды из прошлого урока на несколько классов:

\operatorname{softmax}(z)_k = \frac{e^{z_k}}{\sum_j e^{z_j}} .

Каждый счёт возводят в экспоненту (это делает все числа положительными и раздвигает большие сильнее малых) и делят на сумму, и получаются $K$ положительных чисел, складывающихся ровно в $1$ . Их и читают как вероятности классов. Для нашего setosa три выходных счёта после softmax дали

\hat y = (0{,}998;\ 0{,}002;\ 0{,}000),

то есть сеть на $99{,}8\%$ уверена, что это setosa, и не ошиблась. Softmax не просто выбирает наибольший счёт, а сообщает, насколько уверенно, это «мягкий максимум», сохраняющий градации сомнения, а потому пригодный для обучения градиентом.

ПриёмМягкий максимум

Softmax: экспонента делает счёта положительными и раздвигает лидера, деление на сумму даёт вероятности, складывающиеся в единицу.

Имя softmax — от «soft maximum», мягкий максимум. Жёсткий максимум просто указал бы на самый большой счёт: «класс 2, точка». Softmax вместо этого распределяет вероятность между всеми, отдавая почти всю лидеру и оставляя крохи прочим. Эта мягкость драгоценна вдвойне: она честно передаёт неуверенность (см. пограничный цветок ниже) и, в отличие от жёсткого выбора, гладкая: сквозь неё проходит градиент, как и через сигмоиду. При одном классе softmax в точности превращается в сигмоиду урока 17.

УпражнениеПосчитайте softmax руками

Выходные счёта сети на каком-то цветке равны $z=(2{,}0;\ 0{,}5;\ -1{,}0)$ . Посчитайте вероятности классов через softmax и определите предсказание. Насколько сеть уверена?

Сверить вычисление

$e^{2}=7{,}39$ , $e^{0{,}5}=1{,}65$ , $e^{-1}=0{,}37$ ; сумма $9{,}41$ . Вероятности: $7{,}39/9{,}41=0{,}786$ , $1{,}65/9{,}41=0{,}175$ , $0{,}37/9{,}41=0{,}039$ . Предсказание — класс $1$ (счёт $2{,}0$ ) с уверенностью $78{,}6\%$ . Заметьте: разрыв счётов всего $1{,}5$ , а разрыв вероятностей уже вчетверо — экспонента раздвигает лидера. Проверьте себя: три вероятности сложились в $1{,}000$ , как и должно быть.

Когда сеть сомневается честно

Не каждый цветок так однозначен, как setosa. Прогоним versicolor, что растёт на границе с virginica: его измерения похожи на оба вида, и сеть это чувствует. Её выход —

\hat y = (0{,}001;\ 0{,}55;\ 0{,}449),

почти поровну между versicolor и virginica. Формально сеть выбирает versicolor (у него чуть больше), и на этом цветке она права, но её уверенность — всего $55\%$ против $45\%$ . Это не поломка, а честность: цветок и вправду пограничный, и раздувать уверенность до $99\%$ было бы ложью. Softmax передал ровно ту меру сомнения, которая заложена в данных.

Такая калибровка — большое достоинство. Модель, которая не только угадывает, но и сообщает, насколько уверена, куда полезнее уверенного болтуна: по вероятности $0{,}55$ врач назначит перепроверку, а по $0{,}998$ — нет. Способность честно сомневаться прямо вытекает из softmax и вернётся к нам, когда речь пойдёт о доверии к моделям в уроке о безопасности ИИ.

Три набора столбиков вероятностей: setosa с почти полной уверенностью на одном виде, virginica тоже уверенно, versicolor с почти равными столбиками 0.55 и 0.45 между двумя видами — Рис. 18.3. Три цветка, три ответа: уверенность и сомнение
Три цветка сквозь одну сеть. setosa и virginica сеть узнаёт уверенно — один столбик почти во всю высоту. Пограничный versicolor даёт два почти равных столбика ( $0{,}55$ и $0{,}45$ ): сеть склоняется к верному ответу, но честно признаёт сомнение. Вероятности softmax — это и выбор, и мера уверенности в нём.

Все цветки разом: векторизация

Мы прогнали цветы по одному, но на практике их подают пачками. И тут матричная запись раскрывается сполна. Сложим измерения $n$ цветков в матрицу $X$ размера $n\times 4$ — строка на цветок. Тогда скрытые признаки всей пачки считаются одним умножением:

H = \tanh(X W_1^{\top} + b_1),

где $H$ — матрица $n\times 6$ скрытых активаций всех цветков сразу. Не цикл по цветкам, а одно матричное умножение, которое процессоры и видеокарты выполняют молниеносно. Это и есть векторизация: записать вычисление над множеством объектов как операцию над матрицами. Вся скорость современных сетей стоит на том, что forward pass — это несколько больших матричных умножений, а их железо считает параллельно.

ПрактикаПочему сети любят видеокарты

Видеокарта устроена как тысячи простых счётчиков, работающих разом, — идеально для матричного умножения, где каждый элемент результата считается независимо. Обучение сетей взлетело благодаря ReLU из прошлого урока, а ещё потому, что forward и backward проходы свелись к матричным умножениям, которые видеокарта делает в сотни раз быстрее процессора. Математическая запись «слой = умножение на матрицу» — не украшение, а прямая инструкция железу, как считать параллельно.

УпражнениеРазмеры матриц сходятся

В нашей сети вход — вектор из $4$ чисел, скрытый слой — $6$ нейронов, выход — $3$ . Какого размера матрицы $W_1$ и $W_2$ ? Проверьте, что размеры «стыкуются»: результат умножения на $W_1$ можно подать в $W_2$ . Что изменится в размерах, если подать пачку из $50$ цветков?

Сверить рассуждение

$W_1$ переводит $4$ входа в $6$ скрытых, значит, это матрица $6\times 4$ ; $b_1$ — вектор длины $6$ . $W_2$ переводит $6$ скрытых в $3$ выхода — матрица $3\times 6$ , $b_2$ длины $3$ . Стыковка: выход первого слоя длины $6$ ровно совпадает с числом столбцов $W_2$ , иначе умножение невозможно — это первое, что проверяют, собирая сеть. Для пачки из $50$ цветков вход становится матрицей $50\times 4$ , скрытые активации — $50\times 6$ , выход — $50\times 3$ : та же сеть, просто первое измерение считает объекты.

УпражнениеДва класса — это сигмоида

Покажите на пальцах, что для двух классов softmax эквивалентна сигмоиде. Возьмите счёта $z_1,z_2$ и упростите $\dfrac{e^{z_1}}{e^{z_1}+e^{z_2}}$ , поделив числитель и знаменатель на $e^{z_1}$ .

Сверить вывод

$\dfrac{e^{z_1}}{e^{z_1}+e^{z_2}}=\dfrac{1}{1+e^{z_2-z_1}} =\dfrac{1}{1+e^{-(z_1-z_2)}}=\sigma(z_1-z_2)$ . Вероятность первого класса — это сигмоида от разности счётов. Значит, двухклассовая сеть с softmax — в точности логистический классификатор из урока 07, решающий по знаку $z_1-z_2$ : та же граница, тот же порог. Softmax не новая идея, а расширение сигмоиды на $K$ классов.

Русская линия: узнавание как признаки

Мысль, что распознавание — это извлечение признаков, а не сравнение с образцами, оформил советский учёный Михаил Бонгард. В книге «Проблема узнавания» (1967), работая в Институте проблем передачи информации, он описал узнавание образов как поиск информативных признаков, по которым объект относят к классу, — ровно то, что делает скрытый слой нашей сети, добывая из измерений цветка шесть чисел-признаков. Бонгард придумал и знаменитые «задачи Бонгарда»: пары наборов картинок, где надо угадать отличающее их правило. Эти головоломки до сих пор служат пробным камнем для искусственного интеллекта — многие из них не даются даже современным моделям, потому что требуют находить признак, которого в данных прямо не видно.

ИсторияЗадачи Бонгарда

Задача Бонгарда: назовите правило, разделяющее левую шестёрку и правую. Человек схватывает за секунды, алгоритм буксует — правило в абстрактном признаке.

Задача Бонгарда — двенадцать картинок, шесть слева и шесть справа; нужно назвать правило, по которому они разделены (скажем, «слева фигуры выпуклые, справа — нет»). Человек часто схватывает правило за секунды, а формальный алгоритм буксует: правило живёт не в пикселях, а в абстрактном признаке, который надо изобрести. Бонгард поставил этот вопрос за полвека до нынешних дебатов о том, умеют ли нейросети по-настоящему обобщать, — и его задачки остаются честным экзаменом.

Лаборатория: прогоните цветок сами

Порядок опытов. Двигайте четыре измерения цветка или выбирайте готовый пример — и следите, как сигнал течёт по сети: входы стандартизуются, скрытый слой загорается шестью активациями $\tanh$ , softmax превращает выходные счёта в три вероятности видов. Найдите настройки, при которых сеть уверена почти на сто процентов, и настройки, где она колеблется между двумя видами. Вы своими руками прогоняете тот самый forward pass, что мы разобрали по шагам, — и видите, что вся сеть есть цепочка умножений и активаций, ведущая от чисел на входе к вероятностям на выходе.

Сборка: вход, слои, ответ

Первая целая сеть оказалась именно тем, что обещали детали: композицией слоёв. Слой — это $\varphi(Wx+b)$ , много нейронов, сложенных в одну матричную операцию; сеть — несколько слоёв подряд, функция от входного вектора к выходному. Мы прогнали сквозь неё настоящий ирис: измерения стандартизовались, первый слой добыл шесть скрытых признаков, второй превратил их в три счёта, а softmax — в три вероятности, честно уверенные для ясного цветка и честно сомневающиеся для пограничного. Пачку цветов та же сеть считает одним матричным умножением — оттого и любит видеокарты. Мы ни разу не обучали её: веса были готовы, а урок был про то, как сеть считает, а не как учится. Но именно этот вопрос — откуда берутся веса, превращающие сырые измерения в верный ответ, — теперь единственный оставшийся. Чтобы к нему подступиться, надо сначала научиться измерять ошибку сети одним числом и понять, как это число уменьшать. С функции потерь и градиентного спуска начинается следующий разговор — про то, как сеть находит свои веса сама.

Задачи

5баллов

Соберите сеть на ирисах: возьмите scripts/data/iris.data, стандартизуйте признаки и постройте (любой библиотекой или руками) сеть $4\to 6\to 3$ с $\tanh$ и softmax. Обучите её или используйте готовые веса и воспроизведите точность около $98\%$ . Прогоните три цветка разных видов и покажите их вероятности; найдите хотя бы один пограничный цветок с уверенностью ниже $70\%$ . Рубрика: 2 балла за сеть и точность, 2 за три прогона, 1 за пограничный цветок.