Полносвязные слои и многослойные сети

← К урокам·Сюжет·50 мин

Один нейрон проводит только прямую границу и не может обвести остров на карте. Что изменится, если нейронов станет несколько?

Один нейрон так и не окружил безопасный остров. У него были подходящие примеры, мы дали ему время, но менять он мог лишь положение прямой границы. Значит, дело не только в том, насколько хорошо мы его обучаем. Одного такого вычисления для нашей карты мало.

Попробуем разделить работу. Пусть несколько нейронов получают координаты одного места и каждый выдаёт свой ответ. А ещё один нейрон собирает эти ответы и по ним решает, к какому классу относится место. Важно, что второй этап увидит уже не исходные координаты, а результаты первого. Это небольшое изменение и превращает набор отдельных нейронов в сеть.

Возьмём четыре нейрона и подадим каждому обе координаты x_1 и x_2. Входные данные у них одинаковые, но веса и смещения свои. Поэтому на одно и то же место они могут ответить по-разному: при Tanh один выдаст число близко к 1, другой — близко к −1, остальные окажутся где-то между ними.

Соберём четыре ответа и передадим их выходному нейрону. Он выполнит уже знакомый расчёт: умножит каждый ответ на свой вес, сложит вклады, добавит смещение и применит активацию. Только входов у него теперь четыре, и ни один из них больше не является координатой напрямую.

Первую четвёрку называют скрытым слоем: она находится между исходными данными и окончательным ответом. А слово полносвязный описывает связи: каждый нейрон получает все выходы предыдущего слоя. Мы не решаем заранее, какой вход ему понадобится, — влияние каждого входа будет настраиваться своим весом.

У сети появилась возможность совместить несколько простых переходов в одну границу. Но пока это только возможность: при случайных весах ответы четырёх нейронов могут не давать ничего полезного. Посмотрим, сумеет ли обучение согласовать их работу.

Попробуйте. Теперь в том же Playground появятся скрытые слои. Здесь уже подготовлены кольцо и четыре скрытых нейрона. Карта и смысл цветов прежние. В первом запуске остальные настройки оставьте как есть. Предскажите форму результата, запустите обучение и запишите его. Если фон продолжает меняться, дайте сети ещё время. Кнопка ↺ позволяет начать с других весов.

Полносвязный слой: кольцо

Опыт 2. Входы x_1 и x_2, четыре скрытых нейрона, Tanh. Сравните общий ответ с картами отдельных нейронов.

Теперь у карты есть несколько версий. Большой квадрат справа показывает окончательный ответ сети, а маленькие квадраты скрытого слоя — ответы отдельных нейронов. Координаты везде одни и те же. Можно мысленно выбрать одно место и проследить, что о нём «сообщает» каждый нейрон.

Посмотрите на переход между цветами в каждом маленьком квадрате первого слоя. Это прямая — как у единственного нейрона из прошлого сюжета. Но теперь таких прямых несколько, и у каждой своё положение. В одном и том же месте первая карта может быть синей, вторая — оранжевой, третья — почти бесцветной. Выходной нейрон получает все эти числа и складывает их со своими весами.

Представим для начала четыре проверки: точка правее левой границы острова, левее правой, выше нижней и ниже верхней. Внутри острова все четыре дают положительный ответ; снаружи хотя бы одна перестаёт его давать. Подходящая сумма и смещение позволяют выделить область, где сошлись нужные ответы. У Tanh переходы плавные, поэтому и общая граница может получиться округлой. Слой не обязан выучить именно эти четыре проверки, но теперь понятно, откуда вообще берётся возможность окружить центр: выход объединяет несколько разделений карты.

Четыре скрытых ответа стали новым представлением места. Вместо вопроса «где точка находится?» следующий слой получает четыре числа, вычисленные из её положения. Такое представление может сделать разделение классов проще.

Мы могли бы для наглядности назвать нейроны «левая сторона», «правая сторона» и так далее. Но обучение не обязано распределить работу именно так. При новом запуске роли могут поменяться или вообще не получить коротких человеческих названий. Для результата важна совместная работа вычислений, а не наша подпись под каждым квадратиком.

Скрытый слой выдаёт четыре числа. Чем они являются для выходного нейрона?

Кажется, всё объясняется количеством: один нейрон не справился, а четыре помогли. Но проведём мысленный эксперимент. Что останется, если каждый скрытый нейрон будет только умножать и складывать, а его активацию заменим на линейную?

Первый слой составит из координат несколько взвешенных сумм. Следующий составит ещё одну сумму из уже полученных. Вся цепочка окажется одним длинным арифметическим выражением, которое можно свернуть обратно в одну взвешенную сумму исходных координат. Как удвоение числа, за которым следует утроение, сворачивается в умножение на шесть. Связей стало больше, а принципиально новых границ не появилось.

Именно здесь нужна нелинейная активация. ReLU обнуляет отрицательную часть входа. Tanh плавно ограничивает большие положительные и отрицательные значения. После таких преобразований слои уже нельзя просто свернуть в одну взвешенную сумму.

Далеко от своей прямой нейрон с Tanh почти перестаёт менять ответ: он уже близок к −1 или 1. Получается плавный переключатель «по эту сторону или по другую». Следующий нейрон сочетает такие переключения. Если же убрать насыщение, каждый отклик будет равномерно расти через всю карту, и их сумма снова даст только одну прямую границу.

Попробуйте. В опыте с кольцом замените Tanh на «Линейная». Сохраните точки и число нейронов, обучайте примерно столько же проходов. Сравните границу и запись результата, затем верните Tanh.

В классификации Playground выходной нейрон всё ещё использует Tanh: переключатель меняет скрытые активации. Но одной активации на самом выходе недостаточно, чтобы обогнуть остров. Существенно то, что происходит между слоями. Этот опыт позволяет отделить пользу дополнительных нейронов от пользы их нелинейных преобразований.

У полносвязного слоя два входа и четыре нейрона. Сколько весов на связях между входами и этим слоем? Смещения не считаем.

Кольцо было трудным для одного нейрона, но сравнительно простым для нескольких. Теперь безопасные и опасные участки закручиваются в две переплетённые спирали. Чтобы их разделить, граница должна много раз менять направление. Нескольким простым переходам уже непросто сложиться в нужную форму.

У нас есть два способа усложнить сеть. Можно добавить нейроны в существующий слой: получится больше разных ответов, которые затем объединит выход. А можно вставить ещё один скрытый слой. Тогда новый слой сначала переработает ответы первого, и лишь после этого результат попадёт на выход.

Первый слой по-прежнему проводит прямые переходы. А вот отдельный нейрон второго слоя получает уже несколько таких переходов: он может выделить ограниченную область, как выходной нейрон на кольце. Теперь таких составных ответов тоже несколько, и выход объединяет уже их. Мы получаем многослойную сеть. Посмотрим прежде всего на это различие: как выглядят карты первого и второго скрытых слоёв?

Попробуйте. Запустите подготовленную сеть. По мере обучения сравнивайте маленькие карты двух слоёв: в первом переходы прямые, во втором могут появляться изгибы и отдельные области. Для этого наблюдения не требуется безошибочно разделить обе спирали.

Многослойная сеть: спирали

Опыт 3. Два скрытых слоя по четыре нейрона. Проследите, как ответы первого слоя становятся материалом для второго.

Теперь можно задать другой вопрос: помог ли второй слой лучше разделить именно эту карту? Для сравнения сохраните результат после 500 проходов, уберите один скрытый слой и обучите оставшийся столько же на тех же точках. Здесь 500 — общий срок двух попыток, а не обещание решить спирали. Сравните ошибки и форму границы; один запуск ещё не позволяет объявить победителя.

Ширина — число нейронов в слое. Глубина — число последовательных вычисляющих слоёв. Здесь два скрытых слоя и один выходной: три вычисляющих слоя. В интерфейсе считается только число скрытых, поэтому в нём указано «2».

После сравнения легко захотеть добавлять слои до тех пор, пока задача не исчезнет. Но с каждым добавлением алгоритму приходится согласовывать больше взаимосвязанных настроек. Возможность построить нужную границу ещё не означает, что обучение быстро её найдёт. Поэтому более глубокая сеть в отдельном запуске вполне может оказаться хуже простой.

Если спирали пока смешиваются, разумно попробовать другую ширину или дать больше времени. Но эти попытки отвечают на разные вопросы. Меняя что-то одно и сохраняя результаты, мы постепенно выясняем, чего не хватает именно этой модели на этой карте.

Вы добавили второй скрытый слой, но проверочная ошибка выросла. Какой вывод корректен?

За всеми этими картами легко потерять то, ради чего мы начали: робот должен оценить одно новое место. Остановим обучение и проследим только его координаты.

Два числа поступают в первый скрытый слой. Четыре нейрона выполняют каждый своё вычисление, и вместо пары чисел получается четвёрка. Она поступает во второй слой и превращается в следующую четвёрку. Наконец, выходной нейрон собирает из неё одну оценку. Робот получает ответ, хотя это место не было среди учебных отметок.

Эту последовательность называют прямым проходом. Никакая карта внутрь отдельного нейрона не передаётся: он видит только свои входные числа. Цветной квадрат в лаборатории появился потому, что программа повторила такой проход для множества координат и нарисовала результаты.

В «Интерактивных примерах работы нейронных сетей» мы уже видели нейросети, работающие с изображениями. Свяжем их с нашей схемой. Две координаты были удобны нам для наблюдения. Принцип не требует именно двух входов: ими могли бы стать сотни или тысячи чисел, например яркости пикселей. Тогда сеть училась бы преобразовывать изображение, а на выходе можно было бы получать оценки «кот» и «собака». На следующей схеме вход длиннее и выходов два, но путь чисел остаётся тем же.

Кошка — пример входного изображения

Изображение → числа пикселей → входной слой

ВходСкрытый слойВыход0,9кот0,1собака

Входное представление изображения → скрытые вычисления → две оценки на выходе. Значки условные: реальное изображение содержит гораздо больше чисел. Значения 0,9 и 0,1 иллюстрируют возможный ответ, а не результат измерения качества.

В Playground у двух классов один выход со знаком. На схеме для кота и собаки выбраны два выхода — по оценке на класс. Оба способа возможны. Ни схема, ни маленькая лаборатория не утверждают, что современный распознаватель фотографий устроен только из таких слоёв. Сейчас нам важно понять общий порядок вычислений; другие архитектуры будут дальше.

Полносвязный слой даёт каждому нейрону все выходы предыдущего слоя.

Нелинейность между слоями позволяет строить сложные границы.

Глубина меняет устройство сети, но качество нужно проверять экспериментом.

Домашняя работа

  1. Первый скрытый слой имеет четыре нейрона. Сколько входных чисел получит каждый нейрон следующего полносвязного слоя?

Источники