Представим игру: роботу-разведчику нужно исследовать карту, на которой есть безопасная земля и опасные участки. Он уже побывал в нескольких местах: удачные посещения отмечены синим, неудачные — оранжевым. Теперь ему предстоит отправиться туда, где отметок ещё нет. Как понять, что его там ждёт?
Положение места задают два числа: горизонтальная координата x_1 и вертикальная x_2. Нам нужно правило, которое по этим двум входам предскажет один из двух ответов: «безопасно» или «опасно». Запомнить журнал посещений недостаточно: для нового места в нём ещё нет ответа. И заранее обещать точный прогноз для любой точки мы не можем — его качество предстоит проверить.
Посмотрите на четыре возможные карты. Каждая точка — известный пример, цвет — его класс. Какую границу вы провели бы между классами на каждой карте?
Попробуем решить её с помощью математической модели нейрона. Сначала узнаем, что он вычисляет, затем сами настроим его на двух облаках. Только после этого поручим подбор настроек алгоритму.
Название пришло из биологии. В мозге взрослого человека около 8{,}6\times10^{10} нейронов — примерно 86 миллиардов. Между нейронами есть контакты, синапсы: через них клетки влияют друг на друга. Масштаб связей ещё больше: для неокортекса приводят оценку порядка 1{,}5\times10^{14} синапсов, то есть около 150 триллионов.
Сигналы распространяются по отросткам нейронов. Это визуальная иллюстрация, не запись измерений активности мозга.
Живой нейрон принимает сигналы через контакты с другими клетками. Их совместное действие влияет на появление импульса, который распространяется по аксону к следующим клеткам. Входящие влияния бывают возбуждающими и тормозными; устройство клетки существенно сложнее нашего будущего расчёта.
Дендриты и тело клетки принимают сигналы; аксон проводит импульс к окончаниям. Синапсы связывают клетки. Схема показывает общую организацию, без масштаба и деталей биофизики.
Возьмём из этой аналогии только идею: несколько входов влияют на один выход. У искусственного нейрона каждый вход умножается на свой вес, произведения складываются, затем результат преобразуется по выбранному правилу. Нейрон возвращает одно число. В нашем примере входы — координаты, а не сигналы живых клеток.
x_1, x_2
w_1x_1, w_2x_2
s=w_1x_1+w_2x_2
a=\tanh(s)
Два входа, два веса, один нейрон и одно выходное число. Правило Tanh сохраняет знак суммы и сжимает выход в интервал от −1 до 1; его график разберём чуть ниже. На карте нейрон всегда использует Tanh; ReLU и другие варианты сравним отдельно в шаге 3.
Договоримся о решающем правиле: если a>0, прогнозируем «безопасно»; если a\leq0 — «опасно». Это наша договорённость о смысле числа. Сам нейрон выдаёт число, а превращает его в название класса отдельное правило. Насыщенность фона показывает величину выхода; её пока нельзя читать как вероятность безопасности.
Начнём с двух облаков. На карте синие точки обозначают безопасные места, оранжевые точки — опасные. Фон показывает прогноз нейрона. Оранжевая точка на синем фоне — ошибка: известный класс и прогноз разошлись.
Настройте сами. Двигайте два веса, пока все точки не окажутся на фоне своего цвета. Затем нажмите на картинку «Другая диагональ» и повторите. Обучение тоже ещё не запускается — каждую настройку выбираете вы.
Положительный вес означает, что рост соответствующего входа увеличивает сумму; отрицательный — уменьшает. При нулевом весе этот вход не влияет на ответ. Поэтому вес горизонтальной координаты меняет влияние движения вправо, а вес вертикальной — движения вверх. Веса общие для всей карты: для каждой точки мы подставляем новые координаты в одно и то же правило.
Например, при x_1=2, x_2=1, w_1=3 и w_2=-2 сумма равна 3\cdot2+(-2)\cdot1=4. Tanh сохраняет положительный знак, поэтому решающее правило даст «безопасно». Для другой точки изменятся координаты, но веса останутся теми же.
Как передвинуть границу
В первом опыте изменение весов поворачивает границу, но она всегда проходит через начало координат. А если нужная граница проходит в стороне? Добавим к сумме ещё одно настраиваемое число — смещение b: s=w_1x_1+w_2x_2+b.
Попробуйте. В следующем опыте установите оба веса равными 1. Теперь меняйте только смещение от -3 до 3: прямая движется, сохраняя направление. Затем оставьте смещение и измените один вес. Чем эти движения отличаются?
Например, в точке (2,1) при обоих весах 1 сумма вкладов равна 3. Смещение -4 меняет её на -1, и ответ переходит на опасную сторону. Для простоты дальнейших схем будем иногда опускать смещение, но у нейрона это тоже настраиваемый параметр: алгоритм может подбирать его вместе с весами. В опытах с автоматическим обучением оно участвует в вычислении.
Вы только что подобрали веса вручную. А можно ли сделать так, чтобы программа подбирала их за нас? Можно: дать ей примеры с известными классами, измерять ошибку и понемногу менять веса. Это и будет обучение. Прежде чем нажать кнопку, разберём оставшиеся части нейрона — тогда будет понятно, что именно меняет алгоритм.
У нейрона может быть больше двух входов. На следующей схеме их четыре: например, к координатам робота можно добавить два показания датчиков. Каждый вход получает свой вес, а выход по-прежнему один. Вычисление такое же, как на карте; при нулевых третьем и четвёртом входах здесь получается наш пример 6-2=4.
Функция активации преобразует сумму s в выход a. До сих пор мы использовали Tanh. Сравним четыре варианта: линейную функцию, ReLU, сигмоиду и Tanh. В каждом случае нейрон получает ту же сумму, но выдаёт другое число.
Попробуйте. Установите сумму -2 и переключите все четыре функции. Затем сделайте сумму положительной. Где выход стал нулём, где сохранил знак, а где остался положительным?
ReLU превращает отрицательную сумму в ноль, а положительную пропускает без изменения: при s=-3 выход 0, при s=4 выход 4. Сигмоида даёт выход между 0 и 1; при нулевой сумме получается 0{,}5. Tanh даёт выход между -1 и 1 и сохраняет знак суммы. Линейная активация просто возвращает саму сумму.
Порог решения должен соответствовать выходу. Для Tanh на нашей карте это 0; для сигмоиды той же границе соответствовал бы порог 0{,}5. Мы не будем переключать активацию карты: оставим Tanh и уже знакомые цвета.
Вспомните движение прямой в опыте со смещением. Она отделяет положительную сумму от отрицательной: на самой границе s=0. Tanh меняет насыщенность цвета по её сторонам, но не изгибает эту границу. Роль активации и роль смещения различаются: первая преобразует сумму, второе прибавляется к ней ещё до преобразования.
Вернёмся к нашему вопросу: как поручить подбор весов программе? Для каждой учебной точки известен желаемый ответ: +1 для безопасного места и -1 для опасного. Сравним выход нейрона с этим ответом. Чем сильнее расхождение, тем больше ошибка, которую измеряет выбранная функция потерь.
Алгоритм делает небольшое изменение двух весов и смещения, чтобы уменьшить ошибку на обучающих точках, затем повторяет расчёт. Точки и их метки остаются прежними. Ниже всё уже настроено: один нейрон, два входа, Tanh. Нам нужны только запуск, пауза и отдельный шаг.
Попробуйте. Нажмите кнопку одного прохода ▸| несколько раз и проследите за весами. Затем запустите обучение: как движется граница и как меняется ошибка? Остановите его и рассмотрите фон вокруг точек: это ответы уже обученного нейрона для разных координат.
Когда мы нажимаем ▶, программа подбирает параметры. Когда после паузы рассматриваем ответ для нового места, она применяет модель: получает координаты и вычисляет один выход с неизменными весами. Для этого правильный ответ заранее не нужен. Хороший результат на известных местах ещё не гарантирует такого же результата на всей карте — поэтому мы оставили отдельные точки для проверки.
Теперь выберите в этом же тренажёре «Кольцо». В центре безопасная земля, вокруг неё — опасная область. У нейрона по-прежнему два входа, два веса и смещение. Запустите обучение и посмотрите, сможет ли граница окружить центр.
Человеку нужна замкнутая граница, а модель умеет только проводить прямую. Как её ни поверни и ни передвинь, часть внешних точек останется на той же стороне, что и центральные. Продолжение обучения не меняет это ограничение: алгоритм ищет подходящие параметры внутри выбранной модели.
Представим несколько нейронов: один помогает ограничить участок слева, другой справа, ещё два — сверху и снизу. Их ответы можно передать следующему нейрону, который объединит эти числа. Так из ограничения одного блока возникает идея скрытого слоя.
Вход описывает конкретный пример; веса и смещение задают общее правило.
Нейрон собирает взвешенную сумму, применяет активацию и возвращает одно число.
Обучение подбирает параметры по примерам. Одному нейрону с исходными координатами не хватает возможностей для кольца.
Домашняя работа
Источники
- Azevedo et al., 2009: оценка числа нейронов
- Williams, Herrup, 1988: число нейронов и его регуляция
- Pakkenberg et al., 2003: нейроны и синапсы неокортекса
- Полносвязные нейросети: нейрон и активация
- Оригинальный тренажёр взят из TensorFlow Playground. Авторы: Daniel Smilkov и Shan Carter.