Обучение нейронных сетей: функция потерь

Нейрон дважды ошибся в одной точке, но второй раз был ближе к правде. Как измерить ошибку так, чтобы заметить это улучшение?

Обучение нейронных сетей: функция потерь1

Обучение нейронных сетей: функция потерь

В прошлом сюжете робот оценивал безопасность одного места. Мы могли менять веса и видеть, как уверенно неверный ответ становится менее уверенным, а затем правильным. Но программе нужен точный критерий: какая настройка лучше? Будем сравнивать выходы с известными метками на той же карте.

Для безопасного места желаемый выход равен +1, для опасного — -1. Пусть в безопасной точке нейрон сначала выдал -0{,}8, а потом -0{,}2. Оба раза выбран опасный класс: знак ещё отрицательный. Но второй выход ближе к правильному ответу. Простое «верно / неверно» пока не замечает улучшения.

Обучение нейронных сетей: функция потерь2

Ошибка в одном месте

Обозначим выход нейрона буквой a, известную метку — y. Возьмём функцию потерь, которая используется в нашем Playground:

\ell=\frac{(a-y)^2}{2}.

Сначала находим расхождение, затем возводим его в квадрат и делим на два. Деление на два — часть выбранного правила; оно не меняет того, какой вариант лучше. Нулевая ошибка означает совпадение числового выхода с меткой. Чем дальше выход от метки, тем больше ошибка.

Обучение нейронных сетей: функция потерь3

Ошибка в одном месте

Для безопасной точки y=1. При a=-0{,}8 ошибка равна 1{,}62, при a=-0{,}2 — 0{,}72. Правильный класс ещё не выбран, но функция потерь уже различает два состояния. При a=0{,}8 ошибка становится 0{,}02: теперь и знак правильный, и выход близок к метке.

Попробуйте. Выберите точку A. Меняйте первый вес небольшими движениями и наблюдайте сразу три вещи: цвет фона у маркера, выход a и ошибку \ell. Найдите два положения, где выбранный класс одинаков, а ошибка различается.

Обучение нейронных сетей: функция потерь4

Ошибка в одном месте

От ответа точки к ошибке модели

От ответа точки к ошибке модели
Обучение нейронных сетей: функция потерь5

Эксперимент

От ответа точки к ошибке модели

A, B, C — три обучающие точки. Для выбранной точки показан расчёт ошибки; ниже — среднее по трём точкам и по всему обучающему набору.
Обучение нейронных сетей: функция потерь6

Ошибка в одном месте

Метка точки при движении ползунка не меняется. Именно она позволяет проверить прогноз. Веса общие для всех мест: улучшение ответа A может изменить ответы B и C. Посмотрите на них, прежде чем объявлять найденную настройку лучшей.

Обучение нейронных сетей: функция потерь7

Обсудим

Ошибка в одном месте

Опасная точка имеет метку y=-1, а модель выдала a=1. Чему равна ошибка \ell=(a-y)^2/2?

Обучение нейронных сетей: функция потерь8

Ошибка на всей карте

Чтобы выбрать общие веса, мало смотреть на одну точку. Вычислим ошибку для каждого обучающего примера и возьмём среднее. Его обозначим L. Каждый пример участвует с одинаковым весом: складываем отдельные ошибки и делим на число примеров.

Для трёх точек с ошибками 0{,}02, 0{,}18 и 0{,}08 получаем:

L=\frac{0{,}02+0{,}18+0{,}08}{3}\approx0{,}093.

Средняя ошибка на A, B, C в тренажёре нужна для наглядного сравнения. Полное обучающее множество больше: число рядом с ним считается по всем его точкам. Эти два средних могут различаться. Нельзя выдавать три выбранных примера за результат на всей карте.

Обучение нейронных сетей: функция потерь9

Ошибка на всей карте

Попробуйте. Установите оба веса равными 1, смещение оставьте на 0. Запишите среднюю ошибку на трёх точках. Затем меняйте только смещение. Бывает ли, что выбранной точке становится лучше, а среднему — хуже? Если в вашем диапазоне такого не произошло, выберите другую точку или направление изменения.

Среднее удобно для настройки, но оно скрывает отдельные случаи. На большой карте модель может хорошо отвечать в большинстве мест и систематически ошибаться в небольшой области. Поэтому вместе с общим числом рассматриваем и расположение неверных ответов.

Обучение нейронных сетей: функция потерь10

Ошибка на всей карте

Нельзя просто сложить знаковые разности без квадрата: отклонения +1 и -1 погасились бы, хотя оба прогноза неточны. Квадрат устраняет это погашение и сильнее штрафует большие отклонения.

Обучение нейронных сетей: функция потерь11

Обсудим

Ошибка на всей карте

Ошибки на двух точках карты равны 0{,}2 и 0{,}8. Какова средняя ошибка?

Обучение нейронных сетей: функция потерь12

Пояснение

Ошибка на всей карте

Ошибка в этом уроке — половина квадрата разности выхода и метки. Это не процент неверных классов; у разных функций потерь разные шкалы.

Обучение нейронных сетей: функция потерь13

Обучение и независимая проверка

В опыте половина точек предназначена для обучения, половина — для проверки. Алгоритм подбирает параметры по обучающей части. Проверочную часть используем, чтобы увидеть, как правило работает на примерах, которые не участвовали в этих обновлениях.

Если обучающая ошибка падает, а проверочная устойчиво растёт, модель может подстраиваться под особенности известных мест вместо полезного общего правила. Это признак возможного переобучения. Одна удачная точка или один удачный запуск не доказывают качество на новых данных.

Обучение нейронных сетей: функция потерь14

Обучение и независимая проверка

В ручных опытах мы видели все точки и могли учитывать их при выборе весов. Поэтому это учебная демонстрация вычислений, а не независимое исследование качества. В полноценном эксперименте итоговый проверочный набор не используют для постоянного подбора настроек.

Метка — правильный ответ из данных, а не пожелание модели. Нельзя уменьшать ошибку, перекрашивая неудобные точки под текущую границу. Можно исправить ошибку разметки после проверки, но тогда изменился набор данных, и сравнение нужно провести заново на одинаковых условиях.

Обучение нейронных сетей: функция потерь15

Обсудим

Обучение и независимая проверка

Обучающая ошибка падает, а ошибка на отложенных точках растёт. Какой вывод обоснован?

  1. Следует сообщать только обучающую ошибку
  2. Возможно переобучение; улучшение на обучении не означает улучшения переноса
  3. Модель обязательно лучше на любых данных
  4. Отложенные ответы нужно подогнать под модель
Обучение нейронных сетей: функция потерь16

Пояснение

Обучение и независимая проверка

Для каждого места входами остаются две координаты. Во время обучения меняются общие параметры модели, а известные координаты и метки сохраняются.

Обучение нейронных сетей: функция потерь17

Функция потерь и доля верных классов

Счётчик «Верно» в ручном тренажёре проверяет совпадение классов. Он меняется, когда граница пересекает известную точку. Функция потерь учитывает величину выхода и может меняться ещё до пересечения. Поэтому высокая доля верных ответов и малая ошибка связаны, но это разные числа.

Например, в безопасном месте выходы 0{,}2 и 0{,}8 дают одинаковую метку. Ошибки при этом равны 0{,}32 и 0{,}02. Для обучения второй вариант лучше по выбранному правилу. В опасном месте с меткой -1 те же выходы дадут ошибки 0{,}72 и 1{,}62: более уверенное неверное решение получит больший штраф.

Обучение нейронных сетей: функция потерь18

Функция потерь и доля верных классов

В прошлом сюжете мы переводили выход в вероятность безопасности: p=(a+1)/2. При нашем квадратичном правиле и безопасной метке ошибка равна 2(1-p)^2. Значит, вероятностное описание и числовая ошибка относятся к одному ответу модели, а не к двум разным задачам.

Обучение нейронных сетей: функция потерь19

Функция потерь и доля верных классов

Для классификации часто выбирают другую функцию — кросс-энтропию. Она тоже сильнее штрафует малую вероятность правильного класса. Например, 80\% для известного безопасного места лучше, чем 20\%. Это другой способ оценки: его числа нельзя напрямую сравнивать с числами нашей квадратичной функции. В тренажёрах этого раздела сохраняем исходное правило Playground, чтобы можно было проверить каждый расчёт.

Обучение нейронных сетей: функция потерь20

Следующий шаг

Теперь мы знаем, какое число хотим уменьшать. В следующем сюжете поручим алгоритму менять веса на этой же карте и разберём направление и размер обновления.

Обучение нейронных сетей: функция потерь21

Функция потерь и доля верных классов

  • Функция потерь сравнивает выход нейрона с известной меткой; на карте используем \ell=(a-y)^2/2.
  • Средняя ошибка объединяет примеры, а доля верных классов отвечает на другой вопрос.
  • Подбор параметров и независимая проверка требуют разных данных.
Обучение нейронных сетей: функция потерь22

Домашняя работа

Найдите две настройки, при которых точка A классифицирована верно, но имеет разную ошибку. Проверьте B и C: улучшились ли все три ответа? Запишите веса, смещение и средние ошибки.

Обучение нейронных сетей: функция потерь23

Обсудим

Домашняя работа

Безопасная точка имеет метку 1, а выход нейрона равен 0. Чему равна половина квадрата разности?

Обучение нейронных сетей: функция потерь24

Источники