Допустим, после очередного обучения карта выглядит почти идеально: синие точки окружены синим фоном, оранжевые — оранжевым. Можно ли теперь отправлять робота в неизведанные места?
Красивой границы для ответа мало. Мы хотели получить правило для новых мест, но подбирали веса по уже посещённым. Сеть могла уловить общую закономерность, а могла слишком старательно повторить случайные особенности этих посещений. Различить эти случаи нам поможет часть журнала, которую мы до сих пор почти не обсуждали.
С самого первого опыта лаборатория делила точки пополам. По одной половине алгоритм менял веса. Метки второй половины оставались известны нам, но в эти изменения не вмешивались. Это проверочные примеры: для сети они такие же незнакомые места, ради которых мы и начали работу. Мы можем сопоставить её ответ с известным результатом, не отправляя туда робота вслепую.
Теперь становятся важны оба числа справа от сети. Ошибка на обучении показывает, насколько хорошо сеть подстроилась под доступные ей примеры. Ошибка на проверке — насколько хорошо найденное правило сработало на отложенных точках. Это значения функции потерь, а не процент неверных ответов. Маленькая учебная ошибка сама по себе ничего не обещает второй половине карты.
На новой карте «Чередование» безопасные участки расположены по диагонали. Одной прямой опять недостаточно: она не сможет оставить оба диагональных участка одного класса по одну сторону, а оба участка другого — по другую. Поэтому в лаборатории подготовлены два скрытых слоя по четыре нейрона. Сейчас нас интересует другое: будет ли улучшение на знакомых местах сопровождаться улучшением на незнакомых?
Попробуйте. Предскажите, как будут меняться две ошибки, запустите обучение и наблюдайте за обеими. После 500 проходов нажмите «Записать результат» и сопоставьте наблюдение с прогнозом.
Если обе ошибки уменьшаются, найденное правило помогает и в местах, на которых веса не подбирались. Если падает только учебная, этого вывода уже сделать нельзя. Именно для такого различия мы и сохранили часть наблюдений в стороне. Но пока перед нами лишь одна карта и одно обучение. Проверим, что изменится, если наблюдения станут менее однозначными, а сеть — более гибкой.
До сих пор отметки довольно ясно подсказывали общую форму участков. Но представим, что координаты в журнале измерены неточно: рядом могут оказаться записи с разными исходами. В лаборатории такую неоднозначность добавляет настройка «Шум». Теперь граница, старающаяся угодить каждому учебному примеру, рискует превратиться в набор мелких изгибов.
Большая сеть умеет строить более сложные границы. Для спиралей такая гибкость нужна: граница там много раз меняет направление. Но здесь та же способность может сыграть против нас. Если мелкие изгибы повторяют случайные особенности учебных отметок, они не помогут предсказывать новые. Как это заметить? Снова посмотреть на отложенную часть журнала.
Попробуйте. На «Чередовании» оставьте x_1 и x_2, установите шум 20 и долю обучения 30%. Сравните один скрытый слой из четырёх нейронов с двумя слоями по восемь: по 500 проходов, одинаковые точки и остальные настройки. Запишите обе ошибки для каждого варианта.
Может оказаться, что большая сеть точнее повторяет учебные точки, но хуже оценивает проверочные. Такой разрыв между подстройкой под обучение и качеством на новых примерах — признак переобучения. Дополнительные изгибы не принесли полезного знания о карте. Но это не обязательный исход: если обе ошибки снизились, большая сеть помогла в этом опыте. Запишите именно то, что произошло, и рассмотрите построенную границу.
Повторение нужно, чтобы не принять удачный старт за свойство всей архитектуры. Кнопка ↺ начинает обучение с других весов на прежних точках. «Новые точки» меняет сами данные: после неё нужно снова испытать оба варианта на общем новом наборе. Сохранилось ли преимущество или результаты поменялись местами?