Урок 29. Пулинг и устойчивость к сдвигу

Свёртка была эквивариантна: сдвинь картинку — сдвинется и карта откликов. Но классификатору нужно другое — узнавать кошку, где бы она ни была. Пулинг делает первый шаг к такой независимости от места: он сжимает карту, намеренно огрубляя положение, и покупает устойчивость к сдвигу ценой точных координат.

Огрубить положение

В прошлом уроке мы выяснили: свёртка эквивариантна к сдвигу — признак и его отклик путешествуют по карте вместе. Для поиска признака это отлично, но для ответа «на снимке есть цифра три» вредно: нам всё равно, в каком углу она написана. Нужна не эквивариантность, а инвариантность — ответ, не зависящий от точного места.

Пулинг — простой шаг в эту сторону. Он делит карту признаков на маленькие окна и заменяет каждое окно одним числом. Карта становится меньше, детали положения стираются, а вместе с ними уходит и лишняя чувствительность к сдвигу на пиксель-другой.

У этого сжатия сразу три пользы. Во-первых, устойчивость: небольшой сдвиг признака внутри окна не меняет ответа. Во-вторых, экономия: карта вдвое меньше по каждой оси — вчетверо меньше клеток, а значит, вчетверо меньше работы у следующих слоёв. В-третьих, рост охвата: после нескольких пулингов одна клетка карты «видит» уже большой кусок исходного изображения, и сеть переходит от мелких примет к крупным формам. За все три мы платим одним — забытым точным положением.

Одно число из окна

Возьмём окно и заменим его числа одним. Два способа встречаются чаще всего:

y_{\max}=\max_{(i,j)\in\text{окно}} x_{ij}, \qquad y_{\text{avg}}=\frac{1}{|\text{окно}|}\sum_{(i,j)\in\text{окно}} x_{ij}.

Максимальный пулинг берёт наибольшее — «есть ли в этом окне сильный отклик». Средний берёт среднее — «сколько отклика в окне в среднем». Окна обычно не пересекаются и идут с шагом, равным их размеру, так что каждая клетка входа попадает ровно в одно окно. Проверим оба на настоящей рукописной цифре из набора рукописных цифр, знакомого нам по картам признаков.

Реальная рукописная цифра три в сетке 8 на 8 с зелёными окнами 2 на 2, рядом её max-пулинг 4 на 4 (ярче, взяты сильнейшие значения) и average-пулинг 4 на 4 (мягче, усреднённый) — Рис. 29.1. Пулинг сжимает карту
Слева настоящая цифра $8\times8$ , разбитая на окна $2\times2$ . Max-пулинг (в центре) берёт из каждого окна сильнейшее значение и выходит ярким; average-пулинг (справа) усредняет и выходит мягче. Оба ужали карту вчетверо по числу клеток.

УпражнениеПосчитайте пулинг руками

Для окна $\left(\begin{smallmatrix}1&5\\3&2\end{smallmatrix}\right)$ найдите max-пулинг и average-пулинг. Теперь сдвиньте сильный отклик: окно стало $\left(\begin{smallmatrix}5&1\\2&3\end{smallmatrix}\right)$ . Как изменились оба результата?

Сверить вычисление

Первое окно: max $=5$ , average $=(1+5+3+2)/4=2{,}75$ . Второе окно (те же числа, переставленные): max $=5$ — не изменился, ведь сильнейший отклик остался в окне, просто в другом углу. Average $=2{,}75$ — тоже не изменился, среднее не зависит от порядка. Вот и вся идея: пока признак остаётся внутри окна, пулинг его отклик почти не замечает сдвига.

Max или average

Выбор между ними — это выбор вопроса. Max спрашивает «есть ли здесь признак хоть где-то в окне» и потому хорош для острых, локальных примет: край, уголок, штрих. Average спрашивает «насколько признак выражен в среднем» и мягче реагирует на шум. На практике в свёрточных сетях победил max: для распознавания важнее факт наличия признака, чем его усреднённая яркость. Есть и промежуточные варианты, но именно контраст max против average лучше всего показывает суть выбора.

УпражнениеMax или average

Карта содержит одно яркое пятно-признак на тёмном фоне: в окне $2\times2$ значения $\left(\begin{smallmatrix}0&9\\0&0\end{smallmatrix}\right)$ . Что выдаст max-пулинг и что average? Какой из них лучше сохранит сигнал «здесь есть признак», а какой размоет его в фоне?

Сверить рассуждение

Max выдаст $9$ — он полностью сохраняет яркий признак, не разбавляя его тремя нулями фона. Average выдаст $(0+9+0+0)/4=2{,}25$ — сигнал ослаб вчетверо, растворился в фоне. Оттого для редких, локальных признаков (край, штрих) max надёжнее: одиночный сильный отклик выживает, а не тонет в усреднении. Average же полезнее там, где важна общая интенсивность области, а не отдельный пик.

Устойчивость к сдвигу

Проверим главное обещание пулинга на настоящем изображении. Возьмём карту краёв фотографии, сдвинем вход на один пиксель и посмотрим, насколько изменилась карта — до пулинга и после.

Четыре панели: карта признаков и она же при сдвиге входа на 1 пиксель — изменение 57 процентов; ниже те же карты после max-пулинга 2 на 2 — изменение всего 38 процентов — Рис. 29.2. Пулинг устойчивее к сдвигу
Сдвиг входа на один пиксель меняет сырую карту признаков на $57\%$ . После max-пулинга $2\times2$ тот же сдвиг меняет карту всего на $38\%$ — почти в полтора раза меньше. Пулинг не делает признак полностью неподвижным, но заметно гасит его дрожь при малых сдвигах.

УпражнениеОткуда берётся устойчивость

Признак дал сильный отклик в клетке карты. Вход сдвинулся на один пиксель, и отклик переехал в соседнюю клетку. Объясните, почему max-пулинг $2\times2$ часто вообще не замечает такого сдвига, а иногда всё же замечает.

Сверить рассуждение

Если и старая, и новая клетки попали в одно окно $2\times2$ , максимум окна не изменился — пулинг выдаст то же число, сдвиг незаметен. Но если отклик переехал через границу окна, в соседнее, максимумы двух окон изменятся, и пулинг сдвиг заметит. Оттого устойчивость частичная: она работает для сдвигов внутри окна и слабеет на его границах. Больше окно — шире устойчивость, но грубее карта.

Пулинг или свёртка со stride

Есть и другой способ уменьшить карту — свёртка с шагом $2$ из прошлого урока. В чём разница? Пулинг фиксирован: он всегда берёт max или среднее, у него нет весов и нечему учиться. Свёртка со stride — обучаемая: сеть сама решает, какую комбинацию окна взять при уменьшении.

Не сжимай слишком грубо

У сжатия есть подвох, о котором предупреждала теорема отсчётов. Уменьшая карту, мы берём отсчёты реже. Если сделать это слишком грубо, не убрав сперва мелкие детали, тонкий узор превратится в ложный — возникнет наложение спектров, алиасинг. Оттого честнее сперва чуть сгладить карту, а уже потом прореживать.

Градиент через max

Как учится сеть с пулингом? Средний пулинг гладок: производная делит входящий градиент поровну между клетками окна. А max — операция с изломом, как и знакомый нам ReLU. На прямом ходе он берёт одну клетку, победителя окна; на обратном градиент течёт только в неё:

\frac{\partial y_{\max}}{\partial x_{ij}}= \begin{cases}1,&(i,j)=\arg\max\\[2pt]0,&\text{иначе.}\end{cases}

Средний же пулинг раздаёт каждой клетке по $1/|\text{окно}|$ .

Слева окно 2 на 2 со значениями 0,2 0,9 0,4 0,3, максимум 0,9 выделен красным; справа обратный ход: градиент равен 1 только в клетке максимума, в остальных ноль — Рис. 29.3. Градиент через max
Слева окно $2\times2$ : максимум $0{,}9$ выделен красным. Справа обратный ход: входящий градиент попадает целиком в клетку-победителя, остальным — ноль. Max-пулинг маршрутизирует градиент к тому месту, что дало сильнейший отклик.

УпражнениеКуда течёт градиент

Через max-пулинг $2\times2$ с окном $\left(\begin{smallmatrix}0{,}2&0{,}9\\0{,}4&0{,}3\end{smallmatrix}\right)$ пришёл входящий градиент $g=2$ . Как он распределится по четырём клеткам? А если бы это был average-пулинг?

Сверить вычисление

Max: победила клетка $0{,}9$ , туда и уходит весь градиент — $(0,\,2,\,0,\,0)$ , остальным ноль. Average: производная по каждой клетке равна $1/4$ , поэтому градиент делится поровну — по $2\cdot\tfrac14=0{,}5$ в каждую из четырёх клеток. Max обучает только победителя окна, average — все клетки понемногу.

Что теряется при пулинге

За устойчивость приходится платить. Огрубляя положение, пулинг выбрасывает точные координаты: он говорит «в этой области есть глаз», но не «глаз ровно здесь». Для ответа «есть ли кошка» это не беда, но для задач, где важна точная геометрия — как части сложены друг относительно друга, — потеря положения вредна. Не все считают пулинг удачной идеей.

Хинтон предложил взамен архитектуры, хранящие взаимное расположение частей. Спор не решён, но сама критика полезна: она напоминает, что за всякую инвариантность мы платим выброшенной информацией, и платить стоит с умом.

Русская линия: узнавать вопреки изменчивости

Пулинг — частный приём против общей проблемы: как узнавать образ, который никогда не повторяется в точности? Эту задачу в начале $1960$ -х поставила советская школа распознавания образов. Марк Айзерман, Эмануил Браверман и Лев Розоноэр создали метод потенциальных функций — строгую теорию того, как машина учится узнавать классы по примерам, несмотря на разброс внутри класса. Их работы стали одним из истоков всей теории обучения по примерам.

Пулинг решает крохотную часть этой большой задачи — устойчивость к сдвигу на пиксель. Но идея одна: полезное представление отбрасывает неважные различия и держится за важные. Айзерман и его коллеги искали такие представления математически; свёрточная сеть с пулингом находит их из данных. Между строгой теорией распознавания $1960$ -х и инженерным приёмом пулинга — прямая линия: и там, и там инвариантность к неважному оказывается ключом к узнаванию. Разница лишь в том, что раньше нужную инвариантность закладывали руками, а теперь сеть выучивает её сама, и пулинг — одна из немногих инвариантностей, которую всё же встроили в архитектуру заранее.

Лаборатория пулинга

Порядок опытов. Слева — настоящая рукописная цифра, справа — её карта после пулинга. Двигайте цифру вбок по пикселю и следите за двумя числами на табло: изменение сырых пикселей и изменение после пулинга. Первое растёт быстро, второе — заметно медленнее, и табло показывает, во сколько раз пулинг устойчивее. Переключите max на average и сравните. Вы своими руками увидите ту частичную инвариантность к сдвигу, ради которой пулинг и придуман.

Сборка: устойчивость ценой координат

Пулинг заменяет окно карты одним числом — максимумом или средним — и этим делает два дела разом: уменьшает карту и гасит её чувствительность к сдвигу на пиксель. Мы измерили это на настоящем изображении: сдвиг входа менял сырую карту на $57\%$ , а после max-пулинга — всего на $38\%$ . Max ловит наличие признака и пропускает через себя градиент только к клетке-победителю; average усредняет и делит градиент поровну. Устойчивость дана не даром: пулинг выбрасывает точное положение, за что его и критикуют. Уменьшать карту можно и обучаемой свёрткой с шагом, а грубое прореживание без сглаживания грозит алиасингом — привет теореме отсчётов. За всеми этими приёмами стоит общая цель, которую ставила ещё советская школа распознавания: научиться узнавать образ вопреки его изменчивости. Теперь у нас есть все детали свёрточной сети — свёртка, нелинейность, пулинг, — и пора собрать их в работающую архитектуру. С этого начинается следующий урок.

Пулинг и устойчивость к сдвигу