Полиномиальные и локальные признаки

Линейность модели относится к коэффициентам, а не к исходной координате. Если заменить $x$ набором осмысленных функций $\phi_j(x)$, та же сумма взвешенных признаков способна описать кривизну, пороги, сезонность и взаимодействия.

Полдень не лежит посередине температуры

Температура в течение суток сначала растёт, затем падает. Прямая по номеру часа неизбежно ошибётся: одинаковый наклон не может описать два направления. Тот же упрямый факт виден на реальном велопрокате: усредните число поездок по каждому часу за два года — и получите не склон, а верблюжий силуэт с двумя горбами, утренним и вечерним. Прямая линия по часу объясняет лишь треть разброса, а восемь взвешенных признаков — почти девять десятых. Разница не в старании оптимизатора, а в том, что мы дали ему описать.

Можно добавить квадрат времени:

$$\widehat y=w_0+w_1x+w_2x^2.$$

График по $x$ стал параболой, хотя прогноз остаётся линейным по вектору параметров $w=(w_0,w_1,w_2)$. Запишем

$$\phi(x)=(1,x,x^2),\qquad \widehat y=w^\top\phi(x).$$

Все результаты линейной регрессии применяются к новой матрице, столбцы которой содержат значения базисных функций. Мы не поменяли алгоритм — мы поменяли словарь, на котором он говорит.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Теорема Вейерштрасса обещает много: нужная кривая существует. Но существование приближения на бумаге и его устойчивое обучение по шумным точкам — разные вещи, и именно на этом разрыве спотыкаются высокие степени.

Полиномы: гибкость и цена края

Полиномиальный базис степени $m$

$$\phi(x)=(1,x,x^2,\ldots,x^m)$$

может приблизить любую непрерывную функцию на ограниченном отрезке при достаточном $m$. Но это утверждение о возможности приближения, а не о стабильном обучении по шумным точкам. Высокие степени сильно коррелируют, а за пределами данных полином определяется старшим членом и способен взлететь.

Масштаб координаты критичен: при $x=100$, $x^8=10^{16}$. Перед построением степеней $x$ центрируют и нормируют. Ортогональные полиномы дополнительно уменьшают корреляцию столбцов, сохраняя то же пространство функций.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Это и есть явление Рунге: гладкую на вид функцию $1/(1+25x^2)$ полином высокой степени на равномерной сетке приближает всё хуже к краям. Урок прост — гибкость без ограничения оборачивается неустойчивостью, и лечится она либо локальными базисами, либо регуляризацией из урока 51.

Чебышёв и лучшее приближение

Вопрос «каким многочленом приближать» родился не в статистике, а в механике. Пафнутий Львович Чебышёв, разбирая шарнир Уатта в паровой машине, искал многочлен, у которого не средняя, а наибольшая ошибка на отрезке была бы минимальна. Так возникла теория наилучшего равномерного приближения и многочлены Чебышёва — те, что колеблются между $-1$ и $1$ с равными амплитудами и потому не разгоняются к краям, как обычные степени.

Практический вывод для нас: не всякий базис из степеней одинаково хорош. Многочлены Чебышёва как узлы интерполяции сгущаются к концам отрезка и гасят явление Рунге; как признаки они почти ортогональны и дают устойчивую матрицу. Тот же класс функций, что и обычные степени, но записанный в системе координат, которую не шатает шум. Русская школа приближения — от Чебышёва к Бернштейну и Маркову — выросла именно из этого стремления к честной, равномерной оценке.

Локальные колокола и сплайны

Вместо глобальных степеней можно использовать радиальные базисы

$$\phi_j(x)=\exp\left[-\frac{(x-c_j)^2}{2s^2}\right].$$

Каждый колокол активен около центра $c_j$. Итоговая функция складывает локальные вклады, поэтому изменение одного веса влияет главным образом на соседнюю область. Ширина $s$ управляет гладкостью: очень широкие колокола почти одинаковы, очень узкие способны запомнить шум.

Кусочно-линейные «шляпки» и сплайны дают похожую локальность. Кубический сплайн соединяет полиномы в узлах так, чтобы значения и несколько производных совпадали. В отличие от одного полинома высокой степени, поведение на одном краю меньше раскачивает другой.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Сезонность требует круговой координаты

Час 23 и час 0 близки физически, но числа 23 и 0 далеки. Правильнее вложить время на окружность:

$$\phi_{\sin}(t)=\sin\frac{2\pi t}{24},\qquad \phi_{\cos}(t)=\cos\frac{2\pi t}{24}.$$

Пара функций кодирует фазу без разрыва у полуночи. Для недели добавляют период 7 дней, для года — 365,25 суток. Несколько гармоник описывают более сложную форму, сохраняя периодичность.

Циферблат вместо числовой прямой

Закодируем час $h$ парой

$$\phi(h)=\left(\cos\frac{2\pi h}{24}, \sin\frac{2\pi h}{24}\right).$$

На обычной оси часы $23$ и $1$ разделены расстоянием $22$, хотя оба близки к полуночи. На единичной окружности угол между их векторами равен $2\pi\cdot2/24$, а евклидово расстояние — около $0{,}52$. Часы $1$ и $13$, напротив, лежат в противоположных точках и имеют расстояние $2$. Геометрия признаков теперь совпадает с суточной периодичностью.

Линейная комбинация двух координат, $a\cos(2\pi h/24)+b\sin(2\pi h/24)$, строит синусоиду с произвольной фазой. Если у спроса есть утренний и вечерний пики, добавляют вторую гармонику с частотой $2$. Каждая новая пара расширяет класс кривых, поэтому число гармоник выбирают по временной validation.

Для проката велосипедов одной периодичности мало: дождь по-разному влияет на утренний час пик и тихую ночь. Признак взаимодействия $\text{rain}\times\phi(h)$ позволяет эффекту дождя менять амплитуду по часу. Так осмысленный базис превращает предметное предположение в проверяемый набор столбцов.

Взаимодействия: когда сумма не складывается

Пусть продажи зависят от цены $x_1$ и рекламного бюджета $x_2$:

$$\widehat y=w_0+w_1x_1+w_2x_2.$$

Эта модель предполагает, что эффект рекламы одинаков при любой цене. Добавим взаимодействие:

$$\widehat y=w_0+w_1x_1+w_2x_2+w_{12}x_1x_2.$$

Теперь производная по рекламе равна $\partial\widehat y/\partial x_2=w_2+w_{12}x_1$: эффект зависит от цены. Модель всё ещё линейна по коэффициентам.

Лаборатория базиса

Одна и та же двугорбая цель, три семейства признаков. Начните с полиномов и повышайте их число: следите отдельно за ошибкой на данных и за тем, что кривая делает правее точек, где ей не на что опереться. Затем переключитесь на колокола — заметьте, что они не улетают за краем, — и на синусы, которые навязывают периодичность. Попробуйте получить близкую ошибку на данных двумя разными семействами и сравните их прогноз в точке вне данных.

Как выбирать сложность

Число базисов и их масштаб — гиперпараметры. Их выбирают по validation, который не использовался для оценки весов. Если кандидатов просмотрено много, сам лучший validation score становится оптимистичным; цена такого выбора обсуждается в уроке 63.

Регуляризация из урока 51 может удержать коэффициенты при богатом словаре признаков. Ridge плавно уменьшает веса, lasso зануляет часть из них. Но регуляризация не делает бессмысленный базис осмысленным: модель с тысячей степеней времени плохо понимает цикличность даже с маленькими весами.

Для сплайна сложность задают числом узлов и штрафом за кривизну. Для гармонического базиса — числом частот. Для радиальных функций — числом центров и шириной. В каждом случае следует переводить гиперпараметр на язык формы графика.

Реальные признаки: реклама и спрос

В данных о рекламных кампаниях встречаются цена, бюджет, день недели, платформа и число показов. Полезный базис может включать логарифм бюджета, потому что первые рубли дают больший относительный эффект; синус и косинус дня недели; взаимодействие платформы и формата; кусочно-линейную функцию цены с порогом.

Сначала графики по отдельным группам подсказывают преобразования. Затем формируется матрица признаков внутри train-части, включая оценки масштабов и категорий. Те же преобразования без переобучения применяются к validation и test. Иначе возникает утечка.

От ручных признаков к нейронным сетям

Нейронная сеть тоже строит признаки, но обучает их совместно с финальными весами. ReLU-слой создаёт кусочно-линейные функции, свёртка — локальные шаблоны изображения. Разница в масштабе и способе обучения, а не в отказе от идеи $\phi(x)$.

Ручной базис остаётся полезен, когда данных мало, структура известна, а объяснимость важна. Он позволяет увидеть, какое предположение дало улучшение. Изучение базисов поэтому является мостом от классической статистики к современному представлению данных и к вопросу из урока о размерности: какие координаты действительно несут структуру, а какие только разрежают пространство.

Что признак сообщает миру

Базисная функция — это гипотеза, записанная столбцом матрицы. Полином говорит «всё связано глобально», колокол — «важно лишь соседство», синус — «жизнь циклична», логарифм — «отдача убывает». Обучение подбирает веса, но сам словарь выбираем мы, и в нём уже спрятано то, что модель считает возможным. Хороший признак делает предположение проверяемым: если веер линий разошёлся — взаимодействие есть, если кривая улетела за краем данных — базис глобален и экстраполяции доверять нельзя. Дальше — как обуздать этот богатый словарь штрафом за сложность в уроке 51.

Задачи