Геометрия классификации

Классификатор сначала строит числовой счёт, а уже затем сравнивает его с порогом. Геометрия границы определяется признаками; цена решения — выбранным порогом. Эти две части нельзя смешивать.

Письмо по одну сторону прямой

Пусть письмо описано двумя признаками: $x_1$ — доля ссылок, $x_2$ — частота слова «скидка». Линейный классификатор вычисляет

$$s(x)=w_1x_1+w_2x_2+b.$$

При $s(x)\geq0$ письмо относят к спаму, иначе — к обычным. Множество точек с нулевым score:

$$w^\top x+b=0$$

образует прямую в двух измерениях, плоскость в трёх и гиперплоскость в общем случае. Вектор $w$ перпендикулярен границе и указывает сторону роста score.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

От score к вероятности

Логистическая регрессия переводит score через sigmoid:

$$\widehat p(y=1\mid x)=\sigma(s)=\frac1{1+e^{-s}}.$$

Обратное преобразование даёт log-odds:

$$\log\frac{p}{1-p}=w^\top x+b.$$

При увеличении $x_j$ на единицу шансы класса 1 умножаются на $e^{w_j}$, если остальные признаки фиксированы. Такая интерпретация требует осмысленного масштаба и осторожности с коррелированными признаками.

Параметры обучаются максимизацией Бернуллиевского likelihood, то есть минимизацией cross-entropy:

$$-\sum_i\left[ y_i\log p_i+(1-y_i)\log(1-p_i) \right].$$

Так классификация связывается с правдоподобием и выбором loss из урока 57.

Порог — отдельное решение

Стандартный порог 0,5 не является законом. Если пропуск мошенничества стоит 1000 рублей, а ручная проверка честной операции — 10 рублей, проверять стоит уже при вероятности около

$$p_*=\frac{10}{1000+10}\approx0{,}0099$$

в простейшей модели потерь. Геометрически граница сдвигается параллельно: сравнение $p\geq p_*$ эквивалентно $s\geq\log[p_*/(1-p_*)]$.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Лаборатория поворота

Поворачивайте $w$ и следите, какие точки меняют знак score первыми. Затем двигайте $b$: граница перемещается без поворота. Наконец оставьте score фиксированным и меняйте порог вероятности. Это три разных операции — направление признаков, базовый уровень и политика решения.

Признаки меняют геометрию

Два класса в форме концентрических колец нельзя разделить прямой в исходных $(x_1,x_2)$. Добавим признак

$$\phi_3(x)=x_1^2+x_2^2.$$

Порог по $\phi_3$ станет окружностью в исходной плоскости, хотя остаётся гиперплоскостью в расширенном пространстве. Это применение базисных функций: нелинейность границы может жить в признаках, а оптимизатор оставаться линейным.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Несколько классов

Для $K$ классов можно обучить $K$ scores

$$s_k(x)=w_k^\top x+b_k$$

и выбрать $\arg\max_k s_k$. Softmax задаёт вероятности

$$p_k(x)=\frac{e^{s_k(x)}}{\sum_j e^{s_j(x)}}.$$

Добавление одной константы ко всем scores не меняет вероятности, поэтому параметризация имеет лишнюю степень свободы. Граница классов $a,b$ задаётся $s_a=s_b$ и остаётся линейной в пространстве признаков.

Стратегия one-vs-rest обучает отдельный бинарный классификатор для каждого класса. Его вероятности не обязаны суммироваться в единицу; независимая калибровка и разрешение конфликтов становятся частью системы.

Визуально многоклассовая граница разбивает плоскость на многоугольные области. Но каждая область определяется не только ближайшим центром: веса и смещения задают собственную систему направлений. Если класс представлен двумя раздельными облаками, одна выпуклая область может описывать его плохо. Тогда нужны новые признаки, несколько прототипов класса или порождающая модель облаков.

Матрица ошибок показывает, какие пары классов путаются. Ошибка «кошка вместо собаки» и «кошка вместо дорожного знака» часто говорят о разных поломках представления. Для несбалансированных классов macro-average даёт каждому классу одинаковый вес, micro-average считает все объекты вместе. Поэтому один итоговый F1 без частот и матрицы ошибок оставляет геометрию путаницы невидимой. Для каждой строки матрицы полезно показать абсолютное число, условную долю и цену ошибки: одинаковый процент в редком и массовом классе создаёт разную нагрузку на систему.

Дом как класс: дороже медианы

Из регрессионной задачи можно сделать классификацию: предсказывать, будет ли цена квартиры выше медианы района. Такое упрощение теряет расстояние до порога: квартиры на 1 тысячу и 10 млн выше медианы получают одинаковую метку. Если бизнес-действие действительно бинарно, это допустимо; если важен размер ошибки, регрессия богаче.

Особенно опасна утечка. Медиану района нужно оценивать только по прошлым сделкам, доступным в момент прогноза. Признак «итоговая скидка» после закрытия сделки тоже нельзя использовать. Геометрически граница может выглядеть идеально, потому что в координаты проник ответ.

Ошибки у границы и далеко от неё

Точки около $s=0$ естественно неуверенны: малое изменение признаков меняет класс. Но большая $|s|$ не гарантирует надёжность, если объект далеко от обучающих данных. Линейная формула экстраполирует score без предупреждения. Карта неопределённости должна учитывать и расстояние до границы, и область поддержки train.

Есть и физическая устойчивость. Если признаки измеряются с возмущением $\Delta x$, изменение score ограничено неравенством $|w^\top\Delta x|\leq\|w\|\|\Delta x\|$. Объект защищён от всех возмущений радиуса $\varepsilon$, если его геометрическое расстояние до границы больше $\varepsilon$. Это связывает margin с робастностью, хотя евклидовый шар не всегда описывает содержательно допустимые изменения письма или изображения.

Противоречивые метки рядом друг с другом задают aleatoric uncertainty: признаков недостаточно, чтобы разделить классы. Пустая область пространства задаёт epistemic uncertainty: модель не знает форму там из-за отсутствия наблюдений. Одинаковая вероятность 0,5 может означать разные причины и разные действия.

Что остаётся от геометрии

Линейный классификатор задаёт направление $w$, смещение $b$ и score. Sigmoid или softmax превращает score в вероятности, а порог переводит вероятность в действие. Карта признаков определяет форму границы в исходном мире. Для честного применения нужно отдельно проверять разделимость, калибровку, цену порога, утечку и поведение вне обучающей области.

Порог как параллельный перенос

Возьмём $w=(2,-1)$, $b=-0{,}5$ и объект $x=(1,1)$. Его score равен $s=2\cdot1-1-0{,}5=0{,}5$, а расстояние до границы $s=0$ составляет

$$\frac{0{,}5}{\sqrt{2^2+(-1)^2}}\approx0{,}224.$$

Если sigmoid калибрована, вероятность положительного класса равна $\sigma(0{,}5)\approx0{,}622$. При стандартном пороге $0{,}5$ объект положительный. Но для действия с высокой ценой ложной тревоги поставим порог $0{,}8$. На шкале score ему отвечает $\operatorname{logit}(0{,}8)=\ln4\approx1{,}386$. Новая граница задаётся уравнением $w^\top x+b=1{,}386$: её нормаль не изменилась, прямая лишь сдвинулась параллельно.

Относительно новой границы signed distance объекта равно $(0{,}5-1{,}386)/\sqrt5\approx-0{,}396$, поэтому решение меняется на отрицательное. Переобучать веса ради нового порога не требовалось. Однако если вероятности систематически завышены, перенос по формуле logit окажется ошибочным. Сначала проверяют калибровку на свежей популяции, затем выбирают порог по матрице цен.

Задачи