От статистики к машинному обучению

Функция потерь — договор между задачей и алгоритмом. Иногда она выводится из вероятностной модели наблюдений, иногда кодирует цену будущего действия. Минимизировать удобную формулу можно только после ответа: какую ошибку она считает дорогой?

Две ошибки пожарной сигнализации

Система решает, эвакуировать ли здание. Ложная тревога останавливает работу, но пропуск пожара угрожает людям. Accuracy считает обе ошибки одинаковыми:

$$\ell_{0/1}(a,y)=\mathbf1\{a\ne y\}.$$

Матрица потерь различает действия:

$$\begin{array}{c|cc} &y=0&y=1\\ \hline a=0&0&10000\\ a=1&20&0 \end{array}$$

Здесь $a=1$ — эвакуация, $y=1$ — пожар, числа — условные единицы ущерба. Если модель оценивает $p=P(y=1\mid x)$, ожидаемые потери двух действий:

$$R(0\mid x)=10000p,\qquad R(1\mid x)=20(1-p).$$

Эвакуация выгоднее уже при $p>20/10020\approx0{,}002$. Порог возник из цены решений, а не из симметричного числа 0,5.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Loss из вероятностной модели

Пусть модель задаёт условную плотность $p_\theta(y\mid x)$. Максимизация правдоподобия эквивалентна минимизации log-loss:

$$\widehat\theta= \arg\min_\theta -\frac1n\sum_{i=1}^n\log p_\theta(y_i\mid x_i).$$

Для нормального ответа с постоянной дисперсией отрицательный логарифм даёт квадрат остатка — так была выведена линейная регрессия. Для Бернулли получается binary cross-entropy:

$$\ell(p,y)=-y\log p-(1-y)\log(1-p).$$

Log-loss жёстко штрафует уверенную ошибку: при $y=1$ прогноз $p=0{,}001$ стоит $-\log0{,}001\approx6{,}91$, а $p=0{,}4$ — лишь $0{,}92$.

Вероятность и действие нужно разделять

Одна калиброванная модель вероятности может обслуживать разные решения. Врач использует низкий порог для дешёвого анализа и высокий — для рискованного лечения. Если обучать отдельный классификатор под каждый текущий порог, изменение цены потребует нового обучения и затруднит аудит.

Сначала оценивается $P(y\mid x)$ и проверяется калибровка, затем минимизируется условный риск по актуальной матрице цен. Эта архитектура продолжает разделение score и порога из урока 53.

Почему 0/1-loss неудобен обучению

Для линейного score функция

$$\mathbf1\{y\,s(x)\leq0\}$$

ступенчата и почти всюду имеет нулевую производную. Малое улучшение неверного score не меняет loss до пересечения границы. Градиентный метод не получает направления.

Используют суррогаты: logistic $\log(1+e^{-ys})$, hinge $\max(0,1-ys)$ или exponential $e^{-ys}$. Они непрерывны, верхне ограничивают или приближают классификационную ошибку и поощряют margin.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Лаборатория риска

Сначала оставьте вероятности фиксированными и меняйте матрицу цен: оптимальный порог двигается без изменения модели. Затем сравните log-loss и accuracy для двух классификаторов с одинаковыми классами, но разной уверенностью. Наконец испортите калибровку монотонным преобразованием score: ranking сохранится, решение по стоимости — нет.

Квадрат, модуль и квантили

В регрессии loss определяет, какую характеристику условного распределения оценивает модель. Минимум

$$\mathbb E[(Y-a)^2\mid X=x]$$

достигается в условном среднем. Минимум $\mathbb E[|Y-a|\mid X=x]$ — в медиане. А pinball loss

$$\rho_q(u)=u(q-\mathbf1\{u<0\})$$

оценивает условный квантиль уровня $q$. Для прогноза высокого спроса может быть важен $q=0{,}9$, а не среднее.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Несбалансированные классы

Если мошенничество составляет 0,1%, классификатор «всегда честно» получает 99,9% accuracy. Взвешенный loss усиливает редкий класс, focal loss уменьшает вклад уже лёгких примеров, а resampling меняет частоты обучения.

Но изменение весов влияет на калибровку. Модель, обученная на искусственно сбалансированных данных, видит другой prior. После обучения нужно вернуть реальную базовую долю или калибровать на репрезентативной выборке, как обсуждалось в порождающей классификации.

PR-AUC часто информативнее ROC-AUC для редкого класса, потому что precision непосредственно реагирует на число ложных тревог. Итоговая метрика всё равно должна быть переведена в поток решений: сколько проверок в день и сколько пропусков.

Loss для ранжирования

Иногда системе не нужна абсолютная вероятность: важно поставить релевантный документ выше нерелевантного. Pairwise loss сравнивает пару $(i,j)$ и штрафует случай, когда score хорошего объекта не выше:

$$\ell_{\text{pair}}=\log\left(1+e^{-(s_i-s_j)}\right).$$

Такой loss ближе к порядку выдачи, но не гарантирует калиброванные числа. Listwise методы учитывают целый список и позиции. Для поиска полезность первых трёх мест обычно выше полезности сотого, поэтому NDCG дисконтирует низкие позиции. Обучающий surrogate, offline ranking-метрика и online действие пользователя образуют три разных слоя, которые нельзя выдавать за одну цель.

Пары тоже собираются не нейтрально. Если выбирать только клики как положительные, позиция прежней системы влияет на метку: документы ниже почти не имели шанса быть замеченными. Для ranking loss нужен экспериментальный показ, propensity correction или осторожная модель наблюдения, иначе оптимизируется воспроизведение старого порядка.

CIFAR-10 и значение ошибки

В CIFAR-10 десять классов маленьких изображений. Cross-entropy обучает распределение по классам, top-1 error проверяет победителя. Но прикладная цена «кошка вместо собаки» может отличаться от «грузовик вместо самолёта». Стандартный benchmark намеренно упрощает матрицу потерь.

Улучшение средней cross-entropy может происходить за счёт калибровки без изменения accuracy. Это полезно для последующего решения и ансамблирования. Напротив, модель может иметь хорошую accuracy и катастрофический log-loss из-за нескольких уверенных ошибок.

Общий риск

Для правила $f$ истинный риск

$$R(f)=\mathbb E_{(X,Y)\sim P}\ell(f(X),Y)$$

усредняет loss по будущему распределению. Мы не знаем $P$ и заменяем ожидание выборочным средним. Почему выбор функции по той же выборке создаёт оптимизм, разберёт урок 58.

Loss должен быть вычислимым, согласованным с целью и устойчивым к неизбежному шуму. Иногда прикладная цена недифференцируема — тогда используют суррогат для обучения, но оценивают систему по настоящему риску.

Один прогноз спроса, три разумных ответа

За пять сопоставимых дней спрос составил $8,9,10,11,30$ единиц. Если цена ошибки квадратична, лучшая константа — среднее $13{,}6$: большие промахи штрафуются особенно сильно. При абсолютной ошибке оптимальна медиана $10$. Оба ответа корректны для своих losses, хотя используют одну таблицу.

Теперь нехватка одной единицы стоит девять рублей упущенной прибыли, а лишняя единица — один рубль хранения. Для pinball loss нужен квантиль уровня

$$\tau=\frac{9}{9+1}=0{,}9.$$

Эмпирический $90$-й квантиль маленькой выборки лежит у значения $30$. Решение кажется чрезмерным, но оно прямо следует из асимметричной цены. Спорить нужно не с оптимизатором, а с оценками стоимости и устойчивостью хвоста. Один необычный день при пяти наблюдениях делает высокий квантиль крайне неопределённым.

Практический анализ покажет кривую ожидаемой стоимости для запасов от $8$ до $30$, bootstrap-разброс оптимума и сценарии других отношений цен. Такой отчёт связывает loss с рублями и показывает, где новая информация ценнее тонкой настройки модели.

Задачи