Урок 54. Порождающие модели, LDA и QDA

Дискриминативная модель сразу проводит границу. Порождающий классификатор рассказывает, как каждый класс создаёт признаки, а затем сравнивает эти рассказы по правилу Байеса. Форма облаков становится частью решения.

Два вида ириса как два облака

Пусть $x$ содержит длину и ширину лепестка, а $y$ — вид ириса. Вместо прямого моделирования $P(y\mid x)$ зададим для каждого класса плотность $p(x\mid y=k)$ и prior $P(y=k)$ . После измерения цветка

P(y=k\mid x)= \frac{p(x\mid y=k)P(y=k)} {\sum_jp(x\mid y=j)P(y=j)}.

Класс выбирают по максимальному числителю. Знаменатель одинаков для всех $k$ , поэтому границу определяет сравнение

\log p(x\mid y=a)+\log P(y=a) = \log p(x\mid y=b)+\log P(y=b).

Prior сдвигает решение даже при одинаковой форме облаков: редкому классу нужно более убедительное совпадение признаков.

Два облака ирисов с эллипсами равной плотности, центрами и линией равного posterior — Рис. 54.1. Класс как плотность, а не только цвет точек
Оси — длина и ширина лепестка. Эллипсы показывают уровни $p(x\mid y=k)$ , кресты — средние классов. Чёрная граница проходит там, где prior-взвешенные плотности равны; она не обязана лежать ровно посередине центров.

LDA: общая форма разброса

Linear Discriminant Analysis предполагает

x\mid y=k\sim N(\mu_k,\Sigma)

с разными средними $\mu_k$ , но общей ковариацией $\Sigma$ . Логарифм нормальной плотности содержит квадрат

-(x-\mu_k)^\top\Sigma^{-1}(x-\mu_k)/2.

При сравнении классов общий член $-x^\top\Sigma^{-1}x/2$ сокращается. Остаётся линейная дискриминантная функция

\delta_k(x)= x^\top\Sigma^{-1}\mu_k -\frac12\mu_k^\top\Sigma^{-1}\mu_k +\log\pi_k.

Поэтому граница LDA линейна. Ковариация определяет метрику: отличие вдоль шумного направления считается слабее, чем такое же евклидово отличие вдоль стабильного.

QDA: каждому классу своя геометрия

Quadratic Discriminant Analysis допускает

x\mid y=k\sim N(\mu_k,\Sigma_k).

Квадратичные члены больше не сокращаются, и граница становится кривой. Модель способна описать компактный класс внутри рассеянного или облака с разными ориентациями. Цена — отдельная матрица ковариации для каждого класса, то есть гораздо больше параметров.

Две панели одинаковых точек: LDA использует параллельные эллипсы и прямую, QDA разные эллипсы и кривую границу — Рис. 54.2. Одна ковариация LDA и две ковариации QDA
Слева общая $\Sigma$ заставляет эллипсы иметь одинаковую форму, и граница прямая. Справа $\Sigma_1,\Sigma_2$ различны, поэтому равенство дискриминантов содержит квадраты координат и огибает компактное облако.

Лаборатория эллипсов

Сначала сделайте ковариации классов одинаковыми: LDA и QDA должны дать близкие границы, но QDA будет оценивать лишние параметры. Затем растяните один класс по диагонали. Наконец уменьшите его prior и проследите, как область решения сжимается без движения самих точек.

Цена prior и цена ошибки

Prior $\pi_k$ описывает частоту класса в целевой популяции. Если модель обучалась на искусственно сбалансированной выборке, обучающая доля не является естественным prior. Для применения нужно вернуть реальную распространённость.

При разных потерях даже posterior максимум не оптимален. Решение $a$ выбирают по минимальному условному риску

R(a\mid x)=\sum_k c(a,k)P(y=k\mid x).

Получается ясное разделение труда: generative model оценивает вероятности, prior адаптирует популяцию, а матрица цен задаёт действие. Это разделение повторяет геометрию и пороги и будет формализовано в уроке о риске.

Naive Bayes: смелая независимость

Для текста с тысячами признаков полную ковариацию оценить невозможно. Naive Bayes предполагает условную независимость:

p(x\mid y=k)=\prod_jp(x_j\mid y=k).

Для счётчиков слов используют мультиномиальную модель и сглаживание из урока 48. Независимость слов явно неверна: «машинное» и «обучение» встречаются вместе. Но классификатор часто хорошо ранжирует, потому что грубое произведение накапливает сигнал.

Вероятности могут быть плохо калиброваны: зависимые свидетельства учитываются несколько раз. Поэтому качество класса и качество численного posterior нужно проверять отдельно.

Порождающая модель умеет работать с пропусками

Если один признак отсутствует, generative model может маргинализовать его:

p(x_{\text{obs}}\mid y=k)= \int p(x_{\text{obs}},x_{\text{miss}}\mid y=k)\,dx_{\text{miss}}.

Для многомерной нормали наблюдаемая подгруппа координат снова нормальна с соответствующими частями среднего и ковариации. Это естественнее, чем подставлять среднее без учёта класса.

Однако механизм пропуска важен. Если лаборатория чаще не измеряет дорогой анализ у здоровых пациентов, сам факт пропуска несёт информацию. Тогда нужно моделировать индикатор измерения или включать его как признак.

Два двумерных нормальных облака и их одномерные проекции на ось наблюдаемого признака для объекта без второй координаты — Рис. 54.3. Маргинализация пропущенного признака
Слева классы разделены в плоскости $(x_1,x_2)$ . У нового объекта известен только $x_1$ , поэтому справа сравниваются проекции плотностей на эту ось. Неизвестная координата интегрируется, а не заменяется одной точкой.

Связь с логистической регрессией

Для двух нормальных классов с общей ковариацией log-odds posterior линейны:

\log\frac{P(y=1\mid x)}{P(y=0\mid x)}=w^\top x+b.

Значит, LDA и логистическая регрессия имеют одинаковую форму границы, но оценивают параметры по-разному. LDA моделирует $p(x\mid y)$ и может быть эффективнее, если нормальная история верна. Логистическая регрессия моделирует только $P(y\mid x)$ и не обязана описывать распределение признаков.

При большом объёме и неверной нормальности дискриминативная модель часто устойчивее. При малом объёме и хорошем generative предположении LDA использует структуру сильнее. Выбор делается по диагностике и честной validation, а не по ярлыку «старый» или «современный». За пределами поддержанных облаков обеим нужна отдельная карта неопределённости.

Реальный пример: отклик на сообщение

Для анонимизированной кампании признаки включают время отправки, историю активности и тип сообщения, класс — отклик в течение суток. Generative model может описать распределения активности у откликнувшихся и нет, а prior — реальную редкую долю отклика.

Нельзя включать признаки, появившиеся после отправки, и считать повторные сообщения одному человеку независимыми. Ковариация может различаться по классам, но QDA при сотнях признаков неустойчива; помогает shrinkage covariance между общей и отдельной матрицей.

Итог

Порождающий классификатор моделирует признаки внутри класса и prior классов, затем применяет Байеса. LDA получает линейную границу из общей ковариации, QDA — квадратичную из отдельных. Naive Bayes заменяет сложную совместную плотность произведением. Сильная сторона подхода — содержательная модель облаков, пропусков и сдвига prior; слабая — цена неверных распределительных предположений.

Как редкий prior двигает границу LDA

Рассмотрим один признак. Для обычного класса $X\mid Y=0\sim N(0,1)$ , для редкого — $X\mid Y=1\sim N(2,1)$ . Отношение плотностей имеет линейный логарифм:

\log\frac{p(x\mid1)}{p(x\mid0)}=2x-2.

При равных prior граница posterior $P(Y=1\mid x)=1/2$ проходит через $x=1$ . Теперь пусть редкий класс встречается лишь в $2\%$ случаев. К log-likelihood ratio добавляется $\log(0{,}02/0{,}98)\approx-3{,}89$ , поэтому граница сдвигается к

x_* = 1-\frac12\log\frac{0{,}02}{0{,}98}\approx2{,}95.

Наблюдение $x=2$ ближе к среднему редкого класса, но при таком prior всё ещё не достигает posterior $1/2$ : похожий сигнал часто возникает среди гораздо более многочисленных обычных объектов.

Если обучающую таблицу искусственно сбалансировали, а в production сохранились $2\%$ , граница $x=1$ даст множество ложных тревог. Исправить её можно возвращением реального prior в формулу, не переоценивая гауссовы плотности. Этот маленький расчёт отделяет форму классов от частоты их появления.

Задачи

6баллов

Спам-фильтр использует два бинарных слова $x_1,x_2$ . Для спама вероятности слов равны 0,8 и 0,6, для обычной почты — 0,1 и 0,2; prior спама 0,05. Предполагая условную независимость, найдите posterior спама для письма, где оба слова есть. Аудит корпуса затем установил точные совместные вероятности $P(x_1=x_2=1\mid spam)=0{,}6$ и $P(x_1=x_2=1\mid ham)=0{,}1$ . Вычислите posterior по этим совместным вероятностям, сравните его с ответом naive Bayes и объясните, как предположение независимости переоценило повторяющееся свидетельство.