Байесовская линейная регрессия

Обычная регрессия выдаёт одну линию. Байесовская оставляет множество линий, взвешенных по согласованности с данными и prior. Там, где измерений мало, это множество расходится и честно расширяет прогнозный интервал.

Три измерения не определяют одну прямую

Пусть лаборатория измерила зависимость сигнала $y$ от концентрации $x$ всего в трёх точках. Least squares выберет единственную прямую. Но немного измените шум — наклон заметно сдвинется. Точечный ответ скрывает, что многие близкие линии почти одинаково согласуются с данными.

Запишем модель

$$y=Xw+\varepsilon,\qquad \varepsilon\sim N(0,\sigma^2I)$$

и нормальный prior

$$w\sim N(m_0,S_0).$$

Prior может выражать умеренные наклоны, известный знак или связь коэффициентов. Для простого изотропного случая $m_0=0$, $S_0=\tau^2I$ большие веса заранее менее вероятны.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Умножение двух нормальных форм

Likelihood по $w$ пропорционален

$$\exp\left[-\frac1{2\sigma^2}(y-Xw)^\top(y-Xw)\right],$$

prior —

$$\exp\left[-\frac12(w-m_0)^\top S_0^{-1}(w-m_0)\right].$$

После раскрытия квадратов показатели складываются в новую квадратичную форму. Posterior остаётся нормальным:

$$S_n^{-1}=S_0^{-1}+\frac1{\sigma^2}X^\top X,$$ $$m_n=S_n\left(S_0^{-1}m_0+\frac1{\sigma^2}X^\top y\right),$$ $$w\mid D\sim N(m_n,S_n).$$

Матрицы точности, обратные ковариациям, складываются: prior приносит $S_0^{-1}$, данные — $X^\top X/\sigma^2$. Это многомерная версия сопряжённого обновления из урока 48.

Эллипс неопределённости весов

Для двух коэффициентов posterior можно нарисовать эллипсами равной плотности. Если признаки почти одинаковы, данные хорошо определяют их сумму, но плохо — разность: likelihood вытянут вдоль диагонали. Prior сжимает гребень, posterior объединяет обе геометрии.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Предсказательное распределение

Для нового объекта $x_*$ условное среднее при фиксированных весах равно $x_*^\top w$. Усреднение по posterior даёт

$$\mathbb E[y_*\mid x_*,D]=x_*^\top m_n.$$

Дисперсия нового наблюдения

$$\operatorname{Var}(y_*\mid x_*,D)= \underbrace{\sigma^2}_{\text{шум объекта}}+ \underbrace{x_*^\top S_nx_*}_{\text{неопределённость весов}}.$$

Первое слагаемое не исчезает даже при бесконечном числе данных, если процесс сам шумный. Второе уменьшается там, где признаки хорошо измерены, и растёт в направлениях, которые выборка не закрепила. Это точная версия различия между интервалом среднего и интервалом нового объекта из урока 46.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Лаборатория интервала

Перемещайте одну точку по оси $x$ и смотрите, где полоса сужается. Затем увеличьте шум: внешняя полоса расширится всюду, а posterior весов тоже станет менее определённым. Наконец усилите prior. Линии соберутся около нулевого наклона; проверьте, не подавляет ли это явный сигнал.

Активный выбор измерения

Если новый эксперимент дорог, можно выбрать $x$, который сильнее уменьшит posterior uncertainty. В линейно-нормальной модели одно наблюдение в направлении, где $x^\top S_nx$ велико, приносит много информации о весах. Так возникает активное обучение: модель не только отвечает, но и предлагает следующий вопрос миру.

Однако точка с максимальной математической неопределённостью может быть физически недоступна или опасна. При калибровке химического датчика нельзя безопасно измерить произвольную концентрацию. Дизайн эксперимента оптимизирует информацию с ограничениями стоимости, этики и диапазона прибора.

Клинический сигнал

Пусть по уровню биомаркера прогнозируется изменение показателя здоровья. Данных мало, признаки коррелированы, а крайние концентрации редки. Нормальный prior удерживает коэффициенты, posterior показывает совместную неопределённость, predictive interval — диапазон для нового пациента.

Но нормальный шум и линейный отклик должны проверяться. Если разброс растёт с тяжестью состояния, нужна $\sigma(x)$. Если есть порог, пригодятся базисы из урока 50. Если важны решения о лечении, одного среднего прогноза мало: порог должен учитывать цену ошибок из урока 57.

Неизвестная дисперсия

До сих пор $\sigma^2$ считалась известной. На практике её тоже оценивают. Сопряжённый Normal-Inverse-Gamma prior даёт аналитический posterior, а предсказательное распределение становится распределением Стьюдента с более тяжёлыми хвостами. Это отражает дополнительное сомнение в масштабе шума.

При малой выборке подстановка одной $\widehat\sigma$ делает интервалы слишком уверенными. При большой разница уменьшается. Общий принцип: если неизвестная величина влияет на прогноз, её неопределённость нужно либо интегрировать, либо обоснованно показать, что ею можно пренебречь.

Связь с Gaussian process

Линейная модель с prior на веса индуцирует ковариацию значений функции:

$$\operatorname{Cov}(f(x),f(x'))=x^\top S_0x'.$$

Если заменить $x$ богатой картой $\phi(x)$, получим kernel $k(x,x')=\phi(x)^\top S_0\phi(x')$. Gaussian process задаёт prior напрямую на функции через kernel, иногда даже без явного перечисления бесконечного числа базисов.

Близость точек определяется не только расстоянием, а выбранным kernel: периодический связывает одинаковые часы разных суток, гладкий радиальный — близкие координаты, линейный — похожие направления. Это снова показывает, что неопределённость зависит от представления.

Что сообщать в результате

Нужны posterior mean коэффициентов, их совместная неопределённость, predictive intervals и проверки на воспроизведение структуры данных. Полезно показать несколько линий из posterior: они передают зависимость параметров лучше таблицы стандартных отклонений.

Prior описывается предметно и проверяется анализом чувствительности. Граница обучающих признаков отмечается на графике. Если решение принимается вне неё, широкая полоса является сигналом нового измерения, а не приглашением выбрать середину.

Posterior в одномерной регрессии

Пусть модель имеет один вес: $y=xw+\varepsilon$, где $\varepsilon\sim N(0,4)$, а prior $w\sim N(0,1)$. Получено одно измерение $x=2$, $y=6$. Posterior precision равна сумме prior precision и информации наблюдения:

$$S_N^{-1}=1+\frac{x^2}{4}=2.$$

Значит, $S_N=0{,}5$, а среднее

$$m_N=S_N\frac{xy}{4} =0{,}5\cdot\frac{12}{4}=1{,}5.$$

Least squares по одной точке дала бы $w=3$. Prior стянул оценку к нулю, поскольку одно шумное измерение ещё не перекрывает прежнюю неопределённость. Если повторить то же наблюдение много раз, вклад $X^\top X/\sigma^2$ вырастет, и влияние prior ослабнет.

Для нового входа $x_*=3$ средний прогноз равен $4{,}5$. Дисперсия самой линии составляет $x_*^2S_N=4{,}5$, а дисперсия нового измерения добавляет ещё $4$. Поэтому predictive standard deviation равна $\sqrt{8{,}5}\approx2{,}92$. Если сообщить только среднее $4{,}5$, исчезнут и неопределённость веса, и случайность будущего результата — две разные причины ширины.

Задачи