Регрессия: предсказать число

← К урокам·Урок 1.4·45 мин

Завтра +24°. Сколько прокатов ждать за день? Построим прогноз по пяти прошлым дням и проверим, насколько он ошибается.

Лето, вы подрабатываете в велопрокате у парка. Менеджер планирует завтрашнюю смену: если клиентов много, нужен помощник на выдаче. Прогноз обещает +24°. Сколько прокатов ждать за день? В журнале за прошлую неделю пять строк: температура и число прокатов. Попробуем получить прогноз из этих примеров. Число прокатов не равно нужному запасу велосипедов: один велосипед могут арендовать несколько раз.

В прошлом уроке ответом был класс: спам или нет. Здесь ответ — число, и «угадал / не угадал» уже не работает: прогноз 320 при факте 328 — отличный, прогноз 200 — плохой, хотя оба «не угадали». Значит, нужны две вещи: правило, которое из температуры делает число, и линейка, которой измеряют промах.

В 1.1 мы уже разделили два вопроса: «какой?» — классификация, и «сколько?» — регрессия (regression), ответ-число на шкале: сколько прокатов, через сколько минут приедет такси, сколько стоит квартира. Разница не в признаках, а в ответе: у класса нет «чуть-чуть мимо» (письмо либо спам, либо нет), а у числа есть — ошибка становится расстоянием, а не «да/нет». Сегодня мы впервые построим само правило, которое это число считает.

Настоящее число прокатов — 250. Модель A предсказала 235, модель B — 300. Как правильно сравнить их ответы?

Регрессия — это когда ответ можно промахнуть на чуть-чуть.

Допустим, журнал за пять дней выглядит так (температура днём и число прокатов):

День Температура x, °C Прокатов y
Пн 10 170
Вт 15 200
Ср 20 280
Чт 25 360
Пт 30 390

Теплее — больше прокатов, и рост похож на равномерный. Самое простое правило, которое это выражает, — прямая:

\hat y = kx + b

Крышка над y — знак «так говорит модель», в отличие от факта y. Число k — наклон (slope): на сколько прокатов вырастает прогноз при потеплении на один градус. Число b — сдвиг (intercept): прогноз при нуле градусов; в наших данных нет ни одного дня с такой температурой, поэтому этот прогноз пока не проверен. Сдвиг позволяет поднять или опустить всю прямую.

Возьмём k = 12, b = 40. Тогда при +24° модель говорит 40 + 12 \cdot 24 = 328 прокатов. При +10° — 160 (факт был 170, близко). При +30° — 400 (факт 390).

Модель проката: \hat y = {{k}}x + {{b}}, где x — температура в градусах, \hat y — число прокатов за день. Прогноз погоды: +{{t}}°. Сколько прокатов предскажет модель?

Два числа, k и b, — и это вся модель.

Сравним прогнозы на двух днях. У модели А промахи равны 10 и 30 прокатам, у модели Б — 20 и 0. Если складывать расстояния от прогноза до факта, получится 40 у А и 20 у Б: на этих двух днях точнее Б. Один удачный день ещё не делает модель лучшей — сравниваем все выбранные дни по одному правилу.

Знак промаха тоже полезен. При факте 170 и прогнозе 160 модель недооценила спрос на 10. При факте 200 и прогнозе 220 — переоценила на 20. Такие разности «факт минус прогноз» называют остатками. На графике это вертикальные отрезки между точками и прямой.

За два дня было 170 и 200 прокатов. Модель А предсказала 160 и 230, модель Б — 150 и 200. Выбирают меньшую сумму расстояний между прогнозом и фактом. Какая модель точнее на этих днях?

Профи

Как посчитать MSE и RMSE

Насколько прямая k = 12, b = 40 хороша? Для каждого дня посчитаем остаток (residual) — факт минус прогноз, e = y - \hat y:

x y \hat y = 12x + 40 e = y - \hat y e^2
10 170 160 +10 100
15 200 220 −20 400
20 280 280 0 0
25 360 340 +20 400
30 390 400 −10 100
x, °C y, прокатов 10 20 30 e²=100 e²=400 e²=400 e²=100 e=0
Та же прямая, что и в таблице выше: на каждом остатке построен квадрат со стороной |e|. Площадь квадрата — это e², а сумма площадей — сумма квадратов остатков: 100 + 400 + 0 + 400 + 100 = 1000.

Сумма остатков равна нулю — но это не значит, что прямая идеальна: +20 и -20 просто погасили друг друга. В выводе МНК в шаге 5 станет ясно, что этот ноль не случаен.

Чтобы промахи не прятались за знаком, их возводят в квадрат — на рисунке выше это в буквальном смысле площадь. Сумма квадратов здесь 100 + 400 + 0 + 400 + 100 = 1000, а её среднее — среднеквадратичная ошибка (mean squared error, MSE): 1000 / 5 = 200. Корень из неё, \sqrt{200} \approx 14, — это RMSE (root mean squared error), величина ошибки в прокатах, тогда как сама MSE измеряется в прокатах в квадрате.

RMSE около 14 описывает ошибки на выбранных примерах. Это не гарантия, что ошибка прогноза на завтра окажется в пределах ±14.

Тот же расчёт кодом:

Остатки, MSE и RMSE на пяти днях

Цель: Запустите и сверьте напечатанные числа с таблицей остатков выше

В опыте ниже используется другой показатель — MSE: среднее квадратов промахов. Он сильнее штрафует большие ошибки. Считать его вручную сейчас не нужно: меняйте линию и наблюдайте за числом. На тех же точках меньший показатель означает более точную подгонку.

Сначала запишите, какой прогноз даёт ваша линия на +24°. Затем попробуйте уменьшить MSE и сравните свой результат с кнопкой «Подобрать МНК»: она выбирает прямую с наименьшим значением этого показателя. Прогноз может измениться, хотя сами точки остались прежними.

Прямая, прогноз и цена ошибки

Тяните один конец прямой: второй остаётся на месте. Ползунок выбирает температуру для прогноза, пустой кружок показывает ответ модели. Ниже — ошибка при разных наклонах и текущем сдвиге. Попробуйте уменьшить MSE, затем сравните результат с кнопкой «Подобрать МНК».

Профи

Проверка расчёта ошибки

За пять дней температура x и число прокатов y составили: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390). Модель прогнозирует \hat y = 10x + 80. Чему равна её MSE — среднее квадратов разностей между фактом и прогнозом?

На одном и том же наборе дней меньшая MSE означает более точную подгонку. Для выбора прогноза на будущее понадобится проверка на новых днях.

Пять дней были учебным примером. Теперь откроем все 731 наблюдение из файла day.csv набора Bike Sharing. Каждая точка — один день; по вертикали — поездки всей сети Capital Bikeshare за сутки. Температура записана в исходной шкале от 0 до 1: больше — теплее. Это не градусы Цельсия.

Перед подбором посмотрите на дни с похожей температурой. Одинаковое ли у них число поездок? Прямая даёт один прогноз, а наблюдения заметно различаются: одной температуры недостаточно, чтобы объяснить весь спрос.

731 день настоящего велопроката

Сначала подберите прямую руками, затем нажмите «Подобрать МНК». Включите отрезки ошибок: даже лучшая прямая не попадёт во все точки. MSE измеряет подгонку по этим дням, а не качество прогноза на будущие дни.

Скачать исходные 731 наблюдение. Ползунок показывает ответ модели для выбранной температуры; нового измерения спроса при этом не возникает.

Профи

Что меняет сдвиг прямой

В прошлой лаборатории вы двигали и наклон, и сдвиг сразу. Разделим их: проверьте, что делает с остатками только сдвиг прямой вверх-вниз, отдельно от наклона.

Прогноз задан прямой \hat y = kx + b, остаток — e = y - \hat y (факт минус прогноз). Сдвиг b увеличили на 20, не меняя наклона и наблюдений. Что произойдёт с остатками?

В журнале при одной температуре было 300 и 500 поездок. Модель использует только температуру и всегда даёт одному входу один ответ. Что следует из этого?

Реальное облако шире: полезный прогноз может ошибаться, а точность нужно измерять.

Кнопка подбора уменьшает ошибку на уже известных точках. Но завтра появится новая точка. Чтобы проверить пользу модели, запишем прогнозы заранее, дождёмся факта и сравним их на днях, по которым линию не настраивали.

Представим две модели проката. На старых днях А ошибалась меньше. Для двух следующих дней прогнозы зафиксировали заранее:

Новый день Факт Прогноз А Прогноз Б
Суббота 300 290 280
Воскресенье 360 310 350

Расстояния до факта: у А — 10 и 50, у Б — 20 и 10. По сумме этих расстояний на новых днях выигрывает Б: 30 против 60. На меньшей ошибке по старому журналу выбор не заканчивается.

На двух новых днях промахи модели А составили 10 и 50 прокатов, модели Б — 20 и 10. На старых днях, использованных для настройки, А была точнее. Какой вывод подтверждает новая проверка по сумме промахов?

Если после просмотра этой таблицы поправить модель, таблица станет частью настройки. Для следующей независимой проверки нужны другие дни. Это полезная привычка и без формул: сначала прогноз, потом факт, затем честный разбор ошибки.

Есть и границы применения. В учебном журнале температура была от +10° до +30°. При +45° формула всё ещё выдаст число, но наблюдений для проверки такого режима у нас нет. Перед использованием спросите: похожи ли новые условия на те, по которым модель строилась?

Профи

Формула метода наименьших квадратов

Подбирать прямую вручную — долго, и нет гарантии, что нашли лучшую. К счастью, у задачи «минимальная сумма квадратов остатков» есть точный ответ — метод наименьших квадратов (least squares, МНК). Нужны средние \bar x и \bar y и отклонения от них:

\boxed{\;k = \frac{\sum (x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}, \qquad b = \bar y - k\,\bar x\;}

Почему именно эта пара k, b даёт наименьшую сумму квадратов среди всех прямых — докажем в следующем блоке; пока проверим расчёт на пяти днях. И ещё: делить на \sum(x_i-\bar x)^2 можно, только если температуры не все одинаковы — иначе знаменатель равен нулю, а по одной температуре наклон не определить.

Здесь \bar x — средняя температура, \bar y — средний спрос, x_i, y_i — i-й день, \sum — сумма по всем дням. Числитель показывает, насколько x и y отклоняются от средних вместе; знаменатель — насколько разбросан сам x.

Пересчитаем для пяти дней. \bar x = (10 + 15 + 20 + 25 + 30)/5 = 20, \bar y = 1400/5 = 280.

x_i - \bar x y_i - \bar y произведение (x_i - \bar x)^2
−10 −110 1100 100
−5 −80 400 25
0 0 0 0
5 80 400 25
10 110 1100 100
Сумма 0 3000 250
y x 10 20 30 x̄=20 ȳ=280 y−ȳ x−x̄ 1100 400 0 400 1100
Слева — пять дней в осях (x, y), пунктир — точка средних (x̄, ȳ) = (20, 280). Справа — те же точки в осях отклонений (x−x̄, y−ȳ): подписаны произведения (xᵢ−x̄)(yᵢ−ȳ) из таблицы выше. Наклон k = 3000/250 — это то, насколько облако «повёрнуто» вокруг своего центра.

k = 3000/250 = 12, b = 280 - 12 \cdot 20 = 40. Прямая из шага 2 и есть прямая наименьших квадратов. Формула даёт MSE = 200; доказательство ниже устанавливает, что меньшей MSE на этих пяти днях у прямой со свободным сдвигом быть не может.

Заметьте: b = \bar y - k\bar x означает, что при x = \bar x прогноз равен \bar y. Прямая МНК всегда проходит через точку средних (\bar x, \bar y) — у нас через (20, 280), и это среда, где остаток 0.

У другого проката средняя температура \bar x = {{xm}}, средний спрос \bar y = {{ym}}, а наклон МНК уже посчитан: k = {{k}}. Найдите сдвиг b.

5000 1000 S(k) k 8 12 16 S(12) = 1000 S(10)=2000 S(14)=2000
Сумма квадратов остатков S(k) при подставленном b = ȳ − k·x̄ — парабола по k. Вершина в k = 12 даёт минимум S = 1000; в k = 10 и k = 14 сумма одинаково хуже — 2000. «Минимум» — это буквально дно этой параболы.

У другого набора дней S_{xy} = \sum (x_i-\bar x)(y_i-\bar y) = {{sxy}}, а S_{xx} = \sum (x_i-\bar x)^2 = {{sxx}}. Чему равен наклон k прямой наименьших квадратов?

Теперь напишите формулу сами:

Формула наименьших квадратов своими руками

Цель: Допишите две строки в mnk, чтобы функция считала наклон и сдвиг МНК на данных с разными значениями признака

Профи

Вывод формулы МНК без производных: две параболы

Сумма квадратов остатков как функция двух чисел k и b:

S(k, b) = \sum_{i=1}^{n} (y_i - kx_i - b)^2.

Шаг 1: фиксируем k, ищем лучший b. Раскроем квадраты и соберём по степеням b:

S = n b^2 - 2b \sum (y_i - kx_i) + \text{const}.
Это парабола по b с ветвями вверх (n > 0); её вершина — в точке b = \frac{1}{n}\sum (y_i - kx_i) = \bar y - k\bar x. Это и есть вторая формула.

Для любых k и b верно S(k, b) \ge S(k, b^*(k)), где b^*(k) — вершина этой параболы по b; значит минимум S по обеим переменным равен минимуму S(k) = S(k, b^*(k)) по одному k — его и ищем дальше.

Шаг 2: подставляем и ищем k. С таким b остаток переписывается через отклонения: y_i - kx_i - b = (y_i - \bar y) - k(x_i - \bar x). Обозначим S_{xx} = \sum (x_i - \bar x)^2, S_{xy} = \sum (x_i - \bar x)(y_i - \bar y), S_{yy} = \sum (y_i - \bar y)^2. Тогда

S(k) = S_{yy} - 2k\,S_{xy} + k^2 S_{xx}
— снова парабола, теперь по k. При S_{xx} > 0 её вершина находится в k = S_{xy}/S_{xx}. Первая формула доказана.

Если все x_i одинаковы, то S_{xx}=S_{xy}=0: после выбора b=\bar y-k\bar x значение S(k)=S_{yy} постоянно. Минимум достигается при любом k с соответствующим b; данные не определяют единственный наклон.

Бонус: чему равен минимум. Подставив вершину, получаем S_{\min} = S_{yy} - S_{xy}^2 / S_{xx}. Для наших пяти дней: S_{yy} = 110^2 + 80^2 + 0 + 80^2 + 110^2 = 37000, S_{xy} = 3000, S_{xx} = 250: S_{\min} = 37000 - 9\,000\,000/250 = 1000. Ровно то, что мы насчитали в таблице — теперь с гарантией, что меньше нельзя.

Доля объяснённого разброса R^2 = 1 - S_{\min}/S_{yy} = 1 - 1000/37000 \approx 0{,}973: температура «объясняет» 97 % разброса спроса в учебном примере. На реальных данных одной температуры недостаточно: дни с похожей температурой имеют разный спрос. Проверить вклад дождя или выходных можно, добавив эти признаки и сравнив качество на новых днях; по одному облаку точек причину разброса установить нельзя.

Все значения y умножили на 2 (считаем прокаты не в штуках, а в «полуштуках»). Что случится с прямой МНК?

Эпик

Четыре свойства прямой наименьших квадратов

Пусть \bar x, \bar y — средние, S_{xx}=\sum_i(x_i-\bar x)^2>0, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y), S_{yy}=\sum_i(y_i-\bar y)^2>0. Прямая МНК имеет коэффициенты k=S_{xy}/S_{xx}, b=\bar y-k\bar x, прогнозы \hat y_i=kx_i+b и остатки e_i=y_i-\hat y_i. Доля объяснённого разброса: R^2=1-\sum_i e_i^2/S_{yy}. Докажите:

  1. \sum e_i = 0 — остатки в сумме дают ноль.
  2. \sum x_i e_i = 0 — остатки «не коррелируют» с признаком.
  3. S_{yy} = \sum (\hat y_i - \bar y)^2 + \sum e_i^2 — полный разброс распадается на объяснённый и необъяснённый. Отсюда 0 \le R^2 \le 1.
  4. Если построить регрессию наоборот — x по y, с наклоном k', — то k \cdot k' = R^2.

Затем посчитайте R^2 двумя способами (через п. 3 и через п. 4) для пяти пар «температура; число прокатов»: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390).

Решение

1. \sum e_i = \sum y_i - k\sum x_i - nb = n\bar y - nk\bar x - n(\bar y - k\bar x) = 0.

2. Подставим b = \bar y - k\bar x: e_i = (y_i - \bar y) - k(x_i - \bar x). Тогда \sum x_i e_i = \sum x_i (y_i - \bar y) - k \sum x_i (x_i - \bar x). Заметим, что \sum \bar x (y_i - \bar y) = 0 и \sum \bar x (x_i - \bar x) = 0, поэтому \sum x_i(y_i - \bar y) = S_{xy} и \sum x_i (x_i - \bar x) = S_{xx}. Получаем S_{xy} - k S_{xx} = 0 по определению k.

3. y_i - \bar y = (\hat y_i - \bar y) + e_i. Возведём в квадрат и просуммируем; перекрёстный член 2\sum (\hat y_i - \bar y) e_i = 2\sum (kx_i + b - \bar y)e_i = 2k\sum x_i e_i + 2(b - \bar y)\sum e_i = 0 по пп. 1–2. Значит S_{yy} = \text{SSR} + \text{SSE}, где \text{SSR} = \sum(\hat y_i - \bar y)^2 \ge 0 и \text{SSE} = \sum e_i^2 \ge 0. Поэтому R^2 = 1 - \text{SSE}/S_{yy} = \text{SSR}/S_{yy} \in [0, 1].

4. k = S_{xy}/S_{xx}, по симметрии k' = S_{xy}/S_{yy}, произведение S_{xy}^2/(S_{xx}S_{yy}). С другой стороны, \hat y_i - \bar y = k(x_i - \bar x), поэтому \text{SSR} = k^2 S_{xx} = S_{xy}^2/S_{xx} и R^2 = \text{SSR}/S_{yy} = S_{xy}^2/(S_{xx}S_{yy}). Совпало.

Числа. S_{xx} = 250, S_{xy} = 3000, S_{yy} = 37000. Через п. 3: \text{SSR} = 144 \cdot 250 = 36000, R^2 = 36000/37000 \approx 0{,}973. Через п. 4: k' = 3000/37000 \approx 0{,}0811, k \cdot k' = 12 \cdot 0{,}0811 \approx 0{,}973. Заодно видно, почему две регрессии — y по x и x по y — это разные прямые: они совпадают только при R^2 = 1.

Для прямой МНК со свободным сдвигом известны суммы S_{xx}=\sum_i(x_i-\bar x)^2={{sxx}}, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y)={{sxy}}, S_{yy}=\sum_i(y_i-\bar y)^2={{syy}}. Здесь \bar x и \bar y — средние. Найдите R^2, долю объяснённого разброса, с точностью до сотых.

Подбор линии — только начало. Полезность прогноза проверяют по наблюдениям, которые не участвовали в настройке.

Построили прогноз

правило «умножить температуру на 12 и прибавить 40» даёт 328 прокатов при +24°. Это ответ модели, а не известный факт.

Сравнили ошибки

расстояния от прогнозов до наблюдений позволяют сопоставить модели. Сравнивать нужно на одних данных и по одному правилу.

Проверили границу вывода

хорошая подгонка старого журнала не гарантирует точности завтра. Нужны новые дни и проверка условий применения.

Домашняя работа

  1. Профи

    Самостоятельно подобрать прямую

    Журнал проката за четыре дня: x = 1, 2, 3, 4 часа солнца, соответствующий спрос y = 3, 5, 8, 10 прокатов. Найдите наклон k прямой МНК \hat y=kx+b со свободным сдвигом. Ответ с точностью до сотых.

  2. Модель цены квартиры: \hat y = 150\,S + 1200, где \hat y — цена в тысячах рублей, S — площадь в м². Что означает коэффициент 150?

Источники