Лето, вы подрабатываете в велопрокате у парка. Менеджер планирует завтрашнюю смену: если клиентов много, нужен помощник на выдаче. Прогноз обещает +24°. Сколько прокатов ждать за день? В журнале за прошлую неделю пять строк: температура и число прокатов. Попробуем получить прогноз из этих примеров. Число прокатов не равно нужному запасу велосипедов: один велосипед могут арендовать несколько раз.
В прошлом уроке ответом был класс: спам или нет. Здесь ответ — число, и «угадал / не угадал» уже не работает: прогноз 320 при факте 328 — отличный, прогноз 200 — плохой, хотя оба «не угадали». Значит, нужны две вещи: правило, которое из температуры делает число, и линейка, которой измеряют промах.
В 1.1 мы уже разделили два вопроса: «какой?» — классификация, и «сколько?» — регрессия (regression), ответ-число на шкале: сколько прокатов, через сколько минут приедет такси, сколько стоит квартира. Разница не в признаках, а в ответе: у класса нет «чуть-чуть мимо» (письмо либо спам, либо нет), а у числа есть — ошибка становится расстоянием, а не «да/нет». Сегодня мы впервые построим само правило, которое это число считает.
Регрессия — это когда ответ можно промахнуть на чуть-чуть.
Допустим, журнал за пять дней выглядит так (температура днём и число прокатов):
| День | Температура x, °C | Прокатов y |
|---|---|---|
| Пн | 10 | 170 |
| Вт | 15 | 200 |
| Ср | 20 | 280 |
| Чт | 25 | 360 |
| Пт | 30 | 390 |
Теплее — больше прокатов, и рост похож на равномерный. Самое простое правило, которое это выражает, — прямая:
Крышка над y — знак «так говорит модель», в отличие от факта y. Число k — наклон (slope): на сколько прокатов вырастает прогноз при потеплении на один градус. Число b — сдвиг (intercept): прогноз при нуле градусов; в наших данных нет ни одного дня с такой температурой, поэтому этот прогноз пока не проверен. Сдвиг позволяет поднять или опустить всю прямую.
Возьмём k = 12, b = 40. Тогда при +24° модель говорит 40 + 12 \cdot 24 = 328 прокатов. При +10° — 160 (факт был 170, близко). При +30° — 400 (факт 390).
Два числа, k и b, — и это вся модель.
Сравним прогнозы на двух днях. У модели А промахи равны 10 и 30 прокатам, у модели Б — 20 и 0. Если складывать расстояния от прогноза до факта, получится 40 у А и 20 у Б: на этих двух днях точнее Б. Один удачный день ещё не делает модель лучшей — сравниваем все выбранные дни по одному правилу.
Знак промаха тоже полезен. При факте 170 и прогнозе 160 модель недооценила спрос на 10. При факте 200 и прогнозе 220 — переоценила на 20. Такие разности «факт минус прогноз» называют остатками. На графике это вертикальные отрезки между точками и прямой.
Как посчитать MSE и RMSE
Насколько прямая k = 12, b = 40 хороша? Для каждого дня посчитаем остаток (residual) — факт минус прогноз, e = y - \hat y:
| x | y | \hat y = 12x + 40 | e = y - \hat y | e^2 |
|---|---|---|---|---|
| 10 | 170 | 160 | +10 | 100 |
| 15 | 200 | 220 | −20 | 400 |
| 20 | 280 | 280 | 0 | 0 |
| 25 | 360 | 340 | +20 | 400 |
| 30 | 390 | 400 | −10 | 100 |
Сумма остатков равна нулю — но это не значит, что прямая идеальна: +20 и -20 просто погасили друг друга. В выводе МНК в шаге 5 станет ясно, что этот ноль не случаен.
Чтобы промахи не прятались за знаком, их возводят в квадрат — на рисунке выше это в буквальном смысле площадь. Сумма квадратов здесь 100 + 400 + 0 + 400 + 100 = 1000, а её среднее — среднеквадратичная ошибка (mean squared error, MSE): 1000 / 5 = 200. Корень из неё, \sqrt{200} \approx 14, — это RMSE (root mean squared error), величина ошибки в прокатах, тогда как сама MSE измеряется в прокатах в квадрате.
RMSE около 14 описывает ошибки на выбранных примерах. Это не гарантия, что ошибка прогноза на завтра окажется в пределах ±14.
Тот же расчёт кодом:
Цель: Запустите и сверьте напечатанные числа с таблицей остатков выше
Остаток e = y − ŷ, где ŷ = 12x + 40; MSE — среднее квадратов остатков, RMSE — корень из MSE
В опыте ниже используется другой показатель — MSE: среднее квадратов промахов. Он сильнее штрафует большие ошибки. Считать его вручную сейчас не нужно: меняйте линию и наблюдайте за числом. На тех же точках меньший показатель означает более точную подгонку.
Сначала запишите, какой прогноз даёт ваша линия на +24°. Затем попробуйте уменьшить MSE и сравните свой результат с кнопкой «Подобрать МНК»: она выбирает прямую с наименьшим значением этого показателя. Прогноз может измениться, хотя сами точки остались прежними.
Проверка расчёта ошибки
На одном и том же наборе дней меньшая MSE означает более точную подгонку. Для выбора прогноза на будущее понадобится проверка на новых днях.
Пять дней были учебным примером. Теперь откроем все 731 наблюдение из файла day.csv набора Bike Sharing. Каждая точка — один день; по вертикали — поездки всей сети Capital Bikeshare за сутки. Температура записана в исходной шкале от 0 до 1: больше — теплее. Это не градусы Цельсия.
Перед подбором посмотрите на дни с похожей температурой. Одинаковое ли у них число поездок? Прямая даёт один прогноз, а наблюдения заметно различаются: одной температуры недостаточно, чтобы объяснить весь спрос.
Скачать исходные 731 наблюдение. Ползунок показывает ответ модели для выбранной температуры; нового измерения спроса при этом не возникает.
Что меняет сдвиг прямой
В прошлой лаборатории вы двигали и наклон, и сдвиг сразу. Разделим их: проверьте, что делает с остатками только сдвиг прямой вверх-вниз, отдельно от наклона.
Реальное облако шире: полезный прогноз может ошибаться, а точность нужно измерять.
Кнопка подбора уменьшает ошибку на уже известных точках. Но завтра появится новая точка. Чтобы проверить пользу модели, запишем прогнозы заранее, дождёмся факта и сравним их на днях, по которым линию не настраивали.
Представим две модели проката. На старых днях А ошибалась меньше. Для двух следующих дней прогнозы зафиксировали заранее:
| Новый день | Факт | Прогноз А | Прогноз Б |
|---|---|---|---|
| Суббота | 300 | 290 | 280 |
| Воскресенье | 360 | 310 | 350 |
Расстояния до факта: у А — 10 и 50, у Б — 20 и 10. По сумме этих расстояний на новых днях выигрывает Б: 30 против 60. На меньшей ошибке по старому журналу выбор не заканчивается.
Если после просмотра этой таблицы поправить модель, таблица станет частью настройки. Для следующей независимой проверки нужны другие дни. Это полезная привычка и без формул: сначала прогноз, потом факт, затем честный разбор ошибки.
Есть и границы применения. В учебном журнале температура была от +10° до +30°. При +45° формула всё ещё выдаст число, но наблюдений для проверки такого режима у нас нет. Перед использованием спросите: похожи ли новые условия на те, по которым модель строилась?
Формула метода наименьших квадратов
Подбирать прямую вручную — долго, и нет гарантии, что нашли лучшую. К счастью, у задачи «минимальная сумма квадратов остатков» есть точный ответ — метод наименьших квадратов (least squares, МНК). Нужны средние \bar x и \bar y и отклонения от них:
Почему именно эта пара k, b даёт наименьшую сумму квадратов среди всех прямых — докажем в следующем блоке; пока проверим расчёт на пяти днях. И ещё: делить на \sum(x_i-\bar x)^2 можно, только если температуры не все одинаковы — иначе знаменатель равен нулю, а по одной температуре наклон не определить.
Здесь \bar x — средняя температура, \bar y — средний спрос, x_i, y_i — i-й день, \sum — сумма по всем дням. Числитель показывает, насколько x и y отклоняются от средних вместе; знаменатель — насколько разбросан сам x.
Пересчитаем для пяти дней. \bar x = (10 + 15 + 20 + 25 + 30)/5 = 20, \bar y = 1400/5 = 280.
| x_i - \bar x | y_i - \bar y | произведение | (x_i - \bar x)^2 |
|---|---|---|---|
| −10 | −110 | 1100 | 100 |
| −5 | −80 | 400 | 25 |
| 0 | 0 | 0 | 0 |
| 5 | 80 | 400 | 25 |
| 10 | 110 | 1100 | 100 |
| Сумма | 0 | 3000 | 250 |
k = 3000/250 = 12, b = 280 - 12 \cdot 20 = 40. Прямая из шага 2 и есть прямая наименьших квадратов. Формула даёт MSE = 200; доказательство ниже устанавливает, что меньшей MSE на этих пяти днях у прямой со свободным сдвигом быть не может.
Заметьте: b = \bar y - k\bar x означает, что при x = \bar x прогноз равен \bar y. Прямая МНК всегда проходит через точку средних (\bar x, \bar y) — у нас через (20, 280), и это среда, где остаток 0.
Теперь напишите формулу сами:
Цель: Допишите две строки в mnk, чтобы функция считала наклон и сдвиг МНК на данных с разными значениями признака
В числитель копится произведение двух отклонений от средних, в знаменатель — квадрат отклонения по x; пока там 0 и 1, прямая выходит горизонтальной на уровне ȳ
Вывод формулы МНК без производных: две параболы
Сумма квадратов остатков как функция двух чисел k и b:
Шаг 1: фиксируем k, ищем лучший b. Раскроем квадраты и соберём по степеням b:
Для любых k и b верно S(k, b) \ge S(k, b^*(k)), где b^*(k) — вершина этой параболы по b; значит минимум S по обеим переменным равен минимуму S(k) = S(k, b^*(k)) по одному k — его и ищем дальше.
Шаг 2: подставляем и ищем k. С таким b остаток переписывается через отклонения: y_i - kx_i - b = (y_i - \bar y) - k(x_i - \bar x). Обозначим S_{xx} = \sum (x_i - \bar x)^2, S_{xy} = \sum (x_i - \bar x)(y_i - \bar y), S_{yy} = \sum (y_i - \bar y)^2. Тогда
Если все x_i одинаковы, то S_{xx}=S_{xy}=0: после выбора b=\bar y-k\bar x значение S(k)=S_{yy} постоянно. Минимум достигается при любом k с соответствующим b; данные не определяют единственный наклон.
Бонус: чему равен минимум. Подставив вершину, получаем S_{\min} = S_{yy} - S_{xy}^2 / S_{xx}. Для наших пяти дней: S_{yy} = 110^2 + 80^2 + 0 + 80^2 + 110^2 = 37000, S_{xy} = 3000, S_{xx} = 250: S_{\min} = 37000 - 9\,000\,000/250 = 1000. Ровно то, что мы насчитали в таблице — теперь с гарантией, что меньше нельзя.
Доля объяснённого разброса R^2 = 1 - S_{\min}/S_{yy} = 1 - 1000/37000 \approx 0{,}973: температура «объясняет» 97 % разброса спроса в учебном примере. На реальных данных одной температуры недостаточно: дни с похожей температурой имеют разный спрос. Проверить вклад дождя или выходных можно, добавив эти признаки и сравнив качество на новых днях; по одному облаку точек причину разброса установить нельзя.
Четыре свойства прямой наименьших квадратов
Пусть \bar x, \bar y — средние, S_{xx}=\sum_i(x_i-\bar x)^2>0, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y), S_{yy}=\sum_i(y_i-\bar y)^2>0. Прямая МНК имеет коэффициенты k=S_{xy}/S_{xx}, b=\bar y-k\bar x, прогнозы \hat y_i=kx_i+b и остатки e_i=y_i-\hat y_i. Доля объяснённого разброса: R^2=1-\sum_i e_i^2/S_{yy}. Докажите:
- \sum e_i = 0 — остатки в сумме дают ноль.
- \sum x_i e_i = 0 — остатки «не коррелируют» с признаком.
- S_{yy} = \sum (\hat y_i - \bar y)^2 + \sum e_i^2 — полный разброс распадается на объяснённый и необъяснённый. Отсюда 0 \le R^2 \le 1.
- Если построить регрессию наоборот — x по y, с наклоном k', — то k \cdot k' = R^2.
Затем посчитайте R^2 двумя способами (через п. 3 и через п. 4) для пяти пар «температура; число прокатов»: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390).
Решение
1. \sum e_i = \sum y_i - k\sum x_i - nb = n\bar y - nk\bar x - n(\bar y - k\bar x) = 0.
2. Подставим b = \bar y - k\bar x: e_i = (y_i - \bar y) - k(x_i - \bar x). Тогда \sum x_i e_i = \sum x_i (y_i - \bar y) - k \sum x_i (x_i - \bar x). Заметим, что \sum \bar x (y_i - \bar y) = 0 и \sum \bar x (x_i - \bar x) = 0, поэтому \sum x_i(y_i - \bar y) = S_{xy} и \sum x_i (x_i - \bar x) = S_{xx}. Получаем S_{xy} - k S_{xx} = 0 по определению k.
3. y_i - \bar y = (\hat y_i - \bar y) + e_i. Возведём в квадрат и просуммируем; перекрёстный член 2\sum (\hat y_i - \bar y) e_i = 2\sum (kx_i + b - \bar y)e_i = 2k\sum x_i e_i + 2(b - \bar y)\sum e_i = 0 по пп. 1–2. Значит S_{yy} = \text{SSR} + \text{SSE}, где \text{SSR} = \sum(\hat y_i - \bar y)^2 \ge 0 и \text{SSE} = \sum e_i^2 \ge 0. Поэтому R^2 = 1 - \text{SSE}/S_{yy} = \text{SSR}/S_{yy} \in [0, 1].
4. k = S_{xy}/S_{xx}, по симметрии k' = S_{xy}/S_{yy}, произведение S_{xy}^2/(S_{xx}S_{yy}). С другой стороны, \hat y_i - \bar y = k(x_i - \bar x), поэтому \text{SSR} = k^2 S_{xx} = S_{xy}^2/S_{xx} и R^2 = \text{SSR}/S_{yy} = S_{xy}^2/(S_{xx}S_{yy}). Совпало.
Числа. S_{xx} = 250, S_{xy} = 3000, S_{yy} = 37000. Через п. 3: \text{SSR} = 144 \cdot 250 = 36000, R^2 = 36000/37000 \approx 0{,}973. Через п. 4: k' = 3000/37000 \approx 0{,}0811, k \cdot k' = 12 \cdot 0{,}0811 \approx 0{,}973. Заодно видно, почему две регрессии — y по x и x по y — это разные прямые: они совпадают только при R^2 = 1.
Подбор линии — только начало. Полезность прогноза проверяют по наблюдениям, которые не участвовали в настройке.
правило «умножить температуру на 12 и прибавить 40» даёт 328 прокатов при +24°. Это ответ модели, а не известный факт.
расстояния от прогнозов до наблюдений позволяют сопоставить модели. Сравнивать нужно на одних данных и по одному правилу.
хорошая подгонка старого журнала не гарантирует точности завтра. Нужны новые дни и проверка условий применения.
Домашняя работа
Профи Самостоятельно подобрать прямую
Источники
- D2L: Linear Regression: линейный прогноз, квадратичная ошибка и подбор параметров.
- Bike Sharing Dataset — UCI Machine Learning Repository — данные Capital Bikeshare за 2011–2012: 731 день, погода и число прокатов.
- Simple linear regression — Wikipedia — формулы МНК для одного признака, свойства остатков, R^2.
- Least squares — Wikipedia — история: Лежандр, Гаусс и Церера.
- scikit-learn: Linear Models — та же регрессия в коде.
- Учебник по машинному обучению Яндекса: линейные модели — МНК для многих признаков, регуляризация.
- Anscombe's quartet — Wikipedia — четыре разных облака точек с одинаковой прямой МНК: почему нужно смотреть на картинку.