Урок 41. Вероятность как язык неопределённости

Этим уроком открывается модуль вероятности и статистики. В детерминированной задаче ответ скрыт от нас, но уже определён условиями. Вероятность устроена иначе: она описывает результат повторяемой процедуры, который действительно может оказаться разным. Эта тонкая граница между незнанием и случайностью задаёт весь язык статистики — и начинается он не с чисел, а с чёткого описания опыта.

Сначала процедура, потом проценты

Фраза «вероятность дождя равна 40%» выглядит как готовое число, хотя за ней всегда стоит модель опыта. Что именно повторяется — один и тот же день, прогноз для похожих атмосферных условий или работа конкретной метеомодели? Как фиксируется результат — выпала хотя бы одна капля в городе, в аэропорту или на выбранной станции? Без таких уточнений процент нельзя ни проверить, ни разумно использовать.

Математика начинает с множества элементарных исходов $\Omega$ . Для двух различимых кубиков

\Omega=\{(i,j):i,j\in\{1,\ldots,6\}\}.

Событие — это подмножество исходов, например $A=\{(i,j):i+j\geq 10\}$ . Вероятностная мера $P$ приписывает событиям числа так, что $P(\Omega)=1$ , $P(A)\geq0$ , а вероятности несовместных событий складываются. Из этих трёх правил, а не из житейского ощущения удачи, выводятся все остальные формулы.

Решётка 6 на 6, клетки окрашены по сумме двух кубиков от 2 до 12; шесть клеток с суммой не меньше 10 обведены красным — это событие вероятности 6 из 36 — Рис. 41.1. Пространство исходов двух кубиков
По осям — грани первого и второго кубика, цвет клетки кодирует сумму. Красным обведено событие $i+j\geq10$ : шесть клеток из тридцати шести, то есть $P(A)=1/6$ .

Рисунок вскрывает частую ловушку. Хотя каждая пара $(i,j)$ равновероятна ( $1/36$ ), суммы распределены неравномерно: у семёрки шесть прообразов, у двойки один. Поэтому вероятность $A$ — это доля подходящих элементарных исходов, а не доля чисел $\{10,11,12\}$ среди возможных сумм.

Русская линия открывается сразу с вершины. Именно А. Н. Колмогоров в 1933 году дал вероятности строгое аксиоматическое основание, превратив её из набора приёмов в полноценную математику. Всё, что мы делаем ниже, опирается на три его аксиомы: неотрицательность, нормировку и сложение вероятностей несовместных событий.

Случайная величина — это функция

Случайная величина $X$ — это не «число, которое случайно меняется», а функция

X:\Omega\to\mathbb R,

которая сжимает подробный исход до измеряемого признака. Для кубиков можно взять $X(i,j)=i+j$ , или $Y(i,j)=\max(i,j)$ , или индикатор $Z(i,j)=\mathbf 1\{i=j\}$ . Одна процедура порождает много величин, и выбор функции решает, что мы замечаем, а что отбрасываем.

Для непрерывной величины отдельная точка обычно имеет нулевую вероятность; тогда используют плотность $f(x)$ и считают площадь $P(a\leq X\leq b)=\int_a^b f(x)\,dx$ . Различие дискретного и непрерывного случая всплывёт снова у нормального распределения.

УпражнениеВероятность события

Два честных кубика бросают один раз. Чему равна вероятность события «максимум двух граней равен $6$ »? Посчитайте через число подходящих исходов.

Показать ответ

Максимум равен $6$ , если хотя бы один кубик показал $6$ . Таких пар: все с первым $6$ (их $6$ ) плюс все со вторым $6$ (ещё $6$ ), но пара $(6,6)$ посчитана дважды. Итого $6+6-1=11$ исходов, значит $P=11/36\approx0{,}31$ . Здесь снова видно, что значения максимума не равновероятны: у шестёрки $11$ прообразов, у единицы всего один.

Случайная величина на реальных данных

Кубики удобны для понятий, но настоящая статистика живёт на данных. Возьмём открытый набор о прокате велосипедов: для каждого часа записано число поездок. Процедура — «выбрать случайный час из наблюдений», а случайная величина $X$ — число поездок в этот час. У неё есть настоящее распределение.

Гистограмма числа поездок за час из данных велопроката: высокий пик у малых значений и длинный правый хвост; красная линия среднего 189 стоит правее зелёной линии медианы 142 — Рис. 41.2. Случайная величина на реальных данных
Распределение числа поездок за случайный час на реальных данных. Среднее ( $189$ ) заметно правее медианы ( $142$ ): длинный правый хвост из редких загруженных часов тянет среднее вверх, и «среднее» перестаёт быть «типичным».

Этот разрыв между средним и медианой — не курьёз, а важное предупреждение: у скошенного распределения одно число редко описывает объект честно, и рядом со средним нужны медиана, квантили и сама гистограмма.

УпражнениеСреднее или медиана

В маленькой фирме девять сотрудников получают по $50$ тысяч, а десятый (владелец) — $500$ тысяч. Чему равны средняя и медианная зарплата? Какая величина честнее описывает «типичного сотрудника»?

Показать ответ

Медиана — пятое-шестое значение по порядку — равна $50$ тысячам. Среднее равно $(9\cdot50+500)/10=95$ тысяч. Среднее вдвое выше любой зарплаты рядового сотрудника, потому что один большой хвост тянет его вверх. «Типичного сотрудника» честнее описывает медиана; среднее уместно, когда важен суммарный фонд оплаты. Это ровно та же асимметрия, что у поездок на рис. 41.2.

Центр и разброс

Математическое ожидание

\mathbb E X=\sum_x x\,P(X=x)

в дискретном случае — центр масс вероятностей. Это не обязательно возможный результат: среднее число детей в семье может равняться $1{,}43$ . Ожидание отвечает на вопрос о долгой серии — к нему стремится выборочное среднее при независимых повторениях.

Одного центра мало: величины с одинаковым ожиданием могут вести себя совсем по-разному. Разброс измеряет дисперсия

\operatorname{Var}(X)=\mathbb E(X-\mathbb E X)^2=\mathbb E X^2-(\mathbb E X)^2,

а стандартное отклонение $\sigma_X=\sqrt{\operatorname{Var}(X)}$ возвращает исходные единицы.

ИдеяОдно среднее — разный риск

Три распределения с одним и тем же средним 10, но разным разбросом. Центр без формы распределения скрывает разницу рисков: узкое и «с хвостами» ведут себя совершенно по-разному.

Линейность ожидания держится всегда: $\mathbb E(X+Y)=\mathbb E X+\mathbb E Y$ даже для зависимых величин. Для дисперсии равенства нет:

\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y).

Ковариация сообщает, усиливаются ли отклонения двух величин вместе; тот же язык пригодится в линейной регрессии.

УпражнениеСреднее и дисперсия грани

Честный кубик показывает $X\in\{1,\ldots,6\}$ с равными вероятностями. Найдите $\mathbb E X$ и $\operatorname{Var}(X)$ .

Показать ответ

$\mathbb E X=(1+2+\dots+6)/6=21/6=3{,}5$ . Далее $\mathbb E X^2=(1+4+9+16+25+36)/6=91/6$ , поэтому $\operatorname{Var}(X)=91/6-(3{,}5)^2=15{,}1\overline{6}-12{,}25=2{,}91\overline{6}=35/12$ . Стандартное отклонение $\sigma\approx1{,}71$ : типичное отклонение грани от $3{,}5$ .

::::

Потрогай вероятность

Бросайте кубики и смотрите, как распределение выбранной величины набирается из бросков и приближается к теоретическому (красные точки). Внизу видно закон больших чисел: доля события сходится к его вероятности. Переключите величину на «максимум» — форма распределения изменится, потому что изменится число прообразов у каждого значения.

Условие меняет распределение

У той же величины «поездки за час» распределение зависит от условий. Разобьём часы по погоде — и получим разные распределения с разными средними.

ДанныеРаспределение зависит от условий

Условное распределение поездок при разной погоде на реальных данных: в ясный час в среднем 205 поездок, в дождливый — 112. Знание условия сдвигает и центр, и форму распределения.

Отсюда растёт понятие условного ожидания $\mathbb E[X\mid W]$ и закон полной дисперсии, разбивающий разброс на «внутри условий» и «между условиями». Мы вернёмся к этому в задачах.

Неизвестное не всегда случайно

Пусть в закрытом конверте лежит целое число. Для нас оно неизвестно, но после запечатывания не меняется — физической повторяемой случайности в самом числе нет. Напротив, тепловой шум датчика при каждом измерении рождает новый результат: даже идеально известный алгоритм не предскажет конкретную флуктуацию.

В статистике эти два слоя часто соседствуют. Параметр $\theta$ модели считают фиксированным, а выборку $X_1,\ldots,X_n$ — случайной; тогда оценка $\hat\theta(X_1,\ldots,X_n)$ случайна, потому что зависит от выборки. В байесовском подходе неизвестность параметра, наоборот, кодируют распределением — этот другой смысл вероятности разберём в уроке об априорном и апостериорном.

От модели к частотам

Распределение задаёт теоретические вероятности; таблица наблюдений даёт эмпирические частоты $\widehat p_n(x)=\frac1n\sum_i\mathbf1\{X_i=x\}$ . При независимых одинаково распределённых наблюдениях частоты стабилизируются — это закон больших чисел.

Три траектории выборочного среднего числа поездок против числа наблюдений в логарифмической шкале; все сходятся к истинному среднему 189, коридор плюс-минус сигма на корень из n сужается — Рис. 41.3. Закон больших чисел на реальных данных
Три независимые серии выборочного среднего поездок сходятся к истинному среднему ( $189$ ). Коридор $\pm\sigma/\sqrt n$ сужается: чтобы уменьшить случайную ошибку вдесятеро, нужно примерно в сто раз больше наблюдений.

Удвоение объёма не делит ошибку пополам: для многих средних она убывает как $1/\sqrt n$ . Точный масштаб корня выведет центральная предельная теорема.

УпражнениеВо сколько раз больше данных

Случайная ошибка выборочного среднего убывает примерно как $\sigma/\sqrt n$ . Во сколько раз нужно увеличить выборку, чтобы уменьшить эту ошибку в пять раз?

Показать ответ

Ошибка пропорциональна $1/\sqrt n$ , поэтому уменьшить её в $5$ раз — значит увеличить $\sqrt n$ в $5$ раз, то есть $n$ в $5^2=25$ раз. Точность растёт медленно: каждый следующий знак достаётся всё дороже. Это фундаментальное ограничение любых оценок по конечной выборке.

Данные как случайные объекты

Вернёмся к практике. Рассмотрим выборку сделок с жильём: площадь, район, год, цена. Цена случайно выбранной сделки $Y$ — случайная величина относительно процедуры «выбрать одну запись внутри заданных временных и географических границ». Меняется процедура — меняется распределение: выбор только новостроек или исключение сделок без площади создают другую популяцию.

Средняя цена отвечает на вопрос о случайной сделке, но при длинном правом хвосте плохо описывает «типичный дом» — тогда нужны медиана и квантили. А пропуски требуют отдельного вопроса: случайно ли исчезла площадь, или дорогие объекты чаще скрывают характеристики? До расчёта полезно письменно задать $\Omega$ , правило выборки, величину $X$ и оцениваемое событие. Этот паспорт связывает статистику с эмпирическим риском: среднее по таблице осмысленно лишь как приближение среднего по будущей популяции.

Что должно остаться после урока

Вероятностная модель начинается с повторяемой процедуры и пространства исходов, строго подпёртых аксиомами Колмогорова. Случайная величина отображает исходы в числа, распределение описывает её возможные значения, а ожидание и дисперсия сжимают распределение до двух характеристик, теряя часть формы. Наблюдаемая частота не совпадает с вероятностью, но приближает её по закону больших чисел — тем медленнее, чем точнее мы хотим. И перед любой формулой нужно уметь назвать опыт, объект случайности и границу популяции. Дальше мы наполним этот язык конкретными распределениями и предельными теоремами.

Задачи

5баллов

В городе $60\%$ дней сухие: расход самокатов в такой день имеет среднее $1200$ поездок и стандартное отклонение $150$ . В дождливый день среднее $500$ , стандартное отклонение $80$ . Погода выбирается случайно для одного дня. Найдите общее математическое ожидание числа поездок, а затем по формуле $\operatorname{Var}(X)=\mathbb E[\operatorname{Var}(X\mid W)]+\operatorname{Var}(\mathbb E[X\mid W])$ вычислите общую дисперсию и объясните смысл обоих слагаемых.

6баллов

Пусть $X_1,\ldots,X_n$ независимы, одинаково распределены, $\mathbb E X_i=\mu$ , $\operatorname{Var}(X_i)=\sigma^2$ . Для выборочного среднего $\bar X_n$ докажите $\mathbb E\bar X_n=\mu$ и $\operatorname{Var}(\bar X_n)=\sigma^2/n$ , используя линейность ожидания и свойства дисперсии независимых слагаемых. Выведите отсюда, что стандартная ошибка равна $\sigma/\sqrt n$ , и объясните, откуда берётся правило «в сто раз больше данных ради десятикратной точности».

6баллов

Таблица из $12\,000$ сделок содержит price, area, district, rooms, building_year, deal_month. В $900$ строках площадь отсутствует; медианная цена этих сделок $18$ млн против $9$ млн у остальных. Оцените две величины: $\mu_{\text{deal}}=N^{-1}\sum_i price_i/area_i$ (средняя удельная цена случайной сделки) и $\mu_{\text{area}}=\sum_i price_i/\sum_i area_i$ (цена метра случайно выбранной проданной площади). Опишите пространство исходов и единицу случайного выбора для каждой, объясните смещение при удалении $900$ строк и предложите две стратегии восстановления (стратификация по интервалам площади и множественное заполнение), назвав для каждой проверяемое предположение и диагностическую таблицу по району, комнатам, году и месяцу.

Сначала процедура, потом проценты

Случайная величина — это функция

Случайная величина на реальных данных

Центр и разброс

Потрогай вероятность

Исходы, случайная величина и закон больших чисел

Условие меняет распределение

От модели к частотам

Данные как случайные объекты

Что должно остаться после урока

Задачи