Слово «приз» встретилось и в спаме, и в обычных сообщениях. Можно ли по нему судить о классе? Для ответа нужно уточнить, среди каких сообщений мы считаем долю. Этот вопрос приведёт нас к вероятности и статистике.
Бросим обычный шестигранный кубик. Результат — одно из чисел от одного до шести. Событие объединяет результаты, которые нас интересуют. Например, «выпало чётное число» включает два, четыре и шесть. Если все шесть исходов равновероятны, вероятность события равна трём шестым, то есть одной второй.
Вероятность описывает модель случайного опыта. Частота описывает уже наблюдавшиеся результаты: сколько раз событие произошло, делённое на число попыток. Если в десяти бросках чётное выпало семь раз, частота равна 0,7. Это не противоречит вероятности 0,5: короткая серия может заметно отклониться от неё.
У вероятности значения от нуля до единицы. Сумма вероятностей всех взаимоисключающих исходов равна единице. Вероятность дополнения события равна единице минус вероятность события. Если шанс дождя по модели 0,3, шанс отсутствия дождя в той же постановке равен 0,7.
Но складывать вероятности произвольных событий без поправки нельзя. На кубике «чётное» и «больше трёх» пересекаются в четырёх и шести. Простая сумма посчитала бы эти исходы дважды. Сначала перечислите исходы объединения: два, четыре, пять и шесть. Его вероятность равна четырём шестым.
Рассмотрим учебную группу из ста сообщений. Двадцать из них спам. Слово «приз» встретилось в восьми спам-сообщениях и двух обычных. Остальные двенадцать спам-сообщений и семьдесят восемь обычных этого слова не содержат. Числа придуманы для ручного расчёта.
| Есть «приз» | Нет «приз» | Всего | |
|---|---|---|---|
| Спам | 8 | 12 | 20 |
| Обычные | 2 | 78 | 80 |
| Всего | 10 | 90 | 100 |
Вопрос «какова доля спама среди сообщений со словом „приз“?» ограничивает группу десятью сообщениями. Восемь из них спам, поэтому получаем 80 процентов. Это пример условной вероятности, оценённой по частотам. Условие «слово присутствует» выбирает новый знаменатель.
Обратный вопрос даёт другое число: «какова доля сообщений со словом „приз“ среди спама?» Теперь группа состоит из двадцати спам-сообщений; восемь содержат слово. Получается 40 процентов. Совпадает числитель, но знаменатель различается. Поменять местами условие и событие без пересчёта нельзя.
В опыте меняется число обычных сообщений с этим словом. Число спам-сообщений со словом остаётся восемью. Когда обычных становится восемь, доля спама среди сообщений со словом падает до половины. Само слово не даёт гарантии класса: его полезность зависит от того, насколько часто оно встречается в обеих группах.
Формула Байеса: как пересчитать условие в обратную сторону
Условная вероятность по частотам — отношение двух долей: P(A\mid B)=P(A\cap B)/P(B). В таблице из ста сообщений «спам и „приз“» встречается в 8 случаях из 100, «приз» — в 10 из 100, значит P(\text{спам}\mid\text{приз})=0{,}08/0{,}10=0{,}8. Та же дробь, записанная через другое условие, даёт формулу Байеса:
Проверим: 0{,}4\cdot0{,}2/0{,}1=0{,}8. Формула нужна, когда известна «прямая» доля P(\text{приз}\mid\text{спам}), а требуется обратная.
Ответ зависит от доли спама в группе. Пусть в другой группе спама 5 %, а слово по-прежнему встречается в 40 % спама и в 2,5 % обычных сообщений. Знаменатель собираем из двух частей: P(\text{приз})=0{,}4\cdot0{,}05+0{,}025\cdot0{,}95=0{,}02+0{,}02375=0{,}04375. Тогда P(\text{спам}\mid\text{приз})=0{,}02/0{,}04375\approx0{,}46. То же слово, те же прямые доли — а шанс спама упал с 80 % до 46 %.
Типичная ошибка — взять P(\text{приз}\mid\text{спам})=0{,}4 за ответ на вопрос «спам ли сообщение со словом». Ловится она просто: проверьте, что в знаменателе стоит именно группа, заданная условием.
Слово помогает в каждом канале и мешает в сумме
Фильтр работает в двух каналах: SMS и почта. Подсчёт по каналам:
| Канал | Со словом: спам / всего | Без слова: спам / всего |
|---|---|---|
| SMS | 9 / 10 | 70 / 100 |
| Почта | 10 / 100 | 1 / 20 |
В SMS доля спама среди сообщений со словом 0{,}9 против 0{,}7 без слова; в почте 0{,}1 против 0{,}05. В обоих каналах слово повышает шанс спама. Теперь сложите каналы и посчитайте те же две доли для всех 230 сообщений вместе. Без слова получится 71/120\approx0{,}59, а со словом — заметно меньше. Знак эффекта перевернулся: это парадокс Симпсона.
Причина не в арифметике, а в скрытом условии. Слово почти всегда приходит из почты, где спама мало, поэтому «сообщение со словом» в объединённой группе — почти синоним «сообщение из почты». Складывая каналы, мы незаметно сравнили разные группы. Правило «условие выбирает знаменатель» ломается, когда знаменатели составлены из неравных частей.
Перенос: та же ловушка возникает при сравнении двух школ по среднему баллу, если в одной больше старших классов, или двух больниц по смертности, если в одну везут тяжёлых пациентов. Прежде чем складывать, спросите, одинаков ли состав групп.
События независимы, если знание одного не меняет вероятность другого. Для двух отдельных бросков честного кубика знание результата первого не изменяет вероятность чётного во втором. Тогда вероятность совместного события можно получить произведением вероятностей: одна вторая умножить на одну вторую равно одной четверти.
Несовместность устроена иначе: если произошло одно событие, другое в том же опыте невозможно. Два несовместных события с положительными вероятностями не независимы, потому что знание первого уменьшает условную вероятность второго до нуля. Эти слова описывают разные отношения.
Случайная величина присваивает исходу число. Допустим, игра приносит ноль баллов с вероятностью 0,75 и четыре балла с вероятностью 0,25. Её математическое ожидание равно сумме значений, умноженных на вероятности: 0 * 0.75 + 4 * 0.25 = 1. Это среднее по распределению.
Ожидание не обязано быть возможным результатом одной попытки. В этой игре нельзя получить ровно один балл, но при большом числе независимых одинаково устроенных попыток средний выигрыш обычно приближается к единице. Ожидание не обещает выигрыш в конкретной серии и не описывает величину колебаний вокруг среднего.
Для наблюдений 1, 1, 3, 3 среднее равно двум. Отклонения от среднего равны −1, −1, 1, 1. Если их просто сложить, положительные и отрицательные части взаимно уничтожатся. Поэтому для измерения разброса удобно возвести отклонения в квадрат и усреднить.
Так получается описательная дисперсия: среднее квадратов отклонений от среднего. В нашем наборе каждый квадрат равен единице, значит дисперсия равна единице. Стандартное отклонение — квадратный корень из дисперсии; оно возвращает исходные единицы измерения. Если числа были минутами, дисперсия измеряется в квадратных минутах, стандартное отклонение в минутах.
Набор 2, 2, 2, 2 имеет такое же среднее два, но нулевую дисперсию. Набор 0, 0, 4, 4 тоже имеет среднее два, однако дисперсия равна четырём. Одно среднее не различает эти три ситуации. Для содержательного отчёта полезно рассмотреть и середину, и разброс.
Здесь делим сумму квадратов на число наблюдений. При оценке неизвестной дисперсии по случайной выборке часто используют деление на число наблюдений минус один. Это другая задача и другая формула. У библиотечных функций проверьте, какая нормировка выбрана по умолчанию: одинаковое название не гарантирует одинаковый делитель.
Вторая формула дисперсии и когда ей нельзя верить
Раскроем квадрат отклонения: (x-m)^2=x^2-2mx+m^2, где m — среднее. Усредним по всем наблюдениям: среднее x^2 минус 2m\cdot m плюс m^2. Получается
дисперсия равна среднему квадратов минус квадрат среднего. Для 1, 1, 3, 3 среднее квадратов (1+1+9+9)/4=5, квадрат среднего 4, разность 1 — совпало с расчётом через отклонения. Для 0, 0, 4, 4: 8-4=4.
Формула удобна: не нужно сначала находить среднее, а потом второй раз проходить по данным. Но у неё есть ловушка. Если наблюдения — большие числа с маленьким разбросом, например 1000001 и 1000003, оба слагаемых около 10^{12}, а их разность — единица. В арифметике с ограниченной точностью такое вычитание теряет верные цифры, и дисперсия может выйти даже отрицательной. Поймать ошибку просто: дисперсия никогда не меньше нуля, а результаты двух формул на одних данных обязаны совпасть.
Цель: Вычислите дисперсию через среднее квадратов и сравните с расчётом через отклонения.
Сначала усредните квадраты значений, затем вычтите квадрат среднего, а не само среднее.
Что гарантирует дисперсия: оценка худшего случая
Среднее и дисперсия не говорят, как именно устроены данные, но дают гарантию. Пусть у набора среднее m и дисперсия s^2. Какая доля наблюдений может отстоять от среднего на t и больше?
Каждое наблюдение с |x-m|\ge t вносит в среднее квадратов не меньше t^2, остальные — не меньше нуля. Если таких наблюдений доля q, то s^2\ge q\,t^2, откуда
Это неравенство Чебышёва в описательной форме. Оно выполняется для любого набора — распределение знать не нужно.
Пример: страница загружается в среднем за 50 мс при стандартном отклонении 5 мс. Доля загрузок, отклоняющихся на 20 мс и больше, не превосходит 25/400=0{,}0625. Это оценка сверху, а не точное значение: для колоколообразных данных реальная доля много меньше.
В худшем случае оценка точна. Возьмите десять значений: восемь нулей, -2 и 2. Среднее 0, дисперсия 8/10=0{,}8. При t=2 граница даёт 0{,}8/4=0{,}2 — ровно два наблюдения из десяти отстоят на 2. Улучшить неравенство без дополнительных сведений нельзя.
Перенос: детектор аномалий «дальше трёх стандартных отклонений» отмечает не больше 1/9 наблюдений при любом распределении — и именно поэтому его граница бывает слишком грубой.
Представьте опрос о времени в телефоне, проведённый только в чате любителей мобильных игр. Участников может быть много, но способ отбора выделяет определённую группу. Увеличение числа ответов из того же чата само по себе не превращает результат в описание всех школьников.
Случайные колебания и смещение отбора требуют разных решений. Больше независимых наблюдений может уменьшить случайную неопределённость среднего, но не исправляет систематическое исключение части людей. В отчёте укажите, кого и как отбирали, кто мог не ответить и на какую группу переносите вывод.
В лаборатории посчитайте описательную дисперсию. Среднее уже вычислено. Исправьте сумму отклонений так, чтобы каждое отклонение сначала возводилось в квадрат. Затем проверьте постоянный набор: у него должно получиться ноль. Пустой набор потребовал бы отдельной обработки, потому что среднее и деление на количество там не определены.
Цель: Вычислите среднее квадратов отклонений от среднего.
Отклонения от среднего могут погасить друг друга. Перед суммированием возведите каждое в квадрат.
Практическая проверка вывода начинается не с формулы, а с вопроса о группе. К кому относится знаменатель? Какие исходы возможны? Что произошло с отсутствующими ответами? После этого вероятность, ожидание и дисперсия становятся точными инструментами описания, а не числами без ясного смысла.
Вычислить частоту и условную вероятность по числам наблюдений.
Найти ожидание и описательную дисперсию.
Объяснить, почему способ отбора ограничивает вывод.