Байес в жизни: ошибка прокурора

«Вероятность случайного совпадения — один на миллион, значит подсудимый почти наверняка виновен». За этой фразой прячется одна из самых дорогих ошибок в применении вероятности. Редкость улики при невиновности и вероятность невиновности после улики — разные числа, и путать их значит осудить невиновного. Этот урок — прямое продолжение формулы Байеса, только теперь на кону судьба человека.

Два вопроса, похожие только записью

Пусть $H$ — виновность подозреваемого, $E$ — совпадение следа. Эксперт лаборатории оценивает $P(E\mid\neg H)$: частоту случайного совпадения у непричастного человека. А суду нужно совсем другое — $P(\neg H\mid E)$: вероятность невиновности после совпадения. Условие и заключение поменялись местами, и равенство этих чисел не следует ни из редкости совпадения, ни из логики.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Город из миллиона жителей

Разберём число $1/11$ явно. В городе миллион человек, случайное совпадение — $P(E\mid\neg H)=10^{-5}$. Среди почти миллиона невиновных ожидается около десяти случайных совпадений. Если виновный тоже в городе и анализ его находит, он добавит одиннадцатое. Среди одиннадцати совпавших нельзя автоматически указать нужного: простая модель с равными prior даёт вероятность вины найденного около $1/11$, а не $0{,}99999$.

Это ещё не оценка для суда — реальные подозреваемые выбираются не равновероятно, улики зависимы, а обнаружение следа у виновного меньше единицы. Пример показывает лишь, как огромная база превращает очень редкое совпадение в ожидаемое событие.

Отношение правдоподобий

Честнее сообщать не одну частоту, а отношение правдоподобий:

$$LR=\frac{P(E\mid H)}{P(E\mid\neg H)}.$$

Важно, что числитель — не единица: чувствительность анализа $P(E\mid H)$ обычно меньше $100\%$. Пусть $P(E\mid H)=0{,}98$, а случайное совпадение $P(E\mid\neg H)=10^{-5}$; тогда $LR=0{,}98/10^{-5}=98\,000$. Улика в $98\,000$ раз правдоподобнее при виновности, но начальный уровень шансов она не задаёт:

$$\frac{P(H\mid E)}{P(\neg H\mid E)}=LR\cdot\frac{P(H)}{P(\neg H)}.$$

При prior один к миллиону апостериорные шансы станут около $0{,}098\:1$ (вероятность вины меньше $10\%$); при prior один к ста — около $980\:1$. Одна и та же лабораторная характеристика даёт разный posterior, потому что доказательственная ситуация разная.

::::

Потрогай ошибку прокурора

Двигайте вероятность случайного совпадения, размер базы, априорные шансы вины и чувствительность анализа. Смотрите, как «один на миллион» превращается в почти достоверное событие при большой базе, и как апостериор скачет вместе с prior. Одна редкая частота сама по себе не отвечает на вопрос суда.

Поиск по базе: «один на миллион» становится обычным

Есть принципиальная разница между двумя сценариями. В первом человека подозревали по независимым обстоятельствам, потом сравнили профиль со следом. Во втором след прогнали по миллионам записей и выбрали лучшее совпадение — и тогда процедура почти гарантирует, что чей-то профиль совпадёт. Если вероятность совпадения в одном сравнении $p$, то вероятность хотя бы одного среди $N$ независимых сравнений

$$P(\text{хотя бы одно})=1-(1-p)^N.$$

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Это тот же оптимизм, что при выборе лучшей модели на validation — его разберёт урок об oracle inequality — и при преждевременной остановке A/B-теста из урока об экспериментах. Даже оценка риска по выборке становится оптимистичной, если сначала просмотреть тысячи вариантов и сообщить лучший. Общий вопрос один: сколько возможностей увидеть «интересное» получила процедура?

Ошибка защиты — зеркальная, но не симметричная

Защита тоже может ошибиться: «В городе ожидаются десять совпадений, значит вероятность вины подсудимого всего один из десяти». Это игнорирует остальные улики и механизм, по которому именно этот человек попал в подозреваемые. Вероятностная ошибка не становится верной от смены стороны.

Зависимые улики нельзя перемножать

Каждая улика обновляет общие шансы, и в форме шансов обновление удобно тем, что множители независимых улик просто перемножаются. Но перемножать отношения правдоподобий можно только при условной независимости: $P(E_1,E_2\mid H)=P(E_1\mid H)\,P(E_2\mid H)$. Стоит появиться скрытой общей причине — и это равенство рушится, а наивное перемножение начинает считать одну и ту же информацию дважды.

Русская линия ведёт к С. Н. Бернштейну — одному из создателей аксиоматики вероятности, который настаивал: у вероятности нет смысла без ясно заданной схемы испытаний и популяции. Ошибка прокурора и есть нарушение этого правила — частоту из одной популяции переносят в совсем другую ситуацию, не назвав схему.

Как читать вероятностное доказательство

Полезен короткий протокол. Записать словами гипотезы и наблюдение. Отделить $P(E\mid H)$ от $P(H\mid E)$. Назвать популяцию, в которой оценивалась частота. Учесть число сравнений и способ выбора кандидата. Проверить зависимость разных улик. Только после этого число можно обсуждать содержательно: вероятность не заменяет судебное решение, но ограничивает, какие выводы совместимы с данными, и делает спор проверяемым.

Задачи