Доверительный интервал и информация Фишера

Одна оценка скрывает, насколько она могла измениться при новой выборке. Доверительный интервал описывает процедуру: если повторять сбор данных, заранее заданная доля построенных интервалов накроет фиксированный неизвестный параметр. А насколько узким этот интервал вообще может быть, задаёт информация Фишера — та самая кривизна правдоподобия из прошлого урока.

Сто опросов одного города

Пусть истинная доля жителей, поддерживающих проект парка, равна $p=0{,}6$ и фиксирована на момент исследования. Из города сто раз независимо выбирают по $400$ человек, и каждый опрос даёт свою оценку $\widehat p$ и свой интервал

$$\widehat p\pm1{,}96\sqrt{\frac{\widehat p(1-\widehat p)}{n}}.$$

Большинство интервалов накрывает $0{,}6$, некоторые проходят целиком мимо. До сбора данных границы случайны; после публикации конкретного интервала они, как и параметр, уже зафиксированы.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Что означает 95 процентов

Корректная фраза: «Использован метод, который при повторении условий накрывает истинный параметр примерно в $95\%$ случаев». Фраза «вероятность, что параметр лежит в уже полученном интервале, равна $95\%$» не соответствует классической модели: фиксированный параметр либо лежит там, либо нет. Прямой вероятностный смысл интервала параметра появится в байесовском подходе. И уровень $95\%$ не гарантирует, что предпосылки верны, выборка случайна и измерения не смещены.

От нормального приближения к интервалу

По центральной предельной теореме стандартизованная оценка приближённо нормальна: $(\widehat\theta-\theta)/\operatorname{se}(\widehat\theta)\approx N(0,1)$. Поскольку $P(-1{,}96\le Z\le1{,}96)\approx0{,}95$, решение двойного неравенства относительно $\theta$ даёт

$$\widehat\theta-1{,}96\,\operatorname{se}(\widehat\theta)\le\theta\le \widehat\theta+1{,}96\,\operatorname{se}(\widehat\theta).$$

Тонкость в том, что настоящую стандартную ошибку мы не знаем и подставляем её оценку. Законность такой замены обеспечивает теорема Слуцкого: если оценка $\operatorname{se}$ состоятельна, предельное нормальное распределение сохраняется.

Русская линия здесь незаметна, но фундаментальна. Теорема Е. Е. Слуцкого — то, что позволяет в формуле интервала подставить выборочную стандартную ошибку вместо истинной и всё же получить верное предельное покрытие. Без неё переход от «известной $\sigma$» к «оценённой $\widehat\sigma$» был бы незаконным.

Информация Фишера задаёт точность

Откуда берётся стандартная ошибка? Из кривизны правдоподобия. Чем острее вершина лог-правдоподобия, тем точнее оценка. Меру остроты называют информацией Фишера:

$$I(\theta)=-\mathbb E\,\ell''(\theta).$$

Для $n$ независимых наблюдений информация складывается в $nI(\theta)$, а стандартная ошибка оценки максимального правдоподобия примерно равна $1/\sqrt{nI(\theta)}$.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Для доли Бернулли $I(p)=1/[p(1-p)]$, поэтому $\operatorname{se}=\sqrt{p(1-p)/n}$ — знакомая формула оказывается прямым следствием информации Фишера. Обратите внимание, что информация зависит от самого параметра: у долей около $1/2$ каждое наблюдение приносит меньше информации, чем у долей около нуля или единицы, поэтому интервал в середине шкалы при том же $n$ шире всего. А граница Крамера–Рао утверждает, что никакая несмещённая оценка не может иметь стандартную ошибку меньше $1/\sqrt{nI}$: интервал уже этого предела честно не построить, сколько ни хитри с формулой.

Потрогай покрытие

Проведите серию при $p=0{,}5$, затем при $p=0{,}05$ с тем же $n$: у края простой интервал Вальда накрывает истину заметно реже обещанного. Увеличьте число опросов — частота покрытия стабилизируется около уровня, но не совпадает с ним точно. Наконец поднимите уровень до $99\%$: интервалы станут длиннее — за более высокое покрытие платят шириной.

Интервал для доли: простая формула с дефектом

Подстановка $\widehat p$ в стандартную ошибку даёт интервал Вальда $\widehat p\pm z\sqrt{\widehat p(1-\widehat p)/n}$. Он знаком, но у границ ломается: при $\widehat p=0$ ошибка обращается в ноль, и интервал вырождается в точку, хотя десять неудач не доказывают невозможность успеха. А при малом числе успехов формула честно выдаёт границы ниже нуля или выше единицы — недопустимые для вероятности.

Рисунок шире экрана — проведите по немуОткрыть целиком ↗

Ширина — это точность, уровень — осторожность

Ширина интервала среднего примерно равна $2z\,\sigma/\sqrt{n}$: рост $n$ сужает, рост уровня расширяет. Чтобы уменьшить ширину вдвое, обычно нужно вчетверо больше данных, и нет метода, одновременно повышающего покрытие и сужающего интервал без новых данных или предположений.

::::

Bootstrap: повторные выборки из одной выборки

Когда распределение оценки сложно вывести формулой, применяют bootstrap: из исходных $n$ строк многократно выбирают $n$ строк с возвращением, каждый раз считают оценку и изучают её эмпирическое распределение; его квантили дают интервал.

Метод работает, если исходная выборка представляет популяцию, а единица пересборки выбрана верно. Для временного ряда нельзя тасовать отдельные минуты — нужны блоки; для учеников пересобирают школы или классы, если наблюдения внутри них зависимы.

Интервалы прогноза и параметра

Интервал для среднего ответа и интервал для нового отдельного наблюдения — разные объекты. Даже если среднее энергопотребление известно почти точно, завтрашний час остаётся шумным: для нового $Y$ к неопределённости оценки среднего добавляется собственная вариативность результата.