Przedziały ufności — konstrukcja, pokrycie i interpretacja

Średniozaawansowany
Streszczenie

Pełny wykład przedziałów ufności: konstrukcja przez wielkość osiową (pivot), dowód że pokrycie wynosi dokładnie 1−α, poprawna interpretacja częstościowa (własność procedury, nie pojedynczego przedziału), dualność z testem hipotez, szerokość przedziału a liczebność i poziom ufności — z wykresami w skali szarości (2D i 3D), symulacją pokrycia, przykładami liczbowymi, kodem R i Python oraz bibliografią z DOI.

Oszacowanie punktowe (np. średnia płaca w próbie) jest wynikiem jednej próby — inna próba dałaby nieco inną liczbę. Przedział ufności uzupełnia oszacowanie o miarę tej niepewności. Wyłożymy jego ścisłą konstrukcję przez wielkość osiową, udowodnimy, że jego pokrycie wynosi dokładnie $1-\alpha$, i wyjaśnimy najczęstszy błąd interpretacyjny.

Definicja i konstrukcja

Definicja
Przedział ufności

$(1-\alpha)$-przedziałem ufności dla parametru $\theta$ nazywamy losowy przedział $[\hat\theta_L,\hat\theta_U]$ (o końcach zależnych od próby) taki, że

$$ P\big(\hat\theta_L\le\theta\le\hat\theta_U\big)=1-\alpha. $$

Losowy jest przedział, nie parametr: $\theta$ jest stałą, a prawdopodobieństwo dotyczy tego, że wylosowany przedział ją obejmie.

Pojęcie wprowadził Jerzy Neyman (1937). Standardową metodą konstrukcji jest wielkość osiowa (pivot) — funkcja danych i parametru, której rozkład nie zależy od parametru.

Twierdzenie
Przedział ufności dla średniej

Dla próby z rozkładu normalnego wielkość $\dfrac{\bar X-\mu}{s/\sqrt n}$ ma rozkład $t_{n-1}$ niezależnie od $\mu$. Stąd $(1-\alpha)$-przedział ufności dla $\mu$:

$$ \Big[\bar X-t_{n-1,\,\alpha/2}\tfrac{s}{\sqrt n},\ \ \bar X+t_{n-1,\,\alpha/2}\tfrac{s}{\sqrt n}\Big], $$

o pokryciu dokładnie $1-\alpha$.

Dowód
Konstrukcja przez wielkość osiową i pokrycie 1−α
  1. Wielkość osiowa. Niech $T=\dfrac{\bar X-\mu}{s/\sqrt n}$. Jej rozkład to $t_{n-1}$ — ten sam dla każdej wartości $\mu$, więc $T$ jest wielkością osiową.
  2. Stwierdzenie probabilistyczne. Z definicji kwantyli rozkładu $t$: $P\big(-t_{n-1,\,\alpha/2}
  3. Wstawienie pivota. $P\Big(-t_{n-1,\,\alpha/2}<\dfrac{\bar X-\mu}{s/\sqrt n}
  4. Przekształcenie nierówności względem μ. Mnożąc przez $s/\sqrt n>0$ i odejmując $\bar X$, a następnie zmieniając znaki (co odwraca nierówności): $$ P\Big(\bar X-t_{n-1,\,\alpha/2}\tfrac{s}{\sqrt n}<\mu<\bar X+t_{n-1,\,\alpha/2}\tfrac{s}{\sqrt n}\Big)=1-\alpha. $$
  5. Wniosek. Przedział o losowych końcach $\bar X\pm t_{n-1,\,\alpha/2}\,s/\sqrt n$ obejmuje $\mu$ z prawdopodobieństwem dokładnie $1-\alpha$. To jego **pokrycie**. Konstrukcja przenosi się na dowolny parametr, dla którego istnieje wielkość osiowa — w regresji jest nią $(\hat\beta_j-\beta_j)/\operatorname{SE}(\hat\beta_j)\sim t_{n-k}$.
∎
Rozkład t i centralny obszar 1 minus alfa
Wielkość osiowa: rozkład $t_{n-1}$ statystyki $\frac{\bar X-\mu}{s/\sqrt n}$. Zacieniowany środek o masie $1-\alpha$ leży między kwantylami $\pm t^\ast$; odwrócenie tej nierówności względem $\mu$ daje przedział ufności. Cała konstrukcja opiera się na tym, że rozkład pivota nie zależy od nieznanego parametru.

Interpretacja: własność procedury

Najczęstszy błąd interpretacji.

Zdanie „jestem w 95% pewien, że $\mu$ leży w $[2{,}19;\,2{,}64]$" jest nieścisłe. Po wylosowaniu konkretnej próby przedział jest ustalony, a $\mu$ jest stałą — albo do niego należy, albo nie; żadnego prawdopodobieństwa „$95\%$" tu już nie ma. Poprawnie: przedział policzono procedurą, która w $95\%$ powtórzeń obejmuje prawdziwe $\mu$. Pewność dotyczy metody, nie pojedynczego wyniku. (Prawdopodobieństwo, że ten przedział zawiera $\mu$, jest pojęciem bayesowskim — to przedział wiarygodności, wymagający rozkładu a priori.)

Wiele przedziałów ufności i prawdziwa średnia
Pokrycie w działaniu: dwadzieścia pięć przedziałów ufności z niezależnych prób, każdy z kropką w środku (średnia próby). Przerywana pionowa linia to prawdziwe $\mu=0$. Większość przedziałów ją obejmuje; pogrubione — te, które ją mijają. Przy nominalnym pokryciu $95\%$ takich pudeł spodziewamy się około jednego na dwadzieścia.
Przykład
Przedział dla średniej

Dla siedmiu pomiarów $x=(2{,}1;\,2{,}5;\,2{,}3;\,2{,}8;\,2{,}2;\,2{,}6;\,2{,}4)$: $\bar x=2{,}4143$, $s=0{,}2410$, $\operatorname{SE}=s/\sqrt7=0{,}0911$, a $t_{6;\,0{,}025}=2{,}447$. Przedział $95\%$:

$$ 2{,}4143\pm2{,}447\cdot0{,}0911=2{,}4143\pm0{,}223=[2{,}191;\ 2{,}637]. $$

Gdybyśmy zażądali $99\%$ ufności, wartość krytyczna wzrosłaby do $t_{6;\,0{,}005}=3{,}707$, a przedział rozszerzyłby się do $[2{,}077;\ 2{,}752]$ — większa pewność kosztem precyzji.

Przykład
Przedział dla współczynnika regresji

Dla regresji MNK $n=5$ ($\hat\beta_1=0{,}6$, $\operatorname{SE}=\sqrt{0{,}08}=0{,}2828$, $t_{3;\,0{,}025}=3{,}182$):

$$ 0{,}6\pm3{,}182\cdot0{,}2828=0{,}6\pm0{,}900=[-0{,}300;\ 1{,}500]. $$

Przedział zawiera zero, więc na poziomie $5\%$ nie odrzucamy $H_0:\beta_1=0$ — współczynnik jest statystycznie nieistotny. Jest to ta sama konkluzja, co z testu $t$, zgodnie z dualnością.

Przykład
Symulacja pokrycia
Generujemy $2000$ prób po $n=20$ obserwacji z $\mathcal{N}(0,1)$, dla każdej liczymy $95\%$ przedział ufności średniej i sprawdzamy, czy obejmuje prawdziwe $\mu=0$. Udział przedziałów pokrywających wynosi $0{,}945$ — bliski nominalnemu $0{,}95$, co potwierdza dowód empirycznie. Drobne odchylenie to fluktuacja próbkowa skończonej liczby powtórzeń.

Dualność z testem hipotez

Przedział ufności i test hipotez to dwa ujęcia tego samego wnioskowania: $(1-\alpha)$-przedział ufności dla $\theta$ zawiera dokładnie te wartości $\theta_0$, dla których test $H_0:\theta=\theta_0$ nie jest odrzucany na poziomie $\alpha$.

Dowód
Wartość w przedziale ⟺ hipoteza nieodrzucona
  1. Reguła testu. Test $H_0:\theta=\theta_0$ nie odrzuca, gdy $\big|\tfrac{\hat\theta-\theta_0}{\operatorname{SE}}\big|\le t^\ast$ (dla $t^\ast=t_{n-k,\,\alpha/2}$).
  2. Przekształcenie. Nierówność $\big|\tfrac{\hat\theta-\theta_0}{\operatorname{SE}}\big|\le t^\ast$ jest równoważna $\hat\theta-t^\ast\operatorname{SE}\le\theta_0\le\hat\theta+t^\ast\operatorname{SE}$, czyli $\theta_0\in[\hat\theta\pm t^\ast\operatorname{SE}]$.
  3. Wniosek. Prawa strona to $(1-\alpha)$-przedział ufności. Zatem $\theta_0$ należy do przedziału $\iff$ test nie odrzuca $H_0:\theta=\theta_0$. W szczególności parametr jest istotny, gdy jego przedział **nie zawiera zera**.
∎

Szerokość przedziału

Pół-szerokość przedziału dla średniej wynosi $t^\ast s/\sqrt n$ (lub $z^\ast\sigma/\sqrt n$ w wielkiej próbie). Zależy od trzech czynników: rośnie z rozrzutem $s$, rośnie z poziomem ufności (większe $t^\ast$) i maleje z liczebnością jak $1/\sqrt n$ — by zwęzić przedział o połowę, potrzeba czterokrotnie większej próby.

Kompromis pewność–precyzja.

Stuprocentową pewność daje przedział $(-\infty,\infty)$ — zawsze trafia, lecz jest bezużyteczny. Im węższy (precyzyjniejszy) przedział, tym mniejsza pewność. Standard $95\%$ to praktyczny kompromis; jego pół-szerokość rośnie z poziomem ufności i maleje z pierwiastkiem liczebności.

Powierzchnia pół-szerokości przedziału ufności
Pół-szerokość przedziału ufności $z_{1-\alpha/2}\,\sigma/\sqrt n$ jako powierzchnia nad płaszczyzną liczebności $n$ i poziomu ufności. Wzdłuż osi $n$ szerokość opada jak $1/\sqrt n$; wzdłuż osi ufności rośnie (wyższa pewność wymaga większego kwantyla). Najwęższe przedziały dają duże próby przy umiarkowanej ufności.

Podsumowanie

Definicja
Przedziały ufności w pigułce
  • Postać: oszacowanie $\pm$ wartość krytyczna $\times$ błąd standardowy.
  • Konstrukcja: przez wielkość osiową o rozkładzie niezależnym od parametru.
  • Pokrycie: dokładnie $1-\alpha$ — własność procedury, nie pojedynczego przedziału.
  • Dualność: $\theta_0$ w przedziale $\iff$ test $H_0:\theta=\theta_0$ nieodrzucony; brak zera $\Rightarrow$ istotność.
  • Szerokość: $\propto 1/\sqrt n$, rośnie z poziomem ufności i rozrzutem.

Bibliografia

  • Neyman, J. (1937). Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability. Philosophical Transactions of the Royal Society A, 236(767), 333–380. https://doi.org/10.1098/rsta.1937.0005
  • Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.

Dalej: Testy hipotez · p-wartość · Współczynnik R²

Literatura uzupełniająca
  • J. Neyman, „Outline of a Theory of Statistical Estimation" (1937) — narodziny przedziału ufności
  • Podręcznik: G. Casella, R. L. Berger, Statistical Inference, rozdz. 9
  • Pakiety: R stats (t.test, confint); Python scipy.stats, statsmodels
Oprogramowanie

R:

x <- c(2.1, 2.5, 2.3, 2.8, 2.2, 2.6, 2.4)
t.test(x)$conf.int            # 95% CI sredniej = [2,191; 2,637]
t.test(x, conf.level = 0.99)$conf.int

## CI dla wspolczynnikow regresji
m <- lm(y ~ x, data = d)
confint(m)                    # zawiera 0 -> nieistotny

## Symulacja pokrycia
set.seed(11)
pok <- replicate(2000, { s <- rnorm(20); ci <- t.test(s)$conf.int
                          ci[1] <= 0 & 0 <= ci[2] })
mean(pok)                     # ~ 0,95

Python:

import numpy as np
from scipy import stats
x = np.array([2.1,2.5,2.3,2.8,2.2,2.6,2.4])
m, se = x.mean(), stats.sem(x)
print(stats.t.interval(0.95, len(x)-1, loc=m, scale=se))   # [2.191, 2.637]