Centralne twierdzenie graniczne

Centralne twierdzenie graniczne (CTG) wyjaśnia, dlaczego rozkład normalny pojawia się niemal wszędzie — i dlaczego w ogóle działają testy hipotez oraz przedziały ufności. Jego treść jest zaskakująca: średnia z próby ma rozkład w przybliżeniu normalny niezależnie od kształtu rozkładu, z którego losujemy. Niniejszy rozdział buduje to twierdzenie od podstaw: od genezy i prawa wielkich liczb, przez ścisłą treść i jej ilustrację, aż po wielowymiarowe uogólnienie i znaczenie dla ekonometrii. Każde pojęcie i każdy przykład otrzymuje osobny rysunek.

Geneza

Pierwszą wersję twierdzenia udowodnili Abraham de Moivre (1733) i Pierre-Simon Laplace: rozkład liczby sukcesów w wielu próbach Bernoulliego — dwumianowy — dąży do rozkładu normalnego. W XIX i XX wieku Pafnutij Czebyszew, Aleksandr Lapunow oraz Jarl Lindeberg i Paul Lévy uogólnili je na sumy dowolnych niezależnych zmiennych o skończonej wariancji, nadając twierdzeniu współczesną postać. Namacalną ilustracją jest deska Galtona (quincunx): kulki spadające przez siatkę kołków, w każdym rzędzie odbijając się losowo w lewo lub w prawo, zbierają się na dole w kształt dzwonu — bo końcowe położenie każdej kulki jest sumą wielu niezależnych odchyleń.

Prawo wielkich liczb

Zanim sformułujemy CTG, warto oddzielić je od pokrewnego, lecz słabszego twierdzenia. Prawo wielkich liczb mówi, że średnia z próby zbiega do prawdziwej średniej populacji, gdy liczebność rośnie:

Jest to gwarancja, że uśrednianie „działa” — coraz większa próba daje coraz dokładniejszą ocenę średniej.

Prawo wielkich liczb mówi jednak tylko, dokąd zbiega średnia. Centralne twierdzenie graniczne idzie dalej — opisuje kształt jej wahań wokół tej granicy.

Treść twierdzenia

Ilustracja: dzwon z dowolnego rozkładu

Zilustrujmy twierdzenie na rozkładzie skrajnie niesymetrycznym — wykładniczym. Populacja jest silnie prawoskośna, lecz rozkład średnich z próbek staje się coraz bardziej dzwonowy i coraz węższy wraz ze wzrostem $n$.

Przy zwiększaniu $n$ dzieją się jednocześnie dwie rzeczy: kształt staje się normalny (nawet jeśli populacja nie była), a szerokość maleje (średnie skupiają się coraz ciaśniej wokół prawdziwej $\mu$).

Uniwersalność

Najbardziej godną uwagi cechą CTG jest jego uniwersalność: charakter rozkładu wyjściowego nie ma znaczenia. Niezależnie od tego, czy populacja jest jednostajna, dwumodalna czy skośna, rozkład średniej z dostatecznie dużej próby dąży do tej samej krzywej dzwonowej.

Błąd standardowy i reguła $\sqrt{n}$

Odchylenie standardowe rozkładu średniej ma własną nazwę — błąd standardowy:

Maleje on jak odwrotność pierwiastka z liczebności, co ma istotne konsekwencje praktyczne.

Co mówi reguła $\sqrt{n}$.

Aby dwukrotnie zmniejszyć błąd oszacowania średniej, nie wystarczy podwoić liczbę danych — trzeba ich czterokrotnie więcej. Precyzja rośnie jak pierwiastek z liczebności, a nie liniowo. Dlatego ostatnie uściślenia w badaniach kosztują nieproporcjonalnie dużo.

Wielowymiarowe twierdzenie graniczne

CTG uogólnia się na wektory losowe: średnia z próby wektorów (o wspólnej średniej i macierzy kowariancji) dąży do wielowymiarowego rozkładu normalnego. Suma wielu niezależnych wektorów, odpowiednio przeskalowana, układa się w wielowymiarowy dzwon.

CTG w $\mathbb{R}^n$ a estymacja.

Estymatory MNK są ważonymi sumami obserwacji, więc na mocy wielowymiarowego CTG mają w dużych próbach rozkład w przybliżeniu wielowymiarowy normalny — z wektorem średnich równym prawdziwym parametrom i macierzą kowariancji wyznaczającą ich precyzję. To dlatego można testować istotność współczynników i budować przedziały ufności nawet wtedy, gdy składnik losowy nie jest dokładnie normalny: CTG „dostarcza” normalność asymptotycznie. Geometria działa w dowolnym wymiarze $\mathbb{R}^n$, choć powyżej trzech wymiarów dzwonu nie da się narysować.

Znaczenie dla ekonometrii

• Przedziały ufności dla średniej działają, bo $\bar{X}$ jest w przybliżeniu normalna — stąd wzór $\bar{x}\pm 1{,}96\cdot\mathrm{SE}$.
• Testy $t$ i $z$ zakładają normalność statystyki testowej, którą CTG zapewnia przy dostatecznie dużej próbie.
• Estymatory MNK są sumami, więc mają asymptotycznie rozkład normalny — to fundament testowania istotności.

Wymagana liczebność próby.

Reguła praktyczna: $n\ge 30$ zwykle wystarcza. Jednak przy populacji bardzo skośnej lub o grubych ogonach potrzeba więcej obserwacji — im dalej rozkład wyjściowy od normalnego, tym większe $n$, by średnia zdążyła się „unormalnić”.

Weryfikacja symulacyjna

Najprostszy dowód empiryczny to symulacja: losujemy wielokrotnie próbki ze skrajnie skośnego rozkładu wykładniczego, liczymy ich średnie i oglądamy histogram.

# R — losujemy z mocno skośnego rozkładu wykładniczego i uśredniamy
set.seed(1)
srednie <- replicate(10000, mean(rexp(30, rate = 1)))
hist(srednie, breaks = 40)   # mimo skośnej populacji — krzywa dzwonowa

# Python
import numpy as np
srednie = [np.mean(np.random.exponential(1, 30)) for _ in range(10000)]
# histogram(srednie) -> krzywa dzwonowa

Zmiana liczebności z $30$ na $2$ lub $100$ pozwala obserwować, jak kształt z rosnącym $n$ zbliża się do idealnego dzwonu.

Zastosowanie — studium przypadku: sondaż wyborczy i margines błędu

Centralne twierdzenie graniczne tłumaczy, dlaczego sondaż na próbie $1000$ osób potrafi oszacować poparcie całego społeczeństwa. Niech rzeczywiste poparcie partii wynosi $p$. Odsetek $\hat{p}$ w losowej próbie $n$ osób jest średnią zer i jedynek, więc na mocy CTG ma w przybliżeniu rozkład normalny o błędzie standardowym $\sqrt{p(1-p)/n}$. Margines błędu na poziomie ufności $95\%$ to

Dla $n=1000$ i ostrożnego założenia $p=0{,}5$ (maksymalizującego wariancję):

Stąd słynne „$\pm 3$ punkty procentowe” w komunikatach sondażowych. Aby zmniejszyć margines o połowę (do $\pm 1{,}5$ pkt), zgodnie z regułą $\sqrt{n}$ trzeba czterokrotnie większej próby — $4000$ osób.

Studium to ukazuje, że CTG stanowi fundament całej praktyki sondażowej i ankietowej: bez niego nie byłoby możliwe ani podanie marginesu błędu, ani uzasadnienie, dlaczego próba rzędu tysiąca osób wystarcza do oceny opinii milionów.

Literatura

Podręczniki polskie

• J. Koronacki, J. Mielniczuk, Statystyka, WNT.
• C. Domański, Testy statystyczne, PWE.

Klasyki światowe

• W. Feller, An Introduction to Probability Theory and Its Applications, Wiley.
• J. Wooldridge, Introductory Econometrics: A Modern Approach, Cengage.

Artykuły i źródła historyczne

• P.-S. Laplace, Théorie analytique des probabilités, 1812.
• L. Le Cam, The Central Limit Theorem around 1935, Statistical Science 1 (1986), 78–91. DOI: 10.1214/ss/1177013818.

Podsumowanie

Następnie: Testy hipotez · Rozkład normalny