Rozkład normalny

Rozkład normalny — zwany też gaussowskim lub krzywą dzwonową — jest najważniejszym rozkładem statystyki i ekonometrii. Wzrost ludzi, błędy pomiaru, zwroty z aktywów: bardzo wiele zjawisk układa się w ten sam symetryczny kształt o najgęstszym środku i cienkich skrajach. Niniejszy rozdział buduje go od podstaw: od genezy i pochodzenia kształtu dzwonowego, przez wzór gęstości i standaryzację, aż po rozkład wielowymiarowy w przestrzeni $\mathbb{R}^n$. Każde pojęcie i każdy przykład otrzymuje osobny rysunek.

Geneza rozkładu normalnego

Krzywa dzwonowa pojawiła się po raz pierwszy w 1733 roku u Abrahama de Moivre’a jako przybliżenie rozkładu dwumianowego dla dużej liczby prób — narzędzie do szybkiego liczenia prawdopodobieństw w grach losowych. Pierre-Simon Laplace rozwinął tę ideę w teorię błędów, a w 1809 roku Carl Friedrich Gauss wyprowadził rozkład normalny jako prawo błędów pomiarowych, łącząc go z metodą najmniejszych kwadratów — stąd nazwa „gaussowski”. W połowie XIX wieku Adolphe Quetelet pokazał, że również cechy ludzkie (wzrost, obwód klatki piersiowej) układają się w tę krzywą, co uczyniło ją symbolem „prawa natury”. Rozpoczynamy od pokazania, skąd bierze się sam kształt.

Pochodzenie kształtu dzwonowego

Źródła kształtu dzwonowego można prześledzić na obserwacji Moivre’a: rozkład liczby sukcesów w wielu rzutach monetą — rozkład dwumianowy — w miarę wzrostu liczby prób coraz lepiej przybliża gładki dzwon.

To zjawisko ma głęboką przyczynę — centralne twierdzenie graniczne, zgodnie z którym suma wielu drobnych, niezależnych wpływów dąży do rozkładu normalnego. Dlatego dzwon pojawia się wszędzie tam, gdzie wynik jest sumą wielu czynników.

Wzór gęstości i rola parametrów

Wzór odsłania budowę krzywej: jądro $e^{-(x-\mu)^2/(2\sigma^2)}$ jest symetryczne względem $\mu$ i maleje tym szybciej, im dalej od środka, a kwadrat w wykładniku odpowiada za gwałtowny zanik na skrajach. Parametr $\mu$ przesuwa dzwon wzdłuż osi, a $\sigma$ go rozciąga lub ściska.

Standaryzacja i wynik $z$

Rozkładów normalnych jest nieskończenie wiele — po jednym dla każdej pary $(\mu,\sigma)$. Wszystkie można jednak sprowadzić do jednego wzorcowego, standardowego rozkładu normalnego $\mathcal{N}(0,1)$, za pomocą standaryzacji:

Wynik $z$ mówi, o ile odchyleń standardowych dana wartość leży powyżej (lub poniżej) średniej.

Reguła 68-95-99,7 w praktyce

Interpretacja reguły.

Załóżmy, że wzrost dorosłych ma rozkład $\mathcal{N}(\mu=175,\sigma=7)$ cm. Wówczas $68\%$ osób mierzy $168$–$182$ cm, $95\%$ — $161$–$189$ cm, a jedynie $0{,}3\%$ znajduje się poza zakresem $154$–$196$ cm. Reguła $68$–$95$–$99{,}7$ pozwala natychmiast ocenić, które wartości są typowe, a które rzadkie.

Ogony i wartości krytyczne

Pole pod ogonem krzywej $\mathcal{N}(0,1)$ to prawdopodobieństwo wyniku „tak skrajnego lub bardziej”. Symetryczne odcięcie po $2{,}5\%$ z każdej strony pozostawia środkowe $95\%$ między $-1{,}96$ a $1{,}96$ — stąd wszechobecna w statystyce wartość krytyczna $1{,}96$.

Przykład numeryczny

Wynik egzaminu ma rozkład $\mathcal{N}(\mu=60,\sigma=10)$. Dla osoby z wynikiem $75$

czyli $1{,}5$ odchylenia powyżej średniej. Pole na lewo od $z=1{,}5$ wynosi około $0{,}933$, więc osoba ta uzyskała wynik lepszy niż około $93\%$ zdających.

Rozkład dwuwymiarowy i wielowymiarowy

Gdy badamy dwie zmienne naraz (np. dochód i wydatki), pojedynczy dzwon staje się powierzchnią nad płaszczyzną — łączną gęstością $f(x,y)$. Jej szczyt leży nad średnią $(\mu_x,\mu_y)$, a kształt zależy od wariancji obu zmiennych i ich korelacji $\rho$: dla $\rho\ne 0$ dzwon rozciąga się wzdłuż przekątnej.

Powierzchnię tę można przedstawić na płaszczyźnie za pomocą poziomic — krzywych stałej gęstości. Dla rozkładu dwuwymiarowego są to elipsy współśrodkowe, których orientacja oddaje korelację, a rozmiar — odległość od środka mierzoną w odchyleniach standardowych (tak zwaną odległością Mahalanobisa).

Rozkład normalny w $\mathbb{R}^n$ i czwarty wymiar.

Dla $n$ zmiennych rozkład normalny opisują wektor średnich $\boldsymbol\mu$ i macierz kowariancji $\boldsymbol\Sigma$ (zob. wariancja). Jego gęstość zależy od wyrażenia $(\mathbf{x}-\boldsymbol\mu)^\top\boldsymbol\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu)$ — kwadratu odległości Mahalanobisa — którego warstwy stałej wartości to hiperelipsoidy. W $\mathbb{R}^2$ są to elipsy, w $\mathbb{R}^3$ — elipsoidy, a w $\mathbb{R}^4$ i wyżej bryły, których nie da się narysować, lecz które bada się „warstwa po warstwie”, ustalając część współrzędnych. Wielowymiarowy rozkład normalny jest fundamentem teorii estymatorów MNK, które mają (przybliżenie) właśnie taki rozkład.

Zastosowanie — studium przypadku: kontrola jakości (Six Sigma)

Rozkład normalny jest fundamentem statystycznej kontroli jakości. Maszyna produkuje element o wymiarze docelowym $\mu$ z naturalnym rozrzutem $\sigma$. Klient akceptuje wymiary w granicach specyfikacji $[\mu-3\sigma,\mu+3\sigma]$ (dolna i górna granica, LSL i USL). Z reguły $68$–$95$–$99{,}7$ wynika, że w tych granicach mieści się $99{,}7\%$ produkcji — poza nimi pozostaje $0{,}3\%$, czyli $3000$ braków na milion (ppm).

Metodologia Six Sigma zaostrza to wymaganie: granice ustawia się na $\pm 6\sigma$ od średniej, co (z uwzględnieniem typowego przesunięcia procesu o $1{,}5\sigma$) odpowiada zaledwie $3{,}4$ wadom na milion. Cała metodologia jest więc bezpośrednim zastosowaniem ogonów rozkładu normalnego.

Studium to pokazuje, dlaczego rozkład normalny jest tak użyteczny w praktyce: znając jedynie $\mu$ i $\sigma$, potrafimy przewidzieć odsetek wyrobów wadliwych i zaprojektować proces tak, by go zminimalizować — bez badania każdej sztuki z osobna.

Literatura

Podręczniki polskie

• J. Koronacki, J. Mielniczuk, Statystyka, WNT.
• M. Sobczyk, Statystyka, PWN, Warszawa.

Klasyki światowe

• C. F. Gauss, Theoria motus corporum coelestium, 1809.
• D. Montgomery, Introduction to Statistical Quality Control, Wiley.

Artykuły i źródła historyczne

• S. Stigler, The History of Statistics: The Measurement of Uncertainty before 1900, Harvard University Press, 1986.

Podsumowanie

Następnie: Centralne twierdzenie graniczne