Rozkłady prawdopodobieństwa

Streszczenie

Rozkłady prawdopodobieństwa wyłożone od podstaw: geneza rachunku prawdopodobieństwa, zmienne losowe dyskretne i ciągłe, funkcja gęstości i dystrybuanta, rozkład normalny, rozkład t-Studenta i jego grube ogony, rozkład chi-kwadrat jako suma kwadratów zmiennych normalnych, rozkład F-Snedecora, związki między rozkładami, zastosowania w testowaniu hipotez oraz uogólnienie na ℝⁿ. Każde pojęcie i każdy przykład z osobnym rysunkiem.

Rozkład prawdopodobieństwa opisuje, które wartości zmiennej losowej są możliwe i jak są prawdopodobne. Cztery rozkłady — normalny, $t$-Studenta, chi-kwadrat i $F$ — tworzą wspólny system, na którym opiera się całe wnioskowanie statystyczne: testy hipotez i przedziały ufności. Niniejszy rozdział buduje je od podstaw: od genezy rachunku prawdopodobieństwa, przez funkcję gęstości i dystrybuantę, aż po wzajemne związki rozkładów i ich uogólnienie na przestrzeń $\mathbb{R}^n$. Każde pojęcie i każdy przykład otrzymuje osobny rysunek.

Geneza rachunku prawdopodobieństwa

Rachunek prawdopodobieństwa narodził się z gier hazardowych. W 1654 roku Blaise Pascal i Pierre de Fermat, rozwiązując zagadkę sprawiedliwego podziału stawki w przerwanej grze, położyli jego podwaliny. Przez kolejne stulecia rozwijali go Jacob Bernoulli, de Moivre, Laplace i Gauss, aż w 1933 roku Andriej Kołmogorow nadał teorii ścisłą formę aksjomatyczną. Rozkłady używane w ekonometrii pochodzą z początku XX wieku, gdy zajęto się wnioskowaniem z prób: William Gosset (pod pseudonimem „Student”) wprowadził rozkład $t$ w 1908 roku, Karl Pearson rozwinął test chi-kwadrat, a Ronald Fisher — rozkład $F$ i analizę wariancji. Wszystkie trzy wyrastają z rozkładu normalnego, od którego, po wprowadzeniu pojęć podstawowych, rozpoczniemy ich przegląd.

Zmienne losowe i rozkłady

Definicja

Zmienna losowa

Zmienna losowa to funkcja przypisująca liczbę wynikowi doświadczenia losowego. Wyróżniamy zmienne dyskretne — przyjmujące skończenie lub przeliczalnie wiele wartości (np. liczba sukcesów) — oraz ciągłe, przyjmujące wartości z przedziału (np. wzrost, dochód, czas).

Dla zmiennej dyskretnej rozkład zadaje funkcja masy prawdopodobieństwa (PMF), przypisująca każdej wartości jej prawdopodobieństwo. Dla zmiennej ciągłej pojedyncza wartość ma prawdopodobieństwo zero, więc rozkład zadaje funkcja gęstości (PDF), a prawdopodobieństwa odczytujemy jako pola.

Rozkład dyskretny (słupki) i ciągły (gęstość) — Zmienna dyskretna (po lewej) ma funkcję masy: każdej wartości odpowiada słupek prawdopodobieństwa. Zmienna ciągła (po prawej) ma funkcję gęstości: prawdopodobieństwo to pole pod krzywą, a pojedyncza wartość ma prawdopodobieństwo zero.

Funkcja gęstości i dystrybuanta

Definicja

Gęstość (PDF) i dystrybuanta (CDF)

Funkcja gęstości $f(x)$ spełnia $f(x)\ge 0$ oraz $\int_{-\infty}^{\infty}f(x)\,dx=1$, a prawdopodobieństwa liczymy jako całki:

$$ P(a\le X\le b)=\int_a^b f(x)\,dx. $$

Dystrybuanta $F(x)=P(X\le x)=\int_{-\infty}^{x}f(t)\,dt$ to skumulowane prawdopodobieństwo — pole pod gęstością na lewo od $x$. Z podstawowego twierdzenia rachunku całkowego wynika, że $F'(x)=f(x)$.

Gęstość i dystrybuanta — pole jako skumulowane prawdopodobieństwo — Związek gęstości i dystrybuanty: zacieniowane pole pod gęstością $f$ na lewo od punktu (po lewej) równa się wartości dystrybuanty $F$ w tym punkcie (po prawej). Dystrybuanta gromadzi prawdopodobieństwo, rosnąc od $0$ do $1$.

Rozkład normalny $N(\mu,\sigma^2)$

Najważniejszym rozkładem statystyki jest rozkład normalny o gęstości

$$ f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\!\Big(-\frac{(x-\mu)^2}{2\sigma^2}\Big), $$

gdzie $\mu$ to średnia (położenie szczytu), a $\sigma$ — odchylenie standardowe (szerokość). Każdą zmienną normalną sprowadzamy do standardowej $N(0,1)$ przez standaryzację $Z=\tfrac{X-\mu}{\sigma}$. Pełną teorię tego rozkładu rozwijamy w osobnym rozdziale; tutaj wskazujemy jego rolę we wnioskowaniu.

Rozkład normalny z obszarem 95 procent i wartością krytyczną 1,96 — Standardowy rozkład $N(0,1)$ z zaznaczonym obszarem środkowych $95\%$ między $-1{,}96$ a $1{,}96$. W ogonach pozostaje po $2{,}5\%$ — stąd słynna wartość krytyczna $1{,}96$ w testach przy poziomie istotności $5\%$.

Wartości graniczne wynikają z zasady $68$–$95$–$99{,}7$: w przedziale $\mu\pm\sigma$ leży $68{,}3\%$ masy, w $\mu\pm 2\sigma$ — $95{,}4\%$, a w $\mu\pm 3\sigma$ — $99{,}7\%$. W testowaniu hipotez najczęściej używa się dokładnej wartości $\mu\pm 1{,}96\sigma$, obejmującej równo $95\%$.

Rozkład $t$-Studenta

Gdy wariancji $\sigma^2$ nie znamy i estymujemy ją z danych, standaryzowana średnia ma rozkład nie normalny, lecz $t$-Studenta:

$$ t=\frac{\bar{X}-\mu_0}{s/\sqrt{n}}\sim t_{n-1}, $$

gdzie $s$ to odchylenie standardowe z próby, a $n-1$ — liczba stopni swobody. Rozkład $t$ przypomina normalny, lecz ma grubsze ogony: dodatkowa niepewność wynikająca z szacowania $\sigma$ czyni wartości skrajne bardziej prawdopodobnymi. Im więcej stopni swobody, tym bliżej rozkładu normalnego — dla $df\gt 30$ różnica jest praktycznie niezauważalna.

Rozkład t-Studenta z grubszymi ogonami w porównaniu z normalnym — Rozkład $t$ kontra $N(0,1)$. Krzywa $t_1$ (Cauchy) ma najgrubsze ogony i najniższy szczyt; $t_5$ leży pośrodku; przy rosnącej liczbie stopni swobody $t$ zbiega do rozkładu normalnego. Grube ogony wynikają z szacowania wariancji z próby.

W ekonometrii rozkład $t$ służy do testowania istotności pojedynczego współczynnika regresji: statystyka $t=\hat\beta_j/\mathrm{SE}(\hat\beta_j)$ ma rozkład $t_{n-k-1}$, a hipotezę $H_0:\beta_j=0$ odrzucamy, gdy $|t|$ przekracza wartość krytyczną.

Rozkład chi-kwadrat $\chi^2_k$

Definicja

Rozkład chi-kwadrat

Rozkładem chi-kwadrat o $k$ stopniach swobody nazywamy rozkład sumy kwadratów $k$ niezależnych standardowych zmiennych normalnych:

$$ \chi^2_k=Z_1^2+Z_2^2+\dots+Z_k^2,\qquad Z_i\sim N(0,1). $$

Przyjmuje wyłącznie wartości nieujemne, jest prawoskośny, a jego wartość oczekiwana wynosi $k$ i wariancja $2k$.

Rozkład chi-kwadrat dla różnych stopni swobody — Rozkład $\chi^2_k$ dla kilku stopni swobody. Przyjmuje tylko wartości nieujemne i jest prawoskośny; wraz ze wzrostem $k$ szczyt przesuwa się w prawo (wartość oczekiwana to $k$) i rozkład staje się coraz bardziej symetryczny.

Pochodzenie tego rozkładu od sumy kwadratów zmiennych normalnych widać geometrycznie. Para niezależnych $Z_1,Z_2\sim N(0,1)$ ma łączną gęstość proporcjonalną do $e^{-(z_1^2+z_2^2)/2}$ — dwuwymiarowy dzwon. Kwadrat odległości punktu od środka, $R^2=Z_1^2+Z_2^2$, jest właśnie zmienną $\chi^2_2$.

Dwuwymiarowy dzwon Gaussa jako źródło rozkładu chi-kwadrat — Łączna gęstość dwóch niezależnych zmiennych $Z_1,Z_2\sim N(0,1)$ to dwuwymiarowy dzwon $e^{-(z_1^2+z_2^2)/2}$. Kwadrat odległości od środka, $Z_1^2+Z_2^2$, ma rozkład $\chi^2_2$ — tak chi-kwadrat rodzi się z rozkładu normalnego.

Rozkład chi-kwadrat służy do testowania wariancji ($\tfrac{(n-1)s^2}{\sigma_0^2}\sim\chi^2_{n-1}$) oraz niezależności zmiennych kategorycznych (test $\chi^2=\sum\tfrac{(O-E)^2}{E}$ na tablicach kontyngencji).

Rozkład $F$-Snedecora

Definicja

Rozkład F

Rozkładem $F$ o stopniach swobody $k_1,k_2$ nazywamy rozkład ilorazu dwóch niezależnych zmiennych chi-kwadrat, każdej podzielonej przez własne stopnie swobody:

$$ F=\frac{\chi^2_{k_1}/k_1}{\chi^2_{k_2}/k_2}\sim F_{k_1,k_2}. $$

Przyjmuje wartości nieujemne i jest prawoskośny.

Rozkład F-Snedecora dla różnych stopni swobody — Rozkład $F_{k_1,k_2}$ dla dwóch zestawów stopni swobody. Jest nieujemny i prawoskośny; powstaje jako iloraz dwóch znormalizowanych zmiennych chi-kwadrat, więc porównuje dwie wariancje.

Rozkład $F$ służy do testowania łącznej istotności wielu współczynników regresji naraz ($H_0:\beta_1=\dots=\beta_k=0$) oraz ograniczeń liniowych (test Walda). Porównuje on poprawę dopasowania na jedną zmienną z niewyjaśnioną wariancją na obserwację.

Związki między rozkładami

Cztery rozkłady tworzą jeden spójny system, w całości wyrastający z rozkładu normalnego.

Diagram związków między rozkładami normalnym, chi-kwadrat, t i F — Mapa zależności: suma kwadratów zmiennych $N(0,1)$ daje $\chi^2$; iloraz $N(0,1)$ przez pierwiastek znormalizowanej $\chi^2$ daje $t$; iloraz dwóch znormalizowanych $\chi^2$ daje $F$; a kwadrat zmiennej $t$ to $F_{1,k}$. Wszystkie wywodzą się z rozkładu normalnego.

Rozkłady w $\mathbb{R}^n$ i wnioskowanie.

Wszystkie te rozkłady opisują funkcje próby — wielkości obliczane z $n$ obserwacji, czyli z punktu w przestrzeni $\mathbb{R}^n$. Suma kwadratów reszt to kwadrat długości wektora reszt w $\mathbb{R}^n$, a jej rozkład to chi-kwadrat o liczbie stopni swobody równej wymiarowi podprzestrzeni reszt. Geometria rzutu prostopadłego z algebry liniowej tłumaczy więc, skąd biorą się stopnie swobody: to wymiary prostopadłych podprzestrzeni, na które rozkłada się wektor obserwacji. Czterowymiarowych i wyżejwymiarowych rozkładów łącznych nie da się narysować, lecz operuje się nimi tak samo jak jednowymiarowymi — całkując gęstość po obszarach w $\mathbb{R}^n$.

Wartości krytyczne — szybka ściąga

Rozkład	$\alpha=5\%$	$\alpha=1\%$
$N(0,1)$ (dwustronny)	$\lvert z\rvert\gt 1{,}96$	$\lvert z\rvert\gt 2{,}576$
$t_{30}$ (dwustronny)	$\lvert t\rvert\gt 2{,}042$	$\lvert t\rvert\gt 2{,}750$
$\chi^2_5$	$\gt 11{,}07$	$\gt 15{,}09$
$F_{2,30}$	$\gt 3{,}32$	$\gt 5{,}39$

Zastosowanie — studium przypadku: wartość zagrożona (VaR)

Banki i fundusze mierzą ryzyko za pomocą wartości zagrożonej (Value at Risk, VaR) — straty, która nie zostanie przekroczona z zadanym prawdopodobieństwem. Załóżmy, że dzienna stopa zwrotu portfela o wartości $W=1$ mln zł ma rozkład normalny $\mathcal{N}(0,\sigma^2)$ z $\sigma=2\%$. VaR na poziomie ufności $95\%$ to kwantyl lewego ogona:

$$ \mathrm{VaR}_{95\%}=z_{0{,}05}\cdot\sigma\cdot W=1{,}645\cdot 0{,}02\cdot 1\,000\,000\approx 32\,900\ \text{zł}. $$

Z prawdopodobieństwem $95\%$ dzienna strata nie przekroczy więc $\approx 32{,}9$ tys. zł. Wartość $1{,}645$ to kwantyl rozkładu normalnego odcinający $5\%$ w lewym ogonie.

VaR jako kwantyl lewego ogona rozkładu stóp zwrotu — Wartość zagrożona $\mathrm{VaR}_{95\%}$ to kwantyl odcinający $5\%$ masy w lewym ogonie rozkładu stóp zwrotu. Strata gorsza niż VaR zdarza się średnio raz na $20$ dni.

Studium to ujawnia rolę wyboru rozkładu: gdyby stopy zwrotu miały rozkład $t$-Studenta o grubych ogonach, a nie normalny, ten sam poziom ufności dałby wyższy VaR — model normalny systematycznie niedoszacowuje ryzyka zdarzeń ekstremalnych. Kryzys 2008 roku boleśnie pokazał, że rynkowe ogony są grubsze, niż zakłada rozkład normalny.

Literatura

Podręczniki polskie

J. Koronacki, J. Mielniczuk, Statystyka dla studentów kierunków technicznych i przyrodniczych, WNT.
K. Jajuga (red.), Zarządzanie ryzykiem, PWN, Warszawa.

Klasyki światowe

W. Feller, An Introduction to Probability Theory and Its Applications, Wiley.
J. Wooldridge, Introductory Econometrics: A Modern Approach, Cengage.

Artykuły i źródła historyczne

Student (W. S. Gosset), The Probable Error of a Mean, Biometrika 6 (1908), 1–25. DOI: 10.2307/2331554.

Definicja

Hasła w słowniku

Pojęcia z tego rozdziału znajdziesz w słowniku: zmienna losowa, funkcja gęstości, dystrybuanta, rozkład t-Studenta, rozkład chi-kwadrat, rozkład F, stopnie swobody.

Podsumowanie

Rozkład prawdopodobieństwa opisuje, jak prawdopodobne są wartości zmiennej losowej — przez funkcję gęstości i dystrybuantę. Cztery rozkłady wnioskowania — normalny, $t$-Studenta (grubsze ogony przy szacowanej wariancji), chi-kwadrat (suma kwadratów zmiennych normalnych) i $F$ (iloraz znormalizowanych chi-kwadrat) — tworzą jeden system wyrastający z rozkładu normalnego i stanowią aparat testów hipotez. Ich uogólnienie na $\mathbb{R}^n$ łączy rachunek prawdopodobieństwa z geometrią regresji.

Następnie: Rozkład normalny