Wariancja i odchylenie standardowe

Streszczenie

Wariancja i odchylenie standardowe wyłożone od podstaw: geneza pojęcia rozrzutu, dlaczego średnia nie wystarcza, konstrukcja wzoru (uzasadnienie kwadratu), wariancja jako średnie pole kwadratów odchyleń, odchylenie standardowe i jego interpretacja, populacja a próba i poprawka Bessela z uzasadnieniem, nierówność Czebyszewa, kowariancja i elipsa kowariancji oraz uogólnienie na ℝⁿ. Każde pojęcie i każdy przykład z osobnym rysunkiem.

Średnia mówi, gdzie leży „środek” danych, lecz nie mówi nic o tym, jak bardzo wartości są wokół niego rozrzucone. Tę lukę wypełniają wariancja i odchylenie standardowe — najważniejsze miary zmienności w całej statystyce i ekonometrii. Niniejszy rozdział wyprowadza je od podstaw: od pytania, dlaczego średnia nie wystarcza, przez konstrukcję wzoru, aż po kowariancję i uogólnienie na przestrzeń $\mathbb{R}^n$. Każde pojęcie i każdy przykład otrzymuje osobny rysunek.

Dlaczego średnia nie wystarcza

Rozważmy dwie klasy piszące ten sam test. Obie osiągnęły średnią $60$ punktów, lecz ich wyniki rozkładają się zupełnie inaczej: w pierwszej wszyscy uzyskali $58$–$62$, a w drugiej połowa dostała $30$, a połowa $90$. Średnia jest identyczna, choć sytuacje są skrajnie różne. Potrzebujemy miary tego, jak daleko wartości odbiegają od środka.

Dwa zbiory o tej samej średniej i różnym rozrzucie — Te same średnie, różny rozrzut. Górny zbiór jest skupiony przy średniej $60$ (małe odchylenie, $s\approx 2$), dolny — rozrzucony na krańce (duże odchylenie, $s\approx 30$). Średnia tego nie odróżnia; odchylenie standardowe tak.

Geneza miar rozrzutu

Pomysł mierzenia rozproszenia wyrósł z astronomii i teorii błędów przełomu XVIII i XIX wieku, gdy Gauss i Legendre analizowali odchylenia pomiarów od wartości średniej (zob. metoda najmniejszych kwadratów). Sam termin odchylenie standardowe wprowadził Karl Pearson w 1893 roku, a nazwę wariancja — Ronald Fisher w 1918 roku, czyniąc z niej fundament analizy wariancji (ANOVA). Wspólnym wątkiem było pytanie, jak jedną liczbą wyrazić typową odległość obserwacji od średniej — i właśnie tę liczbę teraz skonstruujemy.

Konstrukcja wzoru

Naturalny pomysł brzmi: uśrednić odległości obserwacji od średniej. Pierwsza próba napotyka jednak przeszkodę, którą trzeba ominąć.

Dowód

Skąd bierze się wzór na wariancję

Odchylenie. Dla każdej obserwacji liczymy odchylenie od średniej $d_i=x_i-\bar{x}$ — mówi ono, jak daleko i w którą stronę leży wartość.
Przeszkoda. Suma odchyleń jest zawsze zerem: $\sum_i(x_i-\bar{x})=\sum_i x_i-n\bar{x}=n\bar{x}-n\bar{x}=0$. Dodatnie kasują ujemne, więc „średnie odchylenie” byłoby bezużytecznym zerem.
Rozwiązanie — kwadrat. Podnosimy każde odchylenie do kwadratu: $d_i^2=(x_i-\bar{x})^2\ge 0$. Kwadraty się nie kasują, a dodatkowo mocniej ważą duże odchylenia.
Wariancja. Uśredniamy kwadraty odchyleń: $$\sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2.$$
Powrót do jednostek. Wariancja jest wyrażona w jednostkach do kwadratu (np. „złotówki do kwadratu”), co utrudnia interpretację. Pierwiastek przywraca pierwotne jednostki — to odchylenie standardowe: $$\sigma=\sqrt{\sigma^2}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}.$$

∎

Krok drugi — zerowanie się sumy odchyleń — jest sednem całej konstrukcji. Z tego powodu odchylenia podnosi się do kwadratu zamiast zwykłego sumowania.

Dodatnie i ujemne odchylenia od średniej znoszące się do zera — Suma odchyleń od średniej zawsze wynosi zero: odchylenia dodatnie (linie ciągłe, ponad $\bar{x}$) dokładnie równoważą ujemne (linie przerywane, poniżej). Dlatego do pomiaru rozrzutu używamy ich kwadratów, a nie samych odchyleń.

Wariancja jako średnie pole kwadratów

Słowo „kwadrat” należy rozumieć dosłownie: każde odchylenie $(x_i-\bar{x})$ wyznacza kwadrat o boku równym tej odległości, a jego pole to $(x_i-\bar{x})^2$. Wariancja jest średnim polem tych kwadratów — geometryczna interpretacja, która tłumaczy, dlaczego duże odchylenia ważą tak mocno (pole rośnie z kwadratem boku).

Kwadraty odchyleń jako pola — geometryczna interpretacja wariancji — Każde odchylenie od średniej $\bar{x}=5$ rozpina kwadrat o polu $(x_i-\bar{x})^2$. Obserwacja oddalona o $4$ daje kwadrat o polu $16$ — czterokrotnie większy niż przy odchyleniu $2$. Wariancja to średnie pole takich kwadratów.

Przykład

Dla zbioru $2,4,4,4,5,5,7,9$ mamy $n=8$ i $\bar{x}=\tfrac{40}{8}=5$. Odchylenia to $-3,-1,-1,-1,0,0,2,4$, a ich kwadraty $9,1,1,1,0,0,4,16$ sumują się do $32$. Stąd wariancja populacyjna

$$ \sigma^2=\frac{32}{8}=4,\qquad \sigma=\sqrt{4}=2. $$

Typowa wartość leży więc o około $2$ jednostki od średniej.

Interpretacja odchylenia standardowego

Jak czytać odchylenie standardowe.

Odchylenie standardowe to typowa odległość obserwacji od średniej, wyrażona w tych samych jednostkach co dane. Jeżeli płace mają średnią $5000$ zł i $\sigma=800$ zł, to „typowa” osoba zarabia o około $800$ zł powyżej lub poniżej średniej. Dla danych o kształcie rozkładu normalnego około $68\%$ obserwacji mieści się w przedziale $\mu\pm\sigma$, a około $95\%$ — w $\mu\pm 2\sigma$.

Przedziały plus minus jedno i dwa odchylenia standardowe — Reguła $\pm\sigma$ dla rozkładu zbliżonego do normalnego: w przedziale $\mu\pm\sigma$ leży około $68\%$ obserwacji (ciemne pole), a w $\mu\pm 2\sigma$ — około $95\%$. Odchylenie standardowe wyznacza naturalną skalę rozrzutu.

Co jednak, gdy rozkład nie jest normalny? Wówczas pomaga twierdzenie obowiązujące dla dowolnego rozkładu.

Twierdzenie

Nierówność Czebyszewa

Dla dowolnego rozkładu o skończonej wariancji odsetek obserwacji oddalonych od średniej o więcej niż $k$ odchyleń standardowych nie przekracza $\tfrac{1}{k^2}$:

$$ P\big(|X-\mu|\ge k\sigma\big)\le\frac{1}{k^2}. $$

Stąd co najmniej $1-\tfrac{1}{k^2}$ masy leży w przedziale $\mu\pm k\sigma$ — np. co najmniej $75\%$ w $\mu\pm2\sigma$ i $\approx 89\%$ w $\mu\pm3\sigma$, niezależnie od kształtu rozkładu.

Populacja a próba: poprawka Bessela

Pojawia się subtelność będąca częstym źródłem pomyłek. Wzór zależy od tego, czy dysponujemy całą populacją, czy jedynie jej próbą:

$$ \sigma^2=\frac{1}{n}\sum(x_i-\bar{x})^2\ \text{(populacja)},\qquad s^2=\frac{1}{n-1}\sum(x_i-\bar{x})^2\ \text{(próba)}. $$

Skąd dzielnik $n-1$ (poprawka Bessela).

Licząc wariancję próby, odchylenia mierzymy względem oszacowanej średniej $\bar{x}$, a nie prawdziwej średniej populacji $\mu$. Próba zawsze leży bliżej własnej średniej niż prawdziwej, więc suma kwadratów odchyleń jest systematycznie zaniżona. Dzielenie przez $n-1$ zamiast $n$ koryguje to obciążenie i daje estymator nieobciążony. Dla naszego przykładu wariancja próby to $s^2=\tfrac{32}{7}\approx 4{,}57$, a $s\approx 2{,}14$ — nieco więcej niż wartość populacyjna $4$. Przy dużym $n$ różnica zanika.

Średnia próby leżąca bliżej danych niż prawdziwa średnia populacji — Mechanizm poprawki Bessela: próba (punkty) skupia się wokół własnej średniej $\bar{x}$, która zwykle leży bliżej danych niż nieznana prawdziwa średnia $\mu$. Odchylenia liczone względem $\bar{x}$ są więc za małe — dzielnik $n-1$ to nadrabia.

Najczęstsza pomyłka w kodzie.

W języku R funkcje var() i sd() dzielą przez $n-1$ (próba), natomiast w NumPy np.var() i np.std() domyślnie dzielą przez $n$ (populacja). Jeżeli wyniki R i Pythona się różnią, przyczyną jest niemal zawsze ta rozbieżność — w NumPy należy dodać argument ddof=1, aby otrzymać wariancję próby.

Od wariancji do kowariancji

Wariancja mierzy rozrzut jednej zmiennej. Gdy zmiennych jest więcej, interesuje nas, czy zmieniają się wspólnie — tę wielkość mierzy kowariancja:

$$ \mathrm{Cov}(x,y)=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}). $$

Kowariancja jest naturalnym uogólnieniem wariancji (dla $y=x$ wraca do $\sigma^2$) i leży u podstaw korelacji oraz nachylenia regresji, gdzie $b_1=\mathrm{Cov}(x,y)/\mathrm{Var}(x)$. Geometrycznie rozrzut dwóch zmiennych przedstawia elipsa kowariancji: jej dłuższa oś wskazuje kierunek największej zmienności, a kształt — siłę współzmienności.

Elipsa kowariancji z osiami głównymi rozrzutu — Elipsa kowariancji dwóch zmiennych: chmura obserwacji rozciąga się wzdłuż jednego kierunku. Dłuższa strzałka to oś największego rozrzutu, krótsza — kierunek najmniejszego. Wariancja w każdym kierunku to długość odpowiedniej półosi.

Uogólnienie na przestrzeń $\mathbb{R}^n$

Dla wielu zmiennych wariancje i kowariancje zbiera się w macierz kowariancji — symetryczną tablicę, w której na przekątnej stoją wariancje poszczególnych zmiennych, a poza nią ich kowariancje. Macierz ta w pełni opisuje rozrzut chmury danych w przestrzeni $\mathbb{R}^n$.

Elipsoida kowariancji w przestrzeni trójwymiarowej — Elipsoida kowariancji w przestrzeni $\mathbb{R}^3$: rozrzut trzech zmiennych ma kształt bryły o trzech półosiach, których długości to wariancje wzdłuż kierunków głównych. To trójwymiarowy odpowiednik elipsy kowariancji.

Macierz kowariancji i czwarty wymiar.

Kierunki, wzdłuż których chmura danych rozciąga się najsilniej, to wektory własne macierzy kowariancji, a odpowiadające im wariancje — jej wartości własne. W $\mathbb{R}^2$ rozrzut ma kształt elipsy, w $\mathbb{R}^3$ — elipsoidy, a w $\mathbb{R}^4$ i wyżej — bryły, której nie da się narysować, lecz która jest w pełni opisana macierzą kowariancji. Czterowymiarowy rozrzut analizuje się „warstwa po warstwie”, rzutując go na pary i trójki zmiennych. Na tym pomyśle — sprowadzeniu wielowymiarowego rozrzutu do kilku kierunków o największej wariancji — opiera się analiza głównych składowych (PCA).

Zastosowanie — studium przypadku: zmienność (ryzyko) akcji

W finansach odchylenie standardowe stóp zwrotu nosi nazwę zmienności (volatility) i jest podstawową miarą ryzyka. Rozważmy dwie spółki o tej samej średniej dziennej stopie zwrotu bliskiej zeru, lecz różnym rozrzucie: spółka stabilna o dziennym $\sigma_1=0{,}5\%$ i spółka zmienna o $\sigma_2=5\%$. Choć przeciętnie zarabiają tyle samo, druga jest dziesięciokrotnie bardziej ryzykowna.

Zmienność dzienną przelicza się na roczną regułą pierwiastka czasu (przy ok. $252$ dniach sesyjnych):

$$ \sigma_{\text{rok}}=\sigma_{\text{dzień}}\sqrt{252}. $$

Dla spółki stabilnej $\sigma_{\text{rok}}=0{,}5\%\cdot\sqrt{252}\approx 7{,}9\%$, dla zmiennej $5\%\cdot\sqrt{252}\approx 79\%$. Reguła $\sqrt{252}$ wynika z addytywności wariancji niezależnych przyrostów: wariancja sumy $252$ dni to $252\sigma_{\text{dzień}}^2$, więc odchylenie rośnie jak pierwiastek.

Dwie serie stóp zwrotu o różnej zmienności — Dwie spółki o tej samej średniej stopie zwrotu, lecz różnym odchyleniu standardowym. Górny szereg (małe $\sigma$) jest stabilny, dolny (duże $\sigma$) — silnie zmienny. Wariancja stóp zwrotu jest miarą ryzyka.

Studium to ukazuje, że wariancja nie jest jedynie abstrakcją statystyczną — stanowi liczbową miarę ryzyka, na której opierają się teoria portfela, wycena opcji i zarządzanie ryzykiem rynkowym.

Literatura

Podręczniki polskie

M. Sobczyk, Statystyka, PWN, Warszawa.
K. Jajuga, T. Jajuga, Inwestycje, PWN, Warszawa.

Klasyki światowe

R. A. Fisher, Statistical Methods for Research Workers, Oliver & Boyd, 1925.
J. Hull, Options, Futures, and Other Derivatives, Pearson.

Artykuły

F. Black, M. Scholes, The Pricing of Options and Corporate Liabilities, Journal of Political Economy 81 (1973), 637–654. DOI: 10.1086/260062.

Definicja

Hasła w słowniku

Pojęcia z tego rozdziału znajdziesz w słowniku: wariancja, odchylenie standardowe, kowariancja, macierz kowariancji, poprawka Bessela, nierówność Czebyszewa.

Podsumowanie

Definicja

Rozrzut w skrócie

Wariancja $\sigma^2$ to średni kwadrat odległości od średniej; kwadrat zapobiega kasowaniu się odchyleń o przeciwnych znakach.
Odchylenie standardowe $\sigma=\sqrt{\sigma^2}$ to typowa odległość od średniej, w tych samych jednostkach co dane.
Próba: dzielimy przez $n-1$ (poprawka Bessela). Populacja: przez $n$.
Kowariancja uogólnia wariancję na dwie zmienne, a macierz kowariancji — na $\mathbb{R}^n$.
Uwaga na domyślne ustawienia: R liczy wariancję próby, NumPy — populacji.

Następnie: Korelacja