Korelacja i współczynnik Pearsona

Streszczenie

Korelacja wyłożona od podstaw: geneza (Galton, regresja do średniej, Pearson), definicja współczynnika, znak iloczynu odchyleń, obraz r na wykresach rozrzutu, obliczenie współczynnika, geometryczna interpretacja r = cos θ w ℝⁿ, ograniczenie do związków liniowych, kwartet Anscombe'a, korelacja a przyczynowość (zmienna ukryta), korelacja a nachylenie regresji oraz korelacja rangowa Spearmana. Każde pojęcie i każdy przykład z osobnym rysunkiem.

Korelacja odpowiada na pytanie, czy wzrostowi jednej wielkości towarzyszy wzrost (lub spadek) drugiej — oraz jak silna jest ta zależność. Jest jednym z najczęściej używanych i najczęściej nadużywanych pojęć statystyki. Niniejszy rozdział buduje współczynnik korelacji od podstaw: od genezy, przez konstrukcję wzoru i jego geometryczne znaczenie w przestrzeni $\mathbb{R}^n$, aż po pułapki interpretacyjne — kwartet Anscombe’a i mylenie korelacji z przyczynowością. Każde pojęcie i każdy przykład otrzymuje osobny rysunek.

Geneza pojęcia korelacji

Korelacja narodziła się z badań nad dziedzicznością. W latach 80. XIX wieku Francis Galton, analizując wzrost rodziców i dzieci, zauważył, że dzieci bardzo wysokich rodziców są przeciętnie niższe od nich — zjawisko, które nazwał regresją do średniej. Aby zmierzyć siłę takiego związku, wprowadził „współczynnik współzależności”. Jego ucznia Karla Pearsona doprowadziło to w 1896 roku do ścisłego wzoru na współczynnik korelacji liniowej, używanego do dziś i noszącego jego imię. Z tych samych prac wyrosła regresja — stąd bliskie pokrewieństwo obu pojęć, do którego wrócimy.

Definicja współczynnika korelacji

Definicja

Współczynnik korelacji Pearsona

Współczynnikiem korelacji zmiennych $x$ i $y$ nazywamy

$$ r=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\,\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}}\in[-1,1]. $$

Licznik to kowariancja (przeskalowana), czyli miara wspólnego odchylania się od średnich, a mianownik normalizuje wynik do przedziału $[-1,1]$, czyniąc go bezwymiarowym.

Wartości skrajne i środkowa mają jasną interpretację: $r=+1$ to idealny związek rosnący (punkty leżą na prostej o dodatnim nachyleniu), $r=-1$ — idealny malejący, a $r=0$ — brak związku liniowego.

Cztery wykresy rozrzutu dla różnych wartości korelacji — Jak współczynnik korelacji wygląda na wykresie rozrzutu. Im bliżej $\pm 1$, tym ciaśniej punkty układają się wzdłuż prostej; przy $r\approx 0$ chmura nie ma wyraźnego kierunku. Znak mówi, czy zależność jest rosnąca, czy malejąca.

Skąd bierze się znak

Znak iloczynu odchyleń.

Rozważmy pojedynczą obserwację względem środka danych $(\bar{x},\bar{y})$. Gdy $x_i$ leży powyżej swojej średniej i $y_i$ powyżej swojej, iloczyn $(x_i-\bar{x})(y_i-\bar{y})$ jest dodatni; tak samo, gdy oba są poniżej. Gdy jedno jest powyżej, a drugie poniżej — iloczyn jest ujemny. Współczynnik korelacji sumuje te sygnały: przewaga iloczynów dodatnich daje $r\gt 0$, przewaga ujemnych — $r\lt 0$.

Obliczenie współczynnika

Dla danych $x=(1,2,3,4,5)$ i $y=(2,4,5,4,5)$ mamy $\bar{x}=3$ i $\bar{y}=4$. Odchylenia $x$ to $-2,-1,0,1,2$, a $y$: $-2,0,1,0,1$. Iloczyny odchyleń $4,0,0,0,2$ dają licznik $\sum=6$. Sumy kwadratów to $\sum(x_i-\bar{x})^2=10$ oraz $\sum(y_i-\bar{y})^2=6$. Stąd

$$ r=\frac{6}{\sqrt{10}\,\sqrt{6}}=\frac{6}{\sqrt{60}}\approx 0{,}775. $$

Dodatnia, dość silna korelacja — wzrostowi $x$ na ogół towarzyszy wzrost $y$.

Geometryczna interpretacja: $r=\cos\theta$

Najgłębsze spojrzenie na korelację jest geometryczne. Potraktujmy odchylenia od średnich jako wektory w przestrzeni $\mathbb{R}^n$ (po jednej współrzędnej na obserwację): $\mathbf{x}-\bar{x}$ oraz $\mathbf{y}-\bar{y}$. Licznik wzoru to ich iloczyn skalarny, a mianownik to iloczyn ich długości. Z definicji iloczynu skalarnego wynika więc, że

$$ r=\cos\theta, $$

gdzie $\theta$ to kąt między tymi wektorami. Korelacja jest cosinusem kąta: wektory zgodne ($\theta=0$) dają $r=1$, prostopadłe ($\theta=90°$) — $r=0$, przeciwne ($\theta=180°$) — $r=-1$.

Korelacja jako cosinus kąta między wektorami odchyleń — Korelacja jako cosinus kąta: wektory odchyleń $\mathbf{x}-\bar{x}$ i $\mathbf{y}-\bar{y}$ tworzą kąt $\theta$, a $r=\cos\theta$. Mały kąt (wektory niemal zgodne) oznacza silną korelację dodatnią.

Ta interpretacja nie zależy od liczby obserwacji: wektory żyją w $\mathbb{R}^n$, gdzie $n$ to liczba danych. Kąt między dwoma wektorami jest dobrze określony w każdym wymiarze, więc korelacja ma ten sam geometryczny sens niezależnie od tego, czy obserwacji jest trzy, czy trzy tysiące.

Dwa wektory odchyleń w przestrzeni trójwymiarowej — Te same dwa wektory odchyleń w przestrzeni $\mathbb{R}^3$ (trzy obserwacje). Korelacja $r=\cos\theta$ jest cosinusem kąta między nimi — pojęcie sensowne w dowolnym wymiarze $\mathbb{R}^n$, choć dla wielu obserwacji nie da się go narysować.

Korelacja mierzy tylko związek liniowy

Kluczowe ograniczenie: współczynnik Pearsona wykrywa wyłącznie liniowe zależności. Dwie zmienne mogą być powiązane w stu procentach, a $r$ i tak wyniesie zero — jeżeli związek jest krzywoliniowy.

Parabola o zerowej korelacji liniowej i związek liniowy — Po lewej idealna parabola: $y$ jest w pełni wyznaczone przez $x$, lecz $r\approx 0$, bo zależność nie jest liniowa (każdej wartości $y$ odpowiadają dwa $x$ symetryczne względem wierzchołka). Po prawej związek liniowy daje $r\approx 0{,}98$. Dane zawsze warto zwizualizować, zanim zaufa się jednej liczbie.

Kwartet Anscombe’a

Najdobitniej pokazuje to kwartet Anscombe’a (1973): cztery zbiory danych o identycznych statystykach — tej samej średniej, wariancji, korelacji $r=0{,}82$ i tej samej linii regresji — a zarazem zupełnie różnych kształtach. Dopiero wykres ujawnia, że pierwszy jest liniowy, drugi krzywoliniowy, trzeci zaburzony jednym odstającym punktem, a czwarty opiera się na jednej obserwacji.

Korelacja a przyczynowość

To być może najważniejsze zdanie w całej statystyce stosowanej. Korelacja nie dowodzi przyczynowości. Dwie wielkości mogą rosnąć razem, choć żadna nie wpływa na drugą — ponieważ obie zależą od wspólnej, ukrytej trzeciej zmiennej (tak zwanej zmiennej zakłócającej, ang. confounder).

Diagram zmiennej zakłócającej: wspólna przyczyna dwóch skorelowanych zmiennych — Klasyczny przykład: sprzedaż lodów ($X$) i liczba utonięć ($Y$) rosną razem, dając wysokie $r$. Lody jednak nie topią ludzi — obie wielkości napędza upał ($Z$). Korelacja między $X$ a $Y$ jest pozorna, wywołana wspólną przyczyną $Z$.

Stąd bierze się cała ekonometria przyczynowa — metody takie jak zmienne instrumentalne, różnica w różnicach czy eksperymenty, które pozwalają wyjść poza zwykłą korelację i orzekać o przyczynie.

Korelacja a nachylenie regresji

Korelacja i nachylenie regresji to pojęcia pokrewne, lecz nietożsame. Łączy je wzór

$$ b_1=r\,\frac{s_y}{s_x}. $$

Oba mają ten sam znak, lecz różną naturę: $r$ jest bezwymiarowe i zawsze leży w $[-1,1]$, a nachylenie $b_1$ ma jednostki (np. „złotych na rok stażu”). Korelacja mierzy siłę liniowego związku, a nachylenie — jego stromiznę.

Chmura punktów z linią regresji — korelacja a nachylenie — Chmura punktów z dopasowaną linią regresji. Korelacja $r$ mówi, jak ciasno punkty skupiają się wokół linii, a nachylenie $b_1=r\,s_y/s_x$ — jak stroma jest sama linia. Dwie różne wielkości o tym samym znaku.

Korelacja rangowa Spearmana

Gdy zależność jest monotoniczna, lecz nieliniowa (np. wykładnicza), współczynnik Pearsona ją niedoszacowuje. W takich przypadkach stosuje się korelację rangową Spearmana — współczynnik Pearsona obliczony nie dla wartości, lecz dla ich rang (pozycji w uporządkowaniu). Mierzy on, czy obie zmienne rosną razem, niezależnie od tego, czy wzrost jest liniowy.

Zastosowanie — studium przypadku: dywersyfikacja portfela

Korelacja jest sercem dywersyfikacji — zasady „nie wkładaj wszystkich jajek do jednego koszyka”. Rozważmy portfel z równymi wagami dwóch aktywów, każde o odchyleniu standardowym $\sigma=20\%$. Ryzyko portfela zależy od korelacji $\rho$ ich stóp zwrotu:

$$ \sigma_p=\sqrt{\tfrac14\sigma^2+\tfrac14\sigma^2+2\cdot\tfrac12\cdot\tfrac12\rho\sigma^2}=\sigma\sqrt{\tfrac{1+\rho}{2}}=0{,}2\sqrt{\tfrac{1+\rho}{2}}. $$

Wynik jest wymowny: gdy aktywa są doskonale skorelowane ($\rho=1$), ryzyko portfela wynosi wciąż $20\%$ — dywersyfikacja nie przynosi żadnej korzyści. Lecz przy $\rho=0$ spada do $0{,}2/\sqrt2\approx 14{,}1\%$, a przy $\rho=-1$ — do zera: przeciwnie skorelowane aktywa wzajemnie znoszą wahania. Im niższa korelacja, tym większa korzyść z łączenia aktywów.

Ryzyko portfela malejące wraz ze spadkiem korelacji aktywów — Ryzyko portfela $\sigma_p$ jako funkcja korelacji $\rho$ dwóch aktywów (równe wagi, $\sigma=20\%$). Spadek korelacji obniża ryzyko: przy $\rho=1$ brak korzyści, przy $\rho=-1$ ryzyko znika. To matematyczna istota dywersyfikacji.

Studium to wyjaśnia, dlaczego inwestorzy poszukują aktywów o niskiej lub ujemnej korelacji i dlaczego współczynnik korelacji — choć mierzy „tylko” związek liniowy — jest jedną z najważniejszych liczb w finansach. Zarazem przypomina ostrzeżenie z tego rozdziału: korelacje bywają niestabilne i w kryzysie potrafią gwałtownie rosnąć, osłabiając dywersyfikację.

Literatura

Podręczniki polskie

M. Sobczyk, Statystyka, PWN, Warszawa.
K. Jajuga, T. Jajuga, Inwestycje, PWN, Warszawa.

Klasyki światowe

K. Pearson, Mathematical Contributions to the Theory of Evolution, Phil. Trans. R. Soc. (1896).
F. J. Anscombe, Graphs in Statistical Analysis, The American Statistician 27 (1973), 17–21. DOI: 10.1080/00031305.1973.10478966.

Artykuły

H. Markowitz, Portfolio Selection, The Journal of Finance 7 (1952), 77–91. DOI: 10.2307/2975974.

Definicja

Hasła w słowniku

Pojęcia z tego rozdziału znajdziesz w słowniku: korelacja, współczynnik Pearsona, kowariancja, korelacja a przyczynowość, korelacja rangowa Spearmana.

Podsumowanie

Definicja

Najważniejsze własności korelacji

$r\in[-1,1]$: znak to kierunek, wartość bezwzględna to siła liniowego związku.
Geometrycznie $r=\cos\theta$ — cosinus kąta między wektorami odchyleń w $\mathbb{R}^n$.
Korelacja to nie przyczynowość — może istnieć wspólna zmienna zakłócająca.
$r$ wykrywa tylko zależności liniowe; kwartet Anscombe’a dowodzi, że dane trzeba wizualizować.
Korelacja i nachylenie regresji mają ten sam znak: $b_1=r\,\tfrac{s_y}{s_x}$.
Dla zależności monotonicznych nieliniowych stosujemy korelację rangową Spearmana.

Następnie: Rozkłady prawdopodobieństwa