Współczynnik determinacji R² — od intuicji do dowodów

Co mierzy R²

Po dopasowaniu modelu pojawia się pierwsze pytanie: jak dobrze tłumaczy on dane? Zmienna $y$ waha się wokół swojej średniej — jaką część tego wahania model wychwytuje, a jaka pozostaje jako „niewyjaśniona reszta"?

Współczynnik determinacji $R^2$ daje na to jedną liczbę z przedziału $[0,1]$:

• $R^2 = 1$ — model wyjaśnia całą zmienność (punkty leżą idealnie na linii dopasowania),
• $R^2 = 0$ — model nie wyjaśnia niczego (równie dobrze zgadywać samą średnią $\bar y$),
• $R^2 = 0{,}7$ — model tłumaczy 70% zmienności $y$, a 30% zostaje w resztach.

Za tą liczbą stoi tożsamość algebraiczna oraz interpretacja geometryczna, które wyłożymy poniżej wraz z dowodami.

Rozkład wariancji: TSS = ESS + RSS

Punkt wyjścia: każdą obserwację $y_i$ porównujemy z bazową prognozą bez modelu, czyli ze średnią $\bar y$. Całkowite odchylenie $y_i - \bar y$ rozbija się dokładnie na dwie cegiełki:

$$ y_i - \bar y = \underbrace{(\hat y_i - \bar y)}_{\text{co tłumaczy model}} + \underbrace{(y_i - \hat y_i)}_{\text{reszta } \hat\varepsilon_i} $$

Podnosząc do kwadratu i sumując po wszystkich obserwacjach, dostajemy tożsamość rozkładu sumy kwadratów:

$$ \underbrace{\sum_{i}(y_i-\bar y)^2}_{\text{TSS}} \;=\; \underbrace{\sum_{i}(\hat y_i-\bar y)^2}_{\text{ESS}} \;+\; \underbrace{\sum_{i}(y_i-\hat y_i)^2}_{\text{RSS}} $$

Obecność lub brak składnika mieszanego nie jest kwestią oczywistą — wynika z własności estymatora MNK. Wyprowadzenie przedstawiono poniżej.

Uwaga: tożsamość wymaga wyrazu wolnego.

Cały rozkład TSS = ESS + RSS opiera się na $\sum_i \hat\varepsilon_i = 0$, co gwarantuje wyraz wolny w modelu. W regresji bez stałej tożsamość się psuje, a „$R^2$" potrafi wyjść ujemne lub większe od jedności. Dlatego programy raportują wtedy inną, niestandardową definicję — i nie należy jej porównywać z $R^2$ modelu ze stałą.

Definicja R²

Skoro TSS rozkłada się na część wyjaśnioną i resztę, $R^2$ jest udziałem części wyjaśnionej:

$$ R^2 = \frac{\text{ESS}}{\text{TSS}} = 1 - \frac{\text{RSS}}{\text{TSS}} $$

Z tożsamości natychmiast wynika, że jest to dobrze zachowujący się ułamek.

R² to kwadrat korelacji

Istnieje druga, równoważna postać $R^2$: jest to kwadrat współczynnika korelacji między obserwowanymi $y_i$ a dopasowanymi $\hat y_i$. Stąd bierze się symbol „$R$ do kwadratu".

W regresji prostej (jedna zmienna) upraszcza się to jeszcze bardziej: $R^2 = r_{xy}^2$, kwadrat zwykłej korelacji $x$ z $y$.

Geometria: R² = cos²θ

Szczególnie pouczająca jest interpretacja geometryczna. Potraktujmy kolumny danych jako wektory w przestrzeni $n$ obserwacji. MNK rzutuje wektor obserwacji $\mathbf y$ prostopadle na przestrzeń rozpiętą przez zmienne objaśniające, dając dopasowanie $\hat{\mathbf y}$. Po wyśrodkowaniu (odjęciu średniej) tożsamość TSS = ESS + RSS staje się twierdzeniem Pitagorasa:

$$ \underbrace{\lVert \mathbf y-\bar y\mathbf 1\rVert^2}_{\text{TSS}} = \underbrace{\lVert \hat{\mathbf y}-\bar y\mathbf 1\rVert^2}_{\text{ESS}} + \underbrace{\lVert \hat{\boldsymbol\varepsilon}\rVert^2}_{\text{RSS}} $$

bo wektor reszt $\hat{\boldsymbol\varepsilon}$ jest prostopadły do przestrzeni modelu. A skoro to trójkąt prostokątny, $R^2 = \text{ESS}/\text{TSS}$ jest dokładnie kwadratem cosinusa kąta $\theta$ między wektorem całkowitym a jego rzutem:

$$ R^2 = \cos^2\theta, \qquad \theta = \angle\big(\mathbf y-\bar y\mathbf 1,\; \hat{\mathbf y}-\bar y\mathbf 1\big) $$

Ta sama geometria działa dla wielu zmiennych: przestrzeń modelu staje się płaszczyzną (a potem hiperpłaszczyzną), na którą rzutujemy $\mathbf y$. Dopasowanie $\hat y = \hat\beta_0+\hat\beta_1 x_1+\hat\beta_2 x_2$ to wtedy płaszczyzna w chmurze punktów, a $R^2$ mierzy, jak ciasno punkty wokół niej leżą:

Wysokie a niskie R² — porównanie

Warto podkreślić, że nachylenie prostej jest takie samo w obu panelach. $R^2$ nie informuje o tym, jak silny jest efekt $x$ na $y$ — mówi jedynie, jak przewidywalne jest $y$ przy danych zmiennych. Są to dwie różne wielkości, które łatwo pomylić.

Dlaczego R² zawsze rośnie po dodaniu zmiennej

Zasadnicze ograniczenie $R^2$ jako miary jakości polega na tym, że nigdy nie maleje, gdy do modelu dołącza się kolejną zmienną — nawet pozbawioną jakiegokolwiek związku z wyjaśnianym zjawiskiem. Własność ta nie jest dziełem przypadku, lecz konsekwencją geometrii rzutu ortogonalnego.

Konsekwencja praktyczna jest jednoznaczna: wybór modelu wyłącznie na podstawie $R^2$ faworyzuje zawsze model z największą liczbą zmiennych. Właściwą miarą do porównań modeli powinna być taka, która uwzględnia liczbę oszacowanych parametrów.

Skorygowane R²

Skorygowane $\bar R^2$ zastępuje surowe sumy kwadratów ich nieobciążonymi wariancjami — dzieli przez liczbę stopni swobody zamiast przez liczbę obserwacji:

$$ \bar R^2 = 1 - \frac{\text{RSS}/(n-k-1)}{\text{TSS}/(n-1)} $$

gdzie $n$ to liczba obserwacji, a $k$ — liczba zmiennych objaśniających. Dodanie zmiennej zbija RSS (plus), ale zmniejsza dzielnik $n-k-1$ (minus). $\bar R^2$ rośnie tylko wtedy, gdy spadek RSS przeważa nad karą za utratę stopnia swobody.

Kiedy ̄R² rośnie, a kiedy spada.

Wygodna postać równoważna: $\;\bar R^2 = 1-(1-R^2)\dfrac{n-1}{n-k-1}$.

Można pokazać, że dodanie zmiennej podnosi $\bar R^2$ wtedy i tylko wtedy, gdy jej statystyka $t$ jest co do wartości bezwzględnej większa od 1 (równoważnie: $F>1$ dla grupy zmiennych). Zmienna „słabsza niż szum" obniża $\bar R^2$ — i o to chodzi. W przeciwieństwie do $R^2$, skorygowane $\bar R^2$ może być ujemne.

Trzy pułapki interpretacyjne

Czego R² nie mówi.

1. Wysokie $R^2$ ≠ poprawny model. Źle dobrana forma funkcyjna albo regresja pozorna na niestacjonarnych szeregach potrafią dać $R^2=0{,}99$ przy modelu bez sensu. Wysokie $R^2$ między dwoma rosnącymi w czasie szeregami (np. PKB i liczba filmów) nie oznacza żadnego związku.
2. Niskie $R^2$ ≠ bezużyteczny model. W danych przekrojowych o ludziach $R^2=0{,}2$ bywa normą — zachowania są z natury „szumne". Model i tak może poprawnie mierzyć efekt przyczynowy (istotne, dobrze oszacowane $\hat\beta$), a o to często chodzi bardziej niż o prognozę.
3. $R^2$ nie ocenia założeń. Nie wykryje heteroskedastyczności, autokorelacji ani obciążenia z pominiętej zmiennej. To miara dopasowania, nie diagnostyka poprawności.

Przykłady liczbowe

Podsumowanie

Bibliografia

• Wright, S. (1921). Correlation and Causation. Journal of Agricultural Research, 20, 557–585.
• Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson. (rozdz. 3 — geometria MNK i $R^2$)
• Wooldridge, J. M. (2020). Introductory Econometrics: A Modern Approach (7th ed.). Cengage. (rozdz. 3 i 6)
• Theil, H. (1971). Principles of Econometrics. Wiley. (skorygowane $R^2$)

---

Dalej: Regresja liniowa · Testy istotności

model <- lm(y ~ x1 + x2, data = dane)
summary(model)$r.squared        # R²
summary(model)$adj.r.squared    # skorygowane R²

# R² „ręcznie" z rozkladu wariancji
tss <- sum((dane$y - mean(dane$y))^2)
rss <- sum(residuals(model)^2)
1 - rss / tss                   # = R²

# R² jako kwadrat korelacji y i dopasowan
cor(dane$y, fitted(model))^2    # to samo

import statsmodels.api as sm
import numpy as np

model = sm.OLS(y, sm.add_constant(X)).fit()
model.rsquared          # R²
model.rsquared_adj      # skorygowane

# z rozkladu wariancji
tss = ((y - y.mean())**2).sum()
rss = (model.resid**2).sum()
1 - rss / tss           # = R²
np.corrcoef(y, model.fittedvalues)[0, 1]**2  # = R²