Dane panelowe — efekty stałe, losowe i test Hausmana
Pełny wykład ekonometrii panelowej: model z efektem indywidualnym, dowód obciążenia pooled OLS, estymator within (efekty stałe) z dowodem eliminacji efektu jednostkowego, równoważność FE i pierwszych różnic dla T=2, efekty losowe jako GLS i waga θ, test Hausmana z wyprowadzeniem, obciążenie Nickella w modelach dynamicznych — z wykresami w skali szarości (2D i 3D), szczegółowo policzonymi przykładami, kodem R i Python, wkładem polskiej szkoły i bibliografią z DOI.
Dane panelowe łączą wymiar przekrojowy i czasowy: tę samą jednostkę obserwujemy w wielu kolejnych okresach. Pozwala to kontrolować nieobserwowalne, stałe w czasie cechy jednostek — heterogeniczność, której dane przekrojowe nie są w stanie wyeliminować. Wykład obejmuje model z efektem indywidualnym, dowód obciążenia pooled OLS, estymatory efektów stałych i losowych wraz z ich wyprowadzeniem, test Hausmana oraz obciążenie Nickella w modelach dynamicznych.
Struktura i geneza
Zbiór obserwacji $\{y_{it},\mathbf{x}_{it}\}$ dla jednostek $i=1,\dots,N$ i okresów $t=1,\dots,T$. Panel jest zrównoważony, gdy każdą jednostkę obserwujemy w każdym okresie ($NT$ obserwacji), i niezrównoważony w przeciwnym razie. Model z efektem indywidualnym:
$$ y_{it}=\alpha_i+\mathbf{x}_{it}^\top\boldsymbol\beta+\varepsilon_{it}, $$gdzie $\alpha_i$ to nieobserwowalna, stała w czasie cecha jednostki (np. zdolności, jakość zarządzania), a $\varepsilon_{it}$ — idiosynkratyczny składnik losowy.
Połączenie obu wymiarów daje trzy korzyści: większą liczbę obserwacji, możliwość kontroli nieobserwowalnej heterogeniczności oraz badanie dynamiki wewnątrz jednostek. Fundament współczesnej teorii położyli Balestra i Nerlove (1966), wprowadzając model komponentów wariancji, oraz Mundlak (1978), porządkując relację między efektami stałymi i losowymi; test wyboru między nimi pochodzi od Hausmana (1978), a dynamiczne panele — od Arellano i Bonda (1991).
Problem pooled OLS
Najprostszym podejściem jest połączenie wszystkich obserwacji w jednej regresji (pooled OLS), w której efekt $\alpha_i$ wpada do składnika losowego: $y_{it}=\mathbf{x}_{it}^\top\boldsymbol\beta+(\alpha_i+\varepsilon_{it})$. Jeśli $\alpha_i$ koreluje z regresorami, estymator jest obciążony.
Gdy efekt indywidualny jest skorelowany z regresorem, $\mathrm{Cov}(x_{it},\alpha_i)\neq0$, estymator pooled OLS jest niezgodny:
$$ \operatorname{plim}\hat\beta_{\text{pool}}=\beta+\frac{\mathrm{Cov}(x_{it},\alpha_i)}{\mathrm{Var}(x_{it})}. $$- Model połączony. Zapisujemy $y_{it}=\beta x_{it}+u_{it}$ z błędem złożonym $u_{it}=\alpha_i+\varepsilon_{it}$.
- Estymator (regresja prosta). $\hat\beta_{\text{pool}}=\dfrac{\widehat{\mathrm{Cov}}(x,y)}{\widehat{\mathrm{Var}}(x)}=\beta+\dfrac{\widehat{\mathrm{Cov}}(x,u)}{\widehat{\mathrm{Var}}(x)}$.
- Rozkład kowariancji błędu. $\mathrm{Cov}(x_{it},u_{it})=\mathrm{Cov}(x_{it},\alpha_i)+\mathrm{Cov}(x_{it},\varepsilon_{it})$. Przy egzogeniczności idiosynkratycznej ($\mathrm{Cov}(x_{it},\varepsilon_{it})=0$) zostaje $\mathrm{Cov}(x_{it},\alpha_i)$.
- Granica. $\operatorname{plim}\hat\beta_{\text{pool}}=\beta+\dfrac{\mathrm{Cov}(x_{it},\alpha_i)}{\mathrm{Var}(x_{it})}$. Gdy efekt jednostkowy współzmienia z regresorem (np. zdolniejsi pracownicy mają wyższe wykształcenie), obciążenie nie znika nawet w wielkiej próbie.
Estymator efektów stałych (within)
Rozwiązaniem jest usunięcie $\alpha_i$ przez odjęcie średnich jednostkowych — transformacja within.
Odejmując od każdej zmiennej jej średnią w obrębie jednostki, otrzymujemy model bez $\alpha_i$:
$$ (y_{it}-\bar y_i)=(\mathbf{x}_{it}-\bar{\mathbf{x}}_i)^\top\boldsymbol\beta+(\varepsilon_{it}-\bar\varepsilon_i). $$MNK na zmiennych odjętych od średnich daje estymator within (FE), zgodny nawet wtedy, gdy $\alpha_i$ koreluje z regresorami.
- Model wyjściowy. $y_{it}=\alpha_i+\mathbf{x}_{it}^\top\boldsymbol\beta+\varepsilon_{it}$.
- Średnia w obrębie jednostki. Uśredniając po $t=1,\dots,T$ przy stałym $i$: $\bar y_i=\alpha_i+\bar{\mathbf{x}}_i^\top\boldsymbol\beta+\bar\varepsilon_i$, gdzie $\bar y_i=\tfrac1T\sum_t y_{it}$ (efekt $\alpha_i$ jest stały, więc jego średnia to on sam).
- Odjęcie. Odejmując równanie średnich od wyjściowego: $y_{it}-\bar y_i=(\mathbf{x}_{it}-\bar{\mathbf{x}}_i)^\top\boldsymbol\beta+(\varepsilon_{it}-\bar\varepsilon_i)$. Człon $\alpha_i-\alpha_i=0$ znika.
- Brak efektu w równaniu. Skoro $\alpha_i$ już nie występuje, jego korelacja z regresorami przestaje obciążać estymator — to klucz do zgodności FE.
- Estymator within. $\hat{\boldsymbol\beta}_{FE}=\Big(\sum_{i,t}(\mathbf{x}_{it}-\bar{\mathbf{x}}_i)(\mathbf{x}_{it}-\bar{\mathbf{x}}_i)^\top\Big)^{-1}\sum_{i,t}(\mathbf{x}_{it}-\bar{\mathbf{x}}_i)(y_{it}-\bar y_i)$ — MNK na danych wycentrowanych w obrębie jednostek. Jest to szczególny przypadek [twierdzenia Frischa-Waugha-Lovella](/ekonometria/mnk-wyprowadzenie/): „wytrącenie" zmiennych zero-jedynkowych jednostek to właśnie odjęcie średnich grupowych.
Geometrycznie estymator within identyfikuje $\boldsymbol\beta$ wyłącznie ze zmienności wewnątrz jednostek: każda jednostka dostaje własną prostą o tym samym nachyleniu $\boldsymbol\beta$, lecz innym przesunięciu $\alpha_i$.
Czego FE nie estymuje.
Transformacja within usuwa wszystko, co jest stałe w czasie — w tym zmienne niezmienne w czasie (płeć, region urodzenia, branża). Ich współczynników FE nie zidentyfikuje, bo po odjęciu średniej jednostkowej znikają tak samo jak $\alpha_i$. Jeśli interesują nas takie zmienne, konieczny jest model efektów losowych lub podejście hybrydowe (Mundlak 1978).
Równoważność FE i pierwszych różnic dla T = 2
- Pierwsza różnica. $\Delta y_i=y_{i2}-y_{i1}=(\alpha_i-\alpha_i)+\beta(x_{i2}-x_{i1})+(\varepsilon_{i2}-\varepsilon_{i1})=\beta\,\Delta x_i+\Delta\varepsilon_i$. Efekt $\alpha_i$ znika.
- Transformacja within dla T=2. Średnia jednostkowa $\bar y_i=\tfrac{y_{i1}+y_{i2}}{2}$. Odchylenia: $y_{i2}-\bar y_i=\tfrac{y_{i2}-y_{i1}}{2}=\tfrac{\Delta y_i}{2}$ oraz $y_{i1}-\bar y_i=-\tfrac{\Delta y_i}{2}$. Analogicznie dla $x$.
- Ten sam estymator nachylenia. Estymator within: $\hat\beta_{FE}=\dfrac{\sum_i\big[(\tfrac{\Delta x_i}{2})(\tfrac{\Delta y_i}{2})+(-\tfrac{\Delta x_i}{2})(-\tfrac{\Delta y_i}{2})\big]}{\sum_i\big[(\tfrac{\Delta x_i}{2})^2+(-\tfrac{\Delta x_i}{2})^2\big]}=\dfrac{\sum_i \tfrac12\Delta x_i\Delta y_i}{\sum_i \tfrac12(\Delta x_i)^2}=\dfrac{\sum_i\Delta x_i\Delta y_i}{\sum_i(\Delta x_i)^2}=\hat\beta_{FD}$. Czynnik $\tfrac12$ skraca się, więc oba estymatory są równe.
Dla $T>2$ estymatory się różnią: FE jest efektywniejszy przy nieskorelowanych $\varepsilon_{it}$, a FD — gdy $\varepsilon_{it}$ są błądzeniem losowym.
Efekty losowe (RE) jako GLS
Jeśli przyjąć, że efekt jednostkowy jest losowy i nieskorelowany z regresorami, $\alpha_i\sim IID(0,\sigma_\alpha^2)$, traktujemy go jako część błędu i estymujemy uogólnioną MNK.
Estymator efektów losowych to MNK na zmiennych częściowo odjętych od średnich:
$$ y_{it}-\theta\bar y_i=(\mathbf{x}_{it}-\theta\bar{\mathbf{x}}_i)^\top\boldsymbol\beta+w_{it},\qquad \theta=1-\frac{\sigma_\varepsilon}{\sqrt{\sigma_\varepsilon^2+T\sigma_\alpha^2}}. $$Granice: $\theta=0$ daje pooled OLS, $\theta=1$ — estymator within. RE interpoluje między nimi w zależności od udziału wariancji efektu jednostkowego.
- Błąd złożony. $u_{it}=\alpha_i+\varepsilon_{it}$ ma wariancję $\sigma_\alpha^2+\sigma_\varepsilon^2$ oraz kowariancję wewnątrz jednostki $\mathrm{Cov}(u_{it},u_{is})=\sigma_\alpha^2$ dla $t\neq s$ (wspólny $\alpha_i$). Macierz kowariancji jest więc blokowa o strukturze ekwikorelacji.
- GLS jako odwrócenie tej macierzy. [Uogólniona MNK](/ekonometria/heteroskedastycznosc/) wymaga przekształcenia $\boldsymbol\Omega^{-1/2}$. Dla struktury ekwikorelacyjnej przekształcenie to przyjmuje postać częściowego odejmowania średniej jednostkowej z wagą $\theta$.
- Postać wagi. Rozwiązanie daje $\theta=1-\dfrac{\sigma_\varepsilon}{\sqrt{\sigma_\varepsilon^2+T\sigma_\alpha^2}}$ — wyprowadzenie z wartości własnych macierzy ekwikorelacji ($T-1$ wartości własnych równych $\sigma_\varepsilon^2$ i jedna równa $\sigma_\varepsilon^2+T\sigma_\alpha^2$).
- Przypadki graniczne. Gdy $\sigma_\alpha^2=0$ (brak efektu jednostkowego), $\theta=0$ i RE = pooled OLS. Gdy $\sigma_\alpha^2\to\infty$ lub $T\to\infty$, $\theta\to1$ i RE = within. RE jest więc ważoną kombinacją zmienności między jednostkami i wewnątrz nich, efektywną **pod warunkiem** braku korelacji $\alpha_i$ z regresorami.
Test Hausmana
Wybór między FE i RE sprowadza się do pytania, czy $\alpha_i$ koreluje z regresorami. Odpowiada na nie test Hausmana (1978).
Przy $H_0:\mathrm{Cov}(\alpha_i,\mathbf{x}_{it})=0$ oba estymatory są zgodne, lecz RE efektywny; przy $H_1$ tylko FE jest zgodny. Statystyka
$$ H=(\hat{\boldsymbol\beta}_{FE}-\hat{\boldsymbol\beta}_{RE})^\top\big[\widehat{\mathrm{Var}}(\hat{\boldsymbol\beta}_{FE})-\widehat{\mathrm{Var}}(\hat{\boldsymbol\beta}_{RE})\big]^{-1}(\hat{\boldsymbol\beta}_{FE}-\hat{\boldsymbol\beta}_{RE})\sim\chi^2_k. $$Odrzucenie $H_0$ (duże $H$) wskazuje na konieczność FE.
- Lemat Hausmana. Pod $H_0$ estymator RE jest **efektywny** (najmniejsza wariancja w klasie zgodnych). Niech $\mathbf{q}=\hat{\boldsymbol\beta}_{FE}-\hat{\boldsymbol\beta}_{RE}$. Kluczowe twierdzenie: efektywny estymator jest nieskorelowany z różnicą między dowolnym innym zgodnym estymatorem a nim samym, $\mathrm{Cov}(\mathbf{q},\hat{\boldsymbol\beta}_{RE})=\mathbf{0}$.
- Dowód lematu. Gdyby $\mathrm{Cov}(\mathbf{q},\hat{\boldsymbol\beta}_{RE})\neq\mathbf{0}$, to estymator $\hat{\boldsymbol\beta}_{RE}+\lambda\mathbf{q}$ dla odpowiedniego $\lambda$ miałby mniejszą wariancję niż $\hat{\boldsymbol\beta}_{RE}$ — sprzeczność z jego efektywnością. Zatem kowariancja musi być zerowa.
- Rozkład wariancji. Z $\hat{\boldsymbol\beta}_{FE}=\hat{\boldsymbol\beta}_{RE}+\mathbf{q}$ i zerowej kowariancji: $$ \mathrm{Var}(\hat{\boldsymbol\beta}_{FE})=\mathrm{Var}(\hat{\boldsymbol\beta}_{RE})+\mathrm{Var}(\mathbf{q}), $$ skąd $\mathrm{Var}(\mathbf{q})=\mathrm{Var}(\hat{\boldsymbol\beta}_{FE})-\mathrm{Var}(\hat{\boldsymbol\beta}_{RE})$ — różnica wariancji, którą da się estymować bez znajomości kowariancji między estymatorami.
- Forma kwadratowa. Standaryzując $\mathbf{q}$ jego macierzą wariancji, otrzymujemy formę kwadratową o rozkładzie $\chi^2_k$ ($k$ — liczba porównywanych współczynników), co kończy konstrukcję testu.
Przykład liczbowy
Rozważmy panel $N=3$, $T=3$ z prawdziwym modelem $y_{it}=\alpha_i+2x_{it}+\varepsilon_{it}$, w którym efekt rośnie z poziomem $x$: $(\alpha_1,\alpha_2,\alpha_3)=(1,5,10)$, a $x$ jednostki to kolejno $\{1,2,3\}$, $\{4,5,6\}$, $\{7,8,9\}$.
| Estymator | $\hat\beta$ | Co wykorzystuje |
|---|---|---|
| pooled OLS | $3{,}35$ | całą zmienność (obciążony) |
| within (FE) | $2{,}00$ | zmienność wewnątrz jednostek (prawda) |
| between | $3{,}50$ | zmienność między jednostkami |
Źródło obciążenia: $\widehat{\mathrm{Cov}}(\alpha_i,\bar x_i)=27>0$, więc zgodnie z dowodem pooled OLS zawyża nachylenie. Within, usuwając $\alpha_i$, odzyskuje dokładnie $\beta=2$. Between, oparty wyłącznie na średnich jednostkowych, jest maksymalnie zanieczyszczony efektem $\alpha_i$.
Przy $T=3$ waga RE zależy od udziału wariancji efektu jednostkowego $r=\sigma_\alpha^2/\sigma_\varepsilon^2$, jako $\theta=1-1/\sqrt{1+3r}$:
| $r=\sigma_\alpha^2/\sigma_\varepsilon^2$ | $0$ | $0{,}5$ | $1$ | $4$ | $100$ |
|---|---|---|---|---|---|
| $\theta$ | $0{,}000$ | $0{,}368$ | $0{,}500$ | $0{,}723$ | $0{,}942$ |
Gdy efekt jednostkowy jest pomijalny ($r=0$), RE pokrywa się z pooled OLS; gdy dominuje ($r=100$), RE niemal pokrywa się z within. W typowych zastosowaniach mikroekonometrycznych $\theta$ bywa rzędu $0{,}7$–$0{,}9$.
Modele dynamiczne i obciążenie Nickella
Gdy do modelu wchodzi opóźniona zmienna zależna, $y_{it}=\rho y_{i,t-1}+\mathbf{x}_{it}^\top\boldsymbol\beta+\alpha_i+\varepsilon_{it}$, transformacja within wprowadza nowy problem: wycentrowany regresor $y_{i,t-1}-\bar y_i$ koreluje z wycentrowanym błędem $\varepsilon_{it}-\bar\varepsilon_i$, bo $\bar y_i$ zawiera wszystkie $\varepsilon_{it}$.
W dynamicznym modelu panelowym z efektami stałymi estymator within jest obciążony o rząd $1/T$ (Nickell 1981); dla procesu AR(1) wiodący wyraz to
$$ \operatorname{plim}_{N\to\infty}(\hat\rho_{FE}-\rho)\approx-\frac{1+\rho}{T-1}. $$Obciążenie znika dopiero dla dużego $T$, lecz dla typowych krótkich paneli ($T=5$–$10$) jest dotkliwe.
Lekarstwem jest estymator GMM Arellano-Bonda (1991): różnicujemy równanie, by usunąć $\alpha_i$, a jako instrumenty dla $\Delta y_{i,t-1}$ wykorzystujemy głębsze opóźnienia poziomów $y_{i,t-2},y_{i,t-3},\dots$, które są nieskorelowane z $\Delta\varepsilon_{it}$. Prawidłowość instrumentów weryfikuje test nadidentyfikacji Sargana-Hansena, a brak autokorelacji rzędu drugiego — test Arellano-Bonda.
Błędy standardowe w panelu
Obserwacje tej samej jednostki w różnych okresach są skorelowane (wspólny $\alpha_i$), więc klasyczne błędy standardowe są zaniżone. Standardem są błędy klasterowane po jednostkach (clustered SE), odporne na dowolną korelację wewnątrz jednostki oraz na heteroskedastyczność. Przy podejrzeniu wspólnych szoków w danym okresie stosuje się dodatkowo klasteryzację po czasie lub klasteryzację dwuwymiarową, a wspólne szoki kontroluje się efektami czasowymi $\lambda_t$ (model dwukierunkowy $y_{it}=\alpha_i+\lambda_t+\mathbf{x}_{it}^\top\boldsymbol\beta+\varepsilon_{it}$).
Wkład polskiej szkoły
Polska ekonometria panelowa rozwijała się w ośrodkach warszawskim, łódzkim i poznańskim. Marek Gruszczyński (SGH) jest redaktorem podręcznika Mikroekonometria. Modele i metody analizy danych indywidualnych — kanonicznego polskiego opracowania modeli dla danych jednostkowych, w tym panelowych i zmiennych jakościowych. Barbara Dańska-Borsiak (Uniwersytet Łódzki) w monografii Dynamiczne modele panelowe w badaniach ekonomicznych (2011) szczegółowo omawia estymatory GMM Arellano-Bonda i Blundella-Bonda w zastosowaniach do polskich danych regionalnych. Modele panelowe są dziś standardem w badaniach konwergencji regionalnej i wzrostu gospodarczego prowadzonych m.in. w PAN i na uczelniach ekonomicznych.
Podsumowanie
- Model: $y_{it}=\alpha_i+\mathbf{x}_{it}^\top\boldsymbol\beta+\varepsilon_{it}$ z nieobserwowalnym efektem jednostkowym.
- Pooled OLS: obciążony, gdy $\mathrm{Cov}(x,\alpha)\neq0$ (o $\mathrm{Cov}(x,\alpha)/\mathrm{Var}(x)$).
- FE / within: odejmuje średnie jednostkowe, usuwa $\alpha_i$, zgodny nawet przy korelacji; nie estymuje zmiennych stałych w czasie. Dla $T=2$ równy pierwszym różnicom.
- RE: GLS z wagą $\theta$; efektywny, lecz wymaga $\mathrm{Cov}(\alpha,x)=0$. Interpoluje pooled↔within.
- Hausman: $H=\mathbf{q}^\top[\mathrm{Var}(FE)-\mathrm{Var}(RE)]^{-1}\mathbf{q}\sim\chi^2_k$ — wybór FE vs RE.
- Panel dynamiczny: obciążenie Nickella $\approx-(1+\rho)/(T-1)$; lekarstwo — GMM Arellano-Bonda.
Bibliografia
- Arellano, M., & Bond, S. (1991). Some Tests of Specification for Panel Data: Monte Carlo Evidence and an Application to Employment Equations. The Review of Economic Studies, 58(2), 277–297. https://doi.org/10.2307/2297968
- Balestra, P., & Nerlove, M. (1966). Pooling Cross Section and Time Series Data in the Estimation of a Dynamic Model. Econometrica, 34(3), 585–612. https://doi.org/10.2307/1909771
- Baltagi, B. H. (2021). Econometric Analysis of Panel Data (6th ed.). Springer. https://doi.org/10.1007/978-3-030-53953-5
- Dańska-Borsiak, B. (2011). Dynamiczne modele panelowe w badaniach ekonomicznych. Wydawnictwo Uniwersytetu Łódzkiego.
- Gruszczyński, M. (red.). Mikroekonometria. Modele i metody analizy danych indywidualnych. Wolters Kluwer.
- Hausman, J. A. (1978). Specification Tests in Econometrics. Econometrica, 46(6), 1251–1271. https://doi.org/10.2307/1913827
- Mundlak, Y. (1978). On the Pooling of Time Series and Cross Section Data. Econometrica, 46(1), 69–85. https://doi.org/10.2307/1913646
- Nickell, S. (1981). Biases in Dynamic Models with Fixed Effects. Econometrica, 49(6), 1417–1426. https://doi.org/10.2307/1911408
- Wooldridge, J. M. (2010). Econometric Analysis of Cross Section and Panel Data (2nd ed.). MIT Press.
Dalej: Zmienne instrumentalne · Heteroskedastyczność · Autokorelacja · Difference-in-differences
- Podręcznik: J. M. Wooldridge, Econometric Analysis of Cross Section and Panel Data, MIT Press, 2. wyd. 2010
- Podręcznik: B. H. Baltagi, Econometric Analysis of Panel Data, Springer, 6. wyd. 2021
- M. Gruszczyński (red.), Mikroekonometria. Modele i metody analizy danych indywidualnych, Wolters Kluwer
- B. Dańska-Borsiak, Dynamiczne modele panelowe w badaniach ekonomicznych, Wydawnictwo Uniwersytetu Łódzkiego, 2011
- Pakiety: R
plm,lfe; Pythonlinearmodels
R:
library(plm)
d <- data.frame(
id = rep(1:3, each = 3), t = rep(1:3, 3),
x = c(1,2,3, 4,5,6, 7,8,9),
y = c(3.1,4.9,7.0, 13.0,15.1,16.9, 23.9,26.0,28.1))
p <- pdata.frame(d, index = c("id","t"))
plm(y ~ x, data = p, model = "pooling")$coef # 3,35 (obciazone)
plm(y ~ x, data = p, model = "within")$coef # 2,00 (FE — prawda)
plm(y ~ x, data = p, model = "between")$coef # 3,50
re <- plm(y ~ x, data = p, model = "random")
phtest(plm(y ~ x, data=p, model="within"), re) # test Hausmana
Python:
import numpy as np, pandas as pd
from linearmodels import PanelOLS, RandomEffects, PooledOLS
d = pd.DataFrame({
'id': np.repeat([1,2,3],3), 't': list(range(1,4))*3,
'x': [1,2,3,4,5,6,7,8,9],
'y': [3.1,4.9,7.0,13.0,15.1,16.9,23.9,26.0,28.1]}).set_index(['id','t'])
print(PooledOLS.from_formula('y ~ 1 + x', d).fit().params) # 3,35
print(PanelOLS.from_formula('y ~ x + EntityEffects', d).fit().params) # 2,00
print(RandomEffects.from_formula('y ~ 1 + x', d).fit().params)