Algebra liniowa — macierze i wektory w ekonometrii

Znaczenie algebry liniowej

Cały model regresji liniowej można zapisać jednym wzorem macierzowym:

$$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$

To jest serce ekonometrii. Żeby to rozumieć, musisz znać macierze.

Wektory

Wektor to lista liczb zapisana w kolumnie lub wierszu:

$$\mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}$$

Operacje na wektorach

Dodawanie: $\mathbf{a} + \mathbf{b} = (a_1+b_1, a_2+b_2, \ldots)$

Mnożenie przez skalar: $c\mathbf{a} = (ca_1, ca_2, \ldots)$

Iloczyn skalarny (dot product):

$$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n$$

Norma (długość) wektora:

$$\|\mathbf{x}\| = \sqrt{\mathbf{x} \cdot \mathbf{x}} = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}$$

Macierze

Macierz to prostokątna tablica liczb. Macierz $m \times n$ ma $m$ wierszy i $n$ kolumn:

$$\mathbf{A} = \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix}$$

Transpozycja

Transpozycja $\mathbf{A}^T$ zamienia wiersze z kolumnami:

$$(\mathbf{A}^T)_{ij} = \mathbf{A}_{ji}$$

Mnożenie macierzy

$\mathbf{C} = \mathbf{A}\mathbf{B}$ gdzie $\mathbf{A}$ jest $m \times k$ i $\mathbf{B}$ jest $k \times n$:

$$c_{ij} = \sum_{l=1}^{k} a_{il} \cdot b_{lj}$$

Uwaga: $\mathbf{AB} \neq \mathbf{BA}$ (mnożenie macierzy nie jest przemienne!)

Wymiary: $\mathbf{A}(m \times k) \cdot \mathbf{B}(k \times n) = \mathbf{C}(m \times n)$

Wewnętrzne wymiary muszą być równe ($k = k$), wynikowa macierz ma wymiary zewnętrzne.

Macierz identycznościowa

$$\mathbf{I} = \begin{pmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{pmatrix}$$

Dla każdej macierzy: $\mathbf{AI} = \mathbf{IA} = \mathbf{A}$

Odwrotność macierzy

Macierz odwrotna $\mathbf{A}^{-1}$ spełnia:

$$\mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I}$$

Istnieje tylko dla macierzy kwadratowych i nieosobliwych (niezerowy wyznacznik).

Dla macierzy $2 \times 2$:

$$\mathbf{A} = \begin{pmatrix} a & b \\ c & d \end{pmatrix} \implies \mathbf{A}^{-1} = \frac{1}{ad-bc}\begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$$

Model regresji w notacji macierzowej

Dane: $n$ obserwacji, $k$ zmiennych objaśniających.

Macierz danych $\mathbf{X}$ (rozmiar $n \times (k+1)$, pierwsza kolumna to same jedynki):

$$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1k} \\ 1 & x_{21} & x_{22} & \cdots & x_{2k} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nk} \end{pmatrix}$$

Wektor parametrów $\boldsymbol{\beta}$ (rozmiar $(k+1) \times 1$):

$$\boldsymbol{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix}$$

Model: $\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$

Estymator MNK:

$$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$$

To minimalizuje $\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2$ — sumę kwadratów reszt.

Intuicja geometryczna

Wektor $\mathbf{y}$ (obserwowane wartości) rzutujemy na podprzestrzeń rozpiętą przez kolumny $\mathbf{X}$. Rzut to $\hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}}$. Reszty $\hat{\boldsymbol{\varepsilon}} = \mathbf{y} - \hat{\mathbf{y}}$ są prostopadłe do tej podprzestrzeni.

Następnie: Regresja liniowa — teoria i praktyka