Przestrzenie metryczne, unormowane i unitarne

Streszczenie

Pojęcie odległości w pełnej ogólności: aksjomaty metryki, katalog metryk (euklidesowa, miejska, maksimum, dyskretna), kule i ich zaskakujące kształty, normy i przestrzenie unormowane, iloczyn skalarny z nierównością Cauchy'ego-Schwarza i twierdzeniem Pitagorasa, zbiory otwarte i domknięte, ciągi zbieżne, warunek Cauchy'ego i zupełność (przestrzenie Banacha i Hilberta). Każde pojęcie z osobnym rysunkiem.

W rozdziale pierwszym mówiliśmy o zbiorach i odwzorowaniach „statycznie”. Analiza zaczyna się tam, gdzie pojawia się odległość — bo to ona pozwala powiedzieć, że jeden punkt jest „blisko” drugiego, że ciąg „zbiega”, że funkcja jest „ciągła”. Okazuje się, że całą tę maszynerię można zbudować na jednym, bardzo oszczędnym pojęciu metryki. Co więcej, ta sama przestrzeń może mieć wiele różnych metryk, a kule w nich potrafią być kwadratami albo rombami. Ten rozdział wprowadza metryki, normy i iloczyn skalarny — trzy poziomy bogactwa struktury, na których oprze się reszta kursu, a które w ekonometrii odpowiadają różnym sposobom mierzenia błędu modelu.

Przestrzeń metryczna

Odległość jako jedyny budulec.

Nie potrzebujemy współrzędnych ani kątów, by mówić o zbieżności i ciągłości — wystarczy funkcja, która każdej parze punktów przypisuje ich „odległość”. Musi ona tylko spełniać kilka oczywistych własności: być nieujemna, znikać dokładnie dla punktu z samym sobą, być symetryczna i nie pozwalać, by „droga na skróty” była dłuższa niż przez punkt pośredni. To ostatnie to słynna nierówność trójkąta.

Definicja

Metryka i przestrzeń metryczna

Metryką na zbiorze $X$ nazywamy funkcję $d\colon X\times X\to\mathbb{R}$ spełniającą dla wszystkich $x,y,z\in X$:

(M1) $d(x,y)\ge 0$ oraz $d(x,y)=0 \Leftrightarrow x=y$ (dodatniość i rozróżnialność),
(M2) $d(x,y)=d(y,x)$ (symetria),
(M3) $d(x,z)\le d(x,y)+d(y,z)$ (nierówność trójkąta).

Parę $(X,d)$ nazywamy przestrzenią metryczną.

Trójkąt ilustrujący nierówność trójkąta dla metryki — Nierówność trójkąta $d(x,z)\le d(x,y)+d(y,z)$: bok $xz$ nigdy nie jest dłuższy niż łamana przez punkt pośredni $y$. To jedyny aksjomat wiążący trzy punkty — i z niego płynie cała geometria zbieżności.

Katalog metryk

Na płaszczyźnie $\mathbb{R}^2$ jeden zbiór punktów dopuszcza wiele rozsądnych metryk. Cztery z nich wracają najczęściej.

Przykład

Metryka euklidesowa

Najbardziej znana — „w linii prostej”:

$$ d_2(x,y)=\sqrt{(x_1-y_1)^2+(x_2-y_2)^2}. $$

To długość przeciwprostokątnej trójkąta o przyprostokątnych równych różnicom współrzędnych — czyli twierdzenie Pitagorasa w działaniu.

Odległość euklidesowa jako przeciwprostokątna trójkąta — Metryka euklidesowa: odległość to długość odcinka łączącego punkty, czyli przeciwprostokątna trójkąta o przyprostokątnych $|x_1-y_1|$ i $|x_2-y_2|$.

Przykład

Metryka miejska (taksówkowa)

W mieście o prostopadłej siatce ulic nie da się jechać „na ukos”. Odległość to suma przesunięć wzdłuż osi:

$$ d_1(x,y)=|x_1-y_1|+|x_2-y_2|. $$

Nazywana też metryką Manhattan lub $\ell_1$.

Metryka taksówkowa jako suma przesunięć po siatce ulic — Metryka miejska $d_1$: poruszamy się tylko wzdłuż siatki, więc odległość to suma poziomego i pionowego przesunięcia. **Wszystkie** schodkowe drogi mają tę samą długość — krótszej „na ukos” nie ma.

Przykład

Metryka maksimum i metryka dyskretna

Maksimum (Czebyszewa, $\ell_\infty$): liczy się tylko największa współrzędna różnicy:

$$ d_\infty(x,y)=\max\big(|x_1-y_1|,\,|x_2-y_2|\big). $$

Dyskretna: każde dwa różne punkty są w odległości $1$ — $d(x,y)=0$, gdy $x=y$, oraz $d(x,y)=1$ w przeciwnym razie. Pokazuje, że metryka nie musi mieć nic wspólnego z geometrią.

Metryka maksimum jako większa z różnic współrzędnych — Metryka maksimum $d_\infty$ bierze **większą** z dwóch różnic współrzędnych (tu poziomą). To naturalna miara, gdy obie współrzędne zmieniają się równolegle i liczy się najgorszy przypadek.

Metryka dyskretna: wszystkie różne punkty w odległości jeden — Metryka dyskretna: każdy punkt jest „o krok” od każdego innego, niezależnie od położenia na rysunku. Odległości są albo $0$ (ten sam punkt), albo $1$ — geometria znika zupełnie.

Kule

Definicja

Kula otwarta

Kulą otwartą o środku $x_0$ i promieniu $r\gt 0$ nazywamy zbiór punktów odległych od $x_0$ o mniej niż $r$:

$$ K(x_0,r)=\{x\in X : d(x,x_0)\lt r\}. $$

To podstawowy „klocek” topologii: za jego pomocą zdefiniujemy zbiory otwarte, granice i ciągłość.

Kula otwarta jako wnętrze okręgu bez brzegu — Kula otwarta $K(x_0,r)$ w metryce euklidesowej to wnętrze okręgu o środku $x_0$ i promieniu $r$. Brzeg (linia przerywana) **nie** należy do kuli otwartej — stąd warunek ostrej nierówności $d \lt r$.

Kształt kuli zdradza, jaką metrykę wybraliśmy. To jeden z najbardziej pouczających obrazków w całej analizie.

Kule jednostkowe w metrykach l1, l2 i l-nieskończoność: romb, koło, kwadrat — Kula jednostkowa $\{x:d(0,x)\le 1\}$ zależy od metryki: w $d_1$ to **romb**, w $d_2$ — **koło**, w $d_\infty$ — **kwadrat**. Ten sam promień, trzy różne kształty — bo „blisko” znaczy co innego w każdej metryce.

Przestrzeń unormowana

Gdy zbiór $X$ jest przestrzenią wektorową, możemy mierzyć „długość” każdego wektora — i z niej wyprowadzić odległość. Tę długość nazywamy normą.

Definicja

Norma i przestrzeń unormowana

Normą na przestrzeni wektorowej $X$ (nad $\mathbb{R}$) nazywamy funkcję $\lVert\cdot\rVert\colon X\to\mathbb{R}$ spełniającą:

(N1) $\lVert x\rVert\ge 0$ oraz $\lVert x\rVert=0 \Leftrightarrow x=0$,
(N2) $\lVert \alpha x\rVert=|\alpha|\,\lVert x\rVert$ (jednorodność),
(N3) $\lVert x+y\rVert\le \lVert x\rVert+\lVert y\rVert$ (nierówność trójkąta).

Każda norma zadaje metrykę wzorem $d(x,y)=\lVert x-y\rVert$. Parę $(X,\lVert\cdot\rVert)$ nazywamy przestrzenią unormowaną.

Norma jako długość wektora i odległość jako norma różnicy — Norma to długość wektora liczona od początku układu; jednorodność (N2) mówi, że dwukrotne wydłużenie wektora dwukrotnie zwiększa normę. Odległość punktów to norma ich różnicy: $d(x,y)=\lVert x-y\rVert$.

Przykład

Normy $\ell_p$

Na $\mathbb{R}^n$ dla $p\ge 1$ definiujemy

$$ \lVert x\rVert_p=\Big(\textstyle\sum_{i=1}^n |x_i|^p\Big)^{1/p}, \qquad \lVert x\rVert_\infty=\max_i |x_i|. $$

Dla $p=1,2,\infty$ otrzymujemy odpowiednio normę miejską, euklidesową i maksimum. Im większe $p$, tym „kanciastsza” kula jednostkowa.

Kule jednostkowe norm lp dla p równego 1, 1.5, 2, 4 i nieskończoność — Kule jednostkowe norm $\ell_p$ rosną od rombu ($p=1$), przez koło ($p=2$), aż do kwadratu ($p=\infty$). Krzywe $p=1{,}5$ i $p=4$ pokazują płynne przejście — wraz ze wzrostem $p$ brzeg „pęcznieje” ku kwadratowi.

Przestrzeń unitarna (z iloczynem skalarnym)

Najbogatszą strukturę daje iloczyn skalarny: pozwala mówić nie tylko o długościach, lecz i o kątach oraz prostopadłości.

Definicja

Iloczyn skalarny i przestrzeń unitarna

Iloczynem skalarnym na rzeczywistej przestrzeni wektorowej $X$ nazywamy funkcję $\langle\cdot,\cdot\rangle\colon X\times X\to\mathbb{R}$, która jest:

(I1) dodatnio określona: $\langle x,x\rangle\ge 0$ oraz $\langle x,x\rangle=0 \Leftrightarrow x=0$,
(I2) symetryczna: $\langle x,y\rangle=\langle y,x\rangle$,
(I3) liniowa w pierwszym argumencie: $\langle \alpha x+\beta x',\,y\rangle=\alpha\langle x,y\rangle+\beta\langle x',y\rangle$.

Indukuje on normę $\lVert x\rVert=\sqrt{\langle x,x\rangle}$. Na $\mathbb{R}^n$ standardowy iloczyn to $\langle x,y\rangle=\sum_i x_i y_i$.

Iloczyn skalarny i kąt między dwoma wektorami — Iloczyn skalarny koduje kąt między wektorami: $\langle x,y\rangle=\lVert x\rVert\,\lVert y\rVert\cos\theta$. Gdy wektory są zgodnie skierowane, jest dodatni; gdy prostopadłe — zeruje się; gdy przeciwne — ujemny.

Twierdzenie

Nierówność Cauchy'ego-Schwarza

W każdej przestrzeni unitarnej dla wszystkich $x,y$:

$$ |\langle x,y\rangle| \le \lVert x\rVert\,\lVert y\rVert, $$

z równością wtedy i tylko wtedy, gdy wektory są współliniowe.

Dowód

Nierówność Cauchy'ego-Schwarza

Przypadek trywialny. Jeśli $y=0$, obie strony są zerami. Załóżmy więc $y\ne 0$.
Pomysł: dodatniość kwadratu. Dla dowolnego $t\in\mathbb{R}$ z aksjomatu (I1): $$ 0\le \langle x-ty,\,x-ty\rangle = \lVert x\rVert^2 - 2t\,\langle x,y\rangle + t^2\lVert y\rVert^2, $$ gdzie skorzystaliśmy z symetrii i liniowości iloczynu skalarnego.
To trójmian kwadratowy w $t$. Prawa strona jest funkcją kwadratową zmiennej $t$ o dodatnim współczynniku $\lVert y\rVert^2\gt 0$, która nigdzie nie schodzi poniżej zera. Taki trójmian ma wyróżnik $\Delta\le 0$: $$ \Delta = \big(2\langle x,y\rangle\big)^2 - 4\lVert y\rVert^2\lVert x\rVert^2 \le 0. $$
Przekształcenie. Stąd $\langle x,y\rangle^2 \le \lVert x\rVert^2\lVert y\rVert^2$, a po spierwiastkowaniu $|\langle x,y\rangle|\le \lVert x\rVert\,\lVert y\rVert$.
Równość. Zachodzi dokładnie wtedy, gdy $\Delta=0$, czyli trójmian ma pierwiastek $t_0$, dla którego $\langle x-t_0y,\,x-t_0y\rangle=0$, a więc $x=t_0y$ — wektory są współliniowe. $\;$

∎

Geometryczna interpretacja nierówności Cauchy'ego-Schwarza przez rzut — Cauchy-Schwarz geometrycznie: rzut wektora $x$ na kierunek $y$ ma długość $\lVert x\rVert\,|\cos\theta|$, nigdy większą niż $\lVert x\rVert$. Stąd $|\langle x,y\rangle|=\lVert x\rVert\lVert y\rVert\,|\cos\theta|\le \lVert x\rVert\lVert y\rVert$.

Z Cauchy-Schwarza natychmiast wynika, że norma euklidesowa naprawdę jest normą.

Twierdzenie

Norma z iloczynu skalarnego spełnia nierówność trójkąta

Jeżeli $\lVert x\rVert=\sqrt{\langle x,x\rangle}$, to $\lVert x+y\rVert\le \lVert x\rVert+\lVert y\rVert$.

Dowód

Nierówność trójkąta dla normy euklidesowej

Rozwinięcie kwadratu. Z liniowości i symetrii: $$ \lVert x+y\rVert^2 = \langle x+y,\,x+y\rangle = \lVert x\rVert^2 + 2\langle x,y\rangle + \lVert y\rVert^2.$$
Szacowanie środkowego składnika. Z nierówności Cauchy'ego-Schwarza $\langle x,y\rangle\le |\langle x,y\rangle|\le \lVert x\rVert\,\lVert y\rVert$, więc $$ \lVert x+y\rVert^2 \le \lVert x\rVert^2 + 2\lVert x\rVert\lVert y\rVert + \lVert y\rVert^2 = \big(\lVert x\rVert+\lVert y\rVert\big)^2.$$
Pierwiastkowanie. Obie strony są nieujemne, więc $\lVert x+y\rVert\le \lVert x\rVert+\lVert y\rVert$. $\;$

∎

Ortogonalność i twierdzenie Pitagorasa

Definicja

Ortogonalność

Wektory $x,y$ są ortogonalne (prostopadłe), $x\perp y$, gdy $\langle x,y\rangle=0$. Geometrycznie odpowiada to kątowi prostemu między nimi.

Dwa wektory ortogonalne tworzące kąt prosty — Wektory ortogonalne: $\langle x,y\rangle=0$ to algebraiczny zapis kąta prostego. Iloczyn skalarny zeruje się dokładnie wtedy, gdy rzut jednego wektora na drugi jest punktem.

Twierdzenie

Twierdzenie Pitagorasa w przestrzeni unitarnej

Jeśli $x\perp y$, to

$$ \lVert x+y\rVert^2 = \lVert x\rVert^2 + \lVert y\rVert^2. $$

Dowód

Twierdzenie Pitagorasa

Rozwinięcie. Jak wyżej, $\lVert x+y\rVert^2 = \lVert x\rVert^2 + 2\langle x,y\rangle + \lVert y\rVert^2$.
Założenie ortogonalności. Skoro $x\perp y$, środkowy składnik $2\langle x,y\rangle=0$.
Wniosek. Zostaje $\lVert x+y\rVert^2 = \lVert x\rVert^2 + \lVert y\rVert^2$ — klasyczny Pitagoras, lecz wyprowadzony czysto z aksjomatów iloczynu skalarnego, więc ważny też w przestrzeniach funkcyjnych. $\;$

∎

Twierdzenie Pitagorasa dla sumy dwóch ortogonalnych wektorów — Twierdzenie Pitagorasa: gdy $x\perp y$, kwadrat długości przekątnej $x+y$ jest sumą kwadratów boków. Ortogonalność „wycina” składnik mieszany $2\langle x,y\rangle$, zostawiając czystą sumę kwadratów.

Topologia metryczna

Mając kule, możemy mówić o tym, które zbiory są „otwarte”, a które „domknięte” — to fundament pojęcia ciągłości.

Definicja

Zbiór otwarty i domknięty

Zbiór $U\subseteq X$ jest otwarty, gdy wokół każdego swojego punktu zawiera pewną kulę: $\forall_{x\in U}\,\exists_{r\gt 0}\; K(x,r)\subseteq U$. Zbiór jest domknięty, gdy jego dopełnienie jest otwarte — równoważnie, gdy zawiera granice wszystkich swoich zbieżnych ciągów.

Zbiór otwarty z kulami wokół punktów wewnętrznych — Zbiór otwarty: wokół **każdego** punktu (nawet bliskiego brzegowi) mieści się mała kula całkowicie wewnątrz zbioru. Brzeg do zbioru nie należy — dlatego rysujemy go linią przerywaną.

Zbiór domknięty zawierający swój brzeg — Zbiór domknięty zawiera swój brzeg (linia ciągła). Punkt na brzegu jest granicą ciągu punktów ze zbioru — i też do zbioru należy. To właśnie odróżnia domknięcie od otwartości.

Zbieżność i zupełność

Definicja

Ciąg zbieżny

Ciąg $(x_n)$ punktów przestrzeni metrycznej $(X,d)$ jest zbieżny do $g$, gdy odległości $d(x_n,g)$ dążą do zera:

$$ \forall_{\varepsilon\gt 0}\;\exists_{N}\;\forall_{n\ge N}\; d(x_n,g)\lt \varepsilon. $$

Czyli: od pewnego miejsca wszystkie wyrazy wpadają do dowolnie małej kuli wokół $g$.

Ciąg punktów zbiegający do granicy w kurczących się kulach — Zbieżność $x_n\to g$: dla każdego promienia $\varepsilon$ istnieje numer $N$, od którego wszystkie wyrazy leżą w kuli $K(g,\varepsilon)$. Kolejne kule kurczą się do granicy, a ciąg w nie „wpada”.

Definicja

Warunek Cauchy'ego i zupełność

Ciąg $(x_n)$ spełnia warunek Cauchy’ego, gdy jego wyrazy stają się dowolnie bliskie sobie nawzajem:

$$ \forall_{\varepsilon\gt 0}\;\exists_{N}\;\forall_{m,n\ge N}\; d(x_m,x_n)\lt \varepsilon. $$

Przestrzeń jest zupełna, gdy każdy ciąg Cauchy’ego ma w niej granicę. Zupełna przestrzeń unormowana to przestrzeń Banacha, a zupełna przestrzeń unitarna — przestrzeń Hilberta.

Ciąg Cauchy'ego o zagęszczających się wyrazach — Warunek Cauchy’ego: ogon ciągu mieści się w kuli o coraz mniejszej średnicy — wyrazy zagęszczają się względem siebie, choć nie wskazujemy z góry granicy. To „wewnętrzny” test zbieżności, niewymagający znajomości punktu docelowego.

Przykład

Wymierne nie są zupełne, rzeczywiste są

Ciąg przybliżeń $\sqrt 2$ złożony z liczb wymiernych ($1{,}4;\ 1{,}41;\ 1{,}414;\dots$) spełnia warunek Cauchy’ego, lecz jego granica $\sqrt 2$ nie jest wymierna — w $\mathbb{Q}$ tkwi „dziura”, więc $\mathbb{Q}$ nie jest zupełna. Zbiór $\mathbb{R}$ powstaje właśnie przez „zapełnienie” tych dziur i jest zupełny. To dlatego analizę uprawiamy nad liczbami rzeczywistymi.

Ciąg wymiernych zbiegający do pierwiastka z dwóch jako dziura w zbiorze wymiernych — Zupełność: ciąg Cauchy’ego liczb wymiernych zbiega do $\sqrt 2$. Na osi wymiernych w tym miejscu jest „dziura” (kółko puste) — granica wypada poza $\mathbb{Q}$. Dopiero $\mathbb{R}$ tę dziurę domyka (kropka pełna).

Podsumowanie

Przeszliśmy przez trzy poziomy struktury. Metryka to absolutne minimum — sama odległość z czterema aksjomatami, w tym nierównością trójkąta — i już ona wystarcza, by zdefiniować kule, zbiory otwarte i domknięte, zbieżność oraz zupełność. Norma dokłada strukturę wektorową: długość, która szanuje skalowanie i dodawanie, a kule $\ell_p$ pokazały, że „blisko” to pojęcie względne — romb, koło lub kwadrat zależnie od $p$. Iloczyn skalarny dał najwięcej: kąty, ortogonalność, nierówność Cauchy’ego-Schwarza i twierdzenie Pitagorasa, które w ekonometrii stoją za metodą najmniejszych kwadratów (residua ortogonalne do przestrzeni regresorów). Wreszcie zupełność wyjaśniła, dlaczego pracujemy nad $\mathbb{R}$, a nie $\mathbb{Q}$: tylko w przestrzeni bez „dziur” ciągi Cauchy’ego mają granice. Na tym gruncie w następnym rozdziale zbudujemy pełną teorię ciągów i ich granic.