Wartość p
Definicja, rozkład pod H0, błędy interpretacyjne, moc testu, odsetek fałszywych odkryć, testowanie wielokrotne. Wzory, dowody, kod R.
Wartość p jest prawdopodobieństwem uzyskania statystyki testowej co najmniej tak ekstremalnej jak zaobserwowana, przy założeniu prawdziwości hipotezy zerowej $H_0$.
Test dwustronny: $p = P(|T| \geq |t_{\text{obs}}| \mid H_0)$.
Test prawostronny: $p = P(T \geq t_{\text{obs}} \mid H_0)$.
Wartość p jest miarą niezgodności danych z hipotezą zerową. Im mniejsza, tym silniejsza niezgodność. Nie jest prawdopodobieństwem, że $H_0$ jest prawdziwa.
Przykład
Testujemy $H_0: \beta_1 = 0$ przy $\hat\beta_1 = 0{,}84$, $SE = 0{,}32$. Statystyka:
$$t_{\text{obs}} = \frac{0{,}84}{0{,}32} = 2{,}625.$$Dla dużej próby (rozkład $\mathcal{N}(0,1)$):
$$p = 2\bigl(1 - \Phi(2{,}625)\bigr) \approx 0{,}0087.$$Poprawna interpretacja: gdyby $\beta_1 = 0$, prawdopodobieństwo uzyskania $|t| \geq 2{,}625$ wynosiłoby $0{,}87\%$.
Błędna interpretacja: „prawdopodobieństwo, że $\beta_1 = 0$, wynosi $0{,}87\%$".
Rozkład wartości p pod $H_0$
Jeżeli statystyka testowa $T$ ma ciągłą dystrybuantę $F$ pod $H_0$, to $p = 1 - F(T)$ ma rozkład jednostajny na $[0,1]$:
$$P(p \leq u \mid H_0) = u, \quad u \in [0,1].$$Konsekwencja. Reguła $p < \alpha$ odrzuca prawdziwą $H_0$ z dokładnie częstością $\alpha$. Na $1000$ testów prawdziwych hipotez zerowych przy $\alpha = 0{,}05$ oczekujemy około $50$ fałszywych odrzuceń.
Czego wartość p nie mierzy
| Błędna interpretacja | Poprawna odpowiedź |
|---|---|
| $p = 0{,}03$ → $H_0$ prawdziwa z prob. $3\%$ | Wartość p warunkuje na $H_0$, nie na danych |
| Mała wartość p → duży efekt | Przy dużej próbie nawet trywialny efekt daje $p < 0{,}001$ |
| $p > 0{,}05$ → $H_0$ udowodniona | Brak podstaw do odrzucenia $\ne$ potwierdzenie $H_0$ |
| $p < 0{,}05$ → odkrycie jest prawdziwe | Zależy od mocy i od $\pi_0 = P(H_0)$ (patrz FDR) |
Wartość p a wielkość próby
Statystyka testowa rośnie z $\sqrt{n}$, więc przy stałym efekcie $\delta$:
$$t \approx \frac{\delta \sqrt{n}}{\sigma}.$$Konsekwencja: przy dostatecznie dużej próbie każdy efekt, choćby nieistotny merytorycznie, da $p < 0{,}001$.
Błąd pierwszego i drugiego rodzaju
| $H_0$ prawdziwa | $H_0$ fałszywa | |
|---|---|---|
| Odrzucenie $H_0$ | Błąd I rodzaju, prob. $\alpha$ | Poprawne odrzucenie, prob. $1-\beta$ |
| Brak odrzucenia | Poprawna decyzja, prob. $1-\alpha$ | Błąd II rodzaju, prob. $\beta$ |
Moc testu: $1 - \beta = P(\text{odrzucenie } H_0 \mid H_1)$.
Moc testu
Kod R — obliczanie mocy i wymaganej liczebności próby:
# Moc testu t dla jednej próby
power.t.test(n = 30, delta = 0.5, sd = 1, sig.level = 0.05)
# power = 0.571
# Wymagana liczebność przy mocy 0.80
power.t.test(delta = 0.5, sd = 1, sig.level = 0.05, power = 0.80)
# n = 34
Odsetek fałszywych odkryć (FDR)
Nawet małe wartości p nie gwarantują, że odkrycie jest rzeczywiste. Kluczowy wzór (twierdzenie Bayesa):
$$P(H_0 \mid \text{odrzucenie}) = \frac{\alpha\,\pi_0}{\alpha\,\pi_0 + (1-\beta)(1-\pi_0)},$$gdzie $\pi_0 = P(H_0)$ to odsetek prawdziwych hipotez zerowych w badanej klasie problemów.
$\alpha = 0{,}05$, moc $1-\beta = 0{,}80$, $\pi_0 = 0{,}90$ (w dziedzinie z rzadkimi efektami):
$$P(H_0 \mid \text{odrzucenie}) = \frac{0{,}05 \cdot 0{,}9}{0{,}05 \cdot 0{,}9 + 0{,}80 \cdot 0{,}1} = \frac{0{,}045}{0{,}125} = 36\%.$$Przy typowych parametrach ponad jedna trzecia istotnych wyników może być fałszywymi odkryciami.
Testowanie wielokrotne
Przy $m$ niezależnych testów prawdopodobieństwo co najmniej jednego fałszywego odrzucenia (FWER) rośnie:
$$\text{FWER} = 1 - (1-\alpha)^m.$$Dla $m = 20$, $\alpha = 0{,}05$: $\text{FWER} \approx 64\%$.
Korekta Bonferroniego
Dzielimy poziom istotności przez liczbę testów:
$$\alpha^* = \frac{\alpha}{m}.$$Kontroluje FWER, ale jest konserwatywna przy dużym $m$.
Procedura Benjaminiego-Hochberga (BH)
Kontroluje FDR zamiast FWER — mniej konserwatywna przy dużym $m$.
- Posortuj $p$-wartości rosnąco: $p_{(1)} \leq \cdots \leq p_{(m)}$.
- Wybierz poziom FDR $q$ (np. $0{,}05$).
- Znajdź największe $k$ takie, że $p_{(k)} \leq \tfrac{k}{m} q$.
- Odrzuć hipotezy $1, \ldots, k$.
Kod R:
p_values <- c(0.001, 0.008, 0.011, 0.028, 0.042, 0.052,
0.065, 0.079, 0.092, 0.105, 0.130)
# Bonferroni
p.adjust(p_values, method = "bonferroni") < 0.05
# Benjamini-Hochberg
p.adjust(p_values, method = "BH") < 0.05
Testy jednostronne i dwustronne
Wartość p a przedziały ufności
Test dwustronny $H_0: \theta = \theta_0$ na poziomie $\alpha$ odrzuca $H_0$ wtedy i tylko wtedy, gdy $\theta_0$ nie należy do $(1-\alpha)$-procentowego przedziału ufności. Obie procedury zawierają tę samą informację, lecz przedział ufności ujawnia dodatkowo precyzję oszacowania i zakres wartości zgodnych z danymi.
Wartość p w regresji liniowej
Dla $H_0: \beta_j = 0$:
$$t_j = \frac{\hat\beta_j}{SE(\hat\beta_j)} \sim t_{n-k-1} \text{ pod } H_0.$$Kod R:
model <- lm(log(wage) ~ education + experience, data = dane)
summary(model) # kolumna Pr(>|t|) to wartości p
confint(model) # przedziały ufności 95%
Rozkład $t$ a normalny
Najważniejsze zasady raportowania
- Podawaj wartość p łącznie z oszacowaniem efektu i przedziałem ufności.
- Nie traktuj $p = 0{,}049$ i $p = 0{,}051$ jako fundamentalnie różnych wyników.
- Przy wielu testach stosuj korektę (Bonferroni lub BH) i raportuj ją explicite.
- Odróżniaj istotność statystyczną od istotności merytorycznej.
- Informuj, czy test był zaplanowany z góry, czy eksploracyjny.
Bibliografia
- Wasserstein, R. L., Lazar, N. A. (2016). The ASA Statement on p-Values. The American Statistician, 70(2), 129–133.
- Benjamini, Y., Hochberg, Y. (1995). Controlling the False Discovery Rate. JRSS-B, 57(1), 289–300.
- Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124.
- Casella, G., Berger, R. L. (2002). Statistical Inference. Duxbury.
- Wooldridge, J. M. (2020). Introductory Econometrics. Cengage.