Rachunek prawdopodobieństwa i statystyka/Wykład 11: Wnioskowanie statystyczne

Streszczenie

Omówimy ogólne aspekty wnioskowania statystycznego. Postawimy trzy naturalne problemy: problem estymacji punktowej, problem estymacji przedziałowej oraz problem testowania hipotez, a następnie przeformułujemy je w sposób dający szansę na ich rozwiązanie. Podamy definicje statystyki i estymatora oraz ich podstawowe własności.

Słowa kluczowe: próbka, próbka prosta, statystyka, estymator, estymator zgodny, estymator nieobciążony.

Pojęcia podstawowe

Jak pamiętamy, statystyka opisowa dotyczy sytuacji, w których mamy do czynienia z pewną cechą (lub cechami) elementów określonej populacji oraz znamy wartość tej cechy dla każdego jej elementu (lub przynajmniej znamy dane zgrupowane w szeregu rozdzielczym). Z zupełnie innym problemem mamy do czynienia w przypadku, gdy znamy wartości cechy tylko dla pewnej liczby elementów, a chcemy tę cechę jakoś scharakteryzować w odniesieniu do całej populacji. Na przykład, wyniki jakie podaje komisja wyborcza po przeliczeniu wszystkich oddanych głosów pozwalają jednoznacznie podać procent wyborców popierających daną partię, powiedzmy partię $ABC$. Jest to zrobione na podstawie danych o każdej osobie, która poszła do wyborów. Natomiast sondaż przeprowadzany przez ankieterów przed lokalami wyborczymi dotyczy tylko niewielkiej części głosujących, a jednak na jego podstawie jest podawany procent wyborców popierających partię $ABC$. Jest to możliwe dzięki metodom tak zwanego wnioskowania statystycznego.

Wymienimy poniżej trzy typowe problemy, które dają się rozwiązać metodami wnioskowania statystycznego. Ogólny kontekst jest w każdym przypadku taki sam: obserwujemy wartości pewnej cechy dla wybranych jej elementów i na tej podstawie chcemy odpowiedzieć na jedno z pytań, dotyczących konkretnego parametru tej cechy (na przykład jej wartości średniej).

Ile wynosi parametr (na przykład średnia) naszej cechy w całej populacji? $⟶$ Estymacja punktowa

W jakim zakresie (zbiorze) znajduje się ten parametr? $⟶$ Estymacja przedziałowa

Czy prawdą jest, że nasz parametr należy do określonego zbioru? $⟶$ Testowanie hipotez statystycznych

Zauważmy, że tak sformułowane problemy są faktycznie niemożliwe do rozwiązania. Przykładowo, nie możemy z całą pewnością , na podstawie sondażu przed lokalami wyborczymi, jakie poparcie uzyskała partia $ABC$. Dlatego nasze pytania muszą zostać przeformułowane tak, aby można było na nie sensownie odpowiedzieć. Aby to zrobić, najpierw zbudujemy pewien model matematyczny, a następnie zajmiemy się kolejno rozwiązywaniem powyższych problemów. W tym miejscu zauważmy jeszcze tylko to, że są one ze sobą silnie związane -- gdybyśmy umieli w pełni rozwiązać problem estymacji punktowej, umielibyśmy też oczywiście rozwiązać problemy estymacji przedziałowej i testowania hipotez.

Na początku zakładamy, że interesująca nas cecha $X$ ma charakter losowy, czyli że jest ona zmienną losową (lub wektorem losowym) określoną na pewnej przestrzeni probabilistycznej, powiedzmy $(\mathrm{\Omega },\mathrm{\Sigma },P)$. W takim razie, interesujący nas parametr jest parametrem zmiennej losowej $X$ lub, bardziej precyzyjnie, parametrem rozkładu $P_X$ tej zmiennej. Wówczas zamiast mówić, na przykład, o wartości średniej danej cechy, będziemy mówić o nadziei matematycznej odpowiadającej jej zmiennej losowej. Tak więc sformułowane powyżej pytania dotyczą parametrów rozkładu $P_X$.

Dość często możemy z góry założyć, że nasza cecha posiada rozkład określonego typu. Na przykład, gdy prowadzimy sondaż, nasza cecha ma rozkład dwupunktowy $(0,1,p)$: "0" oznacza, że wyborca nie głosował na partię $ABC$, zaś "1" oznacza, że na tę partię głosował -- nas natomiast interesuje parametr $p$, a właściwie $p\cdot 100\mathrm{\%}$. Często też, korzystając z centralnego twierdzenia granicznego, można założyć, że dana cecha ma rozkład $N(m,\sigma )$ -- wtedy parametr $m$ odpowiada średniej wartości cechy, zaś $\sigma$ -- jej odchyleniu standardowemu.

W związku z powyższym, przyjmujemy ogólne założenie, że mamy ustaloną jakąś rodzinę rozkładów prawdopodobieństwa, indeksowaną przez pewien parametr $\theta \in \mathrm{\Theta }$ -- będziemy

pisać:

${𝒫}=\{P_{\theta }:\theta \in \mathrm{\Theta }\}.$

W pierwszym z powyższych przypadków

${𝒫}$ jest rodziną rozkładów dwupunktowych $(0,1,p)$, a więc $\mathrm{\Theta }$ jest przedziałem $(0,1)$, zaś w drugim -- ${𝒫}$ jest rodziną wszystkich rozkładów normalnych, zatem $\mathrm{\Theta }$ jest iloczynem kartezjańskim $\mathbb{ℝ}\times (0,\mathrm{\infty })$. Dopuszcza się też możliwość, że ${𝒫}$ jest zbiorem wszystkich możliwych rozkładów prawdopodobieństwa, czyli że $\mathrm{\Theta }={𝒫}$.

Możemy teraz, przy powyższych założeniach i oznaczeniach, interesujące nas zagadnienia sformułować w następujący sposób:

1'

[:]znaleźć $\theta \in \mathrm{\Theta }$ takie, że $P_X=P_{\theta }$,

2'

[:]znaleźć zbiór ${\mathrm{\Theta }}_0\subset \mathrm{\Theta }$ taki, że $P_X=P_{\theta }$ dla pewnego $\theta \in {\mathrm{\Theta }}_0$,

3'

[:]czy prawdą jest, że $P_X=P_{\theta }$

dla pewnego $\theta \in {\mathrm{\Theta }}_0$, gdzie ${\mathrm{\Theta }}_0$ jest z góry ustalonym zbiorem?

Zauważmy jednak, iż tak sformułowane zadania są w dalszym ciągu niewykonalne, a zatem powinny zostać jeszcze trochę przeformułowane, czym zajmujemy się w kolejnym punkcie.

Model statystyczny

Wracamy do budowy modelu matematycznego dla naszych zagadnień.

Załóżmy, że obserwujemy ciąg zmiennych losowych, powiedzmy $X_1,\dots ,X_n$, określonych na przestrzeni probabilistycznej $(\mathrm{\Omega },\mathrm{\Sigma },P)$ (przypominamy, że na tej samej przestrzeni jest określona także zmienna losowa $X$, reprezentująca daną cechę), z których każda ma

taki sam rozkład jak

$X$

, czyli:

$P_{X_i}=P_X$ dla $i=1,\dots ,n.$

Tak zdefiniowany ciąg nazywa się próbką ze

zmiennej losowej $X$ -- odpowiada on zaobserwowanym faktycznie wartościom cechy, powiedzmy $x_1,\dots ,x_n$ (ten ostatni ciąg także nazywa się próbką wartości cechy, tak więc w dalszej części będziemy mówić po prostu o próbce, a z kontekstu będzie wynikać znaczenie, w jakim słowo to zostało użyte). Bardzo często zdarza się, iż obserwacje wartości cechy są niezależne od siebie -- jeżeli tak jest, to ciąg $x_1,\dots ,x_n$ nazywa się próbką prostą. W języku zmiennych losowych mówimy, że $X_1,\dots ,X_n$ jest próbką prostą, gdy zmienne losowe $X_1,\dots ,X_n$ tworzą próbkę i są niezależnymi zmiennymi losowymi. W dalszej części będziemy rozważać tylko próbki proste.

Wprowadzimy teraz dwa nowe terminy.

Definicja

Statystyką nazywamy dowolną funkcję $T:{\mathbb{ℝ}}^n⟶{\mathbb{ℝ}}^d$, która jest mierzalna ze względu na $\sigma$-algebrę zbiorów borelowskich ${ℬ}({\mathbb{ℝ}}^n)$, to znaczy:

$T^{-1}(B)\in {ℬ}({\mathbb{ℝ}}^n)$ dla każdego $B\in {ℬ}({\mathbb{ℝ}}^d).$

Okazuje się, iż zdecydowana większość rozważanych w praktyce funkcji ${\mathbb{ℝ}}^n⟶{\mathbb{ℝ}}^d$ spełnia powyższą definicję. Zauważmy, ze jeżeli na przestrzeni ${\mathbb{ℝ}}^n$ określimy rozkład prawdopodobieństwa, powiedzmy $Q$, to znaczy gdy $({\mathbb{ℝ}}^n,{ℬ}({\mathbb{ℝ}}^n),Q)$ jest przestrzenią probabilistyczną, to statystyka $T:{\mathbb{ℝ}}^n⟶{\mathbb{ℝ}}^d$ jest $d$-wymiarowym wektorem losowym, określonym na tej przestrzeni.

Definicja

Niech $X_1,\dots ,X_n$ będzie próbką prostą ze zmiennej losowej $X$. Estymatorem parametru zmiennej $X$ nazywamy zmienną losową, będącą złożeniem wektora losowego $(X_1,\dots ,X_n)$ ze statystyką $T$, czyli

funkcję: $T\circ (X_1,\dots ,X_n).$

Opuszczając znak operatora złożenia "$\circ$", co się często w praktyce czyni,

możemy estymator oznaczyć (nieściśle) jako:

$T(X_1,\dots ,X_n).$

Przykładem statystyki jest średnia:

$T(x_1,\dots ,x_n)=\frac{x_1+\dots +x_n}{n},$

a odpowiadającym jej estymatorem jest:

$T(X_1,\dots ,X_n)=\frac{X_1+\dots +X_n}{n}.$

Dla tej statystyki jak i tego estymatora zarezerwowano następujące oznaczenia:

$\overline{x}$ lub ${\overline{x}}_n$ oraz, odpowiednio, $\overline{X}$ lub ${\overline{X}}_n.$

Innym przykładem statystyki jest tak zwana statystyka pozycyjna:

$T(x_1,\dots ,x_n)=(x_{(1)},\dots x_{(n)}),$

gdzie $x_{(1)},\dots ,x_{(n)}$ oznaczają elementy próbki $x_1,\dots ,x_n{\displaystyle }$ ustawione w porządku rosnącym:

$x_{(1)}\le \dots \le x_{(n)}.$

Estymator, jak każdy wektor losowy, posiada swój rozkład $P_{T(X_1,\dots ,X_n)}$, który będziemy w skrócie oznaczać symbolem $P_T$. Dość często utożsamia się statystykę $T$ z odpowiadającym jej estymatorem $T(X_1,\dots ,X_n)$ i w związku z tym mówi się także, że $P_T$ jest rozkładem statystyki $T$. Oczywiście, rozkład $P_T$ zależy w sposób jednoznaczny od rozkładu $P_X$ zmiennej losowej $X$, z której pochodzi próbka prosta. Istnieją twierdzenia, dzięki którym można w szczególnych przypadkach efektywnie wyznaczyć tę zależność.

Wiadomo (patrz twierdzenie Uzupelnic torn|), że gdy zmienna $X$ ma rozkład $N(m,\sigma )$, to rozkład $P_T$ statystyki $T=\overline{x}$ jest rozkładem $N(m,\frac{\sigma }{\sqrt{n}})$. Natomiast w przypadku, gdy nie znamy rozkładu zmiennej $X$, a jedynie jej nadzieję matematyczną $m$ i odchylenie standardowe $\sigma$, ale wielkość próbki $n$ jest duża, to z centralnego twierdzenia granicznego wynika, że $P_T$ ma w przybliżeniu rozkład $N(m,\frac{\sigma }{\sqrt{n}})$.

Estymatory nieobciążone i zgodne

Jednym z zadań statystyki jest znajdowanie estymatorów (a więc statystyk), które w jakimś sensie mówią nam o rozkładzie $P_X$ zmiennej losowej $X$, z której pochodzi dana próbka. Na przykład, wydaje się, że znajomość średniej arytmetycznej:

$\overline{X}=\frac{X_1+\dots +X_n}{n},$

daje nam pewne informacje o nadziei matematycznej $\mathbb{𝔼}(X)$. Zauważmy jednak, że istnieją inne estymatory, które także

dają pewne informacje o wartości średniej -- przykładowo:

$T(x_1,\dots ,x_n)=\frac{x_1+x_n}{2}$

lub

$T(x_1,\dots ,x_n)=\frac{\underset{1\le i\le n}{\min }\{x_i\}+\underset{1\le i\le n}{\max }\{x_i\}}{2}.$

Oczywiście, można wskazać jeszcze inne, dość "rozsądne" estymatory nadziei matematycznej.

Powstaje więc problem, jaki estymator należy stosować w konkretnej sytuacji. Rozwiązuje się go w ten sposób, że wprowadza się kilka kryteriów, które powinien spełniać "dobry" estymator, a następnie bada się, czy rozpatrywany przez nas estymator spełnia te kryteria. Istnieją też sposoby porównywania między sobą estymatorów tego samego parametru.

W dalszej części podajemy dwa kryteria oceny jakości estymatorów parametrów liczbowych.

Definicja

Niech $X_1,\dots ,X_n$ będzie próbką prostą ze zmiennej losowej $X$ oraz niech ${𝒫}=\{P_{\theta }:\theta \in \mathrm{\Theta }\}$ będzie rodziną rozkładów, przy czym $\mathrm{\Theta }\subset \mathbb{ℝ}$. Estymator $T(X_1,\dots ,X_n)$ nazywamy estymatorem

nieobciążonym parametru $\theta \in \mathrm{\Theta }$, jeżeli: $\mathbb{𝔼}(T(X_1,\dots ,X_n))=\theta .$

Estymator, który nie jest nieobciążony nazywamy estymatorem obciążonym.

Średnia arytmetyczna jest estymatorem nieobciążonym nadziei matematycznej $\mathbb{𝔼}(X)$. Rzeczywiście, stosując podstawowe własności nadziei matematycznej otrzymujemy:

$\mathbb{𝔼}({\overline{X}}_n)=\mathbb{𝔼}\left(\frac{X_1+\dots +X_n}{n}\right)=\frac{1}{n}\mathbb{𝔼}(X_1+\dots +X_n)=\frac{1}{n}n\mathbb{𝔼}(X)=\mathbb{𝔼}(X).$

Niech $m=\mathbb{𝔼}(X)$ oraz niech $s^2$ będzie statystyką określoną wzorem:

$s^2(x_1,\dots ,x_n)=\frac{1}{n}\sum _{i=1}^n(x_i-m{)}^2.$

Wówczas estymator odpowiadający statystyce $s^2$ jest nieobciążonym estymatorem wariancji ${\mathbb{𝔻}}^2(X)$. Rzeczywiście:

$\mathbb{𝔼}(s^2(X_1,\dots ,X_n))=\mathbb{𝔼}(\frac{1}{n}\sum _{i=1}^n(X_i-m{)}^2)=\frac{1}{n}\sum _{i=1}^n\mathbb{𝔼}((X_i-m{)}^2)$ $=\frac{1}{n}n{\mathbb{𝔻}}^2(X)={\mathbb{𝔻}}^2(X).$

W przypadku, gdy nie znamy nadziei matematycznej $m$, możemy także estymować wariancję -- definiujemy wtedy $s^2$ następująco:

$s^2(x_1,\dots ,x_n)=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2.$

Okazuje się niestety, iż jest to estymator obciążony. Aby to wykazać, zauważmy najpierw, że ponieważ zmienne losowe $X_i-\overline{X}$ mają takie same rozkłady, zatem:

$\mathbb{𝔼}(s^2(X_1,\dots ,X_n))=\frac{1}{n}n\mathbb{𝔼}((X_1-\overline{X}{)}^2)=\mathbb{𝔼}\left({(X_1-\frac{X_1+\dots +X_n}{n})}^2\right)$ $=\mathbb{𝔼}\left({(\frac{n-1}{n}{X}_1-\frac{X_2+\dots +X_n}{n})}^2\right)=$ $\mathbb{𝔼}\left({(\frac{n-1}{n}(X_1-m)-\frac{(X_2-m)+\dots +(X_n-m)}{n})}^2\right)$

(tę ostatnią równość otrzymano dodając i odejmując liczbę $\frac{n-1}{n}m$). Po podniesieniu do kwadratu odpowiednich wyrażeń i wykorzystaniu następującego faktu, wynikającego z niezależności zmiennych losowych $X_i$ i $X_j$ (patrz twierdzenie Uzupelnic dwar|):

$\mathbb{𝔼}((X_i-m)(X_j-m))=\mathbb{𝔼}(X_i-m)\mathbb{𝔼}(X_j-m)=0\cdot 0=0$ dla $i\ne j,$

otrzymujemy:

$\mathbb{𝔼}(s^2(X_1,\dots ,X_n))=\frac{1}{n^2}((n-1{)}^2\mathbb{𝔼}((X_1-m{)}^2)+E((X_2-m{)}^2)+\dots$ $+E((X_n-m{)}^2))=\frac{1}{n^2}((n-1{)}^2{\mathbb{𝔻}}^2(X)+(n-1){\mathbb{𝔻}}^2(X))$ $=\frac{1}{n^2}(n-1)(n-1+1){\mathbb{𝔻}}^2(X)=\frac{n-1}{n}{\mathbb{𝔻}}^2(X).$

Uwaga

Pomimo tego, iż zdefiniowany w poprzednim przykładzie estymator $s^2(X_1,\dots ,X_n)$ jest obciążony,

jest on często używany, gdyż dla dużej próbki: $\frac{n-1}{n}\approx 1.$

Inaczej mówiąc, obciążenie tego estymatora jest dla dużych $n$ nieistotne. Estymatory o takiej własności nazywa się estymatorami asymptotycznie nieobciążonymi.

Uwaga

Wynik uzyskany w przykładzie Uzupelnic pwzp| można wykorzystać do konstrukcji nieobciążonego estymatora wariancji. Jest nim oczywiście:

$s_{*}^2(X_1,\dots ,X_n)=\frac{n}{n-1}{s}^2(X_1,\dots ,X_n)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2,$ gdyż: $\mathbb{𝔼}(s_{*}^2(X_1,\dots ,X_n))=\frac{n}{n-1}\mathbb{𝔼}(s^2(X_1,\dots ,X_n))={\mathbb{𝔻}}^2(X).$

Definicja

Niech $X_1,\dots ,X_n$ będzie próbką prostą ze zmiennej losowej $X$ oraz niech ${𝒫}=\{P_{\theta }:\theta \in \mathrm{\Theta }\}$ będzie rodziną rozkładów, przy czym $\theta \subset \mathbb{ℝ}$. Estymator $T(X_1,\dots ,X_n)$ nazywamy estymatorem zgodnym parametru $\theta \in \mathrm{\Theta }$, jeżeli:

$T(X_1,\dots ,X_n)\stackrel{1}{⟶}\theta .$

Średnia $\overline{X}$ jest estymatorem zgodnym nadziei matematycznej -- wynika to natychmiast z mocnego prawa wielkich liczb (twierdzenie Uzupelnic tmpwl|).