Rachunek prawdopodobieństwa i statystyka/Wykład 11: Wnioskowanie statystyczne

From Studia Informatyczne

Spis treści

Wnioskowanie statystyczne

Omówimy ogólne aspekty wnioskowania statystycznego. Postawimy trzy naturalne problemy: problem estymacji punktowej, problem estymacji przedziałowej oraz problem testowania hipotez, a następnie przeformułujemy je w sposób dający szansę na ich rozwiązanie. Podamy definicje statystyki i estymatora oraz ich podstawowe własności.

Pojęcia podstawowe



Jak pamiętamy, statystyka opisowa dotyczy sytuacji, w których mamy do czynienia z pewną cechą (lub cechami) elementów określonej populacji oraz znamy wartość tej cechy dla każdego jej elementu (lub przynajmniej znamy dane zgrupowane w szeregu rozdzielczym). Z zupełnie innym problemem mamy do czynienia w przypadku, gdy znamy wartości cechy tylko dla pewnej liczby elementów, a chcemy tę cechę jakoś scharakteryzować w odniesieniu do całej populacji. Na przykład, wyniki jakie podaje komisja wyborcza po przeliczeniu wszystkich oddanych głosów pozwalają jednoznacznie podać procent wyborców popierających daną partię, powiedzmy partię \displaystyle ABC. Jest to zrobione na podstawie danych o każdej osobie, która poszła do wyborów. Natomiast sondaż przeprowadzany przez ankieterów przed lokalami wyborczymi dotyczy tylko niewielkiej części głosujących, a jednak na jego podstawie jest podawany procent wyborców popierających partię \displaystyle ABC. Jest to możliwe dzięki metodom tak zwanego wnioskowania statystycznego.

Wymienimy poniżej trzy typowe problemy, które dają się rozwiązać metodami wnioskowania statystycznego. Ogólny kontekst jest w każdym przypadku taki sam: obserwujemy wartości pewnej cechy dla wybranych jej elementów i na tej podstawie chcemy odpowiedzieć na jedno z pytań, dotyczących konkretnego parametru tej cechy (na przykład jej wartości średniej).

1. Ile wynosi parametr (na przykład średnia) naszej cechy w całej populacji? \displaystyle \longrightarrow Estymacja punktowa

2. W jakim zakresie (zbiorze) znajduje się ten parametr? \displaystyle \longrightarrow Estymacja przedziałowa

3. Czy prawdą jest, że nasz parametr należy do określonego zbioru? \displaystyle \longrightarrow Testowanie hipotez statystycznych

Zauważmy, że tak sformułowane problemy są faktycznie niemożliwe do rozwiązania. Przykładowo, nie możemy z całą pewnością , na podstawie sondażu przed lokalami wyborczymi, jakie poparcie uzyskała partia \displaystyle ABC. Dlatego nasze pytania muszą zostać przeformułowane tak, aby można było na nie sensownie odpowiedzieć. Aby to zrobić, najpierw zbudujemy pewien model matematyczny, a następnie zajmiemy się kolejno rozwiązywaniem powyższych problemów. W tym miejscu zauważmy jeszcze tylko to, że są one ze sobą silnie związane - gdybyśmy umieli w pełni rozwiązać problem estymacji punktowej, umielibyśmy też oczywiście rozwiązać problemy estymacji przedziałowej i testowania hipotez.

Na początku zakładamy, że interesująca nas cecha \displaystyle X ma charakter losowy, czyli że jest ona zmienną losową (lub wektorem losowym) określoną na pewnej przestrzeni probabilistycznej, powiedzmy \displaystyle (\Omega, \Sigma, P). W takim razie, interesujący nas parametr jest parametrem zmiennej losowej \displaystyle X lub, bardziej precyzyjnie, parametrem rozkładu \displaystyle P_X tej



zmiennej. Wówczas zamiast mówić, na przykład, o wartości średniej danej cechy, będziemy mówić o nadziei

matematycznej odpowiadającej jej zmiennej losowej. Tak więc sformułowane powyżej pytania dotyczą parametrów rozkładu \displaystyle P_X.

Dość często możemy z góry założyć, że nasza cecha posiada rozkład określonego typu. Na przykład, gdy prowadzimy sondaż, nasza cecha ma rozkład dwupunktowy \displaystyle (0,1,p): "0" oznacza, że wyborca nie głosował na partię \displaystyle ABC, zaś "1" oznacza, że na tę partię głosował - nas natomiast interesuje parametr \displaystyle p, a właściwie \displaystyle p\cdot 100\%. Często też, korzystając z centralnego twierdzenia granicznego, można założyć, że dana cecha ma rozkład \displaystyle N(m,\sigma) - wtedy parametr \displaystyle m odpowiada średniej wartości cechy, zaś \displaystyle \sigma - jej odchyleniu standardowemu.

W związku z powyższym, przyjmujemy ogólne założenie, że mamy ustaloną jakąś rodzinę rozkładów prawdopodobieństwa, indeksowaną przez pewien parametr \displaystyle \theta \in \Theta - będziemy pisać:


\displaystyle  \mathcal{P} = \{P_\theta :  \theta \in \Theta\}.


W pierwszym z powyższych przypadków \displaystyle \mathcal{P} jest rodziną rozkładów dwupunktowych \displaystyle (0,1,p), a więc \displaystyle \Theta jest przedziałem \displaystyle (0,1), zaś w drugim - \displaystyle \mathcal{P} jest rodziną wszystkich rozkładów normalnych, zatem \displaystyle \Theta jest iloczynem kartezjańskim \displaystyle {\Bbb R}\times(0, \infty). Dopuszcza się też możliwość, że \displaystyle \mathcal{P} jest zbiorem wszystkich możliwych rozkładów prawdopodobieństwa, czyli że \displaystyle \Theta=\mathcal{P}.

Możemy teraz, przy powyższych założeniach i oznaczeniach, interesujące nas zagadnienia sformułować w następujący sposób:

1' znaleźć \displaystyle \theta \in \Theta takie, że \displaystyle P_X = P_\theta,

2' znaleźć zbiór \displaystyle \Theta_0 \subset \Theta taki, że \displaystyle P_X = P_\theta dla pewnego \displaystyle \theta \in \Theta_0,

3' czy prawdą jest, że \displaystyle P_X = P_\theta dla pewnego \displaystyle \theta \in \Theta_0, gdzie \displaystyle \Theta_0 jest z góry ustalonym zbiorem?

Zauważmy jednak, iż tak sformułowane zadania są w dalszym ciągu niewykonalne, a zatem powinny zostać jeszcze trochę przeformułowane, czym zajmujemy się w kolejnym punkcie.

Model statystyczny

Wracamy do budowy modelu matematycznego dla naszych zagadnień.

Załóżmy, że obserwujemy ciąg zmiennych losowych, powiedzmy \displaystyle X_1,\dots, X_n, określonych na przestrzeni probabilistycznej \displaystyle (\Omega, \Sigma, P) (przypominamy, że na tej samej przestrzeni jest określona także zmienna losowa \displaystyle X, reprezentująca daną cechę), z których każda ma taki sam rozkład jak \displaystyle X, czyli:


\displaystyle  P_{X_i} = P_X\;\; dla \displaystyle  \; i = 1, \dots, n.


Tak zdefiniowany ciąg nazywa się próbką ze zmiennej losowej \displaystyle X - odpowiada on zaobserwowanym faktycznie wartościom cechy, powiedzmy \displaystyle x_1,\dots, x_n (ten ostatni ciąg także nazywa się próbką wartości cechy, tak więc w dalszej części będziemy mówić po prostu o próbce, a z kontekstu będzie wynikać znaczenie, w jakim słowo to zostało użyte). Bardzo często zdarza się, iż obserwacje wartości cechy są niezależne od siebie - jeżeli tak jest, to ciąg \displaystyle x_1,\dots, x_n nazywa się próbką prostą. W języku zmiennych losowych mówimy, że \displaystyle X_1,\dots, X_n jest próbką prostą, gdy zmienne losowe \displaystyle X_1,\dots, X_n tworzą próbkę i są niezależnymi zmiennymi losowymi. W dalszej części będziemy rozważać tylko próbki proste.

Wprowadzimy teraz dwa nowe terminy.

Definicja 11.1

Statystyką nazywamy dowolną funkcję \displaystyle T\colon {\Bbb R}^n \longrightarrow {\Bbb R}^d, która jest mierzalna ze względu na \displaystyle \sigma-algebrę zbiorów borelowskich \displaystyle {\cal B}({{\Bbb R}^n}), to znaczy:


\displaystyle  T^{-1}(B)\in {\cal B}({{\Bbb R}^n})\;\; dla każdego \displaystyle  \; B\in {\cal B}({{\Bbb R}^d}).


Okazuje się, iż zdecydowana większość rozważanych w praktyce funkcji \displaystyle {\Bbb R}^n \longrightarrow \ {\Bbb R}^d spełnia powyższą definicję. Zauważmy, ze jeżeli na przestrzeni \displaystyle {\Bbb R}^n określimy rozkład prawdopodobieństwa, powiedzmy \displaystyle Q, to znaczy gdy \displaystyle ({\Bbb R}^n,{\cal B}({{\Bbb R}^n}),Q) jest przestrzenią probabilistyczną, to statystyka \displaystyle T\colon {\Bbb R}^n \longrightarrow {\Bbb R}^d jest \displaystyle d-wymiarowym wektorem losowym, określonym na tej przestrzeni.

Definicja 11.2

Niech \displaystyle X_1, \dots , X_n będzie próbką prostą ze zmiennej losowej \displaystyle X. Estymatorem parametru zmiennej \displaystyle X nazywamy zmienną losową, będącą złożeniem wektora losowego \displaystyle (X_1, \dots , X_n) ze statystyką \displaystyle T, czyli funkcję:


\displaystyle  T\circ (X_1, \dots , X_n).


Opuszczając znak operatora złożenia "\displaystyle \circ", co się często w praktyce czyni, możemy estymator oznaczyć (nieściśle) jako:


\displaystyle  T(X_1, \dots , X_n).


Przykład 11.3

Przykładem statystyki jest średnia:


\displaystyle  T( \displaystyle x_1, \dots, x_n\displaystyle  ) = \frac{x_1+ \dots + x_n}{n},


a odpowiadającym jej estymatorem jest:


\displaystyle  T( \displaystyle X_1, \dots, X_n\displaystyle  ) = \frac{X_1+ \dots + X_n}{n}.


Dla tej statystyki jak i tego estymatora zarezerwowano następujące oznaczenia:


\displaystyle  \bar{x}\; lub \displaystyle  \;\bar{x}_n\;\; oraz, odpowiednio, \displaystyle  \;\;\bar{X}\; lub \displaystyle  \;\bar{X}_n.


Przykład 11.4

Innym przykładem statystyki jest tak zwana statystyka pozycyjna:


\displaystyle   T( \displaystyle x_1, \dots, x_n\displaystyle  ) = (x_{(1)}, \dots x_{(n)}),


gdzie \displaystyle x_{(1)}, \dots, x_{(n)} oznaczają elementy próbki \displaystyle  \displaystyle x_1, \dots, x_n\displaystyle ustawione w porządku rosnącym:


\displaystyle  x_{(1)} \le \dots  \le x_{(n)}.


Estymator, jak każdy wektor losowy, posiada swój rozkład \displaystyle P_{T(X_1, \dots, X_n)}, który będziemy w skrócie oznaczać symbolem \displaystyle P_T. Dość często utożsamia się statystykę \displaystyle T z odpowiadającym jej estymatorem \displaystyle T(X_1, \dots , X_n) i w związku z tym mówi się także, że \displaystyle P_T jest rozkładem statystyki \displaystyle T. Oczywiście, rozkład \displaystyle P_T zależy w sposób jednoznaczny od rozkładu \displaystyle P_X zmiennej losowej \displaystyle X, z której pochodzi próbka prosta. Istnieją twierdzenia, dzięki którym można w szczególnych przypadkach efektywnie wyznaczyć tę zależność.


Przykład 11.5

Wiadomo (patrz twierdzenie 9.2), że gdy zmienna \displaystyle X ma rozkład \displaystyle N(m,\sigma), to rozkład \displaystyle P_T statystyki \displaystyle T = \bar{x} jest rozkładem \displaystyle N(m,\frac{\sigma}{\sqrt{n}}). Natomiast w przypadku, gdy nie znamy rozkładu zmiennej \displaystyle X, a jedynie jej nadzieję matematyczną \displaystyle m i odchylenie standardowe \displaystyle \sigma, ale wielkość próbki \displaystyle n jest duża, to z centralnego twierdzenia granicznego wynika, że \displaystyle P_T ma w przybliżeniu rozkład

\displaystyle N(m,\frac{\sigma}{\sqrt{n}}).

Estymatory nieobciążone i zgodne



Jednym z zadań statystyki jest znajdowanie estymatorów (a więc statystyk), które w jakimś sensie mówią nam o rozkładzie \displaystyle P_X zmiennej losowej \displaystyle X, z której pochodzi dana próbka. Na przykład, wydaje się, że znajomość średniej arytmetycznej:


\displaystyle  \bar{X} = \frac{X_1+ \dots + X_n}{n},


daje nam pewne informacje o nadziei matematycznej \displaystyle {\Bbb E}(X). Zauważmy jednak, że istnieją inne estymatory, które także dają pewne informacje o wartości średniej - przykładowo:


\displaystyle  T( \displaystyle x_1, \dots, x_n\displaystyle  ) = \frac{x_1+ x_n}{2}


lub


\displaystyle  T( \displaystyle x_1, \dots, x_n\displaystyle  ) = \frac{ \min_{1 \le i \le n} \{x_i\} + \max_{1\le i \le n} \{x_i\} }{2}.


Oczywiście, można wskazać jeszcze inne, dość "rozsądne" estymatory nadziei matematycznej.

Powstaje więc problem, jaki estymator należy stosować w konkretnej sytuacji. Rozwiązuje się go w ten sposób, że wprowadza się kilka kryteriów, które powinien spełniać "dobry" estymator, a następnie bada się, czy rozpatrywany przez nas estymator spełnia te kryteria. Istnieją też sposoby porównywania między sobą estymatorów tego samego parametru.

W dalszej części podajemy dwa kryteria oceny jakości estymatorów parametrów liczbowych.

Definicja 11.6

Niech \displaystyle X_1, \dots , X_n będzie próbką prostą ze zmiennej losowej \displaystyle X oraz niech \displaystyle \mathcal{P} = \{P_\theta :  \theta \in \Theta\} będzie rodziną rozkładów, przy czym \displaystyle \Theta \subset {\Bbb R}. Estymator \displaystyle T(X_1, \dots , X_n) nazywamy estymatorem nieobciążonym parametru \displaystyle \theta \in \Theta, jeżeli:


\displaystyle  {\Bbb E}(T(X_1, \dots , X_n)) = \theta.


Estymator, który nie jest nieobciążony nazywamy estymatorem obciążonym.

Przykład 11.7

Średnia arytmetyczna jest estymatorem nieobciążonym nadziei matematycznej \displaystyle {\Bbb E}(X). Rzeczywiście, stosując podstawowe własności nadziei matematycznej otrzymujemy:


\displaystyle  {\Bbb E}(\bar{X}_n) = {\Bbb E}\left(\frac{X_1+ \dots + X_n}{n}\right) = \frac{1}{n}{\Bbb E}(X_1+ \dots + X_n) = \frac{1}{n} n {\Bbb E}(X) = {\Bbb E}(X).


Przykład 11.8

Niech \displaystyle m = {\Bbb E}(X) oraz niech \displaystyle s^2 będzie statystyką określoną wzorem:


\displaystyle  s^{2}( \displaystyle x_1, \dots, x_n\displaystyle  ) = \frac{1}{n} \sum_{i=1}^{n} ( x_{i}-m)^{2}.


Wówczas estymator odpowiadający statystyce \displaystyle s^2 jest nieobciążonym estymatorem wariancji \displaystyle {\Bbb D}^2 (X). Rzeczywiście:


\displaystyle  {\Bbb E}(s^2( \displaystyle X_1, \dots, X_n\displaystyle  ))  = {\Bbb E}\left( \frac{1}{n} \sum_{i=1}^{n} ( X_{i}-m)^{2} \right) = \frac{1}{n}\sum_{i=1}^{n}{\Bbb E} ( (X_{i}-m)^{2})


\displaystyle  = \frac{1}{n} n {\Bbb D}^2 (X)  = {\Bbb D}^2 (X).


Przykład 11.9

W przypadku, gdy nie znamy nadziei matematycznej \displaystyle m, możemy także estymować wariancję - definiujemy wtedy \displaystyle s^2 następująco:


\displaystyle  s^{2}( \displaystyle x_1, \dots, x_n\displaystyle  ) = \frac{1}{n} \sum_{i=1}^{n} ( x_{i}-\bar{x})^{2}.


Okazuje się niestety, iż jest to estymator obciążony. Aby to wykazać, zauważmy najpierw, że ponieważ zmienne losowe \displaystyle X_i - \bar{X} mają takie same rozkłady, zatem:


\displaystyle  {\Bbb E}(s^2( \displaystyle X_1, \dots, X_n\displaystyle  )) =  \frac{1}{n} n {\Bbb E}((X_1 - \bar{X})^2) = {\Bbb E}\left(\left(X_1 - \frac{X_1 + \dots + X_n}{n} \right)^2\right)


\displaystyle  = {\Bbb E}\left(\left(\frac{n-1}{n}X_1 - \frac{X_2 + \dots + X_n}{n} \right)^2\right)


\displaystyle  = {\Bbb E}\left(\left(\frac{n-1}{n}(X_1 - m)- \frac{(X_2-m) + \dots + (X_n - m)}{n} \right)^2\right)


(tę ostatnią równość otrzymano dodając i odejmując liczbę \displaystyle \frac{n-1}{n}m). Po podniesieniu do kwadratu odpowiednich wyrażeń i wykorzystaniu następującego faktu, wynikającego z niezależności zmiennych losowych \displaystyle X_i i \displaystyle X_j (patrz twierdzenie 7.15):


\displaystyle  {\Bbb E}((X_i - m)(X_j - m)) = {\Bbb E}(X_i - m){\Bbb E}(X_j - m) = 0 \cdot 0 = 0\;\; dla \displaystyle  \;i \neq j,


otrzymujemy:


\displaystyle  {\Bbb E}(s^2( \displaystyle X_1, \dots, X_n\displaystyle  )) = \frac{1}{n^2}\left((n-1)^2{\Bbb E}((X_1-m)^2) +E((X_2 - m)^2)+\dots\right.


\displaystyle  \left.+  E((X_n - m)^2)\right) = \frac{1}{n^2} \left((n-1)^2 {\Bbb D}^2 (X) + (n-1) {\Bbb D}^2 (X) \right)


\displaystyle     = \frac{1}{n^2}(n-1) (n -1+1) {\Bbb D}^2 (X) = \frac{n-1}{n} {\Bbb D}^2 (X).


Uwaga 11.10

Pomimo tego, iż zdefiniowany w poprzednim przykładzie estymator \displaystyle s^2( \displaystyle X_1, \dots, X_n\displaystyle  ) jest obciążony, jest on często używany, gdyż dla dużej próbki:


\displaystyle  \frac{n-1}{n}\approx 1.


Inaczej mówiąc, obciążenie tego estymatora jest dla dużych \displaystyle n nieistotne. Estymatory o takiej własności nazywa się estymatorami asymptotycznie nieobciążonymi.

Uwaga 11.11

Wynik uzyskany w przykładzie 11.9 można wykorzystać do konstrukcji nieobciążonego estymatora wariancji. Jest nim oczywiście:


\displaystyle  s_*^{2}( \displaystyle X_1, \dots, X_n\displaystyle  ) = \frac{n}{n-1} s^2( \displaystyle X_1, \dots, X_n\displaystyle  ) = \frac{1}{n-1} \sum_{i=1}^{n} ( X_{i}-\bar{X})^{2},


gdyż:


\displaystyle   {\Bbb E}(s_*^{2}( \displaystyle X_1, \dots, X_n\displaystyle  )) = \frac{n}{n-1} {\Bbb E}(s^2( \displaystyle X_1, \dots, X_n\displaystyle  ) ) = {\Bbb D}^2 (X).


Definicja 11.12

Niech \displaystyle X_1, \dots , X_n będzie próbką prostą ze zmiennej losowej \displaystyle X oraz niech \displaystyle \mathcal{P} = \{P_\theta :  \theta \in \Theta\} będzie rodziną rozkładów, przy czym \displaystyle \theta\subset {\Bbb R}. Estymator \displaystyle T(X_1, \dots , X_n) nazywamy estymatorem zgodnym parametru \displaystyle \theta \in \Theta, jeżeli:


\displaystyle  T( \displaystyle X_1, \dots, X_n\displaystyle  ) \stackrel{1}{\longrightarrow} \theta.


Przykład 11.13

Średnia \displaystyle \bar{X} jest estymatorem zgodnym nadziei matematycznej - wynika to natychmiast z mocnego prawa wielkich liczb (twierdzenie 7.22).