Rachunek prawdopodobieństwa i statystyka/Wykład 11: Wnioskowanie statystyczne

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Wnioskowanie statystyczne

Omówimy ogólne aspekty wnioskowania statystycznego. Postawimy trzy naturalne problemy: problem estymacji punktowej, problem estymacji przedziałowej oraz problem testowania hipotez, a następnie przeformułujemy je w sposób dający szansę na ich rozwiązanie. Podamy definicje statystyki i estymatora oraz ich podstawowe własności.

Pojęcia podstawowe

Jak pamiętamy, statystyka opisowa dotyczy sytuacji, w których mamy do czynienia z pewną cechą (lub cechami) elementów określonej populacji oraz znamy wartość tej cechy dla każdego jej elementu (lub przynajmniej znamy dane zgrupowane w szeregu rozdzielczym). Z zupełnie innym problemem mamy do czynienia w przypadku, gdy znamy wartości cechy tylko dla pewnej liczby elementów, a chcemy tę cechę jakoś scharakteryzować w odniesieniu do całej populacji. Na przykład, wyniki jakie podaje komisja wyborcza po przeliczeniu wszystkich oddanych głosów pozwalają jednoznacznie podać procent wyborców popierających daną partię, powiedzmy partię . Jest to zrobione na podstawie danych o każdej osobie, która poszła do wyborów. Natomiast sondaż przeprowadzany przez ankieterów przed lokalami wyborczymi dotyczy tylko niewielkiej części głosujących, a jednak na jego podstawie jest podawany procent wyborców popierających partię . Jest to możliwe dzięki metodom tak zwanego wnioskowania statystycznego.

Wymienimy poniżej trzy typowe problemy, które dają się rozwiązać metodami wnioskowania statystycznego. Ogólny kontekst jest w każdym przypadku taki sam: obserwujemy wartości pewnej cechy dla wybranych jej elementów i na tej podstawie chcemy odpowiedzieć na jedno z pytań, dotyczących konkretnego parametru tej cechy (na przykład jej wartości średniej).

1. Ile wynosi parametr (na przykład średnia) naszej cechy w całej populacji? Estymacja punktowa

2. W jakim zakresie (zbiorze) znajduje się ten parametr? Estymacja przedziałowa

3. Czy prawdą jest, że nasz parametr należy do określonego zbioru? Testowanie hipotez statystycznych

Zauważmy, że tak sformułowane problemy są faktycznie niemożliwe do rozwiązania. Przykładowo, nie możemy z całą pewnością , na podstawie sondażu przed lokalami wyborczymi, jakie poparcie uzyskała partia . Dlatego nasze pytania muszą zostać przeformułowane tak, aby można było na nie sensownie odpowiedzieć. Aby to zrobić, najpierw zbudujemy pewien model matematyczny, a następnie zajmiemy się kolejno rozwiązywaniem powyższych problemów. W tym miejscu zauważmy jeszcze tylko to, że są one ze sobą silnie związane - gdybyśmy umieli w pełni rozwiązać problem estymacji punktowej, umielibyśmy też oczywiście rozwiązać problemy estymacji przedziałowej i testowania hipotez.

Na początku zakładamy, że interesująca nas cecha ma charakter losowy, czyli że jest ona zmienną losową (lub wektorem losowym) określoną na pewnej przestrzeni probabilistycznej, powiedzmy . W takim razie, interesujący nas parametr jest parametrem zmiennej losowej lub, bardziej precyzyjnie, parametrem rozkładu tej

zmiennej. Wówczas zamiast mówić, na przykład, o wartości średniej danej cechy, będziemy mówić o nadziei

matematycznej odpowiadającej jej zmiennej losowej. Tak więc sformułowane powyżej pytania dotyczą parametrów rozkładu .

Dość często możemy z góry założyć, że nasza cecha posiada rozkład określonego typu. Na przykład, gdy prowadzimy sondaż, nasza cecha ma rozkład dwupunktowy : "0" oznacza, że wyborca nie głosował na partię , zaś "1" oznacza, że na tę partię głosował - nas natomiast interesuje parametr , a właściwie . Często też, korzystając z centralnego twierdzenia granicznego, można założyć, że dana cecha ma rozkład - wtedy parametr odpowiada średniej wartości cechy, zaś - jej odchyleniu standardowemu.

W związku z powyższym, przyjmujemy ogólne założenie, że mamy ustaloną jakąś rodzinę rozkładów prawdopodobieństwa, indeksowaną przez pewien parametr - będziemy pisać:



W pierwszym z powyższych przypadków jest rodziną rozkładów dwupunktowych , a więc jest przedziałem , zaś w drugim - jest rodziną wszystkich rozkładów normalnych, zatem jest iloczynem kartezjańskim . Dopuszcza się też możliwość, że jest zbiorem wszystkich możliwych rozkładów prawdopodobieństwa, czyli że .

Możemy teraz, przy powyższych założeniach i oznaczeniach, interesujące nas zagadnienia sformułować w następujący sposób:

1' znaleźć takie, że ,

2' znaleźć zbiór taki, że dla pewnego ,

3' czy prawdą jest, że dla pewnego , gdzie jest z góry ustalonym zbiorem?

Zauważmy jednak, iż tak sformułowane zadania są w dalszym ciągu niewykonalne, a zatem powinny zostać jeszcze trochę przeformułowane, czym zajmujemy się w kolejnym punkcie.

Model statystyczny

Wracamy do budowy modelu matematycznego dla naszych zagadnień.

Załóżmy, że obserwujemy ciąg zmiennych losowych, powiedzmy , określonych na przestrzeni probabilistycznej (przypominamy, że na tej samej przestrzeni jest określona także zmienna losowa , reprezentująca daną cechę), z których każda ma taki sam rozkład jak , czyli:


dla


Tak zdefiniowany ciąg nazywa się próbką ze zmiennej losowej - odpowiada on zaobserwowanym faktycznie wartościom cechy, powiedzmy (ten ostatni ciąg także nazywa się próbką wartości cechy, tak więc w dalszej części będziemy mówić po prostu o próbce, a z kontekstu będzie wynikać znaczenie, w jakim słowo to zostało użyte). Bardzo często zdarza się, iż obserwacje wartości cechy są niezależne od siebie - jeżeli tak jest, to ciąg nazywa się próbką prostą. W języku zmiennych losowych mówimy, że jest próbką prostą, gdy zmienne losowe tworzą próbkę i są niezależnymi zmiennymi losowymi. W dalszej części będziemy rozważać tylko próbki proste.

Wprowadzimy teraz dwa nowe terminy.

Definicja 11.1

Statystyką nazywamy dowolną funkcję , która jest mierzalna ze względu na -algebrę zbiorów borelowskich , to znaczy:


dla każdego


Okazuje się, iż zdecydowana większość rozważanych w praktyce funkcji spełnia powyższą definicję. Zauważmy, ze jeżeli na przestrzeni określimy rozkład prawdopodobieństwa, powiedzmy , to znaczy gdy jest przestrzenią probabilistyczną, to statystyka jest -wymiarowym wektorem losowym, określonym na tej przestrzeni.

Definicja 11.2

Niech będzie próbką prostą ze zmiennej losowej . Estymatorem parametru zmiennej nazywamy zmienną losową, będącą złożeniem wektora losowego ze statystyką , czyli funkcję:



Opuszczając znak operatora złożenia "", co się często w praktyce czyni, możemy estymator oznaczyć (nieściśle) jako:



Przykład 11.3

Przykładem statystyki jest średnia:



a odpowiadającym jej estymatorem jest:



Dla tej statystyki jak i tego estymatora zarezerwowano następujące oznaczenia:


lub oraz, odpowiednio, lub


Przykład 11.4

Innym przykładem statystyki jest tak zwana statystyka pozycyjna:



gdzie oznaczają elementy próbki ustawione w porządku rosnącym:



Estymator, jak każdy wektor losowy, posiada swój rozkład , który będziemy w skrócie oznaczać symbolem . Dość często utożsamia się statystykę z odpowiadającym jej estymatorem i w związku z tym mówi się także, że jest rozkładem statystyki . Oczywiście, rozkład zależy w sposób jednoznaczny od rozkładu zmiennej losowej , z której pochodzi próbka prosta. Istnieją twierdzenia, dzięki którym można w szczególnych przypadkach efektywnie wyznaczyć tę zależność.


Przykład 11.5

Wiadomo (patrz twierdzenie 9.2), że gdy zmienna ma rozkład , to rozkład statystyki jest rozkładem . Natomiast w przypadku, gdy nie znamy rozkładu zmiennej , a jedynie jej nadzieję matematyczną i odchylenie standardowe , ale wielkość próbki jest duża, to z centralnego twierdzenia granicznego wynika, że ma w przybliżeniu rozkład

.

Estymatory nieobciążone i zgodne

Jednym z zadań statystyki jest znajdowanie estymatorów (a więc statystyk), które w jakimś sensie mówią nam o rozkładzie zmiennej losowej , z której pochodzi dana próbka. Na przykład, wydaje się, że znajomość średniej arytmetycznej:



daje nam pewne informacje o nadziei matematycznej . Zauważmy jednak, że istnieją inne estymatory, które także dają pewne informacje o wartości średniej - przykładowo:



lub



Oczywiście, można wskazać jeszcze inne, dość "rozsądne" estymatory nadziei matematycznej.

Powstaje więc problem, jaki estymator należy stosować w konkretnej sytuacji. Rozwiązuje się go w ten sposób, że wprowadza się kilka kryteriów, które powinien spełniać "dobry" estymator, a następnie bada się, czy rozpatrywany przez nas estymator spełnia te kryteria. Istnieją też sposoby porównywania między sobą estymatorów tego samego parametru.

W dalszej części podajemy dwa kryteria oceny jakości estymatorów parametrów liczbowych.

Definicja 11.6

Niech będzie próbką prostą ze zmiennej losowej oraz niech będzie rodziną rozkładów, przy czym . Estymator nazywamy estymatorem nieobciążonym parametru , jeżeli:



Estymator, który nie jest nieobciążony nazywamy estymatorem obciążonym.

Przykład 11.7

Średnia arytmetyczna jest estymatorem nieobciążonym nadziei matematycznej . Rzeczywiście, stosując podstawowe własności nadziei matematycznej otrzymujemy:



Przykład 11.8

Niech oraz niech będzie statystyką określoną wzorem:



Wówczas estymator odpowiadający statystyce jest nieobciążonym estymatorem wariancji . Rzeczywiście:




Przykład 11.9

W przypadku, gdy nie znamy nadziei matematycznej , możemy także estymować wariancję - definiujemy wtedy następująco:



Okazuje się niestety, iż jest to estymator obciążony. Aby to wykazać, zauważmy najpierw, że ponieważ zmienne losowe mają takie same rozkłady, zatem:





(tę ostatnią równość otrzymano dodając i odejmując liczbę ). Po podniesieniu do kwadratu odpowiednich wyrażeń i wykorzystaniu następującego faktu, wynikającego z niezależności zmiennych losowych i (patrz twierdzenie 7.15):


dla


otrzymujemy:





Uwaga 11.10

Pomimo tego, iż zdefiniowany w poprzednim przykładzie estymator jest obciążony, jest on często używany, gdyż dla dużej próbki:



Inaczej mówiąc, obciążenie tego estymatora jest dla dużych nieistotne. Estymatory o takiej własności nazywa się estymatorami asymptotycznie nieobciążonymi.

Uwaga 11.11

Wynik uzyskany w przykładzie 11.9 można wykorzystać do konstrukcji nieobciążonego estymatora wariancji. Jest nim oczywiście:



gdyż:



Definicja 11.12

Niech będzie próbką prostą ze zmiennej losowej oraz niech będzie rodziną rozkładów, przy czym . Estymator nazywamy estymatorem zgodnym parametru , jeżeli:



Przykład 11.13

Średnia jest estymatorem zgodnym nadziei matematycznej - wynika to natychmiast z mocnego prawa wielkich liczb (twierdzenie 7.22).