Rachunek prawdopodobieństwa i statystyka/Wykład 13: Przedziały ufności i testy

Istotną część wnioskowania statystycznego stanowią estymacja przedziałowa i testowanie hipotez. Podamy przykłady podstawowych metod związanych z tymi zagadnieniami. Wyznaczymy przedziały ufności dla średniej w standardowych sytuacjach. Pokażemy jak się wykonuje testy statystyczne, stosując podejście klasyczne i współczesne. Opiszemy test ${\chi }^2$ dopasowania rozkładu.

Estymacja przedziałowa

Estymacja punktowa omówiona na poprzednim wykładzie nie daje odpowiedzi na pytanie, jak pewny jest otrzymany wynik estymacji, czyli jak dokładnie przybliża on prawdziwą wartość estymatora. Niedogodność tę można częściowo pokonać, wyznaczając tak zwane przedziały ufności dla określonych parametrów, które definiujemy następująco:

Definicja 13.1

Niech $\alpha \in (0,1)$ będzie ustaloną liczbą (zwykle $\alpha$ jest równe $0.01$, $0.05$ lub $0.1$). Przedział $A=A_{X_1,\dots ,X_n{\displaystyle }}\subset \mathbb{ℝ}$, zależny od próbki losowej $X_1,\dots ,X_n$ , nazywamy przedziałem ufności parametru $\theta \in T$ na poziomie ufności $\alpha$, jeżeli:

$P(\theta \in A)=1-\alpha .$

Przykład 13.2

Kontrolując pewną hurtownię zważono 10 torebek cukru, otrzymując następujące wyniki (w gramach):

$1002,1003,997,997,994,995,998,997,1003,999.$

Jaka jest średnia waga torebki cukru w tej hurtowni?

Zakładając, że waga torebki cukru ma rozkład normalny, można na przykład użyć metody największej wiarygodności i obliczyć estymator:

${\overline{x}}_{10}=998.5.$

Jednak nas interesuje coś więcej - od czego jest mniejsza średnia waga torebki cukru, przy czym nie musimy (i nie potrafimy) mieć absolutnie pewnego wyniku. Mówiąc inaczej, szukamy liczby $b$ takiej, że:

$P(m\le b)=0.9,$

gdzie $m$ oznacza nadzieję matematyczną wagi torebki cukru w hurtowni.

Przed przystąpieniem do rozwiązywania naszego zadania, ujawnijmy wynik:

$b=999.716.$

(wynik ten otrzymano przy założeniu, że dokładność wagi wynosi 3 g). Używając języka potocznego możemy więc powiedzieć, że mamy $90\mathrm{\%}$ pewności, że średnia waga torebki cukru jest mniejsza niż 999.716 g. Przedział:

$(-\mathrm{\infty },999.716)$

nazywamy $90\mathrm{\%}$ przedziałem ufności dla nadziei matematycznej. Oczywiście, można mówić także o $95\mathrm{\%}$, $99\mathrm{\%}$ oraz innych przedziałach ufności. W naszym przypadku $95\mathrm{\%}$ przedział ufności to $(-\mathrm{\infty },1000.060)$, zaś $99\mathrm{\%}$ przedział ufności to $(-\mathrm{\infty },1000.707)$. Tak więc nie możemy już twierdzić, że na $95\mathrm{\%}$, ani tym bardziej na $99\mathrm{\%}$, waga jednej torebki cukru jest mniejsza od 1 kg.

Przedstawimy teraz rozwiązanie problemu, który jest oczywistym uogólnieniem powyższego przykładu, uzyskując, jako wyniki szczególne, przytoczone powyżej rozwiązania.

Załóżmy, że dana jest próbka prosta $x_1,\dots ,x_n$ z rozkładu $N(m,\sigma )$, przy czym zakładamy najpierw, że znamy odchylenie standardowe $\sigma$ (w przypadku ważenia cukru może ono odpowiadać znanej dokładności wagi, którą dysponujemy). Dla ustalonej liczby $\alpha \in (0,1)$ szukamy takiej liczby $b$, że:

$P(m\le b)=1-\alpha .$<ref>Równie dobrze

można było pisać $\alpha$ zamiast $1-\alpha$; my jednak postępujemy zgodnie z tradycją.</ref>

Ponieważ (patrz twierdzenie 9.2) estymator:

$Z_n=\frac{{\overline{X}}_n-m}{\sigma }\sqrt{n}$

ma rozkład $N(0,1)$, zatem:

$P(m\le b)=P(-m\ge -b)=P(\frac{{\overline{X}}_n-m}{\sigma }\sqrt{n}\ge \frac{{\overline{X}}_n-b}{\sigma }\sqrt{n})$

$=P(Z_n\ge \frac{{\overline{X}}_n-b}{\sigma }\sqrt{n}).$

Teraz, z jednej strony:

$P(m\le b)=1-\alpha ,$

zaś z drugiej strony:

$P(Z_n\ge \frac{{\overline{X}}_n-b}{\sigma }\sqrt{n})=1-\mathrm{\Phi }\left(\frac{{\overline{X}}_n-a}{\sigma }\sqrt{n}\right).$

Mamy więc:

$\mathrm{\Phi }\left(\frac{{\overline{X}}_n-b}{\sigma }\sqrt{n}\right)=\alpha$

i stąd:

$\frac{{\overline{X}}_n-b}{\sigma }\sqrt{n}={\mathrm{\Phi }}^{-1}(\alpha ),$

co daje wynik:

$b={\overline{X}}_n-\sigma \frac{{\mathrm{\Phi }}^{-1}(\alpha )}{\sqrt{n}}={\overline{X}}_n+\sigma \frac{{\mathrm{\Phi }}^{-1}(1-\alpha )}{\sqrt{n}}.$

Wracając do przykładu 13.2 - w tym przypadku $n=10$ oraz $\sigma =3$ (dokładność wagi). Ponieważ obserwujemy próbkę, więc w powyższym wzorze w miejsce estymatora średniej podstawiamy wartość odpowiadającej mu statystyki (obliczonej na podstawie tej próbki), czyli:

${\overline{X}}_{10}={\overline{x}}_{10}=998.5.$

Teraz przyjmując za $\alpha$ kolejno liczby $0.1$, $0.05$ oraz $0.01$, otrzymamy ujawnione wcześniej wartości $b$.

Opisane powyżej zagadnienie można modyfikować na różne sposoby. Po pierwsze, może nas interesować przedział ufności innego typu, na przykład postaci $(a,\mathrm{\infty })$ lub $({\overline{x}}_n-\epsilon ,{\overline{x}}_n+\epsilon$). Po drugie, nie zawsze można założyć, że znamy odchylenie standardowe $\sigma$. Po trzecie, założenie, że rozkład jest normalny, często nie jest spełnione. Możemy także być zainteresowani znalezieniem przedziału ufności dla innego, niż nadzieja matematyczna, parametru rozkładu.

Istnieją różne metody radzenia sobie w wymienionych przypadkach, ale większość z nich polega na zastosowaniu podobnego do poprzedniego schematu postępowania, który polega on na wykorzystaniu pewnej zmiennej losowej o znanym rozkładzie, będącej funkcją estymatora interesującego nas parametru, a następnie na obliczeniu na jej podstawie (oraz na podstawie zaobserwowanej próbki) końców przedziału ufności na określonym z góry poziomie ufności $1-\alpha$. W naszych wcześniejszych rozważaniach tą zmienną losową była zmienna $Z_n$, zaś jej rozkład był znany na podstawie twierdzenia 9.2, przy czym uwzględniliśmy założoną wcześniej znajomość $\sigma$. Poniżej opiszemy dwie sytuacje, w których kolejny raz zastosujemy opisany właśnie sposób postępowania.

Zakładamy najpierw, że obserwujemy próbkę prostą $x_1,\dots ,x_n$ z pewnego nieznanego rozkładu, przy czym $n$ jest dużą liczbą (już dla $n\ge 30$ poniższe rozumowanie prowadzi do dobrych rezultatów). Na podstawie tej próbki chcemy wyznaczyć $100(1-\alpha )\mathrm{\%}$ przedział ufności dla nadziei matematycznej $m$ tego rozkładu, postaci:

$(\overline{x_n}-\epsilon ,\overline{x_n}+\epsilon ).$

Aby rozwiązać powyższe zadanie wykorzystamy pewną modyfikację zmiennej losowej:

$Z_n=\frac{{\overline{X}}_n-m}{\sigma }\sqrt{n}.$

Po pierwsze, na podstawie centralnego twierdzenia granicznego (oraz tego, że $n$ jest duże) możemy założyć, że zmienna ta ma rozkład $N(0,1)$. Nie możemy jednak bezpośrednio jej wykorzystać, tak jak to zrobiliśmy poprzednio, gdyż tym razem nie założyliśmy znajomości parametru $\sigma$. Problem ten pokonujemy wykorzystując to, że dla dużych $n$ liczba:

$s=\sqrt{\frac{1}{n}\sum _{i=1}(x_i-{\overline{x}}_n{)}^2}$

dobrze przybliża $\sigma$ (dlaczego?). Rozważamy więc zmienną losową:

$W_n=\frac{{\overline{X}}_n-m}{s}\sqrt{n},$

o której można założyć, że ma rozkład $N(0,1)$, a której wartość może być już teraz wyliczona na podstawie samej tylko próbki $x_1,\dots ,x_n$. Naszym zadaniem jest znalezienie takiego $\epsilon$, że:

$P(m\in (\overline{X_n}-\epsilon ,\overline{X_n}+\epsilon ))=1-\alpha .$

Przekształcamy więc kolejno:

$P(m\in (\overline{X_n}-\epsilon ,\overline{X_n}+\epsilon ))=P(|{\overline{X}}_n-m|\le \epsilon )=P(|W_n|\le \frac{\epsilon }{s}\sqrt{n})$

$=\mathrm{\Phi }\left(\frac{\epsilon }{s}\sqrt{n}\right)-\mathrm{\Phi }(-\frac{\epsilon }{s}\sqrt{n})=2\mathrm{\Phi }\left(\frac{\epsilon }{s}\sqrt{n}\right)-1.$

Stąd:

$\mathrm{\Phi }\left(\frac{\epsilon }{s}\sqrt{n}\right)=1-\frac{\alpha }{2},$

czyli:

$\frac{\epsilon }{s}\sqrt{n}={\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2})$

i wreszcie:

$\epsilon =\frac{s}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2}).$

Wiem zatem, że z prawdopodobieństwem $1-\alpha$ wartość parametru $m$ znajduje się w przedziale:

$({\overline{x}}_n-\frac{s}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2}),{\overline{x}}_n+\frac{s}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2})).$

Nasuwa się teraz pytanie o to, jak postępować gdy próbka $x_1,\dots ,x_n$ jest mała, a (tak jak poprzednio) chcemy wyznaczyć $100(1-\alpha )\mathrm{\%}$ przedział ufności dla nadziei matematycznej $m$ rozkładu, z którego ona pochodzi. Niestety, w przypadku gdy nie znamy charakteru tego rozkładu, zadanie to jest niewykonalne przy użyciu naszej metody<ref>Można wtedy stosować metodę bootstrap, o której będzie mowa na wykładzie 14.</ref>

Załóżmy więc dodatkowo, że próbka pochodzi z rozkładu $N(m,\sigma )$ o nieznanym odchyleniu standardowym. Zmienną losową, którą tutaj wykorzystamy, jest:

$t=\frac{{\overline{X}}_n-m}{s}\sqrt{n},$ gdzie $s=\sqrt{\frac{1}{n-1}\sum _{i=1}(X_i-{\overline{X}}_n{)}^2}.$      (13.1)

Okazuje się, że zmienna ta ma tak zwany rozkład Studenta, nazywany czasem także rozkładem $t$. Rozkład ten posiada jeden parametr $n$, który określa się jako liczbę stopni swobody. Nie podajemy tutaj dość skomplikowanego wzoru na gęstość tego rozkładu - praktycznie wszystkie standardowe programy komputerowe posiadające odpowiednie pakiety funkcji statystycznych (a więc, między innymi, programy Maple i Excel), podają wartości dystrybuanty $F_{t_n}(x)$ oraz kwantyli $F_{t_n}^{-1}(\alpha )$ dla wszystkich wartości $n$, gdzie $t_n$ oznacza rozkład Studenta o $n$ stopniach swobody. Rozkład Studenta, podobnie jak rozkład $N(0,1)$, jest symetryczny, zatem:

$F_{t_n}(-x)=1-F_{t_n}(x)$ dla każdego $x\in \mathbb{ℝ},$

co znakomicie ułatwia korzystanie z tablic. Co więcej, dystrybuanta $F_{t_n}$ zmierza do dystrybuanty standardowego rozkładu normalnego, czyli dla każdego $x\in \mathbb{ℝ}$:

$F_{t_n}(x)⟶\mathrm{\Phi }(x),$ gdy $n⟶\mathrm{\infty }.$

Okazuje się, że już dla $n=20$ wynikające z powyższej zbieżności przybliżenie jest całkiem dobre. Następująca animacja obrazuje zbieżność gęstości rozkładu $t$ (linia niebieska) do gęstości standardowego rozkładu normalnego (linia czerwona):

<flashwrap>file=Rp131.swf|size=small</flashwrap>

Kluczowym dla naszych dalszych rozważań jest następujące:

Twierdzenie 13.3

Dla próbki prostej $X_1,\dots ,X_n$ pochodzącej z rozkładu $N(m,\sigma )$, estymator $t$, określony wzorem (13.1), ma rozkład Studenta o $n-1$ stopniach swobody. Inaczej:

$P(t\le x)=F_{t_{n-1}}(x)$ dla każdego $x\in \mathbb{ℝ}.$

Dzięki temu, że rozkład Studenta jest symetryczny można, tak jak poprzednio, wyprowadzić wzory na przedziały ufności typu $(-\mathrm{\infty },b)$, $(a,\mathrm{\infty })$ oraz $({\overline{x}}_n-\epsilon ,{\overline{x}}_n+\epsilon )$. Proponujemy Czytelnikowi aby sprawdził, że przedziałami tymi odpowiednio są:

$(-\mathrm{\infty },{\overline{X}}_n+s\frac{F_{t_{n-1}}^{-1}(1-\alpha )}{\sqrt{n}}),$      (13.2)

$({\overline{X}}_n-s\frac{F_{t_{n-1}}^{-1}(1-\alpha )}{\sqrt{n}},\mathrm{\infty }),$      (13.3)

$({\overline{X}}_n-s\frac{F_{t_{n-1}}^{-1}(1-\frac{\alpha }{2})}{\sqrt{n}},{\overline{X}}_n+s\frac{F_{t_{n-1}}^{-1}(1-\frac{\alpha }{2})}{\sqrt{n}}),$      (13.4)

gdzie, zgodnie z naszymi oznaczeniami, $F_{t_{n-1}}^{-1}(u)$ oznacza kwantyl rzędu $u$ w rozkładzie $t$ o $n-1$ stopniach swobody.

Powyższe wzory stosuje się zazwyczaj, gdy próbka jest mała, to znaczy gdy $n\le 30$. Faktycznie, dla $n\ge 20$ rozkład $t_n$ niewiele różni się od rozkładu $N(0,1)$, a wraz ze wzrostem $n$ różnica ta jest coraz mniejsza. Tak więc, zadane wzorami (13.2), (13.3) i (13.4) przedziały ufności są praktycznie takie same jak te wcześniejsze, wyznaczone w oparciu o centralne twierdzenie graniczne.

Można także wyprowadzić wzory na przedziały ufności dla pozostałych parametrów, przyjmując zarówno takie same, jak i inne niż poprzednio założenia o charakterze rozkładu. Tutaj jednak ograniczymy się tylko do jednego, ale bardzo ważnego przypadku.

Załóżmy, że próbka prosta $x_1,\dots ,x_n$pochodzi z rozkładu dwupunktowego $(0,1,p)$ i że na jej podstawie chcemy wyznaczyć przedział ufności dla parametru $p$. W przypadku, gdy liczność próbki jest mała ($n<30$), wzory takie są dość skomplikowane. Natomiast, gdy wielkość próbki jest duża, można wykorzystać to, że nadzieja matematyczna zmiennej losowej, z której pochodzi dana próbka, wynosi $p$, natomiast jej wariancja jest równa $p(1-p)$. Stosując podobne rozumowanie jak poprzednio można otrzymać następujące wzory na $(1-\alpha )100\mathrm{\%}$ przedziały ufności dla $p$:

$(\hat{p}-\frac{\sqrt{\hat{p}(1-\hat{p})}}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2}),\hat{p}+\frac{\sqrt{\hat{p}(1-\hat{p})}}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\frac{\alpha }{2})),$

$(0,\hat{p}+\frac{\sqrt{\hat{p}(1-\hat{p})}}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\alpha )),$

$(\hat{p}-\frac{\sqrt{\hat{p}(1-\hat{p})}}{\sqrt{n}}{\mathrm{\Phi }}^{-1}(1-\alpha ),1),$

gdzie:

$\hat{p}={\overline{x}}_n=\frac{k}{n},$

zaś $k$ oznacza liczbę jedynek (czyli liczbę "sukcesów") w próbce $x_1,\dots ,x_n$ .

Na zakończenie tego punktu zwróćmy uwagę na to, że przedziały ufności dla niektórych parametrów mogą być także wyznaczane przy pomocy programów typu Maple lub Excel.

Testowanie hipotez

Często zdarzają się sytuacje, w których, na podstawie posiadanych obserwacji, powinniśmy podjąć określone decyzje. Pomocą może nam służyć tutaj teoria testowania hipotez statystycznych. W naszym kursie ograniczamy się jedynie do najprostszych przypadków testów parametrycznych, a nasz sposób podejścia opiera się na wyznaczaniu tak zwanej wartości-$p$ (ang. $p$-value) - metodzie, która stała się popularna dopiero po upowszechnieniu się komputerów. Oczywiście, omówimy także podejście tradycyjne - więcej na ten temat można przeczytać praktycznie we wszystkich podręcznikach, które zawierają elementy statystyki.

Jak zwykle, zaczniemy od przykładu. Powróćmy do zagadnienia oceny średniej wagi torebki cukru w pewnej hurtowni (patrz przykład 13.2) i postawmy nasz problem trochę inaczej. Zapytajmy mianowicie, czy prawdą jest, że średnia waga torebki cukru w tej hurtowni wynosi 1 kg, czy może jednak jest mniejsza od 1 kg?

Formalnie rzecz ujmując, stawiamy tutaj dwie hipotezy: tak zwaną hipotezę zerową, oznaczaną zwykle jako $H_0$, oraz hipotezę alternatywną, oznaczaną jako $H_1$. W naszym przypadku:

$H_0:m=1000,H_1:m<1000,$

gdzie $m$ jest średnią wagą torebki. Aby rozstrzygnąć zadany problem, musimy dysponować statystyką testową, powiedzmy $T$, która przy założeniu prawdziwości hipotezy $H_0$ posiada następujące własności:

(1) znany jest rozkład $T$,

(2) można obliczyć wartość $T$ dladanej próbki prostej,

(3) jej zachowanie wyraźnie wskazuje na zachodzenie $H_0$ lub $H_1$.

Następnie dla zaobserwowanej próbki prostej $x_1,\dots ,x_n$ liczymy tak zwaną wartość-$p$ ($p$-value), to znaczy:

$P(T(x_1,\dots ,x_n)\in K),$

przy czym $K$ jest tak dobrane, że:

(1) $K$ najlepiej świadczy na korzyść $H_1$,

(2) $T(x_1,\dots ,x_n)\in K$.

Przykład 13.4

Rozważmy następujące wyniki (te same co w przykładzie 13.2) ważenia 10 torebek cukru (w gramach):

$1002,1003,997,997,994,995,998,997,1003,999.$

Załóżmy, że jest to próbka prosta z rozkładu $N(m,\sigma )$ o znanym odchyleniu standardowym $\sigma =3$. Jako statystykę testową bierzemy:

$Z_n=\frac{{\overline{X}}_n-m}{\sigma }\sqrt{n},$

która, jak wiemy, posiada rozkład $N(0,1)$. Z przykładu 13.2 pamiętamy, że ${\overline{x}}_{10}=998.5$, łatwo więc obliczyć wartość powyższej statystyki dla naszej próbki danych:

$z=\frac{998.5-1000}{3}\sqrt{10}\approx -1.581.$

Teraz zakładamy hipotezę $H_0$, czyli że $m=1000$. Zauważmy, iż ujemne wartości $Z_n$ sugerują, że wartość średnia jest raczej mniejsza niż 1000, tak więc największym zbiorem świadczącym na korzyść $H_1$ i jednocześnie zawierającym obliczoną wcześniej wartość statystyki $Z_n$, jest przedział:

$K=(-\mathrm{\infty },z]\approx (-\mathrm{\infty },-1.581],$

zatem wartość-$p$ wynosi:

$P(Z_n\in K)\approx \mathrm{\Phi }(-1.581)\approx 0.057.$

Nietrudno zauważyć, że otrzymana powyżej wartość jest prawdopodobieństwem tego, że, przy założeniu prawdziwości hipotezy zerowej, zachodzi zaobserwowane przez nas zdarzenie lub inne zdarzenie, które jeszcze bardziej świadczy na korzyść hipotezy alternatywnej. Inaczej mówiąc, jeżeli średnia waga torebki cukru rzeczywiście wynosiłaby 1 kg, to szansa na to, że 10 (wylosowanych zupełnie przypadkowo) torebek będzie miało zadane wagi, jest mniejsza niż 5.7. Podejmując teraz decyzję co do prawdziwości hipotezy zerowej mamy następującą wskazówkę: jeżeli odrzucimy $H_0$ na korzyść $H_1$, to prawdopodobieństwo tego, że decyzja ta jest błędna, wynosi około 5.7%.

Dla jeszcze lepszego zrozumienia przeprowadzonego powyżej rozumowania, rozważmy dwa inne zestawy danych oraz obliczone na ich podstawie wartości-$p$. Dla próbki:

$999,1004,1001,994,997,999,1002,1001,999,1000,$

mamy:

${\overline{x}}_{10}=999.6,z\approx -0.422$ oraz wartość- $p\approx 0.337,$

natomiast dla próbki:

$999,996,1001,996,996,996,1002,990,995,1000,$

otrzymujemy:

${\overline{x}}_{10}=997.1,z\approx -3.057$ oraz wartość- $p\approx 0.001.$

W pierwszym przypadku, odrzucając hipotezę zerową, z dość dużym prawdopodobieństwem narazilibyśmy się na popełnienie błędu, zaś w drugim przypadku popełnienie takiego błądu jest niezwykle mało prawdopodobne.

W powyższym przykładzie nie powiedzieliśmy, kiedy należy odrzucić hipotezę zerową, bowiem jest to decyzja "poza matematyczna". Dlatego też wskazaliśmy jedynie, jak określić prawdopodobieństwo błędu, z jakim należy się liczyć odrzucając prawdziwą hipotezę zerową -- błąd ten jest nazywany błędem pierwszego rodzaju. Rozważa się też tak zwany błąd drugiego rodzaju, polegający na nieodrzuceniu fałszywej hipotezy zerowej. Jednak, w większości przypadków, policzenie prawdopodobieństwa tego błędu nie jest możliwe, a poza tym istnieje przekonanie, że jest on mniej istotny niż błąd pierwszego rodzaju, co w konsekwencji sprawia, iż hipoteza zerowa jest w pewnym sensie uprzywilejowana.

Spójrzmy teraz ogólnie na nasze dotychczasowe rozważania. Na podstawie próbki prostej $x_1,\dots ,x_n$ chcemy przetestować hipotezę zerową:

$H_0:\theta ={\theta }_0,$

względem hipotezy alternatywnej $H_1$, przy czym $H_1$ może być tak zwaną hipotezą jednostronną:

$H_1:\theta <{\theta }_0$ lub $H_1:\theta >{\theta }_0,$

albo hipotezą dwustronną:

$H_1:\theta \ne {\theta }_0.$

W klasycznym podejściu do problemu testowania hipotez wykonujemy następujące kroki:

(1) ustalamy zawsze tak zwany poziom istotności $\alpha$ -

jest to zwykle mała liczba dodatnia, np. $\alpha =0.01$, $\alpha =0.05$ lub $\alpha =0.1$,

(2) wybieramy statystykę testową $T$ o znanym rozkładzie,

(3) wybieramy zbiór $K$, zwany zbiorem krytycznym, taki że

$P(T(X_1,\dots ,X_n)\in K)=\alpha ,$

zaś warunek:

$T(X_1,\dots ,X_n)\in K$

wskazuje na prawdziwość hipotezy $H_1$,

(4) obliczamy $T(x_1,\dots ,x_n)$, czyli wartość statystyki $T$ na zaobserwowanej próbce,

(5) jeżeli

$T(x_1,\dots ,x_n)\notin K,$

to stwierdzamy, iż nie ma podstaw do odrzucenia hipotezy $H_0$, natomiast jeżeli:

$T(x_1,\dots ,x_n)\in K,$

to odrzucamy hipotezę $H_0$ na korzyść hipotezy $H_1$.

Jaki widać, z technicznego punktu widzenia najistotniejszą sprawą jest wyznaczenie zbioru krytycznego $K$, który na ogół jest przedziałem, przy czym dla jednostronnych hipotez alternatywnych:

$K=(-\mathrm{\infty },a]$ lub $K=[b,\mathrm{\infty }),$

zaś dla hipotez dwustronnych:

$K=(-\mathrm{\infty },a]\cup [b,\mathrm{\infty }).$

Tak więc wyznaczenie zbioru $K$ redukuje się do wyznaczenia pewnych kwantyli rozkładu statystyki $T$. Kwantyle typowych rzędów dla wielu używanych w praktyce rozkładów są od lat stablicowane, dlatego też opisane powyżej podejście klasyczne mogło być (i było) stosowane od dawna.

Z kolei w podejściu opartym na obliczaniu wartości-$p$, zamiast kroków (3) i (5) wykonujemy następujące:

(3') obliczamy wartość-$p$ dla $T(x_1,\dots ,x_n)$, co (zgodnie z poprzednim określeniem) oznacza, że

$P(T(x_1,\dots ,x_n)\in K),$

przy czym $K$ jest tak dobrane, że $K$ najlepiej świadczy na korzyść $H_1$ oraz $T(x_1,\dots ,x_n)\in K$,

(5') jeżeli

wartość- $p>\alpha ,$

to stwierdzamy, iż nie ma podstaw do odrzucenia hipotezy $H_0$, natomiast jeżeli:

wartość- $p\le \alpha ,$

to odrzucamy hipotezę $H_0$ na korzyść hipotezy $H_1$. Zauważmy zatem, że podejście oparte na obliczaniu wartości-$p$ może być istotnie trudniejsze, jednakże obecnie, kiedy dysponujemy komputerami z odpowiednim oprogramowaniem, nie nastręcza ono większych problemów i dlatego też podejście to zyskuje sobie ostatnio coraz więcej zwolenników, gdyż z metodologicznego punktu widzenia jest ono równoważne podejściu klasycznemu, a zarazem istotnie od niego prostsze.

Wracając do przykładu 13.4, ustalmy poziom istotności $\alpha =0.05$. W dwóch pierwszych przypadkach nie ma podstaw do odrzucenia hipotezy $H_0$, natomiast w trzecim - hipoteza $H_0$ powinna zostać odrzucona na korzyść hipotezy $H_1$. Gdybyśmy ustalili $\alpha =0.1$, to również w drugim przypadku należałoby odrzucić hipotezę $H_0$.

Jak już wcześniej wspominaliśmy, dla skutecznego przeprowadzenia testu statystycznego wymagane jest dysponowanie odpowiednią statystyką o znanym rozkładzie. Okazuje się, iż nie zawsze jest to możliwe - gdyby, na przykład, liczebność próbki była zbyt mała, zaś rozkład z którego ona pochodzi nie byłby rozkładem normalnym, sprawa nie wyglądałaby zbyt obiecująco. Podobne problemy z doborem odpowiedniej statystyki o znanym rozkładzie powstają także wtedy, gdy chcemy testować hipotezy o innych (niż wartość oczekiwana) parametrach. Z drugiej strony, wiele szczegółowych sytuacji zostało dokładnie "rozpracowanych" - znaleziono pożyteczne statystyki i ich rozkłady, a w ostatnich latach niezbędne obliczenia numeryczne zostały zaimplementowane jako funkcje z pakietów statystycznych wielu programów komputerowych (w szczególności, program Maple posiada szereg wbudowanych testów statystycznych).

Jak pamiętamy, najistotniejszym wynikiem testu statystycznego jest wartość-$p$: mała wskazuje na $H_1$, zaś duża - na $H_0$. Uważny Czytelnik przypuszczalnie zauważył, że istnieje związek pomiędzy procedurą wyznaczania przedziałów ufności, a procedurą testowania hipotez. Tak rzeczywiście w wielu przypadkach jest - dlatego też programy Maple i Excel, przeprowadzając testy statystyczne wyliczają przy okazji przedziały ufności.

Test ${\chi }^2$ dopasowania rozkładu

Do testów parametrycznych sprowadza się także niektóre inne problemy statystyczne - można, na przykład, testować hipotezę, że próbka prosta pochodzi z rozkładu normalnego, istnieją też testy dotyczące niezależności zmiennych losowych, losowości próbki oraz wielu innych zagadnień. Opiszemy poniżej jeden z takich testów, znany jako test ${\chi }^2$ dopasowania rozkładu (faktycznie pod tą nazwą kryją się dwa, różniące się nieco, problemy).

Równość rozkładów

Obserwujemy próbkę prostą $x_1,\dots ,x_n$ ze zmiennej losowej $X$ i stawiamy hipotezę:

$H_0:P_X=Q,$

przeciw hipotezie alternatywnej:

$H_0:P_X\ne Q,$

gdzie $Q$ jest pewnym ustalonym rozkładem.

Formalnie rzecz biorąc, zagadnienie to różni się istotnie od poprzednio omawianych przykładów wnioskowania parametrycznego, niemniej, godząc się na utratę części informacji, można przeprowadzić opisany poniżej test.

Najpierw tworzymy z naszej próbki szereg rozdzielczy, czyli ustalamy takie liczby $a_0<\dots <a_k$, że:

$a_0\le \min \{x_1,\dots ,x_n\},a_k\ge \max \{x_1,\dots ,x_n\},$

a następnie zliczamy elementy próbki w poszczególnych klasach, otrzymując:

$n_i=\mathrm{\#}\{x_j:x_j\in (a_{i-1},a_i]\}$ dla $i=1,\dots ,k.$

Teraz obliczamy "teoretyczne" prawdopodobieństwa poszczególnych klas:

${\pi }_i=Q((a_{i-1},a_i])$ dla $i=1,\dots ,k.$

Jeżeli hipoteza zerowa jest prawdziwa, to należy oczekiwać, iż wielkości $n_i$ będą bardzo bliskie iloczynom $n{\pi }_i$ - jest to z kolei równoważne temu, że wielkość określona jako:

$\chi =\sum _{i=1}^k\frac{(n_i-n{\pi }_i{)}^2}{n{\pi }_i},$

jest bliska zeru.

Zauważmy, że zdefiniowana powyżej wielkość zależy od próbki, a więc jest zmienną losową. Co więcej, znamy rozkład tej zmiennej - jest to tak zwany rozkład ${\chi }^2$ o $k-1$ stopniach swobody. Rozkład ten jest dobrze znany - został on stablicowany w wielu podręcznikach, jest także obecny (praktycznie we wszystkich) programach komputerowych, zawierających odpowiednie pakiety statystyczne. Poniższa animacja pokazuje przebieg gęstości rozkładu ${\chi }^2$, dla najczęściej używanych ilości stopni swobody.

animacja 132.gif

Tak więc w naszym przypadku:

wartość- $p=P(\chi \ge {\chi }_0)=1-F_{{\chi }_{k-1}^2}({\chi }_0),$

gdzie ${\chi }_0$ jest obliczoną dla danej próbki wartością statystyki $\chi$, natomiast zbiór krytyczny ma postać:

$K=[k,\mathrm{\infty }),$

przy czym dla danego poziomu istotności $\alpha$, liczba $k$ jest kwantylem rzędu $1-\alpha$ rozkładu ${\chi }^2$ o $k-1$ stopniach swobody, czyli:

$k=F_{{\chi }_{k-1}^2}^{-1}(1-\alpha ).$

Przynależność do rodziny rozkładów

Obserwujemy próbkę prostą $x_1,\dots ,x_n$ ze zmiennej losowej $X$ i stawiamy hipotezę:

$H_0:P_X\in {𝒫},$

przeciw hipotezie alternatywnej:

$H_0:P_X\notin {𝒫},$

gdzie ${𝒫}$ jest pewną ustaloną rodziną rozkładów.

O ile wiemy, że rodzina rozkładów ${𝒫}$ zależy od skończonej liczby parametrów, powiedzmy ${\lambda }_1,\dots ,{\lambda }_r$, to powyższy problem sprowadza się w następujący sposób do poprzedniego: na podstawie danej próbki wyznaczamy metodą największej wiarygodności estymatory $\widehat{{\lambda }_1},\dots ,\widehat{{\lambda }_r}$ parametrów ${\lambda }_1$, , ${\lambda }_r$, a następnie rozważamy rozkład $Q\in {𝒫}$ odpowiadający wyestymowanym wartościom parametrów $\widehat{{\lambda }_1},\dots ,\widehat{{\lambda }_r}$ i stosujemy dla niego opisaną powyżej procedurę, pamiętając jednak, że teraz należy użyć rozkładu ${\chi }^2$ o $k-r-1$ stopniach swobody.