Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 11: Wnioskowanie statystyczne

Ćwiczenia

Ćwiczenie 11.1

Przypuśćmy, że próbka prosta pochodzi z rozkładu jednostajnego na odcinku $(0,a)$, gdzie $a>0$ jest nieznanym parametrem. Zastanowimy się, co może być "dobrym" estymatorem parametru $a$.

Jako sensowne przybliżenie $a$ można wziąć największy element próbki, czyli statystykę:

$T(x_1,\dots ,x_n)=\max \{x_1,\dots ,x_n\}.$

Można udowodnić, że jest to estymator zgodny. Sprawdzimy, czy jest on także nieobciążony.

Aby obliczyć nadzieję matematyczną zmiennej losowej $\max \{X_1,\dots ,X_n\}$, wyznaczymy najpierw dystrybuantę $F$ oraz gęstość $f$ tej zmiennej, a następnie wykorzystamy wzór (patrz definicja 7.22):

$\mathbb{𝔼}(\max \{X_1,\dots ,X_n\})=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}xf(x)dx.$

Oczywiście, z określenia naszej zmiennej losowej wynika natychmiast, że $F(x)\le 0$ dla $x<0$ oraz $F(x)=1$ dla $x\ge a$ (wtedy też $f(x)=0$), zaś dla $x\in (0,a)$, z niezależności zmiennych $X_1,\dots ,X_n$ otrzymujemy:

$F(x)=P(\max \{X_1,\dots ,X_n\}\le x)=P(X_1\le x,\dots ,X_n\le x)$

$=P(X_1\le x)\cdot \dots \cdot P(X_n\le x)={\left(\frac{x}{a}\right)}^n.$

Stąd:

$f(x)=F^{\prime }(x)=\frac{1}{a^n}n{x}^{n-1}$ dla $x\in (0,a),$

zatem:

$\mathbb{𝔼}(T(X_1,\dots ,X_n))=\frac{1}{a^n}n\underset{0}{\overset{a}{\int }}x{x}^{n-1}dx=\frac{n}{n+1}a.$

Powyższy estymator jest więc obciążony, ale jest także asymptotycznie nieobciążony. Jednak już teraz widać, że estymatorem nieobciążonym parametru $p$ jest estymator:

$T_{*}(X_1,\dots ,X_n)=\frac{n+1}{n}\max \{X_1,\dots ,X_n\}.$

Zauważmy, iż właściwie można było z góry przewidzieć, że estymator $\max \{X_1,\dots ,X_n\}$ będzie obciążony, gdyż praktycznie zawsze:

$\max \{x_1,\dots ,x_n\}<a$

- okazuje się, że wymnożenie przez współczynnik $\frac{n+1}{n}$ zwiększa go tyle, ile trzeba.

Ćwiczenie 11.2

Innym podejściem do estymacji parametru $a$ w rozkładzie jednostajnym na przedziale $(0,a)$, jest wykorzystanie wiadomości, że nadzieja matematyczna, której "dobrym" estymatorem jest średnia, w tym rozkładzie wynosi $\frac{a}{2}$,

a więc jako estymator $a$ można przyjąć estymator określony przez statystykę: $S(X_1,\dots ,X_n)=2\overline{x}.$

Można łatwo stwierdzić, że jest to estymator zgodny i nieobciążony. Nasuwa się więc naturalne pytanie o to, który estymator jest lepszy: estymator $T_{*}$, określony w ćwiczeniu 11.1, czy zdefiniowany powyżej estymator $S$.

Aby odpowiedzieć na powyższe pytanie, należy ustalić jakieś kryterium pozwalające na porównywanie estymatorów. Wśród estymatorów nieobciążonych kryterium tym jest wielkość wariancji, przy czym im mniejsza wariancja, tym lepszy estymator. Liczymy więc wariancje $T_{*}$ i $S$, wykorzystując (między innymi) wzór na wariancję w rozkładzie jednostajnym (patrz przykład 7.11) oraz twierdzenie 7.13 (patrz punkt 6):

${\mathbb{𝔻}}^2(S)={\mathbb{𝔻}}^2(2\overline{X})=\frac{4}{n^2}{\mathbb{𝔻}}^2(X_1+\dots +X_n)=\frac{4}{n^2}n{\mathbb{𝔻}}^2(X)=\frac{4a^2}{12n}=\frac{a^2}{3n},$

${\mathbb{𝔻}}^2(T_{*})={\mathbb{𝔻}}^2(\frac{n+1}{n}\max \{X_1,\dots ,X_n\})={\left(\frac{n+1}{n}\right)}^2{\mathbb{𝔻}}^2(\max (X_1,\dots ,X_n))$

$={\left(\frac{n+1}{n}\right)}^2(\underset{0}{\overset{a}{\int }}{x}^2\frac{1}{a^n}n{x}^{n-1}dx-{\left(\frac{n}{n+1}a\right)}^2)$

$={\left(\frac{n+1}{n}\right)}^2(\frac{a^{2}n}{n+2}-\frac{a^2{n}^2}{{(n+1)}^2})=\frac{a^2}{n(n+2)}.$

Dzielimy teraz przez siebie te dwie wariacje:

$\frac{{\mathbb{𝔻}}^2(S)}{{\mathbb{𝔻}}^2(T_{*})}=\frac{2+n}{3}>1$ dla $n>1,$

co oznacza, że wariancja estymatora $S$ jest większa od wariancji estymatora $T_{*}$, a w związku z tym, ten drugi estymator jest lepszy w sensie naszego kryterium. Co więcej, im większa jest próbka, tym większy jest stosunek obu wariancji.

Ćwiczenie 11.3

Naturalnym estymatorem parametru $p$ w rozkładzie dwupunktowym $(0,1,p)$ jest średnia z próbki. Zauważmy, że tutaj:

$\overline{x}=\frac{k}{n},$

gdzie $k$ jest liczbą zaobserwowanych jedynek. Łatwo sprawdzić, że jest to estymator zgodny i nieobciążony parametru $p$.

Zadanie 11.1

Wylosowano następującą próbkę prostą z rozkładu geometrycznego:

$8,10,11,11,3,8,10,12,17,16,14.$

Jaka liczba będzie dobrym przybliżeniem parametru $p$?

}}

Ćwiczenie

Wylosowano następującą próbkę prostą z rozkładu jednostajnego na odcinku $(-a,a)$:

$-2.11,-4.71,1.63,-2.52,3.33,0.46,1.02,-0.96.$

Jak przybliżyć wartość parametru $a$?

Ćwiczenie

Dana jest próbka prosta $X_1,\dots ,X_n$ z rozkładu dwupunktowego $(0,1,p)$. Znajdź rozkład estymatora $\overline{X}$.

Ćwiczenie

Uzasadnij tezy zawarte w przykładzie Uzupelnic 111|.

Ćwiczenie

Uzasadnij, że estymator $S$ z ćwiczenia Uzupelnic cw111| jest zgodny i nieobciążony.

Ćwiczenie

Zaproponuj estymator odchylenia standardowego.

Ćwiczenie

Zaproponuj estymator parametru $\lambda$ w rozkładzie Poissona.

Ćwiczenie

Zaproponuj estymator parametru $\lambda$ w rozkładzie wykładniczym.

Ćwiczenie

Sprawdź, że estymator:

$s^2(X_1,\dots ,X_n)=\frac{1}{n}\sum _{i=1}^n(X_i-m{)}^2,$

jest zgodnym estymatorem wariancji ($m$, jak zwykle, oznacza nadzieję matematyczną $X$).

Ćwiczenie

Czy następujący estymator:

$s_{*}(X_1,\dots ,X_n)=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2},$

jest obciążonym estymatorem odchylenia standardowego?

Ćwiczenie

Wykorzystując statystykę pozycyjną, zaproponuj estymator kwantyla $q_p$.

Ćwiczenie

Wykaż wzór:

$\sum _{i=1}^n(x_i-\overline{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2.$

Ćwiczenie

Wykonaj 100 razy następujący eksperyment: z rozkładu jednostajnego na przedziale $(0,10)$ losujemy 30 liczb i obliczamy wartości statystyk $2\overline{x}$ oraz $\frac{n+1}{n}\max \{x_1,\dots ,x_n\}$. Otrzymasz dwa ciągi liczb, powiedzmy $a_1,\dots ,a_{100}$ oraz $b_1,\dots ,b_{100}$. Dla każdego z tych dwóch ciągów oblicz średnią i wariancję. Porównaj otrzymane wyniki z wnioskami zawartymi w ćwiczeniu Uzupelnic cw111|.