Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 11: Wnioskowanie statystyczne

Ćwiczenia

Ćwiczenie 11.1

Przypuśćmy, że próbka prosta pochodzi z rozkładu jednostajnego na odcinku $(0,a)$, gdzie $a>0$ jest nieznanym parametrem. Zastanowimy się, co może być "dobrym" estymatorem parametru $a$.

Jako sensowne przybliżenie $a$ można wziąć największy element próbki, czyli statystykę:

$T(x_1,\dots ,x_n)=\max \{x_1,\dots ,x_n\}$

Można udowodnić, że jest to estymator zgodny. Sprawdzimy, czy jest on także nieobciążony.

Aby obliczyć nadzieję matematyczną zmiennej losowej $\max \{X_1,\dots ,X_n\}$, wyznaczymy najpierw dystrybuantę $F$ oraz gęstość $f$ tej zmiennej, a następnie wykorzystamy wzór (patrz twierdzenie 7.22):

$\mathbb{𝔼}(\max \{X_1,\dots ,X_n\})=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}xf(x)dx$.

Oczywiście, z określenia naszej zmiennej losowej wynika natychmiast, że $F(x)\le 0$ dla $x<0$ oraz $F(x)=1$ dla $x\ge a$ (wtedy też $f(x)=0$), zaś dla $x\in (0,a)$, z niezależności zmiennych $X_1,\dots ,X_n$ otrzymujemy:

$F(x)=P(\max \{X_1,\dots ,X_n\}\le x)=P(X_1\le x,\dots ,X_n\le x)$

$=P(X_1\le x)\cdot \dots \cdot P(X_n\le x)={\left(\frac{x}{a}\right)}^n$

Stąd:

$f(x)=F^{\prime }(x)=\frac{1}{a^n}n{x}^{n-1}$ dla $x\in (0,a)$,

zatem:

$\mathbb{𝔼}(T(X_1,\dots ,X_n))=\frac{1}{a^n}n\underset{0}{\overset{a}{\int }}x{x}^{n-1}dx=\frac{n}{n+1}a$

Powyższy estymator jest więc obciążony, ale jest także asymptotycznie nieobciążony. Jednak już teraz widać, że estymatorem nieobciążonym parametru $p$ jest estymator:

$T_{*}(X_1,\dots ,X_n)=\frac{n+1}{n}\max \{X_1,\dots ,X_n\}$

Zauważmy, iż właściwie można było z góry przewidzieć, że estymator $\max \{X_1,\dots ,X_n\}$ będzie obciążony, gdyż praktycznie zawsze:

$\max \{x_1,\dots ,x_n\}<a$

- okazuje się, że wymnożenie przez współczynnik $\frac{n+1}{n}$ zwiększa go tyle, ile trzeba.

Ćwiczenie 11.2

Innym podejściem do estymacji parametru $a$ w rozkładzie jednostajnym na przedziale $(0,a)$, jest wykorzystanie wiadomości, że nadzieja matematyczna, której "dobrym" estymatorem jest średnia, w tym rozkładzie wynosi $\frac{a}{2}$,

a więc jako estymator $a$ można przyjąć estymator określony przez statystykę: $S(X_1,\dots ,X_n)=2\overline{x}$.

Można łatwo stwierdzić, że jest to estymator zgodny i nieobciążony. Nasuwa się więc naturalne pytanie o to, który estymator jest lepszy: estymator $T_{*}$, określony w ćwiczeniu 11.1, czy zdefiniowany powyżej estymator $S$.

Aby odpowiedzieć na powyższe pytanie, należy ustalić jakieś kryterium pozwalające na porównywanie estymatorów. Wśród estymatorów nieobciążonych kryterium tym jest wielkość wariancji, przy czym im mniejsza wariancja, tym lepszy estymator. Liczymy więc wariancje $T_{*}$ i $S$, wykorzystując (między innymi) wzór na wariancję w rozkładzie jednostajnym (patrz przykład 7.11) oraz twierdzenie 7.13 (patrz punkt 6):

${\mathbb{𝔻}}^2(S)={\mathbb{𝔻}}^2(2\overline{X})=\frac{4}{n^2}{\mathbb{𝔻}}^2(X_1+\dots +X_n)=\frac{4}{n^2}n{\mathbb{𝔻}}^2(X)=\frac{4a^2}{12n}=\frac{a^2}{3n}$,

${\mathbb{𝔻}}^2(T_{*})={\mathbb{𝔻}}^2(\frac{n+1}{n}\max \{X_1,\dots ,X_n\})={\left(\frac{n+1}{n}\right)}^2{\mathbb{𝔻}}^2(\max (X_1,\dots ,X_n))$

$={\left(\frac{n+1}{n}\right)}^2(\underset{0}{\overset{a}{\int }}{x}^2\frac{1}{a^n}n{x}^{n-1}dx-{\left(\frac{n}{n+1}a\right)}^2)$

$={\left(\frac{n+1}{n}\right)}^2(\frac{a^{2}n}{n+2}-\frac{a^2{n}^2}{{(n+1)}^2})=\frac{a^2}{n(n+2)}$

Dzielimy teraz przez siebie te dwie wariacje:

$\frac{{\mathbb{𝔻}}^2(S)}{{\mathbb{𝔻}}^2(T_{*})}=\frac{2+n}{3}>1$ dla $n>1$,

co oznacza, że wariancja estymatora $S$ jest większa od wariancji estymatora $T_{*}$, a w związku z tym, ten drugi estymator jest lepszy w sensie naszego kryterium. Co więcej, im większa jest próbka, tym większy jest stosunek obu wariancji.

Ćwiczenie 11.3

Naturalnym estymatorem parametru $p$ w rozkładzie dwupunktowym $(0,1,p)$ jest średnia z próbki. Zauważmy, że tutaj:

$\overline{x}=\frac{k}{n}$,

gdzie $k$ jest liczbą zaobserwowanych jedynek. Łatwo sprawdzić, że jest to estymator zgodny i nieobciążony parametru $p$.

---

Zadanie 11.1 Wylosowano następującą próbkę prostą z rozkładu geometrycznego:

$8,10,11,11,3,8,10,12,17,16,14$.

Jaka liczba będzie dobrym przybliżeniem parametru $p$?

Zadanie 11.2 Wylosowano następującą próbkę prostą z rozkładu jednostajnego na odcinku $(-a,a)$:

$-2.11,-4.71,1.63,-2.52,3.33,0.46,1.02,-0.96$.

Jak przybliżyć wartość parametru $a$? Zadanie 11.3 Dana jest próbka prosta $X_1,\dots ,X_n$ z rozkładu dwupunktowego $(0,1,p)$. Znajdź rozkład estymatora $\overline{X}$.

Zadanie 11.4 Uzasadnij tezy zawarte w przykładzie 11.5.

Zadanie 11.5 Uzasadnij, że estymator $S$ z ćwiczenia 11.2. jest zgodny i nieobciążony.

Zadanie 11.6 Zaproponuj estymator odchylenia standardowego.

Zadanie 11.7 Zaproponuj estymator parametru $\lambda$ w rozkładzie Poissona.

Zadanie 11.8 Zaproponuj estymator parametru $\lambda$ w rozkładzie wykładniczym.

Zadanie 11.9 Sprawdź, że estymator:

$s^2(X_1,\dots ,X_n)=\frac{1}{n}\sum _{i=1}^n(X_i-m{)}^2$,

jest zgodnym estymatorem wariancji ($m$, jak zwykle, oznacza nadzieję matematyczną $X$).

Zadanie 11.10 Czy następujący estymator:

$s_{*}(X_1,\dots ,X_n)=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2}$,

jest obciążonym estymatorem odchylenia standardowego?

Zadanie 11.11 Wykorzystując statystykę pozycyjną, zaproponuj estymator kwantyla $q_p$.

Zadanie 11.12 Wykaż wzór:

$\sum _{i=1}^n(x_i-\overline{x}{)}^2=\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2$

Zadanie 11.13 Wykonaj 100 razy następujący eksperyment: z rozkładu jednostajnego na przedziale $(0,10)$ losujemy 30 liczb i obliczamy wartości statystyk $2\overline{x}$ oraz $\frac{n+1}{n}\max \{x_1,\dots ,x_n\}$. Otrzymasz dwa ciągi liczb, powiedzmy $a_1,\dots ,a_{100}$ oraz $b_1,\dots ,b_{100}$. Dla każdego z tych dwóch ciągów oblicz średnią i wariancję. Porównaj otrzymane wyniki z wnioskami zawartymi w ćwiczeniu 11.2.