Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 11: Wnioskowanie statystyczne

From Studia Informatyczne

Ćwiczenia

Ćwiczenie 11.1

Przypuśćmy, że próbka prosta pochodzi z rozkładu jednostajnego na odcinku \displaystyle (0,a), gdzie \displaystyle a > 0 jest nieznanym parametrem. Zastanowimy się, co może być "dobrym" estymatorem parametru \displaystyle a.

Jako sensowne przybliżenie \displaystyle a można wziąć największy element próbki, czyli statystykę:


\displaystyle  T( \displaystyle x_1, \dots, x_n\displaystyle  ) = \max \{ \displaystyle x_1, \dots, x_n\displaystyle  \}.


Można udowodnić, że jest to estymator zgodny. Sprawdzimy, czy jest on także nieobciążony.

Aby obliczyć nadzieję matematyczną zmiennej losowej \displaystyle \max \{ \displaystyle X_1, \dots, X_n\displaystyle  \}, wyznaczymy najpierw dystrybuantę \displaystyle F oraz gęstość \displaystyle f tej zmiennej, a następnie wykorzystamy wzór (patrz twierdzenie 7.22):


\displaystyle {\Bbb E}(\max \{ \displaystyle X_1, \dots, X_n\displaystyle  \}) = \int_{-\infty}^\infty x f(x)\, dx.


Oczywiście, z określenia naszej zmiennej losowej wynika natychmiast, że \displaystyle F(x) \leq 0 dla \displaystyle x < 0 oraz \displaystyle F(x) = 1 dla \displaystyle x \geq a (wtedy też \displaystyle f(x)=0), zaś dla \displaystyle x \in (0,a), z niezależności zmiennych \displaystyle X_1, \dots, X_n otrzymujemy:


\displaystyle  F(x) = P(\max \{ \displaystyle X_1, \dots, X_n\displaystyle  \} \le x) = P(X_1 \le x, \dots, X_n \le x)


\displaystyle  =  P(X_1 \le x)\cdot \dots \cdot P(X_n \le x) = \left( \frac{x}{a} \right )^n.


Stąd:


\displaystyle   f(x) = F'(x)=\frac{1}{a^n} n x^{n-1}\;\; dla \displaystyle  \; x\in (0,a),


zatem:


\displaystyle  {\Bbb E}(T( \displaystyle X_1, \dots, X_n\displaystyle  )) = \frac{1}{a^n}\, n \int_0^a x x^{n-1}\,dx = \frac{n}{n+1}a.


Powyższy estymator jest więc obciążony, ale jest także asymptotycznie nieobciążony. Jednak już teraz widać, że estymatorem nieobciążonym parametru \displaystyle p jest estymator:


\displaystyle  T_*( \displaystyle X_1, \dots, X_n\displaystyle  )=\frac{n+1}{n} \max\{ \displaystyle X_1, \dots, X_n\displaystyle  \}.


Zauważmy, iż właściwie można było z góry przewidzieć, że estymator \displaystyle \max\{ \displaystyle X_1, \dots, X_n\displaystyle  \} będzie obciążony, gdyż praktycznie zawsze:


\displaystyle \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \} < a


- okazuje się, że wymnożenie przez współczynnik \displaystyle \frac{n+1}{n} zwiększa go tyle, ile trzeba.

Ćwiczenie 11.2

Innym podejściem do estymacji parametru \displaystyle a w rozkładzie jednostajnym na przedziale \displaystyle (0,a), jest wykorzystanie wiadomości, że nadzieja matematyczna, której "dobrym" estymatorem jest średnia, w tym rozkładzie wynosi \displaystyle \frac{a}{2},

a więc jako estymator \displaystyle a można przyjąć estymator określony przez statystykę:
\displaystyle S( \displaystyle X_1, \dots, X_n\displaystyle  )=2 \bar{x} .

Można łatwo stwierdzić, że jest to estymator zgodny i nieobciążony. Nasuwa się więc naturalne pytanie o to, który estymator jest lepszy: estymator \displaystyle T_*, określony w ćwiczeniu 11.1, czy zdefiniowany powyżej estymator \displaystyle S.

Aby odpowiedzieć na powyższe pytanie, należy ustalić jakieś kryterium pozwalające na porównywanie estymatorów. Wśród estymatorów nieobciążonych kryterium tym jest wielkość wariancji, przy czym im mniejsza wariancja, tym lepszy estymator. Liczymy więc wariancje \displaystyle T_* i \displaystyle S, wykorzystując (między innymi) wzór na wariancję w rozkładzie jednostajnym (patrz przykład 7.11) oraz twierdzenie 7.13 (patrz punkt 6):


\displaystyle  {\Bbb D}^2 (S)={\Bbb D}^2 (2 \bar{X}) = \frac{4}{n^2} {\Bbb D}^2 (X_1+ \dots + X_n) =  \frac{4}{n^2} n {\Bbb D}^2 (X) =  \frac{4a^2}{12n} = \frac{a^2}{3n},


\displaystyle  {\Bbb D}^2 (T_*)={\Bbb D}^2 \left(\frac{n+1}{n} \max\{ \displaystyle X_1, \dots, X_n\displaystyle  \}\right) =  \left(\frac{n+1}{n}\right)^2 {\Bbb D}^2 ( \max( \displaystyle X_1, \dots, X_n\displaystyle  ))


\displaystyle  = \left(\frac{n+1}{n}\right)^2 \left(\int_0^ax^2\frac{1}{a^n} n x^{n-1}\,dx -  \left(\frac{n}{n+1}a\right)^2\right)


\displaystyle    = \left( \frac{n +1}{n} \right) ^{2} \left( {\frac {{a}^{2}n}{n+2}}-{\frac {{a}^{2}{n}^{2}}{ \left( n+1 \right) ^{2}}} \right) = {\frac {{a}^{2}}{n \left( n+2 \right) }}.


Dzielimy teraz przez siebie te dwie wariacje:


\displaystyle  \frac{ {\Bbb D}^2 (S)}{{\Bbb D}^2 (T_*)} = \frac{2+n}{3} > 1\;\; dla \displaystyle   n > 1,


co oznacza, że wariancja estymatora \displaystyle S jest większa od wariancji estymatora \displaystyle T_*, a w związku z tym, ten drugi estymator jest lepszy w sensie naszego kryterium. Co więcej, im większa jest próbka, tym większy jest stosunek obu wariancji.

Ćwiczenie 11.3

Naturalnym estymatorem parametru \displaystyle p w rozkładzie dwupunktowym \displaystyle (0,1,p) jest średnia z próbki. Zauważmy, że tutaj:


\displaystyle \bar{x}=\frac{k}{n},


gdzie \displaystyle k jest liczbą zaobserwowanych jedynek. Łatwo sprawdzić, że jest to estymator zgodny i nieobciążony parametru \displaystyle p.


Zadanie 11.1 Wylosowano następującą próbkę prostą z rozkładu geometrycznego:

\displaystyle 8,\; 10,\; 11,\; 11,\; 3,\; 8,\; 10,\; 12,\; 17,\; 16,\; 14.

Jaka liczba będzie dobrym przybliżeniem parametru \displaystyle p?

Zadanie 11.2 Wylosowano następującą próbkę prostą z rozkładu jednostajnego na odcinku \displaystyle (-a,a):


\displaystyle -2.11, \; -4.71, \; 1.63,\; -2.52,\; 3.33,\; 0.46,\; 1.02,\; -0.96.


Jak przybliżyć wartość parametru \displaystyle a? Zadanie 11.3 Dana jest próbka prosta \displaystyle X_1, \dots, X_n z rozkładu dwupunktowego \displaystyle (0,1,p). Znajdź rozkład estymatora \displaystyle \bar{X}.

Zadanie 11.4 Uzasadnij tezy zawarte w przykładzie 11.5.

Zadanie 11.5 Uzasadnij, że estymator \displaystyle S z ćwiczenia 11.2. jest zgodny i nieobciążony.

Zadanie 11.6 Zaproponuj estymator odchylenia standardowego.

Zadanie 11.7 Zaproponuj estymator parametru \displaystyle \lambda w rozkładzie Poissona.

Zadanie 11.8 Zaproponuj estymator parametru \displaystyle \lambda w rozkładzie wykładniczym.

Zadanie 11.9 Sprawdź, że estymator:


\displaystyle  s^{2}( \displaystyle X_1, \dots, X_n\displaystyle  ) = \frac{1}{n} \sum_{i=1}^{n} ( X_{i}-m)^{2},


jest zgodnym estymatorem wariancji (\displaystyle m, jak zwykle, oznacza nadzieję matematyczną \displaystyle X).

Zadanie 11.10 Czy następujący estymator:


\displaystyle  s_*( \displaystyle X_1, \dots, X_n\displaystyle  ) = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} ( X_{i}-\bar{X})^{2} },


jest obciążonym estymatorem odchylenia standardowego?

Zadanie 11.11 Wykorzystując statystykę pozycyjną, zaproponuj estymator kwantyla \displaystyle q_p.

Zadanie 11.12 Wykaż wzór:


\displaystyle  \sum_{i=1}^n(x_i - \bar{x})^2 = \sum_{i=1}^nx_i^2 - n\bar{x}^2.


Zadanie 11.13 Wykonaj 100 razy następujący eksperyment: z rozkładu jednostajnego na przedziale \displaystyle (0,10) losujemy 30 liczb i obliczamy wartości statystyk \displaystyle 2 \bar{x} oraz \displaystyle \frac{n+1}{n} \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \}. Otrzymasz dwa ciągi liczb, powiedzmy \displaystyle a_1, \dots, a_{100} oraz \displaystyle b_1, \dots, b_{100}. Dla każdego z tych dwóch ciągów oblicz średnią i wariancję. Porównaj otrzymane wyniki z wnioskami zawartymi w ćwiczeniu 11.2.