Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 12: Metoda największej wiarygodności

From Studia Informatyczne

Ćwiczenia

Ćwiczenie 12.1

Rozważmy próbkę prostą \displaystyle x_1, \dots, x_n z rozkładu \displaystyle N(m,\sigma). Znajdziemy estymatory największej wiarygodności parametrów \displaystyle m i \displaystyle \sigma.

Przypominamy, że gęstość rozkładu normalnego wyraża się wzorem:


\displaystyle  f(x) =  \frac{1}{\sqrt{2\pi}\sigma}\,e^{-\frac{1}{2}(\frac{x - m}{\sigma})^2}\;\; dla \displaystyle   x\in {\Bbb R}.


W związku z tym, funkcja wiarygodności ma postać:


\displaystyle  l(m,\sigma) = \frac{1}{\sqrt{2\pi}\sigma}\,e^{-\frac{1}{2}(\frac{x_1 - m}{\sigma})^2} \cdot \dots \cdot \frac{1}{\sqrt{2\pi}\sigma}\,e^{-\frac{1}{2}(\frac{x_n - m}{\sigma})^2}


\displaystyle  = \frac{1}{(\sqrt{2\pi}\sigma)^n}e^{- \frac{1}{2\sigma^2}\sum_{i=1}^n(x_i - m)^2}.


Z postaci funkcji \displaystyle l od razu widać, że przy każdym ustalonym \displaystyle \sigma przyjmuje ona wartość największą dla takiego \displaystyle m, dla którego funkcja:


\displaystyle l_1(m)=\sum_{i=1}^n(x_i - m)^2


osiąga wartość najmniejszą, ta ostatnia zaś jest zwykłą funkcją kwadratową zmiennej \displaystyle m, a więc łatwo sprawdzić, że przyjmuje ona wartość najmniejszą dla:
\displaystyle \hat{m} = \bar{x}.

Rozważmy zatem funkcję:


\displaystyle l_2(\sigma)=(\sqrt{2\pi})^n l(\bar{x},\sigma),


a następnie jej logarytm:


\displaystyle  L(\sigma) = -n \ln \sigma - \frac{1}{2\sigma^2}\sum_{i=1}^n(x_i - \bar{x})^2.


Obliczamy pochodną:


\displaystyle  L'(\sigma) = \frac{-n}{\sigma} - \frac{1}{2\sigma^{3}}(-2)\sum_{i=1}^n(x_i - \bar{x})^2 = - \frac{n}{\sigma} + \frac{1}{\sigma^{3}}\sum_{i=1}^n(x_i - \bar{x})^2.


Zauważmy, jedynym rozwiązaniem równania:


\displaystyle  L'(\sigma) = 0


jest liczba:


\displaystyle  \widehat{\sigma} = \sqrt{\frac{1}{n} \sum_{i=1}^n(x_i - \bar{x})^2}.


Ostatecznie więc otrzymujemy następujące estymatory:


\displaystyle \displaystyle \hat{m} = \bar{x} = \frac{x_1+ \dots + x_n}{n}, \ \  \widehat{\sigma} =\sqrt{ \frac{(x_1-\bar{x}_n)^2 + \dots + (x_n - \bar{x}_n)^2}{n}}.


Ćwiczenie 12.2

Aby stwierdzić ile jest średnio bakterii pewnego rodzaju w 1 litrze wody, pobrano \displaystyle n próbek wody po 100 ml (próbki typu \displaystyle A) oraz \displaystyle m próbek wody po 300 ml (próbki typu \displaystyle B). Metoda laboratoryjna pozwala jedynie na stwierdzenie obecności (nie ilości!) bakterii w danej próbce wody. Metodą tą stwierdzono obecność bakterii w \displaystyle k próbkach typu \displaystyle A oraz \displaystyle l próbkach typu \displaystyle B. Jaka jest średnia liczba bakterii w 1 litrze wody?

Zanim przejdziemy do właściwego rozwiązania powyższego zadania, należy najpierw zdać sobie sprawę z tego, że rozkład bakterii w ustalonej porcji wody podlega w przybliżeniu rozkładowi Poissona -- mamy tu bowiem dużo doświadczeń (znalezienie się pojedynczej bakterii w ustalonej porcji wody) z niezwykle małym prawdopodobieństwem sukcesu każde. Dla ułatwienia zapisu przyjmujemy, że podstawowa objętość ma 100 ml (gdy już będziemy mieć średnią liczbę bakterii w tej objętości, to pomnożymy ją przez 10, uzyskując w ten sposób żądany wynik).

Niech więc \displaystyle X oznacza liczbę bakterii w 100 ml wody. Zakładamy, że \displaystyle X ma rozkład Poissona z parametrem \displaystyle \lambda. W związku z tym zmienna losowa \displaystyle Y, oznaczająca liczbę bakterii w 300 ml wody, ma rozkład Poissona z parametrem \displaystyle 3\lambda. Teraz wyniki badania można interpretować następująco: zaobserwowano zdarzenie, polegające na jednoczesnym zajściu:

  • \displaystyle k zdarzeń postaci \displaystyle \{X_i > 0\},
  • \displaystyle n- k zdarzeń postaci \displaystyle \{X_i = 0\},
  • \displaystyle l zdarzeń postaci \displaystyle \{Y_i > 0\},
  • \displaystyle m - l zdarzeń postaci \displaystyle \{Y_i = 0\},

gdzie zmienne \displaystyle X_i tworzą próbkę prostą z \displaystyle X, zaś zmienne \displaystyle Y_i - próbkę prostą z \displaystyle Y. Prawdopodobieństwo zaobserwowanego zdarzenia jest więc iloczynem prawdopodobieństw powyższych zdarzeń. Zauważmy jednak, że:


\displaystyle P(X_i = 0) = P(X=0)  = e^{-\lambda},


a więc:


\displaystyle P(X_i > 0) = P(X>0)  = 1- e^{-\lambda}.


Podobnie:


\displaystyle P(Y_i = 0) = P(Y=0)  = e^{-3\lambda},


zatem:


\displaystyle P(Y_i > 0) = P(Y>0)  = 1- e^{-3\lambda}.


Ostatecznie więc funkcja wiarygodności ma postać:


\displaystyle  l(q) = q^{n-k}(1-q)^{k}(q^3)^{m-l}(1-q^3)^{l},


gdzie \displaystyle q = e^{-\lambda}. Widać, że \displaystyle l(0) = l(1) = 0 oraz że \displaystyle l jest ciągła na przedziale \displaystyle [0,1], tak więc istnieje w tym przypadku estymator największej wiarygodności, aczkolwiek wzór określający funkcję \displaystyle l wydaje się być zbyt skomplikowany, aby można było znaleźć analityczną postać tego estymatora.

W związku z powyższym, rozwiążemy nasze zadanie wykorzystując program Maple oraz ustalając konkretne wartości parametrów, powiedzmy:


\displaystyle n =30,\; k = 8,\; m = 5, \;l = 3.


Wyznaczamy logarytm z funkcji wiarygodności, różniczkujemy go i przyrównujemy do \displaystyle 0, otrzymując następujące równanie:


\displaystyle  28\,{q}^{27} \left( 1-q \right) ^{8} \left( 1-{q}^{3} \right) ^{3}-8\, {q}^{28} \left( 1-q \right) ^{7} \left( 1-{q}^{3} \right) ^{3}


\displaystyle -9\,{q}^ {30} \left( 1-q \right) ^{8} \left( 1-{q}^{3} \right) ^{2} =0.


Po podzieleniu obu stron przez wspólny czynnik dostajemy:


\displaystyle  -28+8q+8q^2+45q^3 = 0.


Równanie to można rozwiązać numerycznie w przedziale \displaystyle (0,1) otrzymując:


\displaystyle \hat{q} = 0.7342,
czyli:
\displaystyle \hat{\lambda} = -\ln \hat{q} = 0.3089.


Tak więc w jednym litrze wody są średnio nieco ponad \displaystyle 3 bakterie.

Ćwiczenie 12.3

Zmodyfikujemy przykład 12.4. Treść zadania wygląda teraz następująco. Chcąc zbadać wadliwość nowej serii komputerów przeprowadzono następujące badanie: przez 20 dni uruchamiano codziennie 10 nowych komputerów i każdy z nich poddawano wszechstronnemu testowi. Otrzymano następujące wyniki: ciągu 14 dni wszystkie komputery działały bez zarzutu, w ciągu 4 dni miała miejsce awaria jednego z komputerów, natomiast w ciągu 2 dni zaobserwowano awarie więcej niż jednego komputera. Jaka jest wadliwość losowo wybranego komputera, rozumiana jako prawdopodobieństwo awarii w czasie jednego dnia pracy?

Ta drobna zmiana oznacza istotną komplikację techniczną. Stosując oznaczenia z przykładu 12.4 widzimy, że funkcja wiarygodności ma teraz postać:


\displaystyle  l(p) = a_0^{14}a_1^4(1 - a_0 - a_1)^2,


gdyż \displaystyle 1 - a_0 - a_1 oznacza prawdopodobieństwo zajścia więcej niż jednej awarii w danym dniu. Mamy dalej:


\displaystyle  l(p) = \left((1-p)^{10}\right)^{14} \left(10 p(1-p)^{9}\right)^{4}\left(1 - (1-p)^{10} - 10 p(1-p)^{9}\right)^2,


a więc sytuacja jest podobna do tej z ćwiczenia 12.2 - można wziąć logarytm z funkcji \displaystyle l, obliczyć jego pochodną i przyrównać do \displaystyle 0, jednak otrzymane w ten sposób równanie trzeba rozwiązywać numerycznie. Okazuje się, że w tym przypadku estymatorem największej wiarygodności parametru \displaystyle p jest:

\displaystyle \hat{p} = 0.041,

a więc nieznacznie więcej niż w przykładzie 12.4.

Ćwiczenie 12.4

Znajdziemy estymator największej wiarygodności parametru \displaystyle a, w rozkładzie jednostajnym na przedziale \displaystyle (0,a).

Z warunków zadania wynika, że dysponujemy próbką prostą \displaystyle x_1, \dots, x_n z rozkładu ciągłego, którego gęstość \displaystyle f jest następująca: \displaystyle f(x) = \frac{1}{a} dla \displaystyle 0 \leq x \leq a oraz \displaystyle f(x) = 0 dla pozostałych \displaystyle x. Funkcją wiarygodności jest więc tutaj:


\displaystyle  l(a) = f(x_1) \cdot \dots \cdot f(x_n),


W związku z tym, jeżeli wszystkie punkty \displaystyle x_i leżą w przedziale \displaystyle (0,a), to:


\displaystyle l(a) = \frac{1}{a^n},


zaś w przeciwnym wypadku:


\displaystyle l(a) = 0.


Zatem:


\displaystyle  l(a) = \left\{ \begin{array} {rl} \frac{1}{a^n} &  \textrm{dla} \displaystyle   a \geq  \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \}\\ 0 &   \textrm{dla} \displaystyle   0 <  a < \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \}. \end{array}  \right.


W nietrywialnym przypadku, czyli gdy \displaystyle \max( \displaystyle x_1, \dots, x_n\displaystyle  ) > 0, funkcja ta jest dobrze określona, lecz nie jest ciągła w punkcie \displaystyle a = \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \}. Jednak widać (narysuj wykres funkcji \displaystyle l), że akurat w tym punkcie funkcja \displaystyle l przyjmuje wartość największą. Tak więc estymatorem największej wiarygodności parametru \displaystyle a jest:


\displaystyle \hat{a} = \max\{ \displaystyle x_1, \dots, x_n\displaystyle  \},


o którym była już mowa w ćwiczeniu 11.1.


Zadanie 12.1 Znajdź wartość największą (o ile istnieje) funkcji \displaystyle f na zbiorze \displaystyle A:

  1. \displaystyle f(x) = x^3 - x^2 + 8x - 2, \displaystyle A = [-2.2],
  2. \displaystyle f(x) = x - \sqrt{x^2 + 8x - 2}, \displaystyle A = [0.4],
  3. \displaystyle f(x) = x^2\ln|x| dla \displaystyle x\neq 0, \displaystyle f(0) = 0, \displaystyle A = {\Bbb R},
  4. \displaystyle \displaystyle f(x) = x^2 - \frac{1}{x}, \displaystyle A = [1,2],
  5. \displaystyle f(x) = \max\{x,1-x^2\}, \displaystyle A = (0,1),
  6. \displaystyle f(x) = e^{-|x|}, \displaystyle A = {\Bbb R},
  7. \displaystyle f(x) = \frac{x-2}{x^2}, \displaystyle A = \{0,1,2, \dots\}.

Zadanie 12.2 Wyprowadź wzór na estymator największej wiarygodności parametru \displaystyle p, gdy próbka prosta pochodzi z rozkładu geometrycznego.

Zadanie 12.3 Wyprowadź wzór na estymator największej wiarygodności parametru \displaystyle \lambda, gdy próbka prosta pochodzi z rozkładu Poissona.

Zadanie 12.4 Testowano czas działania \displaystyle T nowej serii baterii do telefonów komórkowych. Otrzymano następujące wyniki (w godzinach):


\displaystyle 239,\; 209,\; 208,\; 235,\; 226,\; 204,\; 203,\; 204,\; 217,\; 232,


natomiast pięć innych baterii działało dłużej niż 240 godzin. Znajdź estymator parametru \displaystyle p zakładając, że rozkładu czasu działania baterii jest postaci:


\displaystyle P(T = k) = (1-p)^{k - 201}p\;\; dla \displaystyle  k = 201, 202, 203, \dots .


Korzystając z otrzymanego wyniku, określ średni czas działania baterii oraz oblicz prawdopodobieństwo tego, bateria z tej serii działa dłużej niż 220 godzin.

Zadanie 12.5 Metodą największej wiarygodności znajdź estymator parametru \displaystyle a, gdy próbka \displaystyle x_1, \dots, x_n pochodzi z rozkładu jednostajnego na odcinku \displaystyle (-a,0).

Zadanie 12.6 W pewnej liczbie rzutów monetą symetryczną uzyskano 5 orłów. Ile było rzutów?

Zadanie 12.7 Mamy próbkę prostą \displaystyle x_1, \dots, x_n z rozkładu wykładniczego oraz wiemy, że \displaystyle k dalszych niezależnych obserwacji \displaystyle x_i z tego rozkładu ma wartość większą niż dana liczba \displaystyle T. Jaka jest nadzieja matematyczna tego rozkładu?