Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 12: Metoda największej wiarygodności

Ćwiczenia i zadania

Ćwiczenie

Rozważmy próbkę prostą $x_1,\dots ,x_n$ z rozkładu $N(m,\sigma )$. Znajdziemy estymatory największej wiarygodności parametrów $m$ i $\sigma$.

Przypominamy, że gęstość rozkładu normalnego wyraża się wzorem:

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-m}{\sigma }{)}^2}$ dla $x\in \mathbb{ℝ}.$

W związku z tym, funkcja wiarygodności ma postać:

$l(m,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x_1-m}{\sigma }{)}^2}\cdot \dots \cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x_n-m}{\sigma }{)}^2}$ $=\frac{1}{(\sqrt{2\pi }\sigma {)}^n}{e}^{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-m{)}^2}.$

Z postaci funkcji $l$ od razu widać, że przy każdym ustalonym $\sigma$ przyjmuje ona wartość największą dla takiego $m$,

dla którego funkcja:

$l_1(m)=\sum _{i=1}^n(x_i-m{)}^2$

osiąga wartość najmniejszą, ta ostatnia zaś jest zwykłą funkcją kwadratową

zmiennej

$m$

, a więc łatwo sprawdzić, że przyjmuje ona wartość najmniejszą dla:

$\hat{m}=\overline{x}.$

Rozważmy zatem funkcję:

$l_2(\sigma )=(\sqrt{2\pi }{)}^{n}l(\overline{x},\sigma ),$

a następnie jej logarytm:

$L(\sigma )=-n\ln \sigma -\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\overline{x}{)}^2.$

Obliczamy pochodną:

$L^{\prime }(\sigma )=\frac{-n}{\sigma }-\frac{1}{2{\sigma }^3}(-2)\sum _{i=1}^n(x_i-\overline{x}{)}^2=-\frac{n}{\sigma }+\frac{1}{{\sigma }^3}\sum _{i=1}^n(x_i-\overline{x}{)}^2.$

Zauważmy, jedynym rozwiązaniem równania:

$L^{\prime }(\sigma )=0$

jest liczba:

$\hat{\sigma }=\sqrt{\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2}.$

Ostatecznie więc otrzymujemy następujące estymatory:

$\hat{m}=\overline{x}=\frac{x_1+\dots +x_n}{n},\hat{\sigma }=\sqrt{\frac{(x_1-{\overline{x}}_n{)}^2+\dots +(x_n-{\overline{x}}_n{)}^2}{n}}.$

Ćwiczenie

Aby stwierdzić ile jest średnio bakterii pewnego rodzaju w 1 litrze wody, pobrano $n$ próbek wody po 100 ml (próbki typu $A$) oraz $m$ próbek wody po 300 ml (próbki typu $B$). Metoda laboratoryjna pozwala jedynie na stwierdzenie obecności (nie ilości!) bakterii w danej próbce wody. Metodą tą stwierdzono obecność bakterii w $k$ próbkach typu $A$ oraz $l$ próbkach typu $B$. Jaka jest średnia liczba bakterii w 1 litrze wody?

Zanim przejdziemy do właściwego rozwiązania powyższego zadania, należy najpierw zdać sobie sprawę z tego, że rozkład bakterii w ustalonej porcji wody podlega w przybliżeniu rozkładowi Poissona -- mamy tu bowiem dużo doświadczeń (znalezienie się pojedynczej bakterii w ustalonej porcji wody) z niezwykle małym prawdopodobieństwem sukcesu każde. Dla ułatwienia zapisu przyjmujemy, że podstawowa objętość ma 100 ml (gdy już będziemy mieć średnią liczbę bakterii w tej objętości, to pomnożymy ją przez 10, uzyskując w ten sposób żądany wynik).

Niech więc $X$ oznacza liczbę bakterii w 100 ml wody. Zakładamy, że $X$ ma rozkład Poissona z parametrem $\lambda$. W związku z tym zmienna losowa $Y$, oznaczająca liczbę bakterii w 300 ml wody, ma rozkład Poissona z parametrem $3\lambda$. Teraz wyniki badania można interpretować następująco: zaobserwowano zdarzenie, polegające na jednoczesnym zajściu:

• $k$ zdarzeń postaci $\{X_i>0\}$,
• $n-k$ zdarzeń postaci $\{X_i=0\}$,
• $l$ zdarzeń postaci $\{Y_i>0\}$,
• $m-l$ zdarzeń postaci $\{Y_i=0\}$,

gdzie zmienne $X_i$ tworzą próbkę prostą z $X$, zaś zmienne $Y_i$ -- próbkę prostą z $Y$. Prawdopodobieństwo zaobserwowanego zdarzenia jest więc iloczynem prawdopodobieństw powyższych zdarzeń. Zauważmy

jednak, że:

$P(X_i=0)=P(X=0)=e^{-\lambda },$

a więc:

$P(X_i>0)=P(X>0)=1-e^{-\lambda }.$

Podobnie:

$P(Y_i=0)=P(Y=0)=e^{-3\lambda },$

zatem:

$P(Y_i>0)=P(Y>0)=1-e^{-3\lambda }.$

Ostatecznie więc funkcja wiarygodności ma postać:

$l(q)=q^{n-k}(1-q{)}^k(q^3{)}^{m-l}(1-q^3{)}^l,$

gdzie $q=e^{-\lambda }$. Widać, że $l(0)=l(1)=0$ oraz że $l$ jest ciągła na przedziale $[0,1]$, tak więc istnieje w tym przypadku estymator największej wiarygodności, aczkolwiek wzór określający funkcję $l$ wydaje się być zbyt skomplikowany, aby można było znaleźć analityczną postać tego estymatora.

W związku z powyższym, rozwiążemy nasze zadanie wykorzystując program Maple oraz ustalając konkretne wartości parametrów, powiedzmy:

$n=30,k=8,m=5,l=3.$

Wyznaczamy logarytm z funkcji wiarygodności, różniczkujemy go i przyrównujemy do $0$, otrzymując następujące równanie:

$28q^{27}{(1-q)}^8{(1-q^3)}^3-8q^{28}{(1-q)}^7{(1-q^3)}^3$ $-9q^{30}{(1-q)}^8{(1-q^3)}^2=0.$

Po podzieleniu obu stron przez wspólny czynnik dostajemy:

$-28+8q+8q^2+45q^3=0.$

Równanie to można rozwiązać numerycznie w przedziale $(0,1)$ otrzymując:

$\hat{q}=0.7342,$

czyli:

$\hat{\lambda }=-\ln \hat{q}=0.3089.$

Tak więc w jednym litrze wody są średnio nieco ponad $3$ bakterie.

Ćwiczenie

Zmodyfikujemy przykład Uzupelnic 122|. Treść zadania wygląda teraz następująco. Chcąc zbadać wadliwość nowej serii komputerów przeprowadzono następujące badanie: przez 20 dni uruchamiano codziennie 10 nowych komputerów i każdy z nich poddawano wszechstronnemu testowi. Otrzymano następujące wyniki: ciągu 14 dni wszystkie komputery działały bez zarzutu, w ciągu 4 dni miała miejsce awaria jednego z komputerów, natomiast w ciągu 2 dni zaobserwowano awarie więcej niż jednego komputera. Jaka jest wadliwość losowo wybranego komputera, rozumiana jako prawdopodobieństwo awarii w czasie jednego dnia pracy?

Ta drobna zmiana oznacza istotną komplikację techniczną. Stosując oznaczenia z przykładu Uzupelnic 122| widzimy, że funkcja wiarygodności ma teraz postać:

$l(p)=a_0^{14}{a}_1^4(1-a_0-a_1{)}^2,$

gdyż $1-a_0-a_1$ oznacza prawdopodobieństwo zajścia więcej niż jednej awarii w danym dniu. Mamy dalej:

$l(p)={((1-p{)}^{10})}^{14}{(10p(1-p{)}^9)}^4{(1-(1-p{)}^{10}-10p(1-p{)}^9)}^2,$

a więc sytuacja jest podobna do tej z ćwiczenia Uzupelnic cb| -- można wziąć logarytm z funkcji $l$, obliczyć jego pochodną i przyrównać do $0$, jednak otrzymane w ten sposób równanie trzeba rozwiązywać numerycznie. Okazuje się, że w tym przypadku estymatorem największej wiarygodności parametru $p$ jest:

$\hat{p}=0.041,$

a więc nieznacznie więcej niż w przykładzie Uzupelnic 122|.

Ćwiczenie

Znajdziemy estymator największej wiarygodności parametru $a$, w rozkładzie jednostajnym na przedziale $(0,a)$.

Z warunków zadania wynika, że dysponujemy próbką prostą $x_1,\dots ,x_n$ z rozkładu ciągłego, którego gęstość $f$ jest następująca: $f(x)=\frac{1}{a}$ dla $0\le x\le a$ oraz $f(x)=0$ dla pozostałych $x$. Funkcją wiarygodności jest więc tutaj:

$l(a)=f(x_1)\cdot \dots \cdot f(x_n),$

W związku z tym, jeżeli wszystkie punkty $x_i$ leżą w przedziale $(0,a)$, to:

$l(a)=\frac{1}{a^n},$

zaś w przeciwnym wypadku:

$l(a)=0.$

Zatem:

Parser nie mógł rozpoznać (nieznana funkcja „\begin{array}”): {\displaystyle \displaystyle l(a) = \left\{ \begin{array} {rl} \frac{1}{a^n} & } dla Parser nie mógł rozpoznać (błąd składni): {\displaystyle \displaystyle a \geq \max\{ \displaystyle x_1, \dots, x_n\displaystyle \}\\ 0 & } dla Parser nie mógł rozpoznać (błąd składni): {\displaystyle \displaystyle 0 < a < \max\{ \displaystyle x_1, \dots, x_n\displaystyle \}. \end{array} \right. }

W nietrywialnym przypadku, czyli gdy $\max (x_1,\dots ,x_n)>0$, funkcja ta jest dobrze określona, lecz nie jest ciągła w punkcie $a=\max \{x_1,\dots ,x_n\}$. Jednak widać (narysuj wykres funkcji $l$), że akurat w tym punkcie funkcja $l$ przyjmuje wartość największą. Tak więc estymatorem największej wiarygodności parametru $a$ jest:

$\hat{a}=\max \{x_1,\dots ,x_n\},$

o którym była już mowa w ćwiczeniu Uzupelnic earjm|.

. . .

Ćwiczenie

Znajdź wartość największą (o ile istnieje) funkcji $f$ na zbiorze $A$:

$f(x)=x^3-x^2+8x-2$, $A=[-2.2]$,

$f(x)=x-\sqrt{x^2+8x-2}$, $A=[0.4]$,

$f(x)=x^2\ln |x|$ dla $x\ne 0$, $f(0)=0$, $A=\mathbb{ℝ}$,

$f(x)=x^2-\frac{1}{x}$, $A=[1,2]$,

$f(x)=\max \{x,1-x^2\}$, $A=(0,1)$,

$f(x)=e^{-|x|}$, $A=\mathbb{ℝ}$,

$f(x)=\frac{x-2}{x^2}$, $A=\{0,1,2,\dots \}$.

Ćwiczenie

Wyprowadź wzór na estymator największej wiarygodności parametru $p$, gdy próbka prosta pochodzi z rozkładu geometrycznego.

Ćwiczenie

Wyprowadź wzór na estymator największej wiarygodności parametru $\lambda$, gdy próbka prosta pochodzi z rozkładu Poissona.

Ćwiczenie

Testowano czas działania $T$ nowej serii baterii do telefonów komórkowych. Otrzymano następujące wyniki (w godzinach):

$239,209,208,235,226,204,203,204,217,232,$

natomiast pięć innych baterii działało dłużej niż 240 godzin. Znajdź estymator parametru $p$ zakładając, że rozkładu czasu działania baterii

jest postaci: $P(T=k)=(1-p{)}^{k-201}p$ dla $k=201,202,203,\dots .$

Korzystając z otrzymanego wyniku, określ średni czas działania baterii oraz oblicz prawdopodobieństwo tego, bateria z tej serii działa dłużej niż 220 godzin.

Ćwiczenie

Metodą największej wiarygodności znajdź estymator parametru $a$, gdy próbka $x_1,\dots ,x_n$ pochodzi z rozkładu jednostajnego na odcinku $(-a,0)$.

Ćwiczenie

W pewnej liczbie rzutów monetą symetryczną uzyskano 5 orłów. Ile było rzutów?

Ćwiczenie

Mamy próbkę prostą $x_1,\dots ,x_n$ z rozkładu wykładniczego oraz wiemy, że $k$ dalszych niezależnych obserwacji $x_i$ z tego rozkładu ma wartość większą niż dana liczba $T$. Jaka jest nadzieja matematyczna tego rozkładu?