Rachunek prawdopodobieństwa i statystyka/Ćwiczenia 7: Parametry rozkładów zmiennych losowych

From Studia Informatyczne

Ćwiczenia



Ćwiczenie 7.1

Jakie są nadzieja matematyczna i wariancja sumy oczek przy rzucie parą kostek do gry?

Niech \displaystyle X oznacza sumę oczek uzyskanych na obu kostkach. Mamy obliczyć wartość oczekiwaną \displaystyle {\Bbb E}(X) oraz wariancję \displaystyle {\Bbb D}^2 (X).

Sposób pierwszy (na siłę). Można wyznaczyć rozkład zmiennej losowej \displaystyle X i skorzystać ze wzorów określający nadzieję matematyczną i wariancję. Oczywiście, \displaystyle X przyjmuje wartości


\displaystyle 2,3, \ldots , 12,


kolejno z prawdopodobieństwami:


\displaystyle \frac{1}{36}, \frac{2}{36}, \frac{3}{36}, \frac{4}{36}, \frac{5}{36}, \frac{6}{36}, \frac{5}{36}, \frac{4}{36}, \frac{3}{36}, \frac{2}{36}, \frac{1}{36}.


Mamy więc:


\displaystyle m = {\Bbb E}(X) = 2 \cdot \frac{1}{36} + 3 \cdot \frac{2}{36} + \ldots + 12 \cdot \frac{1}{36} = 7,


\displaystyle  {\Bbb D}^2 (X) = {\Bbb E}(X^2) - {\Bbb E}(X)^2 = 2^2 \cdot \frac{1}{36} + 3^2 \cdot \frac{2}{36} + \cdot + 12^2 \cdot \frac{1}{36} - 49 = \frac{35}{6}.


Sposób drugi. \displaystyle X jest sumą dwóch zmiennych losowych:


\displaystyle X = X_1 + X_2,


oznaczających liczby oczek na poszczególnych kostkach. Mają one więc ten sam rozkład skupiony w punktach \displaystyle 1, \dots, 6 z jednakowym prawdopodobieństwem \displaystyle \frac{1}{6}. Zatem:


\displaystyle {\Bbb E}(X_1) = {\Bbb E}(X_2) = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + \cdot + 6 \cdot \frac{1}{6} = \frac{21}{6} = 3.5,


a więc korzystając z tego, że suma zmiennych losowych ma nadzieję matematyczną równą sumie nadziei składników (patrz twierdzenie 7.13), mamy:


\displaystyle {\Bbb E}(X) = 3.5 + 3.5 = 7.


Wariancja \displaystyle X_1, a więc także \displaystyle X_2, jest również łatwiejsza do obliczenia niż w poprzednim sposobie:


\displaystyle {\Bbb D}^2 (X_1) = {\Bbb E}(X_1^2) - {\Bbb E}(X_1)^2 = 1^2 \cdot \frac{1}{6} + 2^2 \cdot \frac{2}{6} + \ldots + 6^2 \cdot \frac{1}{6} - \left(\frac{21}{6}\right)^2


\displaystyle = \frac{91}{6} - \left(\frac{21}{6}\right)^2 = \frac{35}{12}.


Tak więc, korzystając z twierdzenia 7.13:


\displaystyle {\Bbb D}^2 (X) = 2 \cdot \frac{35}{12} = \frac{35}{6}.


Drugi z powyższych sposobów jest dość uniwersalny. Na przykład, możemy podobnie obliczyć średnią i wariancję sumy oczek otrzymanych przy wielokrotnym rzucie kostką. Za chwilę poznamy także bardziej interesujące zastosowania.



Ćwiczenie 7.2

Niech \displaystyle X oznacza liczbę sukcesów w schemacie Bernoulliego. Obliczymy nadzieję matematyczną i wariancję \displaystyle X.

Niech \displaystyle X_i oznacza liczbę sukcesów w \displaystyle i-tym doświadczeniu (\displaystyle i = 1, \dots , n). Zmienne \displaystyle X_i mają taki sam rozkład dwupunktowy i są oczywiście niezależne. Co więcej, obliczyliśmy już nadzieję matematyczną i wariancję takich zmiennych (patrz przykład 7.5 i przykład 7.10). Mamy więc (dlaczego?):

\displaystyle  {\Bbb E}(X) = np, \ \ \ \ \ \ \ \  {\Bbb D}^2 (X) = np(1-p).

Ćwiczenie 7.3

Doświadczenie wskazuje, że przy wielokrotnym rzucie monetą symetryczną, powinno być mniej więcej tyle samo orłów co reszek. Spróbujemy to teraz uzasadnić, szacując z góry prawdopodobieństwo tego, że różnica między liczbą orłów i reszek jest niezbyt duża.



Przypuśćmy, że wykonano 1000 rzutów. Niech \displaystyle \xi oznacza ilość orłów, a więc \displaystyle 1000 - \xi jest ilością reszek. Zmienna losowa \displaystyle \xi jest sumą zmiennych losowych o rozkładzie dwupunktowym i stąd:

\displaystyle E(\xi) =  1000 \cdot \frac{1}{2}  =  500,\;\; D^2(\xi)  =  1000 \cdot \frac{1}{2}\cdot  \frac{1}{2} = 250.

Oszacujmy teraz z góry:

\displaystyle P(|\xi - (1000 -\xi)| \ge 100)=P(|\xi  -  500|  \ge  50).

Na mocy wzoru 7.2 z twierdzenia 7.20 (nierówność Czebyszewa), jest ono nie większe niż \displaystyle \frac{250}{50^2}  =  0.1. Może się wydawać, że prawdopodobieństwo to nie jest aż tak małe, jak wskazywałaby na to nasza intuicja, i w związku z tym wynik ten nie ma zbyt wielkiej wartości. Rzeczywiście, tak w istocie jest - nierówność Czebyszewa zachodzi bowiem dla dowolnej zmiennej losowej i z natury rzeczy szacowania przeprowadzone w jej dowodzie były bardzo grube. Jak się okaże, tak zwane centralne twierdzenie graniczne, które udowodnimy później, pozwoli uzyskać o wiele dokładniejszy, bardziej odpowiadający naszym wyobrażeniom wynik - okaże się mianowicie, że interesujące nas prawdopodobieństwo jest mniejsze niż \displaystyle 0.0016.

Ćwiczenie 7.4

W celu zbadania dużej populacji osób, podzielono je na grupy, a następnie pobrano od każdej osoby krew oraz przeprowadzano analizę łączną dla poszczególnych grup, wykonując odpowiedni test na próbkach powstałych przez zmieszanie krwi osób należących do tej samej grupy. Gdy w pewnej grupie wykryto wirus chorobowy, przeprowadzano odrębną analizę dla każdej osoby z tej grupy. Załóżmy, że liczebność populacji wynosi \displaystyle N, liczność grup wynosi \displaystyle n, zaś \displaystyle k niech będzie liczbą grup (oczywiście \displaystyle N = nk). Zakładamy też, że prawdopodobieństwo tego, że dany człowiek jest zarażony interesującym nas wirusem wynosi \displaystyle p oraz że obecność wirusa u danej osoby jest niezależna od jego obecności u innych osób (jest to istotnie upraszczające założenie). Naszym zdaniem jest tak dobrać wielkość grupy \displaystyle n, aby liczba wszystkich (bardzo kosztownych) analiz była, w pewnym sensie, minimalna.



Obliczymy najpierw nadzieję matematyczną liczby wszystkich analiz. Na pierwszy rzut oka wydaje się to dość trudnym zadaniem, gdyż nie jest łatwo wyznaczyć rozkład tej zmiennej losowej. Wykorzystamy jednak tutaj twierdzenie, że nadzieja matematyczna sumy zmiennych losowych jest równa sumie nadziei matematycznych poszczególnych składników. Niech \displaystyle X_i będzie liczbą analiz przeprowadzonych w \displaystyle i-tej grupie (\displaystyle i = 1, \dots, k). Liczba wszystkich analiz \displaystyle X jest więc równa:


\displaystyle X = X_1 + \dots + X_k,


a stąd:


\displaystyle {\Bbb E}(X) ={\Bbb E}(X_1) + \dots + {\Bbb E}(X_k).


Zauważmy także, że wszystkie zmienne losowe \displaystyle X_i mają taki sam rozkład - policzmy więc nadzieję matematyczną jednej z nich, na przykład \displaystyle X_1. Zauważmy, że zmienna ta przyjmuje dwie wartości:


\displaystyle 1\;\; i \displaystyle  \;\; n+1,


z prawdopodobieństwami odpowiednio:


\displaystyle (1-p)^n\;\; (nie wykryto wirusa w grupie)


oraz


\displaystyle 1 - (1-p)^n\;\; (przynajmniej u jednej osoby jest wirus).


W takim razie:


\displaystyle {\Bbb E}(X_1) = 1\cdot (1-p)^n + (n+1)\cdot (1 -{ 1-p)^n),


a zatem:


\displaystyle  {\Bbb E}(X) = k\cdot ((1-p)^n + (n+1)\cdot (1 - (1-p)^n) = \frac{N}{n}((1-p)^n + (n+1)\cdot (1 - (1-p)^n)).


Wyraziliśmy więc \displaystyle {\Bbb E}(X) jako funkcję zmiennej \displaystyle n, zaś interesuje nas znalezienie wartości najmniejszej tej funkcji. Ze względu na dużą złożoność powyższego wzoru, jest to zadanie analitycznie trudne. Z drugiej strony, znając konkretne wartości \displaystyle N oraz \displaystyle p możemy to zadanie rozwiązać graficznie. Narysujmy, przykładowo, wykres \displaystyle {\Bbb E}(X) dla \displaystyle N=1000 i \displaystyle p=\frac{1}{100}, w zależności od \displaystyle n = 1,\dots, 500:




Zmniejszając zakres \displaystyle n do przedziału \displaystyle [1, 30] widzimy, że wartość minimalna zostaje osiągnięta, gdy wielkość grupy jest równa \displaystyle 10.


Dla tej wartości \displaystyle n zmienna losowa \displaystyle X_1 ma rozkład skupiony w punktach \displaystyle 1 oraz \displaystyle 11 z prawdopodobieństwami \displaystyle 0.99^{10} \approx 0.9043820750 i \displaystyle 1-0.99^10\approx 1 - 0.9043820750 \approx 0.0956179250. Tak więc:
\displaystyle {\Bbb E}(X_1) \approx 1.956179250,


a zatem:


\displaystyle {\Bbb E}(X) \approx 195.6179250.


Tak więc średnio będzie potrzebne niecałe \displaystyle 200 analiz. Oczywiście, liczba analiz może być istotnie większa, niemniej, stosując regułę 3-\displaystyle \sigma, możemy znaleźć górne "bezpieczne" ograniczenie na liczbę analiz. Rzeczywiście, z nierówności Czebyszewa wiemy, że


\displaystyle P(X \le m + 3\sigma ) \ge P(|X - m| \le 3 \sigma ) \ge \frac{8}{9},


zatem wystarczy obliczyć odchylenie standardowe \displaystyle \sigma zmiennej losowej \displaystyle X. Ponieważ jednak \displaystyle X jest sumą niezależnych zmiennych losowych \displaystyle X_i o tym samym rozkładzie, to:


\displaystyle {\Bbb D}^2 (X) = k {\Bbb D}^2 (X_1).


W naszym przypadku \displaystyle n = 10 i \displaystyle k = 100, a więc


\displaystyle {\Bbb D}^2 (X_1) \approx 1^2\cdot 0.9043820750 + 11^2 \cdot 0.0956179250 - 1.956179250^2 \approx 8.647513741.


Teraz:


\displaystyle \sigma = \sqrt{{\Bbb D}^2 (X)} \approx \sqrt{100 \cdot 8.647513741} \approx 29.40665527.


Można więc stwierdzić, że z prawdopodobieństwem co najmniej \displaystyle \frac{8}{9}, liczba analiz będzie nie większa niż:


\displaystyle  195.6179250 + 3\cdot 29.40665527 \leq 284.


Ćwiczenie 7.5

Przypuśćmy, że uczestnik gry rzuca kolejno monetą symetryczną aż do momentu, kiedy uzyska pierwszego orła. W momencie tym gra się kończy, a uczestnik otrzymuje \displaystyle 2^k złotych, gdzie \displaystyle k jest liczbą wszystkich rzutów, jakie wykonał. Interesuje nas oczekiwana wygrana (jest to istotne pytanie, bo jeżeli ta wygrana wynosiłaby - powiedzmy - \displaystyle m, to pobierając właśnie \displaystyle m złotych za prawo uczestnictwa w grze, mielibyśmy grę sprawiedliwą w tym sensie, że przy wielokrotnym jej powtarzaniu średni zysk, a zatem i średnia strata, wynosi 0).



Niech \displaystyle W będzie wygraną gracza - przyjmuje ona wartości:


\displaystyle 2,4,8,\dots,


z prawdopodobieństwami:


\displaystyle \frac{1}{2},\,\frac{1}{4},\,\frac{1}{8},\,\dots.


Tak więc:


\displaystyle  {\Bbb E}(W) = \sum_{k=1}^\infty 2^k\frac{1}{2^k} = \infty.


Zauważmy jednak, że mediana \displaystyle W wynosi \displaystyle 2.

Ćwiczenie 7.6

Bardzo często musimy wyznaczyć kwantyl rozkładu, o którym mamy tylko częściowe, stablicowane wiadomości. Na przykład, wyznaczymy kwantyl rzędu \displaystyle 0.975 w rozkładzie normalnym o dystrybuancie \displaystyle \Phi, stablicowanym w module 7. Mamy także informację, że rozkład ten ma gęstość, która jest funkcją parzystą.



Znajdujemy wewnątrz tablicy wartość \displaystyle p, a następnie z jej obrzeży odczytujemy kwantyl \displaystyle q_p. W tym przypadku \displaystyle q_{0.975} = 1.96.

Zauważmy, że z tablicy tej możemy bezpośrednio odczytywać jedynie kwantyle rzędów nie mniejszych niż \displaystyle 0.5. Jednak z parzystości funkcji gęstości od razu widać (naszkicuj wykres gęstości i pamiętaj, że dystrybuantę interpretuje się jako pole pod wykresem; alternatywnie, skorzystaj ze zmiany zmiennych w całce \displaystyle \Phi(x) = \int_{-\infty}^x f(s)\,ds), że dla każdego \displaystyle x\in {\Bbb R}:


\displaystyle \Phi(-x) = 1  - \Phi(x).


Zatem dla \displaystyle p < 0.5 mamy:


\displaystyle \Phi(q_p) = p\;\;\Longrightarrow\;\;1 - \Phi(-q_p) = p \;\;\Longrightarrow\;\; \Phi(- q_p) = 1 - p


i z określenia kwantyla otrzymujemy:


\displaystyle q_{1-p}= - q_p.


Na przykład:


\displaystyle q_{0.025} =  -  q_{0.975} = -1.96.


Ostrzeżenie. Niektóre (bardziej tradycyjne) tablice i pakiety komputerowe (wśród nich, oczywiście, Excel), "ułatwiają" użytkownikowi życie i jako kwantyl rzędu \displaystyle p podają inną wielkość, na przykład \displaystyle \Phi^{-1}(1 - \frac{p}{2})!!!




Zadanie 7.1
Włamywacz ma \displaystyle n kluczy, z których dokładnie jeden jest kluczem właściwym. Wybiera on klucze losowo i nie pamięta, które z nich były już próbowane. Oblicz średnią ilość prób potrzebną do otwarcia drzwi.

Zadanie 7.2
Z urny zawierającej 5 kul niebieskich, 4 kule czarne i 3 kule czerwone losujemy po parze kul, potem zwracamy je z powrotem do urny, a następnie powtarzamy losowanie i tak dalej. Jaka jest wartość średnia czasu oczekiwania na pojawienie się pary kul tego samego koloru, gdy przy wyborze pary losujemy kule: (a) ze zwracaniem, (b) bez zwracania?

Zadanie 7.3
Jaką opłatę powinien pobierać pan Kowalski z przykładu 7.1, gdyby pozwalał wielokrotnie powtarzać rzut (nie tylko jeden raz) po wypadnięciu "jedynki"?

Zadanie 7.4
Pewien człowiek jeździ do pracy autobusem, a następnie tramwajem, przy czym może korzystać z dwóch linii tramwajowych: A lub B. Wiadomo ponadto, że autobus jeździ średnio co 15 minut, tramwaje linii A - co 10 minut, a tramwaje linii B - co 20 minut oraz, że jeżdżą one niezależnie od siebie. Średnio jak wiele czasu spędza ten człowiek na przystankach?

Zadanie 7.5
Dwiema symetrycznymi kostkami sześciennymi rzucono \displaystyle n razy. [2] Oblicz nadzieję matematyczną i wariancję ilości rzutów, w których wypadła ta sama liczba oczek.

Zadanie 7.6
W ilu rzutach kostką do gry należy spodziewać się pojawienia wszystkich sześciu ścianek?

Zadanie 7.7
Jaka jest oczekiwana objętość graniastosłupa, jeżeli długości jego krawędzi są liczbami wylosowanymi z odcinka \displaystyle (0,1), zgodnie z rozkładem jednostajnym?

Zadanie 7.8
Niech \displaystyle a_n oznacza najmniejszą liczbę oczek uzyskanych na kostce do gry w serii \displaystyle n rzutów. Oblicz \displaystyle \lim_{n\rightarrow   \infty}{\Bbb E}(a_n) oraz \displaystyle \lim_{n\rightarrow \infty}{\Bbb D}^2(a_n).

Zadanie 7.9
Wykaż, że o ile istnieje nadzieja matematyczna \displaystyle m ={\Bbb E}(\xi), to minimalizuje ona funkcję \displaystyle {\Bbb E}((\xi  - c)^2) zmiennej \displaystyle c.

Zadanie 7.10 Oblicz prawdopodobieństwo tego, że wśród \displaystyle N losowo wybranych noworodków, liczba dziewczynek różni się od liczby chłopców o co najmniej \displaystyle 10\% z liczby \displaystyle N. Podaj rozwiązanie dla \displaystyle N = 10, \displaystyle N=  100 oraz dla \displaystyle N  =  1000, zakładając, że urodziny chłopców i dziewczynek są tak samo prawdopodobne.

Zadanie 7.11 Ile razy należy rzucić monetą symetryczną, aby mieć co najmniej \displaystyle 95\% pewności, że stosunek ilości orłów do ilości wszystkich rzutów zawiera się w przedziale \displaystyle (0.45, 0.55)?

Zadanie 7.12
Czy istnieje zmienna losowa \displaystyle \xi o następujących własnościach: \displaystyle {\Bbb E}(\xi)\displaystyle  =  1,\; {\Bbb D}^2(\xi)  =  2,\; P(\xi \le 4) = P(\xi \ge 4) = {1 \over 2}?

Zadanie 7.13
Analizując przykład zmiennej losowej przyjmującej wartości: \displaystyle -1,\,0,\,1, z prawdopodobieństwami: \displaystyle -0.5 , 0,  0.5, uzasadnij, że w ogólnej sytuacji nie jest możliwe ulepszenie nierówności Czebyszewa.

Zadanie 7.14
Niech \displaystyle A_1,A_2,A_3,\dots będzie ciągiem zdarzeń niezależnych takich, że \displaystyle P(A_k)  = p_k i niech \displaystyle I_{A_k} oznacza odpowiednie funkcje charakterystyczne. Wykaż, że:


\displaystyle  \frac{S_n -(p_1 + \dots  +p_n)}{n}  \stackrel{s}{\longrightarrow} 0,


gdzie \displaystyle S_n = I_{A_1} + \dots + I_{A_n}.

Zadanie 7.15
Niech \displaystyle X będzie \displaystyle n-wymiarowym wektorem losowym. Wykaż, że:


\displaystyle  {\Bbb E}(I_{\{X=x\}})=P(X=x)\;\; dla każdego \displaystyle   x\in {\Bbb R}^n.

Zadanie 7.16
Niech będą dane zmienna losowa \displaystyle \xi i liczba \displaystyle x_0\in {\Bbb R} oraz niech \displaystyle a  =  P(\xi  \le  x_0). Dla ciągu niezależnych zmiennych losowych \displaystyle \xi_1,\xi_2,\xi_3,\dots takich, że \displaystyle P_{\xi_i} = P_\xi dla wszystkich \displaystyle i, dla ustalonego \displaystyle n =1,2,3,\dots definiujemy następującą wielkość:


\displaystyle  A_n = \frac{1}{n} \sharp\{k \le n: \xi_k \le x_0\}


(wielkość ta jest nazywana dystrybuantą empiryczną i jest przykładem tak zwanego estymatora parametru \displaystyle a). Wykaż, że:

  1. \displaystyle A_n jest zmienną losową dla każdego \displaystyle n,
  2. \displaystyle {\Bbb E}(A_n) = a dla wszystkich \displaystyle n (to znaczy, że estymator jest nieobciążony),
  3. \displaystyle A_n  \stackrel{s}{\longrightarrow} a (to znaczy, że estymator jest zgodny),
  4. \displaystyle A_n \stackrel{1}{\longrightarrow} a.

Wskazówka.

Rozważ zmienne losowe będące funkcjami charakterystycznymi zbiorów \displaystyle \{\xi_n  \le  x_0\}.

Zadanie 7.17
Dla ciągu niezależnych zmiennych losowych o tym samym rozkładzie, skończonej nadziei matematycznej \displaystyle m i wariancji \displaystyle \sigma^2, określamy zmienne losowe


\displaystyle  \overline{\xi}_n = \frac{1}{n}\sum_{i=1}^n \xi_i


oraz


\displaystyle  s_n = \frac{1}{n-1} \sum_{i=1}^n(\xi_i - \overline{\xi}_n)^2.


Wykaż, że \displaystyle s_n jest estymatorem zgodnym i nieobciążonym parametru \displaystyle \sigma^2, czyli że:

  1. \displaystyle \;\;\;{\Bbb E}(s_n) = \sigma^2,
  2. \displaystyle \;\;\;s_n \stackrel{1}{\longrightarrow} \sigma^2.

Udowodnij, że te same warunki zachodzą, gdy:


\displaystyle  s_n = \frac{1}{n} \sum_{i=1}^n(\xi_i - m)^2.