Rachunek Prawdopodobieństwa i Statystyka (UW) Wykład 4

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Motywacja i definicja zmiennej losowej

Motywacja

Dotychczas nie nakładaliśmy żadnych warunków na to jak wyglądają elementy . Mogły to być pary liczb, słonie, czy słowa TAK i NIE. Nie miało to dla nas większego znaczenia. Wyobraźmy sobie jednak, że chcemy obliczyć średnią sumę oczek z dwóch kostek albo wykonać histogram wagi słonia. Jak zinterpretować te zadania w obrębie naszej teorii?

Zarówno suma oczek na kostkach, jak i waga słonia, są pewnymi funkcjami, określonymi na odpowiednim i przypisującymi każdemu zdarzeniu elementarnemu pewną interesującą nas cechę, która jest liczbą rzeczywistą. W pierwszym przypadku każdemu wynikowi rzutu dwiem kostkami przypisujemy sumę oczek, w drugim każdemu słoniowi jego wagę. Obliczanie średniej i wykonywanie histogramu będzie się odbywać na wartościach tak zdefiniowanej funkcji.

Definicja zmiennej losowej (prawie)

Uwaga 4.1 Definicje i rozważania w tym paragrafie nie są do końca poprawne, ale za to są zupełnie elementarne. Poprawiamy je w następnym paragrafie poświęconym teorii miary.

Prawie definicja (Zmienna losowa) Niech będzie przestrzenią probabilistyczną. Zmienną losową (określoną na ) nazywamy dowolną funkcję .

Jak widać, wbrew swojej nazwie, zmienne losowe nie są wcale zmiennymi, nie są też w żadnym sensie losowe. Przykład 4.2 Rzut dwiema kostkami można w naturalny sposób opisać przestrzenią probabilistyczną , gdzie , a jest zadane schematem klasycznym. Na takiej przestrzeni można określić zmienną losową opisującą sumę oczek następująco: . Podobnie możemy postąpić dla iloczynu oczek, oczek na pierwszej kostce, itp.

Zmiennej losowej można użyć do definiowania zdarzeń w jej dziedzinie. Na przykład, za pomocą opisanej powyżej zmiennej możemy zdefiniować zdarzenia:

  1. - suma oczek wynosi 5,
  2. - suma oczek jest nie większa niż 4,
  3. - suma oczek jest nieparzysta, itd.

Formalnie, napis będziemy interpretować jako zdarzenie , i analogicznie napisy , , itp. Można pójść z tą notacją jeszcze dalej, np. . Dowolny napis postaci , gdzie jest formułą logiczną zmiennej możemy zinterpretować jako . Nic też nie stoi na przeszkodzie, aby definiować zdarzenia za pomocą więcej niż jednej zmiennej. Jeśli na przykład jest, jak poprzednio, sumą oczek z dwóch kostek, a iloczynem, to możemy zdefiniować zdarzenie "suma oczek jest większa niż iloczyn" napisem . Tak jak poprzednio, dla dowolnej formuły logicznej i zmiennych definiujemy zdarzenie jako . W naturalny sposób możemy interpretować formuły trzech i więcej zmiennych.

Jeśli interesują nas własności zmiennej losowej takie jak jej średnia wartość, tak czy inaczej zdefiniowany rozrzut wartości itp., to dziedzina oraz to jak konkretnie jest zdefiniowana nie mają dla nas znaczenia. Cała istotna informacja o zmiennej jest zawarta w tzw. rozkładzie .

Prawie definicja (Rozkład zmiennej losowej) Rozkładem zmiennej losowej nazywamy przestrzeń probabilistyczną , gdzie .

Będziemy też pisać , jeśli i mają taki sam rozkład.

Odrobina teorii miary

Nasze dotychczasowe rozważania zawierają niestety drobną lukę logiczną. Otóż w definicji rozkładu pojawia się prawdopodobieństwo , ale nie jest wcale powiedziane, że wartość ta jest określona. Zgodnie z definicją, przestrzeń probabilistyczna jest trójką . Umówiliśmy się pomijać -ciało wszędzie tam, gdzie jest ono równe lub po prostu nie ma znaczenia. W przypadku definicji zmiennej losowej ma znaczenie - musimy zagwarantować, że dla tych zbiorów , na których ma być określony rozkład .

Przyjmiemy, że rozkład ma być określony na borelowskich podzbiorach , co prowadzi do następującej definicji zmiennej losowej: Definicja (Zmienna losowa) Niech będzie przestrzenią probabilistyczną. Zmienną losową (określoną na ) nazywamy dowolną funkcję taką, że dla dowolnego zbioru borelowskiego zachodzi (czyli musi być mierzalna względem ).

Z kolei rozkład zmiennej losowej definiujemy następująco (uzupełniamy poprzednią definicję wskazując, które zbiory będą mierzalne): Definicja (Rozkład zmiennej losowej) Rozkładem zmiennej losowej nazywa przestrzeń probabilistyczną , gdzie jest rodziną borelowskich podzbiorów oraz .

Założenie mierzalności funkcji będzie się pojawiać w tym i dalszych wykładach jeszcze kilkukrotnie. Za każdym razem jest to motywowane rozważaniami, które właśnie przeprowadziliśmy.


Podstawowe rozkłady dyskretne

Omówimy teraz kilka najbardziej typowych rozkładów zmiennych losowych, przy czym przez najbliższych kilka wykładów ograniczymy się do tzw. rozkładów dyskretnych. Definicja (Rozkład dyskretny) Zmienna ma rozkład dyskretny (lub krócej: jest dyskretna) jeśli zachodzi Innymi słowy, z prawdopodobieństwem zmienna przyjmuje jedną z przeliczalnie wielu wartości.

Uwaga 4.3 W powyższej definicji pojawia się suma po zbiorze nieprzeliczalnym, co może budzić pewne zaniepokojenie. Proszę jednak zwrócić uwagę, że tylko przeliczalnie wiele wartości w tej sumie może być niezerowych na mocy przeliczalnej addytywności prawdopodobieństwa. W dalszej części wykładu będziemy dość często używać tego rodzaju notacji.

Przykład 4.4 Łatwo podać przykład zmiennej dyskretnej - na przykład liczba rzutów do wypadnięcia pierwszego orła. Przykładem zmiennej niedyskretnej jest czas oczekiwania w kolejce. O ile nie jest to bardzo nietypowa kolejka, to dla każdej liczby zachodzi (może się zdarzyć, że ). A zatem i z reguły jest to wartość mniejsza niż . Zmiennymi tego rodzaju zajmiemy się za kilka wykładów.

W tym wykładzie interesować nas będą wyłącznie zmienne dyskretne. Co więcej, z reguły będą one przyjmować jedynie wartości naturalne.

Poniższy fakt opisuje bardzo przydatną własność zmiennych dyskretnych, często uznaje się go wręcz za ich definicję: Fakt 4.5 Jeśli jest zmienną dyskretną, a , to Dowód Zachodzi oczywiście na mocy przeliczalnej addytywności prawdopodobieństwa. Podobnie . Dodając stronami dostajemy , a równość jest możliwa tylko jeśli zachodzi teza.

Fakt 4.5 pokazuje, że cała informacja o zmiennej dyskretnej jest zawarta w wartościach . Często wprowadza się oznaczenie , a funkcję nazywa się funkcją prawdopodobieństwa . Nie będziemy tego jednak robić w tym wykładzie.

Przyjrzymy się teraz kilku najważniejszym rozkładom dyskretnym.

Rozkład Bernoulliego

Definicja (Rozkład Bernoulliego) Zmienna ma rozkład Bernoulliego jeśli przyjmuje tylko dwie wartości: 0 i 1. Prawdopodobieństwa tych wartości oznacza się zwyczajowo: oraz . Wartość 1 nazywa się często sukcesem, a wartość 0 porażką.

Zmienne takie pojawiają się w naturalny sposób, jeśli przeprowadzamy pewne doświadczenie i interesuje na to, czy zakończyło się ono w konkretny sposób, np. w rzucie monetą wypadł orzeł bądź nie, pacjent przeżył operację bądź nie, itp. Jak wkrótce zobaczymy, zmienne o rozkładzie Bernoulliego pełnią często rolę "klocków", z których składa się bardziej skomplikowane zmienne.

Rozkład jednostajny

Definicja (Rozkład jednostajny (dyskretny)) Zmienna ma dyskretny rozkład jednostajny na przedziale , gdzie , jeśli przyjmuje wartości , przy czym wszystkie one są równie prawdopodobne, t.j. .

Rozkład jednostajny ma na przykład liczba oczek na kostce, czy wynik losowania liczby naturalnej z zadanego przedziału (ten drugi przykład jest dość marny, jako że jest właściwie równoważny definicji).

Rozkład dwumianowy

Przykład 4.6 Rzucamy razy monetą, na której orzeł wypada z prawdopodobieństwem . Niech będzie liczbą orłów. Jaki rozkład ma ?

Mamy oczywiście dla . Jeśli , to mamy różnych sposobów na uzyskanie orłów. Korzystając z niezależności zdarzeń odpowiadających wynikom różnych rzutów łatwo pokazać, że prawdopodobieństwo dla każdego z tych sposobów jest równe . A zatem .

Definicja (Rozkład dwumianowy) Zmienna ma rozkład dwumianowy z parametrami , ozn. , jeśli dla i dla pozostałych .

Ciąg niezależnym doświadczeń (tzw. prób), z których każda kończy się sukcesem z tym samym prawdopodobieństwem, nazywamy ciągiem prób Bernoulliego (wynik każdej z prób jest zmienną o rozkładzie Bernoulliego!). Zmienna o rozkładzie dwumianowym opisuje liczbę sukcesów w ciągu prób Bernoulliego.

Uwaga 4.7 Notację można traktować jako sposób zapisania faktu, że zmienna ma rozkład dwumianowy. Można też przyjąć, że jest pewną wzorcową zmienną o rozkładzie dwumianowym i wtedy napis oznacza, że obie zmienne mają ten sam (dwumianowy) rozkład.

Rozkład geometryczny

Przykład 4.8 Rzucamy monetą, na której orzeł wypada z prawdopodobieństwem aż do uzyskania pierwszego orła. Niech będzie liczbą rzutów (łącznie z rzutem, w którym wypadł orzeł). Jaki rozkład ma ?

Oczywiście tylko dla . Mamy . Korzystając z niezależności dostajemy i ogólnie .

Definicja (Rozkład geometryczny) Zmienna ma rozkład geometryczny z parametrem , ozn. , jeśli dla i dla pozostałych .

Zmienna o rozkładzie geometrycznym opisuje numer pierwszej próby zakończonej sukcesem w ciągu prób Bernoulliego.

Rozkład Poissona

Przykład 4.9 Kierownik laboratorium komputerowego otrzymuje średnio informacji o awarii komputera na miesiąc. Niech będzie liczbą takich informacji w konkretnym miesiącu. Jaki rozkład ma ?

Podzielmy miesiąc na przedziałów czasowych. Załóżmy, że jest na tyle duże, że prawdopodobieństwo otrzymania dwóch informacji o awarii w jednym przedziale jest zaniedbywalne. Załóżmy ponadto, że zdarzenia odpowiadające otrzymaniu informacji o awarii w różnych przedziałach są niezależne. Wtedy mamy do czynienia z ciągiem prób Bernoulliego. Jakie jest prawdopodobieństwo sukcesu (niezbyt satysfakcjonującego, ale trzymajmy się konwencji)? Skoro spośród przedziałów średnio powinno zawierać awarię, to intuicyjnie prawdopodobieństwo sukcesu powinno być równe . Wydaje się więc, że rozkład naszej zmiennej jest dobrze przybliżany przez dla dużych , t.j. . Można pokazać (ćwiczenia), że dla wyrażenie to zbiega do . Powyższe rozwiązanie ma oczywiście w jakimś stopniu charakter heurystyczny. W szczególności nie jest wcale jasne, czy nasze założenia są spełnione. Może być na przykład tak, że awarie komputerów mają tendencję do występowania razem (mogą być na przykład powodowane awariami zasilania). Wtedy poszczególne próby nie byłyby niezależne. Okazuje się jednak, że otrzymany przez nas wzór bardzo dobrze opisuje wiele sytuacji praktycznych.

Definicja (Rozkład Poissona) Zmienna ma rozkład Poissona z parametrem , ozn. , jeśli dla i dla pozostałych .

Rozkład Poissona dobrze opisuje procesy podobne do sytuacji opisanej w przykładzie 4.9: liczbę telefonów odebranych w centrum obsługi klienta przez godzinę, liczbę błędów ortograficznych na znaków rękopisu, itp.

Istnieje jeszcze inne, nieco zaskakujące, zastosowanie rozkładu Poissona. Zwróćmy uwagę, że rozkład Poissona uzyskaliśmy jako granicę rozkładów dwumianowych z dużym , małym i . W związku z tym można użyć rozkładu Poissona do przybliżenia rozkładu dwumianowego o ile tylko jest duże ( powinno być dużo większe niż interesująca nas liczba sukcesów ), a małe. Co ciekawe, prowadzi to z reguły do prostszych rachunków.

Przykład 4.10 Gramy razy w loterii, w której prawdopodobieństwo wygrania wynosi . Jakie jest prawdopodobieństwo tego, że wygramy dokładnie razy?

Liczba wygranych ma rozkład , a zatem szukane prawdopodobieństwo jest równe Trzeba to jeszcze tylko obliczyć...

Możemy jednak uniknąć rachunków zauważając, że dla małych (a nasze jest bardzo małe) możemy uzyskać dobre przybliżenie odpowiedzi korzystając z rozkładu . Tym razem dostajemy dużo prostszy wzór


Dalsze definicje i własności

Rozkład warunkowy

Ponieważ napisy czy interpretujemy jako zdarzenia, możemy bez żadnych dodatkowych definicji używać pojęcia prawdopodobieństwa warunkowego na przykład tak: lub tak: .

Warto w tym miejscu zwrócić szczególną uwagę na pierwsze z wyrażeń. Przypomnijmy, że para jest przestrzenią probabilistyczną. Jeśli potraktujemy jako zmienną losową określoną na tej przestrzeni, to otrzymamy pewną nową zmienną, z reguły oznaczaną , dla której . Jest to często używany skrót notacyjny. Rozkład zmiennej nazywa się rozkładem pod warunkiem .

Uwaga 4.11 Nie należy mylić wprowadzonej tu notacji ze spotykaną w literaturze notacją , gdzie są zmiennymi losowymi. Tej drugiej nie będziemy definiować w ramach tego wykładu.

Niezależność zmiennych losowych

Jak zdefiniować niezależność zmiennych losowych. Następująca intuicyjna definicja działa bardzo dobrze Definicja (Niezależność zmiennych losowych) Zmienne losowe są niezależne jeśli dla każdych zbiorów borelowskich zachodzi .

Uwaga 4.12 Zamiast niezależności zdarzeń i dla dowolnych zbiorów borelowskich, można zażądać niezależności dla przedziałów, lub po prostu niezależności zdarzeń i dla dowolnych . Równoważność tych definicji wynika z definicji zbiorów borelowskich, ale jej dowód nie jest prosty.

Co ciekawe, i bardzo przydatne w obliczeniach, dla dyskretnych zmiennych losowych istnieje prostsza charakteryzacja niezależności Fakt 4.13 Dyskretne zmienne losowe są niezależne wtedy i tylko wtedy, gdy dla każdych zachodzi . Dowód Jeśli dla dowolnych zachodzi powyższa równość, to są niezależne, bo .

Implikacja w drugą stronę jest oczywista.

Złożenia

Składając zmienną losową z funkcją otrzymujemy nową zmienną losową oznaczaną . Oczywiście w ogólnym przypadku musimy założyć, że funkcja jest mierzalna. Przykład 4.14 Jeśli jest liczbą oczek w rzucie kostką, to:

  1. dla dostajemy zmienną , która jest kwadratem liczby oczek,
  2. dla dostajemy zmienną 0/1-kową , która jest równa , gdy wypada nieparzysta liczba oczek.

Oczywiście zamiast pisać i definiować osobno funkcję możemy pisać po prostu czy .

Aby upewnić się, czy dobrze rozumiemy jak składać zmienne losowe z funkcjami, sprawdźmy jak wygląda rozkład zmiennej : .

Nie ma powodu, dla którego mielibyśmy się ograniczać do jednej zmiennej i funkcji jednoargumentowych. Jeśli na przykład są zmiennymi losowymi, a jest funkcją mierzalną, to możemy zdefiniować nową zmienną losową . Analogicznie postępujemy w przypadku większej liczby zmiennych.

W ten sposób, jeśli są zmiennymi losowymi, to zmienną losową jest też ich suma , iloczyn , czy nawet .

Jak wygląda rozkład ? Ten wzór pokazuje, że do obliczenia rozkładu zmiennej nie wystarczy znajomość rozkładów zmiennych i . Musimy znać ich tzw. rozkład łączny tzn. prawdopodobieństwa postaci .

Sytuacja jest wyjątkowo prosta jeśli zmienne i są niezależne. Mamy wtedy:

W szczególności zachodzi następujący bardzo przydatny fakt: Fakt 4.15 Jeśli są niezależnymi zmiennymi dyskretnymi, to .

Dowód wynika natychmiast z naszych dotychczasowych rozważań.