Rachunek prawdopodobieństwa i statystyka/Wykład 5: Prawdopodobieństwo warunkowe i niezależność

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Wprowadzimy pojęcie prawdopodobieństwa warunkowego i omówimy możliwości jego wykorzystanie do obliczenia prawdopodobieństwa zdarzenia w wielu istotnych sytuacjach. Podamy definicję zdarzeń niezależnych i pokażemy jej działanie w tak zwanym schemacie Bernoulliego.

Prawdopodobieństwo warunkowe

Pojęcie prawdopodobieństwa warunkowego jest znane z kursu szkolnego, tak więc nie wymaga komentarza następująca definicja:

Definicja 5.1

Dana jest przestrzeń probabilistyczna oraz zdarzenie przy czym Dla

dowolnego zdarzenia określamy jego prawdopodobieństwo warunkowe wzorem:


     (5.1)


Jak łatwo się przekonać, funkcja jest miarą probabilistyczną na posiadającą tę właściwość, że dwa zbiory mające jednakowe przecięcia ze zbiorem , mają także taką samą miarę.

Prawdopodobieństwo całkowite

Z prawdopodobieństwami warunkowymi spotykamy się najczęściej przy obliczaniu tak zwanego prawdopodobieństwa całkowitego. Mówi o tym następujące proste, lecz bardzo ważne twierdzenie:

Twierdzenie 5.2 [Prawdopodobieństwo całkowite]

Dana jest przestrzeń probabilistyczna oraz zdarzenia spełniające warunki:

  1. dla każdego ,
  2. , dla wszystkich ,

Wtedy dla każdego zdarzenia zachodzi wzór:



Dowód .

Ponieważ



mamy


End of proof.gif


Uwaga 5.3
Powyższe twierdzenie można wypowiedzieć tak: mając zespół istotnych warunków, które się wzajemnie wykluczają, ale których alternatywa jest zdarzeniem pewnym, możemy obliczyć prawdopodobieństwo każdego zdarzenia, o ile tylko znamy odpowiednie prawdopodobieństwa warunkowe oraz prawdopodobieństwa samych warunków.

Z praktycznego punktu widzenia, wzór na prawdopodobieństwo całkowite jest wygodny także i z tego powodu, że stosując go nie musimy na ogół wyznaczać przestrzeni probabilistycznej. Rozumiemy raczej, że taka przestrzeń istnieje i to nam w zupełności wystarcza.

Przykład 5.4

Przed konkursem ogłoszono listę 200 pytań z dziedziny , 100 pytań z dziedziny oraz 100 pytań z dziedziny . Umiemy odpowiedzieć na 150 pytań z dziedziny , na wszystkie pytania z dziedziny oraz na 80 pytań z dziedziny . Jakie jest prawdopodobieństwo, że podczas konkursu odpowiemy na losowo zadane pytanie?

Mamy tutaj alternatywę trzech wykluczających się warunków , i polegających na tym, że zadane pytanie pochodzić będzie z odpowiedniej dziedziny. Jest to alternatywa pewna, to znaczy nie istnieją inne możliwości oprócz tych trzech. Chcemy obliczyć prawdopodobieństwo zdarzenia , polegającego na udzieleniu poprawnej odpowiedzi na otrzymane pytanie. Z treści zadania wynika jednak, że znamy prawdopodobieństwa warunków oraz prawdopodobieństwa warunkowe:



Z twierdzenia o prawdopodobieństwie całkowitym otrzymujemy więc:



Mamy zatem -procentową szansę udzielenia poprawnej odpowiedzi na zadane pytanie.

Uwaga 5.5
Twierdzenie o prawdopodobieństwie całkowitym można w oczywisty sposób sformułować (i udowodnić) dla przeliczalnego ciągu zdarzeń , , , (ćwiczenie).

Wzór Bayesa

Możemy teraz podać tak zwany wzór Bayesa.


Twierdzenie 5.6 [Wzór Bayes'a]

Przy założeniach twierdzenia 5.2, zachodzi następująca równość:



dla każdego .

Dowód .


End of proof.gif


Twierdzenie to budziło z początku pewne kontrowersje. Mianowicie, zdarzenia są często w zastosowaniach traktowane jako przyczyny, zaś zdarzenie jako skutek. W tej terminologii wzór na prawdopodobieństwo warunkowe (patrz definicja 5.1) można rozumieć w sposób następujący: znając prawdopodobieństwo przyczyny można, o ile ona zaistnieje, obliczyć prawdopodobieństwo skutku - jest to intuicyjnie jasne. Tymczasem twierdzenie Bayesa pozwala wyliczyć prawdopodobieństwo przyczyny, o ile już znamy jej skutek. To powodowało pewne wątpliwości, niemniej na gruncie naszej teorii twierdzenie Bayesa jest oczywiście jak najbardziej poprawne.

Przykład 5.7 [kontynuacja przykładu 5.4]

Na drugi dzień po egzaminie pamiętamy tylko to, że dostaliśmy jedno pytanie oraz to, że zdaliśmy egzamin.

Jakie jest prawdopodobieństwo tego, że odpowiadaliśmy na pytanie z dziedziny ?

Pamiętając o poprzednich oznaczeniach możemy nasze zadanie sformułować następująco: oblicz prawdopodobieństwo warunkowe . Z Twierdzenia Bayesa otrzymujemy natychmiastową odpowiedź:


Zdarzenia niezależne

Pojęcie niezależności jest podstawowym pojęciem w rachunku prawdopodobieństwa - można powiedzieć, że pojęcie to wyodrębnia rachunek prawdopodobieństwa z teorii miary. Najprostszą postać pojęcie to posiada w przypadku dwóch zdarzeń: zdarzenia i powinny być, jak podpowiada intuicja, uważane za niezależne, jeśli dla każdego z nich prawdopodobieństwo warunkowe względem tego drugiego nie zależy od warunku, czyli oraz . Każda z tych równości oznacza, że:



Właśnie ta równość służy za definicję niezależności dwóch zdarzeń; obejmuje ona jednak również przypadki, gdy lub

Podamy teraz formalną definicję niezależności dla dowolnej, skończonej liczby zdarzeń.

Definicja 5.8

Zdarzenia są niezależne, jeżeli dla każdego podciągu zachodzi:


Przykład 5.9

Podamy teraz przykłady zdarzeń niezależnych oraz zdarzeń zależnych. Przypuśćmy, że rzucamy dwiema kostkami. Niech oznacza wypadnięcie "szóstki" na pierwszej kostce, - wypadnięcie liczby nieparzystej na drugiej kostce, zaś - wypadnięcie w sumie 10 oczek na obu kostkach. Intuicja podpowiada nam, że:

  1. i są niezależne - wynik na pierwszej kostce nie ma nic wspólnego z wynikiem na drugiej kostce,
  2. i są zależne - "szóstka" na pierwszej kostce oznacza, że suma oczek na obu kostkach musi być większa niż 6, a więc wiadomość o wypadnięciu liczby 6 zwiększa szansę zajścia zdarzenia ,
  3. i są zależne - wiadomość o wypadnięciu liczby nieparzystej 1, 3 lub 5 na drugiej kostce zmniejsza trochę szansę tego, że w sumie wypadnie 10.

Aby formalnie uzasadnić te intuicje, zbudujemy przestrzeń probabilistyczną opisującą nasz eksperyment. Mamy oczywiście do czynienia ze schematem klasycznym, przy czym zbiorem jest tutaj zbiór złożony z 36 par liczb , gdzie . Łatwo teraz policzyć, ile elementów wchodzi w skład zdarzeń , i oraz ich iloczynów , i . Dzieląc te liczby przez 36, mamy:

ad.(1). , .

ad.(2). , .

ad.(3). , .

Jak widać, powyższe obliczenia potwierdzają nasze intuicje.

Definicję niezależności można rozszerzyć na przypadek nieskończonego ciągu zdarzeń, co w dalszej części rozważań będzie miało istotne znaczenie.

Definicja 5.10

Zdarzenia są niezależne, jeżeli dla każdego zdarzenia są niezależne.

Należy zauważyć, że w na ogół spotykamy się z takimi sytuacjami, w których wiemy (a dokładniej zakładamy), że pewne zdarzenia są niezależne. Możemy wtedy stosować wzory występujące w definicji niezależności lub inne twierdzenia bazujące na tej definicji.

Iloczyn kartezjański

Niezależność zdarzeń łączy się z pojęciem iloczynu kartezjańskiego przestrzeni probabilistycznych. My rozważymy tutaj jedynie najprostszą sytuację.

Niech będą dane dwie przestrzenie probabilistyczne oraz . Niech oznacza iloczyn kartezjański zbiorów (patrz wykład z Logiki i teorii mnogości) i , czyli:



Można teraz zbudować -algebrę na zbiorze oraz miarę probabilistyczną (jest to dość skomplikowana procedura (jako bierze się najmniejszą -algebrę zawierającą wszystkie iloczyny kartezjańskie , gdzie i , a następnie dowodzi się w żmudny sposób, że istnieje dokładnie jedna miara spełniająca żądane warunki) taką, że dla każdych dwóch zdarzeń i mamy pewność, że oraz że:



Stosujemy często następujące oznaczenie: .

Dla wyrobienia intuicji proponujemy wyobrazić sobie iloczyn kartezjański dwóch odcinków , którym jest oczywiście kwadrat o boku równym jeden. Jeżeli oraz są odcinkami, to ich iloczyn kartezjański jest prostokątem o polu równym iloczynowi długości tych odcinków. Odpowiada to właśnie powyższemu wzorowi, o ile i są długościami, zaś - polem. Rzeczywiście, w ogólnej sytuacji konstrukcja miary , na bazie miar i , odpowiada sposobowi określania pola figury płaskiej przy użyciu pojęcia długości odcinka. Zaznaczmy jeszcze, że wielu podzbiorów kwadratu (na przykład koła) nie da się przedstawić jako iloczynów kartezjańskich, a mimo to mają one dobrze określone pola, co odpowiada temu, że miara jest określona dla dużo szerszej klasy zdarzeń niż iloczyny kartezjańskie .

Innym przykładem iloczynu kartezjańskiego jest przestrzeń probabilistyczna opisująca, omawiany już, eksperyment rzutu dwiema kostkami.

Pojęcie iloczynu kartezjańskiego przestrzeni probabilistycznych można w prosty sposób zdefiniować także w przypadku skończenie wielu przestrzeni, a nawet (tutaj jest trudniej) w przypadku nieskończenie wielu przestrzeni probabilistycznych.

Związek iloczynów kartezjańskich z pojęciem niezależności wyjaśnia następujący:

Przykład 5.11

Rozważmy dwie przestrzenie probabilistyczne i oraz niech i będą dowolnymi zdarzeniami. Wtedy zdarzenia oraz są niezależne w iloczynie kartezjańskim tych przestrzeni, gdyż z definicji miary mamy:



Uogólnienie tego przykładu dla skończonego oraz przeliczalnego iloczynu kartezjańskiego przestrzeni probabilistycznych nie jest trudne.

Iloczyn kartezjański dwóch przestrzeni probabilistycznych stanowi więc naturalny model do opisu 2-etapowego eksperymentu, w którym etapy są od siebie niezależne.

Warto zaznaczyć, że rozważa się także przestrzenie probabilistyczne, w których zbiór zdarzeń jest iloczynem kartezjańskim dwóch lub więcej zbiorów zdarzeń, natomiast miara probabilistyczna nie jest iloczynem kartezjańskim odpowiednich miar. Taka sytuacja występuje najczęściej wtedy, gdy opisujemy dwuetapowy lub wieloetapowy eksperyment, przy czym poszczególne etapy są od siebie zależne.

Schemat Bernoulliego

Jakob Bernoulli (1654-1705)
Zobacz biografię

Pojęcie niezależności odgrywa podstawową rolę w konstrukcji tak zwanego schematu Bernoulliego.

Wyobraźmy sobie, że wielokrotnie powtarzamy pewien eksperyment, przy czym spełnione są następujące warunki:

  1. każdy eksperyment może dać dokładnie dwa różne wyniki - mówi się odpowiednio o sukcesie oznaczanym przez "1" oraz o porażce oznaczanej przez "0",
  2. prawdopodobieństwo sukcesu w każdym eksperymencie jest zawsze takie samo - oznaczamy to prawdopodobieństwo przez (w takim razie prawdopodobieństwo porażki w każdym eksperymencie wynosi ),
  3. eksperymenty są niezależne od siebie.

Powyższe warunki są spełnione na przykład w przypadku, gdy rzucamy wielokrotnie kostką do gry i określimy, co rozumiemy przez porażkę, a co przez sukces (mają być dokładnie dwa wyniki eksperymentu). Jeżeli za sukces uważamy wypadnięcie "szóstki", a za porażkę wypadnięcie każdej innej liczby, mamy . Bardziej ogólnym przykładem może być losowanie ze zwracaniem omówione w poprzednim module - trzeba wtedy oczywiście znowu określić, co uważamy za sukces, a co za porażkę.

Możemy skonstruować przestrzeń probabilistyczną stanowiącą matematyczny model opisanej sytuacji.

Załóżmy, że wykonujemy eksperymentów. Każdemu z nich odpowiada bardzo prosta przestrzeń probabilistyczna , gdzie , jest -algebrą wszystkich podzbiorów (są jedynie cztery takie podzbiory), natomiast jest jednoznacznie określone równościami:



Niezależność poszczególnych eksperymentów oraz omówiony już poprzednio związek iloczynu kartezjańskiego z niezależnością sugerują, że nasz model może być właśnie iloczynem kartezjańskim. Oznaczmy więc przez -krotny iloczyn kartezjański powyższych przestrzeni, czyli:




(aby zapis był czytelniejszy, opuszczamy kilka par nawiasów, które formalnie powinny się pojawić).


oraz dla dowolnego (przypominamy, że oznacza -algebrę wszystkich podzbiorów ):



Tak skonstruowaną przestrzeń nazywamy schematem Bernoulliego.

Podamy teraz rozwiązanie standardowego problemu, polegającego na obliczeniu prawdopodobieństwa uzyskania dokładnie sukcesów podczas eksperymentów, przeprowadzanych zgodnie ze sformułowanymi powyżej warunkami.

Niech będzie interesującym nas zdarzeniem. Elementami są więc ciągi , w których dokładnie elementów stanowią "1", a pozostałe elementów stanowią "0". Dla każdego takiego mamy więc:



Tak więc:



Wystarczy teraz tylko znać liczbę wszystkich elementów zbioru . Liczba ta jest jednak równa liczbie wszystkich podzbiorów -elementowych wybranych ze zbioru -elementowego - każdy taki zbiór określa (spośród ) pozycji, przeznaczonych "sukcesów". Mamy więc ostatecznie:


     (5.2)


<references/>