Rachunek Prawdopodobieństwa i Statystyka (UW) Wykład 2

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Motywujący przykład

Przykład 2.1 Test na obecność pewnego wirusa ma skuteczność 95%, tzn. jeśli badana osoba jest chora (t.j. zakażona wirusem), to z prawdopodobieństwem 0.95 test daje wynik pozytywny, a jeśli badana osoba jest zdrowa, to z prawdopodobieństwem 0.95 test daje wynik negatywny. Wiadomo, że średnio 1 osoba na 1000 jest zakażona. Jeśli dla osoby wybranej losowo test dał wynik pozytywny, to jakie jest prawdopodobieństwo tego, że osoba ta jest faktycznie chora?

Powyższe pytanie jest o tyle ciekawe, że choć większość osób ma swoją "teorię" na temat szukanego prawdopodobieństwa, to z reguły jest ona niestety błędna. W amerykańskich szpitalach przeprowadzono kiedyś wśród lekarzy ankietę dotyczącą tego właśnie problemu i wyniki były zatrważające. Większość ankietowanych podało odpowiedź różniącą się rzędem wielkości od prawidłowej!

Próbując rozwiązać powyższy problem zdefiniujemy pojęcie prawdopodobieństwa warunkowego i wyprowadzimy wiele jego własności. Pojęcie to, jak się okaże, ma wiele zastosowań, także w sytuacjach pozornie nie mających z nim nic wspólnego.

Definicja prawdopodobieństwa warunkowego

Zanim odpowiemy na pytanie postawione w przykładzie, musimy się zastanowić nad tym jaki jest jego sens. Czym jest "prawdopodobieństwo jeśli wiemy, że zaszło " ?. Przyjrzyjmy się najpierw dużo prostszemu przykładowi. Przykład 2.2 Nasz kolega rzuca dwiema kostkami i podaje nam sumę oczek. Załóżmy, że podaną sumą jest 5. Jakie jest prawdopodobieństwo, że na pierwszej kostce wypadły 1 lub 2 oczka?

Informacja podana przez kolegę ograniczyła zbiór zdarzeń elementarnych do . Zbiór zawiera 4 elementy, ale tylko dwa z nich odpowiadają wypadnięciu 1 lub 2 oczek na pierwszej kostce. Sądzimy więc, że szukane prawdopodobieństwo wynosi .

Co dokładnie się tu stało? Obliczyliśmy wartość wyrażenia , gdzie jest zdarzeniem, o którym wiemy, że zaszło, a zdarzeniem, którego prawdopodobieństwo chcemy obliczyć. Pierwsze z wyrażeń ma tę wadę, że implicite zakładamy w nim użycie schematu klasycznego. Drugie wyrażenie wady tej nie ma i to jego właśnie użyjemy w definicji:

Definicja (Prawdopodobieństwo warunkowe) Niech i . Wtedy prawdopodobieństwem pod warunkiem nazywamy: .

Uwaga 2.3 Założenie jest konieczne, aby wartość ilorazu była dobrze określona. Można sobie jednak wyobrazić sytuacje, w których , a mimo to pojęcie prawdopodobieństwa warunkowego wydaje się mieć sens. Jeśli na przykład wykonujemy nieskończenie wiele rzutów kostką, to prawdopodobieństwo wyrzucenia za każdym razem tej samej liczby oczek jest równe 0. Jeśli jednak się to zdarzy, to prawdopodobieństwo tego, że były to jedynki powinno być równe . W ogólnym przypadku nie da się w sensowny sposób zdefiniować prawdopodobieństwa warunkowego tak, aby obejmowało ono tego typu sytuacje. Sprawa nie jest jednak całkiem beznadziejna i pewne próby takiej definicji zobaczymy w rozdziale poświęconym zmiennym losowym o rozkładach ciągłych.

Uwaga 2.4 Warto zauważyć, że para jest przestrzenią probabilistyczną (czytelnikowi pozostawiamy sprawdzenie aksjomatów). Co za tym idzie, wiele z przeprowadzanych przez nas rozważań ma swoje odpowiedniki "warunkowe".

Prawdopodobieństwo iloczynu zdarzeń

Przykład 2.1 (c.d.) Wróćmy do przykładu z testem medycznym. Zdefiniujmy następujące zdarzenia:

  1. - wybrana osoba jest chora,
  2. - wybrana osoba jest zdrowa,
  3. - test dał wynik pozytywny,
  4. - test dał wynik negatywny,

Uzbrojeni w definicję prawdopodobieństwa warunkowego łatwo zauważymy dwie rzeczy. Po pierwsze, naszym celem jest obliczenie . Po drugie, dane z treści zadania opisują pewne prawdopodobieństwa warunkowe:

  1. ,
  2. ,
  3. ,
  4. .


Aby znaleźć interesującą nas wartość spróbujmy najpierw obliczyć ? Popatrzmy na definicję prawdopodobieństwa warunkowego: . Widać, że: .

Sytuacja, z którą mamy tu do czynienia, t.j. obliczanie prawdopodobieństwa iloczynu zdarzeń za pomocą prawdopodobieństwa warunkowego, jest bardzo częsta i ważna. W szczególności istnieje uogólnienie wzoru, który uzyskaliśmy powyżej na więcej niż dwa zdarzenia.

Twierdzenie 2.5 (Wzór iloczynowy) Niech będą zdarzeniami takimi, że . Wtedy

Uwaga 2.6 Założenie jest potrzebne, żeby wszystkie prawdopodobieństwa warunkowe występujące w tezie twierdzenia były dobrze określone.

Dowód Indukcja. Dla dwóch zdarzeń twierdzenie pokazaliśmy już wcześniej. Jeśli mamy zdarzenia, to z tezy dla dwóch zdarzeń. Wystarczy teraz zastosować do pierwszego członu założenie indukcyjne.

Wzór na prawdopodobieństwo całkowite i twierdzenie Bayesa

Przykład 2.1 (c.d.) Wróćmy do przykładu z testem medycznym. Potrafimy obliczyć prawdopodobieństwa , i w analogiczny sposób także i . Aby obliczyć szukane przez nas , potrzebujemy jeszcze znaleźć wartość . Ale to jest proste: . Ostatecznie dostajemy więc: Komentarz Jeśli sądziłeś, tak jak większość ankietowanych lekarzy, że jest bliskie , to spróbuj w tej chwili znaleźć prosty powód dla którego wynik ten nie jest możliwy.

Aby zobaczyć, że wynik ten nie jest możliwy wystarczy wykonać prosty eksperyment myślowy. Losowo wybrana osoba jest chora z prawdopodobieństwem . Jeśli na losowo wybranej osobie przeprowadzimy test, to da on wynik pozytywny z prawdopodobieństwem co najmniej , niezależnie od tego, czy osoba ta jest chora, czy nie. Gdyby faktycznie zachodziło , to oznaczałoby to, że prawdopodobieństwo tego, że mamy do czynienia z osobą chorą w magiczny sposób rośnie tylko przez to, że ją badamy.

Należy jednak przyznać, że odpowiedzi udzielane przez lekarzy nie są aż tak bardzo odległe od prawdy jak mogłoby nam się wydawać. Lekarze nie są bowiem przyzwyczajeni do pacjentów, którzy są losowo wybierani z całej populacji. U pacjentów, którzy są poddawani testom medycznym z reguły występują objawy zgodne z diagnozowaną chorobą. W takiej sytuacji jest dużo większe, niż odpowiednia wartość dla całej populacji.

Sposób w jaki obliczyliśmy jest szczególnym przypadkiem bardzo przydatnego twierdzenia: Twierdzenie 2.7(Wzór na prawdopodobieństwo całkowite) Niech będą takie, że dla wszystkich , i ponadto niech zbiory stanowią podział , t.j. niech będą parami rozłączne i . Wtedy

Dowód

O wzorze na prawdopodobieństwo całkowite można myśleć jako o metodzie obliczania prawdopodobieństwa "przez przypadki", ew. metodą "dziel i rządź". Ze wzoru tego w prosty sposób wynika tzw. wzór Bayesa, który jest uogólnieniem sposobu, w jaki obliczaliśmy .

Twierdzenie 2.8 (Wzór Bayesa) Niech będą takie jak poprzednio. Wtedy Dowód Teza została sformułowana w taki sposób, że od razu jest swoim dowodem.

Uwaga Zarówno wzór na prawdopodobieństwo całkowite, jak i twierdzenie Bayesa zachodzą także dla skończonych podziałów , dowody są analogiczne do przedstawionych powyżej. Nie wynika to wprost z wersji dla podziałów nieskończonych ze względu na założenie .

Warto w tym miejscu zaznaczyć, że twierdzenie Bayesa jest fundamentalnym narzędziem probabilistycznym o licznych zastosowaniach. Duża część z nich ma następujący charakter:

  1. Modelujemy naszą wiedzę na temat pewnego obiektu/procesu przypisując prawdopodobieństwo każdemu jego stanowi/przebiegowi .
  2. Uzyskujemy nową informację na temat badanego obiektu, przy czym znamy dla każdego stanu obiektu prawdopodobieństwo uzyskania tej właśnie informacji jeśli obiekt znajduje się w stanie .
  3. Korzystając ze wzoru Bayesa obliczamy nowe prawdopodobieństwa uwzględniające informację I.


A oto kilka przykładowych sytuacji tego typu, z zupełnie różnych dziedzin:

  1. Tworzymy system ekspercki wspomagający diagnostykę medyczną. W tym przypadku zdarzenia odpowiadają różnym chorobom, ew. kombinacjom chorób, natomiast informacja może być wynikiem testu medycznego, nowym objawem itp.
  2. Tworzymy system wspomagający poszukiwania wraków statków na dnie morza. W tym przypadku zdarzenia mogą odpowiadać różnym obszarom poszukiwań, a informacją może być zakończony niepowodzeniem dzień poszukiwań w konkretnym obszarze. Wtedy, jeśli przeszukiwanym obszarem był obszar -ty, to oraz dla , a dokładne wartości można obliczyć ze wzoru Bayesa.
  3. Tworzymy program grający z w pokera. Program ten modeluje styl gry swojego przeciwnika za pomocą stanów , np. poszczególne stany mogą odpowiadać różnym stopniom agresji. Jeśli przeciwnik jest pasywny, to gra agresywnie tylko jeśli ma bardzo dobre karty. Jeśli natomiast jest agresywny, to z pewnym prawdopodobieństwem gra agresywnie nawet ze słabymi kartami. Informacją , którą otrzymujemy może być agresywne rozegranie przez przeciwnika pewnej liczby rozdań. Wzór Bayesa pozwala stwierdzić jak bardzo informacja zwiększa prawdopodobieństwo tego, że mamy do czynienia z przeciwnikiem agresywnym.


Rozumowania tego typu nazywa się wnioskowaniem Bayesowskim.


Metoda drzewkowa

Omówimy teraz tzw. "metodę drzewkową", której podstawę teoretyczną stanowią rozważania tego rozdziału. Moglibyśmy metodę tę omówić na przykładzie testu medycznego. Użyjemy jednak nieco innego przykładu, bardziej typowego zastosowania tej metody. Przykład 2.9 Mamy dwie urny z kulami. W każdej z urn znajduje się pewna liczba kul białych i czarnych, znamy dokładnie zawartości obu urn. Wybieramy losowo urnę, a następnie z wybranej urny losujemy dwie kule. Jakie jest prawdopodobieństwo tego, że obie kule są czarne?

Zdefiniujmy następujące zdarzenia:

  1. - wybraliśmy odpowiednio urnę pierwszą/drugą,
  2. - pierwsza kula jest odpowiednio biała/czarna,
  3. - analogicznie dla drugiej kuli.


Rozwiązanie zadania mogłoby wyglądać tak: Wszystkie prawdopodobieństwa występujące w ostatnim wyrażeniu są łatwe do obliczenia jeśli znamy zawartości urn.

W metodzie drzewkowej reprezentujemy wszystkie możliwe przebiegi losowania za pomocą drzewa.

TUTAJ OBRAZEK

Krawędzie na najwyższym poziomie odpowiadają wyborowi urny, krawędzie na drugim poziomie - losowaniu pierwszej kuli, krawędzie na trzecim poziomie - losowaniu drugiej kuli. Liczby na krawędziach są odpowiednimi prawdopodobieństwami warunkowymi. Jeśli na przykład wybraliśmy urnę pierwszą i wylosowaliśmy z niej kulę czarną (), to prawdopodobieństwo wylosowania kolejnej kuli czarnej, czyli przejścia do zdarzenia wynosi . W przypadku krawędzi wychodzących z korzenia mamy do czynienia z prawdopodobieństwami absolutnymi, choć oczywiście można uznać, że korzeń odpowiada zdarzeniu , i wtedy mamy .

Ze wzoru iloczynowego wynika, że prawdopodobieństwo znalezienia się w konkretnym wierzchołku jest równe iloczynowi liczb na ścieżce od korzenia do tego wierzchołka. W szczególności, aby znaleźć sumujemy oraz mnożąc liczby na odpowiednich ścieżkach.

Takie "graficzne" rozwiązanie wydaje się bardziej intuicyjne niż nasze pierwsze podejście sprowadzające się do przekształceń algebraicznych, i rzeczywiście często jest bardziej intuicyjne. Używając metody drzewkowej należy jednak być bardzo ostrożnym. Aby narysować drzewo scenariuszy często nie potrzebujemy formalnie definiować wszystkich istotnych zdarzeń (w praktyce często się tego nie robi). Zamiast tego zadowalamy się niezbyt formalnymi opisami sytuacji, którym odpowiadają poszczególne wierzchołki. Ten brak formalizmu często prowadzi do uznania rozwiązania błędnego (ew. rozwiązania innego problemu) za poprawne.


Prawdopodobieństwo warunkowe jako metoda formułowania założeń

Naszą motywacją do zdefiniowania pojęcia prawdopodobieństwa warunkowego było nadanie sensu pytaniom takim jak w przykładzie 2.1. Okazało się jednak, że prawdopodobieństwo warunkowe może służyć także do formułowania założeń dotyczących zależności między zdarzeniami, np. wartości w przykładzie 2.1, czy wartości w przykładzie 2.9. To drugie zastosowanie pojęcia prawdopodobieństwa warunkowego jest o tyle interesujące, że pozwala ono często unikać formalnej definicji zbioru zdarzeń elementarnych . Zamiast tego postulujemy pewne zależności między prawdopodobieństwami interesujących nas zdarzeń. Tak właśnie postępujemy we wszystkich przykładach omówionych w tym rozdziale, z wyjątkiem przykładu 2.2.