Rachunek Prawdopodobieństwa i Statystyka (UW) Wykład 3

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Definicja niezależności

Przykład 3.1

Przypomnijmy z poprzedniego wykładu przykład 2.2, w którym kolega zdradza nam sumę oczek z dwóch kostek. Przyjmijmy, że zamiast sumy pytamy go o wynik z pierwszej kostki i okazuje się, że było to 5. Jakie jest prawdopodobieństwo tego, że na drugiej kostce wypadło co najwyżej 2?

Do rozwiązania tego problemu moglibyśmy oczywiście użyć metody z poprzedniego wykładu, ale nie jest to konieczne. Wydaje nam się bowiem intuicyjnie oczywiste, że prawdopodobieństwo to jest równe , tzn. jest dokładnie takie, jakie byłoby gdybyśmy w ogóle nie pytali.

Spróbujmy zbadać tę sytuację nieco bardziej formalnie. Jeśli przez oznaczymy zdarzenie odpowiadające wypadnięciu 5-ki na pierwszej kostce, a przez wypadnięciu co najwyżej 2-ki na drugiej kostce, to sądzimy, że powinno zachodzić: , czyli . Drugi z wzorów ma tę zaletę, że jest określony nawet jeśli i to właśnie on jest podstawą definicji niezależności zdarzeń.

Definicja (niezależność dwóch zdarzeń)

Zdarzenia nazywamy niezależnymi jeśli .

W sytuacji z przykładu 3.1 rozważane zdarzenia są niejako "fizycznie niezależne", opisują one wyniki rzutów dwiema różnymi kostkami. Należy jednak pamiętać, że zdarzenia mogą być niezależne w sensie powyższej definicji, nawet jeśli opisują wyniki tych samych eksperymentów. Dobrze pokazuje to poniższy przykład.

Przykład 3.2

Rzucamy 3 razy monetą. Zdefiniujmy następujące zdarzenia:

  1. - wypadła co najwyżej jedna reszka,
  2. - wypadły i orły i reszki.

Mamy (np. z symetrii) oraz (bo z 8 zdarzeń elementarnych odrzucamy tylko 2). Ponadto odpowiada wypadnięciu dokładnie jednej reszki, więc . Czyli zachodzi pomimo tego, że zdarzenia i wydają się być od siebie zależne.

Ten przykład pokazuje, że o pojęciu niezależności należy myśleć w terminach informacji, t.j. "czy zajście zdarzenia daje mi dodatkową informację na temat zajścia zdarzenia ?", a nie w terminach związków fizycznych między zdarzeniami.

Na koniec naszych rozważań na temat definicji niezależności zauważmy następujący fakt: Fakt 3.3

Jeśli zdarzenia są niezależne, to niezależne są też zdarzenia oraz . Dowód

Intuicyjnie powyższy fakt jest oczywisty. Jeśli zajście nie mówi nam nic o , to nie zajście też nie powinno. Formalnie możemy rozumować tak: Druga część tezy wynika natychmiast z pierwszej zaaplikowanej do zdarzeń .

Niezależność więcej niż dwóch zdarzeń

Jak zdefiniować niezależność więcej niż dwóch zdarzeń? Naturalnym pomysłem jest zażądanie, aby każda para zdarzeń była niezależna, ale nie jest to pomysł szczególnie dobry, co ilustruje poniższy przykład. Przykład 3.4

Rzucamy dwukrotnie monetą. Definiujemy następujące zdarzenia:

  1. - w pierwszym rzucie wypadł orzeł,
  2. - w drugim rzucie wypadł orzeł,
  3. - w obu rzutach wypadło to samo.

Łatwo sprawdzić, że . Ponadto i wspólne prawdopodobieństwo każdego z tych zbiorów wynosi , a zatem każda para zdarzeń jest niezależna. Zauważmy jednak, że z podanej przez nas równości wynika, że zajście którychkolwiek dwóch zdarzeń implikuje zajście trzeciego. Intuicyjnie takie zdarzenia nie powinny być niezależne.

Aby poradzić sobie z sytuacjami takimi jak powyższa, definiujemy niezależność w nieco bardziej restrykcyjny sposób Definicja (niezależność wielu zdarzeń)

Zdarzenia nazywamy niezależnymi jeśli dla dowolnego ciągu indeksów zachodzi .

Tak jak w przypadku dwóch zdarzeń, w powyższym warunku możemy dowolną kombinację zdarzeń zastąpić przez ich dopełnienia i otrzymamy definicję równoważną: Fakt 3.5

Niech będą niezależne, i niech ponadto zdarzenia będą takie, że dla każdego zachodzi lub . Wtedy zdarzenia są niezależne. Dowód

Przypadek rozważaliśmy wcześniej. Przypomnijmy, że najpierw pokazaliśmy tezę dla sytuacji, w której tylko jedno ze zdarzeń jest dopełnieniem odpowiedniego , a następnie z tego wywnioskowaliśmy tezę dla sytuacji, gdy są dwa takie .

Dowód w ogólnym przypadku jest analogiczny, ale musimy użyć indukcji po liczbie takich, że . Przyjmijmy, że dla każdego ciągu takiego, że dla nie więcej niż indeksów zachodzi pokazaliśmy już tożsamość . Chcemy pokazać, że tożsamość ta zachodzi także dla ciągów, dla których równość zachodzi dla indeksów. Bez straty ogólności przyjmijmy, że dla wszystkich oraz . Wtedy mamy: gdzie dwukrotnie korzystamy z założenia indukcyjnego.

Nasz nieudany pomysł na definicję niezależności też ma swoją nazwę i miejsce w teorii prawdopodobieństwa: Definicja (niezależność parami)

Zdarzenia nazywamy parami niezależnymi jeśli dla każde dwa zdarzenia spośród są niezależne.

W sytuacji j.w. mówi się też czasem o 2-niezależności, i ogólniej o k-niezależności, jeśli niezależny jest każdy podzbiór zdarzeń.


Niezależność jako założenie

Po co definiujemy niezależność? Doświadczony probabilista byłby zapewne w stanie omawiać to zagadnienie całymi godzinami. W przypadku naszego elementarnego wykładu odpowiedź jest jednak dość prosta. Niezależność z jednej strony często występuje w interesujących nas doświadczeniach losowych, z drugiej ma bardzo prosty opis w naszej teorii i niezmiernie upraszcza wiele rozważań. W związku z tym niezależność jest bardzo wygodnym założeniem.

Jeśli na przykład wykonujemy 3 rzuty kostką, to sensownie jest przyjąć, że zdarzenia odpowiadające wynikom z różnych kostek są niezależne. Ale skoro tak, to obliczanie prawdopodobieństwa dowolnych zdarzeń można, korzystając z niezależności, sprowadzić do obliczania zdarzeń dotyczących jednej kostki.

I ogólniej: jeśli wykonujemy szereg doświadczeń i sądzimy, że zdarzenia odpowiadające ich wynikom są niezależne, to możemy obliczanie prawdopodobieństw dowolnych zdarzeń sprowadzić do obliczania zdarzeń dotyczących pojedynczych doświadczeń.

W tym sensie można myśleć o niezależności (podobnie jak prawdopodobieństwie warunkowym) jako o metodzie budowania modelu probabilistycznego. Metoda ta polega na odpowiednim komponowaniu mniejszych modeli odpowiadających niezależnym aspektom modelowanego zjawiska.


Przestrzeń produktowa (dla chętnych)

Rozważania z poprzedniego paragrafu można sformalizować. Choć nie będziemy nigdy wprost z korzystać z rozważań, które za chwilę przeprowadzimy, implicite będą się one pojawiać wielokrotnie. Dlatego warto się z nimi zapoznać pomimo tego, że są one nieco bardziej wymagające matematycznie.

Rozważmy dwa doświadczenia takie, że zdarzenia odpowiadające wynikom są niezależne od zdarzeń odpowiadających wynikom . Dla uproszczenia będziemy w takiej sytuacji po prostu mówić, że same doświadczenia są niezależne. Przyjmijmy, że wynik doświadczenia jest modelowany przestrzenią , a wynik przestrzenią . Jak zdefiniować przestrzeń dla doświadczenia polegającego na niezależnym wykonaniu i ? Na pewno , ale jak zdefiniować P? Powinniśmy zagwarantować, że dla każdego zachodzi . Czy da się takie znaleźć?

Jeśli i są przeliczalne, lub ogólniej jeśli i są skoncentrowane na przeliczalnej liczbie elementów, to wystarczy zdefiniować na singletonach wzorem , a następnie rozszerzyć na wszystkie zdarzenia sumując odpowiednie singletony. Łatwo sprawdzić, że tak zdefiniowane spełnia nasze postulaty. W ogólnym przypadku musimy się odwołać do odpowiedniego twierdzenia z analizy, które gwarantuje istnienie, dla dowolnych dwóch miar tzw. miary produktowej, która okazuje się być miarą , której szukamy.

Co ważne, twierdzenie o istnieniu miary produktowej zachodzi także dla przeliczalnie wielu miar. Możemy zatem z niego skorzystać do konstrukcji przestrzeni probabilistycznej opisującej łączny wynik przeliczalnie wielu niezależnych doświadczeń. Do czego może nam się to przydać? Oto przykład: Wiele doświadczeń dotyczących rzutów monetą (na przykład rzucanie do k-tego orła, itp.) wygodnie jest opisywać zakładając, że rzucamy monetą "w nieskończoność". Łatwo jest zdefiniować model probabilistyczny pojedynczego rzutu monetą. A jak zdefiniować model nieskończonego ciągu rzutów? Łatwo zauważyć, że zadanie to nie jest proste, choćby dlatego, że każdy konkretny ciąg wyników musi mieć prawdopodobieństwo 0. Z pomocą, tak jak poprzednio, przychodzi nam teoria miary, która gwarantuje istnienie odpowiedniej miary produktowej.

Powyższą dyskusję należy traktować jako nieco bardziej formalne uzasadnienie tego, że postulaty w rodzaju "Ponieważ te dwa zdarzenia powinny być niezależne, postuluję aby " dają się zrealizować na gruncie naszej teorii.