Rachunek prawdopodobieństwa i statystyka/Wykład 6: Rozkłady prawdopodobieństwa i zmienne losowe

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Zajmiemy się tak zwanymi zmiennymi losowymi. Ponieważ każda taka zmienna generuje przestrzeń probabilistyczną na zbiorze liczb rzeczywistych, najpierw przyjrzymy się miarom probabilistycznym na , czyli tak zwanym rozkładom. Zajmiemy się dwiema klasami rozkładów: rozkładami dyskretnymi i rozkładami ciągłymi. Zdefiniujemy pojęcie niezależności zmiennych losowych.

Rozkład prawdopodobieństwa

Prawie wszystkie wielkości, z którymi mamy do czynienia, mają (mniej lub bardziej) losowy charakter. Wzrost pierwszej osoby spotkanej po wyjściu z domu, ocena otrzymana na najbliższym egzaminie, cena kostki masła w najbliższym sklepie oraz wiele innych wielkości stanowi przykład tak zwanych zmiennych losowych. Każda taka zmienna ma swój specyficzny charakter. Wzrost mężczyzny może przybierać wszystkie wartości z przedziału , a nawet spoza tego przedziału, przy czym, przykładowo, przedział jest bardziej prawdopodobny niż następujące przedziały o tej samej długości: czy . Podobnie ocena z najbliższego egzaminu może przyjmować skończenie wiele wartości, na przykład 2, 3, 4 lub 5, przy czym dla danego studenta (i egzaminatora) nie są one na ogół jednakowo prawdopodobne - dla stypendysty MEN oceny 5 i 4 są dużo bardziej prawdopodobne niż 3, zaś ocena 2 jest niemal nieprawdopodobna. Tak więc każda zmienna losowa ma swój rozkład, który najłatwiej jest przedstawić graficznie. Przykładowo, hipotetyczny rozkład zmiennej losowej będącej wzrostem mężczyzny mógłby odpowiadać polu pod wykresem funkcji z następującego rysunku:

<flash>file=Rp.1.61.swf|width=350|height=350</flash>

przy czym pole całkowite figury ograniczonej osią i wykresem funkcji wynosi , zaś prawdopodobieństwo (na przykład) tego, że wzrost ten zawiera się w przedziale , jest równe polu zakreskowanej figury. Natomiast rozkład spodziewanej oceny dla dobrego studenta może wyglądać tak:

<flash>file=Rp.1.62.swf|width=350|height=350</flash>

zaś dla studenta słabego - nieco inaczej:

<flash>file=Rp.1.63.swf|width=350|height=350</flash>

Tutaj prawdopodobieństwo uzyskania danej oceny odpowiada długości danego odcinka.

Każdy rozkład zmiennej losowej można scharakteryzować pewnymi standardowymi parametrami, co z kolei umożliwia porównywanie rozkładów między sobą. Ważnym zagadnieniem jest także badanie i mierzenie współzależności zmiennych losowych - wiadomo, że wzrost i waga studenta są ze sobą silniej związane niż wzrost studenta i jego ocena na najbliższym egzaminie.

Miary probabilistyczne w

Prosta rzeczywista, płaszczyzna i ogólniej przestrzeń , są często traktowane jako zbiór zdarzeń elementarnych pewnej przestrzeni probabilistycznej. Przyjmuje się najczęściej, że -sigma algebrę stanowią zbiory borelowskie (patrz przykład 3.4), natomiast miary określone na tej -algebrze mogą być bardzo różne. Mówi o tym następująca:

Definicja 6.1 [rozkład prawdopodobieństwa]

Rozkładem prawdopodobieństwa (-wymiarowym) nazywamy miarę taką, że trójka jest przestrzenią probabilistyczną.

Omówimy teraz dwa podstawowe rodzaje rozkładów -wymiarowych: rozkłady dyskretne oraz rozkłady ciągłe. Chociaż najczęściej mamy do czynienia z takimi właśnie rozkładami, należy wyraźnie podkreślić, że nie wyczerpują one wszystkich możliwych rozkładów.

Rozkład dyskretny

Zaczniemy od rozkładu dyskretnego, poznanego już w szkole.

Definicja 6.2 [Rozkład dyskretny]

Rozkład -wymiarowy nazywamy rozkładem dyskretnym, jeżeli istnieje zbiór borelowski taki, że:



Uwaga 6.3

Występujący w powyższej definicji zbiór jest skończony lub przeliczalny. Żeby to stwierdzić, zauważmy, że można przedstawić jako przeliczalną sumę zbiorów skończonych. Dokładniej:



gdzie



Widzimy, że , a więc

Z powyższej uwagi wynika, iż możemy zbiór ustawić w ciąg, powiedzmy , gdzie jest liczbą naturalną lub , i oznaczyć . Mamy wtedy:



Zdefiniowane w ten sposób ciągi i wyznaczają jednoznacznie rozkład . Mianowicie, dla każdego zbioru borelowskiego A mamy (dlaczego?) i dalej:


     (6.1)


W związku z powyższym, często używa się sformułowania: rozkład dyskretny zadany przez ciągi i .

Przykładami rozkładów dyskretnych są wspomniane już rozkłady przewidywanej oceny, jaką otrzyma student na zbliżającym się egzaminie. Są one skupione w punktach , , i , jak (przykładowo) pokazano na ostatnich dwóch rysunkach.

Podamy teraz dwa inne, na pozór trochę banalne przykłady rozkładów dyskretnych.

Plik:Rp-6-3.mp4
253x253px

|size=small</flashwrap>

Przykład 6.4 [Rozkład jednopunktowy]

Rozkład jest jednopunktowy, jeżeli istnieje punkt taki, że .

Przykład 6.5 [Rozkład dwupunktowy]

Rozkład jest rozkładem dwupunktowym, jeżeli istnieją punkty oraz liczby takie, że oraz:



Najczęściej mówiąc o rozkładzie dwupunktowym, mamy na myśli rozkład jednowymiarowy skupiony w punktach i - będziemy go oznaczać jako .

Przykład 6.6 [Rozkład dwumianowy]

Wiemy już, że zajście sukcesów w schemacie Bernoulliego z doświadczeniami wyraża się wzorem 5.2. Mamy tu do czynienia z rozkładem prawdopodobieństwa skupionym w punktach , przy czym:


Rozkład ciągły

Drugą bardzo ważną klasą rozkładów są rozkłady ciągłe (nazywane przez niektórych rozkładami absolutnie ciągłymi, co z formalnego punktu widzenia jest bardziej poprawne, niemniej mało używane).

Definicja 6.7 [Rozkład ciągły]

Rozkład -wymiarowy nazywamy rozkładem ciągłym, jeżeli istnieje funkcja całkowalna taka, że dla każdego zbioru borelowskiego :


     (6.2)


gdzie oznacza całkę wielokrotną po zbiorze z funkcji (patrz wykład z Analizy matematycznej 2). Funkcję nazywamy wówczas gęstością rozkładu .

Przykład rozkładu ciągłego pokazano na rysunku 61.eps. Prawdopodobieństwo dowolnego zbioru jest, jako całka, równe polu figury pod wykresem funkcji i nad zbiorem . Na wspomnianym rysunku, zakreślony obszar odpowiada prawdopodobieństwu przedziału .

Zauważmy, że gęstość jest funkcją przyjmującą jedynie wartości nieujemne oraz taką, że całka z tej funkcji po całej przestrzeni (pole pod wykresem) jest równa . Na odwrót, można udowodnić, że każda funkcja spełniająca te dwa warunki jest gęstością pewnego rozkładu prawdopodobieństwa.

Na wykładzie 8 omówimy kilka interesujących rozkładów ciągłych - tym miejscu ograniczymy się jedynie do najprostszego przypadku.

Przykład 6.8 [Rozkład jednostajny]

Niech będzie zbiorem borelowskim o dodatniej mierze Lebesgue'a, to znaczy . Określmy funkcję:



Jest oczywiste, że spełnia warunki wymagane od gęstości, jest więc gęstością pewnego rozkładu prawdopodobieństwa. Rozkład ten nazywamy rozkładem jednostajnym (porównaj ten przykład z definicją 4.1, gdzie określiliśmy prawdopodobieństwo geometryczne).

Jeżeli , to mówimy o rozkładzie jednostajnym na odcinku . Tak, na przykład, wygląda gęstość rozkładu jednostajnego na odcinku :

<flash>file=Rp.1.64.swf|width=350|height=350</flash>

Jak już zauważyliśmy poprzednio, w przypadku rozkładów jednowymiarowych, znając wykres gęstości rozkładu ciągłego, można łatwo "zobaczyć", ile wynosi prawdopodobieństwo danego zdarzenia - jest to mianowicie miara zbioru:



Interpretacja ta wskazuje, że prawdopodobieństwo zbiorów jednopunktowych (a więc również skończonych i przeliczalnych) w rozkładzie ciągłym wynosi 0. Wynika to formalnie w sposób oczywisty z warunku 6.2, gdyż całka liczona po zbiorze miary zero równa się 0.

Dystrybuanta

Podstawową pozycję wśród rozkładów zajmują rozkłady jednowymiarowe, czyli miary probabilistyczne określone na . Mówiąc: rozkład, będziemy mieć zwykle na myśli rozkład jednowymiarowy.

Okazuje się, że zamiast rozkładów można rozpatrywać pewnego typu funkcje zmiennej rzeczywistej o wartościach rzeczywistych, co w wielu przypadkach upraszcza sytuację. Funkcje te są nazywane dystrybuantami.

Definicja 6.9 [dystrybuanta]

Dystrybuantą nazywamy funkcję , spełniającą następujące cztery warunki:

1. jest funkcją niemalejącą, to znaczy:



2. jest prawostronnie ciągła, to znaczy:



dla każdego ,

3. ,

4. .

Związek dystrybuant z rozkładami wyjaśnia następujące:

Twierdzenie 6.10

Jeżeli jest rozkładem prawdopodobieństwa, to funkcja zdefiniowana wzorem:


     (6.3)


jest dystrybuantą. Mówimy wtedy, że rozkład ma dystrybuantę , co często zaznaczamy pisząc zamiast .


Należy podkreślić, że wielu autorów definiuje dystrybuantę zastępując w definicji 6.9 warunek 2 założeniem, że jest lewostronnie ciągła w każdym punkcie. Wtedy w powyższym twierdzeniu 6.3 ma postać:



Oczywiście oba podejścia są jednakowo dobre.

Zachodzi także twierdzenie odwrotne do twierdzenia 6.10.

Twierdzenie 6.11

Jeżeli jest dystrybuantą, to istnieje dokładnie jeden rozkład , dla którego zachodzi wzór 6.3.

Jest oczywiście ciekawe, w jakich przypadkach dystrybuanta jest ciągła i co to oznacza, że jest ona ciągła w danym punkcie. Okazuje się, że nieciągłość ma miejsce dokładnie w punktach, w których rozkład jest "skupiony", a wielkość "skoku" dystrybuanty w danym punkcie zależy od prawdopodobieństwa skupionego w tym punkcie.

Twierdzenie 6.12

Niech będzie rozkładem prawdopodobieństwa, zaś - jego dystrybuantą. Wówczas dla dowolnego :



Bardziej ogólnie:



gdzie oznacza lewostronną granicę funkcji w punkcie (ponieważ jest niemalejąca, więc granica ta istnieje).

Dowód .

Weźmy ciąg (to znaczy, że jest ciągiem rosnącym, zbieżnym do ). Wtedy , a więc (patrz twierdzenie 3.2, warunek 8):



Stąd:


End of proof.gif


W przypadku gdy rozkład jest dyskretny lub ciągły, dystrybuanta tego rozkładu posiada dość prostą postać.

Uwaga 6.13

Niech rozkład dyskretny będzie zadany przez ciągi oraz . Wtedy, ze wzoru 6.1, otrzymujemy:



Uwaga 6.14
Niech rozkład ciągły ma gęstość . Wtedy wprost z definicji 6.7 otrzymujemy:


     (6.4)


W tym przypadku dystrybuanta jest ciągła we wszystkich punktach. Zauważmy natomiast, że jeżeli pewna funkcja mierzalna spełnia wzór 6.4, to jest ona gęstością rozkładu, którego dystrybuantą jest . Jeżeli więc wiemy, że dystrybuanta jest funkcją różniczkowalną, ewentualnie poza skończoną liczbą punktów, to jej pochodna jest gęstością rozważanego rozkładu. Wiadomo ponadto (patrz wykład z Analizy matematycznej), że w każdym punkcie , który jest punktem ciągłości , funkcja górnej granicy całkowania, a więc dystrybuanta, jest różniczkowalna oraz zachodzi wzór:



Przykład 6.15

Niech będzie dystrybuantą rozkładu jednostajnego na odcinku . Jak łatwo się przekonać, korzystając ze wzoru 6.4, otrzymujemy:



Można się pytać, czy to, że dystrybuanta rozkładu jest ciągła w każdym punkcie oznacza, że rozkład jest ciągły. Odpowiedź jest jednak negatywna, co można stwierdzić, analizując tak zwaną funkcję Cantora.

Dystrybuantę można także definiować dla rozkładów -wymiarowych, gdzie . Otrzymuje się wówczas podobne związki między dystrybuantami i rozkładami, jak dla przypadku jednowymiarowego. Podobne są także wzory na obliczanie dystrybuant rozkładów dyskretnych i ciągłych. Jednak definicja dystrybuanty w wyższym wymiarze nie może być bezpośrednim przeniesieniem definicji 6.9, gdyż w definicji tej wykorzystywana jest w sposób istotny struktura porządkowa zbioru liczb rzeczywistych.

Zmienne i wektory losowe

Podamy najpierw definicję zmiennej losowej, a następnie znacznie ogólniejszą definicję wektora losowego. Niech będzie przestrzenią probabilistyczną.

Definicja 6.16 [zmienna losowa]

Funkcję nazywamy zmienną losową, jeżeli jest ona funkcją mierzalną względem -algebry , to znaczy:



dla każdego zbioru borelowskiego .
Uwaga 6.17

Zbiory , gdzie , będziemy nazywać zbiorami opisywanymi przez zmienną losową . Podkreślamy wyraźnie, że są to zbiory postaci , co skrótowo będziemy zapisywać . Tak więc, na przykład,



oznacza:



W definicjach "typu szkolnego" często nie zakłada się mierzalności zmiennej losowej - każda funkcja określona na przestrzeni probabilistycznej i przyjmująca wartości liczbowe jest nazywana zmienną losową, niemniej rozpatrywane funkcje były mierzalne względem -algebry , tak więc założenie o mierzalności było zbędne. Istotę tego założenia można, mówiąc niezbyt precyzyjnie, częściowo wyjaśnić w następujący sposób: założenie mierzalności względem wyróżnionej -algebry odpowiada żądaniu, że zmienna losowa ma opisywać tylko "ciekawe" zdarzenia - w szczególności wiemy co oznacza prawdopodobieństwo takich zbiorów.

Rozkład zmiennej losowej

Każda zmienna losowa indukuje pewien rozkład prawdopodobieństwa w następującym sensie:

Definicja 6.18 [rozkład zmiennej losowej]

Niech będzie przestrzenią probabilistyczną, zaś - zmienną losową. Wówczas rozkładem zmiennej nazywamy rozkład , zdefiniowany następująco:



Zauważmy, że mierzalność gwarantuje sensowność tej definicji - ponieważ jest określone na zdarzeniach z , musimy mieć gwarancję, że .

Na początki tego wykładu podaliśmy przykłady kilku zmiennych losowych i powiedzieliśmy nawet, jaki mogą mieć one rozkład. Nie mówiliśmy wtedy jednak nic o przestrzeniach probabilistycznych, na których zmienne te są określone. Jest to typowa sytuacja - najczęściej nie wskazuje się wyraźnie przestrzeni probabilistycznych, a obserwuje się jedynie rozkład zmiennej losowej (i to nam musi wystarczyć).

Jest więc naturalnym pytanie, czy mając rozkład, powiedzmy , można tak dobrać przestrzeń probabilistyczną oraz zmienną losową , określoną na tej przestrzeni, że . Mówi o tym bardzo proste, niemniej pożyteczne twierdzenie.

Twierdzenie 6.19

Niech będzie rozkładem prawdopodobieństwa. Wówczas istnieje przestrzeń probabilistyczna oraz zmienna losowa taka, że:



Dowód .

Wystarczy położyć:



oraz


End of proof.gif


Twierdzenie to jest bardzo wygodne, gdyż rozważając jakikolwiek rozkład, mamy gwarancję, że jest on rozkładem pewnej zmiennej losowej, a to pozwala wykorzystać w wielu przypadkach język zmiennych losowych w badaniu samych rozkładów.

Uwaga 6.20
Okazuje się, że zmienne losowe posiadają wiele pożytecznych własności. Można mianowicie udowodnić, że suma, iloczyn, kresy górne i dolne, granice górne i dolne, granice (o ile istnieją) zmiennych losowych są zmiennymi losowymi.

Wektor losowy

Uogólnieniem zmiennych losowych są wektory losowe.

Definicja 6.21 [wektor losowy]

Funkcję nazywamy wektorem losowym, jeżeli jest ona funkcją mierzalną względem -algebry , to znaczy:



dla każdego zbioru borelowskiego .

Widzimy, że zmienna losowa jest jednowymiarowym wektorem losowym. Wyróżnianie zmiennych losowych nie ma więc formalnego uzasadnienia, natomiast zrobiono to tutaj ze względu na tradycję oraz na szczególne znaczenie wektorów jednowymiarowych - zmiennych losowych.

Podobnie jak dla zmiennych losowych, określa się rozkład wektora losowego wzorem:



Niezależność

Można sprawdzić, że zestawienie (patrz wykład z Logiki i teorii mnogości) wektorów losowych i określonych na tej samej przestrzeni, w szczególności zestawienie zmiennych losowych, jest wektorem losowym. Można się więc pytać: czy jest jakiś związek pomiędzy rozkładami tych wektorów. W ogólnym przypadku taki związek jest tylko częściowy. Mianowicie, wprost z definicji rozkładu wektora losowego mamy:



Tak więc znając rozkład zestawienia, znamy również rozkłady "współrzędnych" i bez znaczenia jest tutaj przestrzeń probabilistyczna, na której wektory losowe są określone. Jednak informacje o przestrzeniach są istotne w problemie przeciwnym: czy znając rozkłady wektorów losowych i , można określić rozkład zestawienia .

Definicja 6.22 [niezależność wektorów losowych]

Niech będzie przestrzenią probabilistyczną i niech będą wektorami losowymi określonymi na tej przestrzeni. Mówimy, że wektory te są niezależne, jeżeli dla każdego ciągu zbiorów borelowskich , zawartych w odpowiednich przestrzeniach, zachodzi:



Można więc powiedzieć, że wektory losowe są niezależne, jeżeli opisywane przez nie zdarzenia są niezależne (zauważmy, że za zbiór można podstawić całą przestrzeń .

Mówimy, że wektory losowe są niezależne, jeżeli dla każdego naturalnego , wektory są niezależne.

W przykładzie z początku tego wykładu mieliśmy pokazaną zarówno parę zmiennych zależnych, jak i parę zmiennych niezależnych. Przykład ten sugeruje także następujące twierdzenie, które dla uproszczenia zapisu sformułujemy tylko dla dwóch wektorów losowych.

Twierdzenie 6.23

Niech i będą wektorami losowymi, określonymi na tej samej przestrzeni . Wtedy:



Dodatkowo:

1. jeżeli wektory i mają rozkłady dyskretne, odpowiednio:



to zestawienie ma również rozkład dyskretny:


     (6.5)


2. jeżeli wektory oraz mają rozkłady ciągłe, o gęstościach, odpowiednio:



to zestawienie ma również rozkład ciągły o gęstości :



Powyższe wzory mają istotne znaczenie przy wyznaczaniu rozkładów zmiennych lub, ogólniej, wektorów losowych, które są funkcjami innych niezależnych zmiennych losowych.

Funkcje zmiennych i wektorów losowych

Często mamy do czynienia z następującym problemem: mając zmienną losową (lub wektor losowy) o danym rozkładzie, należy wyznaczyć rozkład pewnej funkcji tej zmiennej losowej. Na przykład: znając rozkład , należy znaleźć rozkład , albo znając rozkład wektora losowego , należy znaleźć rozkład wektora . Sytuację ogólną można opisać w następujący sposób.

Niech będą dane:

1. przestrzeń probabilistyczna ,

2. wektor losowy ,

3. funkcja .

Rozpatrujemy złożenie:



O ile funkcja jest dostatecznie regularna (na przykład ciągła), można udowodnić, że złożenie to jest wektorem losowym - bywa on tradycyjnie oznaczany przez . Rozkład tego wektora jest bardzo prosto związany z rozkładem wektora losowego . Mianowicie mamy:



dla każdego zbioru borelowskiego w przestrzeni . Wzór ten, jakkolwiek prosty, nie jest zbyt przydatny, gdyż w praktyce nie operujemy rozkładami, lecz dystrybuantami, gęstościami lub ciągami (te ostatnie opisują rozkłady dyskretne). W takich sytuacjach nie istnieją ogólne twierdzenia, a sposób postępowania zależy od konkretnej postaci funkcji i charakteru wektora losowego .

Przykład 6.24

Niech będzie dowolnie ustaloną zmienną losową, - jej dystrybuantą, zaś - ustalonymi liczbami takimi, że . Policzymy dystrybuantę zmiennej losowej:



Dla otrzymujemy:



Podobnie, dla mamy:




Załóżmy teraz dodatkowo, że zmienna ma gęstość (dla uproszczenia zakładamy, że jest ciągła). Wtedy, korzystając z uwagi 6.14, wiemy, że dystrybuanta jest różniczkowalna, zaś z powyższych wzorów wynika, że również jest różniczkowalna, a więc ma rozkład ciągły o gęstości:



Zakończmy ten punkt, podając twierdzenie o niezależności funkcji niezależnych wektorów losowych.

Twierdzenie 6.25

Niech oraz będą niezależnymi wektorami losowymi, zaś i - funkcjami borelowskimi, czyli funkcjami mierzalnymi ze względu na -algebry zbiorów borelowskich. Wtedy wektory losowe oraz są niezależne.