Rachunek prawdopodobieństwa i statystyka/Wykład 6: Rozkłady prawdopodobieństwa i zmienne losowe

Zajmiemy się tak zwanymi zmiennymi losowymi. Ponieważ każda taka zmienna generuje przestrzeń probabilistyczną na zbiorze liczb rzeczywistych, najpierw przyjrzymy się miarom probabilistycznym na $\mathbb{ℝ}$, czyli tak zwanym rozkładom. Zajmiemy się dwiema klasami rozkładów: rozkładami dyskretnymi i rozkładami ciągłymi. Zdefiniujemy pojęcie niezależności zmiennych losowych.

Rozkład prawdopodobieństwa

Prawie wszystkie wielkości, z którymi mamy do czynienia, mają (mniej lub bardziej) losowy charakter. Wzrost pierwszej osoby spotkanej po wyjściu z domu, ocena otrzymana na najbliższym egzaminie, cena kostki masła w najbliższym sklepie oraz wiele innych wielkości stanowi przykład tak zwanych zmiennych losowych. Każda taka zmienna ma swój specyficzny charakter. Wzrost mężczyzny może przybierać wszystkie wartości z przedziału $(150,230)$, a nawet spoza tego przedziału, przy czym, przykładowo, przedział $(174,176)$ jest bardziej prawdopodobny niż następujące przedziały o tej samej długości: $(154,156)$ czy $(210,212)$. Podobnie ocena z najbliższego egzaminu może przyjmować skończenie wiele wartości, na przykład 2, 3, 4 lub 5, przy czym dla danego studenta (i egzaminatora) nie są one na ogół jednakowo prawdopodobne - dla stypendysty MEN oceny 5 i 4 są dużo bardziej prawdopodobne niż 3, zaś ocena 2 jest niemal nieprawdopodobna. Tak więc każda zmienna losowa ma swój rozkład, który najłatwiej jest przedstawić graficznie. Przykładowo, hipotetyczny rozkład zmiennej losowej będącej wzrostem mężczyzny mógłby odpowiadać polu pod wykresem funkcji z następującego rysunku:

61.eps (wykres prawdopodobieństwa

przy czym pole całkowite figury ograniczonej osią $0X$ i wykresem funkcji wynosi $1$, zaś prawdopodobieństwo (na przykład) tego, że wzrost ten zawiera się w przedziale $(180,185)$, jest równe polu zakreskowanej figury. Natomiast rozkład spodziewanej oceny dla dobrego studenta może wyglądać tak:

62.eps (oceny)

zaś dla studenta słabego - nieco inaczej:

63.eps (oceny)

Tutaj prawdopodobieństwo uzyskania danej oceny odpowiada długości danego odcinka.

Każdy rozkład zmiennej losowej można scharakteryzować pewnymi standardowymi parametrami, co z kolei umożliwia porównywanie rozkładów między sobą. Ważnym zagadnieniem jest także badanie i mierzenie współzależności zmiennych losowych - wiadomo, że wzrost i waga studenta są ze sobą silniej związane niż wzrost studenta i jego ocena na najbliższym egzaminie.

Miary probabilistyczne w ${\mathbb{ℝ}}^n$

Prosta rzeczywista, płaszczyzna i ogólniej przestrzeń ${\mathbb{ℝ}}^n$, są często traktowane jako zbiór zdarzeń elementarnych $\mathrm{\Omega }$ pewnej przestrzeni probabilistycznej. Przyjmuje się najczęściej, że $\sigma$-sigma algebrę $\mathrm{\Sigma }$ stanowią zbiory borelowskie ${ℬ}({\mathbb{ℝ}}^n)$ (patrz przykład 3.4), natomiast miary $P$ określone na tej $\sigma$-algebrze mogą być bardzo różne. Mówi o tym następująca:

Definicja 6.1 [rozkład prawdopodobieństwa]

Rozkładem prawdopodobieństwa ($n$-wymiarowym) nazywamy miarę $P$ taką, że trójka $({\mathbb{ℝ}}^n,{ℬ}({\mathbb{ℝ}}^n),P)$ jest przestrzenią probabilistyczną.

Omówimy teraz dwa podstawowe rodzaje rozkładów $n$-wymiarowych: rozkłady dyskretne oraz rozkłady ciągłe. Chociaż najczęściej mamy do czynienia z takimi właśnie rozkładami, należy wyraźnie podkreślić, że nie wyczerpują one wszystkich możliwych rozkładów.

Rozkład dyskretny

Zaczniemy od rozkładu dyskretnego, poznanego już w szkole.

Definicja 6.2 [Rozkład dyskretny]

Rozkład $n$-wymiarowy $P$ nazywamy rozkładem dyskretnym, jeżeli istnieje zbiór borelowski $K\subset {\mathbb{ℝ}}^n$ taki, że:

$P(K)=1\text{ oraz }x\in K\Rightarrow P(x)>0.$

Uwaga 6.3

Występujący w powyższej definicji zbiór $K$ jest skończony lub przeliczalny. Żeby to stwierdzić, zauważmy, że $K$ można przedstawić jako przeliczalną sumę zbiorów skończonych. Dokładniej:

$K=\bigcup _{i=1}^{\mathrm{\infty }}{K}_i,$

gdzie

$K_i=\{x\in {\mathbb{ℝ}}^n:P(x)\ge \frac{1}{i}\}.$

Widzimy, że $1\ge P(K_i)\ge \mathrm{\#}{K}_i\cdot \frac{1}{i}$, a więc

$\mathrm{\#}{K}_i\le i.$

Z powyższej uwagi wynika, iż możemy zbiór $K$ ustawić w ciąg, powiedzmy $K=\{x_i:i=1,\dots ,m\}$, gdzie $m$ jest liczbą naturalną lub $m=\mathrm{\infty }$, i oznaczyć $p_i=P(x_i)$. Mamy wtedy:

$\sum _{i=1}^m{p}_i=1\text{ oraz }{p}_i>0\text{ dla wszystkich }i.$

Zdefiniowane w ten sposób ciągi $\{x_i\}$ i $\{p_i\}$ wyznaczają jednoznacznie rozkład $P$. Mianowicie, dla każdego zbioru borelowskiego A mamy $P(A)=P(A\cap K)$ (dlaczego?) i dalej:

$P(A)=\sum _{i:x_i\in A}{p}_i.$      (6.1)

W związku z powyższym, często używa się sformułowania: rozkład dyskretny zadany przez ciągi $\{x_i\}$ i $\{p_i\}$.

Przykładami rozkładów dyskretnych są wspomniane już rozkłady przewidywanej oceny, jaką otrzyma student na zbliżającym się egzaminie. Są one skupione w punktach $2$, $3$, $4$ i $5$, jak (przykładowo) pokazano na ostatnich dwóch rysunkach.

Podamy teraz dwa inne, na pozór trochę banalne przykłady rozkładów dyskretnych.

Przykład 6.4 [Rozkład jednopunktowy]

Rozkład $P$ jest jednopunktowy, jeżeli istnieje punkt $c\in {\mathbb{ℝ}}^n$ taki, że $P(c)=1$.

Przykład 6.5 [Rozkład dwupunktowy]

Rozkład $P$ jest rozkładem dwupunktowym, jeżeli istnieją punkty $a,b\in {\mathbb{ℝ}}^n$ oraz liczby $p,q\in (0,1)$ takie, że $p+q=1$ oraz:

$P(a)=q\text{ i }P(b)=p.$

Najczęściej mówiąc o rozkładzie dwupunktowym, mamy na myśli rozkład jednowymiarowy skupiony w punktach $a=0$ i $b=1$ - będziemy go oznaczać jako $(0,1,p)$.

Przykład 6.6 [Rozkład dwumianowy]

Wiemy już, że zajście $k$ sukcesów w schemacie Bernoulliego z $n$ doświadczeniami wyraża się wzorem (5.2). Mamy tu do czynienia z rozkładem prawdopodobieństwa skupionym w punktach $0,1,\dots ,n$, przy czym:

Parser nie mógł rozpoznać (nieznana funkcja „\begin{array}”): {\displaystyle P(k) = \left(\begin{array} {@{}c@{}}n\\k\end{array} \right) p^k(1 -p)^{n-k}\;\;\textrm{dla}\;\;k= 0,1,\dots, n.}

Rozkład ciągły

Drugą bardzo ważną klasą rozkładów są rozkłady ciągłe (nazywane przez niektórych rozkładami absolutnie ciągłymi, co z formalnego punktu widzenia jest bardziej poprawne, niemniej mało używane).

Definicja 6.7 [Rozkład ciągły]

Rozkład $n$-wymiarowy $P$ nazywamy rozkładem ciągłym, jeżeli istnieje funkcja całkowalna $f:{\mathbb{ℝ}}^n⟶\mathbb{ℝ}$ taka, że dla każdego zbioru borelowskiego $A\subset {\mathbb{ℝ}}^n$:

$P(A)=\underset{A}{\int }f(x)dx,$      (6.2)

gdzie $\underset{A}{\int }f(x)dx$ oznacza całkę wielokrotną po zbiorze $A$ z funkcji $f$[AM2]. Funkcję $f$ nazywamy wówczas gęstością rozkładu $P$.

Przykład rozkładu ciągłego pokazano na rysunku 61.eps. Prawdopodobieństwo dowolnego zbioru $A$ jest, jako całka, równe polu figury pod wykresem funkcji $f$ i nad zbiorem $A$. Na wspomnianym rysunku, zakreślony obszar odpowiada prawdopodobieństwu przedziału $(180,185)$.

Zauważmy, że gęstość jest funkcją przyjmującą jedynie wartości nieujemne oraz taką, że całka z tej funkcji po całej przestrzeni (pole pod wykresem) jest równa $1$. Na odwrót, można udowodnić, że każda funkcja spełniająca te dwa warunki jest gęstością pewnego rozkładu prawdopodobieństwa.

Na wykładzie 8 omówimy kilka interesujących rozkładów ciągłych - tym miejscu ograniczymy się jedynie do najprostszego przypadku.

Przykład 6.8 [Rozkład jednostajny]

Niech $G$ będzie zbiorem borelowskim o dodatniej mierze Lebesgue'a, to znaczy $\mu (G)>0$. Określmy funkcję:

$f(x)=\{\begin{array}{rll}0,& \text{ gdy }& x\notin G\\ [0,3cm]\frac{1}{\mu (G)},& \text{ gdy }& x\in A.\end{array}$

Jest oczywiste, że $f$ spełnia warunki wymagane od gęstości, jest więc gęstością pewnego rozkładu prawdopodobieństwa. Rozkład ten nazywamy rozkładem jednostajnym (porównaj ten przykład z definicją 4.1, gdzie określiliśmy prawdopodobieństwo geometryczne).

Jeżeli $G=(a,b)$, to mówimy o rozkładzie jednostajnym na odcinku $(a,b)$. Tak, na przykład, wygląda gęstość rozkładu jednostajnego na odcinku $(2,4)$:

64.eps

Jak już zauważyliśmy poprzednio, w przypadku rozkładów jednowymiarowych, znając wykres gęstości rozkładu ciągłego, można łatwo "zobaczyć", ile wynosi prawdopodobieństwo danego zdarzenia $A$ - jest to mianowicie miara zbioru:

$\{(x,y)\in {\mathbb{ℝ}}^{n+1}:x\in A,0\le y\le f(x)\}.$

Interpretacja ta wskazuje, że prawdopodobieństwo zbiorów jednopunktowych (a więc również skończonych i przeliczalnych) w rozkładzie ciągłym wynosi 0. Wynika to formalnie w sposób oczywisty z warunku (6.2), gdyż całka liczona po zbiorze miary zero równa się 0.

Dystrybuanta

Podstawową pozycję wśród rozkładów zajmują rozkłady jednowymiarowe, czyli miary probabilistyczne określone na ${ℬ}(\mathbb{ℝ})$. Mówiąc: rozkład, będziemy mieć zwykle na myśli rozkład jednowymiarowy.

Okazuje się, że zamiast rozkładów można rozpatrywać pewnego typu funkcje zmiennej rzeczywistej o wartościach rzeczywistych, co w wielu przypadkach upraszcza sytuację. Funkcje te są nazywane dystrybuantami.

Definicja 6.9 [dystrybuanta]

Dystrybuantą nazywamy funkcję $F:\mathbb{ℝ}⟶\mathbb{ℝ}$, spełniającą następujące cztery warunki:

1. $F$ jest funkcją niemalejącą, to znaczy:

$x<y\Rightarrow F(x)\le F(y),$

1. $F$ jest prawostronnie ciągła, to znaczy:

$\underset{x\to a^{+}}{\lim }F(x)=F(a)$

dla każdego $a\in \mathbb{ℝ}$,

1. $\underset{x\to \mathrm{\infty }}{\lim }F(x)=1$,

1. $\underset{x\to -\mathrm{\infty }}{\lim }F(x)=0$.

Związek dystrybuant z rozkładami wyjaśnia następujące:

Twierdzenie 6.10

Jeżeli $P$ jest rozkładem prawdopodobieństwa, to funkcja $F$ zdefiniowana wzorem:

$F(x)=P(-\mathrm{\infty },x]=P((-\mathrm{\infty },x]),$      (6.3)

jest dystrybuantą. Mówimy wtedy, że rozkład $P$ ma dystrybuantę $F$, co często zaznaczamy pisząc $F_P$ zamiast $F$.

Należy podkreślić, że wielu autorów definiuje dystrybuantę zastępując w definicji 6.9 warunek 2 założeniem, że $F$ jest lewostronnie ciągła w każdym punkcie. Wtedy w powyższym twierdzeniu wzór (6.3) ma postać:

$F(x)=P(-\mathrm{\infty },x)=P((-\mathrm{\infty },x)).$

Oczywiście oba podejścia są jednakowo dobre.

Zachodzi także twierdzenie odwrotne do twierdzenia 6.10.

Twierdzenie 6.11

Jeżeli $F$ jest dystrybuantą, to istnieje dokładnie jeden rozkład $P$, dla którego zachodzi wzór (6.3).

Jest oczywiście ciekawe, w jakich przypadkach dystrybuanta jest ciągła i co to oznacza, że jest ona ciągła w danym punkcie. Okazuje się, że nieciągłość ma miejsce dokładnie w punktach, w których rozkład jest "skupiony", a wielkość "skoku" dystrybuanty w danym punkcie zależy od prawdopodobieństwa skupionego w tym punkcie.

Twierdzenie 6.12

Niech $P$ będzie rozkładem prawdopodobieństwa, zaś $F$ - jego dystrybuantą. Wówczas dla dowolnego $a\in \mathbb{ℝ}$:

Parser nie mógł rozpoznać (błąd składni): {\displaystyle F \; \textrm{jest ciągła w punkcie}\; a\: \Longleftrightarrow \: P(a) = 0.}

Bardziej ogólnie:

$P(a)=F(a)-F(a{)}^{-},$

gdzie $F(a{)}^{-}$ oznacza lewostronną granicę funkcji $F$ w punkcie $a$ (ponieważ $F$ jest niemalejąca, więc granica ta istnieje).

Dowód

Weźmy ciąg $x_n\nearrow a$ (to znaczy, że $\{x_n\}$ jest ciągiem rosnącym, zbieżnym do $a$). Wtedy $(-\mathrm{\infty },a)=\bigcup (-\mathrm{\infty },x_n]$, a więc (patrz twierdzenie 3.2, warunek 8):

$F(a{)}^{-}=\underset{n\to \mathrm{\infty }}{\lim }F(x_n)=\underset{n\to \mathrm{\infty }}{\lim }P(-\mathrm{\infty },x_n]=P(-\mathrm{\infty },a).$

Stąd:

$P(a)=P((-\mathrm{\infty },a]\setminus (-\mathrm{\infty },a))=P(-\mathrm{\infty },a]-P(-\mathrm{\infty },a)=F(a)-F(a{)}^{-}.$

W przypadku gdy rozkład jest dyskretny lub ciągły, dystrybuanta tego rozkładu posiada dość prostą postać.

Uwaga 6.13

Niech rozkład dyskretny $P$ będzie zadany przez ciągi $\{x_n\}$ oraz $\{p_n\}$. Wtedy, ze wzoru (6.1|), otrzymujemy:

$F_P(x)=\sum _{i:x_i\le x}{p}_i.$

Uwaga 6.14

Niech rozkład ciągły $P$ ma gęstość $f$. Wtedy wprost z definicji 6.7 otrzymujemy:

$F(x)=\underset{-\mathrm{\infty }}{\overset{x}{\int }}f(t)dt.$      (6.4)

W tym przypadku dystrybuanta jest ciągła we wszystkich punktach. Zauważmy natomiast, że jeżeli pewna funkcja mierzalna spełnia wzór (6.4), to jest ona gęstością rozkładu, którego dystrybuantą jest $F$. Jeżeli więc wiemy, że dystrybuanta jest funkcją różniczkowalną, ewentualnie poza skończoną liczbą punktów, to jej pochodna jest gęstością rozważanego rozkładu. Wiadomo ponadto [AM], że w każdym punkcie $x$, który jest punktem ciągłości $f$, funkcja górnej granicy całkowania, a więc dystrybuanta, jest różniczkowalna oraz zachodzi wzór:

$F^{\prime }(x)=f(x).$

Przykład 6.15

Niech $F$ będzie dystrybuantą rozkładu jednostajnego na odcinku $(a,b)$. Jak łatwo się przekonać, korzystając ze wzoru (6.4), otrzymujemy:

$F(x)=\{\begin{array}{rl}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& b\le x.\end{array}$

Można się pytać, czy to, że dystrybuanta rozkładu jest ciągła w każdym punkcie oznacza, że rozkład jest ciągły. Odpowiedź jest jednak negatywna, co można stwierdzić, analizując tak zwaną funkcję Cantora.

Dystrybuantę można także definiować dla rozkładów $n$-wymiarowych, gdzie $n>1$. Otrzymuje się wówczas podobne związki między dystrybuantami i rozkładami, jak dla przypadku jednowymiarowego. Podobne są także wzory na obliczanie dystrybuant rozkładów dyskretnych i ciągłych. Jednak definicja dystrybuanty w wyższym wymiarze nie może być bezpośrednim przeniesieniem definicji 6.9, gdyż w definicji tej wykorzystywana jest w sposób istotny struktura porządkowa zbioru liczb rzeczywistych.

Zmienne i wektory losowe

Podamy najpierw definicję zmiennej losowej, a następnie znacznie ogólniejszą definicję wektora losowego. Niech $(\mathrm{\Omega },\mathrm{\Sigma },P)$ będzie przestrzenią probabilistyczną.

Definicja 6.16 [zmienna losowa]

Funkcję $X:\mathrm{\Omega }⟶\mathbb{ℝ}$ nazywamy zmienną losową, jeżeli jest ona funkcją mierzalną względem $\sigma$-algebry $\mathrm{\Sigma }$, to znaczy:

$X^{-1}(B)=\{\omega \in \mathrm{\Omega }:X(\omega )\in B\}\in \mathrm{\Sigma }$

dla każdego zbioru borelowskiego $B\in {ℬ}(\mathbb{ℝ})$.

Uwaga 6.17

Zbiory $X^{-1}(B)$, gdzie $B\in {ℬ}(\mathbb{ℝ})$, będziemy nazywać zbiorami opisywanymi przez zmienną losową $X$. Podkreślamy wyraźnie, że są to zbiory postaci $\{\omega \in \mathrm{\Omega }:X(\omega )\in B\}$, co skrótowo będziemy zapisywać $\{X\in B\}$. Tak więc, na przykład,

$P(X<\epsilon )$

oznacza:

$P(\{\omega \in \mathrm{\Omega }:X(\omega )<\epsilon \}).$

W definicjach "typu szkolnego" często nie zakłada się mierzalności zmiennej losowej - każda funkcja określona na przestrzeni probabilistycznej i przyjmująca wartości liczbowe jest nazywana zmienną losową, niemniej rozpatrywane funkcje były mierzalne względem $\sigma$-algebry ${𝒫}(\mathrm{\Omega })$, tak więc założenie o mierzalności było zbędne. Istotę tego założenia można, mówiąc niezbyt precyzyjnie, częściowo wyjaśnić w następujący sposób: założenie mierzalności względem wyróżnionej $\sigma$-algebry odpowiada żądaniu, że zmienna losowa ma opisywać tylko "ciekawe" zdarzenia - w szczególności wiemy co oznacza prawdopodobieństwo takich zbiorów.

Rozkład zmiennej losowej

Każda zmienna losowa indukuje pewien rozkład prawdopodobieństwa w następującym sensie:

Definicja 6.18 [rozkład zmiennej losowej]

Niech $(\mathrm{\Omega },\mathrm{\Sigma },P)$ będzie przestrzenią probabilistyczną, zaś $X:\mathrm{\Omega }⟶\mathbb{ℝ}$ - zmienną losową. Wówczas rozkładem zmiennej $X$ nazywamy rozkład $P_X$, zdefiniowany następująco:

$P_X(B)=P(X^{-1}(B))\text{ dla }B\in {ℬ}(\mathbb{ℝ}).$

Zauważmy, że mierzalność $X$ gwarantuje sensowność tej definicji - ponieważ $P$ jest określone na zdarzeniach z $\mathrm{\Sigma }$, musimy mieć gwarancję, że $X^{-1}(B)\in \mathrm{\Sigma }$.

Na początki tego wykładu podaliśmy przykłady kilku zmiennych losowych i powiedzieliśmy nawet, jaki mogą mieć one rozkład. Nie mówiliśmy wtedy jednak nic o przestrzeniach probabilistycznych, na których zmienne te są określone. Jest to typowa sytuacja - najczęściej nie wskazuje się wyraźnie przestrzeni probabilistycznych, a obserwuje się jedynie rozkład zmiennej losowej (i to nam musi wystarczyć).

Jest więc naturalnym pytanie, czy mając rozkład, powiedzmy $Q$, można tak dobrać przestrzeń probabilistyczną oraz zmienną losową $X$, określoną na tej przestrzeni, że $P_X=Q$. Mówi o tym bardzo proste, niemniej pożyteczne twierdzenie.