Rachunek prawdopodobieństwa i statystyka/Wykład 9: Rozkład normalny i centralne twierdzenie graniczne

From Studia Informatyczne

Rozkład normalny i centralne twierdzenie graniczne

Centralną rolę w rachunku prawdopodobieństwa i statystyce pełni tak zwany rozkład normalny. Związane jest z nim słynne twierdzenie nazywane centralnym twierdzeniem granicznym. Na jego podstawie można w wielu sytuacjach zakładać, że zmienna losowa, którą jesteśmy właśnie zainteresowani, ma rozkład normalny.

Rozkład normalny

Carl Friedrich Gauss (1777-1855)Zobacz biografię
Enlarge
Carl Friedrich Gauss (1777-1855)
Zobacz biografię
Chyba najważniejszym ze znanych rozkładów jest tak zwany rozkład normalny, określany niekiedy jako rozkład Gaussa.

Rozkład \displaystyle P nazywamy rozkładem normalnym, jeżeli istnieją takie liczby rzeczywiste \displaystyle m oraz \displaystyle \sigma>0, że funkcja \displaystyle f\colon {\Bbb R}\longrightarrow {\Bbb R}, określona wzorem:


\displaystyle  f(x) =  \frac{1}{\sqrt{2\pi}\sigma}\,e^{-\frac{1}{2}(\frac{x - m}{\sigma})^2}\;\;\mbox{ dla } x\in {\Bbb R},


jest gęstością tego rozkładu.

Stosowana w tym przypadku notacja jest następująca: \displaystyle N(m,\sigma) oznacza rozkład normalny o parametrach \displaystyle m oraz \displaystyle \sigma - jego dystrybuantę oznaczamy przez \displaystyle \Phi_{m,\sigma}. Wykres gęstości rozkładu normalnego nosi nazwę krzywej Gaussa.

Poniższy wykres przedstawia gęstości rozkładów \displaystyle N(20,1), \displaystyle N(20,2) i \displaystyle N(20,3), przy czym mniejszym wartościom \displaystyle \sigma odpowiada bardziej stromy wykres.



Znaczenie parametru \displaystyle \sigma ilustruje też następująca animacja (tutaj \displaystyle m = 20):



Kolejny wykres przedstawia gęstości rozkładów \displaystyle N(15,3), \displaystyle N(20,3) i \displaystyle N(25,3).



Aby jeszcze lepiej uzmysłowić sobie znaczenie parametru \displaystyle m, proponujemy uruchomić następującą animację (\displaystyle \sigma = 2):


Dystrybuantę \displaystyle \Phi_{0,1} oznaczamy krótko przez \displaystyle \Phi. Wyraża się więc ona następującym wzorem:


\displaystyle  \Phi(x)                  =                  \frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{1}{2}t^2}dt.      (9.1)


Poniższy wykres przedstawia gęstość rozkładu \displaystyle N(0,1), który nazywamy standardowym rozkładem normalnym. Zauważmy, że zakreskowany obszar posiada pole równe \displaystyle \Phi(1).



Wartości dystrybuanty \displaystyle \Phi zostały stablicowane oraz są dostępne w wielu komputerowych programach matematycznych lub statystycznych. Oczywiście, pakiety statystyczne programu Maple zawierają odpowiednie procedury (jakie?). Zwróćmy uwagę na dwie własności funkcji \displaystyle \Phi,posiadające (przede wszystkim) rachunkowe znaczenie. Wynikają one bezpośrednio ze wzoru na 9.1 \displaystyle \Phi_{0,1} i mają oczywistą interpretację geometryczną (ćwiczenie). Mianowicie:
\displaystyle  \Phi (0) = \frac{1}{2}\;\; \mbox{ oraz } \;\;\Phi (x) = 1 - \Phi (-x) \mbox{ dla każdego } x \in {\Bbb R}


oraz


\displaystyle  \Phi^{-1} (\alpha) = -\Phi^{-1}(1-\alpha) \mbox{ dla każdego } \alpha \in [0,1].


Użyteczność powyższych wzorów można zaobserwować zwłaszcza wtedy, gdy nie dysponujemy odpowiednim pakietem komputerowym czy kalkulatorem, ale są one także ważne przy pewnych przekształceniach. Podobnie następna równość, którą można otrzymać stosując prostą zmianę zmiennych (patrz wykład z Analizy matematycznej), pozwala za pomocą \displaystyle \Phi obliczać dystrybuanty \displaystyle \Phi_{m,\sigma} dla pozostałych parametrów \displaystyle m i \displaystyle \sigma. Mianowicie:


\displaystyle  \Phi_{m,\sigma}(x) = \Phi\left(\frac{x-m}{\sigma}\right).      (9.2)


Parametry \displaystyle m i \displaystyle \sigma mają bardzo wyraźną interpretację probabilistyczną. Okazuje się bowiem, iż nadzieja matematyczna oraz wariancja w rozkładzie \displaystyle N(m,\sigma) wyrażają się wzorami:


\displaystyle  {\Bbb E}(X) = m, \hspace{2cm} {\Bbb D}^2 (X) = \sigma^2.


Zauważmy też, że \displaystyle m jest punktem, w którym gęstość rozkładu \displaystyle N(m,\sigma) osiąga wartość największą, prosta \displaystyle x = m jest osią symetrii jej wykresu, zaś punkty \displaystyle m-  \sigma i \displaystyle m+\sigma - punktami przegięcia (patrz wykład z Analizy matematycznej).

Przykład 9.1

\displaystyle  r_k = P(m - k\sigma,m +k\sigma) \;\;\mbox{ dla } k =1,2,3,


gdzie \displaystyle P jest rozkładem \displaystyle N(m,\sigma). Otrzymujemy:


\displaystyle  r_k = \Phi_{m,\sigma}(m + k\sigma) - \Phi_{m,\sigma}(m - k\sigma) = \Phi(k) - \Phi(-k) = 2\Phi(k) - 1.


Korzystając z tablic lub z komputera, bez trudu dostajemy:


\displaystyle  r1 \approx 0.682689492, \;\;r2 \approx 0.954499736, \;\;r3 \approx 0.997300204.


Tak więc szansa znajdowania się poza przedziałem \displaystyle (m  -3\sigma,\;m  + 3\sigma) wynosi istotnie mniej niż \displaystyle 1\%. Im mniejszy jest parametr \displaystyle \sigma, tym bardziej rozkład \displaystyle N(m,\sigma) jest "skupiony w okolicy" punktu \displaystyle x =m.


Dystrybuanta \displaystyle \Phi rozkładu normalnego \displaystyle N(0,1) (w tablicy podano wartości \displaystyle \Phi(x) dla \displaystyle x\in [0, 3.09]).

\displaystyle x 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09
0,0 0,5000 0,5040 0,5080 0,5120 0,5160 0,5199 0,5239 0,5279 0,5319 0,5359
0,1 0,5398 0,5438 0,5478 0,5517 0,5557 0,5596 0,5636 0,5675 0,5714 0,5753
0,2 0,5793 0,5832 0,5871 0,5910 0,5948 0,5987 0,6026 0,6064 0,6103 0,6141
0,3 0,6179 0,6217 0,6255 0,6293 0,6331 0,6368 0,6406 0,6443 0,6480 0,6517
0,4 0,6554 0,6591 0,6628 0,6664 0,6700 0,6736 0,6772 0,6808 0,6844 0,6879
0,5 0,6915 0,6950 0,6985 0,7019 0,7054 0,7088 0,7123 0,7157 0,7190 0,7224
0,6 0,7257 0,7291 0,7324 0,7357 0,7389 0,7422 0,7454 0,7486 0,7517 0,7549
0,7 0,7580 0,7611 0,7642 0,7673 0,7704 0,7734 0,7764 0,7794 0,7823 0,7852
0,8 0,7881 0,7910 0,7939 0,7967 0,7995 0,8023 0,8051 0,8078 0,8106 0,8133
0,9 0,8159 0,8186 0,8212 0,8238 0,8264 0,8289 0,8315 0,8340 0,8365 0,8389
1,0 0,8413 0,8438 0,8461 0,8485 0,8508 0,8531 0,8554 0,8577 0,8599 0,8621
1,1 0,8643 0,8665 0,8686 0,8708 0,8729 0,8749 0,8770 0,8790 0,8810 0,8830
1,2 0,8849 0,8869 0,8888 0,8907 0,8925 0,8944 0,8962 0,8980 0,8997 0,9015
1,3 0,9032 0,9049 0,9066 0,9082 0,9099 0,9115 0,9131 0,9147 0,9162 0,9177
1,4 0,9192 0,9207 0,9222 0,9236 0,9251 0,9265 0,9279 0,9292 0,9306 0,9319
1,5 0,9332 0,9345 0,9357 0,9370 0,9382 0,9394 0,9406 0,9418 0,9429 0,9441
1,6 0,9452 0,9463 0,9474 0,9484 0,9495 0,9505 0,9515 0,9525 0,9535 0,9545
1,7 0,9554 0,9564 0,9573 0,9582 0,9591 0,9599 0,9608 0,9616 0,9625 0,9633
1,8 0,9641 0,9649 0,9656 0,9664 0,9671 0,9678 0,9686 0,9693 0,9699 0,9706
1,9 0,9713 0,9719 0,9726 0,9732 0,9738 0,9744 0,9750 0,9756 0,9761 0,9767
2,0 0,9772 0,9778 0,9783 0,9788 0,9793 0,9798 0,9803 0,9808 0,9812 0,9817
2,1 0,9821 0,9826 0,9830 0,9834 0,9838 0,9842 0,9846 0,9850 0,9854 0,9857
2,2 0,9861 0,9864 0,9868 0,9871 0,9875 0,9878 0,9881 0,9884 0,9887 0,9890
2,3 0,9893 0,9896 0,9898 0,9901 0,9904 0,9906 0,9909 0,9911 0,9913 0,9916
2,4 0,9918 0,9920 0,9922 0,9925 0,9927 0,9929 0,9931 0,9932 0,9934 0,9936
2,5 0,9938 0,9940 0,9941 0,9943 0,9945 0,9946 0,9948 0,9949 0,9951 0,9952
2,6 0,9953 0,9955 0,9956 0,9957 0,9959 0,9960 0,9961 0,9962 0,9963 0,9964
2,7 0,9965 0,9966 0,9967 0,9968 0,9969 0,9970 0,9971 0,9972 0,9973 0,9974
2,8 0,9974 0,9975 0,9976 0,9977 0,9977 0,9978 0,9979 0,9979 0,9980 0,9981
2,9 0,9981 0,9982 0,9982 0,9983 0,9984 0,9984 0,9985 0,9985 0,9986 0,9986
3,0 0,9987 0,9987 0,9987 0,9988 0,9988 0,9989 0,9989 0,9989 0,9990 0,9990


Jak powyżej wspomnieliśmy, rozkład normalny jest bardzo ważnym rozkładem. Dzieje się tak między innymi dlatego, że wiele zjawisk przyrodniczych, społecznych i innych przebiega zgodnie z tym rozkładem. Ma on również olbrzymie znaczenie teoretyczne. Poniżej przedstawiamy tak zwane centralne twierdzenie graniczne, które częściowo wyjaśnia znaczenie rozkładu normalnego. Twierdzenie to gwarantuje, że (pod pewnymi dość naturalnymi założeniami) suma dużej ilości niezależnych zmiennych losowych ma w przybliżeniu rozkład normalny. Na zakończenie tego punktu wypowiemy jeszcze jedno ważne twierdzenie dotyczące rozkładu normalnego.

Twierdzenie 9.2

Niech \displaystyle X_1 oraz \displaystyle X_2 będą niezależnymi zmiennymi losowymi o rozkładach normalnych, odpowiednio \displaystyle N(m_1,\sigma_1) oraz \displaystyle N(m_2,\sigma_2).

Wtedy:

  1. \displaystyle X_1 + X_2 \sim N(m_1+m_2, \sqrt{\sigma_1^2+ \sigma_2^2}),
  2. \displaystyle aX_1 + b \sim N(am_1 + b, |a|\sigma_1) dla wszystkich \displaystyle a, b \in {\Bbb R}.

Centralne twierdzenie graniczne

Prawa wielkich liczb mówią o zbieżności średnich arytmetycznych, interpretowanych czasem jako średnie czasowe, niezależnych zmiennych losowych. Twierdzenia te mają olbrzymią wartość poznawczą, jednak ich wartość praktyczna jest nieco mniejsza. W szczególności, prawa wielkich liczb nie dają żadnej informacji o rozkładzie sumy zmiennych losowych, podczas gdy w wielu konkretnych zagadnieniach znajomość rozkładu ma podstawowe znaczenie. Właśnie centralne twierdzenie graniczne pozwala rozwiązać ten problem. Jak już wspominaliśmy, wynika z niego, że suma niezależnych zmiennych losowych spełniających zupełnie naturalne warunki ma w przybliżeniu rozkład normalny.

Ze względu na wagę centralnego twierdzenia granicznego wypowiemy je w trzech wersjach. Pierwsza z nich - do niedawna najczęściej używana - ma w dobie komputerów mniejsze znaczenie praktyczne,jednak w dalszym ciągu jest najbardziej popularna.

Założenie.

\displaystyle (\Omega, \Sigma,P) jest przestrzenią probabilistyczną, zaś \displaystyle X_1,\,X_2,\, X_3,\dots - ciągiem niezależnych zmiennych losowych określonych na \displaystyle \Omega. Wszystkie zmienne losowe \displaystyle X_i mają taki sam rozkład, a ich wspólna nadzieja matematyczna \displaystyle m oraz wariancja \displaystyle \sigma^2 istnieją i są skończone, przy czym \displaystyle \sigma > 0 (ten ostatni warunek oznacza, że zmienne losowe nie są stałymi). Jak zawsze oznaczamy:


\displaystyle  S_n = X_1 + \dots +X_n.


Będziemy badać najpierw zbieżność tak zwanych sum standaryzowanych, a dopiero potem wyciągniemy wnioski dotyczące samych sum \displaystyle S_n oraz średnich \displaystyle \displaystyle S_n \over n.

Zmienną losową:


\displaystyle  Z_n   :=   \frac{S_n   -E(S_n)}{\sqrt{D^2(S_n)}}   =    \frac{S_n -nm}{\sigma \sqrt{n}}


nazywamy standaryzacją sumy \displaystyle S_n. Jak łatwo zauważyć:


\displaystyle  E(Z_n) = 0\;\; \textrm{oraz}\;\; D^2(Z_n) = 1.


Twierdzenie 9.3 [Lindeberga-Levy'ego]


Dla każdego \displaystyle x \in  {\Bbb R} zachodzi równość:


\displaystyle  \lim_{n\rightarrow \infty}P(Z_n \le  x)  =  \Phi(x),


gdzie \displaystyle \Phi jest dystrybuantą rozkładu \displaystyle N(0,1).

Dowód

Dowód tego twierdzenia jest długi i skomplikowany, więc nie przytaczamy go tutaj.

image:End_of_proof.gif

Twierdzenie Lindeberga-Levy'ego można wypowiedzieć w wersjach bardziej naturalnych - bez używania standaryzacji \displaystyle Z_n.

Twierdzenie 9.4 [Centralne tw. graniczne dla sum]

Rozkład zmiennej losowej \displaystyle S_n jest asymptotycznie równy rozkładowi \displaystyle N(nm,\sigma\sqrt{n}). Inaczej:


\displaystyle  \lim_{n\rightarrow              \infty}(F_{S_n}(x)              - \Phi_{nm,\sigma\sqrt{n}}(x)) = 0,


dla \displaystyle x \in  {\Bbb R}.

Twierdzenie 9.5 [Centralne tw. graniczne dla średnich]

Rozkład zmiennej losowej \frac{S_n}{n} jest asymptotycznie równy rozkładowi \displaystyle N(m,{\sigma\over \sqrt{n}}). Inaczej:


\displaystyle  \lim_{n\rightarrow         \infty}(F_{\frac{S_n}{n}}(x)         - \Phi_{m,{\sigma\over \sqrt{n}}}(x)) = 0,


dla \displaystyle x \in  {\Bbb R}.

Przykład 9.6.

Zinterpretujemy twierdzenie, mówiące o rozkładzie sumy niezależnych zmiennych losowych. Wyobraźmy sobie eksperyment polegający na wielokrotnym rzucie kostką do gry. Suma uzyskanych oczek \displaystyle S jest zmienną losową mającą, zgodnie z cytowanym twierdzeniem, w przybliżeniu rozkład \displaystyle N(nm, \sigma \sqrt{n}), gdzie \displaystyle m oraz \displaystyle \sigma są odpowiednio nadzieją matematyczną oraz odchyleniem standardowym zmiennej losowej \displaystyle X, reprezentującej wynik pojedynczego rzutu, a \displaystyle n jest liczbą wykonanych prób. Ponieważ \displaystyle X ma rozkład dyskretny, skupiony w punktach \displaystyle 1,2,3,4,5,6 przyjmowanych z jednakowym prawdopodobieństwem \displaystyle \frac{1}{6}, więc bez trudu można stwierdzić, że:


\displaystyle  m =  3.5 \;\;\textrm{oraz}\;\; \sigma  = \frac{\sqrt{105}}{6}  \approx  1.7078251.


Przypuśćmy, że wykonano 1000 rzutów (\displaystyle n = 1000). Wówczas suma \displaystyle S_{1000} ma w przybliżeniu rozkład \displaystyle N(3500,54,00617).

Zweryfikujmy "doświadczalnie" uzyskany wynik. W tym celu można przeprowadzić symulację tysiąca rzutów kostką za pomocą komputera, uzyskując odpowiednią wartość sumy wszystkich uzyskanych oczek. Doświadczenie to powtórzymy 400 razy, uzyskując \displaystyle 400 wartości sumy oczek. Poniżej przytaczamy kod programu Maple, umożliwiający przeprowadzenie takiej symulacji.

 > kostka := rand(1..6):
 > k := 400: n := 1000: lista := NULL:
 > from 1 to k do
 > S := 0:
 > from 1 to n do
 > S := S + kostka():
 > od:
 > lista := lista,S
 > od:

Aby graficznie zinterpretować otrzymane dane, najpierw sporządzamy odpowiedni szereg rozdzielczy (rozważamy 18 klas):

 > dane := stats[transform,tallyinto['skrajne']]([lista],
 > [seq(3320 + (i - 1)*20..3320 + i*20, i = 1..18)]);
         dane := [Weight(3480 .. 3500,55),
         Weight(3560 .. 3580,33), Weight(3660 .. 3680,0),
         Weight(3340 .. 3360,5), Weight(3540 .. 3560,31),
         Weight(3640 .. 3660,4), Weight(3360 .. 3380,2),
         Weight(3520 .. 3540,43), Weight(3420 .. 3440,28),
         Weight(3620 .. 3640,4), Weight(3460 .. 3480,53),
         Weight(3320 .. 3340,0), Weight(3500 .. 3520,66),
         Weight(3600 .. 3620,10), Weight(3380 .. 3400,8),
         Weight(3400 .. 3420,13), Weight(3440 .. 3460,28),
         Weight(3580 .. 3600,17)];

Sprawdzamy, czy są sumy, które nie zostały uwzględnione - sumy te byłyby wpisane na listę o nazwie skrajne:

 > skrajne;
\displaystyle \mathit{skrajne}

Okazało się więc, że w tym przypadku wszystkie sumy zostały uwzględnione.

W celu sporządzenia histogramu, dobieramy wysokości słupków tak, aby pola wszystkich słupków dawały w sumie \displaystyle 1:

 > dane1 := stats[transform,
 > scaleweight[1/nops([lista])]](dane);}{}
         dane1 := [Weight(3480 .. 3500,11/80), Weight(3560 .. 3580,33/400),
         Weight(3660 .. 3680,0), Weight(3340 .. 3360,1/80), Weight(3540 .. 3560,31/400),
         Weight(3640 .. 3660,1/100), Weight(3360 .. 3380,1/200), Weight(3520 .. 3540,43/400),
         Weight(3420 .. 3440,7/100), Weight(3620 .. 3640,1/100), Weight(3460 .. 3480,53/400),
         Weight(3320 .. 3340,0), Weight(3500 .. 3520,33/200), Weight(3600 .. 3620,1/40),
         Weight(3380 .. 3400,1/50), Weight(3400 .. 3420,13/400), Weight(3440 .. 3460,7/100),
         Weight(3580 .. 3600,17/400)];

Teraz rysujemy histogram:

 > stats[statplots,histogram](dane1);



oraz zachowujemy powyższy wykres:
 > g1 := %:

Dla wygody obliczamy jeszcze raz nadzieję i wariancję dla pojedynczej kostki:

> ek := add(i,i=1..6)/6: vk := add(i^2,i=1..6)/6 - ek^2:

a następnie obliczamy nadzieję i wariancję sumy:

> es := n*ek;  vs := n*vk;


\displaystyle \mathit{es} := 3500


\displaystyle  \mathit{vs} := {\displaystyle \frac {8750}{3}}


Przygotowujemy wykres gęstości rozkładu teoretycznego (lecz go jeszcze nie wyświetlamy):

 > g2 := plot(f(es,sqrt(vs)),3320..3680, color=black):

Obliczamy średnią i odchylenie standardowe dla szeregu rozdzielczego:

 > ee := evalf(stats[describe,mean]([lista]));


\displaystyle \mathit{ee} := 3501.587500


 > ve := evalf(stats[describe,standarddeviation]([lista]));


\displaystyle \mathit{ve} := 57.07764311


Teraz przygotowujemy wykres gęstości rozkładu normalnego o parametrach obliczonych z szeregu rozdzielczego:

 > g3 := plot(f(ee,ve),3320..3680, color=black,thickness=2):

aby następnie wyświetlić, na jednym rysunku, histogram i dwie poprzednio otrzymane gęstości:

 > plots[display](g1,g2,g3);




Ponieważ bardzo często zmiennymi losowymi są niezależne próby Bernoulliego, więc sformułujemy centralne twierdzenie graniczne specjalnie dla tego przypadku. Jest to natychmiastowy wniosek z twierdzenia Lindeberga-Levy'ego (twierdzenie 9.3).

Twierdzenie 9.7 [de Moivre'a-Laplace'a]

Niech \displaystyle X_1, \,X_2,   \,   X_3,\dots będzie ciągiem niezależnych prób Bernoulliego, z takim samym prawdopodobieństwem sukcesu \displaystyle p i porażki \displaystyle q = 1 - p w każdej próbie (\displaystyle 0<p<1). Wtedy:


\displaystyle  P\left(\frac{S_n - np}{\sqrt{npq}} \le  x\right)  \longrightarrow \Phi(x),


dla każdego \displaystyle x \in {\Bbb R}.

Oczywiście, twierdzenie 9.4 i twierdzenie 9.5 można także z łatwością przeformułować dla przypadku niezależnych prób Bernoulliego.

Uwaga 9.8

Wyraźnie zaznaczamy, że centralne twierdzenie graniczne jest prawdziwe przy dużo ogólniejszych założeniach. W szczególności zmienne losowe nie muszą mieć takiego samego rozkładu, a nawet nie muszą być niezależne. Jednakże, różnym wersjom centralnego twierdzenia granicznego przyświeca ta sama idea:

suma niewiele zależnych od siebie składników losowych, z których żaden nie dominuje istotnie nad pozostałymi, ma w przybliżeniu rozkład normalny.