Rachunek prawdopodobieństwa i statystyka/Wykład 9: Rozkład normalny i centralne twierdzenie graniczne

Rozkład normalny i centralne twierdzenie graniczne

Centralną rolę w rachunku prawdopodobieństwa i statystyce pełni tak zwany rozkład normalny. Związane jest z nim słynne twierdzenie nazywane centralnym twierdzeniem granicznym. Na jego podstawie można w wielu sytuacjach zakładać, że zmienna losowa, którą jesteśmy właśnie zainteresowani, ma rozkład normalny.

Rozkład normalny

Carl Friedrich Gauss (1777-1855)
Zobacz biografię

Chyba najważniejszym ze znanych rozkładów jest tak zwany rozkład normalny, określany niekiedy jako rozkład Gaussa.

Rozkład $P$ nazywamy rozkładem normalnym, jeżeli istnieją takie liczby rzeczywiste $m$ oraz $\sigma >0$, że funkcja $f:\mathbb{ℝ}⟶\mathbb{ℝ}$, określona wzorem:

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-m}{\sigma }{)}^2}\text{ dla }x\in \mathbb{ℝ},$

jest gęstością tego rozkładu.

Stosowana w tym przypadku notacja jest następująca: $N(m,\sigma )$ oznacza rozkład normalny o parametrach $m$ oraz $\sigma$ - jego dystrybuantę oznaczamy przez ${\mathrm{\Phi }}_{m,\sigma }$. Wykres gęstości rozkładu normalnego nosi nazwę krzywej Gaussa.

Poniższy wykres przedstawia gęstości rozkładów $N(20,1)$, $N(20,2)$ i $N(20,3)$, przy czym mniejszym wartościom $\sigma$ odpowiada bardziej stromy wykres.

<flash>file=Rp.1.91.swf|width=350|height=350</flash>

Znaczenie parametru $\sigma$ ilustruje też następująca animacja (tutaj $m=20$):

<flashwrap>file=Rp91.swf|size=small</flashwrap>

Kolejny wykres przedstawia gęstości rozkładów $N(15,3)$, $N(20,3)$ i $N(25,3)$.

<flash>file=Rp.1.92.swf|width=350|height=350</flash>

Aby jeszcze lepiej uzmysłowić sobie znaczenie parametru $m$, proponujemy uruchomić następującą animację ($\sigma =2$):

<flashwrap>file=Rp92.swf|size=small</flashwrap>

Dystrybuantę ${\mathrm{\Phi }}_{0,1}$ oznaczamy krótko przez $\mathrm{\Phi }$. Wyraża się więc ona następującym wzorem:

$\mathrm{\Phi }(x)=\frac{1}{\sqrt{2\pi }}\underset{-\mathrm{\infty }}{\overset{x}{\int }}{e}^{-\frac{1}{2}{t}^2}dt.$      (9.1)

Poniższy wykres przedstawia gęstość rozkładu $N(0,1)$, który nazywamy standardowym rozkładem normalnym. Zauważmy, że zakreskowany obszar posiada pole równe $\mathrm{\Phi }(1)$.

<flash>file=Rp.1.93.swf|width=350|height=350</flash>

Wartości dystrybuanty $\mathrm{\Phi }$ zostały stablicowane oraz są dostępne w wielu komputerowych programach matematycznych lub statystycznych. Oczywiście, pakiety statystyczne programu Maple zawierają odpowiednie procedury (jakie?).

Zwróćmy uwagę na dwie własności funkcji $\mathrm{\Phi }$,posiadające (przede wszystkim) rachunkowe znaczenie. Wynikają one bezpośrednio ze wzoru na 9.1 ${\mathrm{\Phi }}_{0,1}$ i mają oczywistą interpretację geometryczną (ćwiczenie). Mianowicie:

$\mathrm{\Phi }(0)=\frac{1}{2}\text{ oraz }\mathrm{\Phi }(x)=1-\mathrm{\Phi }(-x)\text{ dla każdego }x\in \mathbb{ℝ}$

oraz

${\mathrm{\Phi }}^{-1}(\alpha )=-{\mathrm{\Phi }}^{-1}(1-\alpha )\text{ dla każdego }\alpha \in [0,1].$

Użyteczność powyższych wzorów można zaobserwować zwłaszcza wtedy, gdy nie dysponujemy odpowiednim pakietem komputerowym czy kalkulatorem, ale są one także ważne przy pewnych przekształceniach. Podobnie następna równość, którą można otrzymać stosując prostą zmianę zmiennych (patrz wykład z Analizy matematycznej), pozwala za pomocą $\mathrm{\Phi }$ obliczać dystrybuanty ${\mathrm{\Phi }}_{m,\sigma }$ dla pozostałych parametrów $m$ i $\sigma$. Mianowicie:

${\mathrm{\Phi }}_{m,\sigma }(x)=\mathrm{\Phi }\left(\frac{x-m}{\sigma }\right).$      (9.2)

Parametry $m$ i $\sigma$ mają bardzo wyraźną interpretację probabilistyczną. Okazuje się bowiem, iż nadzieja matematyczna oraz wariancja w rozkładzie $N(m,\sigma )$ wyrażają się wzorami:

Parser nie mógł rozpoznać (błąd składni): {\displaystyle \displaystyle {\Bbb E}(X) = m, \hspace{2cm} {\Bbb D}^2 (X) = \sigma^2. }

Zauważmy też, że $m$ jest punktem, w którym gęstość rozkładu $N(m,\sigma )$ osiąga wartość największą, prosta $x=m$ jest osią symetrii jej wykresu, zaś punkty $m-\sigma$ i $m+\sigma$ - punktami przegięcia (patrz wykład z Analizy matematycznej).

Przykład 9.1

$r_k=P(m-k\sigma ,m+k\sigma )\text{ dla }k=1,2,3,$

gdzie $P$ jest rozkładem $N(m,\sigma )$. Otrzymujemy:

$r_k={\mathrm{\Phi }}_{m,\sigma }(m+k\sigma )-{\mathrm{\Phi }}_{m,\sigma }(m-k\sigma )=\mathrm{\Phi }(k)-\mathrm{\Phi }(-k)=2\mathrm{\Phi }(k)-1.$

Korzystając z tablic lub z komputera, bez trudu dostajemy:

$r1\approx 0.682689492,r2\approx 0.954499736,r3\approx 0.997300204.$

Tak więc szansa znajdowania się poza przedziałem $(m-3\sigma ,m+3\sigma )$ wynosi istotnie mniej niż $1\mathrm{\%}$. Im mniejszy jest parametr $\sigma$, tym bardziej rozkład $N(m,\sigma )$ jest "skupiony w okolicy" punktu $x=m$.

Dystrybuanta $\mathrm{\Phi }$ rozkładu normalnego $N(0,1)$ (w tablicy podano wartości $\mathrm{\Phi }(x)$ dla $x\in [0,3.09]$).

$x$	0,00	0,01	0,02	0,03	0,04	0,05	0,06	0,07	0,08	0,09
0,0	0,5000	0,5040	0,5080	0,5120	0,5160	0,5199	0,5239	0,5279	0,5319	0,5359
0,1	0,5398	0,5438	0,5478	0,5517	0,5557	0,5596	0,5636	0,5675	0,5714	0,5753
0,2	0,5793	0,5832	0,5871	0,5910	0,5948	0,5987	0,6026	0,6064	0,6103	0,6141
0,3	0,6179	0,6217	0,6255	0,6293	0,6331	0,6368	0,6406	0,6443	0,6480	0,6517
0,4	0,6554	0,6591	0,6628	0,6664	0,6700	0,6736	0,6772	0,6808	0,6844	0,6879
0,5	0,6915	0,6950	0,6985	0,7019	0,7054	0,7088	0,7123	0,7157	0,7190	0,7224
0,6	0,7257	0,7291	0,7324	0,7357	0,7389	0,7422	0,7454	0,7486	0,7517	0,7549
0,7	0,7580	0,7611	0,7642	0,7673	0,7704	0,7734	0,7764	0,7794	0,7823	0,7852
0,8	0,7881	0,7910	0,7939	0,7967	0,7995	0,8023	0,8051	0,8078	0,8106	0,8133
0,9	0,8159	0,8186	0,8212	0,8238	0,8264	0,8289	0,8315	0,8340	0,8365	0,8389
1,0	0,8413	0,8438	0,8461	0,8485	0,8508	0,8531	0,8554	0,8577	0,8599	0,8621
1,1	0,8643	0,8665	0,8686	0,8708	0,8729	0,8749	0,8770	0,8790	0,8810	0,8830
1,2	0,8849	0,8869	0,8888	0,8907	0,8925	0,8944	0,8962	0,8980	0,8997	0,9015
1,3	0,9032	0,9049	0,9066	0,9082	0,9099	0,9115	0,9131	0,9147	0,9162	0,9177
1,4	0,9192	0,9207	0,9222	0,9236	0,9251	0,9265	0,9279	0,9292	0,9306	0,9319
1,5	0,9332	0,9345	0,9357	0,9370	0,9382	0,9394	0,9406	0,9418	0,9429	0,9441
1,6	0,9452	0,9463	0,9474	0,9484	0,9495	0,9505	0,9515	0,9525	0,9535	0,9545
1,7	0,9554	0,9564	0,9573	0,9582	0,9591	0,9599	0,9608	0,9616	0,9625	0,9633
1,8	0,9641	0,9649	0,9656	0,9664	0,9671	0,9678	0,9686	0,9693	0,9699	0,9706
1,9	0,9713	0,9719	0,9726	0,9732	0,9738	0,9744	0,9750	0,9756	0,9761	0,9767
2,0	0,9772	0,9778	0,9783	0,9788	0,9793	0,9798	0,9803	0,9808	0,9812	0,9817
2,1	0,9821	0,9826	0,9830	0,9834	0,9838	0,9842	0,9846	0,9850	0,9854	0,9857
2,2	0,9861	0,9864	0,9868	0,9871	0,9875	0,9878	0,9881	0,9884	0,9887	0,9890
2,3	0,9893	0,9896	0,9898	0,9901	0,9904	0,9906	0,9909	0,9911	0,9913	0,9916
2,4	0,9918	0,9920	0,9922	0,9925	0,9927	0,9929	0,9931	0,9932	0,9934	0,9936
2,5	0,9938	0,9940	0,9941	0,9943	0,9945	0,9946	0,9948	0,9949	0,9951	0,9952
2,6	0,9953	0,9955	0,9956	0,9957	0,9959	0,9960	0,9961	0,9962	0,9963	0,9964
2,7	0,9965	0,9966	0,9967	0,9968	0,9969	0,9970	0,9971	0,9972	0,9973	0,9974
2,8	0,9974	0,9975	0,9976	0,9977	0,9977	0,9978	0,9979	0,9979	0,9980	0,9981
2,9	0,9981	0,9982	0,9982	0,9983	0,9984	0,9984	0,9985	0,9985	0,9986	0,9986
3,0	0,9987	0,9987	0,9987	0,9988	0,9988	0,9989	0,9989	0,9989	0,9990	0,9990

Jak powyżej wspomnieliśmy, rozkład normalny jest bardzo ważnym rozkładem. Dzieje się tak między innymi dlatego, że wiele zjawisk przyrodniczych, społecznych i innych przebiega zgodnie z tym rozkładem. Ma on również olbrzymie znaczenie teoretyczne. Poniżej przedstawiamy tak zwane centralne twierdzenie graniczne, które częściowo wyjaśnia znaczenie rozkładu normalnego. Twierdzenie to gwarantuje, że (pod pewnymi dość naturalnymi założeniami) suma dużej ilości niezależnych zmiennych losowych ma w przybliżeniu rozkład normalny. Na zakończenie tego punktu wypowiemy jeszcze jedno ważne twierdzenie dotyczące rozkładu normalnego.

Twierdzenie 9.2

Niech $X_1$ oraz $X_2$ będą niezależnymi zmiennymi losowymi o rozkładach normalnych, odpowiednio $N(m_1,{\sigma }_1)$ oraz $N(m_2,{\sigma }_2)$.

Wtedy:

1. $X_1+X_2\sim N(m_1+m_2,\sqrt{{\sigma }_1^2+{\sigma }_2^2}),$
2. $a{X}_1+b\sim N(a{m}_1+b,|a|{\sigma }_1)$ dla wszystkich $a,b\in \mathbb{ℝ}.$

Centralne twierdzenie graniczne

Prawa wielkich liczb mówią o zbieżności średnich arytmetycznych, interpretowanych czasem jako średnie czasowe, niezależnych zmiennych losowych. Twierdzenia te mają olbrzymią wartość poznawczą, jednak ich wartość praktyczna jest nieco mniejsza. W szczególności, prawa wielkich liczb nie dają żadnej informacji o rozkładzie sumy zmiennych losowych, podczas gdy w wielu konkretnych zagadnieniach znajomość rozkładu ma podstawowe znaczenie. Właśnie centralne twierdzenie graniczne pozwala rozwiązać ten problem. Jak już wspominaliśmy, wynika z niego, że suma niezależnych zmiennych losowych spełniających zupełnie naturalne warunki ma w przybliżeniu rozkład normalny.

Ze względu na wagę centralnego twierdzenia granicznego wypowiemy je w trzech wersjach. Pierwsza z nich - do niedawna najczęściej używana - ma w dobie komputerów mniejsze znaczenie praktyczne,jednak w dalszym ciągu jest najbardziej popularna.

Założenie.

$(\mathrm{\Omega },\mathrm{\Sigma },P)$ jest przestrzenią probabilistyczną, zaś $X_1,X_2,X_3,\dots$ - ciągiem niezależnych zmiennych losowych określonych na $\mathrm{\Omega }$. Wszystkie zmienne losowe $X_i$ mają taki sam rozkład, a ich wspólna nadzieja matematyczna $m$ oraz wariancja ${\sigma }^2$ istnieją i są skończone, przy czym $\sigma >0$ (ten ostatni warunek oznacza, że zmienne losowe nie są stałymi). Jak zawsze oznaczamy:

$S_n=X_1+\dots +X_n.$

Będziemy badać najpierw zbieżność tak zwanych sum standaryzowanych, a dopiero potem wyciągniemy wnioski dotyczące samych sum $S_n$ oraz średnich $\frac{S_n}{n}$.

Zmienną losową:

$Z_n:=\frac{S_n-E(S_n)}{\sqrt{D^2(S_n)}}=\frac{S_n-nm}{\sigma \sqrt{n}}$

nazywamy standaryzacją sumy $S_n$. Jak łatwo zauważyć:

$E(Z_n)=0\text{oraz}{D}^2(Z_n)=1.$

Twierdzenie 9.3 [Lindeberga-Levy'ego]

Dla każdego $x\in \mathbb{ℝ}$ zachodzi równość:

$\underset{n\to \mathrm{\infty }}{\lim }P(Z_n\le x)=\mathrm{\Phi }(x),$

gdzie $\mathrm{\Phi }$ jest dystrybuantą rozkładu $N(0,1)$.

Dowód

Dowód tego twierdzenia jest długi i skomplikowany, więc nie przytaczamy go tutaj.

Twierdzenie Lindeberga-Levy'ego można wypowiedzieć w wersjach bardziej naturalnych - bez używania standaryzacji $Z_n$.

Twierdzenie 9.4 [Centralne tw. graniczne dla sum]

Rozkład zmiennej losowej $S_n$ jest asymptotycznie równy rozkładowi $N(nm,\sigma \sqrt{n})$. Inaczej:

$\underset{n\to \mathrm{\infty }}{\lim }(F_{S_n}(x)-{\mathrm{\Phi }}_{nm,\sigma \sqrt{n}}(x))=0,$

dla $x\in \mathbb{ℝ}.$

Twierdzenie 9.5 [Centralne tw. graniczne dla średnich]

Rozkład zmiennej losowej $\frac{S_n}{n}$ jest asymptotycznie równy rozkładowi $N(m,\frac{\sigma }{\sqrt{n}})$. Inaczej:

$\underset{n\to \mathrm{\infty }}{\lim }(F_{\frac{S_n}{n}}(x)-{\mathrm{\Phi }}_{m,\frac{\sigma }{\sqrt{n}}}(x))=0,$

dla $x\in \mathbb{ℝ}.$

Przykład 9.6.

Zinterpretujemy twierdzenie, mówiące o rozkładzie sumy niezależnych zmiennych losowych. Wyobraźmy sobie eksperyment polegający na wielokrotnym rzucie kostką do gry. Suma uzyskanych oczek $S$ jest zmienną losową mającą, zgodnie z cytowanym twierdzeniem, w przybliżeniu rozkład $N(nm,\sigma \sqrt{n})$, gdzie $m$ oraz $\sigma$ są odpowiednio nadzieją matematyczną oraz odchyleniem standardowym zmiennej losowej $X$, reprezentującej wynik pojedynczego rzutu, a $n$ jest liczbą wykonanych prób. Ponieważ $X$ ma rozkład dyskretny, skupiony w punktach $1,2,3,4,5,6$ przyjmowanych z jednakowym prawdopodobieństwem $\frac{1}{6}$, więc bez trudu można stwierdzić, że:

$m=3.5\text{oraz}\sigma =\frac{\sqrt{105}}{6}\approx 1.7078251.$

Przypuśćmy, że wykonano 1000 rzutów ($n=1000$). Wówczas suma $S_{1000}$ ma w przybliżeniu rozkład $N(3500,54,00617)$.

Zweryfikujmy "doświadczalnie" uzyskany wynik. W tym celu można przeprowadzić symulację tysiąca rzutów kostką za pomocą komputera, uzyskując odpowiednią wartość sumy wszystkich uzyskanych oczek. Doświadczenie to powtórzymy 400 razy, uzyskując $400$ wartości sumy oczek. Poniżej przytaczamy kod programu Maple, umożliwiający przeprowadzenie takiej symulacji.

 > kostka := rand(1..6):
 > k := 400: n := 1000: lista := NULL:
 > from 1 to k do
 > S := 0:
 > from 1 to n do
 > S := S + kostka():
 > od:
 > lista := lista,S
 > od:

Aby graficznie zinterpretować otrzymane dane, najpierw sporządzamy odpowiedni szereg rozdzielczy (rozważamy 18 klas):

 > dane := stats[transform,tallyinto['skrajne']]([lista],
 > [seq(3320 + (i - 1)*20..3320 + i*20, i = 1..18)]);

         dane := [Weight(3480 .. 3500,55),
         Weight(3560 .. 3580,33), Weight(3660 .. 3680,0),
         Weight(3340 .. 3360,5), Weight(3540 .. 3560,31),
         Weight(3640 .. 3660,4), Weight(3360 .. 3380,2),
         Weight(3520 .. 3540,43), Weight(3420 .. 3440,28),
         Weight(3620 .. 3640,4), Weight(3460 .. 3480,53),
         Weight(3320 .. 3340,0), Weight(3500 .. 3520,66),
         Weight(3600 .. 3620,10), Weight(3380 .. 3400,8),
         Weight(3400 .. 3420,13), Weight(3440 .. 3460,28),
         Weight(3580 .. 3600,17)];

Sprawdzamy, czy są sumy, które nie zostały uwzględnione - sumy te byłyby wpisane na listę o nazwie skrajne:

 > skrajne;

${s}{k}{r}{a}{j}{n}{e}$

Okazało się więc, że w tym przypadku wszystkie sumy zostały uwzględnione.

W celu sporządzenia histogramu, dobieramy wysokości słupków tak, aby pola wszystkich słupków dawały w sumie $1$:

 > dane1 := stats[transform,
 > scaleweight[1/nops([lista])]](dane);}{}

         dane1 := [Weight(3480 .. 3500,11/80), Weight(3560 .. 3580,33/400),
         Weight(3660 .. 3680,0), Weight(3340 .. 3360,1/80), Weight(3540 .. 3560,31/400),
         Weight(3640 .. 3660,1/100), Weight(3360 .. 3380,1/200), Weight(3520 .. 3540,43/400),
         Weight(3420 .. 3440,7/100), Weight(3620 .. 3640,1/100), Weight(3460 .. 3480,53/400),
         Weight(3320 .. 3340,0), Weight(3500 .. 3520,33/200), Weight(3600 .. 3620,1/40),
         Weight(3380 .. 3400,1/50), Weight(3400 .. 3420,13/400), Weight(3440 .. 3460,7/100),
         Weight(3580 .. 3600,17/400)];

Teraz rysujemy histogram:

 > stats[statplots,histogram](dane1);

<flash>file=Rp.1.94.swf|width=350|height=350</flash>

oraz zachowujemy powyższy wykres:

 > g1 := %:

Dla wygody obliczamy jeszcze raz nadzieję i wariancję dla pojedynczej kostki:

> ek := add(i,i=1..6)/6: vk := add(i^2,i=1..6)/6 - ek^2:

a następnie obliczamy nadzieję i wariancję sumy:

> es := n*ek;  vs := n*vk;

${e}{s}:=3500$

${v}{s}:=\frac{8750}{3}$

Przygotowujemy wykres gęstości rozkładu teoretycznego (lecz go jeszcze nie wyświetlamy):

 > g2 := plot(f(es,sqrt(vs)),3320..3680, color=black):

Obliczamy średnią i odchylenie standardowe dla szeregu rozdzielczego:

 > ee := evalf(stats[describe,mean]([lista]));

${e}{e}:=3501.587500$

 > ve := evalf(stats[describe,standarddeviation]([lista]));

${v}{e}:=57.07764311$

Teraz przygotowujemy wykres gęstości rozkładu normalnego o parametrach obliczonych z szeregu rozdzielczego:

 > g3 := plot(f(ee,ve),3320..3680, color=black,thickness=2):

aby następnie wyświetlić, na jednym rysunku, histogram i dwie poprzednio otrzymane gęstości:

 > plots[display](g1,g2,g3);

<flash>file=Rp.1.95.swf|width=350|height=350</flash>

Ponieważ bardzo często zmiennymi losowymi są niezależne próby Bernoulliego, więc sformułujemy centralne twierdzenie graniczne specjalnie dla tego przypadku. Jest to natychmiastowy wniosek z twierdzenia Lindeberga-Levy'ego (twierdzenie 9.3).

Twierdzenie 9.7 [de Moivre'a-Laplace'a]

Niech $X_1,X_2,X_3,\dots$ będzie ciągiem niezależnych prób Bernoulliego, z takim samym prawdopodobieństwem sukcesu $p$ i porażki $q=1-p$ w każdej próbie ($0<p<1$). Wtedy:

$P(\frac{S_n-np}{\sqrt{npq}}\le x)⟶\mathrm{\Phi }(x),$

dla każdego $x\in \mathbb{ℝ}$.

Oczywiście, twierdzenie 9.4 i twierdzenie 9.5 można także z łatwością przeformułować dla przypadku niezależnych prób Bernoulliego.

Uwaga 9.8

Wyraźnie zaznaczamy, że centralne twierdzenie graniczne jest prawdziwe przy dużo ogólniejszych założeniach. W szczególności zmienne losowe nie muszą mieć takiego samego rozkładu, a nawet nie muszą być niezależne. Jednakże, różnym wersjom centralnego twierdzenia granicznego przyświeca ta sama idea:

suma niewiele zależnych od siebie składników losowych, z których żaden nie dominuje istotnie nad pozostałymi, ma w przybliżeniu rozkład normalny.

<references/>