Rachunek prawdopodobieństwa i statystyka/Wykład 9: Rozkład normalny i centralne twierdzenie graniczne
Rozkład normalny i centralne twierdzenie graniczne
Centralną rolę w rachunku prawdopodobieństwa i statystyce pełni tak zwany rozkład normalny. Związane jest z nim słynne twierdzenie nazywane centralnym twierdzeniem granicznym. Na jego podstawie można w wielu sytuacjach zakładać, że zmienna losowa, którą jesteśmy właśnie zainteresowani, ma rozkład normalny.
Rozkład normalny
Chyba najważniejszym ze znanych rozkładów jest tak zwany rozkład normalny, określany niekiedy jako rozkład Gaussa.
Rozkład nazywamy rozkładem normalnym, jeżeli istnieją takie liczby rzeczywiste oraz , że funkcja , określona wzorem:
jest gęstością tego rozkładu.
Stosowana w tym przypadku notacja jest następująca: oznacza rozkład normalny o parametrach oraz - jego dystrybuantę oznaczamy przez . Wykres gęstości rozkładu normalnego nosi nazwę krzywej Gaussa.
Poniższy wykres przedstawia gęstości rozkładów , i , przy czym mniejszym wartościom odpowiada bardziej stromy wykres.
<flash>file=Rp.1.91.swf|width=350|height=350</flash>
Znaczenie parametru ilustruje też następująca animacja (tutaj ):
Kolejny wykres przedstawia gęstości rozkładów
, i .
<flash>file=Rp.1.92.swf|width=350|height=350</flash>
Aby jeszcze lepiej uzmysłowić sobie znaczenie parametru , proponujemy uruchomić następującą animację ():
Dystrybuantę oznaczamy krótko przez . Wyraża się więc ona następującym wzorem:
(9.1)
Poniższy wykres przedstawia gęstość rozkładu
, który nazywamy standardowym rozkładem normalnym. Zauważmy, że zakreskowany obszar posiada pole równe .
<flash>file=Rp.1.93.swf|width=350|height=350</flash>
Wartości dystrybuanty zostały stablicowane
oraz są dostępne w wielu komputerowych
programach matematycznych lub statystycznych.
Oczywiście, pakiety statystyczne programu Maple zawierają odpowiednie procedury (jakie?).
Zwróćmy uwagę na dwie własności funkcji ,posiadające (przede wszystkim) rachunkowe znaczenie. Wynikają one bezpośrednio ze wzoru na 9.1 i mają oczywistą interpretację geometryczną (ćwiczenie). Mianowicie:
oraz
Użyteczność powyższych wzorów można zaobserwować zwłaszcza wtedy, gdy nie
dysponujemy odpowiednim pakietem komputerowym czy
kalkulatorem, ale są one także ważne przy pewnych
przekształceniach. Podobnie następna równość, którą
można otrzymać stosując prostą zmianę zmiennych (patrz wykład z Analizy matematycznej), pozwala za
pomocą obliczać dystrybuanty
dla pozostałych parametrów i . Mianowicie:
(9.2)
Parametry i mają bardzo wyraźną interpretację
probabilistyczną. Okazuje się bowiem, iż nadzieja
matematyczna oraz wariancja w rozkładzie
wyrażają się wzorami:
Zauważmy też, że jest punktem, w którym gęstość
rozkładu osiąga wartość
największą, prosta jest osią symetrii jej wykresu,
zaś punkty i - punktami
przegięcia (patrz wykład z Analizy matematycznej).
Przykład 9.1
gdzie jest rozkładem .
Otrzymujemy:
Korzystając z tablic lub z komputera, bez trudu dostajemy:
Tak więc szansa znajdowania się poza przedziałem wynosi istotnie mniej niż . Im mniejszy
jest parametr , tym bardziej rozkład
jest "skupiony w okolicy" punktu .
Dystrybuanta rozkładu normalnego (w tablicy podano wartości dla ).
0,00 | 0,01 | 0,02 | 0,03 | 0,04 | 0,05 | 0,06 | 0,07 | 0,08 | 0,09 | |
0,0 | 0,5000 | 0,5040 | 0,5080 | 0,5120 | 0,5160 | 0,5199 | 0,5239 | 0,5279 | 0,5319 | 0,5359 |
0,1 | 0,5398 | 0,5438 | 0,5478 | 0,5517 | 0,5557 | 0,5596 | 0,5636 | 0,5675 | 0,5714 | 0,5753 |
0,2 | 0,5793 | 0,5832 | 0,5871 | 0,5910 | 0,5948 | 0,5987 | 0,6026 | 0,6064 | 0,6103 | 0,6141 |
0,3 | 0,6179 | 0,6217 | 0,6255 | 0,6293 | 0,6331 | 0,6368 | 0,6406 | 0,6443 | 0,6480 | 0,6517 |
0,4 | 0,6554 | 0,6591 | 0,6628 | 0,6664 | 0,6700 | 0,6736 | 0,6772 | 0,6808 | 0,6844 | 0,6879 |
0,5 | 0,6915 | 0,6950 | 0,6985 | 0,7019 | 0,7054 | 0,7088 | 0,7123 | 0,7157 | 0,7190 | 0,7224 |
0,6 | 0,7257 | 0,7291 | 0,7324 | 0,7357 | 0,7389 | 0,7422 | 0,7454 | 0,7486 | 0,7517 | 0,7549 |
0,7 | 0,7580 | 0,7611 | 0,7642 | 0,7673 | 0,7704 | 0,7734 | 0,7764 | 0,7794 | 0,7823 | 0,7852 |
0,8 | 0,7881 | 0,7910 | 0,7939 | 0,7967 | 0,7995 | 0,8023 | 0,8051 | 0,8078 | 0,8106 | 0,8133 |
0,9 | 0,8159 | 0,8186 | 0,8212 | 0,8238 | 0,8264 | 0,8289 | 0,8315 | 0,8340 | 0,8365 | 0,8389 |
1,0 | 0,8413 | 0,8438 | 0,8461 | 0,8485 | 0,8508 | 0,8531 | 0,8554 | 0,8577 | 0,8599 | 0,8621 |
1,1 | 0,8643 | 0,8665 | 0,8686 | 0,8708 | 0,8729 | 0,8749 | 0,8770 | 0,8790 | 0,8810 | 0,8830 |
1,2 | 0,8849 | 0,8869 | 0,8888 | 0,8907 | 0,8925 | 0,8944 | 0,8962 | 0,8980 | 0,8997 | 0,9015 |
1,3 | 0,9032 | 0,9049 | 0,9066 | 0,9082 | 0,9099 | 0,9115 | 0,9131 | 0,9147 | 0,9162 | 0,9177 |
1,4 | 0,9192 | 0,9207 | 0,9222 | 0,9236 | 0,9251 | 0,9265 | 0,9279 | 0,9292 | 0,9306 | 0,9319 |
1,5 | 0,9332 | 0,9345 | 0,9357 | 0,9370 | 0,9382 | 0,9394 | 0,9406 | 0,9418 | 0,9429 | 0,9441 |
1,6 | 0,9452 | 0,9463 | 0,9474 | 0,9484 | 0,9495 | 0,9505 | 0,9515 | 0,9525 | 0,9535 | 0,9545 |
1,7 | 0,9554 | 0,9564 | 0,9573 | 0,9582 | 0,9591 | 0,9599 | 0,9608 | 0,9616 | 0,9625 | 0,9633 |
1,8 | 0,9641 | 0,9649 | 0,9656 | 0,9664 | 0,9671 | 0,9678 | 0,9686 | 0,9693 | 0,9699 | 0,9706 |
1,9 | 0,9713 | 0,9719 | 0,9726 | 0,9732 | 0,9738 | 0,9744 | 0,9750 | 0,9756 | 0,9761 | 0,9767 |
2,0 | 0,9772 | 0,9778 | 0,9783 | 0,9788 | 0,9793 | 0,9798 | 0,9803 | 0,9808 | 0,9812 | 0,9817 |
2,1 | 0,9821 | 0,9826 | 0,9830 | 0,9834 | 0,9838 | 0,9842 | 0,9846 | 0,9850 | 0,9854 | 0,9857 |
2,2 | 0,9861 | 0,9864 | 0,9868 | 0,9871 | 0,9875 | 0,9878 | 0,9881 | 0,9884 | 0,9887 | 0,9890 |
2,3 | 0,9893 | 0,9896 | 0,9898 | 0,9901 | 0,9904 | 0,9906 | 0,9909 | 0,9911 | 0,9913 | 0,9916 |
2,4 | 0,9918 | 0,9920 | 0,9922 | 0,9925 | 0,9927 | 0,9929 | 0,9931 | 0,9932 | 0,9934 | 0,9936 |
2,5 | 0,9938 | 0,9940 | 0,9941 | 0,9943 | 0,9945 | 0,9946 | 0,9948 | 0,9949 | 0,9951 | 0,9952 |
2,6 | 0,9953 | 0,9955 | 0,9956 | 0,9957 | 0,9959 | 0,9960 | 0,9961 | 0,9962 | 0,9963 | 0,9964 |
2,7 | 0,9965 | 0,9966 | 0,9967 | 0,9968 | 0,9969 | 0,9970 | 0,9971 | 0,9972 | 0,9973 | 0,9974 |
2,8 | 0,9974 | 0,9975 | 0,9976 | 0,9977 | 0,9977 | 0,9978 | 0,9979 | 0,9979 | 0,9980 | 0,9981 |
2,9 | 0,9981 | 0,9982 | 0,9982 | 0,9983 | 0,9984 | 0,9984 | 0,9985 | 0,9985 | 0,9986 | 0,9986 |
3,0 | 0,9987 | 0,9987 | 0,9987 | 0,9988 | 0,9988 | 0,9989 | 0,9989 | 0,9989 | 0,9990 | 0,9990 |
Jak powyżej wspomnieliśmy, rozkład normalny
jest bardzo ważnym rozkładem. Dzieje się tak między
innymi dlatego, że wiele zjawisk przyrodniczych,
społecznych i innych przebiega zgodnie z tym
rozkładem. Ma on również olbrzymie znaczenie
teoretyczne. Poniżej przedstawiamy tak zwane
centralne twierdzenie graniczne, które częściowo
wyjaśnia znaczenie rozkładu normalnego. Twierdzenie to
gwarantuje, że (pod pewnymi dość naturalnymi
założeniami) suma dużej ilości niezależnych
zmiennych losowych ma w przybliżeniu rozkład
normalny. Na zakończenie tego punktu wypowiemy jeszcze jedno ważne twierdzenie dotyczące rozkładu normalnego.
Twierdzenie 9.2
Niech oraz będą niezależnymi zmiennymi losowymi o rozkładach normalnych, odpowiednio oraz .
Wtedy:
- dla wszystkich
Centralne twierdzenie graniczne
Prawa wielkich liczb mówią o zbieżności średnich arytmetycznych, interpretowanych czasem jako średnie czasowe, niezależnych zmiennych losowych. Twierdzenia te mają olbrzymią wartość poznawczą, jednak ich wartość praktyczna jest nieco mniejsza. W szczególności, prawa wielkich liczb nie dają żadnej informacji o rozkładzie sumy zmiennych losowych, podczas gdy w wielu konkretnych zagadnieniach znajomość rozkładu ma podstawowe znaczenie. Właśnie centralne twierdzenie graniczne pozwala rozwiązać ten problem. Jak już wspominaliśmy, wynika z niego, że suma niezależnych zmiennych losowych spełniających zupełnie naturalne warunki ma w przybliżeniu rozkład normalny.
Ze względu na wagę centralnego twierdzenia granicznego wypowiemy je w trzech wersjach. Pierwsza z nich - do niedawna najczęściej używana - ma w dobie komputerów mniejsze znaczenie praktyczne,jednak w dalszym ciągu jest najbardziej popularna.
Założenie.
jest przestrzenią probabilistyczną, zaś - ciągiem niezależnych zmiennych losowych określonych na . Wszystkie zmienne losowe mają taki sam rozkład, a ich wspólna nadzieja matematyczna oraz wariancja istnieją i są skończone, przy czym (ten ostatni warunek oznacza, że zmienne losowe nie są stałymi). Jak zawsze oznaczamy:
Będziemy badać najpierw zbieżność tak zwanych
sum standaryzowanych, a dopiero potem wyciągniemy
wnioski dotyczące samych sum oraz średnich .
Zmienną losową:
nazywamy standaryzacją sumy .
Jak łatwo zauważyć:
Twierdzenie 9.3 [Lindeberga-Levy'ego]
Dla każdego zachodzi równość:
gdzie jest
dystrybuantą rozkładu .
Dowód
Twierdzenie Lindeberga-Levy'ego można wypowiedzieć w wersjach bardziej naturalnych - bez używania standaryzacji .
Twierdzenie 9.4 [Centralne tw. graniczne dla sum]
Rozkład zmiennej losowej jest asymptotycznie równy rozkładowi . Inaczej:
Twierdzenie 9.5 [Centralne tw. graniczne dla średnich]
Rozkład zmiennej losowej jest asymptotycznie równy rozkładowi . Inaczej:
Przykład 9.6.
Zinterpretujemy twierdzenie, mówiące o rozkładzie sumy niezależnych zmiennych losowych. Wyobraźmy sobie eksperyment polegający na wielokrotnym rzucie kostką do gry. Suma uzyskanych oczek jest zmienną losową mającą, zgodnie z cytowanym twierdzeniem, w przybliżeniu rozkład , gdzie oraz są odpowiednio nadzieją matematyczną oraz odchyleniem standardowym zmiennej losowej , reprezentującej wynik pojedynczego rzutu, a jest liczbą wykonanych prób. Ponieważ ma rozkład dyskretny, skupiony w punktach przyjmowanych z jednakowym prawdopodobieństwem , więc bez trudu można stwierdzić, że:
Przypuśćmy, że wykonano 1000 rzutów (). Wówczas suma
ma w przybliżeniu rozkład .
Zweryfikujmy "doświadczalnie" uzyskany wynik. W tym celu można przeprowadzić symulację tysiąca rzutów kostką za pomocą komputera, uzyskując odpowiednią wartość sumy wszystkich uzyskanych oczek. Doświadczenie to powtórzymy 400 razy, uzyskując wartości sumy oczek. Poniżej przytaczamy kod programu Maple, umożliwiający przeprowadzenie takiej symulacji.
> kostka := rand(1..6): > k := 400: n := 1000: lista := NULL: > from 1 to k do > S := 0: > from 1 to n do > S := S + kostka(): > od: > lista := lista,S > od:
Aby graficznie zinterpretować otrzymane dane, najpierw sporządzamy odpowiedni szereg rozdzielczy (rozważamy 18 klas):
> dane := stats[transform,tallyinto['skrajne']]([lista], > [seq(3320 + (i - 1)*20..3320 + i*20, i = 1..18)]);
dane := [Weight(3480 .. 3500,55), Weight(3560 .. 3580,33), Weight(3660 .. 3680,0), Weight(3340 .. 3360,5), Weight(3540 .. 3560,31), Weight(3640 .. 3660,4), Weight(3360 .. 3380,2), Weight(3520 .. 3540,43), Weight(3420 .. 3440,28), Weight(3620 .. 3640,4), Weight(3460 .. 3480,53), Weight(3320 .. 3340,0), Weight(3500 .. 3520,66), Weight(3600 .. 3620,10), Weight(3380 .. 3400,8), Weight(3400 .. 3420,13), Weight(3440 .. 3460,28), Weight(3580 .. 3600,17)];
Sprawdzamy, czy są sumy, które nie zostały uwzględnione - sumy te byłyby wpisane na listę o nazwie skrajne:
> skrajne;
Okazało się więc, że w tym przypadku wszystkie sumy zostały uwzględnione.
W celu sporządzenia histogramu, dobieramy wysokości słupków tak, aby pola wszystkich słupków dawały w sumie :
> dane1 := stats[transform, > scaleweight[1/nops([lista])]](dane);}{}
dane1 := [Weight(3480 .. 3500,11/80), Weight(3560 .. 3580,33/400), Weight(3660 .. 3680,0), Weight(3340 .. 3360,1/80), Weight(3540 .. 3560,31/400), Weight(3640 .. 3660,1/100), Weight(3360 .. 3380,1/200), Weight(3520 .. 3540,43/400), Weight(3420 .. 3440,7/100), Weight(3620 .. 3640,1/100), Weight(3460 .. 3480,53/400), Weight(3320 .. 3340,0), Weight(3500 .. 3520,33/200), Weight(3600 .. 3620,1/40), Weight(3380 .. 3400,1/50), Weight(3400 .. 3420,13/400), Weight(3440 .. 3460,7/100), Weight(3580 .. 3600,17/400)];
Teraz rysujemy histogram:
> stats[statplots,histogram](dane1);
<flash>file=Rp.1.94.swf|width=350|height=350</flash>
oraz zachowujemy powyższy wykres:
> g1 := %:
Dla wygody obliczamy jeszcze raz nadzieję i wariancję dla pojedynczej kostki:
> ek := add(i,i=1..6)/6: vk := add(i^2,i=1..6)/6 - ek^2:
a następnie obliczamy nadzieję i wariancję sumy:
> es := n*ek; vs := n*vk;
Przygotowujemy wykres gęstości rozkładu teoretycznego (lecz go
jeszcze nie wyświetlamy):
> g2 := plot(f(es,sqrt(vs)),3320..3680, color=black):
Obliczamy średnią i odchylenie standardowe dla szeregu rozdzielczego:
> ee := evalf(stats[describe,mean]([lista]));
> ve := evalf(stats[describe,standarddeviation]([lista]));
Teraz przygotowujemy wykres gęstości rozkładu normalnego o parametrach
obliczonych z szeregu rozdzielczego:
> g3 := plot(f(ee,ve),3320..3680, color=black,thickness=2):
aby następnie wyświetlić, na jednym rysunku, histogram i dwie poprzednio otrzymane gęstości:
> plots[display](g1,g2,g3);
<flash>file=Rp.1.95.swf|width=350|height=350</flash>
Ponieważ bardzo często zmiennymi losowymi są
niezależne próby Bernoulliego, więc sformułujemy centralne twierdzenie
graniczne specjalnie dla tego przypadku. Jest
to natychmiastowy wniosek z twierdzenia Lindeberga-Levy'ego (twierdzenie 9.3).
Twierdzenie 9.7 [de Moivre'a-Laplace'a]
Niech będzie ciągiem niezależnych prób Bernoulliego, z takim samym prawdopodobieństwem sukcesu i porażki w każdej próbie (). Wtedy:
Oczywiście, twierdzenie 9.4 i twierdzenie 9.5 można także z łatwością przeformułować dla przypadku niezależnych prób Bernoulliego.
Wyraźnie zaznaczamy, że centralne twierdzenie graniczne jest prawdziwe przy dużo ogólniejszych założeniach. W szczególności zmienne losowe nie muszą mieć takiego samego rozkładu, a nawet nie muszą być niezależne. Jednakże, różnym wersjom centralnego twierdzenia granicznego przyświeca ta sama idea:
suma niewiele zależnych od siebie składników losowych, z których żaden nie dominuje istotnie nad pozostałymi, ma w przybliżeniu rozkład normalny.
<references/>