MN04: Różnice pomiędzy wersjami

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
Przykry (dyskusja | edycje)
mNie podano opisu zmian
Przykry (dyskusja | edycje)
mNie podano opisu zmian
Linia 1: Linia 1:
=Własności zadania obliczeniowego i algorytmu numerycznego=


==Uwarunkowanie zadania obliczeniowego==
Jak zobaczyliśmy w poprzednich przykładach, dane, jakimi dysponujemy wykonując
zadanie obliczeniowe są z natury rzeczy wartościami zaburzonymi. Źródłem tych
zaburzeń są:
* błąd reprezentacji danych w arytmetyce zmiennoprzecinkowej (0.1 nie jest
równe dokładnie <math>\displaystyle 1/10</math>)
* błędy w parametrach będących rezultatem poprzednich obliczeń (chcemy
rozwiązać równanie <math>\displaystyle f(x) = a</math>, ale <math>\displaystyle a</math> jest rezultatem innej symulacji), a także
* błędy pomiarowe w zadaniach praktycznych (chcemy policzyć
numeryczną prognozę pogody, ale temperaturę wyjściową znamy tylko z dokładnością
do 0.1 stopnia, co gorsza --- z niektórych stacji w ogóle nie mamy danych)
Okazuje się, że powszechna intuicja, że małe zaburzenia danych powinny dawać
małe zaburzenia wyniku, nie znajduje potwierdzenia nawet w bardzo prostych
przypadkach. Z drugiej strony, umiejętność oceny jakościowego <strong>wpływu
zaburzenia danych na wynik</strong> jest kapitalna w świecie obliczeń numerycznych w
ogólności, a w szególności --- inżynierskich.
Wprowadza się pojęcie <strong>uwarunkowania</strong> zadania, to znaczy jego podatności na
zaburzenia danych. Dla przejrzystości, przypuśćmy, że nasze zadanie obliczeniowe
polega na wyznaczeniu <math>\displaystyle f(x)</math> dla danego <math>\displaystyle x</math>.
<div class="thumb tright"><div><flash>file=XXX.swf</flash><div.thumbcaption>Zadanie obliczeniowe i jego odporność na zaburzenia</div></div></div>
<!--
[[Image:MNcondition.png|thumb|450px|center|Naszym zadaniem jest wyznaczenie, dla <math>\displaystyle x\in X</math>, wartości
<math>\displaystyle f(x)\in Y</math>.]]
[[Image:MNcondition2.png|thumb|450px|center|Jaki będzie rozrzut wyników, gdy <strong>lekko</strong> zaburzymy
dane?]]
[[Image:MNcondition3.png|thumb|450px|center|Jeśli równie mały, co zaburzenie, powiemy, że zadanie
jest dobrze uwarunkowane (jego wynik jest mało podatny na zaburzenia danych).]]
[[Image:MNcondition4.png|thumb|450px|center|Może jednak zdarzyć się, że zadanie jest źle
uwarunkowane, i małe zaburzenie danych skutkuje dużym rozrzutem wyników.]]
[[Image:MNcondition5.png|thumb|450px|center|Wtedy nawet bliskie sobie punkty w X, przekształcenie
<math>\displaystyle f</math> może odwzorowywać w punkty bardzo od siebie odległe. Jest to sytuacja
skrajnie niekorzystna w zastosowaniach, a zwłaszcza --- w obliczeniach numerycznych.]]
-->
Jak bardzo będzie odległe
<math>\displaystyle f(\widetilde{x})</math>, gdy <math>\displaystyle \widetilde{x}\approx x</math>? Rozważa się dwa przypadki:
* uwarunkowanie względne: jak względne zaburzenie danych wpływa na błąd
względny wyniku:
<center><math>\displaystyle
\frac{||f(x) - f(\widetilde{x})||}{||f(x)||} \leq  \mbox{cond} _{rel}(f,x) \cdot \frac{||x - \widetilde{x}||}{||x||}
</math></center>
Najmniejszy mnożnik <math>\displaystyle  \mbox{cond} _{rel}(f,x)</math> spełniający powyższą nierówność
nazywamy współczynnikiem uwarunkowania (względnego) zadania obliczenia <math>\displaystyle f(x)</math>
dla danego <math>\displaystyle x</math>.
* uwarunkowanie bezwzględne: jak bezwzględne zaburzenie danych wpływa na błąd
bezwzględny wyniku:
<center><math>\displaystyle
||f(x) - f(\widetilde{x})|| \leq  \mbox{cond} _{abs}(f,x) \cdot ||x - \widetilde{x}||
</math></center>
Najmniejszy mnożnik <math>\displaystyle  \mbox{cond} _{abs}(f,x)</math>  spełniający powyższą nierówność
nazywamy współczynnikiem uwarunkowania (bezwzględnego) zadania obliczenia <math>\displaystyle f(x)</math>
dla danego <math>\displaystyle x</math>.
Powiemy, że zadanie jest
* dobrze uwarunkowane w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle  \mbox{cond} (f,x) \approx 1</math>,
* źle uwarunkowane w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle  \mbox{cond} (f,x) \gg 1</math>,
* źle postawione w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle  \mbox{cond} (f,x) = +\infty</math>.
Teraz już rozumiemy, że redukcja cyfr przy odejmowaniu jest tylko
odzwierciedleniem faktu, że zadanie odejmowania dwóch bliskich liczb jest po
prostu zadaniem źle uwarunkowanym!
<div style="margin-top:1em; padding-top,padding-bottom:1em;">
<span  style="font-variant:small-caps;">Przykład: Uwarunkowanie zadania obliczenia sumy</span>
<div class="solution">
Właściwie już wcześniej sprawdziliśmy, że zadanie obliczenia <math>\displaystyle s(x,y) = x + y</math> ma
<center><math>\displaystyle
\mbox{cond} _{abs}(s, (a,b)) = 1, \qquad  \mbox{cond} _{rel}(s, (a,b)) = \frac{|a|+|b|}{|a+b|}
</math></center>
Tak więc, gdy <math>\displaystyle a\approx -b</math>, to <math>\displaystyle  \mbox{cond} _{rel}(s, (a,b)) \approx +\infty</math> i zadanie
jest bardzo źle uwarunkowane. Nawet małe zaburzenie względne danych może
skutkować bardzo dużym zaburzeniem wyniku. Zgodnie z prawem Murphy'ego,
najczęściej rzeczywiście tak będzie...
</div></div>
<div style="margin-top:1em; padding-top,padding-bottom:1em;">
<span  style="font-variant:small-caps;">Przykład</span>
<div class="solution" style="margin-left:1em;">
Dla różniczkowalnej funkcji skalarnej <math>\displaystyle f : R \rightarrow R</math> mamy
<center><math>\displaystyle
|f(x) - f(\widetilde{x}| \approx |f'(x) | | x - \widetilde{x} |
</math></center>
i w konsekwencji dla zadania obliczenia <math>\displaystyle f(x)</math> dla danego <math>\displaystyle x</math> mamy, przy
założeniu małych zaburzeń,
<center><math>\displaystyle
\mbox{cond} _{abs}( f, x) = |f'(x)|, \qquad  \mbox{cond} _{rel}( f, x) =
\frac{|f'(x)|\cdot|x|}{|f(x)|}.
</math></center>
</div></div>
Możnaby myśleć, że złe uwarunkowanie zawsze jest szkodliwe w praktyce
numerycznej. Najczęściej właśnie tak jest istotnie. Jednak w praktyce
numerycznej sporadycznie zdarza się, że [[sec:invit|Dodaj link: złe uwarunkowanie pewnego podzadania nie tylko
nie pogarsza sytuacji, ale wręcz pomaga]] szybciej rozwiązać zadanie główne!
==Rozkład algorytmu względem informacji==
<strong>Algorytm</strong> to dokładnie określona i dozwolona w danym modelu
obliczeniowym sekwencja akcji, pozwalająca na rozwiązanie danego
zadania (w sposób dokładny lub przybliżony).
Z każdym algorytmem związany jest operator
<center><math>\displaystyle {\bf ALG}:\,F\longrightarrowG,
</math></center>
taki że <math>\displaystyle {\bf ALG}(f)</math> jest wynikiem działania algorytmu
w arytmetyce idealnej dla danej <math>\displaystyle f</math>.
Zauważmy, że wynik <math>\displaystyle {\bf ALG}(f)</math> działania algorytmu nie
zależy bezpośrednio od <math>\displaystyle f</math>, ale raczej od <strong>informacji</strong>
o <math>\displaystyle f</math> (uzyskanej dzięki poleceniu <math>\displaystyle {\cal IN}</math>). Informacja
ta może być <strong>pełna</strong> albo tylko <strong>częściowa</strong>.
Informacja jest pełna gdy, np.
<math>\displaystyle f=(f_1,\ldots,f_n)\inR^n</math> i wczytamy wszystkie
współrzędne <math>\displaystyle f_i</math>. Informacja może być częściowa, gdy
<math>\displaystyle f</math> jest funkcją. Wtedy wiele danych może posiadać tę
samą informację, co łatwo zaobserwować na przykładzie
zadania całkowania.
Niech <math>\displaystyle N:F\to\cup_{n=0}^\inftyR^n</math> będzie
<strong>operatorem informacji</strong>, tzn.
<center><math>\displaystyle N(f)\,=\,(y_1,y_2,\ldots,y_n)
</math></center>
jest informacją o <math>\displaystyle f</math> zebraną przy idealnej realizacji
algorytmu. Zauważmy, że nformacja jest pełna gdy <math>\displaystyle N</math> jest
przekształceniem różnowartościowym, tzn. jeśli
<math>\displaystyle f_1\nef_2</math> implikuje <math>\displaystyle N(f_1)\neN(f_2)</math>.
W przeciwnym przypadku mamy do czynienia z informacją
częściową.
Każdy algorytm <math>\displaystyle {\bf ALG}</math> może być przedstawiony jako złożenie
operatora informacji i pewnego operatora
<math>\displaystyle \varphi:N(F)\toG</math> zdefiniowanego równością
<center><math>\displaystyle \varphi\left(N(f)\right)\,=\,{\bf ALG}(f).
</math></center>
Zauważmy, że w przypadku informacji częściowej zwykle nie
istnieje algorytm dający dokładne rozwiązanie zadania dla
każdej danej <math>\displaystyle f\inF</math>, ponieważ dla danych o tej samej
informacji mogą istnieć różne rozwiązania.
==Problem wyboru algorytmu==
Wybór algorytmu jest najistotniejszą częścią całego procesu
numerycznego rozwiązywania zadania. Kierujemy się przy tym przede
wszystkim następującymi kryteriami:
* dokładnością algorytmu,
* złożonością algorytmu,
* własnościami numerycznymi algorytmu.
Przez dokładność algorytmu rozumiemy różnicę między
rozwiązaniem dokładnym <math>\displaystyle S(f)</math>, a rozwiązaniem
<math>\displaystyle {\bf ALG}(f)</math> dawanym przez algorytm w arytmetyce idealnej.
Jeśli <math>\displaystyle {\bf ALG}(f) = S(f)</math>,
<math>\displaystyle  \forall f \in F</math>,
to algorytm nazywamy <strong>dokładnym</strong>.
Mówiąc o złożoności, mamy na myśli złożoność pamięciową
(zwykle jest to liczba stałych i zmiennych używanych przez
algorytm), jak również złożoność obliczeniową.
Na złożoność obliczeniową algorytmu dla danej <math>\displaystyle f</math> składa
się koszt uzyskania infomacji <math>\displaystyle y=N(f)</math> (zwykle jest on
proporcjonalny do liczby wywołań polecenia <math>\displaystyle {\cal IN}</math>), oraz
koszt <strong>kombinatoryczny</strong> przetworzenia tej informacji, aż do
uzyskania wyniku <math>\displaystyle \varphi(y)</math>. Koszt kombinatoryczny zwykle
mierzymy liczbą operacji arytmetycznych wykonywanych przez
algorytm.
Przez własności numeryczne algorytmu rozumiemy jego
własności przy realizacji w arytmetyce <math>\displaystyle fl_\nu</math>. Temu
ważnemu tematowi poświęcimy teraz osobny paragraf.
==Numeryczna poprawność algorytmu==
Pożądane jest, aby algorytm dawał "dobry" wynik zarówno
w arytmetyce idealnej, jak i w arytmetyce <math>\displaystyle fl_\nu</math>. Niestety,
jak zobaczymy, nie zawsze jest to możliwe. Nawet jeśli algorytm
jest dokładny to w wyniku jego realizacji w <math>\displaystyle fl_\nu</math> możemy
otrzymać wynik <math>\displaystyle fl_\nu({\bf ALG}(f))</math> daleko odbiegający od
<math>\displaystyle S(f)</math>. W szczególności, prawie zawsze mamy
<center><math>\displaystyle S(f)\,\ne\,fl_\nu\left({\bf ALG}(f)\right).
</math></center>
Zauważmy również, że o ile z reguły znamy dokładne zachowanie
się algorytmu w arytmetyce idealnej dla danej informacji, to nie
można tego samego powiedzieć o jego zachowaniu się w arytmetyce
<math>\displaystyle fl_\nu</math>. W związku z tym powstaje pytanie, jak kontrolować błąd 
algorytmów wynikający z błędów zaokrągleń i jakie algorytmy
uznamy za te o najwyższej jakości numerycznej.
Istnienie błędów reprezentacji liczb rzeczywistych powoduje,
że informacja <math>\displaystyle y=N(f)</math> o danej <math>\displaystyle f</math> nie jest w
ogólności reprezentowana dokładnie. Znaczy to, że zamiast na
informacji dokładnej, dowolny algorytm będzie operować na
informacji <strong>nieco zaburzonej</strong> <math>\displaystyle y_\nu</math>, tzn. zaburzonej na
poziomie błędu reprezentacji. Tak samo wynik dawany przez algorytm
będzie w ogólności zaburzony na poziomie błędu reprezentacji.
W najlepszym więc wypadku wynikiem działania algorytmu w <math>\displaystyle fl_\nu</math>
będzie <math>\displaystyle (\varphi(y_\nu))_\nu</math> zamiast <math>\displaystyle \varphi(y)</math>. Algorytmy
dające tego rodzaju wyniki uznamy za posiadające najlepsze
własności numeryczne w arytmetyce <math>\displaystyle fl_\nu</math> i nazwiemy numerycznie
poprawnymi.
Dokładniej, powiemy, że ciąg rzeczywisty
<math>\displaystyle a_\nu=(a_{\nu,1},\ldots,a_{\nu,n})</math>
(a właściwie rodzina ciągów <math>\displaystyle \{a_\nu\}_\nu</math>) jest
<strong>nieco zaburzonym</strong> ciągiem <math>\displaystyle a=(a_1,\ldots,a_n)</math>, jeśli
istnieje stała <math>\displaystyle K</math> taka, że dla wszystkich dostatecznie
małych <math>\displaystyle \nu</math> zachodzi
<center><math>\displaystyle
  |a_{\nu,j} - a_j|\,\le\,K\,\nu\,|a_j|,\qquad 1\le j\le n,
</math></center>
albo ogólniej
<center><math>\displaystyle
  \|a_\nu - a\|\,\le\,K\,\nu\,\|a\|,
</math></center>
gdzie <math>\displaystyle \|\cdot\|</math> jest pewną normą w <math>\displaystyle R^n</math>. W pierwszym
przypadku mówimy o zaburzeniu "po współrzędnych", a w drugim
o zaburzeniu w normie <math>\displaystyle \|\cdot\|</math>.
Zauważmy, że niewielkie zaburzenia po współrzędnych pociągają
za sobą niewielkie zaburzenia w normie. Rzeczywiście, zachodzi wówczas
<center><math>\displaystyle \|a_\nu - a\|_\infty \,=\, \max_{1\le j\le n} |a_{\nu,j} - a_j|
  \,\le\,K\,\nu\,\max_{1\le j\le n} |a_j|\,=\,K\,\nu\,\|a\|_\infty,
</math></center>
i korzystając z faktu, że w przestrzeni skończenie wymiarowej
wszystkie normy są równoważne otrzymujemy dla pewnych stałych
<math>\displaystyle K_1</math> i <math>\displaystyle K_2</math>
<center><math>\displaystyle \|a_\nu - a\|\,\le\,K_1\|a_\nu-a\|_\infty\,\le\,
    K_1 K\,\nu\,\|a\|_\infty\,\le\,K_2 K_1 K\,\nu\,\|a\|,
</math></center>
czyli nierówność dla zaburzenia w normie, ze stałą <math>\displaystyle K = K_2 K_1 K</math>.
{{definicja|Algorytm numerycznie poprawny||
Algorytm <math>\displaystyle {\bf ALG}</math> rozwiązywania zadania
nazywamy <strong>numerycznie poprawnym</strong> w zbiorze danych
<math>\displaystyle F_0\subsetF</math>, jeśli dla każdej danej <math>\displaystyle f\inF_0</math>
wynik <math>\displaystyle fl_\nu({\bf ALG}(f))</math> działania algorytmu w arytmetyce
<math>\displaystyle fl_\nu</math> można zinterpretować jako nieco zaburzony wynik
algorytmu w arytmetyce idealnej dla nieco zaburzonej informacji
<math>\displaystyle y_\nu=(N(f))_\nu\inN(F)</math> o <math>\displaystyle f</math>, przy czym
poziom zaburzeń nie zależy od <math>\displaystyle f</math>.
Formalnie znaczy to, że istnieją stałe <math>\displaystyle K_1</math>, <math>\displaystyle K_2</math>, oraz
<math>\displaystyle \nu_0>0</math> takie, że spełniony jest następujący warunek.
Dla dowolnej <math>\displaystyle \nu\le\nu_0</math> oraz informacji <math>\displaystyle y\inN(F_0)</math>
można dobrać <math>\displaystyle y_\nu\inN(F)</math> oraz
<math>\displaystyle \left(\varphi(y_\nu)\right)_\nu</math> takie, że
<center><math>\displaystyle \|y_\nu-y\|\,\le\,K_1\,\nu\,\|y\|,
</math></center>
<center><math>\displaystyle \|\left(\varphi(y_\nu)\right)_\nu - \varphi(y_\nu)\|\,\le\,
    K_2\,\nu\,\|\varphi(y_\nu)\|,
</math></center>
oraz
<center><math>\displaystyle fl_\nu\left({\bf ALG}(f)\right)\,=\,
      fl_\nu\left(\varphi(N(f))\right)\,=\,
      \left(\varphi(y_\nu)\right)_\nu.
</math></center>
}}
[[Image:MNcondition7.png|thumb|450px|center|Numerycznie poprawny algorytm daje w arytmetyce <math>\displaystyle fl_\nu</math> wynik <math>\displaystyle ALG(N(x))</math>, który daje
się zinterpretować jako mało zaburzony wynik <math>\displaystyle f(y)</math> zadania na mało zaburzonych
danych <math>\displaystyle x</math>.]]
Zauważmy,że jeśli <math>\displaystyle f\inR^n</math>,
<math>\displaystyle N(f)=(f_1,\ldots,f_n)</math>, oraz algorytm jest
dokładny, <math>\displaystyle {\bf ALG}\equiv\varphi\equivS</math>, to numeryczną
poprawność algorytmu można równoważnie zapisać jako
<center><math>\displaystyle fl_\nu\left({\bf ALG}(f)\right)\,=\,
  \left(S(f_\nu)\right)_\nu.
</math></center>
==Rola uwarunkowania zadania==
Niech <math>\displaystyle {\bf ALG}(\cdot)=\varphi(N(\cdot))</math> będzie algorytmem numerycznie
poprawnym dla danych <math>\displaystyle F_0\subsetF</math>. Wtedy jego błąd w <math>\displaystyle fl_\nu</math>
można oszacować następująco:
<center><math>\displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\| \;=\;
    \|S(f)-\left(\varphi(y_\nu)\right)_\nu\| } \\
  &\le & \|S(f)-\varphi(y)\|\,+\,
          \|\varphi(y)-\varphi(y_\nu)\|\,+\,
          \|\varphi(y_\nu)-\left(\varphi(y_\nu)\right)_\nu\| \\
  &\le & \|S(f)-{\bf ALG}(f)\|\,+\,
          \|\varphi(y)-\varphi(y_\nu)\|\,+\,
          K_2\,\nu\,\|\varphi(y_\nu)\| \\
  &\le & \|S(f)-{\bf ALG}(f)\|\,+\,
          (1 + K_2 \nu) \|\varphi(y)-\varphi(y_\nu)\|\,+\,
          K_2\,\nu\,\|\varphi(y)\|,
\endaligned</math></center>
przy czym <math>\displaystyle \|y_\nu-y\|\,\le\,K_1\,\nu\,\|y\|</math>. Stąd
w szczególności wynika, że jeśli algorytm jest numerycznie
poprawny i ciągły ze względu na informację <math>\displaystyle y</math>, to
<center><math>\displaystyle \lim_{\nu\to 0}\,\|S(f)-fl_\nu({\bf ALG}(f))\|\,=\,
      \|S(f)-{\bf ALG}(f)\|.
</math></center>
To znaczy, że dla dostatecznie silnej arytmetyki algorytm będzie
się zachowywał w <math>\displaystyle fl_\nu</math> prawie tak jak w arytmetyce idealnej.
Z powyższych wzorów wynika, że błąd w <math>\displaystyle fl_\nu</math> algorytmu
numerycznie poprawnego zależy w dużym stopniu od:
* dokładności algorytmu w arytmetyce idealnej,
* dokładności <math>\displaystyle \nu</math> arytmetyki <math>\displaystyle fl_\nu</math>,
* wrażliwości algorytmu na małe względne zaburzenia informacji <math>\displaystyle y</math>.
Ponieważ dwa pierwsze punkty są raczej oczywiste, poświęcimy
trochę więcej uwagi jedynie trzeciemu.
Jeśli <math>\displaystyle \varphi</math> spełnia warunek Lipschitza ze stałą <math>\displaystyle L</math>,
a dokładniej
<center><math>\displaystyle \|\varphi(y_\nu)-\varphi(y)\|\,\le\,L\,\|y_\nu-y\|,
</math></center>
to
<center><math>\displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\|} \\
    &\le & \|S(f)-{\bf ALG}(f)\|\,+\,
      (1+K_2\nu)L\|y_\nu-y\|\,+\,K_2\nu\|\varphi(y)\|  \\
    &\le & \|S(f)-{\bf ALG}(f)\|\,+\,
        (1+K_2\nu)LK_1\nu\|y\|\,+\,K_2\nu\|\varphi(y)\|.
\endaligned</math></center>
W tym przypadku błędy zaokrągleń zwiększają błąd bezwzględny
algorytmu proporcjonalnie do <math>\displaystyle \nu</math>.
Bardziej jednak interesuje nas błąd <strong>względny</strong>. Wybierzmy
"małe" <math>\displaystyle \eta\ge 0</math> i przypuśćmy, że
<center><math>\displaystyle \|\varphi(y_\nu)-\varphi(y)\|\;\le\;
    M\,K_1\,\nu\,\max(\eta,\|\varphi(y)\|),
</math></center>
dla pewnej <math>\displaystyle M</math> niezależnej od <math>\displaystyle y</math>, tzn. błąd względny informacji,
<math>\displaystyle \|y_\nu-y\|\le K_1\nu\|y\|</math>, przenosi się na błąd względny
wyniku (w arytmetyce idealnej) ze "współczynnikiem wzmocnienia"
<math>\displaystyle M</math>, albo na błąd bezwzględny ze współczynnikiem <math>\displaystyle M\eta</math>.
(Zauważmy, że gdybyśmy wzięli <math>\displaystyle \eta=0</math> to dla <math>\displaystyle y</math> takiej, że
<math>\displaystyle \varphi(y)=0</math> musiałoby być <math>\displaystyle \varphi(y_\nu)=0</math>, co zwykle, choć
nie zawsze, nie jest prawdą.) Wtedy
<center><math>\displaystyle \aligned \|S(f)-fl_\nu({\bf ALG}(f))\|
  & \le & \|S(f)-{\bf ALG}(f)\|+
    (1 + K_2 \nu) M K_1 \nu \max (\eta, \|\varphi(y)\|)+
      K_2 \nu \|\varphi(y)\| \\
    &= \|S(f)-{\bf ALG}(f)\|\,+\,\nu\,
        \Big(\,MK_1(1+K_2\nu)+K_2\Big)\max(\eta,\|\varphi(y)\|).
\endaligned</math></center>
W szczególności, gdy algorytm jest dokładny i korzysta z pełnej
informacji o <math>\displaystyle f</math>, tzn. <math>\displaystyle S\equiv{\bf ALG}\equiv\varphi</math>, to
błąd
<center><math>\displaystyle \frac{\|S(f)-fl_\nu({\bf ALG}(f))\|}
      {\max (\eta, \|S(f)\|)} \;\le\;
        \Big( M K_1 (1+K_2\nu) + K_2\Big)\,\nu
        \,\approx\,(M\,K_1\,+\,K_2)\,\nu. 
</math></center>
Stąd wynika, że jeśli <math>\displaystyle (MK_1+K_2)\nu\ll 1</math> to błąd względny
algorytmu w <math>\displaystyle fl_\nu</math> jest mały, o ile <math>\displaystyle \|S(f)\|\ge\eta</math>.
Błąd względny jest proporcjonalny do dokładności <math>\displaystyle \nu</math>,
arytmetyki <math>\displaystyle fl_\nu</math>, współczynników proporcjonalności <math>\displaystyle K_i</math>
algorytmu numerycznie poprawnego, oraz do wrażliwości <math>\displaystyle M</math>
zadania <math>\displaystyle S</math> na małe względne zaburzenia danych.
Zwróćmy uwagę na istotny fakt, że interesują nas właściwie
tylko te zaburzenia danych (informacji), które powstają przy
analizie algorytmu numerycznie poprawnego. I tak, jeśli algorytm
jest numerycznie poprawny z pozornymi zaburzeniami danych w normie,
to trzeba zbadać wrażliwość zadania ze względu na zaburzenia
danych w normie. Jeśli zaś mamy pozorne zaburzenia
"po współrzędnych" (co oczywiście implikuje pozorne zaburzenia
w normie) to wystarczy zbadać uwarunkowanie zadania ze względu na
zaburzenia "po współrzędnych", itd.
<div style="margin-top:1em; padding-top,padding-bottom:1em;">
<span  style="font-variant:small-caps;">Przykład: Iloczyn skalarny</span>
<div class="solution">
Załóżmy. że dla danych ciągów rzeczywistych o ustalonej
długości <math>\displaystyle n</math>, <math>\displaystyle a_j</math>, <math>\displaystyle b_j</math>, <math>\displaystyle 1\le j\le n</math>, chcemy obliczyć
<center><math>\displaystyle S(a,b)\,=\,\sum_{j=1}^n a_j b_j.
</math></center>
Rozpatrzymy algorytm dokładny zdefiniowany powyższym wzorem
i korzystający z pełnej informacji o kolejnych współrzednych.
Oznaczmy przez <math>\displaystyle \tilde a_j</math> i <math>\displaystyle \tilde b_j</math> reprezentacje liczb
<math>\displaystyle a_j</math> i <math>\displaystyle b_j</math> w <math>\displaystyle fl_\nu</math>, <math>\displaystyle \tilde a_j=a_j(1+\alpha_j)</math>,
<math>\displaystyle \tilde b_j=b_j(1+\beta_j)</math>, oraz przez <math>\displaystyle \gamma_j</math> i <math>\displaystyle \delta_j</math>
błędy względne powstałe przy kolejnych mnożeniach i dodawaniach.
Oczywiście <math>\displaystyle |\alpha_j|,|\beta_j|, |\gamma_j|, |\delta_j|\le\nu</math>.
Otrzymujemy
<center><math>\displaystyle \aligned fl_\nu\left(\sum_{j=1}^n a_jb_j\right) &=
    \Big(\,(fl_\nu(\sum_{j=1}^{n-1}a_jb_j)\,+\,\tilde a_n\tilde b_n
      (1+\gamma_n)\,\Big)(1+\delta_n)\,=\,\ldots \\
  &= \bigg(\cdots\Big(
      \tilde a_1\tilde b_1(1+\gamma_1)+\tilde a_2\tilde b_2
        (1+\gamma_2)\Big)(1+\delta_2) \\
  & & \qquad\qquad\qquad\qquad +\cdots+
      \tilde a_n\tilde b_n(1+\gamma_n)\bigg)(1+\delta_n) \\
  &= \tilde a_1\tilde b_1(1+\gamma_1)(1+\delta_2)
                \cdots(1+\delta_n)\\
  & & \qquad\qquad\qquad\qquad +\cdots+\tilde a_j
      \tilde b_j(1+\gamma_j)(1+\delta_j)\cdots(1+\delta_n) \\
  &= \sum_{j=1}^n a_jb_j(1+e_j),
\endaligned</math></center>
gdzie w przybliżeniu (tzn. gdy <math>\displaystyle \nu\to 0</math>) mamy <math>\displaystyle |e_1|\leq (n+2)\nu</math>
i <math>\displaystyle |e_j|\leq (n-j+4)\nu</math>, <math>\displaystyle 2\le j\le n</math>. Algorytm naturalny jest więc
numerycznie poprawny w całym zbiorze danych, gdyż wynik otrzymany
w <math>\displaystyle fl_\nu</math> można zinterpretować jako dokładny wynik dla danych
<math>\displaystyle a_{\nu,j}=a_j</math> i <math>\displaystyle b_{\nu,j}=b_j(1+e_j)</math>, przy czym
<math>\displaystyle \|b_\nu-b\|_p\leq (n+2)\nu\|b\|_p</math>.
Zobaczmy teraz, jak błąd we współrzędnych <math>\displaystyle b_j</math> wpływa
na błąd wyniku. Mamy
<center><math>\displaystyle \aligned \Big|\sum_{j=1}^n a_jb_j-fl_\nu\Big(\sum_{j=1}^n a_jb_j\Big)\Big|
    &= \Big|\sum_{j=1}^n a_jb_j-\sum_{j=1}^n a_jb_j(1+e_j)\Big| \\
    &= \Big|\sum_{j=1}^n e_ja_jb_j\Big|
      \,\le\, \sum_{j=1}^n |e_j||a_jb_j| \\
    &\leq  (n+2)\nu\sum_{j=1}^n |a_jb_j|.
\endaligned</math></center>
Stąd dla <math>\displaystyle \eta\ge 0</math>
<center><math>\displaystyle \frac{|\sum_{j=1}^n a_jb_j-fl_\nu(\sum_{j=1}^n a_jb_j)|}
      {\max(\eta,|\sum_{j=1}^n a_jb_j|)} \,\leq\,
        K_{\eta}\,(n+2)\,\nu,
</math></center>
gdzie
<center><math>\displaystyle K_\eta\,=\,K_\eta(a,b)\,=\,\frac{\sum_{j=1}^n |a_jb_j|}
            {\max(\eta,|\sum_{j=1}^n a_jb_j|) }.
</math></center>
Zauważmy, że jeśli iloczyny <math>\displaystyle a_jb_j</math> są wszystkie dodatnie
albo wszystkie ujemne, to <math>\displaystyle K_\eta=1</math>, tzn. zadanie jest dobrze
uwarunkowane, a błąd względny jest zawsze na poziomie co najwyżej
<math>\displaystyle n\nu</math>. W tym przypadku algorytm zachowuje się bardzo dobrze, o ile
liczba <math>\displaystyle n</math> składników nie jest horendalnie duża. W ogólności
jednak <math>\displaystyle K_\eta</math> może być liczbą dowolnie dużą i wtedy nie możemy
być pewni uzyskania dobrego wyniku w <math>\displaystyle fl_\nu</math>.
</div></div>
<!--
<div style="margin-top:1em; padding-top,padding-bottom:1em;">
<span  style="font-variant:small-caps;">Przykład: Pierwiastki trójmianu</span>
<div class="solution">
Rozpatrzymy teraz zadanie obliczenia wszystkich pierwiastków
rzeczywistych równania kwadratowego.
Będziemy zakładać, że model obliczeniowy dopuszcza obliczanie
pierwiastków kwadratowych z liczb nieujemnych oraz
<math>\displaystyle fl_\nu(\sqrt{x})=rd_\nu(\sqrt{rd_\nu(x)})</math>.
Okazuje się, że nie umiemy pokazać numerycznej poprawności
"szkolnego" algorytmu obliczającego pierwiastki równania
bezpośrednio ze wzorów omawianych powyżej. Można jednak pokazać
numeryczną poprawność drobnej jego modyfikacji wykorzystującej
wzory Viete'a.
{{algorytm|||
<pre>
Delta = p*p - q;
if  (Delta == 0) 
      OUT(p);
else
if  (Delta > 0)
{
Delta1 = sqrt(d);
if  (p >= 0)
{
x1 = p + Delta1;
x2 = q/z1;
}
else
{
x2 = p - Delta1;
x1 = q/ź2;
}
OUT(x1);  OUT(x2);
}
</pre>}}
Mamy bowiem
<center><math>\displaystyle \aligned fl_\nu(\Delta(p,q)) &= \Big(p^2(1+\alpha)^2(1+\epsilon_1)-q(1+\beta)\Big)
                          (1+\epsilon_2) \\
    &= \left( p^2-q\frac{(1+\beta)}{(1+\alpha)^2(1+\epsilon_1)}\right)
          (1+\epsilon_2)(1+\alpha)^2(1+\epsilon_1) \\
    &= \Big(p^2-q(1+\delta)\,\Big)(1+\gamma) \,=\,
          \Delta(p,q(1+\delta))(1+\gamma),
\endaligned</math></center>
gdzie <math>\displaystyle |\delta|,|\gamma|\leq 4\nu</math>. Wyróżnik obliczony w <math>\displaystyle fl_\nu</math>
jest więc nieco zaburzonym wyróżnikiem dokładnym dla danych
<math>\displaystyle p</math> i <math>\displaystyle q_\nu=q(1+\delta)</math>. W szczególności
<center><math>\displaystyle  \mbox{sgn} (fl_\nu(\Delta(p,q)))= \mbox{sgn} (\Delta(p,q_\nu)).
</math></center>
Jeśli <math>\displaystyle p\ge 0</math> to
<center><math>\displaystyle \aligned fl_\nu(x1(p,q)) &= \Big(p(1+\alpha)+
        \sqrt{fl_\nu(\Delta(p,q))}(1+\epsilon_3)\Big)(1+\epsilon_4) \\
  &= \Big(p(1+\alpha)+\sqrt{\Delta(p,q_\nu)
      (1+\gamma)}(1+\epsilon_3)\Big)(1+\epsilon_4) \\
  &= \left(p+\sqrt{\Delta(p,q_\nu)}\frac{\sqrt{1+\gamma}(1+\epsilon_3)}
        {1+\alpha}\right)(1+\epsilon_4)(1+\alpha) \\
  &= \left(p+\sqrt{\Delta(p,q_\nu)}\right)(1+e_1),
\endaligned</math></center>
gdzie <math>\displaystyle |e_1|\leq 6\nu</math>. Zauważmy, że ostatnia równość
zachodzi dlatego, że dodajemy liczby tego samego znaku. (Inaczej
<math>\displaystyle |e_1|</math> mogłaby być dowolnie duża i tak byłoby w algorytmie
szkolnym.) Dla drugiego pierwiastka mamy
<center><math>\displaystyle fl_\nu(x2(p,q))\,=\,\frac {q(1+\beta)}{fl_\nu(x1(p,q))}(1+\epsilon_5)
  \,=\,\frac{q_\nu}{fl_\nu(x1(p,q))}(1+e_2),
</math></center>
gdzie <math>\displaystyle |e_2|\le 8\nu</math>.
Podobny wynik otrzymalibyśmy dla <math>\displaystyle p<0</math>. Algorytm zmodyfikowany
jest więc numerycznie poprawny, gdyż otrzymane w <math>\displaystyle fl_\nu</math> pierwiastki
są nieco zaburzonymi dokładnymi pierwiatkami dla danych
<math>\displaystyle p_\nu=p</math> i <math>\displaystyle q_\nu=q(1+\delta)</math>.
Aby oszacować błąd algorytmu, wystarczy zbadać uwarunkowanie
zadania ze względu na zaburzenie danej <math>\displaystyle q</math>, ponieważ pokazaliśmy,
że zaburzenia <math>\displaystyle p</math> można przenieść na zaburzenia <math>\displaystyle q</math> i wyniku.
Niestety, choć algorytm jest numerycznie poprawny, zaburzenia
<math>\displaystyle q</math> mogą sprawić, że nawet znak wyróżnika <math>\displaystyle \Delta</math> może być
obliczony nieprawidłowo. Na przykład dla <math>\displaystyle p=1</math> i <math>\displaystyle q=1\pm 10^{t+1}</math>
mamy <math>\displaystyle \Delta(p,q)=\mp 10^{t+1}</math>, ale
<math>\displaystyle \Delta(rd_\nu(p),rd_\nu(q))=\Delta(1,1)=0</math>. Ogólnie
<center><math>\displaystyle |fl_\nu(\Delta(p,q))-\Delta(p,q)|\,\leq\,4\nu(p^2+2|q|),
</math></center>
a więc tylko dla <math>\displaystyle |\Delta(p,q)|=|p^2-q|>4\nu (p^2+2|q|)</math>
możemy być pewni obliczenia właściwego znaku <math>\displaystyle \Delta</math>. Przy
tym warunku oraz <math>\displaystyle \Delta>0</math> błąd danych przenosi się w
normie euklidesowej na błąd wyniku następująco:
<center><math>\displaystyle \aligned \lefteqn{ \Big( (x1(p,q) - x1(p,q_\nu))^2
                +(x2(p,q) - x2(p,q_\nu))^2 \Big)^{1/2} } \\
  &= \frac{\sqrt 2 |\delta q|} {\sqrt{p^2-q}+\sqrt{p^2-q_\nu}}
  \,\leq\, 2\sqrt 2 \nu\frac{|q|}{\sqrt{p^2-q}} \\
  &= 2\sqrt 2 \nu\frac{|q|/p^2}{\sqrt{1-q/p^2}
        \max(\eta/|p|,\sqrt{2(1+(1-q/p^2))}) } \\
  & & \qquad\qquad\qquad\cdot\max(\eta,(x1(p,q)^2+x2(p,q)^2)^{1/2}).
\endaligned</math></center>
Stąd widać, że zadanie jest dobrze uwarunkowane dla <math>\displaystyle q/p^2\ll 1</math>
i może być źle uwarunkowane dla <math>\displaystyle q/p^2\approx 1</math>. W ostatnim
przypadku nie możemy być pewni otrzymania dobrego wyniku w <math>\displaystyle fl_\nu</math>.
</div></div>
-->

Wersja z 18:12, 1 wrz 2006

Własności zadania obliczeniowego i algorytmu numerycznego

Uwarunkowanie zadania obliczeniowego

Jak zobaczyliśmy w poprzednich przykładach, dane, jakimi dysponujemy wykonując zadanie obliczeniowe są z natury rzeczy wartościami zaburzonymi. Źródłem tych zaburzeń są:

  • błąd reprezentacji danych w arytmetyce zmiennoprzecinkowej (0.1 nie jest

równe dokładnie 1/10)

  • błędy w parametrach będących rezultatem poprzednich obliczeń (chcemy

rozwiązać równanie f(x)=a, ale a jest rezultatem innej symulacji), a także

  • błędy pomiarowe w zadaniach praktycznych (chcemy policzyć

numeryczną prognozę pogody, ale temperaturę wyjściową znamy tylko z dokładnością do 0.1 stopnia, co gorsza --- z niektórych stacji w ogóle nie mamy danych)

Okazuje się, że powszechna intuicja, że małe zaburzenia danych powinny dawać małe zaburzenia wyniku, nie znajduje potwierdzenia nawet w bardzo prostych przypadkach. Z drugiej strony, umiejętność oceny jakościowego wpływu zaburzenia danych na wynik jest kapitalna w świecie obliczeń numerycznych w ogólności, a w szególności --- inżynierskich.

Wprowadza się pojęcie uwarunkowania zadania, to znaczy jego podatności na zaburzenia danych. Dla przejrzystości, przypuśćmy, że nasze zadanie obliczeniowe polega na wyznaczeniu f(x) dla danego x.

<flash>file=XXX.swf</flash><div.thumbcaption>Zadanie obliczeniowe i jego odporność na zaburzenia


Jak bardzo będzie odległe f(x~), gdy x~x? Rozważa się dwa przypadki:

  • uwarunkowanie względne: jak względne zaburzenie danych wpływa na błąd

względny wyniku:

||f(x)f(x~)||||f(x)||condrel(f,x)||xx~||||x||

Najmniejszy mnożnik condrel(f,x) spełniający powyższą nierówność nazywamy współczynnikiem uwarunkowania (względnego) zadania obliczenia f(x) dla danego x.

  • uwarunkowanie bezwzględne: jak bezwzględne zaburzenie danych wpływa na błąd

bezwzględny wyniku:

||f(x)f(x~)||condabs(f,x)||xx~||

Najmniejszy mnożnik condabs(f,x) spełniający powyższą nierówność nazywamy współczynnikiem uwarunkowania (bezwzględnego) zadania obliczenia f(x) dla danego x.

Powiemy, że zadanie jest

  • dobrze uwarunkowane w punkcie x, gdy cond(f,x)1,
  • źle uwarunkowane w punkcie x, gdy cond(f,x)1,
  • źle postawione w punkcie x, gdy cond(f,x)=+.

Teraz już rozumiemy, że redukcja cyfr przy odejmowaniu jest tylko odzwierciedleniem faktu, że zadanie odejmowania dwóch bliskich liczb jest po prostu zadaniem źle uwarunkowanym!

Przykład: Uwarunkowanie zadania obliczenia sumy

Właściwie już wcześniej sprawdziliśmy, że zadanie obliczenia s(x,y)=x+y ma

condabs(s,(a,b))=1,condrel(s,(a,b))=|a|+|b||a+b|

Tak więc, gdy ab, to condrel(s,(a,b))+ i zadanie jest bardzo źle uwarunkowane. Nawet małe zaburzenie względne danych może skutkować bardzo dużym zaburzeniem wyniku. Zgodnie z prawem Murphy'ego, najczęściej rzeczywiście tak będzie...

Przykład

Dla różniczkowalnej funkcji skalarnej f:RR mamy

|f(x)f(x~||f(x)||xx~|

i w konsekwencji dla zadania obliczenia f(x) dla danego x mamy, przy założeniu małych zaburzeń,

condabs(f,x)=|f(x)|,condrel(f,x)=|f(x)||x||f(x)|.

Możnaby myśleć, że złe uwarunkowanie zawsze jest szkodliwe w praktyce numerycznej. Najczęściej właśnie tak jest istotnie. Jednak w praktyce numerycznej sporadycznie zdarza się, że Dodaj link: złe uwarunkowanie pewnego podzadania nie tylko nie pogarsza sytuacji, ale wręcz pomaga szybciej rozwiązać zadanie główne!

Rozkład algorytmu względem informacji

Algorytm to dokładnie określona i dozwolona w danym modelu obliczeniowym sekwencja akcji, pozwalająca na rozwiązanie danego zadania (w sposób dokładny lub przybliżony).

Z każdym algorytmem związany jest operator

Parser nie mógł rozpoznać (nieznana funkcja „\longrightarrowG”): {\displaystyle \displaystyle {\bf ALG}:\,F\longrightarrowG, }

taki że 𝐀𝐋𝐆(f) jest wynikiem działania algorytmu w arytmetyce idealnej dla danej f.

Zauważmy, że wynik 𝐀𝐋𝐆(f) działania algorytmu nie zależy bezpośrednio od f, ale raczej od informacji o f (uzyskanej dzięki poleceniu 𝒩). Informacja ta może być pełna albo tylko częściowa. Informacja jest pełna gdy, np. Parser nie mógł rozpoznać (nieznana funkcja „\inR”): {\displaystyle \displaystyle f=(f_1,\ldots,f_n)\inR^n} i wczytamy wszystkie współrzędne fi. Informacja może być częściowa, gdy f jest funkcją. Wtedy wiele danych może posiadać tę samą informację, co łatwo zaobserwować na przykładzie zadania całkowania.

Niech Parser nie mógł rozpoznać (nieznana funkcja „\inftyR”): {\displaystyle \displaystyle N:F\to\cup_{n=0}^\inftyR^n} będzie operatorem informacji, tzn.

N(f)=(y1,y2,,yn)

jest informacją o f zebraną przy idealnej realizacji algorytmu. Zauważmy, że nformacja jest pełna gdy N jest przekształceniem różnowartościowym, tzn. jeśli Parser nie mógł rozpoznać (nieznana funkcja „\nef”): {\displaystyle \displaystyle f_1\nef_2} implikuje Parser nie mógł rozpoznać (nieznana funkcja „\neN”): {\displaystyle \displaystyle N(f_1)\neN(f_2)} . W przeciwnym przypadku mamy do czynienia z informacją częściową.

Każdy algorytm 𝐀𝐋𝐆 może być przedstawiony jako złożenie operatora informacji i pewnego operatora Parser nie mógł rozpoznać (nieznana funkcja „\toG”): {\displaystyle \displaystyle \varphi:N(F)\toG} zdefiniowanego równością

φ(N(f))=𝐀𝐋𝐆(f).

Zauważmy, że w przypadku informacji częściowej zwykle nie istnieje algorytm dający dokładne rozwiązanie zadania dla każdej danej Parser nie mógł rozpoznać (nieznana funkcja „\inF”): {\displaystyle \displaystyle f\inF} , ponieważ dla danych o tej samej informacji mogą istnieć różne rozwiązania.

Problem wyboru algorytmu

Wybór algorytmu jest najistotniejszą częścią całego procesu numerycznego rozwiązywania zadania. Kierujemy się przy tym przede wszystkim następującymi kryteriami:

  • dokładnością algorytmu,
  • złożonością algorytmu,
  • własnościami numerycznymi algorytmu.

Przez dokładność algorytmu rozumiemy różnicę między rozwiązaniem dokładnym S(f), a rozwiązaniem 𝐀𝐋𝐆(f) dawanym przez algorytm w arytmetyce idealnej. Jeśli 𝐀𝐋𝐆(f)=S(f), fF, to algorytm nazywamy dokładnym.

Mówiąc o złożoności, mamy na myśli złożoność pamięciową (zwykle jest to liczba stałych i zmiennych używanych przez algorytm), jak również złożoność obliczeniową. Na złożoność obliczeniową algorytmu dla danej f składa się koszt uzyskania infomacji y=N(f) (zwykle jest on proporcjonalny do liczby wywołań polecenia 𝒩), oraz koszt kombinatoryczny przetworzenia tej informacji, aż do uzyskania wyniku φ(y). Koszt kombinatoryczny zwykle mierzymy liczbą operacji arytmetycznych wykonywanych przez algorytm.

Przez własności numeryczne algorytmu rozumiemy jego własności przy realizacji w arytmetyce flν. Temu ważnemu tematowi poświęcimy teraz osobny paragraf.

Numeryczna poprawność algorytmu

Pożądane jest, aby algorytm dawał "dobry" wynik zarówno w arytmetyce idealnej, jak i w arytmetyce flν. Niestety, jak zobaczymy, nie zawsze jest to możliwe. Nawet jeśli algorytm jest dokładny to w wyniku jego realizacji w flν możemy otrzymać wynik flν(𝐀𝐋𝐆(f)) daleko odbiegający od S(f). W szczególności, prawie zawsze mamy

S(f)flν(𝐀𝐋𝐆(f)).

Zauważmy również, że o ile z reguły znamy dokładne zachowanie się algorytmu w arytmetyce idealnej dla danej informacji, to nie można tego samego powiedzieć o jego zachowaniu się w arytmetyce flν. W związku z tym powstaje pytanie, jak kontrolować błąd algorytmów wynikający z błędów zaokrągleń i jakie algorytmy uznamy za te o najwyższej jakości numerycznej.

Istnienie błędów reprezentacji liczb rzeczywistych powoduje, że informacja y=N(f) o danej f nie jest w ogólności reprezentowana dokładnie. Znaczy to, że zamiast na informacji dokładnej, dowolny algorytm będzie operować na informacji nieco zaburzonej yν, tzn. zaburzonej na poziomie błędu reprezentacji. Tak samo wynik dawany przez algorytm będzie w ogólności zaburzony na poziomie błędu reprezentacji. W najlepszym więc wypadku wynikiem działania algorytmu w flν będzie (φ(yν))ν zamiast φ(y). Algorytmy dające tego rodzaju wyniki uznamy za posiadające najlepsze własności numeryczne w arytmetyce flν i nazwiemy numerycznie poprawnymi.

Dokładniej, powiemy, że ciąg rzeczywisty aν=(aν,1,,aν,n) (a właściwie rodzina ciągów {aν}ν) jest nieco zaburzonym ciągiem a=(a1,,an), jeśli istnieje stała K taka, że dla wszystkich dostatecznie małych ν zachodzi

|aν,jaj|Kν|aj|,1jn,

albo ogólniej

aνaKνa,

gdzie jest pewną normą w Rn. W pierwszym przypadku mówimy o zaburzeniu "po współrzędnych", a w drugim o zaburzeniu w normie .

Zauważmy, że niewielkie zaburzenia po współrzędnych pociągają za sobą niewielkie zaburzenia w normie. Rzeczywiście, zachodzi wówczas

aνa=max1jn|aν,jaj|Kνmax1jn|aj|=Kνa,

i korzystając z faktu, że w przestrzeni skończenie wymiarowej wszystkie normy są równoważne otrzymujemy dla pewnych stałych K1 i K2

aνaK1aνaK1KνaK2K1Kνa,

czyli nierówność dla zaburzenia w normie, ze stałą K=K2K1K.

Definicja Algorytm numerycznie poprawny

Algorytm 𝐀𝐋𝐆 rozwiązywania zadania nazywamy numerycznie poprawnym w zbiorze danych Parser nie mógł rozpoznać (nieznana funkcja „\subsetF”): {\displaystyle \displaystyle F_0\subsetF} , jeśli dla każdej danej Parser nie mógł rozpoznać (nieznana funkcja „\inF”): {\displaystyle \displaystyle f\inF_0} wynik flν(𝐀𝐋𝐆(f)) działania algorytmu w arytmetyce flν można zinterpretować jako nieco zaburzony wynik algorytmu w arytmetyce idealnej dla nieco zaburzonej informacji Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y_\nu=(N(f))_\nu\inN(F)} o f, przy czym poziom zaburzeń nie zależy od f.

Formalnie znaczy to, że istnieją stałe K1, K2, oraz ν0>0 takie, że spełniony jest następujący warunek. Dla dowolnej νν0 oraz informacji Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y\inN(F_0)} można dobrać Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y_\nu\inN(F)} oraz (φ(yν))ν takie, że

yνyK1νy,
(φ(yν))νφ(yν)K2νφ(yν),

oraz

flν(𝐀𝐋𝐆(f))=flν(φ(N(f)))=(φ(yν))ν.
Numerycznie poprawny algorytm daje w arytmetyce flν wynik ALG(N(x)), który daje się zinterpretować jako mało zaburzony wynik f(y) zadania na mało zaburzonych danych x.

Zauważmy,że jeśli Parser nie mógł rozpoznać (nieznana funkcja „\inR”): {\displaystyle \displaystyle f\inR^n} , N(f)=(f1,,fn), oraz algorytm jest dokładny, Parser nie mógł rozpoznać (nieznana funkcja „\equivS”): {\displaystyle \displaystyle {\bf ALG}\equiv\varphi\equivS} , to numeryczną poprawność algorytmu można równoważnie zapisać jako

flν(𝐀𝐋𝐆(f))=(S(fν))ν.

Rola uwarunkowania zadania

Niech 𝐀𝐋𝐆()=φ(N()) będzie algorytmem numerycznie poprawnym dla danych Parser nie mógł rozpoznać (nieznana funkcja „\subsetF”): {\displaystyle \displaystyle F_0\subsetF} . Wtedy jego błąd w flν można oszacować następująco:

Parser nie mógł rozpoznać (nieznana funkcja „\aligned”): {\displaystyle \displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\| \;=\; \|S(f)-\left(\varphi(y_\nu)\right)_\nu\| } \\ &\le & \|S(f)-\varphi(y)\|\,+\, \|\varphi(y)-\varphi(y_\nu)\|\,+\, \|\varphi(y_\nu)-\left(\varphi(y_\nu)\right)_\nu\| \\ &\le & \|S(f)-{\bf ALG}(f)\|\,+\, \|\varphi(y)-\varphi(y_\nu)\|\,+\, K_2\,\nu\,\|\varphi(y_\nu)\| \\ &\le & \|S(f)-{\bf ALG}(f)\|\,+\, (1 + K_2 \nu) \|\varphi(y)-\varphi(y_\nu)\|\,+\, K_2\,\nu\,\|\varphi(y)\|, \endaligned}

przy czym yνyK1νy. Stąd w szczególności wynika, że jeśli algorytm jest numerycznie poprawny i ciągły ze względu na informację y, to

limν0S(f)flν(𝐀𝐋𝐆(f))=S(f)𝐀𝐋𝐆(f).

To znaczy, że dla dostatecznie silnej arytmetyki algorytm będzie się zachowywał w flν prawie tak jak w arytmetyce idealnej.

Z powyższych wzorów wynika, że błąd w flν algorytmu numerycznie poprawnego zależy w dużym stopniu od:

  • dokładności algorytmu w arytmetyce idealnej,
  • dokładności ν arytmetyki flν,
  • wrażliwości algorytmu na małe względne zaburzenia informacji y.

Ponieważ dwa pierwsze punkty są raczej oczywiste, poświęcimy trochę więcej uwagi jedynie trzeciemu.

Jeśli φ spełnia warunek Lipschitza ze stałą L, a dokładniej

φ(yν)φ(y)Lyνy,

to

Parser nie mógł rozpoznać (nieznana funkcja „\aligned”): {\displaystyle \displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\|} \\ &\le & \|S(f)-{\bf ALG}(f)\|\,+\, (1+K_2\nu)L\|y_\nu-y\|\,+\,K_2\nu\|\varphi(y)\| \\ &\le & \|S(f)-{\bf ALG}(f)\|\,+\, (1+K_2\nu)LK_1\nu\|y\|\,+\,K_2\nu\|\varphi(y)\|. \endaligned}

W tym przypadku błędy zaokrągleń zwiększają błąd bezwzględny algorytmu proporcjonalnie do ν.

Bardziej jednak interesuje nas błąd względny. Wybierzmy "małe" η0 i przypuśćmy, że

φ(yν)φ(y)MK1νmax(η,φ(y)),

dla pewnej M niezależnej od y, tzn. błąd względny informacji, yνyK1νy, przenosi się na błąd względny wyniku (w arytmetyce idealnej) ze "współczynnikiem wzmocnienia" M, albo na błąd bezwzględny ze współczynnikiem Mη. (Zauważmy, że gdybyśmy wzięli η=0 to dla y takiej, że φ(y)=0 musiałoby być φ(yν)=0, co zwykle, choć nie zawsze, nie jest prawdą.) Wtedy

Parser nie mógł rozpoznać (nieznana funkcja „\aligned”): {\displaystyle \displaystyle \aligned \|S(f)-fl_\nu({\bf ALG}(f))\| & \le & \|S(f)-{\bf ALG}(f)\|+ (1 + K_2 \nu) M K_1 \nu \max (\eta, \|\varphi(y)\|)+ K_2 \nu \|\varphi(y)\| \\ &= \|S(f)-{\bf ALG}(f)\|\,+\,\nu\, \Big(\,MK_1(1+K_2\nu)+K_2\Big)\max(\eta,\|\varphi(y)\|). \endaligned}

W szczególności, gdy algorytm jest dokładny i korzysta z pełnej informacji o f, tzn. S𝐀𝐋𝐆φ, to błąd

S(f)flν(𝐀𝐋𝐆(f))max(η,S(f))(MK1(1+K2ν)+K2)ν(MK1+K2)ν.

Stąd wynika, że jeśli (MK1+K2)ν1 to błąd względny algorytmu w flν jest mały, o ile S(f)η. Błąd względny jest proporcjonalny do dokładności ν, arytmetyki flν, współczynników proporcjonalności Ki algorytmu numerycznie poprawnego, oraz do wrażliwości M zadania S na małe względne zaburzenia danych.

Zwróćmy uwagę na istotny fakt, że interesują nas właściwie tylko te zaburzenia danych (informacji), które powstają przy analizie algorytmu numerycznie poprawnego. I tak, jeśli algorytm jest numerycznie poprawny z pozornymi zaburzeniami danych w normie, to trzeba zbadać wrażliwość zadania ze względu na zaburzenia danych w normie. Jeśli zaś mamy pozorne zaburzenia "po współrzędnych" (co oczywiście implikuje pozorne zaburzenia w normie) to wystarczy zbadać uwarunkowanie zadania ze względu na zaburzenia "po współrzędnych", itd.

Przykład: Iloczyn skalarny

Załóżmy. że dla danych ciągów rzeczywistych o ustalonej długości n, aj, bj, 1jn, chcemy obliczyć

S(a,b)=j=1najbj.

Rozpatrzymy algorytm dokładny zdefiniowany powyższym wzorem i korzystający z pełnej informacji o kolejnych współrzednych.

Oznaczmy przez a~j i b~j reprezentacje liczb aj i bj w flν, a~j=aj(1+αj), b~j=bj(1+βj), oraz przez γj i δj błędy względne powstałe przy kolejnych mnożeniach i dodawaniach. Oczywiście |αj|,|βj|,|γj|,|δj|ν. Otrzymujemy

Parser nie mógł rozpoznać (nieznana funkcja „\aligned”): {\displaystyle \displaystyle \aligned fl_\nu\left(\sum_{j=1}^n a_jb_j\right) &= \Big(\,(fl_\nu(\sum_{j=1}^{n-1}a_jb_j)\,+\,\tilde a_n\tilde b_n (1+\gamma_n)\,\Big)(1+\delta_n)\,=\,\ldots \\ &= \bigg(\cdots\Big( \tilde a_1\tilde b_1(1+\gamma_1)+\tilde a_2\tilde b_2 (1+\gamma_2)\Big)(1+\delta_2) \\ & & \qquad\qquad\qquad\qquad +\cdots+ \tilde a_n\tilde b_n(1+\gamma_n)\bigg)(1+\delta_n) \\ &= \tilde a_1\tilde b_1(1+\gamma_1)(1+\delta_2) \cdots(1+\delta_n)\\ & & \qquad\qquad\qquad\qquad +\cdots+\tilde a_j \tilde b_j(1+\gamma_j)(1+\delta_j)\cdots(1+\delta_n) \\ &= \sum_{j=1}^n a_jb_j(1+e_j), \endaligned}

gdzie w przybliżeniu (tzn. gdy ν0) mamy |e1|(n+2)ν i |ej|(nj+4)ν, 2jn. Algorytm naturalny jest więc numerycznie poprawny w całym zbiorze danych, gdyż wynik otrzymany w flν można zinterpretować jako dokładny wynik dla danych aν,j=aj i bν,j=bj(1+ej), przy czym bνbp(n+2)νbp.

Zobaczmy teraz, jak błąd we współrzędnych bj wpływa na błąd wyniku. Mamy

Parser nie mógł rozpoznać (nieznana funkcja „\aligned”): {\displaystyle \displaystyle \aligned \Big|\sum_{j=1}^n a_jb_j-fl_\nu\Big(\sum_{j=1}^n a_jb_j\Big)\Big| &= \Big|\sum_{j=1}^n a_jb_j-\sum_{j=1}^n a_jb_j(1+e_j)\Big| \\ &= \Big|\sum_{j=1}^n e_ja_jb_j\Big| \,\le\, \sum_{j=1}^n |e_j||a_jb_j| \\ &\leq (n+2)\nu\sum_{j=1}^n |a_jb_j|. \endaligned}

Stąd dla η0

|j=1najbjflν(j=1najbj)|max(η,|j=1najbj|)Kη(n+2)ν,

gdzie

Kη=Kη(a,b)=j=1n|ajbj|max(η,|j=1najbj|).

Zauważmy, że jeśli iloczyny ajbj są wszystkie dodatnie albo wszystkie ujemne, to Kη=1, tzn. zadanie jest dobrze uwarunkowane, a błąd względny jest zawsze na poziomie co najwyżej nν. W tym przypadku algorytm zachowuje się bardzo dobrze, o ile liczba n składników nie jest horendalnie duża. W ogólności jednak Kη może być liczbą dowolnie dużą i wtedy nie możemy być pewni uzyskania dobrego wyniku w flν.