MN04: Różnice pomiędzy wersjami
mNie podano opisu zmian |
mNie podano opisu zmian |
||
Linia 1: | Linia 1: | ||
=Własności zadania obliczeniowego i algorytmu numerycznego= | |||
==Uwarunkowanie zadania obliczeniowego== | |||
Jak zobaczyliśmy w poprzednich przykładach, dane, jakimi dysponujemy wykonując | |||
zadanie obliczeniowe są z natury rzeczy wartościami zaburzonymi. Źródłem tych | |||
zaburzeń są: | |||
* błąd reprezentacji danych w arytmetyce zmiennoprzecinkowej (0.1 nie jest | |||
równe dokładnie <math>\displaystyle 1/10</math>) | |||
* błędy w parametrach będących rezultatem poprzednich obliczeń (chcemy | |||
rozwiązać równanie <math>\displaystyle f(x) = a</math>, ale <math>\displaystyle a</math> jest rezultatem innej symulacji), a także | |||
* błędy pomiarowe w zadaniach praktycznych (chcemy policzyć | |||
numeryczną prognozę pogody, ale temperaturę wyjściową znamy tylko z dokładnością | |||
do 0.1 stopnia, co gorsza --- z niektórych stacji w ogóle nie mamy danych) | |||
Okazuje się, że powszechna intuicja, że małe zaburzenia danych powinny dawać | |||
małe zaburzenia wyniku, nie znajduje potwierdzenia nawet w bardzo prostych | |||
przypadkach. Z drugiej strony, umiejętność oceny jakościowego <strong>wpływu | |||
zaburzenia danych na wynik</strong> jest kapitalna w świecie obliczeń numerycznych w | |||
ogólności, a w szególności --- inżynierskich. | |||
Wprowadza się pojęcie <strong>uwarunkowania</strong> zadania, to znaczy jego podatności na | |||
zaburzenia danych. Dla przejrzystości, przypuśćmy, że nasze zadanie obliczeniowe | |||
polega na wyznaczeniu <math>\displaystyle f(x)</math> dla danego <math>\displaystyle x</math>. | |||
<div class="thumb tright"><div><flash>file=XXX.swf</flash><div.thumbcaption>Zadanie obliczeniowe i jego odporność na zaburzenia</div></div></div> | |||
<!-- | |||
[[Image:MNcondition.png|thumb|450px|center|Naszym zadaniem jest wyznaczenie, dla <math>\displaystyle x\in X</math>, wartości | |||
<math>\displaystyle f(x)\in Y</math>.]] | |||
[[Image:MNcondition2.png|thumb|450px|center|Jaki będzie rozrzut wyników, gdy <strong>lekko</strong> zaburzymy | |||
dane?]] | |||
[[Image:MNcondition3.png|thumb|450px|center|Jeśli równie mały, co zaburzenie, powiemy, że zadanie | |||
jest dobrze uwarunkowane (jego wynik jest mało podatny na zaburzenia danych).]] | |||
[[Image:MNcondition4.png|thumb|450px|center|Może jednak zdarzyć się, że zadanie jest źle | |||
uwarunkowane, i małe zaburzenie danych skutkuje dużym rozrzutem wyników.]] | |||
[[Image:MNcondition5.png|thumb|450px|center|Wtedy nawet bliskie sobie punkty w X, przekształcenie | |||
<math>\displaystyle f</math> może odwzorowywać w punkty bardzo od siebie odległe. Jest to sytuacja | |||
skrajnie niekorzystna w zastosowaniach, a zwłaszcza --- w obliczeniach numerycznych.]] | |||
--> | |||
Jak bardzo będzie odległe | |||
<math>\displaystyle f(\widetilde{x})</math>, gdy <math>\displaystyle \widetilde{x}\approx x</math>? Rozważa się dwa przypadki: | |||
* uwarunkowanie względne: jak względne zaburzenie danych wpływa na błąd | |||
względny wyniku: | |||
<center><math>\displaystyle | |||
\frac{||f(x) - f(\widetilde{x})||}{||f(x)||} \leq \mbox{cond} _{rel}(f,x) \cdot \frac{||x - \widetilde{x}||}{||x||} | |||
</math></center> | |||
Najmniejszy mnożnik <math>\displaystyle \mbox{cond} _{rel}(f,x)</math> spełniający powyższą nierówność | |||
nazywamy współczynnikiem uwarunkowania (względnego) zadania obliczenia <math>\displaystyle f(x)</math> | |||
dla danego <math>\displaystyle x</math>. | |||
* uwarunkowanie bezwzględne: jak bezwzględne zaburzenie danych wpływa na błąd | |||
bezwzględny wyniku: | |||
<center><math>\displaystyle | |||
||f(x) - f(\widetilde{x})|| \leq \mbox{cond} _{abs}(f,x) \cdot ||x - \widetilde{x}|| | |||
</math></center> | |||
Najmniejszy mnożnik <math>\displaystyle \mbox{cond} _{abs}(f,x)</math> spełniający powyższą nierówność | |||
nazywamy współczynnikiem uwarunkowania (bezwzględnego) zadania obliczenia <math>\displaystyle f(x)</math> | |||
dla danego <math>\displaystyle x</math>. | |||
Powiemy, że zadanie jest | |||
* dobrze uwarunkowane w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle \mbox{cond} (f,x) \approx 1</math>, | |||
* źle uwarunkowane w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle \mbox{cond} (f,x) \gg 1</math>, | |||
* źle postawione w punkcie <math>\displaystyle x</math>, gdy <math>\displaystyle \mbox{cond} (f,x) = +\infty</math>. | |||
Teraz już rozumiemy, że redukcja cyfr przy odejmowaniu jest tylko | |||
odzwierciedleniem faktu, że zadanie odejmowania dwóch bliskich liczb jest po | |||
prostu zadaniem źle uwarunkowanym! | |||
<div style="margin-top:1em; padding-top,padding-bottom:1em;"> | |||
<span style="font-variant:small-caps;">Przykład: Uwarunkowanie zadania obliczenia sumy</span> | |||
<div class="solution"> | |||
Właściwie już wcześniej sprawdziliśmy, że zadanie obliczenia <math>\displaystyle s(x,y) = x + y</math> ma | |||
<center><math>\displaystyle | |||
\mbox{cond} _{abs}(s, (a,b)) = 1, \qquad \mbox{cond} _{rel}(s, (a,b)) = \frac{|a|+|b|}{|a+b|} | |||
</math></center> | |||
Tak więc, gdy <math>\displaystyle a\approx -b</math>, to <math>\displaystyle \mbox{cond} _{rel}(s, (a,b)) \approx +\infty</math> i zadanie | |||
jest bardzo źle uwarunkowane. Nawet małe zaburzenie względne danych może | |||
skutkować bardzo dużym zaburzeniem wyniku. Zgodnie z prawem Murphy'ego, | |||
najczęściej rzeczywiście tak będzie... | |||
</div></div> | |||
<div style="margin-top:1em; padding-top,padding-bottom:1em;"> | |||
<span style="font-variant:small-caps;">Przykład</span> | |||
<div class="solution" style="margin-left:1em;"> | |||
Dla różniczkowalnej funkcji skalarnej <math>\displaystyle f : R \rightarrow R</math> mamy | |||
<center><math>\displaystyle | |||
|f(x) - f(\widetilde{x}| \approx |f'(x) | | x - \widetilde{x} | | |||
</math></center> | |||
i w konsekwencji dla zadania obliczenia <math>\displaystyle f(x)</math> dla danego <math>\displaystyle x</math> mamy, przy | |||
założeniu małych zaburzeń, | |||
<center><math>\displaystyle | |||
\mbox{cond} _{abs}( f, x) = |f'(x)|, \qquad \mbox{cond} _{rel}( f, x) = | |||
\frac{|f'(x)|\cdot|x|}{|f(x)|}. | |||
</math></center> | |||
</div></div> | |||
Możnaby myśleć, że złe uwarunkowanie zawsze jest szkodliwe w praktyce | |||
numerycznej. Najczęściej właśnie tak jest istotnie. Jednak w praktyce | |||
numerycznej sporadycznie zdarza się, że [[sec:invit|Dodaj link: złe uwarunkowanie pewnego podzadania nie tylko | |||
nie pogarsza sytuacji, ale wręcz pomaga]] szybciej rozwiązać zadanie główne! | |||
==Rozkład algorytmu względem informacji== | |||
<strong>Algorytm</strong> to dokładnie określona i dozwolona w danym modelu | |||
obliczeniowym sekwencja akcji, pozwalająca na rozwiązanie danego | |||
zadania (w sposób dokładny lub przybliżony). | |||
Z każdym algorytmem związany jest operator | |||
<center><math>\displaystyle {\bf ALG}:\,F\longrightarrowG, | |||
</math></center> | |||
taki że <math>\displaystyle {\bf ALG}(f)</math> jest wynikiem działania algorytmu | |||
w arytmetyce idealnej dla danej <math>\displaystyle f</math>. | |||
Zauważmy, że wynik <math>\displaystyle {\bf ALG}(f)</math> działania algorytmu nie | |||
zależy bezpośrednio od <math>\displaystyle f</math>, ale raczej od <strong>informacji</strong> | |||
o <math>\displaystyle f</math> (uzyskanej dzięki poleceniu <math>\displaystyle {\cal IN}</math>). Informacja | |||
ta może być <strong>pełna</strong> albo tylko <strong>częściowa</strong>. | |||
Informacja jest pełna gdy, np. | |||
<math>\displaystyle f=(f_1,\ldots,f_n)\inR^n</math> i wczytamy wszystkie | |||
współrzędne <math>\displaystyle f_i</math>. Informacja może być częściowa, gdy | |||
<math>\displaystyle f</math> jest funkcją. Wtedy wiele danych może posiadać tę | |||
samą informację, co łatwo zaobserwować na przykładzie | |||
zadania całkowania. | |||
Niech <math>\displaystyle N:F\to\cup_{n=0}^\inftyR^n</math> będzie | |||
<strong>operatorem informacji</strong>, tzn. | |||
<center><math>\displaystyle N(f)\,=\,(y_1,y_2,\ldots,y_n) | |||
</math></center> | |||
jest informacją o <math>\displaystyle f</math> zebraną przy idealnej realizacji | |||
algorytmu. Zauważmy, że nformacja jest pełna gdy <math>\displaystyle N</math> jest | |||
przekształceniem różnowartościowym, tzn. jeśli | |||
<math>\displaystyle f_1\nef_2</math> implikuje <math>\displaystyle N(f_1)\neN(f_2)</math>. | |||
W przeciwnym przypadku mamy do czynienia z informacją | |||
częściową. | |||
Każdy algorytm <math>\displaystyle {\bf ALG}</math> może być przedstawiony jako złożenie | |||
operatora informacji i pewnego operatora | |||
<math>\displaystyle \varphi:N(F)\toG</math> zdefiniowanego równością | |||
<center><math>\displaystyle \varphi\left(N(f)\right)\,=\,{\bf ALG}(f). | |||
</math></center> | |||
Zauważmy, że w przypadku informacji częściowej zwykle nie | |||
istnieje algorytm dający dokładne rozwiązanie zadania dla | |||
każdej danej <math>\displaystyle f\inF</math>, ponieważ dla danych o tej samej | |||
informacji mogą istnieć różne rozwiązania. | |||
==Problem wyboru algorytmu== | |||
Wybór algorytmu jest najistotniejszą częścią całego procesu | |||
numerycznego rozwiązywania zadania. Kierujemy się przy tym przede | |||
wszystkim następującymi kryteriami: | |||
* dokładnością algorytmu, | |||
* złożonością algorytmu, | |||
* własnościami numerycznymi algorytmu. | |||
Przez dokładność algorytmu rozumiemy różnicę między | |||
rozwiązaniem dokładnym <math>\displaystyle S(f)</math>, a rozwiązaniem | |||
<math>\displaystyle {\bf ALG}(f)</math> dawanym przez algorytm w arytmetyce idealnej. | |||
Jeśli <math>\displaystyle {\bf ALG}(f) = S(f)</math>, | |||
<math>\displaystyle \forall f \in F</math>, | |||
to algorytm nazywamy <strong>dokładnym</strong>. | |||
Mówiąc o złożoności, mamy na myśli złożoność pamięciową | |||
(zwykle jest to liczba stałych i zmiennych używanych przez | |||
algorytm), jak również złożoność obliczeniową. | |||
Na złożoność obliczeniową algorytmu dla danej <math>\displaystyle f</math> składa | |||
się koszt uzyskania infomacji <math>\displaystyle y=N(f)</math> (zwykle jest on | |||
proporcjonalny do liczby wywołań polecenia <math>\displaystyle {\cal IN}</math>), oraz | |||
koszt <strong>kombinatoryczny</strong> przetworzenia tej informacji, aż do | |||
uzyskania wyniku <math>\displaystyle \varphi(y)</math>. Koszt kombinatoryczny zwykle | |||
mierzymy liczbą operacji arytmetycznych wykonywanych przez | |||
algorytm. | |||
Przez własności numeryczne algorytmu rozumiemy jego | |||
własności przy realizacji w arytmetyce <math>\displaystyle fl_\nu</math>. Temu | |||
ważnemu tematowi poświęcimy teraz osobny paragraf. | |||
==Numeryczna poprawność algorytmu== | |||
Pożądane jest, aby algorytm dawał "dobry" wynik zarówno | |||
w arytmetyce idealnej, jak i w arytmetyce <math>\displaystyle fl_\nu</math>. Niestety, | |||
jak zobaczymy, nie zawsze jest to możliwe. Nawet jeśli algorytm | |||
jest dokładny to w wyniku jego realizacji w <math>\displaystyle fl_\nu</math> możemy | |||
otrzymać wynik <math>\displaystyle fl_\nu({\bf ALG}(f))</math> daleko odbiegający od | |||
<math>\displaystyle S(f)</math>. W szczególności, prawie zawsze mamy | |||
<center><math>\displaystyle S(f)\,\ne\,fl_\nu\left({\bf ALG}(f)\right). | |||
</math></center> | |||
Zauważmy również, że o ile z reguły znamy dokładne zachowanie | |||
się algorytmu w arytmetyce idealnej dla danej informacji, to nie | |||
można tego samego powiedzieć o jego zachowaniu się w arytmetyce | |||
<math>\displaystyle fl_\nu</math>. W związku z tym powstaje pytanie, jak kontrolować błąd | |||
algorytmów wynikający z błędów zaokrągleń i jakie algorytmy | |||
uznamy za te o najwyższej jakości numerycznej. | |||
Istnienie błędów reprezentacji liczb rzeczywistych powoduje, | |||
że informacja <math>\displaystyle y=N(f)</math> o danej <math>\displaystyle f</math> nie jest w | |||
ogólności reprezentowana dokładnie. Znaczy to, że zamiast na | |||
informacji dokładnej, dowolny algorytm będzie operować na | |||
informacji <strong>nieco zaburzonej</strong> <math>\displaystyle y_\nu</math>, tzn. zaburzonej na | |||
poziomie błędu reprezentacji. Tak samo wynik dawany przez algorytm | |||
będzie w ogólności zaburzony na poziomie błędu reprezentacji. | |||
W najlepszym więc wypadku wynikiem działania algorytmu w <math>\displaystyle fl_\nu</math> | |||
będzie <math>\displaystyle (\varphi(y_\nu))_\nu</math> zamiast <math>\displaystyle \varphi(y)</math>. Algorytmy | |||
dające tego rodzaju wyniki uznamy za posiadające najlepsze | |||
własności numeryczne w arytmetyce <math>\displaystyle fl_\nu</math> i nazwiemy numerycznie | |||
poprawnymi. | |||
Dokładniej, powiemy, że ciąg rzeczywisty | |||
<math>\displaystyle a_\nu=(a_{\nu,1},\ldots,a_{\nu,n})</math> | |||
(a właściwie rodzina ciągów <math>\displaystyle \{a_\nu\}_\nu</math>) jest | |||
<strong>nieco zaburzonym</strong> ciągiem <math>\displaystyle a=(a_1,\ldots,a_n)</math>, jeśli | |||
istnieje stała <math>\displaystyle K</math> taka, że dla wszystkich dostatecznie | |||
małych <math>\displaystyle \nu</math> zachodzi | |||
<center><math>\displaystyle | |||
|a_{\nu,j} - a_j|\,\le\,K\,\nu\,|a_j|,\qquad 1\le j\le n, | |||
</math></center> | |||
albo ogólniej | |||
<center><math>\displaystyle | |||
\|a_\nu - a\|\,\le\,K\,\nu\,\|a\|, | |||
</math></center> | |||
gdzie <math>\displaystyle \|\cdot\|</math> jest pewną normą w <math>\displaystyle R^n</math>. W pierwszym | |||
przypadku mówimy o zaburzeniu "po współrzędnych", a w drugim | |||
o zaburzeniu w normie <math>\displaystyle \|\cdot\|</math>. | |||
Zauważmy, że niewielkie zaburzenia po współrzędnych pociągają | |||
za sobą niewielkie zaburzenia w normie. Rzeczywiście, zachodzi wówczas | |||
<center><math>\displaystyle \|a_\nu - a\|_\infty \,=\, \max_{1\le j\le n} |a_{\nu,j} - a_j| | |||
\,\le\,K\,\nu\,\max_{1\le j\le n} |a_j|\,=\,K\,\nu\,\|a\|_\infty, | |||
</math></center> | |||
i korzystając z faktu, że w przestrzeni skończenie wymiarowej | |||
wszystkie normy są równoważne otrzymujemy dla pewnych stałych | |||
<math>\displaystyle K_1</math> i <math>\displaystyle K_2</math> | |||
<center><math>\displaystyle \|a_\nu - a\|\,\le\,K_1\|a_\nu-a\|_\infty\,\le\, | |||
K_1 K\,\nu\,\|a\|_\infty\,\le\,K_2 K_1 K\,\nu\,\|a\|, | |||
</math></center> | |||
czyli nierówność dla zaburzenia w normie, ze stałą <math>\displaystyle K = K_2 K_1 K</math>. | |||
{{definicja|Algorytm numerycznie poprawny|| | |||
Algorytm <math>\displaystyle {\bf ALG}</math> rozwiązywania zadania | |||
nazywamy <strong>numerycznie poprawnym</strong> w zbiorze danych | |||
<math>\displaystyle F_0\subsetF</math>, jeśli dla każdej danej <math>\displaystyle f\inF_0</math> | |||
wynik <math>\displaystyle fl_\nu({\bf ALG}(f))</math> działania algorytmu w arytmetyce | |||
<math>\displaystyle fl_\nu</math> można zinterpretować jako nieco zaburzony wynik | |||
algorytmu w arytmetyce idealnej dla nieco zaburzonej informacji | |||
<math>\displaystyle y_\nu=(N(f))_\nu\inN(F)</math> o <math>\displaystyle f</math>, przy czym | |||
poziom zaburzeń nie zależy od <math>\displaystyle f</math>. | |||
Formalnie znaczy to, że istnieją stałe <math>\displaystyle K_1</math>, <math>\displaystyle K_2</math>, oraz | |||
<math>\displaystyle \nu_0>0</math> takie, że spełniony jest następujący warunek. | |||
Dla dowolnej <math>\displaystyle \nu\le\nu_0</math> oraz informacji <math>\displaystyle y\inN(F_0)</math> | |||
można dobrać <math>\displaystyle y_\nu\inN(F)</math> oraz | |||
<math>\displaystyle \left(\varphi(y_\nu)\right)_\nu</math> takie, że | |||
<center><math>\displaystyle \|y_\nu-y\|\,\le\,K_1\,\nu\,\|y\|, | |||
</math></center> | |||
<center><math>\displaystyle \|\left(\varphi(y_\nu)\right)_\nu - \varphi(y_\nu)\|\,\le\, | |||
K_2\,\nu\,\|\varphi(y_\nu)\|, | |||
</math></center> | |||
oraz | |||
<center><math>\displaystyle fl_\nu\left({\bf ALG}(f)\right)\,=\, | |||
fl_\nu\left(\varphi(N(f))\right)\,=\, | |||
\left(\varphi(y_\nu)\right)_\nu. | |||
</math></center> | |||
}} | |||
[[Image:MNcondition7.png|thumb|450px|center|Numerycznie poprawny algorytm daje w arytmetyce <math>\displaystyle fl_\nu</math> wynik <math>\displaystyle ALG(N(x))</math>, który daje | |||
się zinterpretować jako mało zaburzony wynik <math>\displaystyle f(y)</math> zadania na mało zaburzonych | |||
danych <math>\displaystyle x</math>.]] | |||
Zauważmy,że jeśli <math>\displaystyle f\inR^n</math>, | |||
<math>\displaystyle N(f)=(f_1,\ldots,f_n)</math>, oraz algorytm jest | |||
dokładny, <math>\displaystyle {\bf ALG}\equiv\varphi\equivS</math>, to numeryczną | |||
poprawność algorytmu można równoważnie zapisać jako | |||
<center><math>\displaystyle fl_\nu\left({\bf ALG}(f)\right)\,=\, | |||
\left(S(f_\nu)\right)_\nu. | |||
</math></center> | |||
==Rola uwarunkowania zadania== | |||
Niech <math>\displaystyle {\bf ALG}(\cdot)=\varphi(N(\cdot))</math> będzie algorytmem numerycznie | |||
poprawnym dla danych <math>\displaystyle F_0\subsetF</math>. Wtedy jego błąd w <math>\displaystyle fl_\nu</math> | |||
można oszacować następująco: | |||
<center><math>\displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\| \;=\; | |||
\|S(f)-\left(\varphi(y_\nu)\right)_\nu\| } \\ | |||
&\le & \|S(f)-\varphi(y)\|\,+\, | |||
\|\varphi(y)-\varphi(y_\nu)\|\,+\, | |||
\|\varphi(y_\nu)-\left(\varphi(y_\nu)\right)_\nu\| \\ | |||
&\le & \|S(f)-{\bf ALG}(f)\|\,+\, | |||
\|\varphi(y)-\varphi(y_\nu)\|\,+\, | |||
K_2\,\nu\,\|\varphi(y_\nu)\| \\ | |||
&\le & \|S(f)-{\bf ALG}(f)\|\,+\, | |||
(1 + K_2 \nu) \|\varphi(y)-\varphi(y_\nu)\|\,+\, | |||
K_2\,\nu\,\|\varphi(y)\|, | |||
\endaligned</math></center> | |||
przy czym <math>\displaystyle \|y_\nu-y\|\,\le\,K_1\,\nu\,\|y\|</math>. Stąd | |||
w szczególności wynika, że jeśli algorytm jest numerycznie | |||
poprawny i ciągły ze względu na informację <math>\displaystyle y</math>, to | |||
<center><math>\displaystyle \lim_{\nu\to 0}\,\|S(f)-fl_\nu({\bf ALG}(f))\|\,=\, | |||
\|S(f)-{\bf ALG}(f)\|. | |||
</math></center> | |||
To znaczy, że dla dostatecznie silnej arytmetyki algorytm będzie | |||
się zachowywał w <math>\displaystyle fl_\nu</math> prawie tak jak w arytmetyce idealnej. | |||
Z powyższych wzorów wynika, że błąd w <math>\displaystyle fl_\nu</math> algorytmu | |||
numerycznie poprawnego zależy w dużym stopniu od: | |||
* dokładności algorytmu w arytmetyce idealnej, | |||
* dokładności <math>\displaystyle \nu</math> arytmetyki <math>\displaystyle fl_\nu</math>, | |||
* wrażliwości algorytmu na małe względne zaburzenia informacji <math>\displaystyle y</math>. | |||
Ponieważ dwa pierwsze punkty są raczej oczywiste, poświęcimy | |||
trochę więcej uwagi jedynie trzeciemu. | |||
Jeśli <math>\displaystyle \varphi</math> spełnia warunek Lipschitza ze stałą <math>\displaystyle L</math>, | |||
a dokładniej | |||
<center><math>\displaystyle \|\varphi(y_\nu)-\varphi(y)\|\,\le\,L\,\|y_\nu-y\|, | |||
</math></center> | |||
to | |||
<center><math>\displaystyle \aligned \lefteqn{ \|S(f)-fl_\nu({\bf ALG}(f))\|} \\ | |||
&\le & \|S(f)-{\bf ALG}(f)\|\,+\, | |||
(1+K_2\nu)L\|y_\nu-y\|\,+\,K_2\nu\|\varphi(y)\| \\ | |||
&\le & \|S(f)-{\bf ALG}(f)\|\,+\, | |||
(1+K_2\nu)LK_1\nu\|y\|\,+\,K_2\nu\|\varphi(y)\|. | |||
\endaligned</math></center> | |||
W tym przypadku błędy zaokrągleń zwiększają błąd bezwzględny | |||
algorytmu proporcjonalnie do <math>\displaystyle \nu</math>. | |||
Bardziej jednak interesuje nas błąd <strong>względny</strong>. Wybierzmy | |||
"małe" <math>\displaystyle \eta\ge 0</math> i przypuśćmy, że | |||
<center><math>\displaystyle \|\varphi(y_\nu)-\varphi(y)\|\;\le\; | |||
M\,K_1\,\nu\,\max(\eta,\|\varphi(y)\|), | |||
</math></center> | |||
dla pewnej <math>\displaystyle M</math> niezależnej od <math>\displaystyle y</math>, tzn. błąd względny informacji, | |||
<math>\displaystyle \|y_\nu-y\|\le K_1\nu\|y\|</math>, przenosi się na błąd względny | |||
wyniku (w arytmetyce idealnej) ze "współczynnikiem wzmocnienia" | |||
<math>\displaystyle M</math>, albo na błąd bezwzględny ze współczynnikiem <math>\displaystyle M\eta</math>. | |||
(Zauważmy, że gdybyśmy wzięli <math>\displaystyle \eta=0</math> to dla <math>\displaystyle y</math> takiej, że | |||
<math>\displaystyle \varphi(y)=0</math> musiałoby być <math>\displaystyle \varphi(y_\nu)=0</math>, co zwykle, choć | |||
nie zawsze, nie jest prawdą.) Wtedy | |||
<center><math>\displaystyle \aligned \|S(f)-fl_\nu({\bf ALG}(f))\| | |||
& \le & \|S(f)-{\bf ALG}(f)\|+ | |||
(1 + K_2 \nu) M K_1 \nu \max (\eta, \|\varphi(y)\|)+ | |||
K_2 \nu \|\varphi(y)\| \\ | |||
&= \|S(f)-{\bf ALG}(f)\|\,+\,\nu\, | |||
\Big(\,MK_1(1+K_2\nu)+K_2\Big)\max(\eta,\|\varphi(y)\|). | |||
\endaligned</math></center> | |||
W szczególności, gdy algorytm jest dokładny i korzysta z pełnej | |||
informacji o <math>\displaystyle f</math>, tzn. <math>\displaystyle S\equiv{\bf ALG}\equiv\varphi</math>, to | |||
błąd | |||
<center><math>\displaystyle \frac{\|S(f)-fl_\nu({\bf ALG}(f))\|} | |||
{\max (\eta, \|S(f)\|)} \;\le\; | |||
\Big( M K_1 (1+K_2\nu) + K_2\Big)\,\nu | |||
\,\approx\,(M\,K_1\,+\,K_2)\,\nu. | |||
</math></center> | |||
Stąd wynika, że jeśli <math>\displaystyle (MK_1+K_2)\nu\ll 1</math> to błąd względny | |||
algorytmu w <math>\displaystyle fl_\nu</math> jest mały, o ile <math>\displaystyle \|S(f)\|\ge\eta</math>. | |||
Błąd względny jest proporcjonalny do dokładności <math>\displaystyle \nu</math>, | |||
arytmetyki <math>\displaystyle fl_\nu</math>, współczynników proporcjonalności <math>\displaystyle K_i</math> | |||
algorytmu numerycznie poprawnego, oraz do wrażliwości <math>\displaystyle M</math> | |||
zadania <math>\displaystyle S</math> na małe względne zaburzenia danych. | |||
Zwróćmy uwagę na istotny fakt, że interesują nas właściwie | |||
tylko te zaburzenia danych (informacji), które powstają przy | |||
analizie algorytmu numerycznie poprawnego. I tak, jeśli algorytm | |||
jest numerycznie poprawny z pozornymi zaburzeniami danych w normie, | |||
to trzeba zbadać wrażliwość zadania ze względu na zaburzenia | |||
danych w normie. Jeśli zaś mamy pozorne zaburzenia | |||
"po współrzędnych" (co oczywiście implikuje pozorne zaburzenia | |||
w normie) to wystarczy zbadać uwarunkowanie zadania ze względu na | |||
zaburzenia "po współrzędnych", itd. | |||
<div style="margin-top:1em; padding-top,padding-bottom:1em;"> | |||
<span style="font-variant:small-caps;">Przykład: Iloczyn skalarny</span> | |||
<div class="solution"> | |||
Załóżmy. że dla danych ciągów rzeczywistych o ustalonej | |||
długości <math>\displaystyle n</math>, <math>\displaystyle a_j</math>, <math>\displaystyle b_j</math>, <math>\displaystyle 1\le j\le n</math>, chcemy obliczyć | |||
<center><math>\displaystyle S(a,b)\,=\,\sum_{j=1}^n a_j b_j. | |||
</math></center> | |||
Rozpatrzymy algorytm dokładny zdefiniowany powyższym wzorem | |||
i korzystający z pełnej informacji o kolejnych współrzednych. | |||
Oznaczmy przez <math>\displaystyle \tilde a_j</math> i <math>\displaystyle \tilde b_j</math> reprezentacje liczb | |||
<math>\displaystyle a_j</math> i <math>\displaystyle b_j</math> w <math>\displaystyle fl_\nu</math>, <math>\displaystyle \tilde a_j=a_j(1+\alpha_j)</math>, | |||
<math>\displaystyle \tilde b_j=b_j(1+\beta_j)</math>, oraz przez <math>\displaystyle \gamma_j</math> i <math>\displaystyle \delta_j</math> | |||
błędy względne powstałe przy kolejnych mnożeniach i dodawaniach. | |||
Oczywiście <math>\displaystyle |\alpha_j|,|\beta_j|, |\gamma_j|, |\delta_j|\le\nu</math>. | |||
Otrzymujemy | |||
<center><math>\displaystyle \aligned fl_\nu\left(\sum_{j=1}^n a_jb_j\right) &= | |||
\Big(\,(fl_\nu(\sum_{j=1}^{n-1}a_jb_j)\,+\,\tilde a_n\tilde b_n | |||
(1+\gamma_n)\,\Big)(1+\delta_n)\,=\,\ldots \\ | |||
&= \bigg(\cdots\Big( | |||
\tilde a_1\tilde b_1(1+\gamma_1)+\tilde a_2\tilde b_2 | |||
(1+\gamma_2)\Big)(1+\delta_2) \\ | |||
& & \qquad\qquad\qquad\qquad +\cdots+ | |||
\tilde a_n\tilde b_n(1+\gamma_n)\bigg)(1+\delta_n) \\ | |||
&= \tilde a_1\tilde b_1(1+\gamma_1)(1+\delta_2) | |||
\cdots(1+\delta_n)\\ | |||
& & \qquad\qquad\qquad\qquad +\cdots+\tilde a_j | |||
\tilde b_j(1+\gamma_j)(1+\delta_j)\cdots(1+\delta_n) \\ | |||
&= \sum_{j=1}^n a_jb_j(1+e_j), | |||
\endaligned</math></center> | |||
gdzie w przybliżeniu (tzn. gdy <math>\displaystyle \nu\to 0</math>) mamy <math>\displaystyle |e_1|\leq (n+2)\nu</math> | |||
i <math>\displaystyle |e_j|\leq (n-j+4)\nu</math>, <math>\displaystyle 2\le j\le n</math>. Algorytm naturalny jest więc | |||
numerycznie poprawny w całym zbiorze danych, gdyż wynik otrzymany | |||
w <math>\displaystyle fl_\nu</math> można zinterpretować jako dokładny wynik dla danych | |||
<math>\displaystyle a_{\nu,j}=a_j</math> i <math>\displaystyle b_{\nu,j}=b_j(1+e_j)</math>, przy czym | |||
<math>\displaystyle \|b_\nu-b\|_p\leq (n+2)\nu\|b\|_p</math>. | |||
Zobaczmy teraz, jak błąd we współrzędnych <math>\displaystyle b_j</math> wpływa | |||
na błąd wyniku. Mamy | |||
<center><math>\displaystyle \aligned \Big|\sum_{j=1}^n a_jb_j-fl_\nu\Big(\sum_{j=1}^n a_jb_j\Big)\Big| | |||
&= \Big|\sum_{j=1}^n a_jb_j-\sum_{j=1}^n a_jb_j(1+e_j)\Big| \\ | |||
&= \Big|\sum_{j=1}^n e_ja_jb_j\Big| | |||
\,\le\, \sum_{j=1}^n |e_j||a_jb_j| \\ | |||
&\leq (n+2)\nu\sum_{j=1}^n |a_jb_j|. | |||
\endaligned</math></center> | |||
Stąd dla <math>\displaystyle \eta\ge 0</math> | |||
<center><math>\displaystyle \frac{|\sum_{j=1}^n a_jb_j-fl_\nu(\sum_{j=1}^n a_jb_j)|} | |||
{\max(\eta,|\sum_{j=1}^n a_jb_j|)} \,\leq\, | |||
K_{\eta}\,(n+2)\,\nu, | |||
</math></center> | |||
gdzie | |||
<center><math>\displaystyle K_\eta\,=\,K_\eta(a,b)\,=\,\frac{\sum_{j=1}^n |a_jb_j|} | |||
{\max(\eta,|\sum_{j=1}^n a_jb_j|) }. | |||
</math></center> | |||
Zauważmy, że jeśli iloczyny <math>\displaystyle a_jb_j</math> są wszystkie dodatnie | |||
albo wszystkie ujemne, to <math>\displaystyle K_\eta=1</math>, tzn. zadanie jest dobrze | |||
uwarunkowane, a błąd względny jest zawsze na poziomie co najwyżej | |||
<math>\displaystyle n\nu</math>. W tym przypadku algorytm zachowuje się bardzo dobrze, o ile | |||
liczba <math>\displaystyle n</math> składników nie jest horendalnie duża. W ogólności | |||
jednak <math>\displaystyle K_\eta</math> może być liczbą dowolnie dużą i wtedy nie możemy | |||
być pewni uzyskania dobrego wyniku w <math>\displaystyle fl_\nu</math>. | |||
</div></div> | |||
<!-- | |||
<div style="margin-top:1em; padding-top,padding-bottom:1em;"> | |||
<span style="font-variant:small-caps;">Przykład: Pierwiastki trójmianu</span> | |||
<div class="solution"> | |||
Rozpatrzymy teraz zadanie obliczenia wszystkich pierwiastków | |||
rzeczywistych równania kwadratowego. | |||
Będziemy zakładać, że model obliczeniowy dopuszcza obliczanie | |||
pierwiastków kwadratowych z liczb nieujemnych oraz | |||
<math>\displaystyle fl_\nu(\sqrt{x})=rd_\nu(\sqrt{rd_\nu(x)})</math>. | |||
Okazuje się, że nie umiemy pokazać numerycznej poprawności | |||
"szkolnego" algorytmu obliczającego pierwiastki równania | |||
bezpośrednio ze wzorów omawianych powyżej. Można jednak pokazać | |||
numeryczną poprawność drobnej jego modyfikacji wykorzystującej | |||
wzory Viete'a. | |||
{{algorytm||| | |||
<pre> | |||
Delta = p*p - q; | |||
if (Delta == 0) | |||
OUT(p); | |||
else | |||
if (Delta > 0) | |||
{ | |||
Delta1 = sqrt(d); | |||
if (p >= 0) | |||
{ | |||
x1 = p + Delta1; | |||
x2 = q/z1; | |||
} | |||
else | |||
{ | |||
x2 = p - Delta1; | |||
x1 = q/ź2; | |||
} | |||
OUT(x1); OUT(x2); | |||
} | |||
</pre>}} | |||
Mamy bowiem | |||
<center><math>\displaystyle \aligned fl_\nu(\Delta(p,q)) &= \Big(p^2(1+\alpha)^2(1+\epsilon_1)-q(1+\beta)\Big) | |||
(1+\epsilon_2) \\ | |||
&= \left( p^2-q\frac{(1+\beta)}{(1+\alpha)^2(1+\epsilon_1)}\right) | |||
(1+\epsilon_2)(1+\alpha)^2(1+\epsilon_1) \\ | |||
&= \Big(p^2-q(1+\delta)\,\Big)(1+\gamma) \,=\, | |||
\Delta(p,q(1+\delta))(1+\gamma), | |||
\endaligned</math></center> | |||
gdzie <math>\displaystyle |\delta|,|\gamma|\leq 4\nu</math>. Wyróżnik obliczony w <math>\displaystyle fl_\nu</math> | |||
jest więc nieco zaburzonym wyróżnikiem dokładnym dla danych | |||
<math>\displaystyle p</math> i <math>\displaystyle q_\nu=q(1+\delta)</math>. W szczególności | |||
<center><math>\displaystyle \mbox{sgn} (fl_\nu(\Delta(p,q)))= \mbox{sgn} (\Delta(p,q_\nu)). | |||
</math></center> | |||
Jeśli <math>\displaystyle p\ge 0</math> to | |||
<center><math>\displaystyle \aligned fl_\nu(x1(p,q)) &= \Big(p(1+\alpha)+ | |||
\sqrt{fl_\nu(\Delta(p,q))}(1+\epsilon_3)\Big)(1+\epsilon_4) \\ | |||
&= \Big(p(1+\alpha)+\sqrt{\Delta(p,q_\nu) | |||
(1+\gamma)}(1+\epsilon_3)\Big)(1+\epsilon_4) \\ | |||
&= \left(p+\sqrt{\Delta(p,q_\nu)}\frac{\sqrt{1+\gamma}(1+\epsilon_3)} | |||
{1+\alpha}\right)(1+\epsilon_4)(1+\alpha) \\ | |||
&= \left(p+\sqrt{\Delta(p,q_\nu)}\right)(1+e_1), | |||
\endaligned</math></center> | |||
gdzie <math>\displaystyle |e_1|\leq 6\nu</math>. Zauważmy, że ostatnia równość | |||
zachodzi dlatego, że dodajemy liczby tego samego znaku. (Inaczej | |||
<math>\displaystyle |e_1|</math> mogłaby być dowolnie duża i tak byłoby w algorytmie | |||
szkolnym.) Dla drugiego pierwiastka mamy | |||
<center><math>\displaystyle fl_\nu(x2(p,q))\,=\,\frac {q(1+\beta)}{fl_\nu(x1(p,q))}(1+\epsilon_5) | |||
\,=\,\frac{q_\nu}{fl_\nu(x1(p,q))}(1+e_2), | |||
</math></center> | |||
gdzie <math>\displaystyle |e_2|\le 8\nu</math>. | |||
Podobny wynik otrzymalibyśmy dla <math>\displaystyle p<0</math>. Algorytm zmodyfikowany | |||
jest więc numerycznie poprawny, gdyż otrzymane w <math>\displaystyle fl_\nu</math> pierwiastki | |||
są nieco zaburzonymi dokładnymi pierwiatkami dla danych | |||
<math>\displaystyle p_\nu=p</math> i <math>\displaystyle q_\nu=q(1+\delta)</math>. | |||
Aby oszacować błąd algorytmu, wystarczy zbadać uwarunkowanie | |||
zadania ze względu na zaburzenie danej <math>\displaystyle q</math>, ponieważ pokazaliśmy, | |||
że zaburzenia <math>\displaystyle p</math> można przenieść na zaburzenia <math>\displaystyle q</math> i wyniku. | |||
Niestety, choć algorytm jest numerycznie poprawny, zaburzenia | |||
<math>\displaystyle q</math> mogą sprawić, że nawet znak wyróżnika <math>\displaystyle \Delta</math> może być | |||
obliczony nieprawidłowo. Na przykład dla <math>\displaystyle p=1</math> i <math>\displaystyle q=1\pm 10^{t+1}</math> | |||
mamy <math>\displaystyle \Delta(p,q)=\mp 10^{t+1}</math>, ale | |||
<math>\displaystyle \Delta(rd_\nu(p),rd_\nu(q))=\Delta(1,1)=0</math>. Ogólnie | |||
<center><math>\displaystyle |fl_\nu(\Delta(p,q))-\Delta(p,q)|\,\leq\,4\nu(p^2+2|q|), | |||
</math></center> | |||
a więc tylko dla <math>\displaystyle |\Delta(p,q)|=|p^2-q|>4\nu (p^2+2|q|)</math> | |||
możemy być pewni obliczenia właściwego znaku <math>\displaystyle \Delta</math>. Przy | |||
tym warunku oraz <math>\displaystyle \Delta>0</math> błąd danych przenosi się w | |||
normie euklidesowej na błąd wyniku następująco: | |||
<center><math>\displaystyle \aligned \lefteqn{ \Big( (x1(p,q) - x1(p,q_\nu))^2 | |||
+(x2(p,q) - x2(p,q_\nu))^2 \Big)^{1/2} } \\ | |||
&= \frac{\sqrt 2 |\delta q|} {\sqrt{p^2-q}+\sqrt{p^2-q_\nu}} | |||
\,\leq\, 2\sqrt 2 \nu\frac{|q|}{\sqrt{p^2-q}} \\ | |||
&= 2\sqrt 2 \nu\frac{|q|/p^2}{\sqrt{1-q/p^2} | |||
\max(\eta/|p|,\sqrt{2(1+(1-q/p^2))}) } \\ | |||
& & \qquad\qquad\qquad\cdot\max(\eta,(x1(p,q)^2+x2(p,q)^2)^{1/2}). | |||
\endaligned</math></center> | |||
Stąd widać, że zadanie jest dobrze uwarunkowane dla <math>\displaystyle q/p^2\ll 1</math> | |||
i może być źle uwarunkowane dla <math>\displaystyle q/p^2\approx 1</math>. W ostatnim | |||
przypadku nie możemy być pewni otrzymania dobrego wyniku w <math>\displaystyle fl_\nu</math>. | |||
</div></div> | |||
--> |
Wersja z 18:12, 1 wrz 2006
Własności zadania obliczeniowego i algorytmu numerycznego
Uwarunkowanie zadania obliczeniowego
Jak zobaczyliśmy w poprzednich przykładach, dane, jakimi dysponujemy wykonując zadanie obliczeniowe są z natury rzeczy wartościami zaburzonymi. Źródłem tych zaburzeń są:
- błąd reprezentacji danych w arytmetyce zmiennoprzecinkowej (0.1 nie jest
równe dokładnie )
- błędy w parametrach będących rezultatem poprzednich obliczeń (chcemy
rozwiązać równanie , ale jest rezultatem innej symulacji), a także
- błędy pomiarowe w zadaniach praktycznych (chcemy policzyć
numeryczną prognozę pogody, ale temperaturę wyjściową znamy tylko z dokładnością do 0.1 stopnia, co gorsza --- z niektórych stacji w ogóle nie mamy danych)
Okazuje się, że powszechna intuicja, że małe zaburzenia danych powinny dawać małe zaburzenia wyniku, nie znajduje potwierdzenia nawet w bardzo prostych przypadkach. Z drugiej strony, umiejętność oceny jakościowego wpływu zaburzenia danych na wynik jest kapitalna w świecie obliczeń numerycznych w ogólności, a w szególności --- inżynierskich.
Wprowadza się pojęcie uwarunkowania zadania, to znaczy jego podatności na zaburzenia danych. Dla przejrzystości, przypuśćmy, że nasze zadanie obliczeniowe polega na wyznaczeniu dla danego .
Jak bardzo będzie odległe
, gdy ? Rozważa się dwa przypadki:
- uwarunkowanie względne: jak względne zaburzenie danych wpływa na błąd
względny wyniku:
Najmniejszy mnożnik spełniający powyższą nierówność nazywamy współczynnikiem uwarunkowania (względnego) zadania obliczenia dla danego .
- uwarunkowanie bezwzględne: jak bezwzględne zaburzenie danych wpływa na błąd
bezwzględny wyniku:
Najmniejszy mnożnik spełniający powyższą nierówność nazywamy współczynnikiem uwarunkowania (bezwzględnego) zadania obliczenia dla danego .
Powiemy, że zadanie jest
- dobrze uwarunkowane w punkcie , gdy ,
- źle uwarunkowane w punkcie , gdy ,
- źle postawione w punkcie , gdy .
Teraz już rozumiemy, że redukcja cyfr przy odejmowaniu jest tylko odzwierciedleniem faktu, że zadanie odejmowania dwóch bliskich liczb jest po prostu zadaniem źle uwarunkowanym!
Przykład: Uwarunkowanie zadania obliczenia sumy
Właściwie już wcześniej sprawdziliśmy, że zadanie obliczenia ma
Tak więc, gdy , to i zadanie jest bardzo źle uwarunkowane. Nawet małe zaburzenie względne danych może skutkować bardzo dużym zaburzeniem wyniku. Zgodnie z prawem Murphy'ego, najczęściej rzeczywiście tak będzie...
Przykład
Dla różniczkowalnej funkcji skalarnej mamy
i w konsekwencji dla zadania obliczenia dla danego mamy, przy założeniu małych zaburzeń,
Możnaby myśleć, że złe uwarunkowanie zawsze jest szkodliwe w praktyce numerycznej. Najczęściej właśnie tak jest istotnie. Jednak w praktyce numerycznej sporadycznie zdarza się, że Dodaj link: złe uwarunkowanie pewnego podzadania nie tylko nie pogarsza sytuacji, ale wręcz pomaga szybciej rozwiązać zadanie główne!
Rozkład algorytmu względem informacji
Algorytm to dokładnie określona i dozwolona w danym modelu obliczeniowym sekwencja akcji, pozwalająca na rozwiązanie danego zadania (w sposób dokładny lub przybliżony).
Z każdym algorytmem związany jest operator
taki że jest wynikiem działania algorytmu w arytmetyce idealnej dla danej .
Zauważmy, że wynik działania algorytmu nie zależy bezpośrednio od , ale raczej od informacji o (uzyskanej dzięki poleceniu ). Informacja ta może być pełna albo tylko częściowa. Informacja jest pełna gdy, np. Parser nie mógł rozpoznać (nieznana funkcja „\inR”): {\displaystyle \displaystyle f=(f_1,\ldots,f_n)\inR^n} i wczytamy wszystkie współrzędne . Informacja może być częściowa, gdy jest funkcją. Wtedy wiele danych może posiadać tę samą informację, co łatwo zaobserwować na przykładzie zadania całkowania.
Niech Parser nie mógł rozpoznać (nieznana funkcja „\inftyR”): {\displaystyle \displaystyle N:F\to\cup_{n=0}^\inftyR^n} będzie operatorem informacji, tzn.
jest informacją o zebraną przy idealnej realizacji algorytmu. Zauważmy, że nformacja jest pełna gdy jest przekształceniem różnowartościowym, tzn. jeśli Parser nie mógł rozpoznać (nieznana funkcja „\nef”): {\displaystyle \displaystyle f_1\nef_2} implikuje Parser nie mógł rozpoznać (nieznana funkcja „\neN”): {\displaystyle \displaystyle N(f_1)\neN(f_2)} . W przeciwnym przypadku mamy do czynienia z informacją częściową.
Każdy algorytm może być przedstawiony jako złożenie operatora informacji i pewnego operatora Parser nie mógł rozpoznać (nieznana funkcja „\toG”): {\displaystyle \displaystyle \varphi:N(F)\toG} zdefiniowanego równością
Zauważmy, że w przypadku informacji częściowej zwykle nie istnieje algorytm dający dokładne rozwiązanie zadania dla każdej danej Parser nie mógł rozpoznać (nieznana funkcja „\inF”): {\displaystyle \displaystyle f\inF} , ponieważ dla danych o tej samej informacji mogą istnieć różne rozwiązania.
Problem wyboru algorytmu
Wybór algorytmu jest najistotniejszą częścią całego procesu numerycznego rozwiązywania zadania. Kierujemy się przy tym przede wszystkim następującymi kryteriami:
- dokładnością algorytmu,
- złożonością algorytmu,
- własnościami numerycznymi algorytmu.
Przez dokładność algorytmu rozumiemy różnicę między rozwiązaniem dokładnym , a rozwiązaniem dawanym przez algorytm w arytmetyce idealnej. Jeśli , , to algorytm nazywamy dokładnym.
Mówiąc o złożoności, mamy na myśli złożoność pamięciową (zwykle jest to liczba stałych i zmiennych używanych przez algorytm), jak również złożoność obliczeniową. Na złożoność obliczeniową algorytmu dla danej składa się koszt uzyskania infomacji (zwykle jest on proporcjonalny do liczby wywołań polecenia ), oraz koszt kombinatoryczny przetworzenia tej informacji, aż do uzyskania wyniku . Koszt kombinatoryczny zwykle mierzymy liczbą operacji arytmetycznych wykonywanych przez algorytm.
Przez własności numeryczne algorytmu rozumiemy jego własności przy realizacji w arytmetyce . Temu ważnemu tematowi poświęcimy teraz osobny paragraf.
Numeryczna poprawność algorytmu
Pożądane jest, aby algorytm dawał "dobry" wynik zarówno w arytmetyce idealnej, jak i w arytmetyce . Niestety, jak zobaczymy, nie zawsze jest to możliwe. Nawet jeśli algorytm jest dokładny to w wyniku jego realizacji w możemy otrzymać wynik daleko odbiegający od . W szczególności, prawie zawsze mamy
Zauważmy również, że o ile z reguły znamy dokładne zachowanie się algorytmu w arytmetyce idealnej dla danej informacji, to nie można tego samego powiedzieć o jego zachowaniu się w arytmetyce . W związku z tym powstaje pytanie, jak kontrolować błąd algorytmów wynikający z błędów zaokrągleń i jakie algorytmy uznamy za te o najwyższej jakości numerycznej.
Istnienie błędów reprezentacji liczb rzeczywistych powoduje, że informacja o danej nie jest w ogólności reprezentowana dokładnie. Znaczy to, że zamiast na informacji dokładnej, dowolny algorytm będzie operować na informacji nieco zaburzonej , tzn. zaburzonej na poziomie błędu reprezentacji. Tak samo wynik dawany przez algorytm będzie w ogólności zaburzony na poziomie błędu reprezentacji. W najlepszym więc wypadku wynikiem działania algorytmu w będzie zamiast . Algorytmy dające tego rodzaju wyniki uznamy za posiadające najlepsze własności numeryczne w arytmetyce i nazwiemy numerycznie poprawnymi.
Dokładniej, powiemy, że ciąg rzeczywisty (a właściwie rodzina ciągów ) jest nieco zaburzonym ciągiem , jeśli istnieje stała taka, że dla wszystkich dostatecznie małych zachodzi
albo ogólniej
gdzie jest pewną normą w . W pierwszym przypadku mówimy o zaburzeniu "po współrzędnych", a w drugim o zaburzeniu w normie .
Zauważmy, że niewielkie zaburzenia po współrzędnych pociągają za sobą niewielkie zaburzenia w normie. Rzeczywiście, zachodzi wówczas
i korzystając z faktu, że w przestrzeni skończenie wymiarowej wszystkie normy są równoważne otrzymujemy dla pewnych stałych i
czyli nierówność dla zaburzenia w normie, ze stałą .
Definicja Algorytm numerycznie poprawny
Algorytm rozwiązywania zadania nazywamy numerycznie poprawnym w zbiorze danych Parser nie mógł rozpoznać (nieznana funkcja „\subsetF”): {\displaystyle \displaystyle F_0\subsetF} , jeśli dla każdej danej Parser nie mógł rozpoznać (nieznana funkcja „\inF”): {\displaystyle \displaystyle f\inF_0} wynik działania algorytmu w arytmetyce można zinterpretować jako nieco zaburzony wynik algorytmu w arytmetyce idealnej dla nieco zaburzonej informacji Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y_\nu=(N(f))_\nu\inN(F)} o , przy czym poziom zaburzeń nie zależy od .
Formalnie znaczy to, że istnieją stałe , , oraz takie, że spełniony jest następujący warunek. Dla dowolnej oraz informacji Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y\inN(F_0)} można dobrać Parser nie mógł rozpoznać (nieznana funkcja „\inN”): {\displaystyle \displaystyle y_\nu\inN(F)} oraz takie, że
oraz

Zauważmy,że jeśli Parser nie mógł rozpoznać (nieznana funkcja „\inR”): {\displaystyle \displaystyle f\inR^n} , , oraz algorytm jest dokładny, Parser nie mógł rozpoznać (nieznana funkcja „\equivS”): {\displaystyle \displaystyle {\bf ALG}\equiv\varphi\equivS} , to numeryczną poprawność algorytmu można równoważnie zapisać jako
Rola uwarunkowania zadania
Niech będzie algorytmem numerycznie poprawnym dla danych Parser nie mógł rozpoznać (nieznana funkcja „\subsetF”): {\displaystyle \displaystyle F_0\subsetF} . Wtedy jego błąd w można oszacować następująco:
przy czym . Stąd w szczególności wynika, że jeśli algorytm jest numerycznie poprawny i ciągły ze względu na informację , to
To znaczy, że dla dostatecznie silnej arytmetyki algorytm będzie się zachowywał w prawie tak jak w arytmetyce idealnej.
Z powyższych wzorów wynika, że błąd w algorytmu numerycznie poprawnego zależy w dużym stopniu od:
- dokładności algorytmu w arytmetyce idealnej,
- dokładności arytmetyki ,
- wrażliwości algorytmu na małe względne zaburzenia informacji .
Ponieważ dwa pierwsze punkty są raczej oczywiste, poświęcimy trochę więcej uwagi jedynie trzeciemu.
Jeśli spełnia warunek Lipschitza ze stałą , a dokładniej
to
W tym przypadku błędy zaokrągleń zwiększają błąd bezwzględny algorytmu proporcjonalnie do .
Bardziej jednak interesuje nas błąd względny. Wybierzmy "małe" i przypuśćmy, że
dla pewnej niezależnej od , tzn. błąd względny informacji, , przenosi się na błąd względny wyniku (w arytmetyce idealnej) ze "współczynnikiem wzmocnienia" , albo na błąd bezwzględny ze współczynnikiem . (Zauważmy, że gdybyśmy wzięli to dla takiej, że musiałoby być , co zwykle, choć nie zawsze, nie jest prawdą.) Wtedy
W szczególności, gdy algorytm jest dokładny i korzysta z pełnej informacji o , tzn. , to błąd
Stąd wynika, że jeśli to błąd względny algorytmu w jest mały, o ile . Błąd względny jest proporcjonalny do dokładności , arytmetyki , współczynników proporcjonalności algorytmu numerycznie poprawnego, oraz do wrażliwości zadania na małe względne zaburzenia danych.
Zwróćmy uwagę na istotny fakt, że interesują nas właściwie tylko te zaburzenia danych (informacji), które powstają przy analizie algorytmu numerycznie poprawnego. I tak, jeśli algorytm jest numerycznie poprawny z pozornymi zaburzeniami danych w normie, to trzeba zbadać wrażliwość zadania ze względu na zaburzenia danych w normie. Jeśli zaś mamy pozorne zaburzenia "po współrzędnych" (co oczywiście implikuje pozorne zaburzenia w normie) to wystarczy zbadać uwarunkowanie zadania ze względu na zaburzenia "po współrzędnych", itd.
Przykład: Iloczyn skalarny
Załóżmy. że dla danych ciągów rzeczywistych o ustalonej długości , , , , chcemy obliczyć
Rozpatrzymy algorytm dokładny zdefiniowany powyższym wzorem i korzystający z pełnej informacji o kolejnych współrzednych.
Oznaczmy przez i reprezentacje liczb i w , , , oraz przez i błędy względne powstałe przy kolejnych mnożeniach i dodawaniach. Oczywiście . Otrzymujemy
gdzie w przybliżeniu (tzn. gdy ) mamy i , . Algorytm naturalny jest więc numerycznie poprawny w całym zbiorze danych, gdyż wynik otrzymany w można zinterpretować jako dokładny wynik dla danych i , przy czym .
Zobaczmy teraz, jak błąd we współrzędnych wpływa na błąd wyniku. Mamy
Stąd dla
gdzie
Zauważmy, że jeśli iloczyny są wszystkie dodatnie albo wszystkie ujemne, to , tzn. zadanie jest dobrze uwarunkowane, a błąd względny jest zawsze na poziomie co najwyżej . W tym przypadku algorytm zachowuje się bardzo dobrze, o ile liczba składników nie jest horendalnie duża. W ogólności jednak może być liczbą dowolnie dużą i wtedy nie możemy być pewni uzyskania dobrego wyniku w .