Zaawansowane algorytmy i struktury danych/Wykład 14

Algorytmy równoległe II

W module tym zajmiemy się obliczaniem wyrażeń arytmetycznych i równoległymi obliczeniami na drzewach związanymi z tzw. kontrakcją drzew

Obliczanie wyrażeń arytmetycznych: algorytm jednoczesnych podstawień

Zakładamy, że wyrażenie zadane jest przez program sekwencyjny (w skrócie PS). Program taki jest sztywną sekwencją operacji, bez instrukcji warunkowych. PS jest bardzo prostym modelem obliczeń sekwencyjnych. Bardziej precyzyjnie, definiujemy program sekwencyjny jako ciąg instrukcji przypisań postaci $x_i:=W_i$, gdzie $W_i$ jest wyrażeniem arytmetycznym zawierającym $O(1)$ operacji. W przypadku gdy operacje są logiczne PS nazywamy obwodem logicznym (ang. boolean circuit). Ogólnie problem obliczenia wartości obwodu logiczngo jest P-zupełny, podobnie jest dla arytmetycznych programów sekwencyjnych. Problemy te są w klasie NC gdy graf związany z programem sekwencyjnym jest drzewem, a sam program odpowiada obliczaniu wyrażenia arytmetycznego, co będziemy dalej zakładać.

Zmienne w programie sekwencyjnym są ponumerowane. Jeśli po lewej stronie instrukcji przypisania jest zmienna $x_i$ a po prawej zmienna $x_j$ to wymagamy aby $j<i$. Zakładamy, że struktura obliczeń jest drzewem oraz operacje są ze zbioru $\{+,-,*,/\}$.

Obserwacja Program sekwencyjny odpowiada układowi arytmetycznemu w sensie poprzedniego modułu. Mamy tutaj do czynienia z transformacją układu arytmetycznego na równoważny układ który ma małą (logarytmiczną) wysokość. W przypadku układu arytmetycznego liczba węzłów odpowiada czasowi sekwencyjnemu a wysokość czasowi równoległęmu.

Sekwencyjna pojedyncza operacja podstawiania polega na zastąpieniu zmiennej $x_j$ w danym wyrażeniu $W_i$,gdzie $i>j$ przez $W_j$ oraz redukcji wyrażenia po podstawieniu. \myskip Mówimy, że zmienna $x_j$ jest bezpieczna gdy jej prawa strona w programie sekwencyjnym (wyrażenie $W_j$) zawiera co najwyżej jedną zmienną. W przykładzie poniżej pierwsze 5 zmiennych są bezpieczne.

Przykład

Rozważmy następujący program sekwencyjny $P$:

$x1=1$, $x2=2$, $x3=6$, $x4=4$, $x5=x3+2$,

$x6=x2+x1$, $x7=3*x6+2*x5$, $x8=2*x7+x4$.

Na przykład po wykonaniu wszystkich bezpiecznych podstawień (w tym wypadku tylko zastąpienie $x5$ przez $x3+2$) do prawej strony dla x7 otrzymujemy

$x7=3*x6+2*x3+4$.

Operacja Reduce polega na wykonaniu jednocześnie wszystkich bezpiecznych podstawień we wszystkich wyrażeniach $W_i$. W programie rozważamy tylko te zmienne, które są istotne z punktu widzenia liczenia ostatecznego wyniku $x_n$. Zmienne te nazywamy istotnymi, są one osiągalne ze zmiennej $x_n$ w grafie programu. Oznaczmy przez Reduce(P) nowy program sekwencyjny, bez zmiennych nieistotnych.

Algorytm JP

---

(Algorytm Jednoczesnych-Podstawien)

repeat {Operacja Reduce}

for each $x_i$ do in parallel

   wykonaj jednoczesnie wszystkie bezpieczne podstawienia w $W_i$.

until $x_n$ obliczone;

Historia algorytmu dla przykładowego programu P danego powyżej wygląda następująco, gdzie Parser nie mógł rozpoznać (nieznana funkcja „\textsl”): {\displaystyle P=P_0, P_{i+1}= \textsl{Reduce}(P_i)} .

$P_1$:
   $x3=6$; $x6=3$;
   $x7=3*x6+2*x3+4$;
   $x8=2*x7+4$.

$P_2$:
   $x7=25$, $x8=2*x7+4$.

$P_3$:
   $x8=54$.

Pokażemy, że algorytm wykonuje $O(\log n)$ iteracji. Udowodnimy bardzo precyjne oszacowanie: rozmiar najmniejszego programu sekwencyjnego, który wmaga $k$ iteracji jest równy $k$-tej liczbie Fibonacciego. Jest to zaskakująco podobne do analogicznego faktu dla drzew AVL, czas równoległy odpowiada wysokości drzewa.

Równoległa kontrakcja drzew

Grafem obliczeń $T={𝒢}{(}{𝒫}{)}$ programu sekwencyjnego $P$ jest skierowany graf acykliczny którego węzły odpowiadają zmiennych biorącym aktualnie udział w obliczeniu $x_n$. Synami węzła $x_i$ (zmiennej) są zmienne występujące w danym momencie w $W_i$. Graf $T$ zawiera tylko węzły osiągalne z korzenia $x_n$. Przez rozmiar rozumiemy liczbę węzłów grafu (liczbę zmiennych w przypadku PS).

Zauważmy, że w danej iteracji algorytmu JP rozmiar grafu $T$ może być znacznie mniejszy niż $n$, ponieważ wiele zmiennych możebyć nieosiągalnych z korzenia.

Jedna iteracja Reduce ($P_i\to P_{i+1}$) odpowiada następującej operacji $Contract({𝒢}(P_i))$,\ patrz rysunek.

Rysunek 1. Składowe operacje jednej iteracji Contract(T): Compress oraz Rake.

W rzeczywistości możemy zapomnieć o algorytmie JP i maszynie PRAM. Obliczanie na drzewie jest samo w sobie sensownym modelem obliczeń równoległych. Czas równoległy jest liczbą iteracji, któraprzekształca początkowe drzewo w drzewo jednoelementowe. Z każdą krawędzią $e=(x_i,x_j)$ grafu ${𝒢}{(}{𝒫}{)}$ jest związana pewna funkcja $f_e(x)$ postaci:

$f_e(x)=\frac{ax+b}{cx+d},$

gdzie $a,b,c,d$ są pewnymi stałymi. Początkowo funkcja ta jest identycznościowa. Jeśli w danym momencie następnikami węzła $x_i$ są$x_j,x_k$, oraz $e1=(x_i,x_j),e2=(x_i,x_k)$ to wartością zmiennej $x_i$ jest: $f_{e1}(x_j)\otimes f_{e2}(x_k)$, gdzie $\otimes$ jest operacją arytmetyczną odpowiadającą węzłowi $x_i$, w grafie obliczeń operacja ta jest niezmienna, podstawianie wyrażeń za zmienne odbywa się na funkcjach na krawędziach. Jeśli wartości $x_j,x_k$ są obliczone (zmienne te odpowiadają aktualnie liściom) to wartość Parser nie mógł rozpoznać (nieznana funkcja „\otimesf”): {\displaystyle f_{e1}(x_j) \otimesf_{e2}(x_k)} jest konkretną końcową wartością zmiennej $x_i$.

Rozważamy też spłaszczoną wersję $T^{\prime }=squash(T)$ drzewa T, odpowiadającą algorytmowi kontrakcji. W drzewie T' wewnętrzne węzły odpowiadają zmiennych programu sekwencyjnego lub krawędziom między zmiennymi, wartością krawędzi$e$ jest funkcja $f_e$ reprezentowana przez cztery stałe $a,b,c,d$. Jeśli krawędź $e1=(x,z)$ jest kompozycją dwóch krawędzi $e1=(x,y),e2=(y,z)$ to wartością $f_e$ jest kompozycja funkcji $f_{e1},f_{e2}$. Kompozycja ta polega na wykonaniu operacji na czterch stałych odpowiadających funkcjom. Jeśli zależność jest tylko odjednej krawędzi to automatycznie rozumiemy że funkcja odpowiadająca pominiętej krawędzi jest identycznościowa (a takie są początkowo wszystkie funkcje w początkowym grafie ${𝒢}{(}{𝒫}{)}$). Na następującym przykładzie pokażemy jak działa operacja Contract i w jaki sposób związana jest ona z algorytmem JP.

Rysunek 2. Przykładowe drzewo $T$ wyrażenia, początkowe wartości w liściach są podane w kwadracikach, numery węzłów są w podane w nawiasach.

Rysunek 3. Drzewo $T_1=Contract(T)$ razem z dodatkowymi funkcjami na krawędziach. Brak funkcji oznacza funkcję identycznościową.

Rysunek 4. Kolejne drzewa $T_3,T_4,T_5$. Algorytm wykonuje 4 kontrakcje.

Rysunek 5. Spłaszczone drzewo $T^{\prime }=squash(T)$ liczące to samo co drzewo T, ale mające mniejszą wysokość(ogólnie logarytmiczną). Drzewo to można jeszcze bardziej spłaszczyć kompresując łańcuchy dwukrawędziowe (eliminując węzły wewnętrzne mające dokładnie jednego syna.

Oszacowanie liczby kontrakcji

Załóżmy, że graf ${𝒢}{(}{𝒫}{)}$ programu sekwencyjnego P jest drzewem T. Wtedy liczba iteracji algorytmu JP jest równa liczbie kontrakcji drzewa T, po której korzeń T staje się liściem. Przez $TIME(n)$ oznaczmy maksymalną liczbę kontrakcji potrzebnych do zredukowania do jednego węzła drzewa o $n$ węzłach. Niech $Fi{b}_n$ będziem $n$-tą liczbą Fibonacciego, gdzie $Fi{b}_0=1,Fi{b}_1=2$. Udowodnimy:

Twierdzenie

(a) $TIME(Fi{b}_n)=n$.

(b) Parser nie mógł rozpoznać (błąd składni): {\displaystyle Fib_k \le n < Fib_{k+1'''\ \Rightarrow \ TIME(n)=k} .

Jako bezpośredni wniosek otrzymujemy:

Parser nie mógł rozpoznać (błąd składni): {\displaystyle \log_{\phi}+c \le TIME(n) \le \log_{\phi}+c,\ \textrm{dla pewnej stałej c},}

gdzie $\mathrm{\Phi }=\frac{1+\sqrt{5}}{2}$ jest liczbą tzw. złotego podziału (w przybliżeniu $\mathrm{\Phi }\approx 1.6$).

Udowodnimy najpierw, że $TIME(Fi{b}_k)\ge k$. Niech $T_k$ będzie $k$-tym drzewem Fibonacciego, zdefiniowanym na rysunku. Drzewo $T_{k+2}$ powstaje przez utożsamienie korzeni dwóch początkowo rozłącznych wierzchołkowo drzew $T_k$ i $T_{k+1}$, oraz dodanie nowego korzenia.

Rysunek 6. Drzewa Fibonacciego.

Pozostawiamy jako ćwiczenie uzasadnienie tego, że $|T_k|=Fi{b}_k$ oraz $Contract(T_k)=T_{k-1}$.

Wynika stąd, że $TIME(Fi{b}_k)\ge k$.

Przejdziemy teraz do dowodu następującego faktu.

Lemat o kontrakcji

$n\le Fi{b}_k\Rightarrow TIME(n)\le k$.

Wprowadzamy pojęcie statycznego węzła, jako liścia, który nigdy nie może być odcięty, nie możemy usunąć krawędzi prowadzącej do niego. Poza tym operacja kontrakcji działa tak jak poprzednio. Na rysunkach statyczny węzeł jest zaznaczony jako kwadracik. Jeśli drzewo ma dokładnie jeden statyczny węzeł, to po pewnej liczbie kontrakcji otrzymujemy drzewo składające się tylko z korzenia i tego węzła. Oznaczmy przez $TIM{E}^{\prime }(n)$ maksymalną liczbę kontrakcji dla drzewa mającego n węzłów, które doprowadzają do takiej sytuacji. W liczbę n nie wliczamy węzła statycznego.

Pozostawiamy jako ćwiczenie dowód tego, że $TIM{E}^{\prime }(Fi{b}_k+1)>k$.

Następujący dosyć oczywisty fakt jest użyteczny w dalszym dowodzie Lematu o Kontrakcji.

Fakt. Niech $x\in T$, oraz $T^{\prime },T_x$ będą takie jak pokazane na Rysunku 7. Jeśli $t$ kontrakcji redukuje< math>T'</math> do drzewa rozmiaru jeden (nie licząc węzła statycznego), to po $t$ kontrakcjach drzewo $T$ redukuje się do pojedyńczego węzła staje się drzewem złożonym tylko z korzenia któreggo jedynem następnikiem jest liść lub element drzewa $T_x$.

Rysunek 7. Graficzna definicja drzew $T^{\prime }$, $T_x$.

Udowodnimy lemat, który będzie rozszerzeniem Lematu o kontrakcji. Celowo wzmacniamy tezę aby ułatwić dowód przez indukcję.

Lemat Wzmocniony Lemat o kontrakcji

(a) $n<FI{B}_k\Rightarrow TIME(n)<k-1$;

(b)$n\le FI{B}_k\Rightarrow TIM{E}^{\prime }(n)<k$.

Dowód przeprowadzamy przez indukcję ze względu na $k$. Dla $k=1$, $k=2$ łatwo sprawdzić, że teza zachodzi. Załóżmy teraz, że teza zachodzi dla wszystich $k^{\prime }$ mniejszych niż dane$k>2$.

Dowód punktu (a)

Rozważmy drzewo $T$ takie, że $|T|<FI{B}_k$. Niech $x$ będzie najniższym (o najmnieszej wysokości) węzłem,takim że $|T_x|\ge FI{B}_{k-1}$. Niech $p$, $q$ będą następnikami $x$, patrz Rysunek 8. (Jeśli$x$ ma tylko jednego następnika to nazwijmy go $p$). Zatem

$|T_p|,|T_q|<FI{B}_{k-1}$

Udowodnimy, że po $k-1$-szej kontrakcji korzeń $T$ staje się liściem. Możliwe są dwa przypadki:

Przypadek I: Po kontrakcji $(k-2)$-giej węzeł $x$ jest liściem.
Z założenia indukcyjnego wynika, że drzewo $T1$ jest zredukowane do korzenia z jednym następnikiem, który jest wewnątrz $T_x$. Ponieważ wszystkie węzły w $T_x$ stały się liśćmi (gdyż korzeń $T_x$ stał się liściem) to w następnej kontrakcji wykonujemy operację Rake i korzeń całego drzewa staje się liściem.

Rysunek 8. Drzewo $T$ i jego dekompozycja: $|T|<FI{B}_k$,$|T1|\le FI{B}_{k-2}$, $|T_x|\ge FI{B}_{k-1}$, $|T_p|<FI{B}_{k-1}$.

Przypadek II: Korzeń drzewa $T_x$ wymaga co najmniej $k-1$ kontrakcji by stał się liściem.
Dla drzewa $T$ niech $v\notin R$ będzie dodatkowym węzłem, a $R\otimes v$ będzie nowym drzewem o korzeniu </math>vParser nie mógł rozpoznać (błąd składni): {\displaystyle mającym jednego następnika - korzeń R. łatwo widać, że co najmniej jedno z drzew } T_p\otimesx</math> lub $T_q\otimes x$ wymaga co najmniej $k-1$ kontrakcji aby korzeń stał się liściem. Przyjmijmy, bez straty ogólności że jest to pierwsze z nich.

Z założenia indukcyjnego wynika, że $|T_p\otimes x|\ge FI{B}_{k-1}$ (zatem $|T_p|=FI{B}_{k-1}-1)$. Wynika stąd, że drzewo $T2$ z węzłem statycznym, patrz Rysunek 8, jest małe: Parser nie mógł rozpoznać (błąd składni): {\displaystyle |T2| \le FIB_{k-2]]} .

W tej sytuacji z założenia indukcyjnego (b) wynika, że drzewo $T2$ jest zredukowane do korzenia z jednym liściem po $k-2$ kontrakcjach. Wszystkie węzły $T_p$ stają się liścmi po$k-2$ kontrakcjach na mocy założenia indukcyjnego (a).Zatem, podobnie jak w przypadku I korzeń całego drzewa staje się liściem po k-1 kontrakcjach.

Dowód punktu (b)

Przypadek ten rozpatruje się podobnie jak punkt (a), stosując odpowiednią dekompozycję drzewa $T$. Dowód ten pozostawiamy jako ćwiczenie.

Obserwacja.Możliwe są różne inne definicje kontrakcji drzew. Na przykład moglibyśmy rozważać że w jednej iteracji kontrakcji najpierw wykonujemy Rake (usuń liście) a dopiero potem Compress. My wykonywaliśmy to w jednym kroku równocześnie, co wydaje się bardziej naturalne.