Złożoność obliczeniowa/Wykład 13: Pamięć logarytmiczna i hierarchia wielomianowa

Klasy L, NL i coNL

W tym rozdziale zajmiemy się klasami złożoności, w których dajemy bardzo restrykcyjne wymagania odnośnie zużywanej pamięci, a mianowicie ograniczamy jej ilość przez funkcję logarytmiczną. Przypomnijmy:

• Klasa $L=SPACE$(log$n$), to klasa tych języków, które mogą być akceptowane w deterministycznej pamięci logarytmicznej,
• Klasa $NL=NSPACE$(log$n$), to klasa tych języków, które mogą być akceptowane w niedeterministycznej pamięci logarytmicznej,
• Klasa $coNL=coNSPACE$(log$n$), to dopełnienie klasy tych języków, które mogą być akceptowane w niedeterministycznej pamięci logarytmicznej,

Na podstawie następnego rozdziału i twierdzenia Immermana-Szelepcsényi'ego dowiemy się, że $NL=coNL$. Natomiast pytanie czy $L=NL$ pozostaje wciąż problemem otwartym.

Przyjrzymy się teraz problemom zupełnym w klasie $NL$. Zupełność definiujemy przy pomocy redukcji w pamięci logarytmicznej, gdyż jak wiemy, wszystkie z powyższych klas są zawarte w klasie $P$ (chociaż nie wiemy, czy ściśle). Dopuszczenie redukcji wielomianowej zniwelowałoby jakiekolwiek różnice pomiędzy językami, gdyż sama redukcja miałaby moc obliczeniową pozwalającą rozwiązać wszystkie problemy z tych klas. Poniższy problem okazuje się być $NL$-zupełny:

Definicja 1.1 [Problem REACHABILITY:]

Wejście: Graf skierowany $G$ oraz wierzchołki $x$ i $y$.
Wyjście: Czy istnieje ścieżka od $x$ do $y$ w $G$?

Ćwiczenie 1.2

Pokaż, że problem REACHABILITY jest $NL$-zupełny.

Wskazówka

Zwróć uwagę na fakt, że problem REACHABILITY jest związany z wykonywaniem obliczeń przez maszynę Turinga.

Rozwiązanie

Pokażmy najpierw, że problem REACHABILITY należy do $NL$. Użyjemy dwóch zmiennych $v$ - wierzchołek bieżący, oraz $u$ wierzchołek kolejny na ścieżce od $x$ do $y$.

Początkowo ustawiamy $v:=x$. Ponieważ mamy do dyspozycji niedeterminizm to zgadujemy wierzchołek $u$ i sprawdzamy, czy jest sąsiedni do $v$. Jeśli nie, to przerywamy obliczenie, wiedząc, że na innej ścieżce obliczeń przetworzymy inne możliwości. Jeśli jest sąsiedni to sprawdzamy czy $u=y$ co oznacza, że dotarliśmy do celu i akceptujemy parę $x$, $y$. W przeciwnym wypadku ustawiamy $v:=u$ i kontynuujemy obliczenia.

Formalnie należy jeszcze użyć trzeciej zmiennej licznik, która zlicza liczbę kroków, tak aby ostatecznie odrzucić parę, gdy licznik przekroczy liczbę wierzchołków grafu. Użyliśmy pamięci rzędu log $n$ co kończy dowód pierwszego faktu.

Teraz musimy pokazać, że każdy inny problem z klasy $NL$ redukuje się do REACHABILITY poprzez redukcję w pamięci logarytmicznej. Weźmy dowolny język $L$ z klasy $NL$ i odpowiadającą mu niedeterministyczną maszynę Turinga $M$.

Rozmiar grafu konfiguracji maszyny działającej w pamięci log Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle n} to jak wiemy Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle c^{logn}\in O(n)} , natomiast sprawdzenie czy Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle x} jest akceptowany przez Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle M} możemy sprowadzić do istnienia ścieżki od konfiguracji początkowej do akceptującej. Jest to zatem instancja problemu REACHABILITY na danych wielkości rzędu Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle n} . Nie potrzebujemy konstruować całego grafu, a jedynie stwierdzać, czy dwie konfiguracje są sąsiednie, co możemy zrobić w pamięci logarytmicznej.

Bardzo ciekawy rezultat, który zbliżył nas do odpowiedzi na pytanie czy Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle L=NL} , uzyskał w 2004 Reingold. Pokazał on, że problem UNDIRECTED REACHABILITY, czyli osiągalność w grafie nieskierowanym należy do klasy Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle L} .

Twierdzenie Immermana-Szelepcsényi'ego

Ten rozdział poświęcony jest bardzo ciekawemu i całkiem młodemu wynikowi udowodnionemu niezależnie przez Neila Immermana i Róberta Szelepcsényi'ego w roku 1987, za który otrzymali nagrodę Goedl'a w 1995

Twierdzenie mówi o tym, że klasy niedeterministyczne złożoności pamięciowej są zamknięte na dopełnienie:

Twierdzenie 2.1 [twierdzenie Immermana-Szelepcsényi'ego]

Jeśli Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle f(n)} jest konstruowalna pamięciowo, to Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle NSPACE(f(n)) = coNSPACE(f(n))} .

Dowód

To co zostało pokazane przez autorów, to maszyna niedeterministyczna, która mając dany graf skierowany Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle G} i wierzchołek Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle x} potrafi obliczyć liczbę wierzchołków osiąganych z Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle x} w grafie Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle G} przy użyciu pamięci log Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle n} . Zrobimy z niej użytek w ostatniej części głównego dowodu, gdy będziemy uruchamiać ją na grafie konfiguracji.

Maszyna jest dosyć trikowa i pokazuje jak wiele daje nam niedeterminizm. Wielokrotnie będziemy wykorzystywać fakt, że wystarczy nam, aby maszyna niedeterministyczna na dowolnej ścieżce dokonała poprawnego obliczenia. Na wszystkich pozostałych ścieżkach będziemy "wykrywać", że coś jest nie tak i kończyć działanie w stanie odrzucającym ("poddawać się").

Oznaczmy, przez Parser nie mógł rozpoznać (SVG (MathML może zostać włączone przez wtyczkę w przeglądarce): Nieprawidłowa odpowiedź („Math extension cannot connect to Restbase.”) z serwera „https://wazniak.mimuw.edu.pl/api/rest_v1/”:): {\displaystyle S(k)} zbiór tych wierzchołków grafu $G$, które są osiągane z $x$ ścieżką o długości co najwyżej $k$. Natomiast przez $s(k)=|S(k)|$ oznaczymy liczność tego zbioru. Naszym obiektem zainteresowania jest zatem obliczenie wartości $s(n)$, czyli liczba wszystkich wierzchołków osiągalnych, gdyż $n$ - rozmiar grafu - ogranicza długość ścieżki.

Pamiętamy jednak, że mamy do dyspozycji tylko logarytmiczną ilość pamięci, więc o zapamiętaniu zbioru $S(k)$ (i obliczaniu na jego podstawie $S(k+1)$ co byłoby banalne) nie możemy marzyć - ma on wielkość liniową względem rozmiaru $G$. To brzmi niesamowicie, ale będziemy obliczać $s(k+1)$ na podstawie $s(k)$! Czyli wystarczy nam liczba stosownych wierzchołków, która to do zapisu potrzebuje pamięci logarytmicznej. Główna pętla algorytmu przedstawia się następująco:

 $s(0):=1$
 for
 $i:=1$ to $n$ do
   Wyznacz $s(i)$ na podstawie $s(i-1)$
 end for

Teraz procedura obliczająca $s(i)$. Jest ona całkiem prosta, jeśli zastosujemy w niej pewien skrót notacyjny:

 $s(i):=0$
 for all $v\in V(G)$ do
   if $v\in S(i)$ then
     s(i)++
   end if
 end for

Lecz zbioru $S(i)$ nie byliśmy w stanie zapamiętać. Zapowiedzielśmy już, że będziemy sprawdzać, czy wierzchołek do niego należy, na podstawie $s(i-1)$. To najbardziej skomplikowana część algorytmu, gdzie wykorzystujemy niedeterminizm.

Przeglądniemy teraz wszystkie wierzchołki $u$ grafu $G$ i sprawdzimy, czy któryś z nich należy do $S(i-1)$ w sposób niedeterministyczny. Przypomnijmy, że taka procedura, gdy mówi "TAK", to wierzchołek na pewno należy do $S(i-1)$, natomiast gdy mówi "NIE" to mogliśmy trafić na nieodpowiednią ścieżkę obliczeń. Będziemy jednak zliczać ile wierzchołków zgadliśmy na TAK i sprawdzimy, czy wyjdzie nam $s(i-1)$. Jeśli tak się stanie, to będziemy mieć gwarancję, że o każdym wierzchołku $u$ zgadliśmy dobrze. Jeśli wyszło nam mniej, to odrzucamy, wiedząc, że na innej ścieżce obliczeń musi nam się udać. Następnie sprawdzamy, czy z $u$ można dojść do $v$ przy pomocy jednej krawędzi w ten sposób obliczymy czy $v\in S(i)$:

 $licznik:=0$, $wynik:=NIE$
   for all $u\in V(G)$ do
   if $u\in S(i-1)$ then
     licznik ++
     if $u=v$ lub $u\rightarrow v\in G$ then
       $wynik:=TAK$
     end if
   end if
 end for
 if $licznik<s(i-1)$ then
   return NIE 
 else
   return wynik 
 end if

Teraz przejdźmy do konstrukcji maszyny obliczającej, czy $u\in S(i-1)$ w sposób niedeterministyczny. Algorytm jest całkiem prosty i podobny do tego, w którym pokazywaliśmy, że REACHABILITY jest w $NL$. Zgadujemy sekwencję $k-1$ wierzchołków. Rozpoczynamy od $x$. Sprawdzamy, czy każdy kolejny wierzchołek jest sąsiadem poprzedniego (lub równy poprzedniemu) oraz czy w końcu dochodzimy do $u$. W ten sposób sprawdzimy (niedeterministycznie) wszystkie ścieżki długości co najwyżej $i-1$.

Poniżej zapis algorytmu dla sytuacji ścieżki długości $k$:

 $p_{1}:=x$
 for $i:=2$ to $k$ do
   zgadnij $p_{i}$
   if $p_{i-1}\neq p_{i}$ i nie zachodzi $p_{i-1}\rightarrow p_{i}\in G$ then
     return NIE
   end if
 end for
 if $p_{k}=u$ then
   return TAK
 else
   return NIE 
 end if

To już koniec algorytmu. Krótka analiza wykazuje, że w trakcie jego działania musimy pamiętać jedynie skończoną liczbę wierzchołków i liczb wielkości co najwyżej $n$ zatem działa on w pamięci logarytmicznej.

Przejdźmy zatem do wykorzystania maszyny do udowodnienia tezy naszego twierdzenia. Weźmy język $L$ należący do $NSPACE(f(n))$, gdzie $f(n)\geqslant$ log $n$, gdyż $f(n)$ jest konstruowalna pamięciowo. Istnieje zatem maszyna niedeterministyczna $M$ akceptująca $L$ w pamięci niedeterministycznej. Musimy pokazać, że istnieje maszyna niedeterministyczna ${\overline {M}}$ akceptująca ${\overline {L}}$ również w pamięci $f(n)$. Bierzemy graf konfiguracji $M$ dla słowa wejściowego $x$. Musimy stwierdzić, czy nie istnieje ścieżka od konfiguracji początkowej do akceptującej. Wtedy bowiem $x\notin L$ czyli $M'$ ma zaakceptować $x$.

Oznaczmy konfigurację akceptującą przez $y$. Liczymy zatem zbiór $S(n)$ dla grafu konfiguracji przy pomocy algorytmu z pierwszej części dowodu. Jeśli algorytm zakończy się wynikiem pozytywnym, to oznacza to, że $s(n)$ jest policzone poprawnie. Jeśli zatem w trakcie przeglądania nie zakwalifikowaliśmy wierzchołka $y$ do żadnego ze zbiorów $S(i)$ to znaczy, że nie jest on osiągalny.

W tej sytuacji maszyna $M'$ może zaakceptować słowo $x$, które nie należy do $L$, a tym samym pokazujemy, że $L\in$ $coNSPACE(f(n))$.

Klasy coNP i DP

Wprowadziliśmy już zarówno klasę $NP$ jak i pojęcie dopełnień klas. Przyjrzyjmy się bliżej klasie $coNP$. Klasa $NP$, jest to zbiór tych języków, dla których możemy łatwo weryfikować przynależność słów. Klasa $coNP$ natomiast, to zbiór tych języków, dla których możemy łatwo weryfikować, że słowo nie należy do języka.

Podobnie jak dla $NP$ i twierdzenia Fagina, można scharakteryzować $coNP$ jako zbiór własności teoriografowych wyrażalnych w uniwersalnej logice drugiego rzędu.

Oto przykłady problemów z klasy $coNP$:

Definicja 3.1 [Problem TAUTOLOGY:]

Wejście: formuła logiczna $\phi$ jak dla problemu SAT.
Wyjście: czy każde wartościowanie spełnia $\phi$?

Definicja 3.2 [Problem HAMILTON PATH COMPLEMENT:]

Wejście: graf nieskierowany $G$.
Wyjście: czy $G$ nie zawiera ścieżki Hamiltona?

W powyższych problemach weryfikacja negatywna słowa wejściowego jest łatwa, bo opiera się na zgadnięciu wartościowania niespełniającego lub ścieżki Hamiltona.

Nietrudno udowodnić (patrz ćwiczenie końcowe), że są to problemy zupełne dla klasy $coNP$. Nie jest to nic zaskakującego, bowiem równie prosto można udowodnić, że jeżeli $L$ jest $NP$-zupełny, to jego dopełnienie ${\overline {L}}$ jest $coNP$-zupełne.

Jak wiele pytań w teorii złożoności obliczeniowej również i to, czy $NP=coNP$ pozostaje otwarte. Możemy jedynie stwierdzić, że jeżeli $P=NP$, to $NP=coNP$, gdyż $P$ jest zamknięta na dopełnienie. Jednak już implikacja w drugą stronę nie jest znana. Inna podobna implikacja to:

Ćwiczenie 3.3

Jeśli $L$ jest $coNP$-zupełny i $L\in NP$ to $NP=coNP$.

Wskazówka

Pokaż inkluzje w obie strony korzystając z symetrii klas.

Rozwiązanie

Ustalmy $L$ z klasy $NP$, który jest $coNP$-zupełny.

Weźmy dowolny $L'$ z klasy $coNP$. Ponieważ $L$ jest $coNP$-zupełny, więc $L'$ redukuje się do $L$, czyli $L'$ należy do $NP$, bowiem redukcja jest procedurą deterministyczną.

Analogicznie, weźmy dowolny $L'$ z $NP$. Wiemy, że ${\overline {L}}$ jest $NP$-zupełny, i należy do $coNP$. Możemy zatem sprowadzić $L'$ redukcją do ${\overline {L}}$. Zatem $L'$ należy do $coNP$.

Relacje pomiędzy klasami NP, coNP i DP.

Animacja Relacje pomiędzy klasami NP, coNP i DP przedstawia relacje pomiędzy poznanymi klasami i omawianą za chwilę klasą $DP$.

Oczywiście przyglądając się wszystkim takim rysunkom należy pamiętać, że mogą one w wielu miejscach kolapsować.

Klasa DP

Zastanówmy się nad następującym problemem:

Przykład 3.4 [Problem EXACT TSP]

Wejście: graf nieskierowany ważony $G$ i liczba $K$
Wyjście: czy optymalna trasa komiwojażera dla $G$ ma wartość dokładnie $K$?

Jest to wersja dokładna znanego problemu optymalizacyjnego -- problemu komiwojażera. Wiemy że wersja decyzyjna TSP(D) jest $NP$-zupełna. Nietrudno pokazać również, że EXACT TSP i TSP(D) są wielomianowo równoważne (ćwiczenie końcowe), tzn., że jeśli jeden z nich ma rozwiązanie w czasie wielomianowym to drugi też. W tym rozdziale sklasyfikujemy złożoność EXACT TSP dokładniej przy pomocy klasy $DP$. Nie umiemy bowiem pokazać, że EXACT TSP należy do $NP$, wszak jak poświadczyć i szybko zweryfikować, że długość optymalnej trasy wynosi dokładnie $K$? Widzimy, że odpowiedź na to pytanie wymaga stwierdzenia, że trasa ma długość co najmniej $K$ i co najwyżej $K$, co sugeruje pewne specyficzne połączenie problemu TSP(D) i jego dopełnienia.

Definicja 3.5 [Klasa DP]

Klasa DP to zbiór języków $L$ takich, że $L=L_{1}\cap L_{2}$, gdzie $L_{1}\in NP$ natomiast $L_{2}\in coNP$.

Przy tak postawionej definicji EXACT TSP należy do $DP$. Jest on bowiem przecięciem języka TSP(D) i TSP(D) COMPLEMENT, tzn. koszt trasy wynosi dokładnie $K$, gdy jest równy co najwyżej $K$ (to przynależność do TSP(D)) oraz co najmniej $K$ (to przynależność słowa do TSP(D) COMPLEMENT).

Klasa $DP$ posiada problemy zupełne. Rozważmy problem następujący:

Przykład 3.6 [Problem SAT-UNSAT]

Wejście: formuły logiczne $\phi$ i $\psi$ jak dla SAT.
Wyjście: czy formuła $\phi$ jest spełnialna, natomiast $\psi$ niespełnialna?

Ćwiczenie 3.7

Udowodnij, że problem SAT-UNSAT jest $DP$-zupełny.

Wskazówka

Skorzystaj z redukcji języka z $NP$ oraz dopełnienia języka z $coNP$ do SAT.

Rozwiązanie

Najpierw pokażmy, że SAT-UNSAT należy do klasy $DP$. Musimy wskazać stosowne języki $L_{1}$ i $L_{2}$ odpowiednio z klas $NP$ i $coNP$. Wybieramy $L_{1}=\{(\phi ,\psi ):\phi$ jest spełnialna $\}$ oraz $L_{1}=\{(\phi ,\psi ):\psi$ nie jest spełnialna $\}$, o których można to łatwo stwierdzić.

Przejdźmy do części związanej z pokazaniem redukcji z dowolnego problemu z klasy DP. Weźmy $L\in DP$. Wiemy, że $L=L_{1}\cap L_{2}$ i na mocy własności klas $NP$ i $coNP$ istnieją redukcje $R_{1}$ języka $L_{1}$ do SAT oraz $R2$ dopełnienia języka $L_{2}$ do SAT (jako że $L_{2}$ jest w coNP). Definiujemy redukcję jako $R(x)=(R_{1}(x),R_{2}(x))$.

Na podstawie konstrukcji wiemy, że $x\in L_{1}$, gdy $R_{1}(x)$ jest spełniona oraz $x\in L_{2}$, gdy $R_{2}(x)$ jest nie spełniona. Zatem $x\in L_{1}\cap L_{2}$ gdy $R(x)\in$ SAT-UNSAT.

Również wspomniany na początku problem EXACT TSP jest $DP$-zupełny. Można rozważać także wiele innych wersji EXACT znanych problemów $NP$-zupełnych, które okazują się $DP$-zupełne.

Klasa $DP$ zawiera także problemy $DP$-zupełne innego rodzaju:

Przykład 3.8 [Problem CRITICAL SAT]

Wejście: formuła logiczna $\phi$ jak dla SAT.
Wyjście: czy formuła $\phi$ jest nie spełnialna, natomiast usunięcie dowolnej klauzuli sprawia, że jest spełnialna?

Przykład 3.9 [Problem CRITICAL HAMILTON PATH

Wejście: graf nieskierowany $G$
Wyjście: czy $G$ nie ma ścieżki Hamiltona, natomiast dodanie dowolnej krawędzi do $G$ powoduje, że już ją posiada?

Maszyny alternujące

W tym rozdziale przedstawimy ciekawe uogólnienie niedeterminizmu, zwane alternacją. Przypomnijmy, że maszyna niedeterministyczna akceptuje słowo, gdy na którejkolwiek ze ścieżek obliczeń trafi do stanu akceptującego.

Maszyna alternująca ma więcej możliwości. Każdy z jej stanów jest oznaczony poprzez "AND" lub "OR", które nazywamy odpowiednio stanami uniwersalnymi i egzystencjalnymi.

Gdy maszyna jest w stanie typu "OR", to dokonuje akceptacji gdy dowolna ze ścieżek obliczeń wychodzących z niego akceptuje słowo. Tak właśnie działają zawsze zwykłe maszyny niedeterministyczne.

Stany typu "AND" są rozszerzają tą funkcjonalność. Maszyna dokonuje akceptacji będąc w takim stanie, gdy każda ze ścieżek obliczeń wychodzących z tego stanu jest akceptująca.

Miarę złożoności czasowej i pamięciowej maszyn alternujących definiujemy zupełnie tak jak dla maszyn niedeterministycznych, tzn. funkcja $f(n)$ jest miarą złożoności czasowej, gdy każda ze ścieżek obliczeń ma długość ograniczoną przez $f(n)$ oraz złożoność pamięciową $f(n)$ gdy na każdej ze ścieżek obliczeń maszyna zużywa co najwyżej $f(n)$ pamięci.

Definicja 4.1 [${\text{ATIME}}(f(n))$]

Poprzez ${\text{ATIME}}(f(n))$ oznaczamy zbiór języków $L$ takich, że są akceptowane przez alternującą maszynę Turinga $M$ o złożoności czasowej $f(n)$.

Definicja 4.2 [${\text{ASPACE}}(f(n))$]

Poprzez ${\text{ASPACE}}(f(n))$ oznaczamy zbiór języków $L$ takich, że są akceptowane przez alternującą maszynę Turinga $M$ o złożoności pamięciowej $f(n)$.

Wprowadzamy też skróty dla najpopularniejszych klas:

• Klasa $AP=ATIME(n^{k})=\bigcup _{j>0}ATIME(n^{j})$, to klasa tych języków, które mogą być akceptowane w alternującym czasie wielomianowym,
• Klasa $AL=ASPACE$(log$n$), to klasa tych języków, które mogą być akceptowane w alternującej pamięci logarytmicznej,

Nietrudno się domyślić, że alternacja jest silniejsza niż niedeterminizm z definicji działania maszyn. Wiemy zatem, w szczególności, że $AP$ zawiera w sobie $NP$. Poniższe ćwiczenie pokazuje, że o $AP$ można powiedzieć więcej:

Ćwiczenie 4.3

Pokaż, że $AP$ zawiera w sobie klasę $coNP$.

Wskazówka

Pokaż że problem coNP-zupełny TAUTOLOGY należy do $AP$.

Rozwiązanie

Na mocy wskazówki pokażemy, że TAUTOLOGY $\in AP$, a tym samym ponieważ $AP$ jest zamknięta na redukcje, to cała klasa $coNP$ zawiera się w $AP$.

Maszyna dla TAUTOLOGY rozpoczyna działanie od stanu uniwersalnego. Następnie na każdej ze ścieżek obliczeń sprawdza inne wartościowanie. Jeśli $\phi$ jest spełniona na danym wartościowaniu, to obliczenie dochodzi do stanu akceptującego. W ten sposób ze względu na swój tryb działania, maszyna zaakceptuje $\phi$, gdy jest ona spełniona dla każdego wartościowania, czyli, gdy jest tautologią logiczną.

To jednak nie wszystko co potrafi klasa $AP$. Znajdują się w niej języki, o których nie wiemy czy należą do $NP$ lub $coNP$.

Definicja 4.4 [Problem MIN-FORMULA]

Wejście: formuła logiczna $\phi$ jak dla problemu SAT.
Wyjście: czy $\phi$ jest minimalna, tzn. czy żadna krótsza formuła nie jest jej równoważna?

Ćwiczenie 4.5

Pokaż, że MIN-FORMULA należy do $AP$.

Wskazówka

Wykorzystaj dwa tryby alternacji.

Rozwiązanie

W pierwszej części maszyna działa w trybie "AND". Zgadujemy formułę $\psi$ krótszą niż $\phi$, a następnie przestawiamy się na tryb "OR". Teraz zgadujemy wartościowanie $s$. Jeśli $\phi$ i $\psi$ są rozróżniane przez $s$, tzn. jedna z nich jest spełniona, a druga nie, to akceptujemy formułę $\phi$.

Załóżmy nie wprost, że formuła nie jest minimalna, a mimo to zostaje zaakceptowana. Aby tak się stało na każdej ze ścieżek z pierwszego poziomu alternacji uniwersalnej maszyna musi zaakceptować. Jeśli jednak formuła nie jest minimalna, to istnieje krótsza od niej formuła $\psi$, które jest jej równoważna. Na ścieżce obliczeń rozważającej $\psi$ maszyna w drugim poziomie alternacji musi znaleźć wartościowanie, które rozróżnia $\phi$ i $\psi$ co jest niemożliwe, stąd uzyskujemy sprzeczność.

Teraz przedstawimy kilka relacji pomiędzy klasami obliczeń alternujących:

Twierdzenie 4.6

Następujące relacje są prawdziwe:

1. Jeśli $f(n)\geqslant n$ to $ATIME(f(n))\subseteq SPACE(f(n))$,
2. Jeśli $f(n)\geqslant n$ to $SPACE(f(n))\subseteq ATIME(f^{2}(n))$,
3. Jeśli $f(n)\geqslant$ log $n$ to $ASPACE(f(n))\subseteq TIME(c^{f(n)})$.
4. Jeśli $f(n)\geqslant$ log $n$ to $ASPACE(f(n))\supseteq TIME(c^{f(n)})$.

Zapis przebiegu obliczeń.

Dowód

Dowód własności od 1 do 3 jest przedmiotem ćwiczenia końcowego. Własność 4 wymaga trochę więcej pracy. Zauważmy, że musimy symulować maszynę działającą w czasie wykładniczym od dostępnej nam pamięci! Nie mamy zatem miejsca na potencjalną ilość pamięci, która może być potrzebna. Okazuje się jednak, że można sobie z tym poradzić:

Weźmy dowolną maszynę deterministyczną $M$ działającą w czasie $c^{f(n)}$. Będziemy symulować jej obliczenia od końca. Najpierw ustalamy, bez straty ogólności, że jest tylko jedna końcowa konfiguracja akceptująca, np. z całkowicie pustą taśmą , głowicą w komórce o numerze 1 i stanie $q_{acc}$.

Możemy przedstawić całe obliczenie w formie następującej tabelki przedstawiającej w rzędach kolejne zawartości taśmy, a w kolumnach czas. Dla uproszczenia przyjmijmy, że taśma jest jedna, i że pozycję głowicy notujemy specjalnym zapisem w tym miejscu pamięci, które ona odczytuje (podobnie notujemy stan). W ten sposób zawartość komórki $d$ zależy tylko od zawartości komórek $a$, $b$ i $c$ (rysunek Zapis przebiegu obliczeń).

Teraz rozpoczynamy od dolnej części tabeli, której zawartość znamy i chcemy sprawdzić, czy obliczenie rozpoczęło się od pierwszego wiersza, który jest wejściem i którego zawartość też znamy.

Jeśli chcemy zweryfikować wartość komórki $d$, to w trybie "OR" zgadujemy zawartość komórek $a$, $b$ i $c$. Następnie w trybie "AND" weryfikujemy ich poprawność i zgodność przejścia od $a$, $b$, $c$ do $d$.

Ile pamięci jest nam potrzebne? Musimy pamiętać tylko wskaźniki do miejsc w wielkiej tabeli przedstawionej na rysunku, które sa rozmiaru log $(c^{f(n)})$, co jest rzędu $f(n)$.

Dzięki wymienionym relacjom pomiędzy klasami alternującymi możemy udowodnić kilka dokładnych równości pomiędzy klasami, a to rzadka rzecz w teorii złożoności. Wiemy zatem, że:

• AL=P,
• APSPACE = EXP,
• AP=PSPACE.

Hierarchia wielomianowa

W tej części zdefiniujemy całą hierarchię klas ponad znanymi nam już P i NP, która stanowi pewne uogólnienie problematyki spotkanej w klasie DP.

W poprzednich rozdziałach zdefiniowaliśmy pojęcie maszyny z wyrocznią na język $L$ oznaczanej przez $M^{L}$. Przypomnijmy, że jest to zwykła maszyna $M$ z dodatkową możliwością zadania pytania postaci "czy $x\in L$?" które kosztuje jedną jednostkę czasu. Rozszerzenie tego pojęcia na klasy jest naturalne. Poprzez $P^{NP}$ oznaczamy zbiór tych języków, które mogą być rozstrzygane przez maszyny z klasy $P$ z wyrocznią na dowolny język z klasy $NP$.

Klasy relatywne.

Ta klasa okazuje się być mocniejsza od DP, bowiem w DP mogliśmy zadań pytanie tylko raz (dotyczące coNP, ale w sensie wyroczni działa to jak pytanie do NP), a tutaj dowolną liczbę razy i to na dodatek pytań adaptywnych, tzn. takich, które mogą zależeć od wyników odpowiedzi na poprzednie z nich. Kolejną interesującą klasą jest $NP^{NP}$. Wszystkie te klasy dają nam coraz większe możliwości, lecz oczywiście nie wiadomo, czy są to ściśle większe klasy, choć panuje takie przekonanie (animacja Klasy relatywne).

Postępując w ten sposób Meyer i Stockmeyer w latach 70 zdefiniowali całą hierarchię klas:

Definicja 5.1 [Hierarchia wielomianowa]

Hierarchia wielomianowa, to ciąg klas indeksowany poprzez $i$:

• $\sum _{0}P=\prod _{0}P=\Delta _{0}P=P$
• $\Delta _{i+1}P=P^{\sum _{i}P}$, dla $i>0$,
• $\sum _{i+1}P=NP^{\sum _{i}P}$, dla $i>0$,
• $\prod _{i+1}P=coNP^{\sum _{i}P}$, dla $i>0$.

Dodatkowo poprzez $PH$ oznaczamy sumę wszystkich tych klas, czyli:
$PH=\bigcup _{i\geqslant 0}\sum _{i}P$.

Hierarchia wielomianowa.

Ponieważ na poziomie zerowym wszystkie elementy hierarchii to $P$, więc na poziomie pierwszym, ponieważ taka wyrocznia nic nie daje, otrzymujemy $\Delta _{1}P=P,\sum _{1}P=NP,\prod _{1}P=coNP$. Drugi poziom, to klasy $\Delta _{2}P=P^{NP},\sum _{2}P=NP^{NP},\prod _{2}P=coNP^{NP}$. Warto zwrócić uwagę, że $\prod _{i}P$ jest dopełnieniem $\sum _{i}P$ na każdym poziomie wprost z definicji. Zawieranie się poszczególnych elementów na jednym poziomie obrazuje animacja Hierarchia wielomianowa.

Do tej pory często odwoływaliśmy się do odpowiedniości pomiędzy klasą $NP$ a szczególnymi relacjami wielomianowo zrównoważonymi i rozstrzygalnymi. Przedstawimy teraz zgrabną charakteryzację klas z hierarchii wielomianowej przy pomocy podobnego kryterium:

Twierdzenie 5.2

Niech $L$ będzie językiem, $i>0$. Język $L$ należy do $\sum _{i}P$ wtedy i tylko wtedy, gdy istnieje wielomianowo zrównoważona i rozstrzygalna relacja $R$ ($i+1$-argumentowa), taka, że $x\in L$ dokładnie wtedy, gdy $\exists {y_{1}}\forall {y_{2}}\exists {y_{3}}\ldots Q{y_{i}}$ takie, że $R(x,y_{1},\ldots ,y_{i})$ jest spełnione ($i$-ty kwantyfikator jest uniwersalny, gdy $i$ jest parzyste, natomiast egzystencjalny, gdy $i$ jest nieparzyste).

Hierarchia wielomianowa jest strukturą dosyć wrażliwą na kolapsy, tzn. równości klas na pewnym poziomie. Okazuje się, że wtedy przenoszą się one automatycznie w górę:

Ćwiczenie 5.3

Pokaż, że jeżeli dla pewnego $i$ zachodzi $\sum _{i}P=\prod _{i}P$ to dla każdego $j>i$ zachodzi $\sum _{j}P=\prod _{j}P=\Delta _{j}P=\sum _{i}P$.

Wskazówka

Pokaż, że $\sum _{i+1}P=\sum P$.

Rozwiązanie

Pokażemy równość podaną we wskazówce z założenia $\sum _{i}P=\prod _{i}P$. Weźmy dowolny $L\in \sum _{i+1}P$. Z poprzedniego twierdzenia charakteryzującego wiemy, że istnieje relacja $i+1$-argumentowa $R_{L}$ dla $L$. Weźmy rzut relacji $R_{L}$, w którym pomijamy współrzędną $y_{1}$. Jest to relacja odpowiadająca pewnemu językowi $L'$ z $\prod _{i}P$ (otrzymujemy to dzięki zastosowaniu negacji i dopełnienia języka dla poprzedniego twierdzenia). W definicji tym razem jako pierwszy występuje kwantyfikator uniwersalny.

Dzięki równości klas istnieje dla języka $L'$ $i$-argumentowa relacja $R_{L'}$, definiująca go przy użyciu kwantyfikatora egzystencjalnego na początku. Dzięki tej zmianie, możemy teraz zmienić $R_{L'}$ tak, aby uwzględnić usuniętą wcześniej współrzędną współrzędną $y_{1}$, bez dodawania nowego kwantyfikatora, gdyż teraz jako pierwszy występuje kwantyfikator egzystencjalny, co sprawia, że $L\in \sum _{i}P$.

Zachodzi również podobny fakt. Otóż, jeśli $P=NP$ (albo tylko $NP=coNP$), to hierarchia kolapsuje już na pierwszym poziomie.

Można by się zastanowić, czy kolejne poziomy hierarchii wielomianowej są interesujące z punku widzenia problemów, które pozwalają one rozwiązać. Okazuje się, że na każdym poziomie hierarchii posiada ona problemy zupełne:

Definicja 5.4 [Problem QSAT $_{i}$]

Wejście: formuła logiczna $\phi$ jak dla problemu SAT poprzedzona $i$ naprzemiennymi grupami kwantyfikatorów egzystencjalnych i uniwersalnych: $\Phi =\exists {x_{1}}\forall {x_{2}}\exists {x_{3}}\ldots Q{x_{i}}\phi$.
Wyjście: czy $\Phi$ jest prawdziwa?

Twierdzenie 5.5

Problem $QSAT_{i}$ jest $\sum _{i}P$-zupełny dla $i>0$.

Jednak pytanie czy istnieje problem $PH$-zupełny (czyli zupełny dla całej hierarchii) jest otwarte i panuje przekonanie, że tak nie jest, gdyż:

Ćwiczenie 5.6

Pokaż, że jeśli istnieje problem $PH$-zupełny, to hierarchia zapada się na pewnym poziomie.

Wskazówka

Zauważ, że problem zupełny musi należeć do konkretnego poziomu.

Rozwiązanie

Jeśli $L$ jest zupełny dla $PH$, to $L$ należy do $\sum _{i}P$ dla pewnego $i$. Wtedy jednak dowolny język $L'$ z poziomu $\sum _{i+1}P$ redukuje się do $L$ w czasie wielomianowym. Ponieważ poziomy hierarchii są zamknięte na redukcje, stąd $L'\in \sum _{i}P$, a w konsekwencji $\sum _{i+1}P=\sum _{i}P$.

Jak silna jest cała hierarchia? Można łatwo zauważyć, że zawiera się ona w znanej już nam klasie $PSPACE$, ze względu na fakt, że można łatwo rozstrzygać w wielomianowej pamięci relacje, charakteryzujące problemy z $PH$, które opisywaliśmy wcześniej.

Jak nietrudno się domyślić pytanie, czy $PH=PSPACE$ jest otwarte. Bardzo interesujące jest jednak, że gdyby równość zachodziła, to ponieważ $PSPACE$ zawiera problemy zupełne, to $PH$ również by je zawierała, stąd zapadła by się na pewnym skończonym poziomie. Stąd przekonanie, że $PH$ zawiera się silnie w $PSPACE$.

Na koniec ciekawy rezultat autorstwa Seinosuke Tody (laureata nagrody Goedl'a z roku 1998) związany z klasą $PH$. Pokazał on, że $PH\subseteq P^{PP}$, czyli wyrocznia na klasę $PP$ jest niesamowicie silna i pozwala pochłonąć tak misternie zbudowaną piramidę coraz silniejszych klas.

Ćwiczenia dodatkowe

Ćwiczenie 6.1

Pokaż, że problem TAUTOLOGY jest $coNP$-zupełny.

Wskazówka

Skorzystaj z faktu, że SAT jest $NP$-zupełny.

Rozwiązanie

TAUTOLOGY należy do $coNP$. Weźmy dowolny inny problem $L$ z $coNP$. Wiemy, że ${\overline {L}}$ należy do $NP$, więc jest redukowalny do SAT - problemu $NP$-zupełnego, poprzez redukcję, którą oznaczymy jako $R$. Z definicji redukcji otrzymujemy, że $x\in {\overline {L}}$ wtedy i tylko wtedy, gdy $R(x)$ jest spełnialna. Po zastosowaniu negacji mamy , że $x\in L$ wtedy i tylko wtedy, gdy $R(x)$ jest nie spełnialna, tzn. $\neg R(x)$ jest tautologią. Sprowadziliśmy zatem problem przynależności do dowolnego języka $L$ z $coNP$ do sprawdzania czy pewna formuła jest tautologią, co dowodzi $coNP$-zupełności problemu TAUTOLOGY.

Ćwiczenie 6.2

Udowodnij własności od 1 do 3 z twierdzenia 4.6.

1. Jeśli $f(n)\geqslant n$ to $ATIME(f(n))\subseteq SPACE(f(n))$,
2. Jeśli $f(n)\geqslant n$ to $SPACE(f(n))\subseteq ATIME(f^{2}(n))$,
3. Jeśli $f(n)\geqslant$ log $n$ to $ASPACE(f(n))\subseteq TIME(c^{f(n)})$.

Wskazówka

Ad. 1 i 3: zasymuluj maszynę alternującą przy pomocy zwykłej.
Ad. 2: skorzystaj z idei zaczerpniętej z twierdzenia Savitcha.

Rozwiązanie

Ad. 1:
Weźmy dowolny język $L\in ATIME(f(n))$ akceptowany przez alternującą maszynę Turinga $M$. Dokonamy symulacji przy pomocy deterministycznej maszyny w pamięci $f(n)$. Wykonujemy algorytm rekurencyjnego przeglądania grafu konfiguracji w głąb. W momencie powrotu z rekurencji z ostatniego potomka danego wierzchołka decydujemy na podstawie typu "OR" lub "AND" i akceptacji potomków o tym czy dana konfiguracja jest akceptująca. Głębokość rekurencji to czas obliczeń maszyny $M$, czyli $f(n)$. Na każdy poziom rekurencji potrzeba nam jednak $f(n)$, aby zapamiętać konfigurację, czyli łącznie $f^{2}(n)$.

Możemy jednak zaoszczędzić na pamięci pamiętając tylko który z niedeterministycznych wyborów dokonała $M$ na danym poziomie rekurencji. Teraz aby obliczyć pełną konfigurację, będziemy musieli rozpocząć za każdym razem obliczenia od początku dokonując stosownych wyborów. Taka operacja może być jednak wykonana w pamięci $f(n)$, stąd cała symulacja potrzebuje $f(n)$ pamięci, a więc $L\in SPACE(f(n))$.

Ad. 2:
Tym razem mamy do dyspozycji maszynę działającą w pamięci $f(n)$ i chcemy ją zasymulować przy pomocy maszyny alternującej w czasie $f^{2}(n)$. Jak w twierdzeniu Savitcha odwołamy się do grafu konfiguracji maszyny rozmiaru $c^{f(n)}$ i będziemy się starali odpowiedzieć na pytanie, czy istnieje ścieżka od konfiguracji początkowej do końcowej.

Procedura, która oblicza istnienie ścieżki o długości co najwyżej $n$ ma do dyspozycji alternację i dokonuje tego w dwóch etapach. W pierwszym zgaduje wierzchołek pośredni $t$ na ścieżce działając w trybie "OR". Następnie przełącza się w tryb uniwersalny "AND" i sprawdza rekurencyjnie, czy obydwie części ścieżki, długości $n/2$ poprzez odgadnięty wierzchołek $t$ istnieją.

Czas potrzebny do działania to głębokość rekurencji, czyli log $(c^{f(n)})$ co jest rzędu $f(n)$ przemnożony przez czas potrzebny do przetworzenia każdego kroku, który wynosi również $f(n)$, gdyż jest to rozmiar konfiguracji. Łącznie daje to czas$f^{2}(n)$. Zwróćmy uwagę, że liczymy czas na jednej ścieżce obliczeń, dzięki realizacji rekurencji przy pomocy alternacji!

Ad. 3:
Weźmy dowolny język $L\in ASPACE(f(n))$ akceptowany przez alternującą maszynę Turinga $M$. Mamy do dyspozycji czas rzędu wykładniczego względem $f(n)$, a więc możemy wygenerować cały graf konfiguracji obliczeń maszyny $M$ (który jak wiemy ma rozmiar $c^{f(n)}$, gdy $f(n)\geqslant$ log $n$). Następnie stosownie do typów "AND" i "OR" przeglądamy graf od konfiguracji końcowych i decydujemy o akceptacji słowa wejściowego.

Ćwiczenie 6.3

Udowodnij, że problemy TSP(D) i EXACT TSP są wielomianowo równoważne.

Wskazówka

Skorzystaj z problemu HAMILTON PATH.

Rozwiązanie

Załóżmy, że TSP(D) ma rozwiązanie wielomianowe. Dzięki opisywanej już metodzie wyszukiwania binarnego możemy odnaleźć $K$ - optymalny koszt dzięki temu, że potrzebujemy zadać tylko logarytmiczną liczbę pytań względem $K$, czyli liniową względem rozmiaru wejścia.

Niewiele trudniejsza jest implikacja w drugą stronę. Załóżmy, że EXACT TSP ma rozwiązanie wielomianowe. Metoda wyszukiwania binarnego tym razem zawodzi. Zgodnie ze wskazówką rozwiążemy najpierw HAMILTON PATH. Mając dany graf skierowany $G$ w którym chcemy znaleźć ścieżkę Hamiltona konstruujemy przykład $G'$ dla EXACT TSP. Jeśli krawędź istnieje w $G$ to w $G'$ otrzymuje wagę 1, jeśli nie istnieje w $G$ to w $G'$ wstawiamy ją z wagą 2. Łatwo stwierdzić, że graf $G$ ma ścieżkę Hamiltona wtedy i tylko wtedy, gdy trasa komiwojażera w $G'$ ma koszt dokładnie $n$ -- rozmiar grafu.

Ponieważ HAMILTON PATH jest $NP$-zupełny, więc istnieje redukcja TSP(D) do HAMILTON PATH, a tym samym składając redukcje otrzymamy algorytm wielomianowy dla TSP(D).