Złożoność obliczeniowa/Wykałd 4: Redukcje i zupełność

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Redukcje i zupełność

W poprzednim module przedstawione zostały podstawowe klasy złożoności dla problemów, jak również zależności między nimi. W tym rozdziale poznamy narzędzie bardzo pomocne przy określaniu przynależności problemów do zadanej klasy złożoności - redukcje.

Redukcje

Definicja

Niech będzie pewną rodziną funkcji o sygnaturze

 {0,1}{0,1}

domkniętą na składanie i zawierającą identyczność. Niech L1 i L2 będą językami nad alfabetem {0,1} (czyli inaczej mówiąc zakodowanymi binarnie problemami decyzyjnymi). Mówimy, że problem L1 jest redukowalny do problemu L2 w sensie rodziny i zapisujemy

 L1L2

wtedy i tylko wtedy, gdy

 fw{0,1}wL1f(w)L2

Intuicyjnie problem L1 jest w pewnym sensie co najwyżej tak trudny jak problem L2 - jeżeli znamy rozwiązanie problemu L2 oraz odpowiednią funkcję (zwaną redukcją lub transformacją), to znamy również rozwiązanie problemu L1. Warto zauważyć, że relacja jest preporządkiem, to znaczy jest zwrotna (ze względu na obecność identyczności) i przechodnia (ze względu na domkniętość rodziny na składanie).

Przedstawmy teraz najczęściej stosowane rodziny redukcji.

Redukcje wielomianowe

Rodzina redukcji wielomianowych (Karpa) to rodzina funkcji {0,1}{0,1} obliczalnych nadeterministycznej maszynie Turinga w czasie wielomianowym. Redukowalność w sensie rodziny redukcji wielomianowych najczęściej po prostu nazywa się redukowalnością wielomianową.

Klasycznym przykładem redukowalnosci wielomianowej jest redukowalność problemu maksymalnego skojarzenia w grafie dwudzielnym do problemu maksymalnego przepływu w grafie skierowanym.

ZO-4-1. Przekształcenie grafu dwudzielnego w sieć przepływową.

Redukcje wielomianowe mają ważną własność: Jeżeli problem L1 jest redukowalny wielomianowo do problemu L2 oraz L2 należy do klasy P, to L1 również należy do klasy P. Aby uzasadnić tą własność wystarczy skonstruować maszynę, która najpierw przekształci instancję problemu L1 do instancji problemu L2 (uczyni to w czasie wielomianowym, bo L1 jest wielomianowo redukowalne do L2), po czym w czasie wielomianowym da odpowiedź dla instancji problemu L2.

Ćwiczenie 1

Załóżmy, że L1 jest wielomianowo redukowalne do L2 oraz L2 należy do klasy NP. Pokaż, że L1 również należy do klasy NP.

Rozwiązanie

Redukcje logarytmiczne

Drugą ciekawą rodziną redukcji jest rodzina redukcji logarytmicznych. Aby zdefiniować tą rodzinę zmodyfikujemy definicję maszyny Turinga - otóż wyznaczamy na niej dwie specjalne taśmy - wejściową (tylko do odczytu, tak jak przy maszynie off-line) i wyjściową. Po zapisie na taśmę wyjściową głowica przesuwa się zawsze w tym samym kierunku, co uniemożliwia odczyt poprzednio zapisanych symboli.

Powróćmy teraz do redukcji. Redukcja logarytmiczna jest funkcją obliczalną na deterministycznej maszynie Turinga z użyciem logarytmicznej ilości pamięci na taśmie roboczej. Zauważmy, że nie nakładamy żadnych ograniczeń na wielkość słowa wyjściowego - najczęśniej jego wielkość będzie wielomianowo zależna od wielkości słowa wejściowego. Intuicyjnie transformacja logarytmiczna pozwala przechowywać na taśmie roboczej stałą liczbę wskaźników do komórek wejściowych (lub innych obiektów o podobnej wielkości).

Ćwiczenie 2

Czy problem maksymalnego skojarzenia w grafie dwudzielnym jest redukowalny do problemu maksymalnego przepływu w sensie rodziny transformacji logarytmicznych?

Wskazówka
Rozwiązanie

Ćwiczenie 3

Czy istnienie redukcji logarytmicznej z problemu L1 do problemu L2 implikuje istnienie redukcji wielomianowej z L1 do L2? Odpowiedź uzasadnij.

Wskazówka
Rozwiązanie

Warto się zastanowić czy prawdziwa jest następująca hipoteza:

Szablon:Hipoteza

Ta niewątpliwie cenna (o ile prawdziwa) hipoteza nie jest jednak tak oczywista jak poprzednio pokazywane analogiczne fakty dla transformacji wielomianowej i klas P oraz NP. Problem przy "składaniu" dwóch maszyn - transformacji oraz maszyny rozwiązującej L2 - tkwi w tym, że być może nie będziemy w stanie zapisac wyjścia transformacji (o potencjalnie wielomianowej wielkości) na taśmie roboczej.

Posłużymy się tutaj następującym trikiem: Uruchomimy maszynę rozwiązującą problem L2; za każdym razem, gdy maszyna ta będzie chciała odwołać się do któregoś - dla ustalenia uwagi i-tego - bitu wejścia, na osobnej taśmie uruchomimy maszynę implementującą redukcję z L1 do L2. Maszyna ta nie będzie jednak wypisywać kolejnych symboli na wyjście, tylko inkrementować specjalnie utworzony licznik operacji wyjścia; w momencie, gdy wykonana zostanie i-ta operacja wyjścia, maszyna powróci do wykonywania programu rozwiązującego problem L2, wykorzystująć symbol, który miał zostać wypisany na wyjście przez maszynę transformującą. Takie postępowanie wydaje się mało wydajne - tym niemniej na taśmach roboczych nigdy nie znajduje się większa niż logarytmiczna liczba symboli - a zatem otrzymujemy algorytm dla problemu L1, wykorzystujący logarytmiczną ilośc symboli. Analogiczny argument można zastosować do pokazania, że rodzina transformacji logarytmicznych jest domknięta na składanie.

Transformacja wielomianowa w sensie Turinga

Definiowana tutaj transformacja będzie miała trochę inny charakter od dwóch poprzednich - w szczególności formalnie nie będzie ona redukcją. Do jej zdefiniowania będziemy potrzebować pojęcia maszyny z wyrocznią.

Definicja

Maszyna z wyrocznią Q{0,1} jest wielotaśmową maszyną Turinga, z jedną wyróżnioną taśmą i trzema wyróżnionymi stanami {qa,qb,qc}. Zachowanie maszyny różni się od zachowania zwykłej maszyny Turinga w następujący sposób: Przejście maszyny do stanu qa jest traktowane jako odwołanie do wyroczni Q. Jeżeli słowo aktualnie zapisane na wyróżnionej taśmie należy do języka Q, to maszyna przechodzi do stanu qb; w przeciwnym razie przechodzi do stanu qc. Odwołanie do wyroczni wliczane jest do czasu działania maszyny jako jedno przejście.

Mówiąc nieformalnie maszyna może w trakcie działania wielokrotnie prosić wyrocznię o rozwiązanie problemu Q.

Definicja

Niech L1 i L2 będą językami nad alfabetem {0,1}. Mówimy, że L1 transformuje się do L2 w sensie wielomianowej transformacji Turinga wtedy i tylko wtedy gdy istnieje maszyna Turinga z wyrocznią L2 rozwiązująca L1 w czasie wielomianowym.

Transformacja Turinga intuicyjnie odpowiada stosowaniu podprogramów - jeżeli znamy rozwiązanie problemu L2 to stosujemy go jako podprocedurę przy rozwiązywaniu problemu L1.

Ćwiczenie 4

Niech L1 i L2 będą językami nad alfabetem {0,1} oraz niech L1 transformuje się do L2 w sensie transformacji wielomianowej Turinga. Które z poniższych zdań jest prawdziwe:

  • L1PL2P,
  • L2PL1P?
Rozwiązanie

Łatwo zauważyć, że transformacja wielomianowa w sensie Turinga wyznacza preporządek na językach zawartych w {0,1}. Oznaczamy ją symbolem T.

Ćwiczenie 5

Które z poniższych zdań jest prawdziwe:

  • L1TL2L1PL2,
  • L1PL2L1TL2?
Rozwiązanie

Zupełność

Zastosujemy teraz zdefiniowane uprzednio rodziny transformacji do zdefiniowania dla wybranych klas złożoności ich najbardziej reprezentatywnych przedstawicieli - swoistej arystokracji w ramach danej klasy.

Definicja

Niech 𝒞 będzie pewną klasą złożoności, natomiast preporządkiem określonym na językach zawartych w {0,1} (w domyśle jedną ze zdefiniowanych wcześniej rodzin transformacji). Mówimy, że problem decyzyjny L{0,1} jest 𝒞-zupełny w sensie preporządku wtedy i tylko wtedy, gdy:

  • L𝒞,
  • L𝒞LL.

Intuicyjnie problem 𝒞-zupełny jest najtrudniejszym do rozwiązania problemem w klasie złożoności 𝒞. Warto zauważyć, że może istnieć (i zazwyczaj istnieje) więcej niż jeden problem 𝒞-zupełny. Problemy te są równoważne w sensie relacji preporządku .

Ćwiczenie 6

Scharakteryzuj problemy P-zupełne w sensie transformacji wielomianowej.

Rozwiązanie

Jak zauważyliśmy rozpatrywana powyżej klasa jest mało interesująca. Jeszcze mniej interesująca jest oczywiście klasa problemów P-zupełnych w sensie transformacji wielomianowej Turinga. Dla odróżnienia - klasa problemów P-zupełnych w sensie transformacji logarytmicznej cieszy się niemałym zainteresowanie specjalistów z dziedziny złożoności obliczeniowej; z tego powodu najczęściej określa się ją po prostu jako klasę problemów P-zupełnych.

Uwaga [na marginesie]

Przykładem problemu P-zupełnego jest problem HORNSAT. Jego opis można znaleźć w ...

Klasa NP i NP-zupełność

W ramach tego kursu naszym największym zainteresowaniem będzie się cieszyć klasa NP, a w szczególności problemy NP-zipełne w sensie trzech poznanych wcześniej rodzin transformacji. Zanim jednak przejdziemy do problemów NP-zupełnych, poznamy pewną alternatywną definicję klasy złożoności NP.

Twierdzenie

Niech L{0,1}. Wtedy:

LNPp(x)wielomianLPnw{0,1}n[wL(v{0,1}p(n)w,vL)]

Zanim udowodnimy powyższy fakt, spróbujmy najpierw prześledzić, co się właściwie dzieje po prawej stronie równoważności. Słowo v zwykle nazywane jest świadkiem (ang. witness) słowa w. Żądamy, żeby każde słowo należące do języka L miało świadka o długości wielomianowej, natomiast żadne słowo spoza L takiego świadka nie miało. Co więcej - żądamy, aby sprawdzanie, czy v jest świadkiem słowa w było wykonywane w czasie wielomianowym na maszynie deterministycznej - dlatego klasę NP czasem nazywamy klasą problemów weryfikowalnych w czasie wielomianowym.

Przykład [NONPRIME]

Rozważmy problem NONPRIME. Niech w{0,1} będzie reprezentacją liczby naturalnej w systemie binarnym.

 wNONPRIME liczba reprezentowana przez w nie jest liczbą pierwszą

Aby pokazać, że liczba nie jest pierwsza, wystarczy podać dowolny jej nietrywialny dzielnik (nie dotyczy to oczywiście liczby 1). Właśnie ten dzielnik będzie naszym świadkiem (w specjalnym przypadku liczby 1 uznamy, że jej świadkiem jest 1). Język L będzie miał wtedy następującą postać:

 L:={w,v:(num(v)num(w)num(v)1num(v)num(w))num(w)=num(v)=1}

gdzie num(v) oznacza liczbę reprezentowaną przez słowo v. Łatwo zauważyć, że L jest implementowalna w czasie wielomianowym na deterministycznej maszynie - wystarczy pisemnie podzielić w przez v, sprawdzić, czy zostanie reszta z dzielenia i ewentualnie obsłużyć przypadek brzegowy (liczbę 1). Zatem jak tylko udowodnimy powyższe twierdzenie, będziemy mogli stwierdzić, że NONPRIMENP.

Dowód

W stronę dowód jest prosty - skonstruujemy niedeterministyczną maszynę Turinga, rozwiązującą problem L. Maszyna ta najpierw przesunie głowicę za słowo wejściowe, przez następne p(n) kroków będzie wypisywać na taśmę symbole 0 lub 1 (tu jest stosowany niedeterminizm) i przesuwać głowicę w prawo. Od tej pory maszyna będzie działać całkowicie deterministycznie - przesunie się na początek taśmy i zacznie się zachowywać jak deterministyczna maszyna rozwiązująca problem L w czasie wielomianowym.

Jeżeli dla słowa wejściowego w istnieje świadek, to zostanie on wygenerowany przez jedną ze ścieżek postępowania w etapie niedeterministycznym. W przeciwnym przypadku wszyscy "kandydaci na świadków" zostaną odrzuceni (zdemaskowani) przez maszynę rozwiązującą L.

Udowodnijmy teraz przejście w drugą stronę (). Skoro LNP to istnieje niedeterministyczna maszyna Turinga - M - rozstrzygająca problem L. Niech k oznacza maksymalny stopień rozgałęzienia maszyny M, tj.

 k:=max(s,q)Σ×Q#d(s,q)

czyli mówiąc nieformalnie największą liczbę rozgałęzień, która może się dokonać w jednym kroku. Łatwo zauważyć, że istnieje równoważna maszyna M co najwyżej k1-krotnie wolniejsza (a zatem nadal wielomianowa) o maksymalnym stopniu rozgałęzienia równym 2 - uzasadnienie przedstawione jest na poniższym rysunku.

[[ZO-4-2. Przekształcanie rozgałęzienia stopnia k w k1 rozgałęzień stopnia 2.]]

Od tej pory będziemy się zajmować maszyną M. Oznaczmy jej czas działania jako W(n); w związku z tym maszyna dla słowa wielkości n wykona co najwyżej W(n) rozgałęzień. Każda ścieżka postępowania maszyny M jest zatem zdefiniowana poprzez ciąg W(n) bitów mówiących, którą spośród co najwyżej dwóch dostępnych ścieżek została wybrana. Jako "kandydatów na świadków" wybierzmy zatem ciągi {0,1}W(n), świadkiem natomiast niech będzie ciąg reprezentujący akceptującą ścieżkę postępowania maszyny M - o ile taka istnieje.

Wystarczy w tym momencie wksazać deterministyczna maszynę Turinga N, rozpoznającą język L - czyli weryfikującą dla pary słów w,v czy v jest świadkiem dla w. Maszyna taka jest prosta do skonstruowania w następujący sposób:

  • N najpierw przepisuje v na tasmę pomocniczą, po czym wraca na głównej taśmie do początku słowa w,
  • N zachowuje się podobnie jak maszyna M; w przypadku, gdy maszyna ma do wyboru dwie opcje, N sięga po kolejny dostępny bit taśmy pomocniczej i na jego podstawie wybiera ścieżkę postępowania.

Łatwo zauważyc, że M akceptuje słowo w wtedy i tylko wtedy gdy istnieje świadek, który spowoduje że maszyna N dojdzie do stanu akceptującego.

Poznaliśmy zatem alternatywna definicję klasy NP. Potocznie często mówi się, że maszyna rozwiązująca problem z klasy NP najpierw "zgaduje" świadka, a potem weryfikuje go w deterministyczny sposób w czasie wielomianowym. Należy jednak pamiętać, że maszyna w rzeczywistości nie "zgaduje" - zamiast tego sprawdza ona wszystkich możliwych świadków.

Powrócmy teraz do redukcji i problemów zupełnych. Oznaczmy jako NPC, NPCL i NPCT klasy problemów NP-zupełnych w sensie odpowiednio transformacji wielomianowej Karpa, transformacji logarytmicznej i transformacji wielomianowej Turinga. W tym momencie w żaden sposób nie uzasadniliśmy jeszcze, dlaczego którakolwiek z tych klas miałaby być niepusta. Mimo to już w tym momencie można okreslić pewne relacje zawierania pomiędzy tymi klasami.

Ćwiczenie 7

Uszereguj klasy NPC, NPCL i NPCT od najwęższej do najszerszej i uzasadnij to uszeregowanie.

Rozwiązanie

Problem SAT

Zdefiniowanie problemu SAT wymaga uprzedniego wprowadzenia (względnieprzypomnienia) kilku pojęć z dziedziny logiki:

  • literałem nazywamy zmienną lub jej zaprzeczenie,
  • klauzulą nazywamy alternatywę skończonej liczby literałów,
  • mówimy, że formuła logiczna jest w koniunkcyjnej postaci normalnej wtedy i tylko wtedy gdy jest koniunkcją skończonej liczby klauzul. Przykładem formuły w koniunkcyjnej postaci normalnej jest formuła:
 (x1x2¬x3)(x2x3)(¬x1¬x4)

Mówimy, że formuła jest spełnialna wtedy i tylko wtedy gdy istnieje wartościowanie zmiennych, dla których ta formuła jest spełniona. Dla powyższej formuły jednym z wartościowań, dla których jest ona spełniona, jest wartościowanie przypisujące zmiennym x1, x2, x3, x4 odpowiednio wartości 0, 1, 1, 0; w związku z tym powyższa formuła jest spełnialna.

Do dalszych rozważań ustalmy pewne kodowanie formuł logicznych do słów nad alfabetem {0,1} - na przykład ustalmy, że najpierw zapisujemy liczbę klauzul, następnie dla każdej klauzuli liczbę literałów, a następnie dla każdego literału numer zmiennej oraz bit określający czy zmienna jest zaprzeczona.

Definicja

Niech w{0,1}. Wtedy

 Parser nie mógł rozpoznać (nieznana funkcja „\iffw”): {\displaystyle w \in SAT \iffw}
 reprezentuje poprawnie zakodowaną formułę logiczną w koniunkcyjnej postaci normalnej i formuła ta jest spelnialna.

Ćwiczenie 8

Pokaż, że problem SAT należy do klasy NP.

Wskazówka
Rozwiązanie