Teoria informacji/TI Wykład 14

Stała Chaitina

Tak jak w poprzednim wykładzie, ustalamy jakieś bezprefiksowe kodowanie maszyn Turinga oraz bezprefiksową maszynę uniwersalną $U$ .

Definicja [Stała Chaitina]

Stałą Chaitina określamy jako sumę szeregu

\Omega =\sum _{U(v)\downarrow }2^{-|v|}

Stała Chaitina jest czasem przedstawiana jako prawdopodobieństwo, że losowo wybrany program się zatrzymuje (ma to miejsce przy pewnym wyborze kodowania i miary prawdopodobieństwa). Oczywiście konkretna wartość $\Omega$ zależy od wyboru kodowania i maszyny uniwersalnej, ale jej istotne własności od tego nie zależą.

Twierdzenie [Własności $\Omega$ ]

Stała Chaitina ma następujące własności.

(1) $\Omega \leq 1$ .

(2) Istnieje maszyna Turinga $T$ z dodatkową taśmą nieskończoną, na której wypisane są kolejne cyfry binarnego rozwinięcia $\Omega$ , która dla danego kodu $\langle M\rangle$ maszyny $M$ odpowiada na pytanie, czy $M(\varepsilon )\downarrow$ .

(3) Istnieje stała $c$ taka, że

K_{U}(\omega _{1}\ldots \omega _{n})\geq n-c,

gdzie

\omega _{1}\ldots \omega _{n}

oznacza pierwszych

n

bitów liczby

\Omega

.

Punkt (2) oznacza, że "znając" stałą Chaitina potrafilibyśmy rozstrzygać problem stopu, natomiast (3) mówi nam, że z dokładnością do stałej, $\Omega$ jest niekompresowalna.

Dowód

Ad 1. Ponieważ zbiór

L(U)=\{w:U(w)\downarrow \}

jest bezprefiksowy, każdy skończony podzbiór ${\cal {S}}\subseteq L(U)$ , tworzy kod bezprefiksowy, a zatem z nierówności Krafta spełnia nierówność $\sum _{x\in {\cal {S}}}2^{-|x|}\leq 1$ , co po przejściu do supremum daje żądaną nierówność.

Ad 2. Zanim opiszemy konstrukcję maszyny $T$ , zróbmy pewne obserwacje na temat liczby $\Omega$ . Znanym problemem w dowodach własności liczb rzeczywistych jest, że a priori liczba może mieć dwie różne reprezentacje (w szczególności binarne). Działoby się tak, gdyby liczba $\Omega$ była dwójkowo wymierna, tzn.

(a) $\Omega =0.\omega _{1}\omega _{2}\ldots \omega _{k}0111\ldots$

(b) $\Omega =0.\omega _{1}\omega _{2}\ldots \omega _{k}1000\ldots$

Jakkolwiek w przyszłości wykluczymy taką możliwość, w tej chwili musimy jeszcze wziąć ją pod uwagę. Otóż bez zmniejszenia ogólności możemy założyć, że $\Omega$ dana jest w postaci (a). Istotnie, gdybyśmy mieli maszynę $T$ dla tego przypadku, to łatwo moglibyśmy ją zmodyfikować do maszyny $T'$ , która radziłaby sobie z przypadkiem (b). Maszyna $T'$ działałaby tak samo jak maszyna $T$ , z tym że począwszy od $k+1$ -szej cyfry $\Omega$ , "widziałaby na odwrót", tzn. 0 traktowałaby jak 1 a 1 jak 0.

Jeśli wybierzemy wariant (a), lub jeśli $\Omega$ nie jest dwójkowo wymierna, to dla każdego $n$ istnieje skończony podzbiór ${\cal {S}}_{n}\subseteq L(U)$ , taki że liczba wyznaczona przez pierwszych $n$ cyfr $\Omega$ spełnia

0.\omega _{1}\omega _{2}\ldots \omega _{n}\leq \sum _{x\in {\cal {S}}_{n}}2^{-|x|}

(pamiętamy, że $\sum _{i=n+1}^{\infty }2^{-i}={\frac {1}{2^{n}}}$ ).

Opiszemy teraz działanie maszyny $T$ . Jak zwykle w takich przypadkach, opiszemy algorytm, pozostawiając Czytelnikowi jego formalizację w języku maszyn Turinga. Jeśli na wejściu jest słowo $w$ , $|w|=n$ , maszyna $T$ symuluje działanie $U$ na $w$ , a także przegląda kolejne słowa $v$ , powiedzmy w porządku wojskowym, i symuluje działanie $U$ na $v$ . Oczywiście każda z tych maszyn może się zapętlić, dlatego $T$ nie symuluje ich "po kolei"; zamiast tego wykonuje na przemian po jednej (kolejnej) instrukcji kolejnych symulowanych maszyn.

Można to sobie wyobrazić jako "ruch zygzakowy". Jeśli przyjąć, że słowa w porządku wojskowym tworzą ciąg $v_{0},v_{1},v_{2},\ldots$ , a ${\cal {W}}(u_{i})$ oznacza: wykonaj kolejny krok działania maszyny $U$ na wejściu $v_{i}$ lub skip jeśli $U$ już zakończyła działanie, to plan działania maszyny $T$ można przedstawić

{\cal {W}}(v_{0})\,{\cal {W}}(v_{1})\,{\cal {W}}(v_{0})\,{\cal {W}}(v_{1})\,{\cal {W}}(v_{2})\,\,{\cal {W}}(v_{0})\,{\cal {W}}(v_{1})\,{\cal {W}}(v_{2})\,{\cal {W}}(v_{3})\,{\cal {W}}(v_{0})\dots

W trakcie swojego obliczenia, maszyna $T$ utrzymuje zmienną, powiedzmy ${\cal {S}}'$ , której aktualną wartością jest (skończony) zbiór tych słów $v,$ dla których już udało się stwierdzić, że $U(v)\downarrow$ .

Zgodnie z powyższą oberwacją, w skończonym czasie jeden z dwóch przypadków ma miejsce.

(i) $T$ stwierdza, że $U(w)\downarrow$ ; wtedy daje odpowiedź TAK.

(ii) $T$ stwierdza, że

0.\omega _{1}\omega _{2}\ldots \omega _{n}\leq \sum _{v\in {\cal {S}}'}2^{-|v|},

ale $w\not \in {\cal {S}}'$ ; wtedy daje odpowiedź NIE.

Zauważmy, że w tej chwili możemy już wykluczyć możliwość, że $\Omega$ jest liczbą dwójkowo wymierną. Istotnie, Czytelnik pamięta zapewne doskonale, że problem stopu jest nierozstrzygalny, tzn. nie istnieje maszyna bez dodatkowej taśmy, realizująca postulat z warunku (2). Gdyby jednak $\Omega$ była dwójkowo wymierna, to opisaną wyżej konstrukcję maszyny $T$ można przeprowadzić bez reprezentowania liczby $\Omega$ ; zamiast pobierać bity liczby $\Omega$ z dodatkowej nieskończonej taśmy, maszyna $T$ mogłaby je sobie łatwo obliczyć. Podobny argument pokazuje znacznie więcej: $\Omega$ nie jest liczba wymierną ani algebraiczną, ani w ogole "obliczalną" (zobacz Ćwiczenie).

Ad 3. Opiszemy działanie pewnej maszyny $R$ . Na słowie wejściowym $x$ , $R$ najpierw symuluje działanie maszyny uniwersalnej $U$ na słowie $x$ . Dalszy opis prowadzimy przy założeniu, że obliczenie się zakończyło z wynikiem $U(x)$ i co więcej

U(x)=\omega _{1}\omega _{2}\ldots \omega _{n},

stanowi pierwsze $n$ cyfr rozwinięcia binarnego $\Omega$ , dla pewnego $n$ . Niech

\Omega _{n}=\omega _{1}\omega _{2}\ldots \omega _{n}.

Oczywiście, dla wielu $x$ nie będzie to prawdą; wtedy maszyna $R$ zgodnie z naszym opisem będzie wykonywać jakieś działania, których wynik nas nie interesuje. Ważne jest jednak, że dla pewnego $x$ istotnie zajdzie $U(x)=\Omega _{n}$ (z własności maszyny uniwersalnej).

Z kolei, podobnie jak maszyna $T$ w dowodzie punktu (2), maszyna $R$ ruchem zygzakowym przegląda kolejne słowa $y$ i symuluje działanie na $U$ na $y$ , gromadząc w zmiennej ${\cal {S}}'$ te słowa $y$ , dla których obliczenie już się zakończyło. Dodatkowo, dla każdego $y\in {\cal {S}}'$ , $R$ zapamiętuje $U(y)$ . Pamiętamy, że wykluczyliśmy już możliwość podwójnej reprezentacji $\Omega$ . Dlatego też, po pewnym skończonym czasie $R$ stwierdzi, że

\sum _{y\in {\cal {S}}'}2^{-|y|}\geq \Omega _{n}.

Niech $v$ będzie pierwszym w porządku wojskowym słowem takim, że $v\neq U(y)$ , dla każdego $y\in {\cal {S}}'$ . Zauważmy, że $K_{U}(v)\geq n$ (z definicji $\Omega$ ). Wtedy wreszcie nasza maszyna $R$ zatrzymuje się z wynikiem $R(x)=v$ .