Teoria informacji/TI Wykład 14

Stała Chaitina

Tak jak w poprzednim wykładzie, ustalamy jakieś bezprefiksowe kodowanie maszyn Turinga (przypominamy, że przykład takiego kodowania można znaleźć w 1 wykładzie z Teorii złożoności) oraz maszynę uniwersalną $U$. Będziemy pisać $M(v)\downarrow$ na oznaczenie własności maszyna M zatrzymuje się startując ze słowa wejściowego v.

Definicja [Stała Chaitina]

Stałą Chaitina określamy jako sumę szeregu $\mathrm{\Omega }=\sum _{U(v)\downarrow }{2}^{-|v|}=\sum _{M(\epsilon )\downarrow }{2}^{-|⟨M⟩|}$

Stała Chaitina jest czasem przedstawiana jako prawdopodobieństwo, że losowo wybrany program się zatrzymuje (ma to miejsce przy pewnym wyborze kodowania i miary prawdopodobieństwa). Oczywiście konkretna wartość $\mathrm{\Omega }$ zależy od wyboru kodowania i maszyny uniwersalnej, ale jej istotne własności od tego nie zależą.

Twierdzenie

Stała Chaitina ma następujące własności.

(1) $\mathrm{\Omega }<1$.

(2) Istnieje maszyna Turinga $T$ z dodatkową taśmą nieskończoną, na której wypisane są kolejne cyfry binarnego rozwinięcia $\mathrm{\Omega }$, która dla danego kodu $⟨M⟩$ maszyny $M$ odpowiada na pytanie, czy $M(\epsilon )\downarrow$.

(3) Istnieje stała $c$ taka, że

$K_U({\omega }_1\dots {\omega }_n)\ge n-c,$ gdzie ${\omega }_1\dots {\omega }_n$ oznacza pierwszych $n$ bitów liczby $\mathrm{\Omega }$.

Punkt (2) oznacza, że ,,znając" stałą Chaitina potrafilibyśmy rozstrzygać problem stopu, natomiast (3) mówi nam, że z dokładnością do stałej, $\mathrm{\Omega }$ jest niekompresowalna.

Dowód

Ad 1. Wykażemy, że (*)

$\sum _M{2}^{-|⟨M⟩|}\le 1$

(tu sumowanie rozciąga się na wszystkie maszyny Turinga, a nie tylko te, dla których $M(\epsilon )\downarrow$). Istotnie, przy bezprefikowsym kodowaniu, dla każdego skończonego zbioru maszyn ${ℳ}$, odpowiedni zbiór kodów tworzy kod bezprefiksowy, a zatem z nierówności Krafta spełnia nierówność $\sum _{M\in {ℳ}}{2}^{-|⟨M⟩|}\le 1$, co po przejściu do supremum daje nierówność (*). Ponieważ niewątpliwie istnieje maszyna, która nie zatrzymuje się na pustej taśmie, $\mathrm{\Omega }$ jest ostro mniejsza od lewej strony (*).

Ad 2. Zanim opiszemy konstrukcję maszyny $T$, zróbmy pewne obserwacje na temat liczby $\mathrm{\Omega }$. Znanym problemem w dowodach własności liczb rzeczywistych jest, że a priori liczba może mieć dwie różne reprezentacje (w szczególności binarne). Działoby się tak, gdyby liczba $\mathrm{\Omega }$ była dwójkowo wymierna, tzn.

(a) $\mathrm{\Omega }=0.{\omega }_1{\omega }_2\dots {\omega }_{k}0111\dots$

(b) $\mathrm{\Omega }=0.{\omega }_1{\omega }_2\dots {\omega }_{k}1000\dots$

Jakkolwiek w przyszłości wykluczymy taką możliwość (będzie to łatwa konsekwencja własności (3)), w tej chwili musimy jeszcze wziąć ją pod uwagę. Otóż bez zmniejszenia ogólności możemy założyć, że $\mathrm{\Omega }$ dana jest w postaci (a). Istotnie, gdybyśmy mieli maszynę $T$ dla tego przypadku, to łatwo moglibyśmy ją zmodyfikować do maszyny $T^{\prime }$, która radziłaby sobie z przypadkiem (b). Maszyna $T^{\prime }$ działałaby tak samo jak maszyna $T$, z tym że począwszy od $k+1$-szej cyfry $\mathrm{\Omega }$, ,,widziałaby na odwrót", tzn. 0 traktowałaby jak 1 a 1 jak 0.

Niech ${𝒮}=\{n:(\mathrm{\exists }M)M(\epsilon )\downarrow \wedge |⟨M⟩|=n\}$

i niech

${{𝒮}}_n={𝒮}\cap \{0,1,\dots ,n\}$

Jeśli wybierzemy wariant (a), lub jeśli $\mathrm{\Omega }$ nie jest dwójkowo wymierna, to liczba wyznaczona przez pierwszych $n$ cyfr $\mathrm{\Omega }$ przedstawia się

$0.{\omega }_1{\omega }_2\dots {\omega }_n=\sum _{i\in {{𝒮}}_n}{2}^{-i}$

(pamiętamy, że $\sum _{i=n+1}^{\mathrm{\infty }}{2}^{-i}=\frac{1}{2^n}$).

Opiszemy teraz działanie maszyny $T$. Jak zwykle w takich przypadkach, opiszemy algorytm, pozostawiając Czytelnikowi jego formalizację w języku maszyn Turinga. Jeśli na wejściu jest słowo nie będące kodem żadnej maszyny, $T$ je odrzuca. Przypuśćmy, że na wejściu jest $⟨M⟩$; niech $n=|⟨M⟩|$. Maszyna $T$ symuluje działanie $M$ na $\epsilon$ (tzn. na pustej taśmie), a także symuluje działanie $M^{\prime }$ na $\epsilon$ dla wszystkich maszyn $M^{\prime }$, takich, że $⟨M^{\prime }⟩\le n$ (np. korzystając z maszyny uniwersalnej), w celu wyznaczenia zbioru ${{𝒮}}_n$. Oczywiście każda z tych maszyn może się zapętlić, dlatego $T$ nie może ich symulować ,,po kolei"; zamiast tego wykonuje na przemian po jednej (kolejnej) instrukcji symulowanych maszyn. (Zauważmy na marginesie, żę metodę można stosować także wtedy, gdy zbiór symulowanych maszyn nie jest a priori ograniczony.)

Ad 3.