Teoria informacji/TI Ćwiczenia 12

Druga zasada termodynamiki

Druga zasada termodynamiki w fizyce brzmi następująco:

W układzie zamkniętym w dowolnym procesie entropia nigdy nie maleje.

Pokażemy tutaj, jak prawo to wiąże się z pojęciami z teorii informacji.

W mechanice statystycznej, entropia układu jest definiowana przy pomocy identycznego wzoru jak entropia Shannona, gdzie konkretnym wartościom zmiennej losowej odpowiadają pojedyncze mikrostany układu. Każdy mikrostan opisuje wszystkie parametry układu mające wpływ na jego dalszą ewolucję. Oznacza to, że stan układu w przyszłości zależy wyłącznie od stanu aktualnego, niezależnie od tego, w jaki sposób stan aktualny został uzyskany. Dzięki temu zachowanie układu izolowanego w czasie możemy modelować za pomocą łańcucha Markowa $X_{0},X_{1},\ldots$. Okazuje się, że entropia w takim modelu nie zawsze rośnie, ale można wskazać warunki dla których tak się dzieje.

Ćwiczenie 1 [Jednostajny rozkład stacjonarny]

Załóżmy, że rozkład stacjonarny procesu Markowa jest jednostajny (prawdopodobieństwa wszystkich mikrostanów są równe).

W takim przypadku cały układ dąży do stanu jednostajnego i jego entropia dąży do maksymalnej. Udowodnij, że w takiej sytuacji dla dowolnego stanu początkowego $X_{0}$ i dowolnej ilości kroków $n$ zachodzi $H(X_{n+1})\geq H(X_{n})$.

Ćwiczenie 2 [Entropia przyszłości]

Załóżmy, że układ znajduje się w stanie stacjonarnym, a więc $H(X_{n})$ nie zmienia się w czasie. Udowodnij, że $H(X_{n}|X_{1})$ rośnie razem z $n$ (a więc przewidywanie przyszłości jest tym trudniejsze, im dalszą

przyszłość chcemy przewidzieć).

Ćwiczenie 3 [Entropia przyszłości - c.d.]

Znajdź przykład dla którego w $H(X_{n}|X_{1}=x_{1})$ nie zawsze rośnie razem z $n$.

Ćwiczenie 4 [Strzałka czasu]

Niech $\{X_{i}\}_{i=-\infty }^{\infty }$ będzie stacjonarnym procesem Markowa. Pokaż, że

$H(X_{0}|X_{-1},X_{-2},\ldots ,X_{-n})=H(X_{0}|X_{1},X_{2},\ldots ,X_{n})$

(Czyli że mając dany stan układu w kolejnych krokach, równie trudno jest obliczyć stan układu w przyszłości, jak

jego stan w przeszłości.

Ćwiczenie 5 [Tasowanie kart]

Niech T oznacza tasowanie (permutację) talii kart, X oznacza początkowe ich ułożenie, a TX oznacza ułożenie kart po zaaplikowaniu tasowania T do X. Pokaż, że jeśli wybór T i X jest niezależny, to

$H(TX)\geq H(X)$