Teoria informacji/TI Ćwiczenia 12
Druga zasada termodynamiki
Druga zasada termodynamiki w fizyce brzmi następująco:
Pokażemy tutaj, jak prawo to wiąże się z pojęciami z teorii informacji.
W mechanice statystycznej, entropia układu jest definiowana przy pomocy identycznego wzoru jak entropia Shannona, gdzie konkretnym wartościom zmiennej losowej odpowiadają pojedyncze mikrostany układu. Każdy mikrostan opisuje wszystkie parametry układu mające wpływ na jego dalszą ewolucję. Oznacza to, że stan układu w przyszłości zależy wyłącznie od stanu aktualnego, niezależnie od tego, w jaki sposób stan aktualny został uzyskany. Dzięki temu zachowanie układu izolowanego w czasie możemy modelować za pomocą łańcucha Markowa
. Okazuje się, że entropia w takim modelu nie zawsze rośnie, ale można wskazać warunki dla których tak się dzieje.
Ćwiczenie 1 [Jednostajny rozkład stacjonarny]
Załóżmy, że rozkład stacjonarny procesu Markowa jest jednostajny (prawdopodobieństwa wszystkich mikrostanów są równe).
W takim przypadku cały układ dąży do stanu jednostajnego i jego entropia dąży do maksymalnej. Udowodnij, że w takiej sytuacji dla dowolnego stanu początkowego i dowolnej ilości kroków zachodzi .
Ćwiczenie 2 [Entropia przyszłości]
Załóżmy, że układ znajduje się w stanie stacjonarnym, a więc
przyszłość chcemy przewidzieć). nie zmienia się w czasie. Udowodnij, że rośnie razem z (a więc przewidywanie przyszłości jest tym trudniejsze, im dalszą
Ćwiczenie 3 [Entropia przyszłości - c.d.]
Ćwiczenie 4 [Strzałka czasu]
Niech
będzie stacjonarnym procesem Markowa. Pokaż, że(Czyli że mając dany stan układu w kolejnych krokach, równie trudno jest obliczyć stan układu w przyszłości, jak
jego stan w przeszłości.
Ćwiczenie 5 [Tasowanie kart]
Niech T oznacza tasowanie (permutację) talii kart, X oznacza początkowe ich ułożenie, a TX oznacza ułożenie kart po zaaplikowaniu tasowania T do X. Pokaż, że jeśli wybór T i X jest niezależny, to