Teoria informacji/TI Ćwiczenia 7

Mając daną macierz opisującą kanał, można obliczyć dla jakiego wejściowego rozkładu prawdopodobieństwa informacja wzajemna między wejściem a wyjściej jest największa i tym samym obliczyć przepustowość tego kanału.

Poniższy interaktywny wykres pozwala prześledzić jak ta przepustowość się zmienia w zależności od charakterystyki kanału. Przy pomocy dolnych suwaków można uzyskać charakterystykę dowolnego kanału binarnego (w prawym dolnym rogu). Wykres pokazuje jak dla takiego kanału w zależności od rozkładu prawodpodbieństwa na wejściu (parametr p określa prawdopodobieństwo wysłania 0), zmienia się:

• rozkład prawdopodobieństwa na wyjściu (zielony wykres - prawdopodobieństwo uzyskania 0 na wyjściu)
• informacja wzajemna między wejściem a wyjściem (czerwony wykres)

Maksimum czerwonej krzywej określa pokazuje jaki jest optymalny rozkład na wejściu i jaka jest przepustowość takiego kanału.

<applet code="PSAplecik" archive="images/d/dd/PSApplet.jar" width="600" height="480"> <param name="TITLE" value="Informacja wzajemna dla kanału binarnego"> </applet>

Ćwiczenia

Ćwiczenie 1 [Łączenie kanałów]

Przypuśćmy że łączymy szeregowo kanały opisywane macierzami $P$ i $Q$, tak że wyjście z kanału $P$ jest wejściem do kanału $Q$. Jaka macierz opisuje kanał w ten sposób utworzony?

Rozwiązanie

{{{3}}}

Ćwiczenie 2 [Łączenie BSC]

Załóżmy że $n$ identycznych binarnych kanałów symetrycznych $\mathrm{\Gamma }$ opisywanych macierzą $M=\left(\begin{array}{cc}P& \overline{P}\\ \overline{P}& P\end{array}\right)$ zostało połączonych szeregowo. Udowodnij że tak powstały kanał również jest BSC, i oblicz jego przepustowość. Jaka zachowuje się ta przepustowość dla $n\to \mathrm{\infty }$?

Wskazówka

{{{3}}}

Rozwiązanie

{{{3}}}

Ćwiczenie 3 [Kanał Z]

Kanał $Z$ jest opisywany przez następującą macierz:

$Z=\left(\begin{array}{cc}1& 0\\ \frac{1}{2}& \frac{1}{2}\end{array}\right)$ Oblicz przepustowośc tego kanału i znajdź rozkład prawdopodobieństwa na wejściu który pozwala ją uzyskać.

Rozwiązanie

{{{3}}}

Ćwiczenie 4 [Informacja wzajemna dla BSC]

Narysuj trójwymiarowy wykres informacji pomiędzy wejściem a wyjściem w kanale BSC w zależności od rozkładu prawdopodobieństwa na wejściu i parametru $P$ kanału.

Rozwiązanie

{{{3}}}

Zadania domowe

Zadanie 1 - Kanał pięciokątny

Rozważmy kanał $\mathrm{\Gamma }$ dla którego ${𝒜}={ℬ}=\{0,1,2,3,4\}$ i prawdopodobieństwa przejść wyglądają następująco: $p(b|a)=\{\begin{array}{cccc}\frac{1}{2}& \text{ gdy }& b=a\pm 1& (mod5)\\ 0& \text{ wpp.}& & \end{array}$

Oblicz $C_{\mathrm{\Gamma }}$. Kanał ten można wykorzystać do bezbłędnego przesyłania wiadomości z szybkością transmisji 1 bitu/znak, wysyłając tylko znaki 0 i 1. Opracuj metodę wysyłania danych tak aby uzyskać większą szybkość transmisji, zachowując zerowe prawdopodobieństwo błędu.}}