Teoria informacji/TI Ćwiczenia 7

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania

Mając daną macierz opisującą kanał, można obliczyć, dla jakiego wejściowego rozkładu prawdopodobieństwa informacja wzajemna między wejściem a wyjściem jest największa i tym samym obliczyć przepustowość tego kanału.

Poniższy interaktywny wykres pozwala prześledzić, jak ta przepustowość się zmienia w zależności od charakterystyki kanału. Przy pomocy dolnych suwaków można uzyskać charakterystykę dowolnego kanału binarnego (w prawym dolnym rogu). Wykres pokazuje, jak dla takiego kanału, w zależności od rozkładu prawodpodbieństwa na wejściu (parametr p określa prawdopodobieństwo wysłania 0), zmienia się:

  • rozkład prawdopodobieństwa na wyjściu (zielony wykres - prawdopodobieństwo uzyskania 0 na wyjściu)
  • informacja wzajemna między wejściem a wyjściem (czerwony wykres).

Maksimum czerwonej krzywej pokazuje, jaki jest optymalny rozkład na wejściu i jaka jest przepustowość takiego kanału.

<applet code="PSAplecik" archive="images/d/dd/PSApplet.jar" width="600" height="480"> <param name="TITLE" value="Informacja wzajemna dla kanału binarnego"> </applet>


Ćwiczenia

Ćwiczenie 1 [Łączenie kanałów]

Przypuśćmy, że łączymy szeregowo kanały opisywane macierzami i , tak że wyjście z kanału jest wejściem do kanału . Jaka macierz opisuje kanał w ten sposób utworzony?

Rozwiązanie


Ćwiczenie 2 [Łączenie BSC]

Załóżmy, że identycznych binarnych kanałów symetrycznych opisywanych macierzą zostało połączonych szeregowo. Udowodnij, że tak powstały kanał również jest BSC, i oblicz jego przepustowość. Jaka zachowuje się ta przepustowość dla ?

Wskazówka


Rozwiązanie


Ćwiczenie 3 [Kanał Z]

Kanał jest opisywany przez następującą macierz:

Oblicz przepustowośc tego kanału i znajdź rozkład prawdopodobieństwa na wejściu, który pozwala ją uzyskać.

Rozwiązanie


Ćwiczenie 4 [Informacja wzajemna dla BSC]

Narysuj trójwymiarowy wykres informacji pomiędzy wejściem a wyjściem w kanale BSC w zależności od rozkładu prawdopodobieństwa na wejściu i parametru kanału.

Rozwiązanie

Zadania domowe

Zadanie 1 - Kanał pięciokątny

Rozważmy kanał , dla którego i prawdopodobieństwa przejść wyglądają następująco:

Oblicz . Kanał ten można wykorzystać do bezbłędnego przesyłania wiadomości z szybkością transmisji 1 bitu/znak, wysyłając tylko znaki 0 i 1. Opracuj metodę wysyłania danych, tak aby uzyskać większą szybkość transmisji, zachowując zerowe prawdopodobieństwo błędu.}}