Teoria informacji/TI Ćwiczenia 7
Mając daną macierz opisującą kanał, można obliczyć, dla jakiego wejściowego rozkładu prawdopodobieństwa informacja wzajemna między wejściem a wyjściem jest największa i tym samym obliczyć przepustowość tego kanału.
Poniższy interaktywny wykres pozwala prześledzić, jak ta przepustowość się zmienia w zależności od charakterystyki kanału. Przy pomocy dolnych suwaków można uzyskać charakterystykę dowolnego kanału binarnego (w prawym dolnym rogu). Wykres pokazuje, jak dla takiego kanału, w zależności od rozkładu prawodpodbieństwa na wejściu (parametr p określa prawdopodobieństwo wysłania 0), zmienia się:
- rozkład prawdopodobieństwa na wyjściu (zielony wykres - prawdopodobieństwo uzyskania 0 na wyjściu)
- informacja wzajemna między wejściem a wyjściem (czerwony wykres).
Maksimum czerwonej krzywej pokazuje, jaki jest optymalny rozkład na wejściu i jaka jest przepustowość takiego kanału.
<applet code="PSAplecik" archive="images/d/dd/PSApplet.jar" width="600" height="480"> <param name="TITLE" value="Informacja wzajemna dla kanału binarnego"> </applet>
Ćwiczenia
Ćwiczenie 1 [Łączenie kanałów]
Rozwiązanie
Ćwiczenie 2 [Łączenie BSC]
Wskazówka
Rozwiązanie
Ćwiczenie 3 [Kanał Z]
Kanał
jest opisywany przez następującą macierz:Rozwiązanie
Ćwiczenie 4 [Informacja wzajemna dla BSC]
Rozwiązanie
Zadania domowe
Zadanie 1 - Kanał pięciokątny
Rozważmy kanał
, dla którego i prawdopodobieństwa przejść wyglądają następująco:Oblicz
. Kanał ten można wykorzystać do bezbłędnego przesyłania wiadomości z szybkością transmisji 1 bitu/znak, wysyłając tylko znaki 0 i 1. Opracuj metodę wysyłania danych, tak aby uzyskać większą szybkość transmisji, zachowując zerowe prawdopodobieństwo błędu.}}