Teoria informacji/TI Ćwiczenia 7: Różnice pomiędzy wersjami

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
m (Zastępowanie tekstu - "\aligned" na "\begin{align}")
 
Linia 18: Linia 18:
  
 
{{rozwiazanie|||  
 
{{rozwiazanie|||  
 +
}}
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
 
Macierz <math>PQ</math>. Zgodnie z [[Teoria informacji/TI Wykład 7#macierz_kanału|definicją macierzy kanału]], dla wejściowego rozkładu prawdopodobieństwa <math>a</math> otrzymujemy pomiędzy kanałami rozkład postaci <math>a \cdot P</math> i na wyjściu rozkład <math>a \cdot P \cdot Q</math>.</div>
 
Macierz <math>PQ</math>. Zgodnie z [[Teoria informacji/TI Wykład 7#macierz_kanału|definicją macierzy kanału]], dla wejściowego rozkładu prawdopodobieństwa <math>a</math> otrzymujemy pomiędzy kanałami rozkład postaci <math>a \cdot P</math> i na wyjściu rozkład <math>a \cdot P \cdot Q</math>.</div>
 
</div>
 
</div>
}}
+
 
  
  
Linia 31: Linia 32:
 
</math> zostało połączonych szeregowo. Udowodnij, że tak powstały kanał również jest BSC, i oblicz jego przepustowość. Jaka zachowuje się ta przepustowość dla <math>n \to \infty</math>?}}
 
</math> zostało połączonych szeregowo. Udowodnij, że tak powstały kanał również jest BSC, i oblicz jego przepustowość. Jaka zachowuje się ta przepustowość dla <math>n \to \infty</math>?}}
  
{{wskazowka|||<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
+
{{wskazowka|||
 +
}}
 +
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible-content" style="display:none"> Do obliczenia przepustowości skorzystaj z wartości własnych <math>M</math> (o wartościach <math>1</math> i <math>2P-1</math>)
 
<div class="mw-collapsible-content" style="display:none"> Do obliczenia przepustowości skorzystaj z wartości własnych <math>M</math> (o wartościach <math>1</math> i <math>2P-1</math>)
 
</div>
 
</div>
 
</div>
 
</div>
}}
+
 
  
 
{{rozwiazanie|||  
 
{{rozwiazanie|||  
 +
}}
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
Linia 49: Linia 53:
 
W pozostałych przypadkach <math>(2P-1)^n \to 0</math> czyli <math>C_{\Gamma^n} \to 1-H(\frac{1}{2})=0</math>.
 
W pozostałych przypadkach <math>(2P-1)^n \to 0</math> czyli <math>C_{\Gamma^n} \to 1-H(\frac{1}{2})=0</math>.
 
</div>
 
</div>
</div>}}
+
</div>
  
  
Linia 60: Linia 64:
  
 
{{rozwiazanie|||  
 
{{rozwiazanie|||  
 +
}}
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
Linia 84: Linia 89:
 
Optymalny rozkład prawdopodobieństwa na wejściu to <math>Pr(x=0)=\frac{3}{5}</math>. Przepustowość <math>C_{\Gamma}=H(\frac{4}{5})-\frac{2}{5} \approx 0,3219</math>
 
Optymalny rozkład prawdopodobieństwa na wejściu to <math>Pr(x=0)=\frac{3}{5}</math>. Przepustowość <math>C_{\Gamma}=H(\frac{4}{5})-\frac{2}{5} \approx 0,3219</math>
 
</div>
 
</div>
</div>}}
+
</div>
  
  
Linia 91: Linia 96:
  
 
{{rozwiazanie|||  
 
{{rozwiazanie|||  
 +
}}
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible mw-made=collapsible mw-collapsed">  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
Linia 97: Linia 103:
 
</div>
 
</div>
 
</div>
 
</div>
}}
 
 
  
 
== Zadania domowe ==
 
== Zadania domowe ==

Aktualna wersja na dzień 20:54, 27 wrz 2020

Mając daną macierz opisującą kanał, można obliczyć, dla jakiego wejściowego rozkładu prawdopodobieństwa informacja wzajemna między wejściem a wyjściem jest największa i tym samym obliczyć przepustowość tego kanału.

Poniższy interaktywny wykres pozwala prześledzić, jak ta przepustowość się zmienia w zależności od charakterystyki kanału. Przy pomocy dolnych suwaków można uzyskać charakterystykę dowolnego kanału binarnego (w prawym dolnym rogu). Wykres pokazuje, jak dla takiego kanału, w zależności od rozkładu prawodpodbieństwa na wejściu (parametr p określa prawdopodobieństwo wysłania 0), zmienia się:

  • rozkład prawdopodobieństwa na wyjściu (zielony wykres - prawdopodobieństwo uzyskania 0 na wyjściu)
  • informacja wzajemna między wejściem a wyjściem (czerwony wykres).

Maksimum czerwonej krzywej pokazuje, jaki jest optymalny rozkład na wejściu i jaka jest przepustowość takiego kanału.

<applet code="PSAplecik" archive="images/d/dd/PSApplet.jar" width="600" height="480"> <param name="TITLE" value="Informacja wzajemna dla kanału binarnego"> </applet>


Ćwiczenia

Ćwiczenie 1 [Łączenie kanałów]

Przypuśćmy, że łączymy szeregowo kanały opisywane macierzami i , tak że wyjście z kanału jest wejściem do kanału . Jaka macierz opisuje kanał w ten sposób utworzony?

Rozwiązanie


Ćwiczenie 2 [Łączenie BSC]

Załóżmy, że identycznych binarnych kanałów symetrycznych opisywanych macierzą zostało połączonych szeregowo. Udowodnij, że tak powstały kanał również jest BSC, i oblicz jego przepustowość. Jaka zachowuje się ta przepustowość dla ?

Wskazówka


Rozwiązanie


Ćwiczenie 3 [Kanał Z]

Kanał jest opisywany przez następującą macierz:

Oblicz przepustowośc tego kanału i znajdź rozkład prawdopodobieństwa na wejściu, który pozwala ją uzyskać.

Rozwiązanie


Ćwiczenie 4 [Informacja wzajemna dla BSC]

Narysuj trójwymiarowy wykres informacji pomiędzy wejściem a wyjściem w kanale BSC w zależności od rozkładu prawdopodobieństwa na wejściu i parametru kanału.

Rozwiązanie

Zadania domowe

Zadanie 1 - Kanał pięciokątny

Rozważmy kanał , dla którego i prawdopodobieństwa przejść wyglądają następująco:

Oblicz . Kanał ten można wykorzystać do bezbłędnego przesyłania wiadomości z szybkością transmisji 1 bitu/znak, wysyłając tylko znaki 0 i 1. Opracuj metodę wysyłania danych, tak aby uzyskać większą szybkość transmisji, zachowując zerowe prawdopodobieństwo błędu.}}