Teoria informacji: Różnice pomiędzy wersjami
Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
Nie podano opisu zmian |
|||
| Linia 1: | Linia 1: | ||
== Opis == | == Opis == | ||
Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, | |||
jak m.in. w kryptografii, w modelowaniu języka naturalnego, czy w | Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, jak m.in. w kryptografii, w modelowaniu języka naturalnego, czy w bio-informatyce. Teoria ta okresla ilościowo informację zawartą w zmiennej losowej lub w ciągu bitów, a także kryteria optymalnego przesyłania zakodowanej wiadomości przez zaszumiony kanał. | ||
bio-informatyce. Teoria ta okresla ilościowo informację zawartą w | |||
zmiennej losowej lub w ciągu bitów, a także kryteria optymalnego | |||
przesyłania zakodowanej wiadomości przez zaszumiony kanał. | |||
== Sylabus == | == Sylabus == | ||
=== Autorzy === | === Autorzy === | ||
* Damian Niwiński | * Damian Niwiński | ||
| Linia 13: | Linia 11: | ||
=== Wymagania wstępne === | === Wymagania wstępne === | ||
* Matematyka dyskretna | * [[Matematyka dyskretna]] | ||
* Rachunek prawdopodobieństwa i statystyka | * [[Rachunek prawdopodobieństwa i statystyka]] | ||
* Języki, automaty i obliczenia | * [[Języki, automaty i obliczenia]] | ||
=== Zawartość === | === Zawartość === | ||
* Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. Kody Huffmana i Shannona-Fano. | * Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta. | ||
* Entropia warunkowa, | * Kody Huffmana i Shannona-Fano. | ||
* Entropia warunkowa, pojęcie informacji. | |||
* Pierwsze twierdzenie Shannona o optymalnym kodowaniu. | * Pierwsze twierdzenie Shannona o optymalnym kodowaniu. | ||
* | * Przesyłanie wiadomości przez zaszumiony kanał, przepustowość kanału. | ||
* Poprawa wydajności kanału, stopa kodu. | |||
* Główne twierdzenie Shannona o optymalnym przesyłaniu informacji. | * Główne twierdzenie Shannona o optymalnym przesyłaniu informacji. | ||
* Złożoność informacyjna Kołmogorowa. Liczba Chaitina. | * Kody korygujące błędy. | ||
* Złożoność informacyjna Kołmogorowa i jej własności. Liczba Chaitina. | |||
* Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa. | * Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa. | ||
| Linia 29: | Linia 30: | ||
# "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000. | # "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000. | ||
# "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas, Wiley Series in Telecommunications, 1991. | # "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas, Wiley Series in Telecommunications, 1991. | ||
# "An Introduction to Kolmogorov Complexity and Its Applications" by Ming Li and Paul Vitanyi, Springer, 1997. | |||
== Moduły == | |||
# [[TI Wykład 1|Notacja i kody]] | |||
Wersja z 10:27, 10 cze 2006
Opis
Wprowadzenie w teorię przydatną w wielu zastosowaniach informatyki, jak m.in. w kryptografii, w modelowaniu języka naturalnego, czy w bio-informatyce. Teoria ta okresla ilościowo informację zawartą w zmiennej losowej lub w ciągu bitów, a także kryteria optymalnego przesyłania zakodowanej wiadomości przez zaszumiony kanał.
Sylabus
Autorzy
- Damian Niwiński
- Michał Strojnowski
- Marcin Wojnarski
Wymagania wstępne
Zawartość
- Od gry w 20 pytań do pojęcia entropii. Nierówność Krafta.
- Kody Huffmana i Shannona-Fano.
- Entropia warunkowa, pojęcie informacji.
- Pierwsze twierdzenie Shannona o optymalnym kodowaniu.
- Przesyłanie wiadomości przez zaszumiony kanał, przepustowość kanału.
- Poprawa wydajności kanału, stopa kodu.
- Główne twierdzenie Shannona o optymalnym przesyłaniu informacji.
- Kody korygujące błędy.
- Złożoność informacyjna Kołmogorowa i jej własności. Liczba Chaitina.
- Złożoność informacyjna Kołmogorowa a entropia Shannona - uniwersalny test Martina Loffa.
Literatura
- "Information and Coding Theory" by Gareth A. Jones and J. Mary Jones, Springer, 2000.
- "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas, Wiley Series in Telecommunications, 1991.
- "An Introduction to Kolmogorov Complexity and Its Applications" by Ming Li and Paul Vitanyi, Springer, 1997.
