Przetwarzanie rozproszone

Forma zajęć

Wykład (30 godzin) + laboratorium (30 godzin)

Opis

Celem przedmiotu jest przedstawienie podstawowych modeli i problemów przetwarzania rozproszonego oraz przykładów ich zastosowań.

Wykład wprowadza podstawowe pojęcia i modele przetwarzania rozproszonego: formalny model środowiska i procesu (algorytmu) rozproszonego, analizę aktywności i warunki uaktywnienia procesów, klasyczne modele żądań, relację poprzedzania, diagramy przestrzenno-czasowe, grafy stanów osiągalnych, niedeterminizm przetwarzania, spójność obrazu stanu globalnego, predykaty globalne i ich własności, skalarne i wektorowe zegary logiczne, warunki poprawności algorytmów, złożoność czasową i komunikacyjną. Omawiane są następnie zagadnienia komunikacji zachowującej uporządkowanie wiadomości, konstrukcji spójnego obrazu stanu globalnego, detekcji zakleszczenia rozproszonego oraz detekcji zakończenia przetwarzania rozproszonego. Wreszcie przedstawiona jest problematyka związana z niezawodnością przetwarzania w zawodnym środowisku rozproszonym, w tym zagadnienia: modelowania i klasyfikacji awarii, konstrukcji niezawodnych kanałów komunikacyjnych, realizacji detektorów awarii, niezawodnej komunikacji grupowej oraz konsensusu rozproszonego i jego zastosowań. Laboratorium pozwala nabyć praktyczne umiejętności w konstrukcji i implementacji aplikacji rozproszonych w przykładowym środowisku. W ramach laboratoriów studenci konfrontują uzyskane wiadomości z praktyczną implementacją algorytmów rozproszonych, projektują i realizują algorytmy rozproszone w wybranym środowisku przetwarzania rozproszonego.

Sylabus

Autor

• Jerzy Brzeziński — Politechnika Poznańska

Wymagania wstępne

• Znajomość tematyki omawianej w ramach przedmiotu Systemy operacyjne
• Podstawowe wiadomości z zakresu sieci komputerowych
• Laboratoria wymagają znajomości języka C. Przygotowanie do pracy w omawianych środowiskach MPI oraz PVM wymaga podstawowych umiejętności związanych z konfiguracją i zarządzaniem systemem.

Zawartość

Wykłady

• Moduł 1 - Wprowadzenie (2 godz.). W ramach modułu dotyczącego wprowadzenia do przetwarzania rozproszonego prezentowane są następujące zagadnienia: podstawowe definicje (węzły, łącza komunikacyjne i ich właściwości, topologia przetwarzania), charakterystyka środowiska przetwarzania rozproszonego, przykłady środowisk rozproszonych (Internet, GRID, projekty ..@Home, takie jak Seti@Home czy CureCancer, Google).

• Moduł 2 - Przetwarzanie rozproszone (2 godz.). W ramach modułu dotyczącego przetwarzania rozproszonego prezentowane są następujące zagadnienia: podstawowe definicje (proces sekwencyjny, komunikaty, kanały komunikacyjne, stan kanału, indywidualne i grupowe operacje komunikacyjne, komunikacja synchroniczna i asynchroniczna), model formalny procesu sekwencyjnego (stan procesu, zdarzenia, funkcja tranzycji), klasy zdarzeń (zdarzenia wysłania i odbioru, zdarzenia wewnętrzne), warunki uaktywnienia (zbiór warunkujący, gotowość zdarzeń), modele żądań (model jednostkowy, model AND, model OR, podstawowy model k spośród r, model OR-AND, dysjunkcyjny model k spośród r, model predykatowy).

• Moduł 3 - Proces rozproszony (2 godz.). W ramach modułu dotyczącego procesu rozproszonego, prezentowane są następujące zagadnienia: model formalny procesu rozproszonego (stan globalny, zdarzenia, globalna funkcja tranzycji), wykonanie procesu, historia procesu, stany osiągalne, relacja poprzedzania zdarzeń (zdarzenia przyczynowo-zależne i niezależne), diagramy przestrzenno-czasowe, niedeterminizm przetwarzania (przetwarzanie deterministyczne, niedeterministyczne, quasi-deterministyczne), graf stanów osiągalnych, mechanizm monitora procesu, konwencja zapisu algorytmów.

• Moduł 4 - Czas wirtualny, złożoność algorytmów (2 godz.). W ramach modułu dotyczącego czasu wirtualnego i złożoności algorytmów, prezentowane są następujące zagadnienia: zegary logiczne (skalarne i wektorowe oraz algorytmy ich realizacji), niezawodne kanały komunikacyjne (FIFO, typu FC), komunikacja zachowująca przyczynowe uporządkowanie wiadomości, złożoność komunikacyjna i czasowa algorytmów rozproszonych, warunki poprawności algorytmów rozproszonych.

• Moduł 5 - Detekcja zakleszczenia (1) (2 godz.). W ramach pierwszego modułu dotyczącego detekcji zakleszczenia prezentowane są następujące zagadnienia: pojęcia procesu aktywnego i pasywnego, nieformalna definicja zakleszczenia, klasyfikacja problemów detekcji zakleszczenia (detekcja wystąpienia zakleszczenia, detekcja zakleszczenia procesu, detekcja zakleszczenia zbioru procesów, detekcja maksymalnego zbioru procesów zakleszczonych), algorytmy detekcji zakleszczenia dla różnych modeli żądań (modelu OR, modelu AND, modelu k spośród r w środowisku synchronicznym).

• Moduł 6 - Detekcja zakleszczenia (2) (2 godz.). W ramach drugiego modułu dotyczącego detekcji zakleszczenia prezentowane są następujące zagadnienia: algorytmy detekcji zakleszczenia w środowisku asynchronicznym dla modelu k spośród r oraz dla modelu predykatowego.

• Moduł 7 - Konstrukcja spójnego obrazu stanu globalnego - wprowadzenie (2 godz.). W ramach modułu dotyczącego wprowadzenia w problematykę konstrukcji spójnego obrazu stanu globalnego prezentowane są następujące zagadnienia: pojęcia podstawowe (konfiguracja, konfiguracja spójna, odcięcie, odcięcie spójne, linia odcięcia), wybrane predykaty globalne stanu globalnego (possibly, definitely), modele stanów globalnych, koncepcja konstrukcji spójnego obrazu stanu globalnego.

• Moduł 8 - Konstrukcja spójnego obrazu stanu globalnego - algorytmy (2 godz.). W ramach modułu dotyczącego algorytmów konstrukcji spójnego obrazu stanu globalnego, prezentowane są następujące algorytmy: algorytm Chandy-Lamporta, algorytm Matterna, algorytm Lai-Yang, algorytm z kolorowaniem procesów i wiadomości, algorytmy dla kanałów FC (algorytm Chandy-Lamporta ze znacznikami typu TF oraz ze znacznikami typu BF i FF).

• Moduł 9 - Detekcja zakończenia (1) (2 godz.). W ramach pierwszego modułu dotyczącego detekcji zakończenia prezentowane są następujące zagadnienia: przykłady problemów zakończenia (sortowanie rozproszone, algorytm Matterna konstrukcji spójnego obrazu stanu globalnego), definicje formalne zakończenia (zakończenie dynamiczne i statyczne, klasyczna definicja zakończenia), detekcja zakończenia dla synchronicznego modelu przetwarzania oraz dla dyfuzyjnego modelu przetwarzania.

• Moduł 10 - Detekcja zakończenia (2) (2 godz.). W ramach drugiego modułu dotyczącego detekcji zakończenia prezentowane są następujące zagadnienia: algorytmy detekcji zakończenia w atomowym modelu przetwarzania (jednofazowy, wektorowy), algorytmy detekcji zakończenia statycznego i dynamicznego.

• Moduł 11 - Niezawodność przetwarzania (3 godz.). W ramach modułu dotyczącego niezawodności przetwarzania prezentowane są następujące zagadnienia: pojęcia podstawowe (proces poprawny i niepoprawny, definicje awarii, błędu i wady), klasy awarii procesów (załamania, zaniechania, awarie powtarzalne, awarie dowolne), kanały komunikacyjne (rzetelne, wytrwałe, niezawodne), modele systemów rozproszonych w kontekście niezawodności (synchroniczne, asynchroniczne, częściowo synchroniczne), detektory awarii (definicje formalne, własności, zależności między detektorami), implementacja detektorów awarii klasy P i $◊$P, elekcja w środowisku zawodnym.

• Moduł 12 - Mechanizmy rozgłaszania niezawodnego (4 godz.). W ramach modułu dotyczącego mechanizmów rozgłaszania niezawodnego prezentowane są następujące zagadnienia: mechanizm podstawowego rozgłaszania niezawodnego, mechanizm zgodnego rozgłaszania niezawodnego (algorytm pasywny, algorytm aktywny), mechanizm jednolitego rozgłaszania niezawodnego (algorytm z potwierdzeniami od wszystkich, algorytm z potwierdzeniami od większości), mechanizm probabilistycznego rozgłaszania niezawodnego (algorytm pasywny, algorytm aktywny), mechanizm zgodnego rozgłaszania niezawodnego z przyczynowym uporządkowaniem wiadomości, mechanizm zgodnego rozgłaszania niezawodnego z globalnym uporządkowaniem wiadomości.

• Moduł 13 - Problem konsensusu (3 godz.). W ramach modułu dotyczącego problemu konsensusu prezentowane są następujące zagadnienia: konsensus jako przykład problemów uzgadniania, nierozwiązywalność problemu konsensusu w środowisku asynchronicznym, konsensus podstawowy (algorytmy rozgłoszeniowy, algorytm hierarchiczny), konsensus jednolity (algorytmy rozgłoszeniowy, algorytm hierarchiczny), konsensus probabilistyczny, konsensus a inne problemy (realizacja mechanizmu zgodnego rozgłaszania niezawodnego z globalnym uporządkowaniem wiadomości za pomocą mechanizmu konsensusu).

Laboratoria

• Pierwszą część zajęć laboratoryjnych kursu stanowi dziewięć modułów (20 godz.) poświęconych implementacji algorytmów rozproszonych za pomocą biblioteki PVM. Pierwszym zagadnieniem poruszonym w ramach laboratoriów będzie przygotowanie środowiska PVM do pracy. Przedstawiona zostanie podstawowa funkcjonalność biblioteki PVM. W ramach ćwiczeń pokazane zostaną programy demonstrujące wybraną użyteczność biblioteki PVM, a także implementacje algorytmów wyliczania liczby $\mathrm{\Pi }$ metodą Monte-Carlo, łamania haseł, zegarów logicznych i detekcji zakończenia przetwarzania.

• Drugą część zajęć laboratoryjnych kursu stanowią cztery moduły (10 godz.) przedstawiające alternatywne wobec PVM środowisko MPI. W ramach laboratorium przedstawiona zostanie instalacja i konfiguracja środowiska oraz wybrana część jego funkcjonalności.

Literatura

Literatura podstawowa

1. M. Ben-Ari, Podstawy programowania współbieżnego i rozproszonego, WNT, 1990
2. Brzeziński J. Ocena stanu globalnego w systemach rozproszonych, OWN 2001
3. Guerraoui R., Rodrigues L. Introduction to Reliable Distributed Programming, Springer-Verlag, 2006
4. Lynch N. A. Distributed algorithms, Morgan Kaufmann Publishers, 1996
5. Müllender S., ed. Distributed Systems, Addison-Wesley, 1993
6. Tel G. Introduction to Distributed Algorithms, Cambridge University Press, 1994

Literatura uzupełniająca

1. Attiya H., Welch J. Distributed computing. Fundamentals, Simulations and Advanced Topics, John Wiley & Sons, 2004
2. Chow R., Johnson T. Distributed Operating Systems & Algorithms, Addison Wesley Longman, 1997
3. Garg K. V.: Principles of Distributed Systems, Kluwer Academic Publishers, 1996
4. Raynal M. Distributed Algorithms and Protocols, John Wiley & Sons, 1988
5. Sinha P. K.. Distributed Operating Systems. Concepts and Design, IEEE Computer Society Press, 1997
6. Tanenbaum A. S.: Distributed Systems Principles and Paradigms, Prentice Hall 2002
7. Tanenbaum A. S. Rozproszone Systemy Operacyjne, PWN, 1997

Moduły

Podstawową postacią materiałów dydaktycznych są wykłady w postaci flash.

• Informacja o autorach kursu; PDF
• Literatura do przedmiotu PR; PDF

Uwaga! Wersje w flashu najprawdopodobniej nie zostaną zaktualizowane. Zmieni się także format dołączonych plików pdf. Bedą dostępne trzy formaty plików: slajdy kolorowe (4 slajdy na stronie), slajdy czarnobiałe (4 slajdy na stronę) oraz osobno, notatki do slajdów.

1. Wykład Wprowadzenie (brak aktualizacji) (pdf (zaktualizowane 9.03.2009), pdf kolor (zaktualizowane 9.03.2009), pdf notatki (zaktualizowane 27.02.2009)) / Laboratorium - Wprowadzenie do środowiska PVM (zaktualizowane 9.03.2009) (wersja pdf) (brak aktualizacji) Flash Pytania
2. Wykład Przetwarzanie rozproszone (brak aktualizacji) (pdf (zaktualizowane 10.03.2009), pdf kolor (zaktualizowane 10.03.2009),pdf notatki (zaktualizowane 10.03.2009)) / Laboratorium - Pierwsze kroki w PVM (brak aktualizacji) (wersja pdf) (brak aktualizacji) Flash Pytania
3. Wykład Proces rozproszony (brak aktualizacji) (pdf (zaktualizowane 30.03.2009), pdf kolor (zaktualizowane 30.03.2009),pdf notatki (zaktualizowane 30.03.2009)) / Laboratorium - Komunikacja między procesami (wersja pdf) Flash Pytania
4. Wykład Zegary logiczne, złożoność obliczeniowa (brak aktualizacji) (pdf (zaktualizowane 30.03.2009),pdf kolor (zaktualizowane 30.03.2009),pdf notatki (zaktualizowane 30.03.2009)) / Laboratorium - Zegary logiczne (wersja pdf) Flash Pytania
5. Wykład Detekcja zakleszczenia I (brak aktualizacji) (pdf (zaktualizowane 30.03.2009),pdf kolor (zaktualizowane 30.03.2009), pdf notatki (zaktualizowane 30.03.2009)) / Laboratorium - Komunikacja grupowa (wersja pdf) Flash Pytania
6. Wykład Detekcja zakleszczenia II (brak aktualizacji) (pdf (zaktualizowane 30.03.2009),pdf kolor (zaktualizowane 30.03.2009), pdf notatki (zaktualizowane 30.03.2009)) / Laboratorium - Obliczanie liczby Pi metodą montecarlo (wersja pdf) Flash Pytania
7. Wykład Konstrukcja spójnego obrazu stanu globalnego I (pdf,pdf kolor,pdf notatki) / Laboratorium - Łamanie haseł (wersja pdf) Flash Pytania
8. Wykład Konstrukcja spójnego obrazu stanu globalnego II (pdf, pdf kolor,pdf notatki) / Laboratorium - Zaawansowane operacje grupowe (wersja pdf) Flash Pytania
9. Wykład Detekcja zakończenia I (pdf, pdf kolor, pdf notatki) / Laboratorium - Detekcja zakończenia (wersja pdf) Flash Pytania
10. Wykład Detekcja zakończenia II (pdf, pdf kolor, pdf notatki) / Laboratorium - Instalacja środowiska MPI w systemie operacyjnym Microsoft Windows (wersja pdf) Flash Pytania
11. Wykład Niezawodność przetwarzania (pdf, pdf kolor, pdf notatki) / Laboratorium - Instalacja środowiska MPI w systemie operacyjnym Linux (wersja pdf) Flash Pytania
12. Wykład Niezawodne rozgłaszanie (pdf,pdf kolor,pdf notatki) / Laboratorium - Pierwsze kroki w środowisku MPI (wersja pdf) Flash Pytania
13. Wykład Problemy konsensusu (pdf,pdf kolor,pdf notatki) / Laboratorium - Komunikacja kolektywna w środowisku MPI (wersja pdf) Flash Pytania

Tylko laboratoria:

• Materialy do laboratoriow: przykladowe programy w postaci skompresowanego archiwum tar.

1. Laboratorium - Wprowadzenie do środowiska PVM (wersja pdf)
2. Laboratorium - Pierwsze kroki w PVM (wersja pdf)
3. Laboratorium - Komunikacja między procesami (wersja pdf)
4. Laboratorium - Zegary logiczne (wersja pdf)
5. Laboratorium - Komunikacja grupowa (wersja pdf)
6. Laboratorium - Obliczanie liczby Pi metodą montecarlo (wersja pdf)
7. Laboratorium - Łamanie haseł (wersja pdf)
8. Laboratorium - Zaawansowane operacje grupowe (wersja pdf)
9. Laboratorium - Detekcja zakończenia (wersja pdf)
10. Laboratorium - Instalacja środowiska MPI w systemie operacyjnym Microsoft Windows (wersja pdf)
11. Laboratorium - Instalacja środowiska MPI w systemie operacyjnym Linux (wersja pdf)
12. Laboratorium - Pierwsze kroki w środowisku MPI (wersja pdf)
13. Laboratorium - Komunikacja kolektywna w środowisku MPI (wersja pdf)