Tekst źródłowy strony Pr m11 lab

[[Przetwarzanie rozproszone|<< Powrot]]

=Instalacja środowiska MPI w systemie operacyjnym Linux=
==Zakres ćwiczenia==
W tym ćwiczeniu dowiesz się, w jaki sposób dokonać instalacji środowiska MPI w systemie operacyjnym Linux. Do instalacji wybrano pakiet MPICH2, będący implementacją standardu MPI-2, stworzoną w Argonne National Laboratory. Pakiet ten jest stanowczo zalecany, jeżeli nie istnieje potrzeba komunikacji danych heterogenicznych, np. o innym porządku bajtów, albo innej długości dla liczb całkowitych.

==Etapy instalacji środowiska MPI w systemie operacyjnym Linux==
W celu zainstalowania środowiska MPI niezbędne jest podjęcie następujących kroków:

:A. Pobranie pliku <tt>mpich2-1.0.3.tar.gz</tt>. Plik ten zawiera kod źródłowy, stąd może być instalowany na dowolnej platformie, w tym pod systemem operacyjnym Linux.


::1.   Wejdź na stronę: [http://www-unix.mcs.anl.gov/mpi/mpich2/ http://www-unix.mcs.anl.gov/mpi/mpich2/].


::2.   Wejdź w zakładkę '''Download'''. Pobierz plik <tt>mpich2-1.0.3.tar.gz</tt> dla dowolnej platformy.


::3.   Zapisz plik do katalogu <tt>/home/you/install/mpich2</tt> gdzie <tt>you</tt> jest Twoją nazwą użytkownika.


:B. Instalacja pliku <tt>mpich2-1.0.3.tar.gz</tt>.


::1.   Przed instalacją powinny być spełnione następujące wymagania:
:::  - pobrany jest plik <tt>mpich2-1.0.3.tar.gz</tt>.

:::  - zainstalowano kompilator języka C, np. <tt>gcc</tt>.

:::  - zainstalowano kompilator języka Fortran, np. <tt>g77</tt>, kompilator języka C<nowiki>++</nowiki>, np. <tt>g<nowiki>++</nowiki></tt>, i kompilator języka Fortran 90, np. <tt>g95</tt>, <tt>gfortran</tt> lub <tt>F</tt>, jeżeli przewiduje się korzystanie z programów w tych językach.

:::  - zainstalowano pakiet Python 2.2 lub późniejszy, do budowy systemu zarządzania procesami MPD.


::2.   Rozpakuj plik <tt>mpich2-1.0.3.tar.gz</tt> poleceniem:


:::    <tt>gunzip mpich2-1.0.3.tar.gz</tt>


:::    utwórz strukturę katalogu poleceniem:


:::    <tt>tar xf mpich2-1.0.3.tar</tt>


:::    i przejdź do katalogu <tt>mpich2-1.0.3</tt> poleceniem:


:::    <tt>cd mpich2-1.0.3</tt>



::3.  Utwórz katalog instalacyjny (domyślnym jest katalog <tt>/usr/local/bin)</tt>:


:::    <tt>mkdir /home/you/mpich-install</tt>


:::    Najwygodniej byłoby, gdyby ten katalog był współdzielony przez wszystkie komputery, na których chcesz uruchamiać procesy. Jeżeli nie, musisz powielić go na każdym komputerze po zakończeniu instalacji.


::4.   Dokonaj konfiguracji pakietu MPICH2, wskazując katalog instalacyjny poleceniem:


:::    <tt>/configure –prefix=/home/you/mpich2-install <nowiki>|</nowiki>& tee configure.log</tt>


:::    a w powłoce <tt>sh</tt> poleceniem:


:::    <tt>/configure –prefix=/home/you/mpich2-install 2<nowiki>></nowiki>&1 <nowiki>|</nowiki> tee configure.log</tt>


:::    Sprawdź zawartość pliku <tt>configure.log</tt>, aby upewnić się, że wszystko idzie dobrze.


::5.   Skompiluj MPICH2 poleceniem:


:::    <tt>make <nowiki>|</nowiki>& tee make.log</tt>


:::    Sprawdź zawartość pliku <tt>make.log</tt>, czy proces ten przebiega poprawnie.


::6.   Przenieś pliki MPICH2 do właściwego katalogu poleceniem:


:::    <tt>make install <nowiki>|</nowiki>& tee install.log</tt>


:::    W tym kroku umieszcza się wszystkie wymagane pliki wykonywalne i skrypty w podkatalogu <tt>bin</tt> katalogu określonego argumentem <tt>prefix</tt> podczas konfiguracji pakietu, czyli katalogu <tt>/home/you/mpich2-install</tt>.


::7.   Dodaj podkatalog <tt>bin</tt> do katalogu instalacyjnego poleceniem <tt>setenv</tt> albo <tt>export</tt>, w zależności od powłoki.


:::    Dla powłoki <tt>csh</tt> i <tt>tcsh</tt>:


:::    <tt>setenv PATH /home/you/mpich2-install/bin:$PATH</tt>


:::    a dla powłoki <tt>bash</tt> i <tt>sh</tt>:


:::    <tt>export PATH=/home/you/mpich2-install/bin:$PATH</tt>


:::    Sprawdź, czy proces instalacji do tego momentu przebiega normalnie, wydając następujące trzy polecenia:


:::    <tt>which mpd</tt>


:::    <tt>which mpiexec</tt>


:::    <tt>which mpirun</tt>


:::    Odnoszą się one do trzech poleceń MPICH2: <tt>mpd</tt>, <tt>mpiexec</tt> i <tt>mpirun</tt>  umieszczonych wcześniej, w punkcie 6, w podkatalogu <tt>bin</tt> Twojego katalogu instalacyjnego <tt>/home/you/mpich2-install</tt>. Jeżeli ten katalog, tzn. <tt>/home/you/mpich2-install</tt>, nie jest współdzielony przez inne komputery, np. poprzez współdzielony system plików NFS, to właśnie teraz powinieneś skopiować go na pozostałe komputery.


:C. Uruchomienie i przetestowanie menedżera procesów MPD.


::1.   MPICH2 stosuje zewnętrzny menedżer procesów do dającego się skalować uruchomienia dużych zadań MPI. Domyślnym menedżerem zadań jest MPD, alternatywnymi SMPD i gforker.


::2.   MPD jest pierścieniem demonów na komputerach, na których masz zamiar uruchomić programy MPI. W kilku następnych krokach dowiesz się, w jaki sposób utworzyć taki pierścień, jak go uaktywnić, i jak go przetestować. Więcej szczegółów znajdziesz w pliku <tt>README</tt> w katalogu <tt>mpich2-1.0.3/src/pm/mpd</tt>. Szczegóły te dotyczą wyświetlania listy uruchomionych zadań, zawieszania i usuwania zadań, przekazywania sygnałów do zadań, oraz stosowania debuggera <tt>mpigdb</tt>.


::3.   Rozpocznij od stworzenia w Twoim katalogu domowym pliku <tt>.mpd.conf</tt>, plik ten zawiera jeden wiersz:


:::   <tt>secretword=<nowiki><</nowiki>secretword<nowiki>></nowiki></tt>


:::   gdzie <tt><nowiki><</nowiki>secretword<nowiki>></nowiki></tt> jest unikalnym łańcuchem znaków, znanym tylko Tobie, odmiennym od Twojego hasła w systemie Linux. Nadaj temu plikowi prawa do odczytu i zapisu tylko przez Ciebie poleceniem:


:::   <tt>chmod 600 .mpd.conf</tt>


:::   Pierwszym sprawdzianem jest aktywacja pierścienia z jednym menedżerem na lokalnym komputerze, przetestowanie jednego polecenia <tt>mpd</tt> i deaktywacja pierścienia:


:::   <tt>mpd&</tt>


:::   <tt>mpdtrace</tt>


:::   <tt>mpdallexit</tt>


:::   Wyjściem polecenia <tt>mpdtrace</tt> jest nazwa komputera, na której pracujesz. Polecenie <tt>mpdallexit</tt> powoduje wyjście z demona <tt>mpd</tt>.


::5.  Teraz dokonasz aktywacji pierścienia demonów <tt>mpd</tt> na pewnym zbiorze komputerów. W tym celu utwórz plik nazwie <tt>mpd.hosts</tt>. W pliku tym wpisz, wiersz po wierszu, nazwy wszystkich komputerów w pierścieniu. Sprawdź, po kolei, czy możesz osiągnąć każdy z tych komputerów poprzez <tt>ssh</tt> albo <tt>rsh</tt>, bez wpisywania hasła. Przetestuj ten fakt poleceniem:


:::   <tt>ssh othermachine date</tt>


:::   albo


:::   <tt>rsh othermachine date</tt>


:::   Jeżeli nie możesz tego zrobić bez wpisywania hasła, zmień konfigurację <tt>ssh</tt> albo <tt>rsh</tt>. Jeżeli nadal się to nie udaje, postępuj jak opisano w kolejnym punkcie.


::6.  Uruchom demony na pewnej liczbie komputerów z listy w pliku <tt>mpd.hosts</tt>.


:::   <tt>mpdboot –n <nowiki><</nowiki>number to start<nowiki>></nowiki></tt>


:::   gdzie <tt><nowiki><</nowiki>number to start<nowiki>></nowiki></tt> może być mniejszy niż 1 <nowiki>+</nowiki> liczba komputerów w pliku <tt>mpd.hosts</tt>, ale nie może być większy niż 1 <nowiki>+</nowiki> liczba komputerów w pliku <tt>mpd.hosts</tt>. Jeden demon <tt>mpd</tt> jest uruchomiony na komputerze, na którym uruchomiono polecenie <tt>mpdboot</tt>, i jest już wliczony do liczby <tt><nowiki><</nowiki>number to start<nowiki>></nowiki></tt>, niezależnie czy występuje w pliku <tt>mpd.hosts</tt>.


:::   Jeżeli nie można wykonać polecenia <tt>mpdboot</tt>, ponieważ jest problem z konfiguracją <tt>ssh</tt> i <tt>rsh</tt>, możesz prowizorycznie rozwiązać ten problem, uruchamiając ręcznie demony, poleceniem:


:::   <tt>mpd &</tt>


:::   które uruchamia lokalnego demona, oraz poleceniem:


:::   <tt>mpdtrace –l</tt>


:::   które powoduje, że lokalny demon podaje swój komputer i port w postaci <nowiki><</nowiki><tt>host</tt><nowiki>></nowiki> <nowiki><</nowiki><tt>port</tt><nowiki>></nowiki>


:::   Następnie zarejestruj się na każdym z pozostałych komputerów, przejdź do właściwego katalogu <tt>install/bin</tt> i wykonaj:


:::   <tt>mpd –h <nowiki><</nowiki>hostname<nowiki>></nowiki> -p <nowiki><</nowiki>port<nowiki>></nowiki> &</tt>


:::   gdzie <tt><nowiki><</nowiki>hostname<nowiki>></nowiki></tt> i <tt><nowiki><</nowiki>port<nowiki>></nowiki></tt> należą do oryginalnego uruchomionego przez Ciebie <tt>mpd</tt>. Na każdym komputerze, po uruchomieniu <tt>mpd</tt>, wykonaj:


:::   <tt>mpdtrace</tt>


:::   aby zobaczyć, które komputery są nadal w pierścieniu.


::7.  Testuj właśnie utworzony pierścień poleceniem:


:::   <tt>mpdtrace</tt>


:::   Efektem tego polecenia powinna lista komputerów, na których aktualnie chodzą demony MPD. Można sprawdzić również, jak szybko komunikat obiegnie cały pierścień poleceniem:


:::   <tt>mpdringtest</tt>


:::   Ale ponieważ dzieje się to błyskawicznie, lepiej jest ten dystans przedłużyć tysiąckrotnie:


:::   <tt>mpdringtest 1000</tt>


:D. Testowanie uruchomienia zadania na wielu procesach.


::1.  Testuj czy w pierścieniu można uruchomić zadanie na wielu procesach. Zrób to poleceniem o składni:


:::   <tt>mpiexec –n <nowiki><</nowiki>number<nowiki>></nowiki> hostname</tt>


:::   Liczba procesów nie musi zgadzać się z liczbą komputerów w pierścieniu, jeżeli procesów jest więcej, będą się „zawijać". Możesz to zobaczyć, wyświetlając etykiety procesów poleceniem:


:::   <tt>mpiexec –l -n 30 hostname</tt>


:::   albo podając pełną ścieżkę:


:::   <tt>mpiexec –l -n 30 /bin/hostname</tt>


::2.  Uruchom zadanie MPI, korzystając z przykładu z katalogu instalacyjnego albo z katalogu <tt>mpich2-1.0.3/examples</tt>. Wybierz zadanie <tt>cpi</tt>, obliczające liczbę ''pi'' metodą równoległego całkowania numerycznego:


:::   <tt>mpiexec -n 5 cpi</tt>


:::   Liczba procesów, jak już wiesz, nie musi odpowiadać liczbie komputerów. Przykład <tt>cpi</tt> sam poda, na ilu procesach się liczy. Nie ma potrzeby podawania komputerów, w obliczeniach mogą brać udział te, które są w pierścieniu.


::3.  Zwróć uwagę, jak wiele opcji ma polecenie <tt>mpiexec</tt>. Możesz je wszystkie poznać podając polecenie:


:::   <tt>mpiexec –-help</tt>


::4.  Typowym przykładem jest polecenie <tt>mpiexec</tt>, w postaci gwarantującej, że proces z numerem 0 uruchomi się akurat na Twoim komputerze:


:::   <tt>mpiexec -n 1 master : -n 19 slave</tt>


:::   albo


:::   <tt>mpiexec -n 1 -host mymachine : -n 19 slave</tt>
:
:

===Zadanie do samodzielnego wykonania===
Dokonaj instalacji pakietu MPICH2 na dwóch, trzech, lub czterech komputerach, pracujących pod systemem operacyjnym Linux. Wykorzystaj wiadomości z niniejszego ćwiczenia, oraz z dwóch dokumentów, dostępnych w podkatalogu <tt>/doc/userguide</tt> i <tt>/doc/installguide</tt>, albo możliwych do pobrania ze strony''': [http://www-unix.mcs.anl.gov/mpi/mpich2/ '''http://www-unix.mcs.anl.gov/mpi/mpich2/]. Uruchom w tym środowisku wskazany przykład.

==Podsumowanie==
Podczas tego ćwiczenia zainstalowałeś implementację standardu MPI-2 o nazwie MPICH2, pod systemem operacyjnym Linux. Jest to kolejne Twoje doświadczenie z MPI. Czas na programowanie w MPI.

===Co powinieneś wiedzieć:===

* Jak dokonać instalacji implementacji MPICH2 na komputerze pracującym pod systemem operacyjnym Linux.
* Jak uruchomić przykładowy program w środowisku MPI.