ZSBD-2st-1.2-w12.tresc-1.1-Slajd9
Oprogramowanie ETL
Oprogramowanie ETL (Extraction Translation Loading) realizuje tzw. procesy ETL, składające się z trzech następujących faz:
- odczytu danych ze źródeł (Extraction),
- transformacji ich do wspólnego modelu wykorzystywanego w magazynie wraz z usunięciem wszelkich niespójności (Translation),
- wczytanie danych do magazynu (Loading). Na slajdzie przedstawiono podstawowe komponenty oprogramowania ETL.
Obiekty oznaczone jako źródło reprezentują heterogeniczne i rozproszone źródła danych. Z każdym z takich źródeł jest związana dedykowana dla niego warstwa oprogramowania o nazwie konwerter/monitor.
Zadaniem modułu konwertera jest transformowanie danych z formatu wykorzystywanego w źródle, do formatu wykorzystywanego w hurtowni. Dlatego, dla każdego modelu danych źródłowych konieczne jest zastosowanie specyficznego modułu konwertera. Przykładowo, jeśli źródło przechowuje dane w dokumentach tekstowych, a hurtownia została zaprojektowana z wykorzystaniem modelu relacyjnego, to konwerter musi zapewnić poprawne odwzorowanie danych z plików w struktury modelu relacyjnego.
Zadaniem modułu monitora jest wykrywanie zmian w danych źródłowych i ich przekazywanie do warstwy oprogramowania integratora (po uprzedniej konwersji do modelu danych hurtowni). Sposób wykrywania zmian w danych źródłowych zależy od własności samych źródeł.
