Eksploracja danych: Różnice pomiędzy wersjami

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
← poprzednia edycjanastępna edycja →
WizualnieWikikod
ALesniewska (dyskusja | edycje)
1378 edycji
ALesniewska (dyskusja | edycje)
1378 edycji
Linia 75: Linia 75:
# Grupowanie II, [[ED-4.2-m11-1.0-toc |WIKI]], [[media:ED-4.2-m11-1.0-kolor1.pdf|PDFk]], [[media:ED-4.2-m11-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m11.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m11.flash-1.0/player.html FLASH]
# Grupowanie II, [[ED-4.2-m11-1.0-toc |WIKI]], [[media:ED-4.2-m11-1.0-kolor1.pdf|PDFk]], [[media:ED-4.2-m11-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m11.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m11.flash-1.0/player.html FLASH]
# Eksploracja tekstu I, [[ED-4.2-m12-1.0-toc |WIKI]], [[media:ED-4.2-m12-1.0-kolor1.pdf|PDFk]], [[media:ED-4.2-m12-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m12.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m12.flash-1.0/player.html FLASH]
# Eksploracja tekstu I, [[ED-4.2-m12-1.0-toc |WIKI]], [[media:ED-4.2-m12-1.0-kolor1.pdf|PDFk]], [[media:ED-4.2-m12-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m12.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m12.flash-1.0/player.html FLASH]
# Eksploracja tekstu II [[ED-4.2-M13-1.0-toc |WIKI]], [[media:ED-4.2-m13-1.0-kolor1.pdf|PDFk]], [[media:ED-4.2-m13-1.0.pdf |PDF]],  [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m13.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m13.flash-1.0/player.html FLASH]
# Eksploracja tekstu II [[ED-4.2-M13-1.0-toc |WIKI]], [[media:ED-4.2-m13-1.0-kolor.pdf|PDFk]], [[media:ED-4.2-m13-1.0.pdf |PDF]],  [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m13.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m13.flash-1.0/player.html FLASH]
# Eksploracja sieci Web [[ED-4.2-m14-1.0-toc |WIKI]],  [[media:ED-4.2-m14-1.0-kolor1.pdf |PDFk]], [[media:ED-4.2-m14-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m14.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m14.flash-1.0/player.html FLASH]
# Eksploracja sieci Web [[ED-4.2-m14-1.0-toc |WIKI]],  [[media:ED-4.2-m14-1.0-kolor.pdf |PDFk]], [[media:ED-4.2-m14-1.0.pdf |PDF]], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m14.pytania-1.0/quizmaker.html TEST], [http://osilek.mimuw.edu.pl/external/ED/ED-4.2-m14.flash-1.0/player.html FLASH]


===Laboratoria===
===Laboratoria===

Wersja z 13:24, 31 sie 2006

Forma zajęć

Wykład (30 godzin) + laboratorium (30 godzin)

Opis

Celem przedmiotu jest zapoznanie studentów z podstawowymi pojęciami, koncepcjami i metodami technologii eksploracji danych.

Sylabus

Autorzy

  • Tadeusz Morzy
  • Mikołaj Morzy
  • Anna Leśniewska

Wymagania wstępne

  • Podstawowe wiadomości z zakresu systemów baz danych, magazynów danych oraz analizy danych.

Zawartość

Program przedmiotu obejmuje następujące zagadnienia: wprowadzenie do eksploracji danych; koncepcja i architektura systemów eksploracji danych; omówienie wybranych metod i algorytmów eksploracji danych, dziedziny zastosowań metod eksploracji danych. Metody te obejmują: odkrywanie asocjacji jednopoziomowych, odkrywanie asocjacji uogólnionych (wielopoziomowych), odkrywanie asocjacji ilościowych, metody dyskretyzacji atrybutów ciągłych, korelacja a asocjacje, odkrywanie wzorców sekwencji, metody klasyfikacji obiektów, wybrane metody grupowania obiektów (analiza skupień), eksploracja tekstu oraz eksploracja danych w sieci Web. Dyskusja możliwości i ograniczeń stosowalności metod eksploracji danych.

Wykłady

  • Wprowadzenie do eksploracji danych - co to jest eksploracja? metody i zastosowania
  • Odkrywanie asocjacji - wprowadzenie, sformułowanie problemu, typy reguł asocjacyjnych
  • Algorytmy odkrywania binarnych reguł asocjacyjnych - algorytmy A-Priori oraz FP-Growth
  • Wielopoziomowe i wielowymiarowe reguły asocjacyjne - wielopoziomowe reguły asocjacyjne, wielowymiarowe reguły asocjacyjne, asocjacje vs. korelacje
  • Odkrywanie wzorców sekwencji - sformułowanie problemu, algorytm GSP
  • Odkrywanie wzorców sekwencji - algorytm PrefixSpan, odkrywanie wzorców sekwencji z ograniczeniami, uogólnione wzorce sekwencji
  • Klasyfikacja - sformułowanie problemu, metody klasyfikacji, kryteria oceny metod klasyfikacji
  • Klasyfikacja - kryteria podziału Indeks Gini oraz Zysk Informacyjny
  • Klasyfikacja - obcinanie drzewa, naiwny klasyfikator Bayes'a, kNN, dokładność klasyfikacji
  • Grupowanie - wprowadzenie, definicja problemu, klasyfikacja metod grupowania, grupowanie hierarchiczne
  • Grupowanie - iteracyjno-optymalizacyjne metody grupowania, algorytm k-średnich, algorytm k-medoidów
  • Eksploracja tekstu - wprowadzenie do problemu, wyszukiwanie dokumentów, reprezentacje tekstu
  • Eksploracja tekstu - ukryte indeksowanie semantyczne SVD, struktury danych
  • Eksploracja sieci Web - klasyfikacja metod, algorytm Page Rank, Hubs&Authorities

Laboratoria

  • Przygotowanie danych przy pomocy
  • Określenie ważności atrybutów
  • Odkrywanie reguł asocjacyjnych
  • Naiwny klasyfikator Bayesa
  • Adaptatywna sieć Bayesa
  • Drzewo decyzyjne
  • Analiza skupień - algorytm k-Means
  • Analiza skupień - algorytm O-Cluster
  • Odkrywanie cech - algorytm Non-Negative Matrix Factorization
  • Regresja - algorytm SVM
  • Klasyfikacja - algorytm SVM
  • Odkrywanie osobliwości - algorytm SVM
  • Przetwarzanie tekstu

Literatura

  • Data Mining: Concepts and Techniques, J. Han, M. Kamber, Morgan Kaufman, 2000
  • Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations, I. H. Witten, E. Frank, Morgan Kaufman, 2000
  • Pricinciples of Data Mining, J. Hand, H. Mannila, P. Smyth, MIT Press, 2001
  • Systemy uczące się, P. Cichosz, WNT, 2000

Moduły

Wykłady

  1. Wprowadzenie WIKI, PDFk, PDF, TEST, FLASH
  2. Odkrywanie asocjacji WIKI, PDFk, PDF, TEST, FLASH
  3. Algorytmy odkrywania binarnych reguł asocjacyjnych WIKI, PDFk, PDF, TEST, FLASH
  4. Wielopoziomowe i wielowymiarowe reguły asocjacyjne WIKI, PDFk, PDF, TEST, FLASH
  5. Odkrywanie wzorców sekwencji I WIKI, PDFk, PDF, TEST, FLASH
  6. Odkrywanie wzorców sekwencji II WIKI, PDFk, PDF, TEST, FLASH
  7. Klasyfikacja I WIKI, PDFk, PDF, TEST, FLASH
  8. Klasyfikacja II WIKI, PDFk, PDF, TEST, FLASH
  9. Klasyfikacja III WIKI, PDFk, PDF, TEST, FLASH
  10. Grupowanie I, WIKI, PDFk, , PDF, TEST, FLASH
  11. Grupowanie II, WIKI, PDFk, PDF, TEST, FLASH
  12. Eksploracja tekstu I, WIKI, PDFk, PDF, TEST, FLASH
  13. Eksploracja tekstu II WIKI, PDFk, PDF, TEST, FLASH
  14. Eksploracja sieci Web WIKI, PDFk, PDF, TEST, FLASH

Laboratoria

  1. Przygotowanie danych do eksploacji DOC, PDFk, PDF
  2. Określanie ważności atrybutów DOC, PDFk, PDF
  3. Odkrywanie reguł asocjacyjnych DOC, PDFk, PDF
  4. Naiwny klasyfikator Bayesa DOC, PDFk, PDF
  5. Adaptywna sieć Bayesa DOC, PDFk, PDF
  6. Indukcja drzew decyzyjnych DOC, PDFk, PDF
  7. Support Vector Machine (klasyfikacja) DOC, PDFk, PDF
  8. Grupowanie (K-Means) DOC, PDFk, PDF
  9. Grupowanie (O-Cluster) DOC, PDFk, PDF
  10. Odkrywanie cech i algorytm Non-Negative Matrix Factorization DOC, PDFk, PDF
  11. Regresja SVM DOC, PDFk, PDF
  12. Odkrywanie osobliwości DOC, PDFk, PDF
  13. Eksploracja danych tekstowych DOC, PDFk, PDF


Materiały pomocnicze

  1. Przygotowanie danych
  2. Odkrywanie reguł asocjacyjnych
  3. Odkrywanie cech - algorytm Non-Negative Matrix Factorization
  4. Regresja - algorytm SVM
  5. Klasyfikacja - algorytm SVM

Dodatkowe zasoby

  1. GnuPlot
Źródło: „https://wazniak.mimuw.edu.pl/index.php?title=Eksploracja_danych&oldid=37237”