Sztuczna inteligencja/SI Ćwiczenia 12: Różnice pomiędzy wersjami

Z Studia Informatyczne
Przejdź do nawigacjiPrzejdź do wyszukiwania
(Rozwiązanie zadania 5)
(Rozwiązanie zadania 6)
 
(Nie pokazano 4 pośrednich wersji utworzonych przez tego samego użytkownika)
Linia 6: Linia 6:
 
'''Rozwiązanie'''  
 
'''Rozwiązanie'''  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
 +
Dla przykładowego zestawu wag otrzymano wykres odpowiedzi sieci jak na rysunku poniżej. [[Media:M12_Z1.m|Stąd]] pobrać można źródła programu napisanego w języku [http://en.wikipedia.org/wiki/GNU_Octave Octave]. Zmieniając wagi (zapisane w zmiennych W, V i Y) modyfikuje się wygląd funkcji. Zachęcamy do eksperymentów!
 +
 +
[[Grafika:M12_Z1.png]]
 
</div>
 
</div>
 
</div>
 
</div>
Linia 68: Linia 71:
 
'''Rozwiązanie'''  
 
'''Rozwiązanie'''  
 
<div class="mw-collapsible-content" style="display:none">
 
<div class="mw-collapsible-content" style="display:none">
 +
Zjawiska te wynikają z użytej funkcji aktywacji neuronu - tangensa hiperbolicznego. Sieć neuronowa jest aproksymatorem nieliniowym, dlatego dla pewnych zestawów wag występują lokalne minima funkcji błędu.
 +
 +
Obszary o małych wartościach modułu gradientu mogą być efektem wejścia funkcji aktywacji w obszar nasycenia. Dla wartości z tego obszaru funkcje aktywacji przyjumją wartość 1 lub -1 (są to asymptoty ''tanh''). Dzieje się tak dla odpowiednio dużych lub małych wartości wag - gdy suma wejść wymnożonych przez odpowiednie wagi daje w wyniku wartość, w której otoczeniu funkcja aktywacji nieznacznie zbliża się lub oddaja od 1 lub -1.
 
</div>
 
</div>
 
</div>
 
</div>

Aktualna wersja na dzień 12:24, 31 sie 2006

Zadanie 1

Narysować trójwymiarowy wykres przedstawiający funkcję realizowaną przez aproksymator - sieć neuronową z rozdziału 12.

Rozwiązanie

Zadanie 2

Z czego wynika potrzeba rozdzielenia zbioru danych na dane uczące i testowe?

Rozwiązanie

Zadanie 3

Załóżmy, że mamy dwie różne sieci neuronowe, uczone niezależnie od siebie na tym samym zbiorze uczącym. Załóżmy też, że rozkład błędu obu sieci na zbiorze testowym jest rozkładem normalnym o zerowej wartości oczekiwanej i standardowych odchyleniach odpowiednio: i . Jaki jest rozkład na zbiorze testowym wartości gdzie , oznaczają wyjścia obu sieci? Jak można wykorzystać ten wynik do poprawy jakości aproksymacji?

Rozwiązanie

Zadanie 4

Załóżmy, że mamy użyć sieci neuronowej do prognozowania przyszłej wartości pewnego procesu zmiennego w czasie, charakteryzującego się tym, że jego przyszłe wartości zależą od przeszłych zgodnie z równaniem:

gdzie oznacza czas, jest nieznaną funkcją, zaś stałą, określającą najdalszą zależność między przeszłością a przyszłością (taki proces jest przykładem tzw. szeregu czasowego).

Zaproponować sposób użycia sieci neuronowej do wykonania prognozy. Jak stworzyć zbiór trenujący dla sieci?

Rozwiązanie

Zadanie 5

Czym skutkuje obecność w zbiorze trenującym elementów powtarzających się?

Rozwiązanie

Zadanie 6

Funkcja błędu minimalizowana w czasie uczenia sieci neuronowej ma minima lokalne i punkty siodłowe (w których gradient zeruje się), a także obszary płaskie o bardzo małych wartościach modułu gradientu. Z czego wynikają te zjawiska? Dla jakich wartości wag da się je zaobserwować?

Rozwiązanie