Sztuczna inteligencja/SI Moduł 12

Sieci neuronowe - wprowadzenie

Sieci neuronowe są jedną z wielu możliwych realizacji aproksymatora regresyjnego. Swoją popularność zawdzięczają w pewnej mierze analogiom biologicznym – można w nich upatrywać niezwykle uproszczonych modeli naturalnych struktur neuronowych. Przykładem sieci neuronowych, chyba najbardziej rozpowszechnionym, jest perceptron wielowarstwowy, któremu poświęcimy tę lekcję. Inne rozpowszechnione struktury sieci neuronowych to architektury ze sprzężeniem zwrotnym (tzw. sieci Hopfielda), realizujące układy dynamiczne, oraz architektury samoorganizujące (tzw. sieci Kohonena), realizujące algorytm grupowania. Tematyka sieci neuronowych jest dość dobrze opisana w literaturze uzupełniającej, do której odsyłamy bardziej zainteresowanych. Poniżej naszkicujemy podstawowe zagadnienia związane z wykorzystaniem perceptronu jako metody regresji oraz z metodami uczenia się stosowanymi dla tej sieci.

Definicja perceptronu wielowarstwowego

Perceptron wielowarstwowy jest aproksymatorem nieliniowym $R^m\to R^n$. Graficzna postać sieci jest następująca:

Węzeł grafu sieci odpowiada pojedynczemu neuronowi. Krawędź odpowiada połączeniu między neuronami (tzw. połączenie synaptyczne) – jest skierowana od wyjścia jednego do wejścia drugiego neuronu, co odpowiada jednokierunkowemu przepływowi danych.

Neuron działa w taki sposób, że dokonuje się ważonego sumowania wartości wejść, obliczając wartość, zwaną pobudzeniem $h_i$:

$h_i=\sum _{j=1..n}{w}_{ij}{y}_j+w_{i0}$

Wygodnie jest założyć, że neuron otrzymuje jeszcze jedno wejście $x_0$ o wartości równej stale jedynce. Przy takim założeniu, pobudzenie da się zapisać prościej jako

$h_i=\sum _{j=0..n}{w}_{ij}{y}_j$

Wyjście neuronu powstaje w wyniku podania pobudzenia na funkcję aktywacji g:

$y_i=g(h_i)$

W przypadku sieci neuronowych, funkcja aktywacji ma kształt litery „s” – jest monotonicznie rosnąca z asymptotami poziomymi w nieskończonościach. Najczęściej przyjmuje się funkcję tangens hiperboliczny:

$g(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

przyjmującą wartość z zakresu [–1,1], względnie funkcję logistyczną:

$g(x)=\frac{1}{1+e^{-x}}$

o wartościach z zakresu [0,1].

Neurony zgrupowane są w warstwy w taki sposób, że między neuronami tej samej warstwy nie ma połączeń, a połączenia występują jedynie między neuronami sąsiadujących warstw.

Wyróżnia się warstwę neuronów wyjściowych (zwaną krótko warstwą wyjściową), których wyjście jest jednocześnie wyjściem z sieci. Pozostałe warstwy są nazywane ukrytymi, gdyż wyjścia neuronów w nich się znajdujących nie są „widoczne” na wyjściu sieci.

Dla neuronów wyjściowych można przyjąć, że funkcja aktywacji jest funkcją liniową.

Tak więc sieć neuronowa jest w swojej istocie pewnym wzorem, który da się przedstawić w formie graficznej. Wzór ten brzmi (w nieco nieformalnym zapisie):

$y_i=\sum w_{ij}g\left(\sum _k{w}_{ik}g(...\left(\sum _t{w}_{st}{x}_t\right))\right)$

Wielokrotne ważone sumowanie i przekształcanie funkcją aktywacji ma miejsce tyle razy, ile jest warstw neuronów w sieci, dlatego w powyższym wzorze pojawiają się trzy kropki. Jak więc widać, wyjście sieci neuronowej jest funkcją jej wejścia, przy czym funkcja ta jest parametryzowana zestawem parametrów $\underset{\_}{w}$.

Interpretacja znaczenia parametrów sieci

Spróbujmy zrozumieć znaczenie poszczególnych parametrów, analizując przykładowe sieci zawierające jeden neuron wyjściowy z liniową funkcją aktywacji oraz jedną warstwę nieliniowych neuronów.

Na początek skoncentrujmy się na najprostszej sieci, mających jedno wejście i jedno wyjście (a zatem aproksymowana jest funkcja $R\to R$). Rozważmy sieć o dwóch neuronach ukrytych i jednym wyjćciu liniowym. Opisuje ją wzór:

$y=w_{10}+w_{11}g(w_{20}+w_{21}x)+w_{12}g(w_{30}+w_{31}x)$

Znaczenie parametrów pojedynczego neuronu warstwy ukrytej jest następujące. Wartości $w_{20}{/}_{w21}$, $w_{30}/w_{31}$ służą do przesuwania wykresu funkcji g wzdłuż osi OX. Z kolei parametry $w_{21},w_{31}$ wpływają na „stromość” wykresu funkcji $g(h2)$, $g(h3)$. Tak więc, manipulując oboma parametrami, jesteśmy w stanie uzyskać funkcję o różnej „stromości”, różnie położoną na osi OX.

Parametry warstwy wyjściowej służą określeniu stopnia „wymieszania” wyjść neuronów ukrytych. Im większa wartość wagi $w_{1i}$, tym większy mnożnik użyty do wykresu wyjścia neuronu i-tego (dodajmy, że przyjęcie ujemnej wagi $w_{1i}$ powoduje odbicie wykresu funkcji wyjścia neuronu względem osi OX).

Z kolei w przypadku sieci o dwóch wejściach, aproksymującej funkcję $R^2\to R$, z dwoma neuronami ukrytymi i jednym liniowym wyjściowym, mamy wzór:

$y=w_{10}+w_{11}g(w_{20}+w_{21}{x}_1+w_{22}{x}_2)+w_{12}g(w_{30}+w_{31}{x}_1+w_{32}{x}_2)$

Wagi $w_{20},w_{21},w_{22}$ odpowiadają za sposób ułożenia w przestrzeni powierzchni, odpowiadającej funkcji $g(w_{20}+w_{21}{x}_1+w_{22}{x}_2)$ – powierzchnia ta ma poziomice ułożone wzdłuż prostej o równaniu $w_{20}+w_{21}{x}_1+w_{22}{x}_2=0$, a w przekroju poprzecznym do poziomic ma kształt funkcji g. Zmieniając współczynniki wagowe, dokonujemy obrotów i przemieszczeń tej powierzchni, nie zmieniając jednak jej zasadniczego kształtu.