Strona główna

Metody sztucznej inteligencji


Pobieranie 64.79 Kb.
Data18.06.2016
Rozmiar64.79 Kb.
Prof.nadzw.dr hab.inż. Władysław Brzozowski Częstochowa-Gliwice, 5.09.2003 r.

Politechnika Częstochowska

Instytut Elektroenergetyki
Wykłady z przedmiotu:

METODY SZTUCZNEJ INTELIGENCJI




Wykład 1. Literatura przedmiotu. Zakres wykładów. Pojęcie Sztucznej Inteligencji. Klasyfikacja kierunków i metod Sztucznej Inteligencji. Wprowadzenie do sztucznych sieci neuronowych. Jednokierunkowe sztuczne sieci neuronowe.

1. Literatura przedmiotu.

1.1. Pozycje podstawowe.
[1] Arabas J.: Wykłady z algorytmów ewolucyjnych. WNT, Warszawa 2001.

[2] Cholewa W., Pedrycz W.: Systemy doradcze. Skrypt. Politechnika Śląska, Gliwice 1987.

[3] Czogała E., Pedrycz W.: Elementy i metody teorii zbiorów rozmytych. Skrypt. Politechnika Śląska, Gliwice 1983 (także książka: PWN, Warszawa 1985).

[4] Findeisen W., Szymanowski W., Wierzbicki A.: Teoria i metody obliczeniowe optymalizacji. PWN, Warszawa 1977.

[5] Goldberg D.E., Algorytmy genetyczne i ich zastosowania. WNT, Warszawa 1995.

[6] Handbook of Evolutionary Computation. Editors in Chief: Bäck T., Fogel D.B., Michalewicz Z. Institute of Physics Publishing Bristol-Philadelphia, Oxford University Press New York–Oxford, 1997.

[7] Kasperski M.J.: Sztuczna inteligencja. Wydawnictwo Helion, Gliwice 2003.

[8] Korbicz J., Obuchowicz A., Uciński D.: Sztuczne sieci neuronowe. Podstawy i zastosowania. Akademicka Oficyna Wydawnicza PLJ, Warszawa 1994.

[9] Michalewicz Z.: Algorytmy genetyczne + struktury danych = programy ewolucyjne. WNT, Warszawa 1996.

[10] Mulawka J.J.: Systemy ekspertowe. WNT, Warszawa 1996.

[11] Niederliński A.: Regułowe systemy ekspertowe. Wydawnictwo Pracowni Komputerowej Jacka Skalmierskiego, Gliwice 2000.

[12] Osowski S.: Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 1996.

[13] Rutkowska D., Piliński M., Rutkowski L.: Sieci neuronowe, algorytmy genetyczne i systemy rozmyte. PWN, Warszawa 1997.

[14] Sieci neuronowe i neurokomputery. Red.: Rutkowski L. Wydawnictwo Politechniki Częstochowskiej, Częstochowa 1996.

[15] Tadeusiewicz R.: Sieci neuronowe. Akademicka Oficyna Wydawnicza RM, Warszawa 1993 (także http://www.winntbg.bg.agh.pl/skrypty).

[16] Żurada J., Barski M., Jędruch W.: Sztuczne sieci neuronowe. Podstawa teorii i zastosowania. PWN, Warszawa 1996.


1.2. Pozycje uzupełniające.
[17] Artificial Intelligence III. Methodology, Systems, Applications. Red.: O’Shea T., Sgurev V. Elsevier, North-Holland, Amsterdam 1988.

[18] Berg P., Singer M.: Język genów. Poznawanie zasad dziedziczenia. Wydawnictwo Prószyński i S-ka, Warszawa 1997.

[19] Brzozowski W.: Algorytm genetyczny w zastosowaniu do optymalizacji procesu

eksploatacji elektrowni. Archiwum Energetyki, 3-4/1998, ss.19-36.

[20] Brzozowski W.: Ekspercki system diagnostyki technicznej młynów węglowych

elektrowni. Przegląd Mechaniczny, 1-2/1995.

[21] Dąsal K.: Model sieci neuronowej do prognozy obciążeń dobowych w systemie elektroenergetycznym. W: Materiały Konferencji Prognozowanie w Elektroenergetyce PE’2000. Politechnika Częstochowska, Częstochowa 2000.

[22] Dudek G.: Ekonomiczny rozdział obciążeń z zastosowaniem algorytmów ewolucyjnych. Rozprawa doktorska. Politechnika Częstochowska, Częstochowa 2003.

[23] Dudek G.: Krótkoterminowe prognozowanie obciążenia systemu elektroenergetycznego z zastosowaniem sieci neuronowych o radialnych funkcjach bazowych. W: Materiały Konferencji Prognozowanie w Elektroenergetyce PE’2000. Politechnika Częstochowska, Częstochowa 2000.

[24] Kacprzak T., Slot K.: Sieci neuronowe komórkowe. PWN, Warszawa 1995.

[25] Lula P.: Wykorzystanie sztucznej inteligencji w prognozowaniu (http://www.statsoft.com.pl/czytelnia).

[26] Malko J., Mikołajczak H., Skorupski W.: Sieć radialna gaussowska jako predyktor neuronowy godzinowego zapotrzebowania mocy. W: Materiały Konferencji Prognozowanie w Elektroenergetyce PE’2000. Politechnika Częstochowska, Częstochowa 2000.

[27] Marecki J.: Metody Sztucznej Inteligencji. Wydawnictwo Pracowni Komputerowej Jacka Skalmierskiego, Gliwice 2000.

[28] Osyczka A.: Evolutionary Algorithms for Single and Multicriteria Design Optimization. Physica – Verlag, Heidelberg 2002.

[29] Różne materiały z Internetu z zakresu AI:

http://www.qed.pl/ai/nai2002/index.html, http://www.ci.pwr.wroc.pl/~surma/education/ai.html,

http://www.ci.pwr.wroc.pl/~surma/education/ai.txt,

http://www.zpeir.ict.pwr.wroc.pl/~witold/aiuwr/zagadnienia.html,

http://www-idss.cs.put.poznan.pl/~stefan/aedteaching.html,

http://aragorn.pb.bialystok.pl/~radev/ai/wykl1a.htm,

http://www-zo.iinf.polsl.gliwice.pl/przedmioty/kons232.html,

http://www-zo.iinf.polsl.gliwice.pl/przedmioty/kons207.html,

http://www.phys.uni.torun.pl/~duch/Wyklady/nn_plan.html,

http://venus.wis.pk.edu.pl/~danio/artint.htm

[30] Russell S., Norvig P.: Artificial Intelligence – a Modern Approach. Prentice – Hall, 1995.

[31] Software 2.0, nr. 2/2001.

[32] Szajna J., Adamski M., Kozłowski T.: Turbo-Prolog. Programowanie w języku logiki. WNT, Warszawa 1991.

[33] Tadeusiewicz R.: Wprowadzenie do praktyki stosowania sieci neuronowych (http://www.statsoft.com.pl/czytelnia).

[34] Waloch M.: Prognozowanie krótkoterminowe obciążeń systemów elektroenergetycznych technikami sztucznych sieci neuronowych z użyciem pakietu Sphinx. Praca magisterska. Politechnika Częstochowska, Częstochowa 2003.

[35] Wspomaganie decyzji. Systemy eksperckie. Red.: Kulikowski R., Bogdan L. IBS PAN, Warszawa 1995.

[36] Wójtowicz P.: Polska wersja STATISTIKA Neural Networks (http://www.statsoft.com.pl/czytelnia).




2. Cel i zakres wykładów. Pojęcie Sztucznej Inteligencji. Klasyfikacja kierunków i metod AI.
Wykłady poświęcone są kierunkom i metodom Sztucznej Inteligencji.


Sztuczna Inteligencja (po angielsku Artificial Intelligence – AI; tego skrótu będziemy dalej używać) jest gałęzią nauki, wchodzącą w skład Informatyki (Computer Science).

AI zajmuje się konstruowaniem maszyn oraz algorytmów, których działanie posiada znamiona inteligencji.




Inteligencją (z łaciny intelligentia – pojętność) nazywamy (za Wielką Internetową Encyklopedią Multimedialną http://wiem.onet.pl) zespół zdolności umysłowych umożliwiających jednostce korzystanie z nabytej wiedzy przy rozwiązywaniu nowych problemów i umożliwiających racjonalne zachowanie w różnych sytuacjach życiowych.

AI stawia sobie za cel stworzenie maszyn, które dorównają inteligencją człowiekowi, a nawet go przewyższą. Stanisław Lem już ok. 30 lat temu sformułował pogląd, że ewolucja człowieka na określonym etapie doprowadzi do zastąpienia człowieka maszyną. Nie brak również i sceptyków, którzy uważają że jest to niemożliwe i nierealne. Tym niemniej już dziś maszyna (komputer) w różnych wąskich dziedzinach okazuje się bardziej sprawna niż umysł człowieka (np. masowe obliczenia, szachy itp.)




W skład AI wchodzą następujące kierunki (w kolejności historycznej):

  1. Systemy eksperckie (spotyka się też określenie „ekspertowe”; te dwie nazwy funkcjonują w literaturze równolegle).

  2. Sztuczne sieci neuronowe.

  3. Logika rozmyta i zbiory rozmyte.

  4. Algorytmy ewolucyjne, w tym algorytmy genetyczne.

  5. Zbiory przybliżone.

  6. Teoria agentów.



W AI wyróżniono podgałąź nauki nazwaną Inteligencja Obliczeniowa (Computational Intelligence). Ma ona charakter matematyczny i obejmuje: sztuczne sieci neuronowe, zbiory rozmyte, modele statystyczne oraz modele uczenia maszynowego (Machine Learning).

Na bazie teorii zbiorów przybliżonych wykształcił się pochodny kierunek Eksploracja (Wydobywanie) Danych (Data Mining).

Teoria agentów liczy sobie zaledwie ok. 2 lata i dopiero się formalizuje. Stanowi ona próbę unifikacji poszczególnych kierunków AI.




Agentem, w rozumieniu AI, nazywamy system (w szczególności może to być maszyna), który w sposób inteligentny realizuje określone zadanie (misję).

Od lat natomiast rozwijają się, i to szczególnie, w ostatnich latach żywiołowo, 4 pierwsze wymienione powyżej kierunki, tj. sztuczne sieci neuronowe, algorytmy ewolucyjne, systemy eksperckie oraz logika i zbiory rozmyte. Do tych kierunków ograniczać się będzie nasz wykład z zakresu metod AI, w kolejności jak wymieniono.

Zaczniemy od sztucznych sieci neuronowych z tego względu, że metody tego kierunku będą w szczególny sposób podstawą, realizowanego równolegle, Laboratorium Metod Sztucznej Inteligencji.

Na koniec omawiania klasyfikacji kierunków AI trzeba jeszcze koniecznie zwrócić uwagę na zjawisko hybrydyzacji kierunków i metod AI. Przykładowo: do optymalizacji wag synaptycznych sztucznej sieci neuronowej stosuje się już algorytmy ewolucyjne. Istnieje też już np. klasa sieci neuronowych o logice rozmytej.

Metody AI mają już rozliczne dziedziny praktycznego zastosowania. Taką dziedziną w szczególności są systemy rozpoznawania obrazów (przykładem może być system automatycznego, komputerowego rozpoznawania obiektów typu wojskowego na zdjęciach satelitarnych).

Metody AI bazują silnie na informatyce (komputerach). Dla potrzeb tych metod wypracowano specjalne języki programowania. Są nimi PROLOG oraz LISP.




3. Sztuczne sieci neuronowe.

3.1. Definicja sztucznej sieci neuronowej.

Sztuczna sieć neuronowa (za Wielką Internetową Encyklopedią Multimedialną http://wiem.onet.pl) jest to maszyna (neurokomputer) lub algorytm, którego działanie wzorowane jest na w pewnym stopniu na działaniu sieci zwierzęcych (ludzkich) komórek nerwowych (w szczególności mózgu).




Jak wynika z definicji, sztuczna sieć neuronowa jest maszyną (neurokomputerem). W odróżnieniu jednak [16] od konwencjonalnych komputerów, które są programowane dla realizacji określonych zadań (obliczeń), większość sieci neuronowych jest uczona (trenowana). Projektanci sieci (programiści) określają jedynie architekturę sieci, tj. liczbę i strukturę warstw neuronów, następnie charakterystyki neuronów, początkowe wartości wag synaptycznych neuronów oraz wybierają metodę uczenia sieci, natomiast nie określają parametrów obliczeń użytkowych. Parametry takie są determinowane przez samą sieć w procesie uczenia.

Neurokomputer w rozumieniu wyżej podanej definicji nie musi być jednostką hardware'ową. Można go też z powodzeniem symulować (emulować) na zwykłym komputerze PC w postaci programu.

3.2. Klasyfikacja sztucznych sieci neuronowych ze względu na ich funkcje.
Z punktu widzenia funkcji sieci, sztuczne sieci neuronowe dzielimy na [16]:


  • Klasyfikatory. Klasyfikator wyprowadza na wyjściu sygnały 0/1 oznaczające przyporządkowanie badanego obiektu do określonej klasy. Na wejściu klasyfikatora wprowadza się sygnały odzwierciedlające cechy obiektu, zmierzone lub zaobserwowane;

  • Aproksymatory. Aproksymator wyprowadza na wyjściu aproksymantę, czyli elementarną funkcję matematyczną, która jest najlepiej (z punktu widzenia określonego kryterium np. minimum sumy kwadratów odchyleń) dopasowana do jakiejś krzywej empirycznej, np. zdjętej z pomiarów lub zaobserwowanej. Aproksymanta może być wyprowadzana w postaci wartości współczynników funkcji.

  • Układy sterujące. Układ sterujący wyprowadza na wyjściu sygnały sterujące, np. ruchem samochodu na drodze, przy czym sygnałem wejściowym jest obraz drogi z kamery.

  • Pamięci asocjacyjne, lub krótko pamięci. Pamięci odtwarzają przedstawiony im wcześniej obraz.

  • Optymalizatory. Optymalizator, ogólnie, wyprowadza na wyjściu optymalne (tj. najlepsze z punktu widzenia określonego kryterium) wartości zmiennych decyzyjnych procesu. Sygnałami na wejściu są wartości parametrów (zmiennych niedecyzyjnych) danego optymalizowanego procesu. Sztuczne sieci neuronowe można zastosować do tych problemów optymalizacyjnych, w których kryterium optymalizacji da się sprowadzić do minimum pewnej wielkości charakterystycznej, zależnej od stanu sieci, zwanej funkcją energii sieci.



3.3. Historia badań.
Badania nad sztucznymi sieciami neuronowymi datują się [15, 16] od 1943 roku, kiedy to opracowano pierwszy matematyczny model neuronu McCulloch’a-Pitts’a. Pierwszą sieć neuronową – perceptron, klasyfikującą obrazy, zbudował Rosenblatt w 1958 r. Pierwszą liniową sieć neuronową jednowarstwową MADALINE, bazującą na neuronie o liniowej funkcji aktywacji zwanym ADALINE, zbudował Widrow i Hoff w 1960 roku, podając równocześnie nową metodę uczenia sieci zwaną regułą DELTA Widrow’a-Hoff’a (metoda uczenia sieci z nauczycielem).

W 1968 roku opracowano sieć neuronową wielowarstwową.

W latach 70-tych badania uległy wyhamowaniu.

Punktem zwrotnym stało się opracowanie neuronu i sieci o nieliniowej funkcji aktywacji. Dla nieliniowej jednowarstwowej sieci neuronowej można było nadal zastosować regułę DELTA uczenia sieci, brakowało jednak początkowo efektywnej metody uczenia sieci nieliniowej wielowarstwowej. Dopiero w połowie lat 80 opracowano dla takich sieci metodę uczenia nazwaną algorytmem wstecznej propagacji błędów (backpropagation).

Innym punktem zwrotnym było opracowanie przez Hopfielda w 1982 roku rekurencyjnej architektury pamięci neuronowych oraz sieci neuronowej ze sprzężeniem zwrotnym. W tym samym roku Kohonen opracował także nową metodę uczenia sieci bez nauczyciela.

Od tego czasu datuje się szybki rozwój badań nad sztucznymi sieciami neuronowymi.



3.4. Mózg.
Skoro, zgodnie z wcześniejszą definicją, sztuczna sieć neuronowa jest wzorowana na działaniu mózgu, konieczne jest przypomnieć jak mózg jest zbudowany i jak działa. Trzeba jednak zastrzec się, że badania nad mózgiem są zaledwie w stadium początkowym i do pełnego zrozumienia sposobu działania mózgu droga jest jeszcze niezmiernie daleka.

Mózg ludzki pokazany jest na rysunku 1.

Ważniejsze części mózgu na rysunku, to: 1 - rdzeń przedłużony, 4 - półkula mózgu, 10 - móżdzek. Powierzchnia mózgu nazwana korą, zbudowana jest z komórek nerwowych (neuronów) i ma barwę szarawą. Wnętrze mózgu jest utworzone z istoty białej, która powstaje z wypustek komórek nerwowych. Wypustki tworzą pęczki, przechodzące w nerwy. Nerwy składają się z włókien 3 rodzajów: czuciowych - prowadzących sygnały z obwodowego układu nerwowego do mózgu, ruchowych - prowadzących sygnały z mózgu do mięśni oraz wydzielniczych - prowadzących sygnały z mózgu do gruczołów wydzielania wewnętrznego.

Rys. 1. Mózg ludzki (zaczerpnięto z: Sylwanowicz W.: Mały atlas anatomiczny. PZWL, Warszawa 1987, tablica XXXII)


Liczba neuronów w mózgu wynosi [16] około 1011. Komunikują się one wzajemnie poprzez sieć wypustek - aksonów i synaps, w liczbie około 104 synaps na neuron. Przekazywane sygnały są natury elektrycznej i biochemicznej. Sygnały wejściowe do sieci pochodzą od receptorów, zaś sygnały wyjściowe prowadzone są do efektorów.

Pojedynczy neuron biologiczny pokazany jest na rysunku poniżej.



Rys. 2. Neuron biologiczny (zaczerpnięto z [16], rys.2.2, str. 34).


Neuron reaguje, tzn. wysyła sygnał wyjściowy, jeśli suma sygnałów elektrycznych dochodzących poprzez synapsy przekroczy wartość progową (ok. 40 mV), przy czym sygnały przychodzące mogą być pobudzające lub hamujące. Jeden z sygnałów wejściowych do neuronu może także pochodzić z wyjścia tego samego neuronu (sprzężenie zwrotne).

3.5. Model neuronu McCulloch’a-Pitts’a.

Pierwszym matematycznym modelem neuronu, opracowanym na bazie badań biologicznych, był model McCulloch’a-Pitts’a.



Rys. 3. Model neuronu McCulloch’a-Pitts’a (zaczerpnięto z [16], rys. 2.3 str. 37).


Neuron posiada n wejść synaptycznych, o wskażniku i (i=1, 2, ...,n). Na każde i-te wejście synaptyczne dochodzi 0-1-kowy sygnał xi, przy czym obecność sygnału w danej k-tej chwili interpretuje się jako 1, zaś brak sygnału jako 0. Na wyjściu neuronu, w chwili k+1 pojawia się sygnał wyjściowy yk+1, będący funkcją sygnałów wejściowych xi (i=1, 2, ...,n). Funkcję tę nazywamy funkcją aktywacji neuronu. Ma ona postać następującą:


(1)


gdzie:

  • sygnał wejściowy 0-1-kowy na i-tym wejściu synaptycznym neuronu w chwili k;

  • waga synaptyczna na i-tym wejściu neuronu, równa +1 dla synaps pobudzających, lub

-1 dla synaps hamujących;

T - wartość progowa pobudzenia neuronu.


Model neuronu McCullocha-Pittsa okazał się przydatny do skonstruowania sieci odwzorowującej złożone funkcje logiczne (bramki) NOR, NAND lub realizujące komórkę pamięci, jak to jest pokazane na rysunku 3.
3.6. Współczesny model neuronu [16].
Współczesny model neuronu przedstawia rys. 4.

Rys. 4. Współczesny model neuronu (zaczerpnięto z [16], rys. 2.4 str. 38).


Neuron składa się z n wejść synaptycznych, elementu przetwarzającego oraz wyjścia.

Sygnał wyjściowy neuronu dany jest zależnością:


(2)

gdzie w jest wektorem wag synaptycznych (kolumnowym), zdefiniowanym jako:



(3)
zaś x jest wektorem wejściowym (kolumnowym), zdefiniowanym jako:
(4)

gdzie, we wzorach (2)-(4):

i - wskaźnik wejścia synaptycznego neuronu, i=1, 2, .., n;

n - liczba wejść synaptycznych neuronu;

wi - waga i-tego wejścia synaptycznego;

xi - sygnał na i-tym wejściu synaptycznym;

t - górny indeks oznaczający transpozycję wektora z wierszowego na kolumnowy;

y - sygnał wyjściowy neuronu;

f() - funkcja aktywacji neuronu.

Dziedziną funkcji aktywacji neuronu jest zbiór łącznych pobudzeń neuronu. Łączne pobudzenie neuronu oznacza się jako net. Zatem:


(5)
gdzie:

net - łączne pobudzenie neuronu;



wt, x - jak we wzorze (2).
Aby neuron został pobudzony, wartość net w zapisie jak powyżej musi być >0. Wiadomo jednak, że neuron biologiczny ma próg pobudzenia nie 0 lecz T. Uwzględnia się ten fakt w powyższym modelu przez przyjęcie, że faktycznie neuron posiada n-1 wejść synaptycznych, natomiast na i=n – tym wejściu sygnał zawsze wynosi –1, zaś waga tego i=n – tego wejścia zawsze równa się T:
xn = -1, wn = T (6)

Ogólny symbol neuronu oraz równanie (2) są powszechnie stosowane w literaturze przedmiotu. Nie powiedziano jednak nic jeszcze o postaci funkcji aktywacji f(). Postacią tej funkcji różnią się poszczególne klasy sieci neuronowych.

I tak, najstarszą zastosowaną postacią tej funkcji jest bipolarna funkcja binarna (dyskretna, tzn. inaczej nieciągła, lub jeszcze inaczej skokowa), dana wzorem:
(7)

gdzie:


f(net), net - jak we wzorach (2) i (5);

sgn - signum, inaczej funkcja znakowa zmodyfikowana (niezmodyfikowana

przyjmuje ponadto [15] wartość 0 dla net=0).

Postać geometryczna tej funkcji pokazana jest poniżej na rysunku 5 a.) jako progowy układ logiczny. Neuron z taką funkcją aktywacji nazywany jest neuronem binarnym lub inaczej perceptronem dyskretnym. Pierwsza sieć neuronowa wprowadzona w roku 1958 przez Rosenblatta była właśnie perceptronem dyskretnym, prekursorem współczesnych sztucznych sieci neuronowych.



Rys. 5. Modele neuronu z dyskretną i ciągłą funkcją aktywacji (zaczerpnięto z [16], rys. 2.7 str. 41).


Dyskretna, skokowa funkcja aktywacji okazała się, z matematycznego punktu widzenia niedogodna. Chodzi o to, że w metodzie uczenia DELTA Widrow’a-Hoff’a zastosowano później metody gradientowe do optymalizacji wag synaptycznych. Metody te wymagają jednak ciągłości i różniczkowalności funkcji aktywacji. Dlatego też dyskretną funkcję aktywacji zastąpiono funkcją ciągłą, ale taką która jest maksymalnie zbliżona do bipolarnej funkcji binarnej. Funkcją tą jest bipolarna funkcja ciągła, dana wzorem:
(8)
f(net), net - jak we wzorach (2) i (5);

exp - eksponent, inaczej funkcja wykładnicza , gdzie e – podstawa logarytmów

naturalnych;

λ - czyt. lambda małe - parametr ciągłej funkcji aktywacji;

* - operator mnożenia.

Geometryczna postać powyższej funkcji pokazana jest na rysunku 6 a.) dla różnych wartości parametru λ. Im bardziej parametr λ rośnie tym bardziej bipolarna funkcja ciągła upodabnia się do bipolarnej funkcji dyskretnej.



Rys. 6. Ciągłe funkcje aktywacji neuronu (zaczerpnięto z [16], rys. 2.5 str. 40).


Neuron z ciągłą funkcją aktywacji nazywa się neuronem ciągłym lub inaczej perceptronem ciągłym. Neuron ciągły z bipolarną funkcją aktywacji pokazany jest na rysunku 6 b.).
Nazwa bipolarna (funkcja aktywacji) oznacza, że odpowiedź neuronu na wyjściu może przybierać wartości zarówno dodatnie jak i ujemne. Większość sztucznych sieci neuronowych bazuje na bipolarnych funkcjach aktywacji. Niekiedy jednak ujemne wartości na wyjściu neuronu są niedogodne. Przesuwając i przeskalowując bipolarną binarną (dyskretną) funkcję aktywacji, otrzymujemy unipolarną binarną funkcję aktywacji, o postaci:
(9)

gdzie:


oznaczenia jak we wzorze (7).
Przesuwając i przeskalowując bipolarną ciągłą funkcję aktywacji, otrzymujemy unipolarną ciągłą funkcję aktywacji, o postaci:

(10)

gdzie:


oznaczenia jak we wzorze (8).
Geometryczna postać powyższej funkcji pokazana jest na rysunku 6 b.) dla różnych wartości parametru λ. Im bardziej parametr λ rośnie tym bardziej unipolarna funkcja ciągła upodabnia się do unipolarnej funkcji dyskretnej. Funkcje unipolarne, zarówno dyskretna jak i ciągła mogą przybierać wartości wyłącznie dodatnie.

Funkcje ciągłe, dane wzorami (8) i (10) są też nazywane inaczej funkcjami sigmoidalnymi. Funkcje sigmoidalne są najczęściej stosowanymi funkcjami aktywacji w odniesieniu do sztucznych sieci neuronowych. Nie wyczerpują one jednak możliwości stosowania innych postaci funkcji nieliniowych. W [15] wymienia się jeszcze takie funkcje aktywacji jak: funkcja signum niezmodyfikowana, funkcja perceptronowa, funkcja BAM (Bidirectional Associative Memory), funkcja BSB (Brain State in a Box), funkcja SPR (Spatio-Temporal Pattern Recognition) oraz funkcja logarytmiczna. Funkcje te mają znaczenie dla różnych wąsko specjalizowanych sieci; w razie potrzeby, przy omawianiu tych sieci zostaną później w wykładzie przytoczone.

Opisane powyżej modele neuronów są bardzo uproszczone w stosunku do neuronów biologicznych. Neurony biologiczne wykazują dodatkowo takie cechy jak opóźnienie reakcji, działanie w dyskretnej skali czasu oraz czas oporności. Są już rozwiązania sieci uwzględniające te cechy, jednak obliczenia na takich sieciach wymagają wielkiej mocy obliczeniowej komputerów i długiego czasu obliczeń.

3.7. Modele sztucznych sieci neuronowych.

3.7.1. Sieć jednokierunkowa jednowarstwowa [16].
Sieć jednokierunkowa jest to sieć bez sprzężenia zwrotnego. Sieć taka może być jednowarstwowa lub wielowarstwowa.

Jednowarstwowa jednokierunkowa sieć neuronowa pokazana jest na rysunku 7.




Rys. 7. Jednowarstwowa jednokierunkowa sieć neuronowa (zaczerpnięto z [16], rys. 2.8 str. 43).

W sieci jednowarstwowej każdy z n sygnałów wejściowych x podawany jest na każdy z m neuronów sieci. Każde wejście każdego neuronu cechuje się jednak inną wartością wagi synaptycznej. Z każdego z m neuronów wyprowadzony jest sygnał wyjściowy y. Istnieje zatem m sygnałów wyjściowych sieci. Sygnały te różnią się między sobą, gdyż, w związku z różniącymi się wartościami wag synaptycznych, wartości net łącznego pobudzenia poszczególnych neuronów różnią się pomiędzy sobą.


Wektor wejściowy sieci (nazywany też obrazem wejściowym) ma postać:
(11)

gdzie:


j - wskaźnik sygnału wejściowego sieci, j=1, 2, .., n;

n - liczba sygnałów wejściowych sieci;

xj - sygnał na j-tym wejściu sieci;

t - górny indeks oznaczający transpozycję wektora z wierszowego na kolumnowy.


Wektor wyjściowy sieci (nazywany też obrazem wyjściowym) ma postać:
(12)

gdzie:


i - wskaźnik neuronu a zarazem sygnału wyjściowego sieci, i=1, 2, .., m;

m - liczba neuronów a zarazem sygnałów wyjściowych sieci;

yi - sygnał na i-tym wyjściu sieci.
Jak już wspomniano, każde j-te wejście każdego i-tego neuronu ma różniącą się wartość wagi synaptycznej wij (kolejność indeksów jest istotna – na pierwszym miejscu wskaźnik neuronu, na drugim wskażnik wejścia).
Łączne pobudzenie i-tego neuronu można przedstawić wzorem:
(13)

gdzie:


neti - łączne pobudzenie i-tego neuronu;

wij - waga synaptyczna na j-tym wejściu i-tego neuronu;

i, j, m, n, xj - jak we wzorach (11)-(12).
W i-tym neuronie dokonuje się transformacja wektora wejściowego x w sygnał wyjściowy neuronu yi:
(14)
gdzie wi jest wektorem wag synaptycznych (kolumnowym), na n wejściach i-tego neuronu, zdefiniowanym jako:

(15)
Wprowadzając nieliniowy operator macierzowy Γ można zapisać odwzorowanie przestrzeni wejść x w przestrzeń wyjść y, dokonywane przez sieć, w postaci wzoru:
(16)
gdzie W jest macierzą wag, nazywaną też inaczej macierzą połączeń, daną w postaci wzoru:

(17)
W macierzy wag poszczególne wiersze oznaczone są wskaźnikiem i (i=1, 2, ..., m) i grupują wagi na wszystkich n wejściach i-tego neuronu, natomiast poszczególne kolumny oznaczone są wskaźnikiem j (j=1, 2, ...,n) i grupują wagi na j-tym wejściu wszystkich m neuronów.
Operator Γ ma postać:
(17)

gdzie:


f(.) - nieliniowa funkcja aktywacji neuronów, ciągła lub dyskretna.
Przykład 1:

Mamy daną sztuczną sieć neuronową jednokierunkową jednowarstwową składającą się z 5 neuronów (m=5). Sieć posiada 4 wejścia (n = 4) przy czym czwarte, ostatnie wejście reprezentuje próg pobudzenia neuronów (x4 = -1). Przyjęto ten sam próg pobudzenia wszystkich neuronów T = 2. Neurony cechują się bipolarną binarną funkcją aktywacji (wzór (7) dla przypomnienia):



.

Przyjęto przykładowe wartości wag, zgrupowane w macierzy W:



.

Przyjęto przykładowe wartości sygnałów wejściowych, przedstawione jako składowe wektora wejściowego x:



.

Należy określić wartości składowych wektora wyjściowego y.


Rozwiązanie:

Określamy wektor łącznego pobudzenia net dla poszczególnych neuronów, za pomocą wzoru (13): .



.

Określamy wektor y, posługując się, kolejno dla poszczególnych neuronów, wzorem (7): :



.

□ Koniec przykładu 1.



3.7.1. Sieć jednokierunkowa wielowarstwowa.

Sieć jednokierunkowa wielowarstwowa jest to kaskadowe połączenie dwu lub więcej sieci jednowarstwowych w taki sposób, że wektor wyjściowy y warstwy poprzedniej staje się wektorem wejściowym x warstwy następnej. Liczba neuronów w kolejnych warstwach może być różna. Różna może być też w ogólności funkcja aktywacji neuronów w poszczególnych warstwach (na ogół jednak przyjmuje się dla całej sieci taką samą funkcję aktywacji). Natomiast dla wszystkich neuronów w obrębie jednej wyróżnionej warstwy przyjmuje się zawsze taką samą funkcję aktywacji.

Pierwszą warstwę sieci przyjęto nazywać warstwą wejściową, ostatnią – warstwą wyjściową, zaś wszystkie pośrednie – warstwami ukrytymi.
 Koniec wykładu 1.

plik WY01SZT3.DOC



edytor Word 7.0 PL





©snauka.pl 2016
wyślij wiadomość