retele_neuronale
TRANSCRIPT
-
7/30/2019 Retele_neuronale
1/47
1
Inteligen artificial
Reele neuronale
-
7/30/2019 Retele_neuronale
2/47
2
Reele neuronale
1. Introducere. Modelul biologic2. Reele cu un singur strat3. Perceptronul multistrat
Algoritmul backpropagation
4. Concluzii
-
7/30/2019 Retele_neuronale
3/47
3
Reele neuronale
1. Introducere. Modelul biologic
-
7/30/2019 Retele_neuronale
4/47
4
Introducere
Preocuparea pentru reelele neuronale artificiale, denumite nmod curent reele neuronale, a fost motivat derecunoaterea faptului c modul n care calculeaz creierulfiinelor vii este complet diferit de cel al calculatoarelornumerice convenionale
Spre deosebire de mainile von Neumann, unde exist ounitate de procesare care execut instruciunile stocate nmemorie n mod serial, numai o instruciune la un momentdat, reelele neuronale utilizeaz n mod masiv paralelismul
Fiind modele simplificate ale creierului uman, ele dein
capacitatea de a nva, spre deosebire de calculatoareleconvenionale, care rmn totui mai eficiente pentru sarcinilebazate pe operaii aritmetice precise i rapide
Reelele neuronale nu dispun de uniti de procesareputernice, dimpotriv, acestea sunt caracterizate printr-osimplitate extrem, ns interaciunile lor pe ansamblu produc
rezultate complexe datorit numrului mare de conexiuni
-
7/30/2019 Retele_neuronale
5/47
5
Sistemul nervos biologic
Pentru a nelege mai bine aceast abordare, trebuie precizatmodul de funcionare al sistemului nervos
Constituienii structurali ai creierului sunt neuronii, conectaiprin sinapse
Se estimeaz c n cortexul uman exist circa 10 miliarde deneuroni i 60 de trilioane de sinapse
Trebuie precizat ns c neuronii nu sunt cele mai numeroasecelule din creier
Celulele gliale sunt de 10 ori mai multe n mod tradiional, se considera c acestea au numai funcii
de nutriie i protecie, ns n ultimul timp au demaratcercetri privitoare la influena lor potenial asupra activitiide procesare a neuronilor
-
7/30/2019 Retele_neuronale
6/47
6
Neuronul
Neuronul const n principal din trei componente:corpul celulei (soma), dendrite i axon
Dendritele (numite astfel datorit asemnrii cu un
copac, dendron n greac) sunt intrrileneuronului, fibre scurte ramificate, de civamilimetri, care primesc impulsuri
Axonul (axn, ax), ieirea, este o fibr mailung, de civa centimetri, putnd ajunge ns la 1-1,5 metri
Fiecare neuron are un singur axon i mai multe (10-20) de dendrite
-
7/30/2019 Retele_neuronale
7/47
7
Neuronul
-
7/30/2019 Retele_neuronale
8/47
8
Sinapse
Neuronii nu se ating n mod direct, ci sunt separai prinspaii numite sinapse
Acestea sunt uniti structurale i funcionale elementarecare mediaz interaciunile dintre neuroni
Tipul cel mai rspndit de sinaps este sinapsa chimic,ce opereaz astfel: un proces presinaptic elibereaz osubstan transmitoare, care difuzeaz peste
jonciunea sinaptic dintre neuroni i apoi acioneaz
asupra unui proces postsinaptic Astfel, o sinaps convertete un semnal electric
presinaptic ntr-un semnal chimic (ioni de sodiu ipotasiu) i apoi din nou ntr-un semnal electricpostsinaptic
-
7/30/2019 Retele_neuronale
9/47
9
Propagarea semnalelor
n descrierile tradiionale ale organizrii neuronale,se consider c o sinaps este o conexiune simplcare poate impune excitare sau inhibare, dar nu
ambele, neuronului receptor Ambele efecte sunt locale; ele se propag pe o
distan mic n corpul celulei i sunt nsumate lanivelul axonului
Dac suma potenialelor de excitare depete unanumit prag, atunci neuronul este activat itransmite un impuls mai departe
-
7/30/2019 Retele_neuronale
10/47
10
Plasticitatea
Cea mai important trstur a reelei neuronalebiologice este plasticitatea
Ca rspuns la stimulrile primite, la nivelulconexiunilor se produc schimbri pe termen lung,
astfel nct conexiunile care ajut la obinerea derezultate pozitive sunt ntrite, iar cele caredetermin rezultate nedorite sunt slbite
De asemenea, neuronii pot forma n timp noiconexiuni cu ali neuroni
Aceste mecanisme stau la baza capacitii deadaptare a creierului la stimulii primii, pe care onumim n mod convenional nvare
-
7/30/2019 Retele_neuronale
11/47
11
Reele neuronale artificiale
n mod analog funcioneaz i o reeaneuronal artificial. n cea mai generalform a sa, o reea neuronal este o mainproiectat pentru a modela felul n carecreierul rezolv o anumit problem sauexecut o funcie cu un anumit scop; reeaua
este de obicei implementat folosindu-secomponente electronice sau simulatprintr-un program
-
7/30/2019 Retele_neuronale
12/47
12
Definiie
Simon Haykin consider c o reea neuronalesteun procesor masiv paralel, distribuit, care are otendin natural de a nmagazina cunotine
experimentale i de a le face disponibile pentruutilizare
Ea se aseamn cu creierul n dou privine: Cunotinele sunt cptate de reea printr-un proces de
nvare Cunotinele sunt depozitate nu n unitile de procesare
(neuroni), ci n conexiunile interneuronale, cunoscute dreptponderi sinaptice
-
7/30/2019 Retele_neuronale
13/47
13
Algoritm de nvare
Procedura folosit pentru a executa procesul de nvare senumete algoritm de nvare, funcia cruia este de a modificaponderile sinaptice ale reelei ntr-un stil sistematic pentru aatinge obiectivul dorit de proiectare
Printre numeroasele proprietai interesante ale unei reeleneuronale, cea mai semnificativ este abilitatea acesteia de anva prin intermediul mediului nconjurtor, i prin aceasta s-imbunteasc performanele; creterea performanelor are locn timp i conform cu unele reguli prestabilite
O reea neuronal i nva mediul printr-un proces iterativ deajustri aplicate conexiunilor i pragurilor sale sinaptice
n mod ideal, reeaua devine mai inteligent dup fiecareiteraie a procesului de nvare
-
7/30/2019 Retele_neuronale
14/47
14
nvarea
n contextul reelelor neuronale vom defini astfelnvarea:un proces prin care parametrii variabili aiunei reele neuronale se adapteaz prin continuastimulare din partea mediului n care este inclus
Tipul de nvare este determinat de modul n careau loc schimbrile parametrilor Aadar, nvarea n contextul unei reele neuronale
se caracterizeaz prin urmtoarele elemente: Reeaua neuronal este stimulat de un mediu Reeaua neuronal sufer schimbri datorit acestor
stimulri Reeaua neuronal rspunde n mod diferit mediului
datorit schimbrilor care au aprut n structura sa intern
-
7/30/2019 Retele_neuronale
15/47
15
Avantaje
Cu toate c asemnarea ntre sistemul nervos biologic ireelele neuronale artificiale este relativ mic, reeleleneuronale artificiale prezint un numr surprinztor decaracteristici ale creierului
De exemplu, acestea pot nva din experien, generaliza dinanumite exemple altele noi i sintetiza caracteristicileeseniale din intrri ce conin i date irelevante
Un mare avantaj al reelelor neuronale este c pot s descrieo problem i s o rezolve n acelai timp, prin
auto-organizarea lor i nu prin programul explicit Acest proces de auto-organizare are loc pe parcursul nvrii
datorate topologiei iniiale, unor reguli de nvare i unuinumr mare de antrenamente
-
7/30/2019 Retele_neuronale
16/47
16
Caracteristici
Caracteristicile cele mai importante ale reelelor neuronale sunt: Capacitatea de a nva:Reelele neuronale artificiale nu
necesit programe puternice, ci sunt mai degrab rezultatul unorantrenamente asupra unui set de date. Reelele neuronaleartificiale au un algoritm de nvare, dup care ponderileconexiunilor sunt ajustate pe baza unor modele prezentate. Cualte cuvinte, reelele neuronale nva din exemple, la fel cum
nva copiii s recunoasc un obiect pe baza mai multor instaneale acelui tip de obiect
Capacitatea de generalizare:Dac au fost instruite
corespunztor, reelele sunt capabile s dea rspunsuri corectei pentru intrri diferite fa de cele cu care au fost antrenate,atta timp ct aceste intrri nu sunt foarte diferite
Capacitatea de sintez:Reelele neuronale artificiale pot luadecizii sau trage concluzii cnd sunt confruntate cu informaiiafectate de zgomot, irelevante sau pariale
-
7/30/2019 Retele_neuronale
17/47
17
Deziderate
Datorit acestor trsturi ale prelucrrii informaiei, reeleleneuronale pot rezolva probleme complexe care sunt dificil deabordat prin metode clasice
Cu toate acestea, cercettorii recunosc c mai au un drumlung de parcurs pn vor ajunge s construiasc un calculatorcare s imite creierul omenesc
Inteligena la care au ajuns n prezent cele mai sofisticatereele neuronale este sub nivelul unui copil de civa ani
Cu toate acestea nu trebuie minimizat sau ignoratimportana reelelor neuronale artificiale i este posibil ca pe
viitor, cu ajutorul lor s se ajung la o cunoatere maiaprofundat a fenomenelor ce au loc n creierul uman Ceea ce recomand reelele neuronale artificiale este raportul
favorabil performan-complexitate, aflat ntr-o continucretere i care este superior sistemelor de inteligenartificial implementate prin alte tehnologii
-
7/30/2019 Retele_neuronale
18/47
18
Reele neuronale
2. Reele cu un singur strat
-
7/30/2019 Retele_neuronale
19/47
19
nceputurile
nceputul reelelor neuronale artificiale este legat de problemaclasificrii unor obiecte definite de o serie de atribute
Cel mai simplu model era funcia Ilogic ntre anumite atribute(prezente sau absente), care s determine o anumit clas
Totui, unele clase pot avea atribute comune, iar unele valori, ncazul n care provin dintr-un mecanism perceptual, pot fi afectatede zgomot
Soluia s-a bazat pe faptul de bun sim c unele atribute sunt maiimportante dect altele pentru determinarea unei anumite clase
O clas era determinat dac sumarea valorilor ponderatedepea un anumit prag, n bun concordan cu legea biologictotul sau nimic (dac un impuls nu depete un prag minim, elnu produce nici un rspuns)
-
7/30/2019 Retele_neuronale
20/47
20
Modelul McCulloch-Pitts
Warren McCulloch i Walter Pitts (1943) au propusun astfel de model, care rmne pn n prezentfundamentul structural pentru majoritatea reelelorneuronale
-
7/30/2019 Retele_neuronale
21/47
21
Ponderi, prag,funcie de activare
-
7/30/2019 Retele_neuronale
22/47
22
Antrenarea perceptronului
Se punea acum problema determinrii automate a acestorponderi, n cazul n care neuronului i erau prezentate mai multeobiecte, mpreun cu clasa creia i aparineau acestea
Rezolvarea a fost adus de Frank Rosenblatt (1960), care a
imaginat un algoritm de nvare pentru aa-numitulperceptron,o reea cu un singur neuron, la fel ca aceea din figuraanterioar
Ideea principal este de a face mici ajustri ale ponderilor pentrua reduce diferena dintre ieirea real a perceptronului i ieireadorit
Ponderile iniiale sunt iniializate aleatoriu (n general n intervalul[-0.5, 0.5]) i apoi actualizate treptat astfel nct ieirea s seapropie de valorile dorite
Exemplele de antrenare sunt prezentate succesiv, n orice ordine
-
7/30/2019 Retele_neuronale
23/47
23
Antrenarea perceptronului
-
7/30/2019 Retele_neuronale
24/47
24
Probleme liniar separabile
Cu ajutorul perceptronului pot fi nvate de exemplu funciibinare elementare, precum I, SAUetc.
Pe abscis i ordonat sunt reprezentate valorile celor douintrri, iar culoarea cercurilor reprezint rezultatul operaiei
(alb = 0, negru = 1)
-
7/30/2019 Retele_neuronale
25/47
25
Probleme liniar separabile
Perceptronul mparte planul n dou regiuni de decizie (datoritpragului funciei de activare); n cazul n-dimensional, spaiulsoluiilor va fi divizat tot n dou regiuni de un hiperplan
Acestea sunt probleme liniar separabile Aici poate fi observat i utilitatea pragului: n lipsa acestuia,
hiperplanul separator ar trece ntotdeauna prin origine, ceea ce nueste de dorit n orice situaie
-
7/30/2019 Retele_neuronale
26/47
26
Avantaje
Algoritmul de antrenare garanteazclasificarea corect a dou clase pe bazasetului de antrenare, cu condiia ca acele
clase s fie liniar separabile Scopul iniial al perceptronului era
recunoaterea optic a caracterelor Rosenblatt a reuit s construiasc n 1968
un sistem bazat pe implementarea sahardware, Mark I Perceptron, care econsiderat primul neurocomputer funcional
-
7/30/2019 Retele_neuronale
27/47
27
Probleme neseparabile liniar
Foarte multe probleme sunt ns liniarneseparabile, de exemplu funcia XORnu poate fi nvat de un perceptronsimplu
Minsky i Papert (1969) au demonstratlimitrile serioase ale reelelor de tipperceptron n aceste situaii i c suntimposibile generalizrile globale pebaza exemplelor nvate local
De asemenea, ei au studiat posibilitateautilizrii perceptronilor pentru calcululpredicatelor, demonstrndu-le limitele ncomparaie cu maina Turing
-
7/30/2019 Retele_neuronale
28/47
28
Reele neuronale
3. Perceptronul multistrat
-
7/30/2019 Retele_neuronale
29/47
29
Perceptronul multistrat ncercrile de rezolvare a problemelor neseparabile liniar au condus la diverse
variante privind numrul de straturi de neuroni i funciile de activare utilizate Perceptronul multistrat este tipul de reea neuronal cel mai cunoscut i mai des
folosit De cele mai multe ori, semnalele se transmit n interiorul reelei ntr-o singur
direcie: de la intrare spre ieire; nu exist bucle, ieirea fiecrui neuron
neafectnd neuronul respectiv. Aceast arhitectur se numete cu propagare nainte(engl. feed-forward)
-
7/30/2019 Retele_neuronale
30/47
30
Perceptronul multistrat Straturile care nu sunt conectate direct la mediu se numesc ascunse Exist n literatura de specialitate o controvers privind considerarea
primului strat (de intrare) ca strat propriu-zis n reea, de vreme cesingura sa funcie este transmiterea semnalelor de intrare sprestraturile superioare, fr a face vreo prelucrare asupra intrrilor
n cele ce urmeaz, am ales snumrm numai straturile formate dinneuroni propriu-zii,ns spunem c intrrile sunt grupate n stratul deintrare
-
7/30/2019 Retele_neuronale
31/47
31
Reele recurente
Exist i reele recurente(engl. feed-back),n care impulsurile se pot transmite n ambeledirecii, datorit unor conexiuni de reacie n
reea Aceste tipuri de reele sunt foarte puternice i
pot fi extrem de complicate Sunt dinamice, starea lor schimbndu-se
permanent, pn cnd reeaua ajunge la unpunct de echilibru iar cutarea unui nouechilibru are loc la fiecare schimbare a intrrii
-
7/30/2019 Retele_neuronale
32/47
32
Regiunile de decizie aleperceptronilor multistrat
Introducerea mai multor straturi afost determinat de necesitateacreterii complexitii regiunilor dedecizie
Un perceptron cu un singur strat i
o ieire genereaz regiuni dedecizie de forma unor semiplane Adugnd nc un strat, fiecare
neuron se comport ca unperceptron standard asupra ieiriineuronilor din stratul anterior iastfel ieirea reelei poate aproximaregiuni de decizie convexe,rezultate din interseciasemiplanelor generate de neuroni.
La rndul su, un perceptron cu treistraturi poate genera zone dedecizie arbitrare
-
7/30/2019 Retele_neuronale
33/47
33
Funcii de activare
Din punctul de vedere al funciei de activare aneuronilor, s-a constatat c reelele multistrat nuasigur o cretere a puterii de calcul n raport cu
reelele cu un singur strat dac funciile de activarermn liniare, deoarece o funcie liniar de funciiliniare este tot o funcie liniar
Puterea perceptronului multistrat provine tocmai din
funciile de activare neliniare Aproape orice funcie neliniar poate fi folosit n
acest scop, cu excepia funciilor polinomiale
-
7/30/2019 Retele_neuronale
34/47
34
Funcii de activare
-
7/30/2019 Retele_neuronale
35/47
35
Funcii de activare
-
7/30/2019 Retele_neuronale
36/47
36
Proprieti
Se poate constata c funciile sigmoide se comport aproximativliniar pentru valori absolute mici ale argumentului i sesatureaz, prelund oarecum rolul de prag, pentru valoriabsolute mari ale argumentului
S-a demonstrat (Cybenko, 1989) c o reea (posibil infinit) cu un
singur strat ascuns este capabil s aproximeze orice funciecontinu Astfel se justific proprietatea perceptronului multistrat de
aproximator universal De asemenea, aplicnd teorema Stone-Weierstrass n domeniul
reelelor neuronale, s-a demonstrat c acestea pot calcula
anumite expresii polinomiale: dac exist dou reele carecalculeaz exact dou funcii f1, respectiv f2, atunci exist oreea mai mare care calculeaz exact o expresie polinomial def1 i f2
-
7/30/2019 Retele_neuronale
37/47
37
Reele neuronale
3.1. Algoritmul backpropagation
-
7/30/2019 Retele_neuronale
38/47
38
Generaliti
Algoritmul backpropagation este cel mai cunoscut i utilizatalgoritm de nvare supervizat
Numit i algoritmul delta generalizatdeoarece extindemodalitatea de antrenare a reelei adaline (regula delta), el sebazeaz pe minimizarea diferenei dintre ieirea dorit i
ieirea real, tot prin metoda gradientului descendent(gradientul ne spune cum variaz o funcie n diferite direcii) Metoda a fost propus pentru prima dat de Bryson i Ho
(1969), dar atunci a fost practic ignorat, deoarecepresupunea un volum de calcule prea mare pentru vremearespectiv
A fost redescoperit apoi de Werbos (1974), ns abia lamijlocul anilor 80 a fost lansat de Rumelhart, Hinton iWilliams (1986) ca instrument general acceptat de antrenarea perceptronului multistrat
Ideea de baz este gsirea minimului funciei de eroare e(w)
n raport cu ponderile conexiunilor
-
7/30/2019 Retele_neuronale
39/47
39
Preliminarii
-
7/30/2019 Retele_neuronale
40/47
40
Preliminarii
-
7/30/2019 Retele_neuronale
41/47
41
Preliminarii
C ti t ii d
-
7/30/2019 Retele_neuronale
42/47
42
Corectie pentru neuronii deiesire (1)
C ti t ii d
-
7/30/2019 Retele_neuronale
43/47
43
Corectie pentru neuronii deiesire (2)
C ti t ii di
-
7/30/2019 Retele_neuronale
44/47
44
Corectie pentru neuronii dinstratul ascuns
-
7/30/2019 Retele_neuronale
45/47
45
Pasii algoritmului
Initializarea semnalelor de eroare pentru toti neuronii
Seteaza intrarile, respectiv iesirile dorite din multimea datelor deinstruire
Executarea unui pas inainte
Calcul semnal de eroare pentru neuronii din stratul de iesire Calcul semnal de eroare pentru neuronii din stratul ascuns
Actualizarea ponderilor legaturilor dintre stratul ascuns si cel deiesire
Actualizarea ponderilor legaturilor dintre stratul de intrare si celascuns
Calculeaza eroarea pentru setul de date de instruire curent
-
7/30/2019 Retele_neuronale
46/47
46
Concluzii
Reelele neuronale i dovedesc n principalutilitatea n rezolvarea unor probleme dificile,cum sunt cele de estimare, identificare i
predicie sau de optimizare complex Datorit independenei efecturii operaiilor
din interiorul componentelor fa de celelalte
componente din sistem, modeleleconexioniste au un potenial mare deparalelism
-
7/30/2019 Retele_neuronale
47/47
47
Concluzii
Modul de memorare i procesare a datelordifereniaz reelele neuronale artificiale deprogramele clasice, care urmeaz instruciunilentr-o ordine secvenial predefinit, iar informaia
este memorat n zone bine definite Datorit capacitii lor de a rezolva problemecomplexe pe baza unei mulimi consistente deexemple, sistemele conexioniste au un spectru largde aplicabilitate: de la sisteme de recunoatere de
forme (caractere, semnturi, etc.) sau de semnalesonore, pn la sisteme pentru controlul unorprocese complexe, cum ar fi sistemele deauto-reglare sau piloii automai