retele neuronale - perceptronul

Upload: bunelu87

Post on 13-Jul-2015

152 views

Category:

Documents


6 download

TRANSCRIPT

CURS 2PERCEPTRONUL Perceptronul Filtrul liniarArhitectura perceptronului Este construit n jurul unui neuronnelinear(cufunciadeactivarenelinear- funciatreapt / signum). Hiperplanul de decizie:a)- linear separabile, b) neseparabile linearEste util n clasificarea de pattern-uri liniarseparabile (separabile printr-o dreapt/ unhiperplan), deci n problemedeclasificarecu 2clase); Unsingur perceptron poatereprezentafunciilebooleene AND, OR, NAND, NOR- (important,pentru c orice funcie boolean se poatereprezenta ca o combinaie a acestora);PentruXOR(figurabdemai sus)enevoiedemai muli perceptroni.Algoritmul de antrenare al perceptronuluiScop:determinarea vectorului w.1.Dac exemplul x(t) este clasificat corect de w(t), w(t) rmne nemodificat.2.Altfel: w(t+1)=w(t)-(t)*x(t), dac wT(t)x(t)>0 i x(t) C2; w(t+1)=w(t)+(t)*x(t), dac wT(t)x(t)0 i x(t) C1.((t) este parametrul de nvare (>0)- controleaz procesul de nvare).Teorema de convergen a perceptronuluiDac mulimile de vectori de antrenareH1iH2(pentru C1, respectiv C2) sunt linearseparabile, perceptronul converge dup n0iteratii (n0 nmax determinat de parametridependeni de H1, H2):w(n0)= w(n0+1)=... (pentru o rat de nvare suficient de mic)Operatorul logic AND AND, OR, NOT: se pot modela cu unperceptron.Limitri Dac exemplele nu sunt linear separabile,este posibil ca perceptronul s nuconvearg. Osoluie aacestei problemeestedat deregulaDelta: aceasta converge ctre oaproximaie optim a vectorului de ponderiintchiar dac exemplele de antrenare nusunt linear separabile.Regula Delta Folosete gradient descendent pentru ocutare n spaiul vectorilor pondereposibili (pentru a gsi ponderile ce sepotrivesc cel mai bine cu exemplele deantrenare); Util pentruspaii deipotezecu parametricontinui; Este baza pentru algoritmulBackpropagation (perceptronul multistrat). Ieirea unui perceptron fr aplicarea pragului: O msur a erorii de antrenare a unei ipoteze w, relativ la exemplele de antrenare:(D este mulimea de exemple de antrenare)

=D dd do t w E2) (21) ( = x w x o * ) (Regula Bayes:wcareminimizeazE precedenteste icea mai probabil ipotez fiind dat setul dedate de antrenareEroarea n funcie de wCutarea unui minim global pe suprafaa E Gradientul E n raportcu w: Direcia celei mai abrupte coborri: xxxxxx= \nwEwEwEw E ,..., , ) (1 0) (\w EDup efectuarea calculelor se obine: A + w w w) ( \= A w E w giiwEwxx = A g

= AD did d d ix o t w * ) ( gAlgoritm (Regula Delta- gradient descendent) Iniializeaz aleator wi; Calculeaz ieirea pentru toate exemplele; Calculeaz . Modific wi.iw A Poate s piard minimul global, s seblocheze ntr-un minim local. Alternativa: gradient descendent stocastic;acesta modific ponderile dup fiecareexemplu de antrenare.Remarci Att regulaDeltact i reguladeantrenareaperceptronului pot fi folosite la nvareaponderilor unui perceptron, DAR: Regula Delta actualizeaz w pe baza eroriicalculat pentru combinaia linear a intrrilorFR aplicarea PRAGULUI; Regula de nvare a perceptronuluiactualizeaz ponderile pebazaerorii calculatepentruieireatrecut prinfunciatreapt(deciDUP aplicarea PRAGULUI).Proprieti de convergen Regula de nvare a perceptronuluiconverge ntr-un numr finit de iteraii spreipoteza wcareclasific perfect dateledeantrenare, dac acestea sunt linearseparabile; Regula Delta converge asimptotic spreipotezadeeroareminim(posibil ntimpinfinit), indiferent delinear separabilitateadatelor.Filtrul liniar Estesimilar perceptronului, darfunciadetransfer este linear (nu mai folosimfunciatreapt),deci ieirea poatefi oricevaloare (nu doar 0/1 ca la perceptron). Lafel ca perceptronul, poaterezolvadoarprobleme de clasificare cu clase linearseparabile.AntrenareCu regulaDelta. (Ieireaesteocombinaielineardeintrri i w, deci eroareaestedependent de w, deci putem folosigradient descendent n spaiul vectorilorde ponderi.)