PSIHOLOGIE COGNITIVĂPARADIGMA REȚELELOR NEURONALE

ISTORIA PARADIGMEI Spre deosebire de paradigma clasic simbolică,

paradigma reţelelor neuronale a apărut mult mai târziu şi porneşte de la principii fundamental diferite.

Câteva tentative de introducere a reţelelor neuronale au fost înregistrate în anii 60 ai secolului 20 (de ex. Modelul perceptronului, 1958, Rosenblatt; Pitts şi McCullogh, 1943).

Criticile aduse de Minsky (1961) şi Minsky şi Selfridge (1961) au făcut ca majoritatea fondurilor de cercetare ce fuseseră alocate iniţial în această direcţie să fie redirecţionate în domenii „mai promiţătoare”.

ISTORIA PARADIGMEI (cont.)În 1981, o echipă de cercetători de la

Universitatea San Diego California, condusă de McClelland şi Rumelhart au elaborat un model de recunoaştere a paternurilor - IAM (Interactive Activation Model), bazat pe o reţea neuronală trinivelară.

În 1986 aceştia au publicat o carte de foarte mare importanţă – Parallel Distributed Processing – devenită pentru mulţi cercetători „Biblia Conexionismului”.

“MIEZUL” PARADIGMEIActivitatea cognitivă poate fi cunoscută şi explicată

prin intermediul unor modele de inspiraţie neuronală.

Informaţia este reprezentată de sistemul cognitiv uman prin valori şi patternuri de activare ale unor unităţi simple, numite „neuromimi”.

Toate aceste unităţi formează reţelele neuromimetice.

Regulile de bază din reţele sunt de modificare sau propagare a valorilor de activare.

Aceste reguli nu sunt formal-logice, ca în cazul paradigmei clasice, ci constau în ajustarea reciprocă a patternurilor de activare dintre unităţile reţelei.

ELEMENTELE REȚELEI NEURONALEunităţilestarea de activareregula de activarefuncţia output / ieşirepatternul de conexiuni dintre

unităţiregulile de învăţaremediul sau ambianţa reţelei

UNITĂȚILESe mai numesc neuromimi (în sensul în care

ele mimează doar funcţionarea neuronilor, nu şi structura lor), unităţi cognitive, noduri.

Ele preiau partea funcţională (adică salvele activatoare sau inhibitoare de impulsuri şi ideea de sinapse) a neuronilor.

Valoarea de activare este cuprinsă între [-1, +1].

Sunt două tipuri de unităţi:unităţile vizibile (input şi output) şiunităţile ascunse (hidden)

UNITĂȚI (cont.)Sunt semantic opace, adică nu

simbolizează stări de lucruri cunoscute (spre deosebire de modelele clasic-simbolice, care sunt semantic transparente) iar nodurile nu au o semnificaţie în sine.

Există totuşi şi câteva excepţii - reţelele localizaţioniste (unde un nod al reţelei este, în fapt, un concept).

STAREA DE ACTIVARESunt cuprinse, de regulă, între [-

1, +1]. Valoarea stărilor de activare creşte sau scade în timp, funcţie de stimularea primită de nodul respectiv.

Dispune de o proprietate importantă: rata degradării (decay rate), adică, dacă nodul nu este stimulat o perioadă mai lungă de timp, valoarea sa de activare scade progresiv, spontan.

REGULA DE ACTIVAREEste o funcţie ce modifică valoarea de

activare a unităţilor într-o reţea. Această regulă permite calculul netinputului.

Netinputul este suma ponderată a tăriilor sinapselor, înmulţită cu valoarea stării de activare a unităţilor cu care este conectată unitatea respectivă, la care se adaugă restul de activare al neuromimului.

 

REGULA DE ACTIVARE (cont.) Netinput= Σwij*ua+ra, Unde: wij este tăria sinapsei (ponderea

legăturii) dintre două noduri (i şi j)ua este valoarea de activare a

nodurilor cu care este conectat nodul a

ra este restul de activare (valoarea iniţială de activare) al nodului a

FUNCȚIA OUTPUT (IEȘIRE)Stabileşte relaţia dintre valoarea de

activare a unităţii şi output-ul pe care ea îl transmite celorlalte unităţi.

Pot apărea două situaţii:- cea în care funcţia output este egală cu valoarea de activare a unităţii respective, şi- cea în care funcţia este determinată de un nivel prag (peste nivelul prag se emite funcţia output, iar sub nivelul prag unitatea respectivă nu descarcă impulsuri).

PATTERNUL DE CONEXIUNI ÎNTRE UNITĂȚIReprezintă legăturile dintre neuromimi. În

limba engleză, termenul folosit este de „weight”(pondere sau conexiune, în limba română) iar notaţia standard este wij, care se citeşte „ponderea legăturii dintre unitatea i şi unitatea j.

Reţelele pot fi:- unidirecţionale (conexiunile funcţionează doar dinspre input spre output) şi- bidirecţionale (sau interactive; în acest caz, nu este obligatoriu ca wij să fie egală cu wji).

 

PATTERNUL DE CONEXIUNI ÎNTRE UNITĂȚI (cont.)Legăturile pot fi, de asemenea:stimulatoare sau pozitive – cu valori cuprinse

între (0, +1],inhibitoare sau negative – cu valori cuprinse

între [-1, 0). 

În afară de aceste legături, care se stabilesc între neuroni aflaţi la nivele diferite ale reţelei, în reţelele neuronale apare şi fenomenul de inhibiţie laterală, între unităţi aflate la acelaşi nivel (acest fenomen stă la baza învăţării competitive).

REGULILE DE ÎNVĂȚARESunt algoritmi sau ecuaţii care guvernează schimbarea ponderilor

conexiunilor dintr-o reţea, echivalenţi regulilor de manipulare simbolică din paradigma clasic-simbolică.

Sunt mai multe reguli de învăţare: Hebb, delta, delta generalizată etc. Regula lui Hebb Spune că ponderea conexiunii dintre doi neuroni, i şi j, se modifică în

funcţie de produsul valorilor lor de activare. Astfel, tăria sinapsei dintre doi neuroni creşte dacă în momentul stimulării ei se află în aceeaşi stare de activare (pozitivă sau negativă), şi scade dacă se află în stări diametral opuse.

 Wij= lr*ai*aj,

Unde: lr = learning rate sau rata învăţării (este stabilită de constructorul

reţelei) ai, aj = valorile de activare ale nodurilor i (input) şi j (output) 

REGULILE DE ÎNVĂȚARE (cont.)Regula delta (Widrow-Hoff)  Wij= lr*(du-au)*aj,

Unde:  lr = learning rate sau rata învăţării (este stabilită

de constructorul reţelei) du = nivelul de activare dorit pentru nodul i au = nivelul de activare actual al nodului i aj = nivelul de activare actual al nodului j În momentul în care du = au, atunci Wij devine 0 iar

reţeaua a învăţat ceea ce avea de învăţat.

MEDIUL/AMBIANȚA REȚELEI Este mediul în care se scaldă

reţeaua. Se prezintă sub forma unor „biaşi” care pot influenţa desfăşurarea activităţii reţelelor.

Avantajele utilizării rețelelor neuronale în înțelegerea cogniției

Explică modul în care mintea poate procesa informație incompletă sau degradată (flexibilitate).

Pot explica funcționarea a mai multe procese mentale – percepție, raționament, limbaj, memorie (priming etc).

Limitele utilizării rețelelor neuronale în înțelegerea cogniției

Nu explică felul în care reținem evenimente singulare

Nu explică felul în care restructurăm rapid o informație inițială, când se modifică criteriile de evaluare

EXISTĂ DOUĂ SISTEME DE ÎNVĂȚARE ÎN CREIER/MINTE (MCCLELLAND et al., 1997).