UNIVERSITATEA DIN CRAIOVA

FACULTATEA DE AUTOMATICĂ, CALCULATOARE ŞI ELECTRONICĂ

PROBLEME CALITATIVE ÎN DINAMICA

REŢELELOR NEURONALE

REZUMATUL TEZEI DE DOCTORAT

Autor: Ing. Daniela Danciu Conducător ştiinţific

Prof. dr. ing. Vladimir Răsvan

C R A I O V A 2003

C U P R I N S C U P R I N S .......................................................................................................1 Introducere............................................................................................................3 Structura tezei .......................................................................................................4 Capitolul 1 – Tipuri şi modele dinamice de reţele neuronale..............................6

1.1. Caracteristici de bază ale reţelelor neuronale ...........................................6 1.1.1. Neuronul artificial ..............................................................................6 1.1.2. Funcţii de activare ..............................................................................7 1.1.3 Topologii .............................................................................................8 1.1.4. Tipuri de reţele neuronale ..................................................................9 1.1.5. Metode de învăţare .............................................................................9

1.2. Modele de neuroni artificiali...................................................................10 1.2.1. Modele de neuroni artificiali fără reacţie.........................................10 1.2.2. Modele de neuroni artificiali cu reacţie ...........................................10

1.3. Reţele neuronale tip Hopfield .................................................................12 1.4. Memorii asociative bidirecţionale...........................................................13 1.5. Reţele neuronale competitive..................................................................14 1.6. Reţele neuronale celulare ........................................................................15

Capitolul 2 - Elemente de teoria stabilităţii în sens Liapunov şi sisteme cu mai multe stări de echilibru .......................................................................................16

2.1. Stabilitatea în sens Liapunov pentru sisteme autonome.........................16 2.2. Metoda funcţiei Liapunov .......................................................................16 2.3. Proprietăţile sistemelor cu mai multe echilibre ......................................18

Capitolul 3 - Funcţii Liapunov pentru reţele neuronale ....................................21 3.1. Funcţia Hopfield......................................................................................21 3.2. Metoda funcţiei Liapunov pentru reţele neuronale privite ca sisteme cu mai multe stări de echilibru............................................................................21 3.3. Funcţia Liapunov în studiul memoriilor asociative bidirecţionale ........24 3.4. Funcţia Liapunov pentru reţele neuronale competitive Cohen - Grossberg........................................................................................................25 3.5. Funcţia Liapunov pentru reţele neuronale celulare ................................26

Capitolul 4 - Prezenţa întârzierii în reţele neuronale şi fenomene induse de aceasta.................................................................................................................29

4.1. Funcţii Liapunov şi metode intrare/ieşire (tip Popov) pentru reţele

2

neuronale cu întârziere................................................................................... 29 4.1.1. Comportament „aproape liniar” pentru reţele neuronale de tip Hopfield afectate de întârzieri ................................................................... 29 4.1.2. Criterii de stabilitate pentru reţele neuronale celulare cu întârzieri 33 4.1.3. Rezultate de stabilitate pentru reţele neuronale competitive cu întârzieri 36

4.2. Metode de comparaţie pentru studiul reţelelor neuronale cu întârzieri. 37 4.2.1. Comportament de tip gradient pentru reţele neuronale tip Hopfield cu întârzieri ................................................................................................ 37

Capitolul 5 – Concluzii generale ....................................................................... 42 Bibliografie (extras)........................................................................................... 47

3

Introducere O direcţie importantă în domeniul reţelelor neuronale artificiale

(RNA) o constituie abordarea acestora ca sisteme dinamice şi studiul stabilităţii lor, sau mai general, studiul comportamentului lor calitativ. Importanţa acestei abordări este subliniată în diferite cărţi de referinţă în domeniul reţelelor neuronale artificiale [Kos92, Hay94, DeW95] unde se arată că o RNA funcţionează bine dacă evoluţia ei tinde către echilibrele semnificative pentru aplicaţia pentru care a fost proiectată; această cerinţă implică proprietatea de stabilitate a mulţimii de echilibru a reţelei neuronale. Atât din modelarea sistemelor şi reţelelor neuronale naturale (biologice) cât şi din aplicaţiile reţelelor neuronale artificiale rezultă structuri care nu implică stabilitatea şi convergenţa de-a lungul proprietăţilor acestora. Rezultă deci că studiul stabilităţii, a comportamentului dinamic al reţelelor neuronale, este atractiv, necesar şi deosebit de important. Deoarece structurile de reţele neuronale artificiale sunt variate, studiile de stabilitate sunt de asemenea variate.

Proprietăţile de comportament dinamic sunt verificate pe modelul matematic. Reţelele neuronale artificiale sunt sisteme dinamice neliniare, iar caracterul sectorial al funcţiilor de activare, în general funcţii sigmoidale, face posibilă şi adecvată utilizarea metodelor teoriei stabilităţii absolute: funcţia Liapunov şi inegalitatea Popov în domeniul frecvenţei.

Reţelele neuronale sunt sisteme cu mai multe stări de echilibru. Această proprietate (existenţa a mai multor echilibre) garantează performanţele de calcul ale reţelelor neuronale în rezolvarea problemelor. Vom da două exemple sugestive pentru susţinerea ideii: 1) cazul reţelelor neuronale utilizate pentru clasificare [Nol94, Nol95], unde echilibrele sistemului reprezintă vectorii „prototip” care caracterizează diferitele clase de forme şi 2) cazul utilizării reţelelor neuronale ca optimizator, unde punctele de echilibru vor reprezenta optimul căutat.

Teza de doctorat, cu titlul „PROBLEME CALITATIVE ÎN

DINAMICA REŢELELOR NEURONALE”, se înscrie în această arie de preocupări şi îşi propune studiul teoretic, validat prin exemple şi simulări numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Am considerat important şi deosebit de util, din punct de vedere practic, studiul

4

fenomenelor induse de prezenţa întârzierilor în dinamica reţelelor neuronale, de aceea un capitol al tezei este rezervat acestei problematici. Modelele analizate cuprind clasa sistemelor neuronale neliniare continue cu funcţii de activare de tip sectorial şi clasa sistemelor neuronale discrete.

Structura tezei

Conţinutul tezei de doctorat a fost structurat în patru capitole,

capitolul cinci cuprinzând concluziile generale şi evidenţierea contribuţiilor originale ale lucrării.

Capitolul 1 - „Tipuri şi modele dinamice de reţele neuronale” descrie gradual şi succint caracteristicile de bază ale reţelelor neuronale artificiale: neuronul artificial, funcţia de activare, topologii şi tipuri de reţele neuronale artificiale, legi de învăţare. Apoi se continuă cu prezentarea modelelor de neuroni artificiali şi a unor reţele neuronale artificiale complexe, validate de practică.

Capitolul 2 - „Elemente de teoria stabilităţii în sens Liapunov şi sisteme cu mai multe stări de echilibru” are ca scop prezentarea elementelor teoretice de bază ale metodei Liapunov, un instrument puternic în domeniul teoriei stabilităţii absolute. Raţionamentele expuse anterior sunt un argument suficient pentru a justifica introducerea în acest al doilea capitol şi a noţiunilor şi rezultatelor teoretice privind dinamica sistemelor cu mai multe echilibre.

Capitolul 3 - „Funcţii Lipunov pentru reţele neuronale” are ca scop obţinerea unor condiţii suficiente pentru un comportament calitativ bun al sistemelor neuronale artificiale, în sensul celor prezentate în Introducere, instrumentul de bază în studiile efectuate fiind metoda funcţiei Liapunov. De remarcat că în acest capitol reţelele neuronale sunt abordate din perspective diferite: în cadrul de lucru al Teoriei calitative a sistemelor dinamice neliniare, al Teoriei calitative a sistemelor cu mai multe echilibre, al Teoriei calitative a sistemelor mari.

Capitolul 4 - „Prezenţa întârzierilor în reţele neuronale artificiale şi fenomene induse de aceasta” este pe deplin justificat de necesitatea obţinerii unor condiţii pentru un comportament calitativ dezirabil în cazul dinamicilor afectate de întârzieri ale reţelelor neuronale. Această abordare este relativ recentă în domeniu [Bel93, Gop94, Cao96, Dri98, Dan01a, Dan01b, Dan01c,

5

Dan02a, Dan02b] şi a fost impusă de observarea prezenţei întârzierilor în transmiterea semnalului atât la sistemele biologice (între intrarea şi ieşirea unei celule nervoase cât şi între două celule) cât şi în cazul implementării hardware a reţelelor neuronale artificiale datorită, de exemplu a întârzierii inerente de reacţie sau a timpului finit de comutare a amplificatoarelor operaţionale.

Capitolul 5 cuprinde consideraţii generale asupra rezultatelor, a conţinutului de originalitate şi a metodelor de analiză folosite.

6

Capitolul 1 – Tipuri şi modele dinamice de reţele neuronale

Reţelele neuronale artificiale sunt dispozitive de calcul din clasa maşinilor inteligente. Acestea au apărut din ideea modelării sistemului nervos central în speranţa obţinerii unor performanţe de calcul care să permită rezolvarea mai simplă a unor sarcini cognitive şi senzoriale, în comparaţie cu clasicele calculatoare cu procesoare cu prelucrare secvenţială.

1.1. Caracteristici de bază ale reţelelor neuronale

1.1.1. Neuronul artificial

Neuronul reprezintă unitatea structurală şi funcţională a sistemului nervos. Asemănător creierului biologic, structura reţelelor neuronale artificiale (RNA) cuprinde un număr mare de elemente simple de procesare neliniare (neuroni artificiali) care operează în paralel. În elaborarea semnalului de ieşire, aceste elemente de procesare folosesc doar informaţia disponibilă local în reţea. Ca şi neuronul biologic, neuronul artificial (Fig.1.1) poate primi la un moment dat unul sau mai multe semnale de intrare xi şi poate furniza un singur semnal de ieşire y. Sursa semnalelor de intrare poate fi mediul extern pentru neuronii câmpului de intrare, sau ieşirile altor neuroni (în cazul cel mai general) pentru neuronii câmpurilor ascunse sau de ieşire. Fiecare semnal de intrare este ponderat cu o valoare wi care arată importanţa respectivei intrări în elaborarea semnalului de ieşire al neuronului. Aceste ponderi pot avea valori pozitive, numindu-se ponderi excitatoare, sau pot avea valori negative, acţiunea lor fiind

Fig. 1.1. Reprezentarea schematică a neuronului artificial

M M net Σ f

wm-1

wm

x1

xm-1

xm

x0 = +1

y

w1

biasw0

7

inhibitoare pentru neuron. Tot ca intrare este adăugat un termen de polarizare (în engleză, bias) care exprimă starea iniţială a neuronului. Pentru o tratare unitară a ponderilor şi a polarizării, cea din urmă se consideră a fi ponderea unei intrări cu valoarea +1 şi se modifică similar celorlalte ponderi.

=

+== ∑∑

==

m

iii

m

iii xwfxwbiasfnetfy

01)( (1.1)

1.1.2. Funcţii de activare

Funcţiile de activare ale neuronului artificial au rolul de a restrânge domeniul de variaţie al ieşirii acestuia la un domeniu prespecificat. În literatura de specialitate, pentru funcţia de activare a neuronului cele mai utilizate sunt următoarele: funcţia prag, funcţia rampă, funcţia sigmoidală şi funcţia Gauss. - Funcţia prag restrânge domeniul de ieşire al neuronului la două valori: {0, +1} pentru o funcţie prag binară, sau {-1, +1} în cazul funcţiei prag bipolare. Matematic, în cazul general, funcţia prag are expresia:

<≥

=pxpx

xf,,

)(βα

(1.2)

- Funcţia rampă bipolară este o funcţie continuă care prezintă puncte angulare, puncte în care derivata are un salt. Valorile de saturaţie sunt simetrice faţă de origine. Expresia funcţiei rampă bipolară este:

−≤−

<

≥

=

1,11,

1,1)(

xxx

xxf (1.3)

- Funcţia sigmoidală este o funcţie mărginită, monotonă şi nedescrescătoare care furnizează un răspuns gradat, neliniar, într-un interval prespecificat. Funcţia sigmoidală este utilizată atât în domeniul reţelelor neuronale, cât şi în alte domenii: statistică, chimie, sociologie. În domeniul reţelelor neuronale artificiale des utilizată este funcţia sigmoidală bipolară care reprezintă versiunea netedă a funcţiei rampă bipolară. Exemple de funcţii sigmoidale bipolare sunt

8

( ) xx

xx

eeeexxf −

−

+−

== )(tanh

( )

=

+−

= −

−

2tanh

11 x

eexf x

x

(1.4)

( )

= −

ππxxf 2tan2 1

acestea având domeniul de valori intervalul (-1, 1). - Funcţia Gauss este o funcţie radială neliniară (simetrică faţă de origine) cu valoarea dispersiei v > 0. Funcţia Gauss este utilizată în reţelele neuronale probabilistice, sau în reţelele neuronale în care dispersia este predefinită [Spe90]. În al doilea caz, funcţia de activare are expresia,

( ) 0,exp)( 2 >−= ννxxf (1.5)

unde x reprezintă media, iar ν dispersia predefinită.

1.1.3 Topologii

Topologia reţelelor neuronale vizează aspecte privind numărul şi distribuţia neuronilor în straturi şi a straturilor în întreaga reţea, tipul conexiunilor şi modul (direcţia) în care informaţia parcurge neuronii reţelei.

Neuronii unei reţelele neuronale artificiale sunt organizaţi în straturi. O reţea neuronală poate avea unul sau mai multe straturi (nivele, câmpuri). În cadrul unui nivel, neuronii sunt similari privind două aspecte: în primul rând, semnalele de intrare ale nivelului au aceeaşi sursă şi în al doilea rând, toţi neuronii nivelului au aceeaşi dinamică de actualizare.

Reţelele neuronale pot avea două tipuri de conexiuni: conexiuni intra-nivel şi conexiuni inter-nivel. Conexiunile intra-nivel reprezintă legături între neuronii aceluiaşi câmp, iar conexiunile inter-nivel se referă la conexiuni între neuronii unor câmpuri diferite. Este posibil ca într-o reţea neuronală să coexiste cele două tipuri de conexiuni.

Clasificarea reţelelor neuronale după sensul în care informaţia parcurge reţeaua cuprinde reţele neuronale feedforward şi reţele feedback.

9

1.1.4. Tipuri de reţele neuronale

1.1.4.1. Reţele neuronale Instar, Outstar, ADALINE 1.1.4.2. Reţele neuronale cu un singur nivel 1.1.4.3. Reţele neuronale cu două nivele 1.1.4.5. Reţele neuronale multinivel

1.1.5. Metode de învăţare

Învăţarea presupune codificarea informaţiei. Un sistem învaţă o formă dacă acesta codifică forma în structura sa. Deci, structura sistemului se modifică în timpul învăţării. În cazul reţelelor neuronale, învăţarea înseamnă modificarea valorilor ponderilor conexiunilor dintre neuronii reţelei în scopul codificării informaţiei.

Există două mari categorii de proceduri pentru instruirea reţelelor neuronale: proceduri pentru învăţare supravegheată şi proceduri pentru învăţare nesupravegheată.

Învăţarea supravegheată (supervizată) este o metodă care prevede existenţa unui „profesor” extern şi/sau o informaţie globală. Instanţe exterioare reţelei decid durata epocii de antrenament, numărul de cicluri de antrenament, frecvenţa cu care se prezintă anumite asociaţii pentru a fi învăţate şi informaţii privind performanţele reţelei (eroarea între răspunsul dorit şi răspunsul obţinut). Metodele de învăţare supravegheată se împart în două categori: învăţare structurală şi învăţare temporală.

Învăţarea nesupravegheată sau „autoorganizarea” se bazează doar pe informaţia disponibilă local şi nu presupune existenţa unui „profesor”. Reţeaua neuronală primeşte doar date de intrare pe care le organizează. Algoritmii de învăţare nesupravegheată sunt mai puţin complecşi şi mai puţin exacţi decât cei corespunzători învăţării supravegheate. învăţarea nesupravegheată este mult mai rapidă, putându-se învăţa într-un singur pas din date afectate de zgomot. De aceea, învăţarea nesupravegheată este folosită în multe medii de mare viteză, în timp real, când nu există suficient timp, informaţie sau precizie de calcul pentru utilizarea algoritmilor de învăţare supravegheată.

10

1.2. Modele de neuroni artificiali

1.2.1. Modele de neuroni artificiali fără reacţie

Perceptronul McCulloch-Pitts [McC43] Modelul Dahanayake–Upton [Dah95] (perceptronul simplu „deştept”) Modelul Fukushima

1.2.2. Modele de neuroni artificiali cu reacţie

• Neuronul artificial cu reacţie la nivelul activării valorile de intrare xi pot fi valori net obţinute la momente anterioare.

... 2, 1, 0,,)()( =−= kkTtnettxi (1.6)

unde T reprezintă perioada de eşantionare.

Fig. 1.2. Modelul perceptronului simplu cu reacţie la nivelul activării

• Modelul perceptronului cu reacţie locală la nivelul sinapsei a fost propus de Tsoi şi Back [Tso94]. Perceptronul simplu utilizat este o versiune modificată a modelului McCulloch-Pitts cu prag :

= ∑

=

−m

iii txzGfty

0

1 )()()( (1.7)

unde xi(t) cu 1≤ i ≤ m sunt valori de intrare, x0 corespunde intrării de prag (nu s-a reprezentat în figură), iar notaţia combinată, în domeniul timp şi frecvenţă,

utilizată )()( itxtxzdef

i −=− este cea propusă de lucrarea [Tso94] în scopul de a

compacta notaţia şi a reliefa caracteristicile structurii. Fiecare pondere de valoare constantă a fost înlocuită cu o funcţie de

transfer liniară Gi(z-1), mi ,1= , cu poli şi zerouri, cu forma generală (1.8)

x(t) Sistem liniar

dinamic net(t) y(t)f∑

11

0,cu,)(

0

01 ≠=

∑

∑

=

−

=

−

−zpp

z

nnn

i

ii

n

i

ii

baza

zbzG (1.8)

unde nz şi np sunt numărul de zerouri, respectiv numărul de poli, iar coeficienţii ai cu 1≤ i ≤ np şi bi cu 1≤ i ≤ nz sunt constanţi, cu 0≠

pna şi

0≠znb .

Fig. 1.3. Modelul perceptronului simplu cu reacţie locală la nivelul sinapsei

Valorile de intrare xi(t) cu 1≤ i ≤ m pot fi preluate de la ieşirea perceptronului simplu sau, în cazul unei structuri multi-perceptron simplu pot fi ieşirile unui strat anterior compus din perceptroni simpli. În primul caz, structura are reacţie locală la ieşire, în cel de-al doilea caz are reacţie locală la nivel de sinapsă.

• Modelul perceptronului simplu cu reacţie locală la nivelul ieşirii presupune aplicarea la intrarea sistemului liniar atât a semnalelor x(t) (care pot fi intrări externe sau ieşirile neuronilor dintr-un nivel anterior) cât şi a semnalelor de ieşire ale neuronului de la momente anterioare.

Fig. 1.4. Modelul perceptronului simplu cu reacţie locală la ieşire Un exemplu de neuron cu reacţie locală la nivelul ieşirii este modelul Frasconi-Gori-Soda (Fig. 1.5.) pentru care expresia ieşirii este

x1

x2

xm

net(t) Σ

Gm

M M

f

G1

G2 y(t)

Sistem liniar

dinamic

net(t) y(t)

x(t)

f∑

12

−+= ∑∑

==

M

jj

m

iii jtyktxwfty

11)()()( (1.9)

unde wi şi kj sunt ponderi constante. În figură întârzierea unitară s-a notat cu ∆.

Fig. 1.5. Modelul perceptronului Frasconi-Gori-Soda

• Modelul general de perceptron simplu îmbină modelul de perceptron cu reacţie locală la nivelul sinapsei cu modelul de perceptron cu reacţie locală la ieşire. Acest model stă la baza reţelelor cu reacţie locală care la nivel global sunt reţele feedforward.

Fig. 1.6. Modelul perceptronului simplu GLRGF („General Locally Recurrent Globally Feedforward”)

1.3. Reţele neuronale tip Hopfield

Reţeaua Hopfield, [Hop82] este o reţea neuronală cu un singur câmp de neuroni total interconectaţi, în care informaţia parcurge conexiunea dintre doi neuroni oarecare i şi j în ambele direcţii, iar ponderile wij (de la neuronul j la neuronul i) şi wji (de la neuronul i la neuronul j) sunt egale adică, matricea

x1

x2

xm

net(t) Σ

Gm

M M f

G1

G2 y(t)

H(z)

w1 x1

x2

xm

y(t)net(t) Σ

w2

wm

M M f

∆ ∆ ∆

kM k1kj

13

conexiunilor W este simetrică. Funcţia de activare a neuronului este o funcţie neliniară, nedescrescătoare şi mărginită - în cazul continuu, sau funcţia prag binară - în cazul discret. Funcţionarea reţelei presupune aplicarea simultană a formei de intrare tuturor neuronilor. Ieşirile acestora vor activa asincron şi aleator neuronii reţelei până când se va ajunge la o stare globală de echilibru, stare care va reprezenta ieşirea reţelei. Modelul Hopfield în forma întâlnită des în literatură

( ) miIxfwxadtdx m

ijjijiii ,1,

1=+−−= ∑ (1.10)

unde indicele i reprezintă numărul neuronului în cadrul nivelului, iar Ii stimulul extern corespunzător.

1.4. Memorii asociative bidirecţionale

Memoriile asociative bidirecţionale (BAM) au fost propuse de Kosko [Kos88] ca o extindere a modelului Hopfield. Spre deosebire de reţeaua Hopfield, o BAM este formată din două câmpuri de neuroni total interconectate, neexistând conexiuni între neuronii aceluiaşi câmp. Dinamica BAM în timp discret este descrisă de următoarele ecuaţii:

niIyRwxp

ji

jkjij

ik ,1,)(

11 =+= ∑

=+

pjJxSwyn

ij

ikiij

jk ,1,)(1 =+= ∑+

(1.6)

Funcţiile de activare (Si şi Rj) sunt funcţii prag binare sau bipolare. Funcţiile de activare prag cu valori binare au următoarele expresii:

<

=

>

=

<

=

>

= −−

jj

k

jj

kj

kj

jj

k

jkj

iik

iik

iki

iik

iki

Vy

VyyR

Vy

yR

Ux

UxxS

Ux

xS

,0

),(

,1

)(,

,0

),(

,1

)( 11 (1.7)

Pragurile (Ui şi Vj) şi intrările externe (Ii şi Jj) se consideră arbitrare, iar matricea W a conexiunilor sinaptice constantă.

O BAM este bidirecţional stabilă dacă toate intrările (reprezentând condiţii iniţiale pentru reţea) generează traiectorii care converg spre echilibre. Stabilitatea bidirecţională este un echilibru dinamic: acelaşi semnal

14

informaţional va parcurge, înainte şi înapoi echilibrul bidirecţional. Modul în care informaţia parcurge reţeaua până la atingerea stării de echilibru poate fi sugerat de următoarea schemă:

x → W → y x′ ← WT ← y x′ → W → y′ x′′ ← WT ← y′

. . .

xj → W → yj

xj ← WT ← yj echilibru bidirecţional

. . .

Un punct de echilibru bidirecţional stabil se poate interpreta ca o stare rezonantă.

1.5. Reţele neuronale competitive

Modelul reţelelor neuronale competitive propus de matematicienii Cohen şi Grossberg [Coh83] are ca punct de inspiraţie sistemul biologic vizual. Din punct de vedere topologic, sistemul neuronal competitiv este o reţea autoasociativă bazată pe conexiuni laterale inhibitoare wij < 0, i ≠ j şi o singură conexiune excitatoare wii > 0. Dinamica competitivă a modelului Cohen–Grossberg este descrisă de ecuaţiile

nixxxxdcxbxax n

n

jjjijiiiii ,1,][,)()()( 1

1==

−−= ∑

=

L& (1.8)

Ecuaţiile (1.8) descriu un sistem autoasociativ cu dinamică de activare aditivă dacă funcţiile )( ii xa sunt constante, iar funcţiile )( ii xb sunt lineare.

Dacă în (1.8) funcţiile de amplificare )( ii xa sunt lineare şi funcţiile )( ii xb sunt nelineare dinamica de activare este de tip multiplicativ.

15

1.6. Reţele neuronale celulare

Reţelele neuronale celulare (RNC) a fost introduse de Chua şi colegii săi [Chu88, Chu93a, Chu93b]. În principiu, o RNC este o reţea analogică în care conexiunile unui neuron artificial sunt limitate doar la neuronii din vecinătatea imediată a acestuia, conexiunile fiind bidirecţionale. Celulele care nu sunt conectate direct se pot influenţa indirect datorită efectului de propagare a dinamicilor celulelor. O reţea neuronală celulară este o reţea de circuite identice (celule) distribuite regulat în câmpuri n-dimensionale. Topologia RNC este foarte variată. Celulele sunt sisteme dinamice cu mai multe intrări şi o ieşire. Interconectarea celulelor ţine cont de vecinătatea acestora definită de o metrică dată. Funcţia de activare implementată este aceeaşi pentru toate celulele – funcţia rampă bipolară definită cu relaţia (1.2) echivalentă cu expresia (1.9) întâlnită în lucrările lui Chua.

( )11)( 21 −−+= iii xxxf (1.9)

La nivelul unei celule intrările externe se presupun constante pe un interval de operare. Semnalul total de intrare pentru o celulă este rezultatul însumării intrărilor de control ur şi a semnalelor de reacţie yr, din vecinătatea Vr a celulei, ponderate cu valorile ar, respectiv br şi polarizarea constantă I (bias). Ecuaţia diferenţială care descrie dinamica unei celule C(i, j) este:

( )

)( ijij

rrrrrij

ij

xfy

Iubyaxdt

dx

=

+++−= ∑α (1.10)

Concluzia acestui prim capitol este că reţelele neuronale sunt formate

din mai multe elemente simple de calcul (neuroni artificiali) interconectate, această caracteristică permiţând procesarea în paralel şi codificarea distribuită a informaţiei. Datorită funcţiilor de activare prezente la nivelul fiecărui neuron artificial, reţelele neuronale artificiale analogice sunt sisteme neliniare. Existenţa mai multor caracteristici neliniare, datorate neuronilor artificiali individuali, conduce la apariţia mai multor echilibre.

16

Capitolul 2 - Elemente de teoria stabilităţii în sens Liapunov şi sisteme cu mai multe stări de echilibru

Reţelele neuronale sunt sisteme cu mai multe echilibre. În acest caz nu

mai interesează numai stabilitatea echilibrelor locale, ci şi comportamentul global al sistemului. Indiferent de aplicaţiile cărora le sunt destinate, comportamentul global la reţelelor neuronale artificiale, comportament care garantează rezolvarea optimă a problemelor pentru care acestea au fost proiectate (aceasta referindu-se la absenţa autooscilaţiilor sau a unui comportament haotic), poate fi studiat în cadrul mai larg al teoriei calitative a sistemelor cu mai multe stări de echilibru. Deoarece în cadrul acestei teorii instrumentul de bază în verificarea proprietăţilor globale ale sistemelor este funcţia Liapunov, capitolul 2 prezintă:

2.1. Stabilitatea în sens Liapunov pentru sisteme autonome

Stabilitatea în sens Liapunov [Li892] este o teorie a stabilităţii traiectoriilor sistemelor dinamice (în particular a punctelor de echilibru), având metode specifice de rezolvare. La modul general, teoria dezvoltată în jurul conceptului de stabilitate studiază influenţa factorilor perturbatori asupra mişcării sistemelor materiale, prin mişcare înţelegându-se orice evoluţie în timp a stării. Un alt concept care îi aparţine lui A.M. Liapunov este acela de mişcare (evoluţie) de bază, rezultând imediat şi definiţia mişcării perturbate ca raportare la mişcarea de bază.

2.2. Metoda funcţiei Liapunov

Metoda funcţiei Liapunov, cunoscută şi sub denumirea de „metoda a doua” sau „metoda directă” Liapunov, a fost şi este în continuare instrumentul cel mai general pentru studiul stabilităţii soluţiilor sistemelor neliniare. După cum se va vedea în acest capitol, există şi alte rezultate de comportament calitativ care se bazează pe proprietăţile funcţiilor Liapunov.

Se consideră sistemul autonom al mişcării perturbate

)(xfx =& , x∈ Rn, f(0) = 0 (2.1)

17

Teorema 2.1 (A. M. Liapunov) Fie sistemul (2.1) şi fie V o funcţie continuă, derivabilă şi pozitiv definită într-o vecinătate 0δ≤x a originii, cu

proprietatea că V*(t)=V(x(t)) este monoton descrescătoare pentru orice soluţie x(t) a lui (2.1) cu 0)0( δ<x . Atunci soluţia nulă a (2.1) este stabilă (în sens

Liapunov). Teorema 2.2 Fie sistemul (2.1). Presupunem că există o funcţie V: D→

R+, { }0δ≤= xxD de clasă C1, pozitiv definită, cu proprietatea că derivata

sa )()( xfxVxW

∂∂

= este negativ definită pe D. Atunci soluţia nulă a sistemului

(2.1) este asimptotic stabilă. Teorema 2.3 Fie sistemul (2.1) şi V: Rn→ R o funcţie de clasă C1, pozitiv

definită şi radial nemărginită cu derivata )()( xfxVxW

∂∂

= < 0 pentru toţi x.

Atunci soluţia nulă a sistemului este global asimptotic stabilă. Definiţia 2.10 Numim funcţie Liapunov pentru sistemul de ecuaţii diferenţiale (2.1), o funcţie V: D ⊂ Rn→ R care îndeplineşte următoarele condiţii: i) este de clasă C1,

ii) derivata sa )()( xfxVxW

∂∂

= este negativ semidefinită pentru orice

x∈D, iii) pentru orice Dx ∈ˆ există o vecinătate U şi un µ ∈ R astfel încât pentru

orice x ∈ U să avem V(x) ≥ µ.. Teorema 2.4 (Barbaşin-Krasovski-La Salle) Fie V: D ⊂ Rn→ R o funcţie Liapunov (în sensul Definiţiei 2.10) pentru sistemul (2.1) şi fie

{ }0)( == xWxG mulţimea de anulare a derivatei acesteia. Atunci orice

soluţie a (2.1), definită pe un interval (t′, t″), cu proprietatea că pentru t∈ [t0 , t″), x(t) ∈ D, va avea unul din următoarele comportamente asimptotice:

18

a) ∞=′′→

)(lim txtt

,

b) t″ = ∞ şi { }( ) 0),(lim =∞∪∞→

Mtxdt

, unde M este cea mai largă mulţime

invariantă (în raport cu soluţia x(⋅) a sistemului (2.1)) conţinută în G. Corolar 2.1 Dacă mulţimea D este mărginită, deschisă şi pozitiv invariantă şi dacă V este o funcţie Liapunov pentru (2.1) pe D şi dacă M ⊂ D, atunci M este un atractor şi D este conţinută în bazinul de atracţie al lui M. Corolar 2.2 Dacă { }xM ˆ= , ( ) 0ˆ =xV , ( ) 0>xV pentru x într-o vecinătate a

lui x̂ , atunci x̂ este asimptotic stabil. Dacă, în plus, V e radial nemărginită (adică, ( ) ( )xxV α≥ , cu α crescător, continuu, 0)0( =α şi ∞=

∞→)(lim r

rα ),

atunci x̂ este global asimptotic stabil.

2.3. Proprietăţile sistemelor cu mai multe echilibre

Fie sistemul de ecuaţii diferenţiale ordinare

),( txfx =& , dim x = dim f = n. (2.2)

unde f : R+ x Rn → Rn este continuă şi local lipschitzian continuă în t. Condiţiile asupra lui f garantează pe de o parte că, soluţiile sunt continue în raport cu condiţiile iniţiale şi, pe de altă parte, existenţa unei soluţii unice a (2.2) pentru fiecare condiţie iniţială în regiunea considerată.

Deoarece conceptul de stabilitate asimptotică globală nu este aplicabil pentru sisteme cu mai multe echilibre, pentru investigarea comportamentului global al (2.2) în raport cu întregul set de echilibre vom da următoarele definiţii [Leo92]: Definiţia 2.12 a) Orice soluţie constantă a sistemului (2.2) se numeşte vector staţionar (sau echilibru). Mulţimea E a tuturor vectorilor staţionari ai sistemului (2.2) se numeşte mulţime staţionară (de echilibre). b) O soluţie a (2.2) se numeşte convergentă dacă tinde asimptotic către un echilibru:

19

E∈=∞→

ctxt

)(lim

c) O soluţie se numeşte cvasi-convergentă dacă tinde asimptotic către mulţimea de echilibre:

0)),((lim =∞→

Etxdt

unde d(x, M) defineşte distanţa dintre punctul x ∈ Rn şi mulţimea M. Definiţia 2.13 Sistemul (2.2) se numeşte monostabil dacă orice soluţie mărginită este convergentă; sistemul este cvasi-monostabil dacă orice soluţie mărginită este cvasi-convergentă. Definiţia 2.14 Sistemul (2.2) se numeşte de tip gradient dacă orice soluţie este convergentă; el este de tip cvasi-gradient dacă orice soluţie este cvasi-convergentă. Penru mulţimea staţionară se definesc următoarele proprietăţi [Gel78]:

Definiţia 2.15 a) Mulţimea staţionară E este uniform stabilă dacă pentru orice ε > 0 există un δ(ε) astfel încât pentru orice t0, dacă d(x(t0), E ) < δ, atunci d(x(t), E ) < ε pentru orice t ≥ t0. b) Mulţimea staţionară E este uniform global stabilă dacă ea este uniform Liapunov stabilă şi sistemul este de tip cvasi-gradient (are asimptotici globale). c) Mulţimea staţionară E este punctual global stabilă dacă ea este uniform Liapunov stabilă şi sistemul este de tip gradient.

De menţionat că, pentru noţiunile prezentate anterior, în literatură mai există şi alţi termeni. Astfel, noţiunea de convergenţă defineşte o proprietate a soluţiei şi a fost introdusă de Hirsch [Hir88]. Noţiunea de monostabilitate a fost introdusă de Kalman în 1957, [Kal57] şi poate fi întâlnită uneori sub denumirea de mutabilitate strictă [Pop79], iar cvasi-monostabilitatea este denumită de acelaşi autor mutabilitate, iar de alţii dihotomie [Gel78].

Pentru sistemele monostabile (cvasi-monostabile) se poate evidenţia un fel de dihotomie, în sensul că soluţiile acestora sunt ori nemărginite, ori tind către un echilibru (sau către mulţimea de echilibru); în oricare caz sunt însă

20

excluse autooscilaţiile periodice sau aproape periodice. Comportamentul de tip cvasi-gradient se mai numeşte uneori asimptoticism global. Trebuie remarcat de asemenea că, spre deosebire de convergenţă şi cvasi-convergenţă - care sunt proprietăţi ale soluţiilor, monostabilitatea şi comportamentul de tip gradient sunt proprietăţi ale sistemului.

Proprietăţile definite anterior pot fi investigate cu ajutorul teoriei Liapunov. De aceea, continuăm cu prezentarea următoarelor rezultate de tip Liapunov [Gel78, Leo92] pentru sisteme autonome cu mai multe echilibre: Lema 2.1 Fie sistemul autonom

)(xfx =& , x ∈ Rn (2.3)

Presupunem că există o funcţie continuă V : D ⊂ Rn → R astfel încât: i) pentru orice soluţie x a (2.3) V(x(t)) este necrescătoare; ii) dacă x este o soluţie a (2.3), mărginită pe [0, +∞), de-a lungul căreia V(x(t)) =ct., atunci x este un echilibru (soluţie staţionară). În aceste ipoteze, sistemul (2.3) este cvasi-monostabil (dihotomic). Lema 2.2 Se presupune că există o funcţie Liapunov cu proprietăţile i) şi ii), definită global, şi că V(x) → ∞ când x→ ∞ (V este radial nemărginită). Atunci sistemul (2.3) este de tip cvasi-gradient. Lema 2.3 Presupunem ipotezele Lemei 2.2 verificate şi mulţimea de echilibru E discretă. Atunci sistemul (2.3) este de tip gradient. Lema 2.4 (Moser) Fie sistemul

∈−= xxfx ),(& Rn (2.4)

unde f(x) = grad G(x), cu G : Rn → R având următoarele proprietăţi: i) ∞=

∞→)(lim xG

x

ii) numărul punctelor critice este finit. Atunci soluţia ecuaţiei (2.4) tinde asimptotic către unul din punctele de echilibru.

21

Capitolul 3 - Funcţii Liapunov pentru reţele neuronale

3.1. Funcţia Hopfield

J. Hopfield [Hop82] a popularizat interpretarea conform căreia, în domeniul reţelelor neuronale, funcţia Liapunov poate fi o măsură a energiei sistemului fizic. El a arătat că funcţia E : Rn → R având expresia

AxxxE T

21)( −=

poate fi considerată o funcţie Liapunov utilă în studiul stabilităţii reţelelor neuronale; această funcţie are semnificaţia unei energii.

3.2. Metoda funcţiei Liapunov pentru reţele neuronale privite ca sisteme cu mai multe stări de echilibru

Dinamica în spaţiul stărilor a sistemelor fizice reprezentate de reţele neuronale artificiale este dominată de un număr mare, dar finit, de echilibre. Acestea reprezintă soluţii, dependente de condiţiile iniţiale, ale problemelor de rezolvat. În acest caz nu mai interesează numai stabilitatea echilibrelor locale, ci şi comportamentul global al sistemului, comportament care garantează rezolvarea optimă a problemelor pentru care acestea au fost proiectate (aceasta referindu-se la absenţa autooscilaţiilor sau a unui comportament haotic). De aceea, o direcţie importantă de cercetare este abordarea reţelelor neuronale artificiale în cadrul de lucru mai general al Teoriei calitative a sistemelor cu mai multe stări de echilibru.

În acest context, plecând de la noţiunile şi teoremele prezentate în Capitolul 2, se va folosi în continuare următoarea terminologie: - dihotomie: toate soluţiile mărginite tind către mulţimea de echilibru; - asimptoticism global: toate soluţiile tind către mulţimea de echilibru; - comportament de tip gradient: mulţimea punctelor de echilibru este stabilă în sens Liapunov şi fiecare soluţie tinde asimptotic către un punct de echilibru.

În această secţiune ne-am propus să determinăm condiţii suficiente pentru un comportament de tip gradient pentru reţele neuronale cu următorul model matematic [Nol94, Nol95]:

22

∑ −−=m

kkk hxcbAxx1

* )(ϕ&

(3.2.1)

unde funcţiile ϕk(σ) sunt diferenţiabile, mărginite şi de pantă restrictivă; în cazul reţelelor neuronale condiţia de mărginire este îndeplinită de funcţiile neliniare sigmoidale.

Instrumentul utilizat pentru studiul proprietăţilor calitative ale sistemelor cu mai multe echilibre este funcţia Liapunov. Coeficienţii funcţiei Liapunov au fost obţinuţi prin rezolvarea unor ecuaţii de tip Lurie. Existenţa soluţiilor pentru astfel de ecuaţii a fost asigurată de inegalitatea de tip Popov în domeniul frecvenţei, în care s-au utilizat multiplicatori PI de forma 1+β(iω)-1 în locul multiplicatorului uzual tip PD, cu expresia 1+β(iω).

( ) ( )[ ] ( ){ } 0)()(Re *111 ≥ΦΘ−++ΦΦ+Θ+ΦΘ −−− ωωωω iTiTiTQiI (3.2.2)

Introducerea multiplicatorului PI în cazul multivariabil (cu mai multe elemente neliniare) necesită unele restricţii de structură ale părţii liniare. În [Ha91] demonstrarea stabilităţii se baza pe ipoteza tehnică a decuplării statice:

01* =−jk bAc , ∀ k ≠ j. Această ipoteză nu poate fi impusă însă în cazul reţelelor

neuronale. Pe de altă parte, în analiza sistemelor cu mai multe echilibre nu mai este necesară pozitivitatea funcţiei Liapunov. În acest sens, lucrările [Nol94, Nol95] se bazează pe un rezultat al lui La Salle [LaS67, LaS68] - funcţia Liapunov generalizată (necrescătoare de-a lungul soluţiilor, dar nu neapărat de semn definit). Funcţia Liapunov astfel obţinută

∫ −−−−−= −−y

y

dvQyfvfyyBACQyyPzzyz *11**21* ))()(()()()(),(V

este diferită de cele utilizate în mod curent în literatură.

În acest cadru de lucru, dihotomia rezultă aproape imediat. Din mărginirea neliniarităţilor obţinem mărginirea tuturor soluţiilor sistemului şi aceasta ne permite să spunem că sistemul (3.2.1) are asimptotici globale. Dacă se va presupune că echilibrele sunt izolate, ceea ce este o ipoteză normală în descrierea reţelelor neuronale, atunci asimptoticismul global va implica comportamentul de tip gradient, deoarece o traiectorie oarecare nu poate tinde către mulţimea de staţionară altfel decât tinzând către un punct de echilibru.

S-au obţinut următoarele rezultate:

23

Teorema 3.2.1: Fie sistemul (3.2.1) în următoarele ipotezele: i) det A ≠ 0; ii) perechea (A,B) este controlabilă şi perechea (C*, A) este observabilă; iii) det C*A-1B = det T(0) ≠ 0, unde B - matrice cu coloanele bi, C - matrice cu coloanele ci.

Dacă există mulţimea de parametri ,0≥kθ mkqkkk,1,0,0, =≠>ϕϕ astfel

încât să se verifice condiţia Popov (3.2.2) şi matricea Q(C*A-1B)-1 să fie simetrică, atunci sistemul (3.2.1) este dihotomic pentru toate funcţiile neliniare

cu restricţie de pantă care verifică mkkkk,1, =<′< ϕϕϕ . Dacă în plus,

toate echilibrele sunt izolate, atunci fiecare soluţie mărginită tinde către un punct de echilibru. Teorema 3.2.2: Fie sistemul (3.2.1) în ipotezele Teoremei 3.2.1. Presupunem în plus că sistemul (3.2.1) este minimal stabil, că neliniarităţile verifică

( ) mmkkk ≤≤− σϕσϕ ~ cu ),(~iii ϕϕϕ ∈ , iar echilibrele sunt izolate. Atunci

fiecare soluţie a lui (3.2.1) tinde asimptotic către o stare de echilibru. Se arată în continuare că reţelele neuronale Hopfield (aici descrise prin ecuaţii diferenţiale cu coeficienţi - parametri fizici):

( ) niIRvv

Cv

CRdtdv n

iijijji

iii

i ,1,)(111

=

+−+−= ∑ ϕ

sunt în ipotezele Teoremei 3.2.2.:

- matricea n

i

n

ijii RRCdiagA

11

111

=

+−= ∑ este hurwitziană deoarece toţi

parametrii fizici sunt pozitivi;

- notând IC =* , ΓΛ−=B , ( )niiCdiag 11 ==Γ , ( )n

jiijR1,

1=

=Λ , matricea de

transfer devine

Λ

++−=−=

=

−

=

− ∑n

i

n

jijii RRCsdiagBAsICsT

1

1

1

1* )/1(/1)()(

24

- funcţiile neliniare uzuale în cazul reţelelor neuronale - funcţiile sigmoidale, îndeplinesc condiţiile cu +∞<<= kk

ϕϕ 0,0 ;

- alegând ∑=

+==n

jkjkkkk RRqC

1)/1(/1,θ inegalitatea în domeniul frecvenţei

se verifică dacă matricea conexiunilor sinaptice Λ este simetrică. În aceste condiţii reţelele neuronale Hopfield sunt sisteme de tip (3.2.1.) şi deci prezintă un comportament de tip gradient.

3.3. Funcţia Liapunov în studiul memoriilor asociative bidirecţionale

Analiza proprietăţilor de stabilitate pentru memoriile asociative bidirecţionale

niIyRwxp

ji

jkjij

ik ,1,)(

11 =+= ∑

=+

pjJxSwyn

ij

ikiij

jk ,1,)(1 =+= ∑+

(3.3.1)

cu funcţiile de activare - funcţii prag binare:

niUx

UxxS

iik

iiki

ki ,1,~,0

~,1)( =

<

>=

pjVy

VyyR

jj

k

jj

kjkj ,1,~,0

~,1)( =

<

>=

(3.3.2)

se bazează pe o nouă funcţie Liapunov, diferită de cele citate în literatură:

∑∑∑∑= =

−= =

− −−−=p

j

n

i

ik

ijk

jij

n

i

p

j

jk

jik

iijk xSyRwyRxSwE

1 11

1 11 )()()()(

( ) ( )∑∑ −− +−−+−−p

jk

jjk

jjj

nik

iik

iii yRyRVJxSxSUI

11

11 )()()~()()()~(

Această funcţie Liapunov de tip energie ţine cont de cazul cel mai

general, al actualizării general asincrone a stării neuronilor, chiar şi în ambele

25

câmpuri neuronale simultan. Rezultatul acestei secţiuni se bazează pe proprietăţile funcţiei Liapunov Ek exprimată de-a lungul soluţiilor sistemului: i) mărginită; ii) necrescătoare de-a lungul soluţiilor; iii) constantă în punctele de echilibru şi pe ciclurile de perioadă 2; iv) strict descrescătoare până la o valoare mărginită inferior în zero independentă de alegerea lui k şi de soluţie, mai puţin în cazul în care soluţia este un echilibru sau un ciclu de perioadă 2. Teorema 3.3.1: Fie o memorie asociativă bidirecţională (BAM) descrisă de (3.3.1) cu funcţiile de activare de tip prag descrise de (3.3.2). După un număr finit de paşi, orice soluţie a sistemului (3.3.1) ajunge într-un punct de echilibru sau pe un ciclu de perioadă 2.

De remarcat că această funcţie Liapunov poate prescrie cicluri limită discrete stabile care nu afectează funcţionalitatea reţelei.

Rezultatele obţinute au fost ilustrate printr-un exemplu numeric cu două discuţii de caz, exemplu în care au fost considerate toate tipurile de tranziţii pentru starea neuronilor: sincrone, simplu asincrone, asincrone într-un singur câmp neuronal, general asincrone în două câmpuri neuronale. În ambele cazuri a fost obţinută aceeaşi stare de echilibru bidirecţional stabil ca şi în cazul tranziţiilor sincrone. S-a observat că tranziţiile sincrone şi general asincrone în ambele câmpuri simultan grăbesc convergenţa sistemului, în comparaţie cu tranziţiile simplu asincrone sau general asincrone într-un câmp neuronal, care încetinesc convergenţa.

3.4. Funcţia Liapunov pentru reţele neuronale competitive Cohen - Grossberg

Modelul reţelelor neuronale competitive (3.4.1) a fost introdus de matematicienii M. Cohen şi S. Grossberg, [Coh83]. Pentru sistemul neuronal competitiv, în forma generală:

nixdcxbxaxn

jjjijiiiii ,1,)()()(

1=

−−= ∑

=

&

(3.4.1)

26

unde nnijc

×este o matrice simetrică, se prezintă în acest subcapitol rezultate

de comportament calitativ din literatura de specialitate: articolul cercetătorilor Cohen şi Grossberg de introducere al acestor reţele neuronale şi un studiu recent (2002) de stabilitate exponenţială.

Articolul [Coh83a], „Absolute Stability of Global Pattern Formation and Parallel Memory Storage by Competitive Neural Networks”, studiază modul în care formele de intrare sunt transformate şi memorate în reţelele neuronale competitive. Se determină condiţii de dinamică generală a acestor reţele pentru convergenţa traiectoriilor către punctele de echilibru, introducându-se un nou concept, acela de „creare globală a formei” (global pattern formation). Se analizează apoi pe modelul reţelelor neuronale competitive simetrice de tip multiplicativ stabilitatea absolută a fenomenului de creare globală a formei pentru cazurile funcţiilor de activare polinomiale şi al funcţiilor de activare sigmoidale.

În partea a doua se prezintă un rezultat de stabilitate exponenţială obţinut de cercetătorii L. Wang şi X. Zou în recenta lucrare [Wan02]. Condiţiile suficiente obţinute pentru stabilitatea exponenţială a soluţiei nu impun condiţia de simetrie a matricei conexiunilor, deci rezultatul obţinut este valabil şi pentru cazul reţelelor neuronale asimetrice cu dinamica descrisă de modelul competitiv.

3.5. Funcţia Liapunov pentru reţele neuronale celulare

Comportamentul calitativ al reţelelor neuronale celulare se poate studia apelând la rezultatele de stabilitate obţinute pentru sistemele interconectate. Ideea de bază [Wil72, Šil72, Mic74, Vid81] se rezumă la descompunerea sistemelor de ordin mare în subsisteme de ordin redus şi analiza acestora ca sisteme izolate, apoi determinarea unor condiţii care să conserve stabilitatea, condiţii impuse structurii de interconexiuni. Toate abordările acestei probleme se bazează pe proprietăţile funcţiei Liapunov.

Se consideră o reţea neuronală celulară cu conexiuni de reacţie şi cu modelul de control nul:

( )∑∈

++−=Nj

ijijiii Itxfwtxatx )()()(&

(3.5.1)

27

unde j reprezintă indexul celulelor dintr-o vecinătate N a celulei i, iar ai este un parametru pozitiv. Funcţia de activare neliniară, de tip rampă bipolară, are expresia (întâlnită în lucrările lui Chua)

( )11)( 21 −−+= iii xxxf (3.5.2)

fiind mărginită, cu domeniul de valori [-1, 1], monoton crescătoare şi global lipschitziană cu L = 1, adică satisface o condiţie de tipul,

Lff

≤−−

≤21

21 )()(0

σσσσ (3.5.3)

din care rezultă, deoarece f(0) = 0,

Lf≤≤

σσ )(0

(3.5.4)

Pentru sistemul scris în abateri ( )∑

∈

+−=Nj

jijiii tzgwtzatz )()()(&

(3.5.5)

se scriu ecuaţiile pentru o celulă izolată

( ) ( ) mittzptzgwtzatz i

not

iiiiii ,1,),()()()( ==+−=& (3.5.6)

şi pentru sistemul de interconexiuni

( ) ( ) ijmjitzgwttzq jij

not

jij ≠== ,,1,,)(),(

( ) ( ) ( ) mitzgwttzqttzqm

ijj

jij

m

ijj

jiji ,1,)(),(),(11

=== ∑∑≠=

≠=

(3.5.7)

Condiţiile suficiente pentru stabilitatea exponenţială în mare a echilibrului în origine au fost determinate din verificarea ipotezelor Teoremei lui Michel [Mic74, Teorema 3], pe baza unei funcţii Liapunov de forma

∑=

=n

iii zVzV

1),(),( ϕγϕ , 0>iγ , mi ,1= , unde Vi sunt funcţii Liapunov de tip

„formă pătratică plus integrala neliniarităţii” pentru subsistemele izolate. S-au obţinut:

- condiţia de amplificare mică i

iii L

aw < ;

- condiţia de pozitivitate a matricei ( )mmijsS

×= cu elementele:

28

( )( )

≠+−

=−=

jiwcwc

jiwacs

jijjijii

iiiii

ij44

4

21 γγ

γ

unde ( )iiii Lc βα +=4 , cu Li = 1 în cazul funcţiilor de activare uzuale pentru

reţelele neuronale celulare.

29

Capitolul 4 - Prezenţa întârzierii în reţele neuronale şi fenomene induse de aceasta

Necesitatea modelării fenomenului de propagare a semnalului la

nivelul sinapselor reţelelor neuronale biologice, pe de o parte şi viteza finită de comutare şi de transmitere a semnalelor în reţelele neuronale artificiale pe de altă parte, impun introducerea în modelele matematice ale RNA a parametrilor de întârziere. Marcus şi Westervelt [Mar89] au introdus pentru prima oară o singură întârziere în ecuaţiile diferenţiale ale modelului Hopfield şi au observat atât numeric cât şi experimental existenţa autooscilaţiilor chiar şi în cazul matricei de conexiuni simetrice. Rezultatele au stimulat studiul comportamentului dinamic al reţelelor neuronale artificiale în prezenţa întârzierilor, considerându-se diferite modele matematice de RNA şi variate tipuri de întârzieri.

4.1. Funcţii Liapunov şi metode intrare/ieşire (tip Popov) pentru reţele neuronale cu întârziere

4.1.1. Comportament „aproape liniar” pentru reţele neuronale de tip Hopfield afectate de întârzieri

Se consideră modelul reţelei Hopfield în prezenţa întârzierilor [Mar89, Gop94, Dri98], dar cu stimuli variabili în timp:

( ) mitctxfbtxadtdx m

iijjjijiii ,1,)()()(

1=+−−−= ∑ τ

(4.1.1.1)

Funcţiile neliniare fi, sunt funcţii sigmoidale (1.4), deci sunt mărginite - cu domeniul de valori [-1, +1], monoton crescătoare şi global lipschitziene, adică verifică inegalităţi de tipul (4.1.1.2).

Lff≤

−−

≤21

21 )()(0σσ

σσ

(4.1.1.2)

Comportamentul „aproape liniar” presupune existenţa unei soluţii unice de regim permanent de acelaşi tip cu stimulul şi stabilitatea exponenţială a acestei soluţii.

Studiul comportamentului RNA cu stimuli variabili în timp este

30

necesar şi justificat de realitatea mediului variabil pentru reţelele neuronale biologice modelate. Comportamentul „aproape liniar” al sistemului considerat a fost verificat pentru termeni forţatori periodici şi aproape periodici, de aceea demonstraţia s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulţimi invariante pentru curenţi în spaţiul Banach, în esenţă un caz special al teoremei mai generale a lui Kurzweil [Krz67] despre mulţimi invariante. S-a ales ca spaţiu al stărilor spaţiul Hilbert M2 = R2 x L2(-τ, 0; Rm), unde

ijjiττ

,max= . Norma acestui spaţiu este:

21

02)(

+= ∫

−τ

θθ dzyx

(4.1.1.3)

unde x = (y, z(⋅)) este un element al M2: y∈ Rm, z∈ L2 (-τ, 0; Rm).

Analiza a utilizat metoda frecvenţială Popov, proprietăţile de convergenţă cerute de lema Halanay rezultând pe baza unei inegalităţii în domeniul frecvenţei. S-a obţinut următorul rezultat:

Teorema 4.1.1: Considerăm sistemul (4.1.1.1) în următoarele ipoteze: i) ai > 0, i = 1, …, m; ii) Funcţiile neliniare fi(σ) sunt global lipschitziene, verificând

mifLffii

ii ,1,0)0(,)()(021

21 ==≤−−

≤σσ

σσ

(4.1.1.4)

iii) Există constantele θi ≥ 0, i = 1,…, m astfel încât să se îndeplinească următoarea condiţie frecvenţială:

[ ] 0,0)()( *211 >>++− ωωω ΘKΘKΘL ii (4.1.1.5)

(asteriscul defineşte transpusa conjugată a matricii).

iv) ∈=≤ tmiMtci ,,1,)( R.

Atunci există o soluţie mărginită pe întreaga axă, periodică, respectiv aproape periodică, dacă ci(t) este periodic, respectiv aproape periodic. Mai mult, această soluţie este exponenţial stabilă.

Condiţiile suficiente obţinute pentru un comportament „aproape liniar” al sistemului studiat sunt independente de întârzieri şi nu impun condiţia restrictivă de simetrie a matricei conexiunilor şi nici condiţia de amplificare

31

mică.

Pentru testarea rezultatelor obţinute s-a considerat o reţea neuronală tip Hopfield cu doi neuroni, verificând ipotezele teoremei

( ) ( )( ) ( ) )cos(2)(3)()(5)(

)sin()sin()(3)(2)(2)(

2222211122

1222111111

ttxftxftxtxtttxftxftxtx

+−−−−−=++−−−−−=

ττπττ

&

&(4.1.1.6)

cu stimuli periodici c2(t) şi aproape periodici c1(t) - Fig. 4.1.1, Fig. 4.1.2. Simularea a fost realizată pe două seturi de valori pentru întârzieri:

=

6,07,04,05,0

1T şi

=

2,14,18,01

2T , al doilea set cu valori duble faţă de

primele, conţinând şi valori supraunitare. Funcţiile de activare neliniare utilizate sunt funcţiile tangentă hiperbolică din biblioteca MATLAB -

Simulink, tt

tt

t eeee

ettf −

−

− +−

=−+

== 11

2)tanh()( 2 , cu domeniul de valori [-1, 1]

şi constantele Lipschitz Li = 1, i =1, 2.

Fig. 4.1.1 Semnalul exogen aproapeperiodic, c1(t)

Fig. 4.1.2 Semnalul exogen periodic, c2(t)

Fig. 4.1.3 x1 (t) în prezenţa stimulilor; T1

Fig. 4.1.4 x2 (t) în prezenţa stimulilor; T1

32

Fig. 4.1.5 x1 (t) în prezenţa stimulilor; T2

Fig. 4.1. 6 x2 (t) în prezenţa stimulilor; T2

Fig. 4.1.7 x1 (t), x2 (t) în condiţii iniţiale nenule; T1

Fig. 4.1.8 x1 (t), x2 (t) în condiţii iniţiale nenule; T2

Fig. 4.1.9 Planul fazelor, T1

Fig. 4.1.10 Planul fazelor, T2

33

Din Fig. 4.1.3 - Fig. 4.1.6 se observă că x1(t) şi x2(t) sunt aproape periodice (de acelaşi tip cu semnalele exogene) şi mărginite. Evoluţia în timp a sistemului neforţat pentru condiţii iniţiale nenule [x10 x20] = [3 5] este prezentată în Fig. 4.1.7 - Fig. 4.1.8; se observă convergenţa exponenţială a soluţiei către echilibrul în zero. În Fig. 4.1.9 şi Fig. 4.1.10 sunt prezentate evoluţiile în planul fazelor pentru sistemul autonom, în cele două cazuri privind întârzierile.

4.1.2. Criterii de stabilitate pentru reţele neuronale celulare cu întârzieri

Se consideră o reţea neuronală celulară cu întârzieri la nivelul conexiunilor de reacţie şi cu modelul de control nul:

( ) niItxfwtxaxNj

ijjijiii ,1,)()( =+−+−= ∑∈

τ&

(4.1.2.1)

unde j reprezintă indexul celulelor dintr-o vecinătate N a celulei i, iar ai este un parametru pozitiv. Fără a se pierde din generalitate comportamentul calitativ se va studia pe modelul matematic al sistemului în abareri

( ) nitzgwtzatzNj

jjijiii ,1,)()()( =−+−= ∑∈

τ&

(4.1.2.2)

Neliniaritatea sistemului în abateri, g(z), va verifica aceeaşi condiţie Lipschitz (3.5.3) cu aceeaşi constantă L.

Comportamentul calitativ al reţelei este studiat, ca şi în secţiunea 3.5., în cadrul teoriei calitative a sistemelor mari, prin descompunerea sistemului reprezentat de RNC în celule izolate şi studiul stabilităţii acestora, apoi considerarea interconexiunilor, care sunt neliniare, şi impunerea aşa-numitor „condiţii de interconectare pasivă” suficiente pentru conservarea stabilităţii exponenţiale.

Prima etapă, de studiu a unei celule izolate, a fost abordată prin prisma a două metode:

1. criteriul frecvenţial Popov, 2. metoda funcţiei Liapunov. Se consideră dinamica unui subsistem izolat cu întârziere pe calea de

reacţie

34

( )ii

iiiiiii

zytzgwtzaz

=−+−= )()( τ&

(4.1.2.3)

şi funcţia de transfer

ij

i

iii e

jawjH ωτ

ωω −

+=)(

(4.1.2.4)

1. Criteriul frecvenţial Popov Teorema 4.1.2.1: Fie sistemul (4.1.2.3) cu funcţia de transfer (4.1.2.4) în următoarele ipoteze:

a) 0>ia ;

b) funcţia neliniară g(σ) este global lipschitziană, verificând

0)0(,1)()(021

21 =≤−−

≤ gggσσ

σσ

(4.1.2.5)

Atunci condiţia frecvenţială Popov ( )[ ] 0)(1Re1 >++ ωωβ jHj i (4.1.2.6)

cu β > 0 este îndeplinită şi celula izolată are un punct de echilibru care este asimptotic stabil, dacă sistemul verifică una dintre condiţiile: i) wii ∈ (0, ai) şi β ∈ (0, 1/wii); ii) wii ∈ (-ai, 0) şi β ∈ (-1/wii, +∞). Rezultatul este independent de întârzieri şi impune restricţia de amplificare mică. 2. Metoda funcţiei Liapunov

Continuarea analizei proprietăţilor calitative ale reţelei neuronale celulare ca ansamblu de subsisteme interconectate necesită abordarea stabilităţii unei celule izolate cu metoda Liapunov directă.

Fie sistemul (4.1.2.3), se defineşte funcţionala Liapunov Vi pe spaţiul R x L2 (-τi, 0; R) astfel:

∫∫−

++=z

iii dgdzzVi 0

022

21 )()(),( σσθθϕβαϕ

τ (4.1.2.7)

unde αi > 0 şi βi > 0 sunt parametri care se vor alege corespunzător. Din

35

condiţia de negativitate a derivatei funcţionalei de-a lungul soluţiilor sistemului se obţine aceeaşi condiţie de amplificare mică iii aw < obţinută şi cu criteriul

frecvenţial Popov şi restricţia

( ) ( )

−++<<

−−+

22

11121111

21

i

iii

i

i

i

iii a

waa

w αβα

(4.1.2.8)

Pentru determinarea condiţiilor asupra sistemului de interconexiuni se consideră în continuare modelul matematic (scris în abateri) al întregii reţele neuronale (4.1.2.2), pentru care se defineşte funcţionala Liapunov

∑=

=>=n

iiii nizVzV

1,1,0,),(),( γϕγϕ

(4.1.2.9)

unde ),( ϕzVi are expresia (4.1.2.7). Se obţine următorul rezultat: Teorema 4.1.2.2 Fie sistemul (4.1.2.2) în următoarele ipoteze:

i) ai > 0; ii) funcţia neliniară g(σ) este global lipschitziană, verificând

0)0(,1)()(021

21 =≤−−

≤ gggσσ

σσ

iii) pentru fiecare subsistem izolat există o funcţională Liapunov Vi : R x L2

(-τi, 0; R) şi constantele αi > 0 şi βi > 0 astfel încât să fie îndeplinite condiţiile iii aw < şi (4.1.2.8);

iv) există constantele nii ,1,0 =>γ astfel încât matricea simetrică

( )nnijbB

×= cu elementele

∑= −+

+−=

n

j jjj

jjjiiiii a

wb1

22

)1()1(

41

βααγ

βγ

ji

n

j kkk

kkkjkiij b

awwb =

−++

−= ∑=1

2

)1()1(

41

βααγ

să fie pozitiv definită. Atunci originea este un echilibru exponenţial stabil în mare pentru sistemul (4.1.2.2) considerat.

36

4.1.3. Rezultate de stabilitate pentru reţele neuronale competitive cu întârzieri

Se prezintă rezultatele de stabilitate obţinute de L. Wang şi X. Zou [Wan02] pentru reţelele neuronale competitive afectate de întârzieri, fiind o extindere a rezultatelor paragrafului 3.4.2 la cazul sistemelor cu întârzieri.

Se consideră modelul reţelelor neuronale Cohen-Grossberg în prezenţa întârzierilor:

niJtxdcxbxatxn

jjijjjijiiiii ,1,))(()()()(

1=

+−−−= ∑

=

τ& (4.1.3.1)

având condiţiile iniţiale

[ ]( ) [ ] nisssx ii ,1,0,,,0,)()( =−∈−∈= ττφ RC (4.1.3.2)

unde { }njiij ≤≤= ,1,max ττ .

Pentru stabilirea cadrului de lucru se fac următoarele ipoteze:

(H1) Pentru fiecare ni ,1= , ai sunt mărginite, pozitive, local lipschitziene şi

iii ua αα ≤≤< )(0 .

(H2) Pentru fiecare ni ,1= , bi şi 1−ib sunt local Lipschitz continue.

Funcţiile de activare sunt sigmoidale, deci îndeplinesc condiţiile:

(S1) Pentru fiecare ni ,1= , di : R → R sunt Lipschitz continue cu constanta Li.

(S2) Pentru fiecare ni ,1= , R∈≤ xMxd ii ,)( pentru constantele Mi > 0.

Se obţine următorul rezultat de stabilitate: Teorema 4.1.3.3 Se presupun îndeplinite ipotezele (H1) – (H2), (S1) – (S2) şi

inegalitatea niuuuu ii ,1,,)( 2 =∈≥ Rγβ . Dacă

∑=

=>n

jjijiii niLc

1,1,αγα (4.1.3.14)

atunci ecuaţia (4.1.3.1) are un punct de echilibru unic x*, şi există o constantă σ5 > 0 astfel încât orice soluţie x(t) a ecuaţiei (4.1.3.1) cu condiţiile iniţiale (4.1.3.2) verifică

37

nixsextx iisni

tii ,1,)(supmax)( *

]0,[1

* 5 =−Φ≤−−∈≤≤

−

τ

σ (4.1.3.15)

4.2. Metode de comparaţie pentru studiul reţelelor neuronale cu întârzieri

O altă abordare în studiul stabilităţii reţelelor neuronale se bazează pe principiile de comparaţie care conduc la inegalităţi diferenţiale şi integrale. Următoarea secţiune abordează studiul comportamentului calitativ al reţelelor neuronale utilizând metodele de comparaţie.

4.2.1. Comportament de tip gradient pentru reţele neuronale tip Hopfield cu întârzieri

Pentru un sistem cu mai multe echilibre, comportamentul de tip gradient presupune convergenţa fiecărei soluţii către un echilibru, aceasta neexcluzând însă posibilitatea existenţei unor echilibre instabile. Pentru a rezolva tipul de problemă pentru care a fost proiectată, o reţea neuronală trebuie să conţină un număr mare, dar finit, de echilibre izolate, asimptotic stabile şi fiecare soluţie a dinamicii sistemului trebuie să conveargă către o stare de echilibru.

În capitolul 3.2 s-au obţinut condiţii suficiente pentru un comportament de tip gradient al reţelelor neuronale cu modelul matematic

∑ −−=m

iii hxcbAxx1

* )(ϕ& neafectate de întârzieri, apoi s-au analizat rezultatele

obţinute pentru cazul reţelelor neuronale tip Hopfield. Scopul acestei secţiuni este determinarea unei estimări a întârzierii

admise pentru conservarea comportamentului de tip gradient la reţelele neuronale tip Hopfield.

Fie ecuaţiile standard pentru reţele neuronale tip Hopfield

miIxfwxadtdx

i

m

jjijiii ,1,)(

1=+−−= ∑ . (4.2.1.1)

şi modelul [Gop94, Dri98] afectat de întârzieri la nivelul interconexiunilor:

38

( ) miItxfwtxadtdx

i

m

jjjijiii ,1,)()(

1=+−−−= ∑ τ (4.2.1.2)

Se consideră că sistemul descris de (4.2.1.1) şi fiecare echilibru asimptotic al său au un comportament de tip gradient, şi ne propunem să determinăm o estimare a întârzierii admise pentru conservarea acestei comportări. S-a obţinut următorul rezultat:

Teorema 4.2.1 Fie o reţea neuronală recurentă descrisă de (4.2.1.2) în următoarele ipoteze:

a) valorile ponderilor wij sunt astfel încât acestea să descrie o matrice dublu dominantă;

b) funcţiile neliniare jϕ sunt global lipschitziene cu constantele Lj;

c) întârzierile mii ,1, =τ verifică condiţia

( )

+

+

≤

∑ ∑∑∑m m

jkjjij

m

j

m

k

iii

waLwL

a

1 111max1

minmaxτ (4.2.1.3)

Atunci reţeaua neuronală (4.2.1.2) are un comportament de tip gradient, la fel ca reţeaua neuronală (4.2.1.1).

Metoda de analiză utilizată în acest caz a fost metoda bazată pe principii de comparaţie. Prima condiţie, de dublă dominanţă a matricei conexiunilor sinaptice, este rezultatul generalizării inegalităţii de rearanjare nr. 368 din lucrarea clasică a lui Hardy, Littlewood şi Polya [Har34]. A doua condiţie, impusă întârzierilor care trebuie să fie suficient de mici pentru a conserva stabilitatea asimptotică, este o consecinţă directă a lemei tehnice a lui Halanay [Ha63] utilă în demonstraţia rezultatului principal.

Rezultatul a fost testat pe două reţele neuronale Hopfield cu trei neuroni: prima având matricea conexiunilor W1 simetrică şi dublu dominantă, cea de-a doua prezentând o matrice W2 nesimetrică şi dublu dominantă, unde

−−=320241

012

1W ,

−−=

312241013

2W . Funcţiile de activare neliniare

39

utilizate sunt funcţiile tangentă hiperbolică din biblioteca MATLAB -

Simulink, cu expresia tt

tt

t eeee

ettf −

−

− +−

=−+

== 11

2)tanh()( 2 , având domeniul

de valori [-1, 1] şi constantele Lipschitz Li = 1, i = 1, 2, 3. Prezentăm rezultatele simulării pentru cel de-al doilea caz. Se consideră sistemul

( ) ( )( ) ( ) ( )

( ) ( ) ( ))(3)()(2)(9)(2)(4)()(5

)()(3)(6

33322211132

33322211122

22211111

ττττττ

ττ

−−−+−+−=−−−−−−−=

−−−−−=

txftxftxftxxtxftxftxftxx

txftxftxx

&

&

&

Întârzierea maxim admisă pentru conservarea stabilităţii asimptotice este 0038,0=τ sec. S-au ales 003,01 =τ sec., 001,02 =τ sec., 002,03 =τ sec.

Starea iniţială aleasă este [ ]3610 =x .

Fig. 4.2.1. Componentele stării pentru sistemul fără întârzieri

Fig. 4.2.2. Componentele stării pentru comportament de tip gradient

în prezenţa întârzierii admise τ1 = 0,003 sec., τ2 = 0,001 sec., τ3 = 0,002 sec.

40

Fig. 4.2.3 Componentele stării pentru întârzieri τ1 = 0,03 sec, τ2 = 0,01 sec, τ3 = 0,02 sec.

Fig. 4.2.4.Componentele stării pentru întârzieri τ1 = 0,3 sec., τ2 = 0,1 sec., τ3 = 0,2 sec.

Fig. 4.2.5. Componentele stării pentru întârzieri τ1 = 3 sec., τ2 = 1 sec., τ3 = 2 sec.

41

Se observă că evoluţia în timp a stării sistemului prezentând întârzieri admise pentru conservarea comportamentului de tip gradient (Fig. 4.2.2) este identică cu cea a sistemului fără întârzieri (Fig. 4.2.1). Figurile 4.2.2, 4.2.3, 4.2.4 şi 4.2.5 prezintă evoluţia stării în prezenţa unor întârzieri din ce în ce mai mari. Se remarcă din rezultatele simulării că proprietatea de dublu dominanţă a matricei conexiunilor permite convergenţa componentelor stării chiar şi pentru întârzieri de 1000 de ori mai mari decât cele care îndeplinesc condiţia (4.2.1.3). Subliniem că rezultatele bune de convergenţă obţinute nu se bazează pe simetria matricei conexiunilor.

42

Capitolul 5 – Concluzii generale În teza de doctorat, cu titlul „PROBLEME CALITATIVE ÎN

DINAMICA REŢELELOR NEURONALE”, s-a efectuat un studiu teoretic, validat prin exemple şi simulări numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Nota de originalitate a prezentei lucrări este dată de studiul reţelelor neuronale cu conceptele şi instrumentele teoriei calitative a sistemelor cu mai multe echilibre şi ale teoriei calitative a sistemelor interconectate şi de rezultatele obţinute pentru reţele neuronale afectate de întârzieri.

Contribuţii originale

Paragraful 3.2 - Metoda funcţiei Liapunov pentru reţele neuronale privite ca sisteme cu mai multe stări de echilibru

− studiul comportamentului calitativ al reţelelor neuronale în cadrul de lucru al teoriei calitative a sistemelor cu mai multe stări de echilibru a condus la obţinerea unui comportament calitativ nou, dezirabil pentru reţelele neuronale: comportamentul de tip gradient;

− determinarea funcţiei Liapunov s-a bazat pe rezolvarea unor ecuaţii de tip Lurie, existenţa soluţiilor acestor ecuaţii fiind asigurată de inegalitatea Popov în domeniul frecvenţei; inegalitatea în domeniul frecvenţei utilizată conţine multiplicatori de tip PI cu forma 1+β(iω)-1 în locul multiplicatorului uzual tip PD, cu expresia 1+β(iω);

− restricţiile obţinute au condus la impunerea unei condiţii de simetrie a

matricei Q(C*A-1B)-1, diferită de ipoteza decuplării statice 01* =−jk bAc ,

∀ k ≠ j utilizată în [Ha91]; − funcţia Lipunov astfel determinată este complet diferită de uzuala funcţie

energie a reţelelor neuronale; − relaxarea restricţiilor impuse sistemului, posibilă prin alegerea

corespunzătoare a informaţiei privind neliniarităţile (la noi monotone şi de pantă restrictivă), a permis stabilirea unui comportament calitativ nou al reţelelor neuronale analogice studiate (s-au formulat condiţii suficiente atât pentru un comportament dihotomic, cât şi pentru un

43

comportament de tip gradient); − rezultatele s-au particularizat pentru cazul funcţiilor de activare cu

neliniarităţi mărginite şi pentru cazul reţelelor neuronale tip Hopfield cu modelul matematic în forma adecvată implementării hardware.

Paragraful 3.3 - Funcţia Liapunov în studiul stabilităţii memoriilor

asociative bidirecţionale − abordează stabilitatea memoriilor asociative bidirecţionale în cazul cel

mai general, în care actualizarea stării neuronilor poate apare în orice submulţime de neuroni şi eventual, simultan în ambele câmpuri neuronale;

− funcţia Liapunov utilizată, diferită de cele existente în literatură pentru studiul BAM, este de tip energia semnalului şi este aleasă astfel încât rezultatele de stabilitate să includă cazul asincron general al modificărilor stărilor neuronilor în reţea;

− rezultatul principal se bazează pe proprietăţile modelului şi particularităţile funcţiei de activare care permit determinarea unor valori de prag ale funcţiei de activare (de tip prag binar) care să nu poată fi niciodată atinse; aceasta permite mai departe o caracterizare mai nuanţată a proprietăţilor funcţiei Liapunov şi a rezultatelor de stabilitate a reţelei care derivă de aici;

− alegându-se acelaşi exemplu numeric ca în [Kos92, pg. 65] (matricea conexiunilor W, vectorul care codifică forma de intrare şi starea iniţială a neuronilor), dar pentru funcţii de activare a căror valoare de prag nu poate fi atinsă, se identifică două situaţii distincte în funcţie de momentul apariţiei tranziţiei în starea neuronului şi se discută fiecare caz în parte; astfel s-a obţinut că pentru condiţiile date, indiferent de modul în care neuronii aleg să-şi actualizaze starea la un moment dat, reţeaua converge către acelaşi echilibru;

− în alegerea politicii de actualizare a stărilor neuronale din exemplele numerice prezentate ne-am ghidat după următoarea idee plauzibilă fizic: neuronii a căror valoare de actualizare este doar cu o cantitate mică superioară valorii pragului (ex. ii Vy =>= 5,01 ) vor decide mai greu

modificarea stării lor din pasiv în activ (în sensul că orice sistem tinde

44

către o stare de repaus); valorile suficient de depărtate de valoarea de prag, indiferent de semnul lor, vor conduce la actualizări imediate; s-a ţinut cont de întârzierile de transmitere ale semnalului între cele două câmpuri de neuroni.

Paragraful 3.5 - Funcţia Liapunov în stabilitatea reţelelor celulare − abordează studiul stabilităţii unei reţele neuronale celulare în cadrul de

lucru al teoriei calitative a sistemelor interconectate [Wil72, Šil72, Mic74, Vid81].

− rezultatul obţinut este o consecinţă a Teoremei 3 din [Mic74] adaptată particularităţilor sistemului studiat;

− s-au obţinut condiţii suficiente pentru stabilitatea exponenţială a soluţiei

sistemului studiat: condiţia de amplificare mică i

iii L

aw < , şi condiţia de

pozitivitate impusă matricei S. Paragraful 4.1.1 - Comportament „aproape liniar” pentru reţele

neuronale de tip Hopfield afectate de întârzieri − studiază reţelele neuronale tip Hopfield cu stimuli variabili, de tip

periodic şi/sau aproape periodic, în prezenţa întârzierilor; − s-au obţinut condiţii suficiente pentru un comportament „aproape liniar”

al sistemului studiat, în sensul existenţei unei soluţii unice de regim permanent de acelaşi tip cu stimulul şi stabilitatea exponenţială a acestei soluţii;

− analiza s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulţimi invariante pentru curenţi în spaţiul Banach, un caz special al teoremei mai generale a lui Kurzweil [Krz67] despre mulţimi invariante;

− proprietăţile de convergenţă cerute de Lema Halanay au fost obţinute pe baza unei inegalităţii tip Popov în domeniul frecvenţei;

− rezultatele sunt independente de întârzieri şi au fost testate pe o reţea neuronală tip Hopfield cu doi neuroni.

45

Paragraful 4.1.2 - Criterii de stabilitate pentru reţele neuronale celulare cu întârzieri

− extinde rezultatele paragrafului 3.5 pentru cazul reţelelor neuronale celulare cu întârzieri;

− înscriindu-se în cadrul de lucru al teoriei calitative a sistemelor interconectate, studiul cuprinde două etape: 1) determinarea unor condiţii suficiente de stabilitate pentru o celulă izolată; s-au utilizat două abordări: criteriul Popov în domeniul frecvenţei şi metoda Liapunov directă, determinându-se o funcţională Liapunov (diferită de formele clasice găsite în literatură) ataşată modelului celulei izolate; ambele metode au condus la aceleaşi restricţii, independente de întârzieri, asupra parametrilor celulei; 2) determinarea unor restricţii asupra sistemului de interconexiuni care să conserve stabilitatea celulelor izolate obţinută în prima etapă; utilizându-se o funcţională Liapunov derivată din cea determinată pentru celula izolată s-au determinat condiţii suficiente de stabilitate exponenţială în mare pentru reţele celulare afectate de întârzieri.

Paragraful 4.2.1 - Comportament de tip gradient pentru reţele neuronale tip Hopfield cu întârzieri

− continuă studiul început în paragraful 3.2. - unde s-au determinat condiţii suficiente pentru un comportament de tip gradient al reţelelor neuronale, cu particularizare pentru cazul neliniarităţilor mărginite şi cazul reţelelor neuronale tip Hopfield;

− scopul analizei este de a se determina o estimare a întârzierii admise pentru conservarea comportamentului de tip gradient obţinut pentru reţelele neuronale tip Hopfield în absenţa întârzierilor;

− se utilizează o nouă abordare: metoda bazată pe principii de comparaţie, restricţiile vizând atât parametrii reţelei, cât şi întârzierile;

− prima condiţie, de dublă dominanţă a matricei conexiunilor sinaptice, este rezultatul adaptării şi generalizării inegalităţii de rearanjare No. 368 din lucrarea clasică a lui Hardy, Littlewood şi Polya [Har34];

− a doua condiţie, impusă întârzierilor care trebuie să fie suficient de mici pentru a conserva stabilitatea asimptotică, este o consecinţă directă a

46

lemei tehnice a lui Halanay [Ha63] utilă în demonstraţia rezultatului principal;

− metoda de comparaţie în forma adecvată o găsim aplicată într-o lucrare a lui V.M. Popov, însă pentru un model fără întârzieri, de formă asemănătoare cu cel discutat în paragraful 4.2.1; diferenţa între acesta şi cel studiat de noi este că ultimul este un sistem cu convoluţie care include cazul întârzierilor - în aceste circumstanţe condiţia de întârzieri mici poate fi eliminată.

Autoarea doreşte să-şi exprime recunoştinţa faţă de conducătorul ştiinţific – Prof. dr. ing. Vladimir Răsvan, pentru atenta îndrumare în perioada de elaborare a tezei de doctorat. Cercetările şi rezultatele prezentate în această teză au fost posibile şi datorită competenţei şi atmosferei de lucru pe care domnia sa a imprimat-o colectivului pe care-l conduce. Mulţumesc tuturor colegilor din cadrul Departamentului de Automatică şi Mecatronică şi din cadrul Facultăţii de Automatică, Electronică şi Calculatoare din Craiova pentru sugestiile şi sprijinul moral acordat pe parcursul elaborării tezei.

47

Bibliografie (extras)

[Bél93] – Bélair, J. – “Stability in a model of delayed neural network”, Journal of Dynamics and Differential Equations, vol. 5, pp. 607-623, 1993.

[Cao96] – Cao, Y.J., Q.H. Wu – “A note on stability of analog neural networks with time delays”, IEEE Transactions on Neural Networks, vol. 7, pp. 1533-1535, 1996.

[Chu88] – Chua, L., L. Yang – “Cellular neural networks: theory and applications”, IEEE Trans. Circuits and Systems, vol. CAS-35, pp. 1257-1290, 1988.

[Chu93a] – Chua, L., T. Roska –“ The CNN paradigm”, IEEE Trans. Circuits and Systems I – Fundamental Theory and Applications, vol. 40, pp. 147-156, 1993.

[Chu93b] – Chua, L., T. Roska, P. Venetianer –“The CNN is universal as the Turing machine”, IEEE Trans. Circuits and Systems I – Fundamental Theory and Applications, vol. 40, pp. 289-291, 1993.

[Coh83a] – Cohen, M. A., S. Grossberg – “Absolute stability of pattern formation and parallel storage by competitive neural networks”, IEEE Trans. Systems, Man, Cybernet., vol. SMC-13, pp. 815-825.

[Coh83b] – Cohen, M. A., S. Grossberg – “Some global properties of binocular resonances: Disparity metching, filling-in, and figure ground systhesis”, în Figural Synthesis, Ed. T. Caelli and P. Dodwell, Hillsdale, NJ: Erlbaum Press, 1983.

[Dah95] – Dahanayake, B.W., A.R.M. Upton – “Learning with easy: Smart neural nets”, Proc. of Internat. Conf. on Neural Networks ICNN’95, Australia, 1995.

[Dan98] – Danciu, D. – “Stability of a Bidirectional Associative Memory System”, International Symposium on System Theory, Robotics, Computers & Process Informatics SINTES 9, pp. 54-59, Craiova, 1998.

[Dan00] – Danciu, D., Vl. Rasvan – “On Popov-type stability criteria for

48

neural networks”, Electronic Journal on Qualitative Theory of Differential Equations EJQTDE, Proc. 6th Coll. QTDE 2000, No. 23.

[Dan01a] – Danciu, D., Vl. Rasvan – “Steady State “Almost Linear” Behavior of Delayed Hopfield Type Neural Networks”, 13th International Conference on Control Systems and Computer Science CSCS13, pp. 210-213, Bucureşti, 2001.

[Dan01b] – Danciu, D., Vl. Rasvan – “Stability Criteria for Cellular Neural Networks”, The 11th International Symposium on Modeling, Simulation and System’s Identification SIMSIS 11, pp. 211-213, Galati, 2001.

[Dan01c] – Danciu, D., Vl. Rasvan – “Gradient-Like Behaviour for Hopfield-Type Neural Networks with Delay”, The Thrid International Workshop on Intelligent Control Systems ICS’2001, Bucureşti, 2001.

[Dan02a] – Danciu, D., – “Time Delays and Oscillations in Neural Networks”, Buletinul Ştiinţific al Universităţii „Politehnica” din Timişoara, Seria Automatică şi Calculatoare, vol. 47 (61), pp. 131-134, Timişoara, 2002.

[Dan02b] – Danciu, D., – “Qualitative Behaviour of the Time-Delay Hopfield-type Neural Network with Periodically Varying Stimuli”, Analele Universităţii din Craiova, nr.26, 2002 (sub tipar).

[DeW95] – DeWilde, Ph. – “Neural Network Models”, Lecture Notes in Control and Information Sciences, no. 210, Springer-Verlag, 1995.

[Dri98] - Driessche van den, P., X. Zou – “Global attractivity in delayed Hopfield neural network models”, SIAM Journal Appl. Math., vol. 58, pp. 1878-1890, 1998.

[Gel68] – Gelig, A. Kh. – “Stability of controlled systems with bounded nonlinearities”, Autom. Remote Control, pp. 1724-1731, 1968.

[Gel78] – Gelig, A. Kh., G.A. Leonov, V.A. Yakubovich – Stability of nonlinear systems with non-unique equilibrium state, [în rusă]. Nauka Publ. House, Moscova, 1978.

[Gop94] – Gopalsamy, K., X.Z. He – “Stability in asymmetric Hopfield nets

49

with transmission delays”, Physica D., vol. 76, 344-358, 1994.

[Ha63] – Halanay, A. - Ecuaţii diferenţiale. Stabilitate. Oscilaţii. Întârzieri., Editura Academiei, Bucharest, 1963.

[Ha67] – Halanay, A. – “Invariant manifolds for systems with time lag” – Differential and dynamical systems, (Hale & La Salle Eds.), Acad. Press, New York, pp. 199-213, 1967.

[Ha91] – Halanay, A., Vl. Rasvan – “Absolute stability of feedback systems with several differentiable non-linearities” – Int. Journ. Systems Sci., vol. 22, no. 10, pp. 1991-1927, 1991.

[Ha93] – Halanay, A., Vl. Rasvan - Applications of Liapunov Methods to Stability, Kluwer Academic, 1993.

[Ha00] – Halanay, A., Vl. Rasvan – “Oscilations in Systems with Periodic Coefficients and Sector-restricted Nonlinearities. Operator Theory. Advances and Applications.”, vol. 117, Birkhauser Verlag, Basel, pp. 141-154, 2000.

[Hal69] – Hale, J.K. - Ordinary Differential Equation, New York: Wiley-Interscience, 1969.

[Hal77] – Hale, J.K. - Functional Differential Equations, Springer Verlag, 1977.

[Har34] – Hardy G.H., J.E. Littlewood, G. Polya - Inequalities, Cambridge Univ. Press, 1934.

[Hay94] – Haykin, S. – Neural Networks, a Comprehensive Foundation, Macmillan, N.Y., 1994.

[Hir88] – Hirsch, M.W. – “Stability and convergence in strongly monotone dynamical systems”, J. reine angew. Math., 383, pp. 1-53, 1988.

[Hop82] – Hopfield J. J. – “Neural networks and physical systems with emergent collective computational abilities”, Proc. Nat. Acad. Sci. U.S.A., vol. 79, pp. 2554-2558, 1982.

[Kal57] – Kalman, R.E. – “Physical and mathematical mechanisms of instability in nonlinear automatic control systems”, Trans. Amer. Soc.

50

Mech. Eng., 79(3), 1957.

[Kos88] – Kosko, B. – “Bidirectional associative memories”, IEEE Trans. Systems, Man, Cybernet., vol. SMC-18, pp.42-60, 1988.

[Kos92] – Kosko, B. – Neural Networks and Fuzzy Systems, Prentice-Hall International, (UK) Limited, London, 1992.

[Krz67] – Kurzweil, J. – “Invariant manifolds for flows”, Differential and dynamical systems, [Hale & La Salle Eds.], Acad. Press, New York, pp. 431-468, 1967.

[Li892] – Liapunov, A.M. – Problema generală a stabilităţii mişcării, Harkov, 1892.

[LaS67] – LaSalle, J.P. – “An invariance principle in the theory of stability” in Differential Equations and Dynamical Systems, pp. 277-286. Ed. J.K. Hale si J.P. LaSalle, Academic Press, New York, 1967.

[LaS68] - LaSalle, J.P. – “Stability Theory for Ordinary Differential Equations”, Journal of Differ. Equations, vol. 4, no. 1, pp. 57-65, 1968.

[Leo92] – Leonov, G.A., V. Reitmann, V.B. Smirnova – Non-local methods for pendulum-like feedback systems, Teubner Verlag, Leipzig, 1992.

[Mar89] – Marcus, C.M., R.M. Westervelt – “Stability of analog neural networks with delay”, Phys. Rev. A., vol. 39, pp. 347-359, 1989.

[McC43] – McCulloch, W. S., W. Pitts – “A Logical Calculus of the Ideas Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, vol. 5, pp. 115-133, 1943.

[Mic74] – Michel A. – “Stability analysis of interconnected systems”, SIAM J. Control, vol. 12, no. 3, pp. 554-579, 1974.

[Mos67] – Moser, J. – “On nonoscillating networks”, Quart. Appl. Math. vol. 25, pp. 1-9, 1967.

[Nol94] – Noldus, E., R.,Vingerhoeds, M. Loccufier – “Stability of analogue neural classification networks”, Int. Journ. Systems Sci., vol. 25, no. 1, pp. 19-31, 1994.

51

[Nol95] – Noldus, E., M. Loccufier – “An application of Liapunov’s method for the analysis of neural networks”, Journ. of Comp. and Appl. Math., vol. 50, pp. 425-432, 1995.

[Pop79] – Popov, V.M. – “Monotonicity and Mutability”, Journal of Differential Equations, vol. 31, no. 3, pp. 337-358, 1979.

[Pop81] - Popov, V.M. – “Monotone-Gradient Systems”, Journ. of Differ. Equations, vol. 41, no. 2, pp. 245-261, 1981.

[Răs75] – Răsvan, Vl. – Stabilitatea absoluta a sistemelor automate cu întârziere, Ed. Academiei, Bucuresti, 1975.

[Răs87] – Răsvan, Vl. – Teoria stabilităţii, Ed. Ştiinţifică şi Enciclopedică, Bucureşti, 1987.

[Răs98] – Răsvan, Vl. – “Dynamical Systems with Several Equilibria and Natural Liapunov Functions”, Archivum mathematicum, tomus 34, no. 1 [Equadiff 9], pp. 207-215, 1998.

[Răs02] – Răsvan, Vl. – “Popov Theories and Qualitative Behaviour of Dynamic and Control Systems”, European Journ. on Control, vol.8, nr.3, pp. 190-199, 2002.

[Šil72] – Šiljak, D.D. – “Stability of large-scale systems”, Proc. Fifth World Congres of IFAC (Session 9, Nonlinear Systems), Paris, 1972.

[Tso94] – Tsoi, A.C., Back A.D. – “Locally Recurrent Globally Feedforward Networks: A Critical Review of Architectures”, IEEE Trans. on Neural Networks, vol. 5, no. 2, pp. 229-239, 1994.

[Vid81] – Vidyasagar, M. – “Input-Output analyssis of Large Scale Interconnected Systems”, LNCIS, vol. 29, Springer Verlag, 1981.

[Wan02] – Wang, L., X. Zou – “Exponential stability of Cohen-Grossberg neural networks”, Neural Networks, vol. 15, pp. 415-422, 2002.

[Wil72] – Willems, J.C. – “Dissipative dynamical systems I, II”, Arch.Rat. Mech. Anal. vol. 45, pp. 321-393, 1972.