Curs Modelare in Biologie Radu Dogaru, 2004
1
Versiunea 17-01-2005
Curs Modelare in Biologie Radu Dogaru, 2004
2
Modelarea sistemelor biologice prin functii neliniare:
automatelor celulare
Curs Modelare in Biologie Radu Dogaru, 2004
3
xx
Timpul lipseste din ecuatia modeluluiw
y x,w
antrenare (invatare) supervizatay d cu invatare nesupervizata
inhibitie lateralax
clasificare
x prelucrare (ne)liniara a semnalelor
vizualizare 2D compresie
Curs Modelare in Biologie Radu Dogaru, 2004
4
sisteme dinamice neliniare interconectarea recurenta
timpul joaca un rol important
modelarii in timp continuu timp discret
Exemple
Curs Modelare in Biologie Radu Dogaru, 2004
5
Modele Neuronale Statice
Curs Modelare in Biologie Radu Dogaru, 2004
6
Model simplificat al neuronului, cu aplicatii in categoria 2)(prelucarea datelor, inclusiv biomedicale)
Functie de combinatie
Functie deactivare
Neuron biologic
Neuron artificial
n
iii xwfy
11x
ix
4x
)sgn(xxf
Curs Modelare in Biologie Radu Dogaru, 2004
7
Liniare pe portiuni
Diferite variante de functii de activare, desi unele sunt relevante d.p.v. biologic (functia cu prag, sigmoida) altele pot duce la o mai mare eficienta in implementarea software sau hardware
Liniar cu prag Sigmoidala
Se pune problema completarii acestor modele cu legi de antrenare, care sa ajusteze ponderile sinaptice astfel incat modelul sa raspunda corect la stimuli, cu alte cuvinte sa minimizeze o functie de cost definita ca eroarea medie masurata la iesire.
1x
ix
4x
y d
Curs Modelare in Biologie Radu Dogaru, 2004
8
Structuri mai eficiente functional se pot construi, la fel ca in sistemele vii, prin interconectarea unui numar optim de neuroni fundamentali. Un principiu fundamental, care se intalneste si in lumea vie este acela enuntat de Occam (Occam s razor) cu 500 de ani in urma: entitatile nu trebuiesc multiplicate mai mult decat este necesar , in cazul nostru este vorba de neuronii care constituie o arhitectura maicomplexa.
Pentru ca un astfel de sistem sa poata fi invatat (adica sa mimeze functonalitatea retelelor de neuroni biologici) este necesar sa pregatim doua seturi de esantioane TR (de antrenament) si TS (de test). Acestea au o structura similara dar sunt formate din esantioane de diferite.
TR={ ...(xp,dp) ..}p=1..,tr
TS={ ...(xp,dp) ..}p=1..,ts
Curs Modelare in Biologie Radu Dogaru, 2004
9
Diverse Arhitecturi Neuronale Artificiale
Perceptron, 1959 Perceptron Multistrat, 1980s
Retea cu Functii Baza Radiale (RBF), 1990s Adaptive Resonance Theory (ART), 1990s
Curs Modelare in Biologie Radu Dogaru, 2004
10
Este importanta evaluarea performantei pe setul TS, aceasta se face de regula cu ajutorul functiei cost JTS Setul TR se foloseste pentru ajustarea ponderilor.
ts
p
ppTSJ
1
ydtr
p
ppTRJ
1
yd ),( wxy pp RN
Stimul Ponderi sinaptice IesireIesire dorita
wyd ,1
TRJJ TR
tr
p
ppTR
ww ,, * TRJTRJ TRTR
iiii
TRi www
w
TRJw ;
,w
Rata de antrenare w
Curs Modelare in Biologie Radu Dogaru, 2004
11
Functie de combinatie
Functie deactivare
Neuron artificial
n
iii xwwfy
10
1x
ix
4x
xxf
iiiii wwwd-yxw
linear separabile
d
n
iii xwwy
10
0 iwAlgoritmul de antrenare LMS
Curs Modelare in Biologie Radu Dogaru, 2004
12
0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000
0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091
-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000
-0.5000 0.5000 0.5000 -0.5000
Baza de date de antrenament obtinuta de la un numar de pacienti (de ex. 100) pentru care s-au masurat 35 parametri biologici (vectorii de intrare sau stimul) si pentru care se cunoaste daca au avut (d>0) sau nu (d<0) un atac de cord
Curs Modelare in Biologie Radu Dogaru, 2004
13
0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000
0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091
-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000
-0.5000 0.5000 0.5000 -0.5000
Baza de date de test obtinuta tot de la un numar de pacienti (de ex. 100) pentru care s-au masurat 35 parametri biologici (vectorii de intrare sau stimul) si pentru care se cunoaste daca au avut (d>0) sau nu (d<0) un atac de cordSe determina performanta sub forma unui procentaj
de clasificari incorecte (PCIC). O clasificare incorecta presupune ca y si d au semne diferite !
PCIC=12%
Curs Modelare in Biologie Radu Dogaru, 2004
14
Curs Modelare in Biologie Radu Dogaru, 2004
15
0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000
0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091
-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000
-0.5000 0.5000 0.5000 -0.5000
Se aplica seturi de stimuli complet noi (proveniti de la pacienti noi) si se examineaza iesirea. Daca y>0 se decide ca exista sansa pentru acel pacient sa dezvolte un atac de cord; daca y<0, nu.
Performanta deteriminata anterior da o masura asupra gradului de incredere a deciziei (PCIC->0 incredere maxima; PCIC->0.5 incredere nula)
Curs Modelare in Biologie Radu Dogaru, 2004
16
Linear separabilitate si complexitatea problemelor
esantioane reprezentative ale relatiei intrare-iesire care trebuie modelata
Problema simpla, se poate modela cu Adaline
Problema complexa, modelul Adaline se va completa cu un expandor neliniar
001
wxwn
iii
001
wwm
jjj x
Curs Modelare in Biologie Radu Dogaru, 2004
17
AdalinePreprocesor neliniar
xz
teoremei lui Coverx
z
x z
xxx mj ,...,,...1
retele neurale cu functii nucleu
Curs Modelare in Biologie Radu Dogaru, 2004
18
jj xxn
iijij xw
1
tanhx
R
ddRBF
ddRBF jj
exp)( :exemplu de
; ),( wxx
Principalele Modele Statice de Retele Neurale
)1(1 jxtrix iijji x
altfel ,0
; daca ,1 xx
xtrinq
1cuante
nr.nq
12,..1 nqj
Curs Modelare in Biologie Radu Dogaru, 2004
19
tr
pppppj
tr
p
m
jjpp Kywywy
10
1 10 ,xxxx
Vectorii suportmarginea de separatie
optimalahiperplan optimal
sa se maximizeze latimea marginii de separatie.
p
Curs Modelare in Biologie Radu Dogaru, 2004
20
T. Kohonen modele simple pentru procesul relativ complex al functionarii cortexului.
m
concepte fundamentale:
Vecinatatea topologica
Competitia
Curs Modelare in Biologie Radu Dogaru, 2004
21
j-1 j j+1 m
Conexiuni inhibitorii neuron J invingator la modelul LVQ este singurul cu drept de antrenare sistemele SOM este permis sa invete si neuronilor dintr-o anumita vecinatate
ni xxx ,...,...1x
Inhibitia si competitia laterala se pot modela foarte simplu indicele neuronului invingator) este acela pentru care se obtine un maximum de activitate vj
iJiiJiJi xwxww
jJ vv max
n
iijij xwv
1jiw
Calculeaza starile tuturor neuronilor
Determina neuronul J invingator
Actualizeaza ponderile pentru neuronul invingator (si eventual, vecinii sai)
Curs Modelare in Biologie Radu Dogaru, 2004
22
Spatiul de intrare cuantizat (cazul útilizarii a 8 neuroni). La aplicarea unui stimul este semnalizata prin activarea neuronului corespunzator (numai unul datorita mecanismului de competitie apartenenta la acea cuanta
1
23
4
5
6
78
Curs Modelare in Biologie Radu Dogaru, 2004
23
Modele Neuronale Dinamice
Curs Modelare in Biologie Radu Dogaru, 2004
24
Model static jj
n
iijij vfyxwv
1
Model dinamic cu timp continuu
)()(
)()(1
tvfty
txwtvdt
dv
jj
n
iijij
j
Iesirea este actualizata practic instantaneu
3t 0dt
dv j
)()(1
n
iijij txwtv
Model dinamic cu timp discret
)()(
)()1(1
tvfty
txwtv
jj
n
iijij
tt
tvtv
dt
dv jjj
)1(
)1(
Curs Modelare in Biologie Radu Dogaru, 2004
25
retele neurale recurente n
sistem dinamic neliniar
evolutia in timp a iesirilor retelei modele RNR cu relevanta in modelarea unor fenomene biologice, cognitive si de prelucrare a informatiei
1
i
j
n
w ijw ji
w ii
...
.
..
iiji
ij
ww
w
W )tanh()( vvf
Curs Modelare in Biologie Radu Dogaru, 2004
26
)()(
)()1(1
tvfty
tywtv
jj
n
iijij )()1(
1
n
iijij tywtv
)()( tvfty jj
t=t+1 t=t+1
)0(jv )0(jv
Curs Modelare in Biologie Radu Dogaru, 2004
27
+ Sunt simplu de implementat pe calculatoare numerice, in special daca sunt folosite limbaje orientate pe prelucrarea matriciala (Matlab, Octave, etc.); De exemplu instructiunea Matlab y=tanh(W*v) este suficienta pentru a implementa un pas (t) al modelului sincron. W este matricea de interconectare, v si y sunt vectori coloana corespunzand starilor respectiv iesirilor celor nneuroni. Au o dinamica complexa chiar si pentru structuri simple cu nmic. - Nu descriu realist situatiile din realitatea biologica (in care comunicarea intre celule se realizeaza asincron). Totusi pot aproxima destud de bine o serie de sisteme biologice complexe.
Corespund mai bine realitatilor biologice, (ex. Modelul Hopfield) dar sunt mai dificilde implementat.
Desi corespund cel mai bine descrierii unor fenomene fizico-chimice, au cea mai mare dificultate de implementare numerica. In limbaje precum Matlab aceasta dificultate este redusa ca urmare a faptului ca se ofera functii predefinite pentru integrare prin metode numerice precum Runge Kutta (de ex. Functia ode3.m)
Curs Modelare in Biologie Radu Dogaru, 2004
28
nxnn=3 n=5
Curs Modelare in Biologie Radu Dogaru, 2004
29
Y=[]; n=3; T=200; y=rand(n,1)-0.5;W=round(2*(rand(n,n)-0.5)); load Wech;for t=1:200
Y=[Y; y']; y=tanh(W*y);
end; subplot(1,2,1); plot(Y(:,1)); title('Dinamica neuronului 1'); xlabel('t'); ylabel('y(1)');subplot(1,2,2); axis([-1 1 -1 1 -1 1]);plot3(Y(:,1),Y(:,2),Y(:,3),'k+-'); grid on; title('evolutia in spatiul starilor');
Atractor:bazin de atractie
Atractorii pot fi: 1) Puncte fixe (dinamica de echilibru); 2) Periodici (dinamica oscilatorie periodica); 3) Aperiodici (dinamica oscilatorie complexa); 4) Stranii (dinamica haotica).
Curs Modelare in Biologie Radu Dogaru, 2004
30
100
110
111
W
Curs Modelare in Biologie Radu Dogaru, 2004
31
001
011
011
W
Curs Modelare in Biologie Radu Dogaru, 2004
32
001
011
111
W
Curs Modelare in Biologie Radu Dogaru, 2004
33
111
101
110
W
Curs Modelare in Biologie Radu Dogaru, 2004
34
110
011
101
W
Curs Modelare in Biologie Radu Dogaru, 2004
35
1001
1001
0111
0110
W
Curs Modelare in Biologie Radu Dogaru, 2004
36
Curs Modelare in Biologie Radu Dogaru, 2004
37
calitativ
fenomene emergenteechilibru
memoria asociativa prelucrarea primara a imaginilor in retinamemorarea informatiei in creier
sub forma de atractori haoticicoduri dinamice cerebrale
avantajul de a fi foarte simplu
Curs Modelare in Biologie Radu Dogaru, 2004
38
Program Matlab pentru modelarea RNR cu model sicnron si asincron (aceeasi stare initiala si matrice de interconectare)
Curs Modelare in Biologie Radu Dogaru, 2004
39
pn
pj
pi
p XXXX ,..,..,..1pX
M
p
pj
piij XXw
1
Curs Modelare in Biologie Radu Dogaru, 2004
40
Exemplu: Un grup de 7 biti codeaza un cuvant in engleza sau romana: O asociatie (14) biti poate fi memorata si apoi regasita intr-o retea cu 14 neuroni
Curs Modelare in Biologie Radu Dogaru, 2004
41
n15,0
Curs Modelare in Biologie Radu Dogaru, 2004
42
1
i
j
n
ab
cab
cab
cab
ca
000
0
0
0
00
0
0
00
W
Modelul CNN o simplificare care tine cont de realitatea biologica:
n
topologia modelul celulei (neuronului) vecinatatea
Curs Modelare in Biologie Radu Dogaru, 2004
43
k
Curs Modelare in Biologie Radu Dogaru, 2004
44
Intrari u u
Stari x x
Stari initiale- t=0
Iesiri y y
Gena -
Curs Modelare in Biologie Radu Dogaru, 2004
45
Curs Modelare in Biologie Radu Dogaru, 2004
46
,...,..,,..,,.., 221121 nn bbbaaaG
Curs Modelare in Biologie Radu Dogaru, 2004
47
Modelul CNN (continuu in timp) Reactie-Difuzie
Fig.2 m
reactie. Cuplajul cu celulele invecinate este modelat printr-o grila rezistiva care reprezinta procesul de difuzie.
Curs Modelare in Biologie Radu Dogaru, 2004
48
Fenomene emergente intr-un automat celular
One dimensional CARegula 30 Generator de numere aleatoare
Regula 110 Masina Turing universala*
Regula 196 Steady state pattern (nonlinear filter)
*According to Wolframs book A New Kind of Science (2002)
Curs Modelare in Biologie Radu Dogaru, 2004
49
Curs Modelare in Biologie Radu Dogaru, 2004
50
modelul de interconectare Small Worlds
Curs Modelare in Biologie Radu Dogaru, 2004
51
1
i
j
n
1
i
j
n
Curs Modelare in Biologie Radu Dogaru, 2004
52
k
k=2
Curs Modelare in Biologie Radu Dogaru, 2004
53
n
Curs Modelare in Biologie Radu Dogaru, 2004
54
0. Pagina web a cursului: atm.neuro.pub.ro\radu_d\html\biomod\MB.html
1. R. Dogaru, O. Grigore, Sisteme Neurale si cu logica Fuzzy, Ed.Printech 1999 - disponibila onlineatm.neuro.pub.ro\radu_d\html\rnsf\Cuprins.html2. R. Dogaru, Universality and Emergent Computation in Cellular Neural Networks, Ed. World Scientific 2003 , primele capitole disponibile online http://www.worldscibooks.com/chaos/5053.html3. curs REASON 2003-2004atm.neuro.pub.ro\radu_d\html\biomod\course_emergence.pdf
contine principalele idei din cartea citata anterior (limba engleza)
Bibliografie