modelarea sistemelor biologice prin functii...

Curs Modelare in Biologie Radu Dogaru, 2004

1

Versiunea 17-01-2005


2

Modelarea sistemelor biologice prin functii neliniare:

automatelor celulare


3

xx

Timpul lipseste din ecuatia modeluluiw

y x,w

antrenare (invatare) supervizatay d cu invatare nesupervizata

inhibitie lateralax

clasificare

x prelucrare (ne)liniara a semnalelor

vizualizare 2D compresie


4

sisteme dinamice neliniare interconectarea recurenta

timpul joaca un rol important

modelarii in timp continuu timp discret

Exemple


5

Modele Neuronale Statice


6

Model simplificat al neuronului, cu aplicatii in categoria 2)(prelucarea datelor, inclusiv biomedicale)

Functie de combinatie

Functie deactivare

Neuron biologic

Neuron artificial

n

iii xwfy

11x

ix

4x

)sgn(xxf


7

Liniare pe portiuni

Diferite variante de functii de activare, desi unele sunt relevante d.p.v. biologic (functia cu prag, sigmoida) altele pot duce la o mai mare eficienta in implementarea software sau hardware

Liniar cu prag Sigmoidala

Se pune problema completarii acestor modele cu legi de antrenare, care sa ajusteze ponderile sinaptice astfel incat modelul sa raspunda corect la stimuli, cu alte cuvinte sa minimizeze o functie de cost definita ca eroarea medie masurata la iesire.

1x

ix

4x

y d


8

Structuri mai eficiente functional se pot construi, la fel ca in sistemele vii, prin interconectarea unui numar optim de neuroni fundamentali. Un principiu fundamental, care se intalneste si in lumea vie este acela enuntat de Occam (Occam s razor) cu 500 de ani in urma: entitatile nu trebuiesc multiplicate mai mult decat este necesar , in cazul nostru este vorba de neuronii care constituie o arhitectura maicomplexa.

Pentru ca un astfel de sistem sa poata fi invatat (adica sa mimeze functonalitatea retelelor de neuroni biologici) este necesar sa pregatim doua seturi de esantioane TR (de antrenament) si TS (de test). Acestea au o structura similara dar sunt formate din esantioane de diferite.

TR={ ...(xp,dp) ..}p=1..,tr

TS={ ...(xp,dp) ..}p=1..,ts


9

Diverse Arhitecturi Neuronale Artificiale

Perceptron, 1959 Perceptron Multistrat, 1980s

Retea cu Functii Baza Radiale (RBF), 1990s Adaptive Resonance Theory (ART), 1990s


10

Este importanta evaluarea performantei pe setul TS, aceasta se face de regula cu ajutorul functiei cost JTS Setul TR se foloseste pentru ajustarea ponderilor.

ts

p

ppTSJ

1

ydtr

p

ppTRJ

1

yd ),( wxy pp RN

Stimul Ponderi sinaptice IesireIesire dorita

wyd ,1

TRJJ TR

tr

p

ppTR

ww ,, * TRJTRJ TRTR

iiii

TRi www

w

TRJw ;

,w

Rata de antrenare w


11

Functie de combinatie

Functie deactivare

Neuron artificial

n

iii xwwfy

10

1x

ix

4x

xxf

iiiii wwwd-yxw

linear separabile

d

n

iii xwwy

10

0 iwAlgoritmul de antrenare LMS


12

0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000

0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091

-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000

-0.5000 0.5000 0.5000 -0.5000

Baza de date de antrenament obtinuta de la un numar de pacienti (de ex. 100) pentru care s-au masurat 35 parametri biologici (vectorii de intrare sau stimul) si pentru care se cunoaste daca au avut (d>0) sau nu (d<0) un atac de cord


13

0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000

0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091

-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000

-0.5000 0.5000 0.5000 -0.5000

Baza de date de test obtinuta tot de la un numar de pacienti (de ex. 100) pentru care s-au masurat 35 parametri biologici (vectorii de intrare sau stimul) si pentru care se cunoaste daca au avut (d>0) sau nu (d<0) un atac de cordSe determina performanta sub forma unui procentaj

de clasificari incorecte (PCIC). O clasificare incorecta presupune ca y si d au semne diferite !

PCIC=12%


14


15

0.0800 -0.4800 -0.2000 -0.40001.0000 -1.0000 -1.0000 1.0000-1.0000 -1.0000 -1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000

0 -0.5833 -0.3333 -0.3333-1.0000 -1.0000 -1.0000 -1.0000-0.5538 -0.5654 -0.3500 -0.2077-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-0.0667 0.4400 -0.3333 0.2667-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00000.2727 -0.4091 -0.4091 -0.4091

-1.0000 -1.0000 -1.0000 -1.0000-1.0000 1.0000 -1.0000 -1.00001.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 1.0000 1.0000-1.0000 -0.3333 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000-1.0000 1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.0000-1.0000 -1.0000 -1.0000 -1.00001.0000 -1.0000 1.0000 1.0000

-0.5000 0.5000 0.5000 -0.5000

Se aplica seturi de stimuli complet noi (proveniti de la pacienti noi) si se examineaza iesirea. Daca y>0 se decide ca exista sansa pentru acel pacient sa dezvolte un atac de cord; daca y<0, nu.

Performanta deteriminata anterior da o masura asupra gradului de incredere a deciziei (PCIC->0 incredere maxima; PCIC->0.5 incredere nula)


16

Linear separabilitate si complexitatea problemelor

esantioane reprezentative ale relatiei intrare-iesire care trebuie modelata

Problema simpla, se poate modela cu Adaline

Problema complexa, modelul Adaline se va completa cu un expandor neliniar

001

wxwn

iii

001

wwm

jjj x


17

AdalinePreprocesor neliniar

xz

teoremei lui Coverx

z

x z

xxx mj ,...,,...1

retele neurale cu functii nucleu


18

jj xxn

iijij xw

1

tanhx

R

ddRBF

ddRBF jj

exp)( :exemplu de

; ),( wxx

Principalele Modele Statice de Retele Neurale

)1(1 jxtrix iijji x

altfel ,0

; daca ,1 xx

xtrinq

1cuante

nr.nq

12,..1 nqj


19

tr

pppppj

tr

p

m

jjpp Kywywy

10

1 10 ,xxxx

Vectorii suportmarginea de separatie

optimalahiperplan optimal

sa se maximizeze latimea marginii de separatie.

p


20

T. Kohonen modele simple pentru procesul relativ complex al functionarii cortexului.

m

concepte fundamentale:

Vecinatatea topologica

Competitia


21

j-1 j j+1 m

Conexiuni inhibitorii neuron J invingator la modelul LVQ este singurul cu drept de antrenare sistemele SOM este permis sa invete si neuronilor dintr-o anumita vecinatate

ni xxx ,...,...1x

Inhibitia si competitia laterala se pot modela foarte simplu indicele neuronului invingator) este acela pentru care se obtine un maximum de activitate vj

iJiiJiJi xwxww

jJ vv max

n

iijij xwv

1jiw

Calculeaza starile tuturor neuronilor

Determina neuronul J invingator

Actualizeaza ponderile pentru neuronul invingator (si eventual, vecinii sai)


22

Spatiul de intrare cuantizat (cazul útilizarii a 8 neuroni). La aplicarea unui stimul este semnalizata prin activarea neuronului corespunzator (numai unul datorita mecanismului de competitie apartenenta la acea cuanta

1

23

4

5

6

78


23

Modele Neuronale Dinamice


24

Model static jj

n

iijij vfyxwv

1

Model dinamic cu timp continuu

)()(

)()(1

tvfty

txwtvdt

dv

jj

n

iijij

j

Iesirea este actualizata practic instantaneu

3t 0dt

dv j

)()(1

n

iijij txwtv

Model dinamic cu timp discret

)()(

)()1(1

tvfty

txwtv

jj

n

iijij

tt

tvtv

dt

dv jjj

)1(

)1(


25

retele neurale recurente n

sistem dinamic neliniar

evolutia in timp a iesirilor retelei modele RNR cu relevanta in modelarea unor fenomene biologice, cognitive si de prelucrare a informatiei

1

i

j

n

w ijw ji

w ii

...

.

..

iiji

ij

ww

w

W )tanh()( vvf


26

)()(

)()1(1

tvfty

tywtv

jj

n

iijij )()1(

1

n

iijij tywtv

)()( tvfty jj

t=t+1 t=t+1

)0(jv )0(jv


27

+ Sunt simplu de implementat pe calculatoare numerice, in special daca sunt folosite limbaje orientate pe prelucrarea matriciala (Matlab, Octave, etc.); De exemplu instructiunea Matlab y=tanh(W*v) este suficienta pentru a implementa un pas (t) al modelului sincron. W este matricea de interconectare, v si y sunt vectori coloana corespunzand starilor respectiv iesirilor celor nneuroni. Au o dinamica complexa chiar si pentru structuri simple cu nmic. - Nu descriu realist situatiile din realitatea biologica (in care comunicarea intre celule se realizeaza asincron). Totusi pot aproxima destud de bine o serie de sisteme biologice complexe.

Corespund mai bine realitatilor biologice, (ex. Modelul Hopfield) dar sunt mai dificilde implementat.

Desi corespund cel mai bine descrierii unor fenomene fizico-chimice, au cea mai mare dificultate de implementare numerica. In limbaje precum Matlab aceasta dificultate este redusa ca urmare a faptului ca se ofera functii predefinite pentru integrare prin metode numerice precum Runge Kutta (de ex. Functia ode3.m)


28

nxnn=3 n=5


29

Y=[]; n=3; T=200; y=rand(n,1)-0.5;W=round(2*(rand(n,n)-0.5)); load Wech;for t=1:200

Y=[Y; y']; y=tanh(W*y);

end; subplot(1,2,1); plot(Y(:,1)); title('Dinamica neuronului 1'); xlabel('t'); ylabel('y(1)');subplot(1,2,2); axis([-1 1 -1 1 -1 1]);plot3(Y(:,1),Y(:,2),Y(:,3),'k+-'); grid on; title('evolutia in spatiul starilor');

Atractor:bazin de atractie

Atractorii pot fi: 1) Puncte fixe (dinamica de echilibru); 2) Periodici (dinamica oscilatorie periodica); 3) Aperiodici (dinamica oscilatorie complexa); 4) Stranii (dinamica haotica).


30

100

110

111

W


31

001

011

011

W


32

001

011

111

W


33

111

101

110

W


34

110

011

101

W


35

1001

1001

0111

0110

W


36


37

calitativ

fenomene emergenteechilibru

memoria asociativa prelucrarea primara a imaginilor in retinamemorarea informatiei in creier

sub forma de atractori haoticicoduri dinamice cerebrale

avantajul de a fi foarte simplu


38

Program Matlab pentru modelarea RNR cu model sicnron si asincron (aceeasi stare initiala si matrice de interconectare)


39

pn

pj

pi

p XXXX ,..,..,..1pX

M

p

pj

piij XXw

1


40

Exemplu: Un grup de 7 biti codeaza un cuvant in engleza sau romana: O asociatie (14) biti poate fi memorata si apoi regasita intr-o retea cu 14 neuroni


41

n15,0


42

1

i

j

n

ab

cab

cab

cab

ca

000

0

0

0

00

0

0

00

W

Modelul CNN o simplificare care tine cont de realitatea biologica:

n

topologia modelul celulei (neuronului) vecinatatea


43

k


44

Intrari u u

Stari x x

Stari initiale- t=0

Iesiri y y

Gena -


45


46

,...,..,,..,,.., 221121 nn bbbaaaG


47

Modelul CNN (continuu in timp) Reactie-Difuzie

Fig.2 m

reactie. Cuplajul cu celulele invecinate este modelat printr-o grila rezistiva care reprezinta procesul de difuzie.


48

Fenomene emergente intr-un automat celular

One dimensional CARegula 30 Generator de numere aleatoare

Regula 110 Masina Turing universala*

Regula 196 Steady state pattern (nonlinear filter)

*According to Wolframs book A New Kind of Science (2002)


49


50

modelul de interconectare Small Worlds


51

1

i

j

n

1

i

j

n


52

k

k=2


53

n


54

0. Pagina web a cursului: atm.neuro.pub.ro\radu_d\html\biomod\MB.html

1. R. Dogaru, O. Grigore, Sisteme Neurale si cu logica Fuzzy, Ed.Printech 1999 - disponibila onlineatm.neuro.pub.ro\radu_d\html\rnsf\Cuprins.html2. R. Dogaru, Universality and Emergent Computation in Cellular Neural Networks, Ed. World Scientific 2003 , primele capitole disponibile online http://www.worldscibooks.com/chaos/5053.html3. curs REASON 2003-2004atm.neuro.pub.ro\radu_d\html\biomod\course_emergence.pdf

contine principalele idei din cartea citata anterior (limba engleza)

Bibliografie

modelarea sistemelor biologice prin functii...

Documents