FUNDAMENTE DESISTEME BIOLOGICE ŞI

INFORMATICĂ MEDICALĂ

Cursul 526-10-2010

Ş.l.dr.ing. Adriana ALBUadriana.albu@aut.upt.ro

www.aut.upt.ro/~adrianaa

2

Sisteme decizionale (partea a treia)reţele neuronale artificiale (RNA)

Conţinut

3

Reţele neuronale artificiale

Inspirate din punct de vedere structural şifuncţional de creierul fiinţelor viiReprezintă un model matematic simplificat alsistemului nervos centralIdeea conceperii unei astfel de structuri aapărut odată cu recunoaşterea faptului cămodul în care creierul raţionează e diferit demaniera folosită de calculatoarele convenţio-nale, acestea din urmă luând deciziile pe bazaunor algoritmi şi reguli

4

Reţele neuronale artificiale

Colecţie vastă de arhitecturi şi algoritmi deînvăţareCapabile să

asimileze noiasocieritiparedependenţe funcţionale

se adapteze mediului specific problemei pentrucare sunt utilizate

5

Reţele neuronale artificiale

Avantaje:au posibilitatea de a lucra cu date imprecise sauincompleteprezintă abilitatea de a generaliza, putând operacu date de intrare care nu le-au fost prezentate întimpul procesului de antrenareposedă capacitatea de amemora informaţiipot realiza asocieri, clasificări, recunoaşterioferă posibilitatea utilizării lor în aplicaţii în timpreal

6

Reţele neuronale artificiale

Alte caracteristicisisteme puternicedeţin tehnici sofisticate capabile de a modelafuncţionalităţi complexesunt uşor de utilizat

învaţă din exempleutilizatorul trebuie să aibă doar unele cunoştinţe privindselecţia şi pregătirea datelor de intrare, alegerea unui tipde reţea şi interpretarea rezultatelor

7

Neuronul biologic

Reţelele neuronale artificiale încearcă săreproducă (atâta cât se poate la momentulactual) structura creieruluiCreierul este alcătuit din aproximativ 1011

celule puternic interconectate (cam 104

conexiuni pe celulă), numite neuroniToate funcţiile creierului, inclusiv memorarea,sunt reţinute în aceste celule şi în conexiuniledintre ele

8

Neuronul biologic

Un neuron este format din trei părţi:dendritele (intrările neuronului) – fibre nervoasereceptive, au o structură arborescentă şi transmitsemnale electrice spre corpul celuleisoma (corpul celulei) – însumează semnaleleprimite şi în funcţie de valoarea obţinută producesau nu un semnalaxonul (ieşirea neuronului) – o fibră lungă cetransmite semnalul de la corpul celulei spre alţineuroni

Contactul dintre axonul unei celule şi odendrită a unei alte celule se numeşte sinapsă

9

Imagine simplificată a doi neuroni

10

Neuronul biologic

Plasarea neuronilor şi calitatea legăturilordintre ei determină modul de funcţionare areţelei neuronaleO parte a structurii neuronale este definită lanaştere; restul se dezvoltă pe parcursul vieţiiprin procesul de învăţare, proces caredetermină apariţia, dispariţia sau modificareadin punct de vedere chimic a conexiunilordintre neuroni

11

Neuronul biologic

FuncţionareCorpul celulei primeşte informaţii de la alţineuroni prin intermediul conexiunilorsinaptice ajustabileDacă valorile intrărilor determină activareaneuronului, atunci se vor produce impulsurinervoase, transmise prin intermediulaxonului spre alţi neuroni

12

Modelul neuronului artificial

Pe baza caracteristicilor neuronului biologicse poate construi neuronul artificialPăstrează aceeaşi structură:

un corp format dintr-un sumator şi o funcţie detransfero serie de intrări care ajung în corpul celulei prinelemente similare dendriteloro ieşire care simulează axonul

13

p1

p2

pn

INTRĂRI

pondere

w1

ponderew2

pondere

wn

∑ f ieşirey

Modelul neuronului artificial

14

Modelul neuronului artificial

Intrări – datele iniţiale sau ieşirile altor neuroniFiecare intrare are o conexiune numită sinapsă

caracterizată de o ponderevaloarea intrării este multiplicată cu această pondereconexiunea defineşte influenţa pe care intrarea o areasupra neuronului

Intrările ponderate sunt însumateIeşirea sumatorului reprezintă intrarea unei funcţiide transfer (numită şi funcţie de activare)Această funcţie determină ieşirea neuronului, carepoate reprezenta rezultatul problemei sau intrarepentru alţi neuroni

15

Modelul neuronului artificial

Funcţionare:

f – funcţie de transfer– vectorul ponderilor– vectorul de intrare

Funcţiile de transfer pot fi liniare sauneliniare şi sunt alese în raport cuspecificaţiile problemei care trebuie rezolvată

)x(fy = ∑=

=n

1iii pwx

[ ]Tn21 w...,,w,wW =

[ ]Tn21 p...,,p,pP =

16

Modelul neuronului artificial

Cele mai utilizate funcţii de transfer sunt:funcţia liniarăfuncţia treaptă (prag)funcţia prag simetrică (signum)funcţia de tip gaussianfuncţia sigmoidalăfuncţia tangentă hiperbolicăfuncţia de saturaţie (limitare)funcţia de saturaţie simetrică

17

Arhitecturi ale reţelelor neuronale

Pentru a crea o reţea neuronală artificială e necesar afi puşi laolaltă un număr de neuroniAceştia sunt aranjaţi pe mai multe straturi (niveluri)O reţea trebuie să aibă

un număr de intrări (prin care primeşte valorilevariabilelor externe)un nivel de neuroni care produc ieşirea (predicţia,rezultatul problemei)

Intrările şi ieşirile unei reţele neuronale artificialecorespund nervilor senzoriali, respectiv motorii aicorpului umanO reţea neuronală poate de asemenea conţine unnumăr de straturi ascunse de neuroni

18

Arhitecturi ale reţelelor neuronale

Există două mari tipuri de reţele neuronaleartificiale:feedforward – cu propagare progresivă

principala caracteristică a acestor reţele este faptul că unneuron primeşte semnale doar de la neuroni dinstratul/straturi precedent/precedente

feedback – recurente sau cu propagare regresivăaceste reţele sunt caracterizate de faptul că există unsemnal de reacţie din partea neuronilor de ordinsuperior, pentru cei de pe straturi inferioare sau chiarpentru ei înşişi

19

INTRĂRI

Ieşire

Niveluri ascunse Nivel de ieşire

Arhitectura unei reţele feedforward

20

Arhitectura unei reţele feedback

21

Antrenarea reţelelor neuronale

O reţea neuronală artificială poate fi antrenatăpentru a rezolva o anumită problemăpentru a avea un anumit comportament

Pe parcursul acestui proces, numit şi învăţaresau instruire, se produce schimbareaparametrilor reţelei:

ponderifuncţie de transferarhitectura

22

Antrenarea reţelelor neuronale

Învăţarea reprezintă modificarea permanentăa comportamentului pe baza experienţeiÎn funcţie de modul în care sunt modificaţiparametrii reţelei neuronale pe parcursulprocesului de instruire, se disting două tipuride învăţare:

supervizatănesupervizată

23

Învăţarea supervizată

Este caracterizată de prezenţa unui„supervizor” care cunoaşte legătura corectădintre intrări şi ieşiriCând o intrare este aplicată reţelei, se cunoaşteşi ieşirea dorită asociată respectivei intrăriPe parcursul procesului de învăţare

ieşirea oferită de reţea este comparată cu ieşireaţintăparametrii reţelei sunt ajustaţi astfel încât diferenţadintre cele două (numită eroare) să fie minimizată

24

Învăţarea supervizată

Pentru a învăţa, o astfel de reţea neuronalăare nevoie de un set de valori de intrare,împreună cu ieşirile corecte (ieşirile ţintă)Dacă problema care trebuie rezolvată este dindomeniul medical

intrările = simptome, teste de laborator şi alteanalize specifice (chiar din domeniul imagisticiimedicale)ieşirea = diagnosticul sau altă predicţie

25

Învăţarea supervizată

În cazul acestui tip de învăţare trebuie să seţină cont de următoarele două probleme:

din setul de antrenare se reţine un subset pentrutestare (care nu este utilizat pe parcursul stabiliriiparametrilor reţelei)se menţine un nivel acceptabil de eroare pe setulde antrenare pentru a evita supra-învăţarea(învăţarea detaliilor nesemnificative aleexemplelor folosite pentru antrenare)

26

Învăţarea supervizată

Aşadar algoritmii utilizaţi pentru învăţareasupervizată se bazează pe corecţia erorilorAcest lucru se poate realiza prin modificareaparametrilor reţeleiCea mai simpla metodă constă în modificareaponderilorStructura algoritmilor cuprinde două etapeprincipale:

iniţializarea parametrilorajustarea lor printr-un proces iterativ

27

Învăţarea supervizată

Backpropagation (propagarea regresivă aerorilor)

unul dintre cei mai utilizaţi algoritmi de corecţie aerorilorare loc transmiterea prin reţea a semnalului deeroare în sens invers faţă de modul în caresemnalele circulă în faza de funcţionare

Alţi algoritmi folosiţi pentru învăţareasupervizată:

sunt Widrow-Hoff (sau regula Delta)Boltzman (sau stocastic).

28

Învăţarea nesupervizată

Nu există un element „supervizor” care săaprecieze corectitudinea asocierilor dintreintrări şi ieşiriRăspunsul dorit nu e cunoscut⇒ nu sunt disponibile informaţii legate deeroare, care să fie folosite pentruîmbunătăţirea comportamentului reţeleineuronale

29

Învăţarea nesupervizată

Trebuie implementat un mecanism deînvăţare care să autoadapteze parametriireţeleiPe baza semnalelor de intrare primite dinpartea mediului, sistemul descoperă trăsăturicaracteristiceAcest tip de învăţare este potrivit operaţiilorde clasificare

regula de includere a unui element într-o anumităclasă este dată de distanţa la care se află elementulfaţă de centrul unei clase

30

Învăţarea nesupervizată

Reţelele neuronale care folosesc algoritmi deînvăţare nesupervizată trebuie să descopere

regulitipareposibilităţi de separare

Printre algoritmii utilizaţi în procesul deînvăţare nesupervizată se numără:

algoritmul Hebbianalgoritmul competitiv

31

Aplicaţii ale reţelelor neuronale artificiale în medicină

32

Aplicaţii ale RNA în medicină

Principalul avantaj al utilizării reţelelorneuronale artificiale este legat de faptul căacestea au capacitatea de a rezolva problemecare

sunt prea complexe pentru tehnologiileconvenţionalenu au o soluţie algoritmică

Aceste caracteristici apar adesea în medicină

33

Aplicaţii ale RNA în medicină

Din acest motiv reţelele neuronale artificialeau fost aplicate cu succes în sisteme pentru

diagnozăsunt foarte potrivite în domeniul diagnozei deoarece nuau nevoie de un algoritm referitor la modul deidentificare a unei afecţiuniele învaţă din exemple, aşadar au nevoie doar de un setde exemple reprezentative pentru toate variaţiilerespectivei boli

analize biomedicaleanaliza imaginilor medicaledezvoltări în domeniul farmaceutic

34

Cardiologie

Analiza nivelului de enzime limfatice stă labaza diagnosticării infarctului miocardicO reţea neuronală a fost antrenată pentruanaliza nivelului acestor enzime şi deasemenea a EKG-ului, simptomelor şimodificărilor apărute după administrarea demedicamente (nitroglicerină)

35

Gastroenterologie

A fost realizată o reţea neuronală pentruprevederea modului în care pacienţii suportăhepatectomia (rezecţia chirurgicală a uneiparţi a ficatului)Au fost folosiţi 54 de pacienţi pentru procesulde învăţare şi 11 pentru testare

36

Pneumologie

Medicii ftiziologi, împreună cu radiologii aulucrat la dezvoltarea unui sistem pentruclasificarea nodulilor pulmonari

37

Oncologie

Cancerul la sân este a doua cauză amortalităţii datorită cancerului în rândulfemeilorSunt disponibile aplicaţii pentrudiagnosticarea şi selecţia unei strategiiterapeutice în ceea ce priveşte cancerul de sânExistă RNA care determină posibilitateareapariţiei tumorilor analizând informaţiilegate de dimensiunea tumorii sau numărulnodulilor

38

Oncologie

Cancerul de plămâni este o altă afecţiunemortalăInformaţiile obţinute prin radiografie,tomografie computerizată, rezonantămagnetică, bronhoscopie şi biopsie pot fiutilizateO RNA a fost realizată pentru identificareacelulelor canceroase din imaginile biopsieirealizate persoanelor ce urmau a fidiagnosticate

39

Otorinolaringologie

Reţelele neuronale s-au dovedit a fi o metodăeficientă în modelarea auzuluiAceastă tehnică poate deveni folositoarepentru înţelegerea, modelarea vorbirii şitratarea problemelor de auz

40

Obstetrică şi ginecologie

Reţelele neuronale au fost utilizate pentrudeterminarea riscului administrării perinatalea medicamentelor precum şi pentru evi-denţierea parametrilor care influenţeazăgreutatea noului născut

41

Oftalmologie

Reţele neuronale artificiale au fost aplicate şiîn diagnosticarea deformaţiilor de cornee

42

Radiologie

Imaginile conţin o cantitate mare deinformaţii şi sunt atât de complicate încât esteimposibil să fie interpretate utilizândsistemele convenţionale bazate pe reguliSelectând seturi de exemple şi procedee deînvăţare potrivite, reţelele neuronale suntutilizate cu succes în detecţia unor boliarteriale, microcalcifiere în mamografiidigitale, diferenţierea bolilor de ficat

43

Citologie

Celulele maligne pot fi recunoscute cuajutorul reţelelor neuronale artificialeAcestea sunt folosite pentru a identificamodificări precancerose sau canceroase încancerul cervical, maximizând astfel şanselede vindecare

44

Genetică

O reţea neuronală a fost antrenată pentruclasificarea cromozomilor, bazat pe informaţiireprezentând forma, dimensiunea şi legăturilecromozomilor

45

Utilizarea reţelelor neuronale artificiale pentru realizarea de

predicţii referitoare la tratamentul hepatitei C

46

Predicţii pentru hepatita C

Hepatita C este o boală gravă şi frecventă,împotriva căreia nu există vaccin, iar evoluţiasa trebuie atent urmărită pe parcursultratamentuluiChiar dacă aceste tratamente suntîmbunătăţite continuu, totuşi infecţia cuvirusul hepatitei C rămâne o problemă îndiscuţie pentru următorii ani

47

Predicţii pentru hepatita C

Pacienţii luaţi în considerare au fost observaţide-a lungul a 12 luni pentru a stabili influenţape care tratamentul o are asupra evoluţieiunor indicatori biologiciAu fost aplicate trei scheme diferite detratament:

Interferon Simplu (IFN);Peg interferon α-2a;Peg interferon α-2b.

48

Predicţii pentru hepatita C

Sistemul realizează predicţii privind modul încare pacientul evoluează în funcţie detratamentul administratAceste predicţii sunt deosebit de utiledeoarece:

tratamentul hepatitei C este foarte scumppot apărea efecte adverse

Este deci foarte important a fi identificaţi aceipacienţi care au şanse mari de a reacţionapozitiv la tratament, astfel încât ceilalţi să fieprotejaţi de un tratament fără beneficii

49

Predicţii pentru hepatita C

Parametrii biologici au fost determinaţi dintrei în trei luniEvoluţia lor în timp a fost monitorizatăîncercându-se determinarea unor relaţii întrevalorile indicatorilor biologici (TGP, TGO,GGT, ARN VHC) şi timp, pe grupe depacienţi realizate în funcţie de răspunsul latratament

50

Predicţii pentru hepatita C

Tipurile de răspuns la tratament sunt:0 – pacientul răspunde la tratament1 – nu răspunde la IFN2 – nu răspunde la Peg IFN3 – recădere la IFN4 – recădere la Peg IFN5 – întreruperea tratamentului datorită efecteloradverse

51

Predicţii pentru hepatita C

Tipul de răspuns la tratament este aşadarstrâns corelat cu evoluţia indicatorilorbiologici TGP, TGO, GGT şi ARN VHCUtilizând o serie de reţele neuronaleartificiale, se fac sugestii despre tendinţa decreştere, de scădere sau de staţionare avalorilor celor patru indicatori biologici dintrei în trei luni, pe parcursul a 12 luni detratament

52

Predicţii pentru hepatita C

Sistemul este implementat în Matlab, mediucare are un instrument specializat îndezvoltarea reţelelor neuronaleSunt utilizate reţele neuronale de tipfeedforward, cu algoritm de învăţarebackpropagation

53

Predicţii pentru hepatita C

ARN VHC 0L

GGT 0L

TGO 0L

TGP 0L

TGP 12LTGP 9LTGP 6LTGP 3LNet TGP3 Luni

Net TGP6 Luni

Net TGP9 Luni

Net TGP12 Luni

TGO 12LTGO 9LTGO 6LTGO 3LNet TGO

3 LuniNet TGO

6 LuniNet TGO

9 LuniNet TGO12 Luni

GGT 12LGGT 9LGGT 6LGGT 3LNet GGT

3 LuniNet GGT

6 LuniNet GGT

9 LuniNet GGT12 Luni

ARN VHC 12LARN VHC 9LARN VHC 6LARN VHC 3L

Net ARN VHC

3 Luni

Net ARN VHC

6 Luni

Net ARN VHC

9 Luni

Net ARN VHC

12 Luni

VârstăSex

LocaţieTratament

Scorul KnodellFibroza

54

Predicţii pentru hepatita C

Sistemul a fost proiectat ca o reţea de reţeleneuronaleFiecare reţea neuronală are:

un strat cu 10 neuroni ascunşio ieşireun număr variabil de intrări

Pentru fiecare din cei patru indicatoribiologici studiaţi există patru straturi de reţeleneuronale

55

Predicţii pentru hepatita C

Reţelele de pe primul strat primesc ca date deintrare: vârsta pacientului, sexul, locaţia(rural/urban), schema tratamentului,răspunsul Knodell, scorul fibrozei hepaticeprecum şi valoarea parametrului pentru carese face predicţia la momentul iniţial (înaintede începerea tratamentului)Aceste reţele au ca ieşire valoareaparametrului la 3 luni

56

Predicţii pentru hepatita C

Reţelele de pe straturile următoare au aceeaşistructură ca şi cele de pe primul strat numaică au în plus ca intrări ieşirile reţeleloromoloage de pe straturile inferioareAstfel se va ajunge ca reţele de pe ultimulstrat să aibă în loc de şapte intrări (ca reţelelede pe primul strat), zece (intrările iniţiale, lacare se adaugă valorile indicatorilor biologicila 3, 6 şi 9 luni de tratament).

57

Predicţii pentru hepatita C

Avantajul acestei arhitecturi este că datelesunt prelucrate separat pentru fiecareindicator biologicDezavantajul constă în faptul că erorile sepropagă prin sistem deoarece rezultatelereţelelor de pe primele niveluri (împreună cuerorile lor) sunt folosite de reţelele de peurmătoarele niveluriAcest dezavantaj însă poate fi minimizat prinalgoritmul de învăţare

58

Predicţii pentru hepatita C

Aşa cum s-a arătat, reţeaua neuronală are oarhitectură fixă, antrenarea ei realizându-seprin modificarea ponderilorÎnvăţarea constă în două etape:

iniţializarea parametrilorprocesul iterativ de ajustare a lor

Aşadar calitatea reţelei neuronale nu depindedoar de felul în care sunt modificateponderile ei, ci şi de valorile iniţiale aleacestora

59

Predicţii pentru hepatita C

Din acest motiv, fiecare din cele 16 blocuri alearhitecturii reprezintă cea mai bună reţea din500 astfel de reţele create şi antrenatePentru a determina care este cea mai bunăreţea, se foloseşte un set de pacienţi testReţeaua cu acurateţea cea mai mare (din cele500 create) este reţinută şi utilizată înpredicţie

60

Predicţii pentru hepatita C

Acurateţea reţelelor neuronaleNet TGP Net TGO

3 luni 6 luni 9 luni 12 luni 3 luni 6 luni 9 luni 12 luni

94.40% 82.86% 78.26% 83.33% 91.94% 82.85% 95.65% 77.78%

Net GGT Net ARN VHC

3 luni 6 luni 9 luni 12 luni 3 luni 6 luni 9 luni 12 luni

91.67% 85.71% 76.93% 82.73% 92.68% 80.00% - -

61

Predicţii pentru hepatita C

Analizând tendinţa evolutivă a celor patruindicatori biologici, un medic poate estimadacă pacientul va răspunde sau nu la unanumit tratamentPentru a obţine aceste informaţii, el trebuie săintroducă o serie de date ale pacientului carevor fi interpretate de reţelele neuronale

62

63

Problemă

Utilizaţi reţelele neuronale artificiale înrealizarea unui sistem decizional

64

Bibliografie

1. Adriana ALBU: “Stabilirea de baze de datepentru diagnosticarea hepatitelor virale prinanaliza imaginilor ficatului obţinute printomografiere” – Teză de doctorat, EdituraPolitehnica, 2006

65

Vă mulţumesc pentru atenţie