analiza şi vizualizarea seturilor de date biomedicale rezumat final.pdf · and algorithms”,...
TRANSCRIPT
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI
MINISTERUL MUNCII, FAMILIEI ŞI PROTECłIEI SOCIALE
AMPOSDRU
Fondul Social European POSDRU 2007-2013
Instrumente Structurale 2007-2013
OIPOSDRU UNIVERSITATEA TEHNICĂ “GHEORGHE ASACHI”
DIN IAŞI
UNIVERSITATEA TEHNICĂ “GHEORGHE ASACHI” DIN IAŞI
Şcoala Doctorală a FacultăŃii de Automatică şi Calculatoare
Analiza şi vizualizarea seturilor
de date biomedicale - REZUMATUL TEZEI DE DOCTORAT -
Conducător de doctorat:
Prof. univ. dr. ing. Vasile-Ion Manta Doctorand:
Ing. Paul-Corneliu Herghelegiu
IAŞI - 2011
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI
MINISTERUL MUNCII, FAMILIEI ŞI PROTECłIEI SOCIALE
AMPOSDRU
Fondul Social European POSDRU 2007-2013
Instrumente Structurale 2007-2013
OIPOSDRU UNIVERSITATEA TEHNICĂ “GHEORGHE ASACHI”
DIN IAŞI
Teza de doctorat a fost realizată cu sprijinul financiar al proiectului
„Burse Doctorale - O InvestiŃie în InteligenŃă (BRAIN)”.
Proiectul „Burse Doctorale - O InvestiŃie în InteligenŃă (BRAIN)”,
POSDRU/6/1.5/S/9, ID 6681, este un proiect strategic care are ca
obiectiv general „ÎmbunătăŃirea formării viitorilor cercetători în cadrul
ciclului 3 al învăŃământului superior - studiile universitare de doctorat -
cu impact asupra creşterii atractivităŃii şi motivaŃiei pentru cariera în
cercetare”.
Proiect finanŃat în perioada 2008 - 2011.
FinanŃare proiect: 14.424.856,15 RON
Beneficiar: Universitatea Tehnică “Gheorghe Asachi” din Iaşi
Partener: Universitatea “Vasile Alecsandri” din Bacău
Director proiect: Prof. univ. dr. ing. Carmen TEODOSIU
Responsabil proiect partener: Prof. univ. dr. ing. Gabriel LAZĂR
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI
MINISTERUL MUNCII, FAMILIEI ŞI PROTECłIEI SOCIALE
AMPOSDRU
Fondul Social European POSDRU 2007-2013
Instrumente Structurale 2007-2013
OIPOSDRU UNIVERSITATEA TEHNICĂ “GHEORGHE ASACHI”
DIN IAŞI
MenŃiuni
Doresc să îmi exprim recunoştinŃa faŃă de domnul prof. dr. ing. Vasile Ion
Manta, pentru răbdarea cu care mi-a îndrumat paşii spre publicarea lucrărilor
ştiinŃifice ce au dus la realizarea prezentei teze.
De asemenea, vreau să mulŃumesc domnului profesor Eduard Gröller,
coordonatorul grupului de vizualizare din cadrul “Institute of Computer Graphics
and Algorithms”, Vienna University of Technology pentru sprijinul acordat pe
perioada desfăşurării unui stadiu extern de cercetare în institutul pe care îl
coordonează. Din cadrul aceluiaşi institut, doresc să-l menŃionez pe Stefan
Bruckner fără ajutorul şi îndrumarea căruia implementările descrise în prezenta
teză ar fi fost infinit mai dificile.
Sincere mulŃumiri se adresează şi "Centrului de ExcelenŃă în
Neurochirurgie" din cadrul spitalului Bagdasar - Arseni din Bucureşti pentru
ajutorul acordat în înŃelegerea imaginilor medicale utilizate si în realizarea unor
aplicaŃii prezentate în această teză.
Alese mulŃumiri şi colegilor cu care am dezbătut numeroase teme ştiinŃifice
şi care m-au ajutat foarte mult de-a lungul anilor. Dintre aceştia, îi menŃionez pe
Marius, Cristi, Nicu, Cristina, Robert, cu ajutorul cărora am reuşit să creăm un
mediu competitiv şi prietenos în cadrul departamentului unde ne-am desfăşurat
munca.
De asemenea, mulŃumesc doamnei Elena Zbranca pentru înŃelegerea de
care a dat dovadă de nenumăratele ori când am greşit fără intenŃie partea
birocratică atât de necesară finalizării acestei teze.
Nu în ultimul rând aş dori să mulŃumesc familiei şi prietenei mele pentru
sprijinul necondiŃionat acordat în perioada dezvoltării acestei teze şi nu numai.
1
CUPRINS
1. Introducere ..................................................................................................................................3
1.1. Obiective .............................................................................................................................. 3
1.2. Diseminarea rezultatelor....................................................................................................... 3
1.3. Structura tezei....................................................................................................................... 4
2. Tehnici de segmentare.................................................................................................................6
2.1. Introducere ........................................................................................................................... 6
2.2. Metode bazate pe extinderea regiunilor (region growing) ................................................... 6
2.3. Metode de tip watershed....................................................................................................... 7
2.4. Metode bazate pe modelul snake sau pe funcŃii de energie (Level Set)............................... 7
2.5. Metode hibride ..................................................................................................................... 7
3. Tehnici de vizualizare a datelor volumetrice ..............................................................................8
3.1. Modelul fizic de transport al luminii.................................................................................... 8
3.1.1. EcuaŃia de transport a luminii........................................................................................ 8
3.2. Integrala redării volumetrice ................................................................................................ 9
3.3. Discretizarea....................................................................................................................... 10
3.3.1. Separarea pe intervale de integrare ............................................................................. 10
3.3.2. Compunerea culorilor.................................................................................................. 11
3.4. Metode de vizualizare volumetrică .................................................................................... 13
3.4.1. Metoda marching-cubes .............................................................................................. 13
3.4.2. Metoda ray-casting...................................................................................................... 13
3.5. Iluminarea volumelor bazată pe modelul sferei luminate .................................................. 14
3.5.1. Introducere .................................................................................................................. 14
3.5.2. FuncŃiile de transfer al stilului utilizate in redarea ilustrativa a volumelor................. 15
3.5.2.1. Iluminarea sferelor (Lit sphere shading) ..............................................................15
3.5.2.2. FuncŃiile de transfer al stilului (Style transfer functions).....................................16
3.5.3. ObŃinerea modelului de iluminare............................................................................... 16
3.6.4. Concluzii ..................................................................................................................... 18
4. Metode de combinare şi vizualizare a datelor RMN.................................................................19
4.1. ReconstrucŃia volumetrică a unei serii de imagini RMN şi combinarea cu o structură
segmentată ................................................................................................................................. 19
4.1.1. Introducere .................................................................................................................. 19
4.1.2. Segmentarea măduvei spinării din imagini RMN....................................................... 19
2
4.1.3. ObŃinerea volumului cu măduva spinării segmentată ................................................. 20
4.1.3.1 ReconstrucŃia volumului din imagini 2D ..............................................................20
4.1.3.2 Combinarea volumului obŃinut prin segmentare cu volumul iniŃial .....................21
4.1.4. Concluzii ..................................................................................................................... 22
4.2. Metodă GPU de reconstrucŃie a secvenŃelor RMN într-un singur volum .......................... 23
4.2.1. Introducere .................................................................................................................. 23
4.2.2. Metodă GPU pentru obŃinerea unui singur volum ...................................................... 24
4.2.2.1. ReconstrucŃia imaginilor într-un volum ...............................................................24
4.2.2.2. Metodă GLSL pentru alinierea şi combinarea volumelor reconstruite ................25
4.2.2.3. Combinarea diverselor date RMN într-un singur volum .....................................25
4.2.3. Concluzii ..................................................................................................................... 28
5. Vizualizarea structurilor segmentate în seturile de date volumetrice obŃinute din scanările
medicale ........................................................................................................................................29
5.1. Introducere ......................................................................................................................... 29
5.2. SecvenŃe de achiziŃie RMN ................................................................................................ 30
5.3. Metoda de aliniere .............................................................................................................. 30
5.4. Segmentarea tumorii .......................................................................................................... 32
5.5. Vizualizarea datelor volumetrice ....................................................................................... 33
5.6. Concluzii ............................................................................................................................ 36
6. Hartă a stabilităŃii direcŃiei de inserare a acului pentru biopsiile efectuate tumorilor
intracraniene ..................................................................................................................................37
6.1. Introducere ......................................................................................................................... 37
6.2. Transformata distanŃă ......................................................................................................... 39
6.3. Punctele accesibile aparŃinând tumorii............................................................................... 39
6.4. Harta de stabilitate a direcŃiei acului de biopsie................................................................. 41
6.5. Concluzii ............................................................................................................................ 44
7. Concluzii generale.....................................................................................................................45
7.1. ContribuŃii .......................................................................................................................... 45
7.1.1. Controlul iluminării volumelor utilizând modelul sferei luminate ............................. 45
7.1.2. Algoritmi de reconstrucŃie şi de combinare a imaginilor provenite în urma unei
scanări medicale .................................................................................................................... 46
7.1.3. Algoritm de vizualizare a structurilor segmentate în seturi de date multimodale....... 47
7.1.4. Algoritm de creare a unei hărŃi a stabilităŃii acului de biopsie.................................... 47
7.2. DirecŃii viitoare de cercetare .............................................................................................. 48
Bibliografie selectivă.....................................................................................................................49
3
1. Introducere
Analiza şi vizualizarea seturilor de date obŃinute din diverse scanări medicale constituie
una din principalele direcŃii de dezvoltare actuale în domeniul graficii asistate de calculator.
Tehnicile de vizualizare a datelor medicale se adresează în special medicilor, dar îşi
găsesc o utilitate sporită şi în procesul educaŃional. Vizualizarea volumetrică a datelor medicale
este utilă în cazul procedurilor medicale mai complicate, pentru o mai bună înŃelegere a
anatomiei sau a poziŃiei spaŃiale a unei structuri de interes. Metodele de vizualizare urmăresc
ghidarea atenŃiei privitorului spre regiunile de interes, pentru o prezentare mai bună a acestora, în
detrimentul regiunilor ce pot fi considerate contextuale.
Metodele de redare volumetrică bazate pe redarea directă a volumelor permit
interacŃionarea intuitivă a utilizatorului cu volumul de vizualizat, iar prin modificarea
parametrilor folosiŃi în acest proces de redare se pot obŃine rezultatele dorite în timp real. Se
utilizează puterea de calcul a procesorului grafic, specializat în rularea paralelă a algoritmilor.
1.1. Obiective
Obiectivele propuse în dezvoltarea acestei teze au fost elaborarea şi investigarea unor
tehnici de analiză şi vizualizare a datelor provenite în urma scanărilor medicale. De asemenea,
s-a urmărit propunerea, elaborarea, implementarea şi testarea unor arhitecturi noi de sisteme de
vizualizare a datelor medicale.
Etapele principale care au fost parcurse pentru îndeplinirea acestor obiective pot fi
grupate astfel:
studiul tehnicilor ce aparŃin de vizualizarea volumetrică;
studiul celor mai folosite tehnici de segmentare şi aplicabilitatea lor pe imaginile
medicale;
dezvoltarea unui model de iluminare a volumelor, fără a fi necesară calcularea
contribuŃiilor luminii pentru fiecare voxel al volumului de iluminat;
dezvoltarea de algoritmi de reconstrucŃie şi combinare a structurilor segmentate cu datele
provenite dintr-o singură scanare medicală;
dezvoltarea de algoritmi paraleli de reconstrucŃie a datelor medicale obŃinute în urma
scanărilor unei structuri de interes utilizând plane de scanare diferite;
dezvoltarea de algoritmi paraleli de combinare a datelor volumetrice reconstruite din
diverse scanări medicale, efectuate la momente de timp diferite, utilizând parametri
diferiŃi pentru fiecare scanare în parte;
dezvoltarea şi introducerea unei reprezentări vizuale cu privire la sensibilitatea direcŃiei
acului utilizat la efectuarea unei biopsii asupra unei tumori intracraniene, faŃă de erorile
ce pot apărea pe întreg parcursul procedurii medicale.
1.2. Diseminarea rezultatelor
Diseminarea rezultatelor cercetării se regăseşte în mare parte în cele 8 lucrări ştiinŃifice,
astfel: 1 lucrare cotată ISI (factor de impact 0.688), 1 lucrare publicată în volumele unei
4
conferinŃe IEEE, 3 lucrări publicate în reviste de specialitate categoria B+ (indexate BDI), 2
lucrări publicate în volumele unor manifestări ştiinŃifice internaŃionale recunoscute din Ńară şi
străinătate şi o lucrare în curs de evaluare:
Paul Herghelegiu, Marius Gavrilescu, Vasile Manta. Visualization of Segmented Structures in
3D Multimodal Medical Data Sets, Advances in Electrical and Computer Engineering,
vol. 11, no. 3, pp. 99-104, 2011. (factor impact 0.688)
Paul Herghelegiu, Eduard Groeller, Vasile Manta. Needle Direction Stability Maps for Brain
Tumors Biopsies. 15th International Conference on System Theory and Control (Joint
conference of SINTES15, SACCS11, SIMSIS15), October 16-18, Sinaia, Romania, 2011.
Paul Herghelegiu, Vasile Manta. Volume Illumination Based On Lit Sphere Maps, Buletinul
Institutului Politehnic din Iasi, Automatic Control and Computer Science, Tom LIV
(LVIII), fasc. 3-4, 2008.
Paul Herghelegiu, Cristian Smochină, Vasile Manta. GPU Method for Registering Multiple
MRI Sequences, Buletinul Institutului Politehnic din Iasi, Automatic Control and
Computer Science, LVI (LX), fasc. 4, 2010.
Cristian Smochină, Paul Herghelegiu, Vasile Manta, Image Processing Techniques Used in
Microscopic Image Segmentation, Buletinul Institutului Politehnic din Iasi, Automatic
Control and Computer Science, Tom LVII(LXI), fasc. 2, 2011.
Paul Herghelegiu, Vasile Manta. 3D Reconstruction Of Spinal Cord Segmented By A Semi-
automated Algorithm Based On Region Growing. Computer Graphics, Visualization,
Computer Vision and Image Processing 2010, Freiburg, Germany, 27 - 29 July 2010.
Paul Herghelegiu, Vasile Manta. Single volume reconstruction from multiple MRI images, 14th
International Conference on System Theory and Control (Joint conference of SINTES14,
SACCS10, SIMSIS14), October 17-19, 2010, Sinaia, Romania.
Marius Gavrilescu, Paul Herghelegiu, Vasile Manta and Eduard Groeller. Types of Transfer
Functions for the Classification and Visualisation of Volume Data. Under evaluation
Computer & Graphics
1.3. Structura tezei
ConŃinutul tezei este structurat în 7 (şapte) capitole. În esenŃă, în teza elaborată sunt
investigate şi propuse unele tehnici de analiză şi vizualizare a datelor provenite în urma
scanărilor medicale. Teza este structurată după cum urmează:
Capitolul 2, „Tehnici de segmentare”, descrie metodele cele mai importante de
segmentare a imaginilor. Se pune accentul pe metodele folosite pentru realizarea aplicaŃiilor
descrise în această teză. De asemenea, este oferită şi o exemplificare a aplicării acestor metode
pe imagini medicale RMN.
5
În Capitolul 3, „Tehnici de vizualizare a datelor volumetrice”, sunt prezentate noŃiuni
generale cu privire la tehnicile de bază ale redării volumetrice utilizate în prezent, realizându-se
şi o analiză documentată a stadiului actual al domeniului. SecŃiunea, „Iluminarea volumelor
bazată pe modelul sferei luminate”, prezintă modalităŃi de iluminare a volumelor utilizând
modelul sferei luminate. Sunt descrise tehnicile de captare a iluminării de pe o imagine existentă,
precum şi tehnicile de modificare a iluminării unei scene utilizând o corespondenŃă între
normalele la suprafeŃele volumului şi cele ale unei emisfere utilizată ca obiect intermediar.
Capitolul 4, „Metode de combinare şi vizualizare a datelor RMN”, prezintă metode de
reconstrucŃie şi combinare a volumelor obŃinute din imagini RMN. Se consideră ca structură de
interes măduva spinării, segmentată din imaginile 2D utilizând metoda region-growing. Se
realizează, printr-un algoritm paralel de calcul, combinarea volumului corespunzător măduvei
spinării cu cel reconstruit din imaginile RMN originale În continuare se extinde această idee şi se
propune integrarea volumelor corespunzătoare mai multor plane de scanare RMN în aceeaşi
scenă. Pentru obŃinerea de imagini ce prezintă structurile interne ale pacientului se utilizează
aceeaşi parametri de scanare RMN. MulŃimea acestor parametri constituie ponderaŃia unei
scanări RMN. S-a propus, implementat, testat şi evaluat un algoritm nou de combinare a
volumelor, bazat pe metoda ray-casting ce implică manipularea cuburilor RGB folosite în
procesul de redare. Algoritmul propus nu creşte semnificativ timpul de calcul necesar pentru
vizualizarea scenei în care sunt combinate mai multe volume în comparaŃie cu vizualizarea unui
singur volum.
Capitolul 5, „Vizualizarea structurilor segmentate în seturile de date volumetrice
obŃinute din scanările medicale“, propune o metodă de vizualizare a structurilor segmentate
dintr-o secvenŃă RMN în volumul reconstruit dintr-o altă secvenŃă RMN. SecvenŃe RMN în
ponderaŃii diferite sunt necesare în mod uzual pentru a observa mai multe aspecte anatomice ale
unei structuri de interes. În acest capitol structura de interes este reprezentată de către o tumoră
intracraniană. S-a utilizat de asemenea un algoritm de aliniere a imaginilor, existent în literatură,
iar pentru segmentarea regiunii corespunzătoare tumorii a fost folosit algoritmul watershed.
Capitolul 6, intitulat „Hartă a stabilităŃii direcŃiei de inserare a acului pentru biopsiile
efectuate tumorilor intracraniene“, introduce un nou concept de vizualizare şi creare a hărŃilor de
stabilitate pentru acul utilizat în cazul efectuării biopsiilor. Harta introdusă oferă informaŃii cu
privire la acele direcŃii de inserare a acului, apropiate de direcŃia considerată iniŃial de către
medicul neurochirurg, ce nu vor atinge tumora sau care direcŃii sunt periculoase din punctul de
vedere al distanŃei până la cel mai apropiat vas de sânge.
Ultimul capitol al lucrării, Capitolul 7, prezintă concluziile ce rezultă în urma
cercetărilor efectuate, precum şi direcŃiile de cercetare viitoare.
6
2. Tehnici de segmentare
Scopul segmentării este acela de a împărŃi imaginea în regiuni ce au o corelaŃie puternică
cu obiectele sau suprafeŃele din imagine. Cu alte cuvinte, segmentarea unei imagini înseamnă
împărŃirea ei în regiuni ce prezintă unele similarităŃi din punctul de vedere al atributelor pixelilor
ce le compun. Cel mai utilizat atribut în segmentarea imaginilor medicale este intensitatea
pixelilor imaginilor pe care le returnează scanerul medical. Această intensitate poate fi direct
proporŃională cu densitatea structurilor scanate sau poate reprezenta nivelul de flux sanguin
dintr-o anumită zonă.
2.1. Introducere
În ciuda eforturilor intense depuse în acest domeniu, nu există o metodă de segmentare
care să acopere toată gama de necesităŃi. Au fost propuse numeroase metode de segmentare până
în prezent, dintre care unele s-au bucurat de o popularitate mai mare. Evaluarea metodelor
introduse a fost bazată pe acurateŃea rezultatelor obŃinute, deoarece o teorie a segmentării
imaginilor nu există. Haralick şi Shapiro au fost printre primii care au introdus o primă evaluare
calitativă a procesului de segmentare (Pratt, 2006).
Segmentarea imaginilor medicale reprezintă o sarcină extrem de dificilă. Deşi au fost
propuse numeroase metode în ultima perioadă, nu există o metodă generală care să acopere toată
gama de necesităŃi. Segmentarea imaginilor medicale microscopice a reprezentat, de asemenea, o
un domeniu de interes în comunitatea ştiinŃifică (Smochină, et al., 2011). De obicei, algoritmii de
segmentare sunt combinaŃi între ei, pentru a obŃine un maxim de eficacitate.
Ambiguitatea prezentă în imagini este principala problemă a segmentării. De asemenea,
prezenŃa unui nivel ridicat de zgomot în imagine poate crea dificultăŃi în segmentarea regiunilor
de interes. Pe baza modului de lucru a algoritmilor, tehnicile de segmentare pot fi clasificate în
cinci categorii:
metode bazate pe filtrare locală şi pe aplicarea de praguri (threshold);
metode bazate pe extinderea regiunilor region growing;
metode de tip watershed;
metode bazate pe modelul snake sau pe funcŃii de energie (level set);
metode hibride.
Metoda filtrării foloseşte informaŃia locală şi nu poate garanta contururi continue, spre
deosebire de metodele bazate pe snake care folosesc doar informaŃia existentă de-a lungul
conturului unei suprafeŃe şi necesită o bună estimare a poziŃiei de iniŃializare a algoritmului
pentru obŃinerea unei convergenŃe corecte.
2.2. Metode bazate pe extinderea regiunilor (region growing)
Region-growing este una dintre metodele cel mai uşor de descris şi de implementat din
domeniul segmentării imaginilor. După cum sugerează şi numele, metoda region-growing
grupează pixelii în regiuni pe baza unui criteriu predefinit. Pixelii vecini cu proprietăŃi similare
sunt grupaŃi, formând astfel o regiune segmentată. Abordarea de bază implică folosirea unor
7
puncte de pornire a algoritmului (puncte de seed), puncte în jurul cărora se vor dezvolta regiunile
segmentate. Punctele de seed considerate vor fi tot timpul în interiorul regiunilor segmentate, iar
alegerea poziŃiei lor depinde în mare parte de natura imaginii de segmentat.
Alegerea criteriului de similaritate pe baza căruia regiunile segmentare vor fi extinse nu
depinde numai de natura problemei luate în considerare, ci şi de tipul imaginii. De exemplu,
segmentarea imaginilor luate din satelit depinde în mod semnificativ de utilizarea culorilor. În
cazul imaginilor monocrome, precum imaginile medicale, metoda region-growing trebuie
aplicată pe nivelurile de gri, iar obŃinerea unei segmentări satisfăcătoare este o sarcină mai greu
de efectuat.
2.3. Metode de tip watershed
Pentru o mai bună înŃelegere a algoritmului watershed, o analogie cu un caz simplu din
viaŃa de zi cu zi poate ajuta într-un mod semnificativ. În cazul unei ploi, fiecare picătură de apă
ce cade pe pământ tinde să se îndrepte către o regiune de minim local. Acumularea de apă din
jurul unui minim local poartă numele de bazin de colectare. Toate punctele corespunzătoare
picăturilor care se adună într-un asemenea bazin constituie un bazin hidrografic (watershed). O
vale este o porŃiune înconjurată de regiuni cu altitudine mare (creste). O creastă a suprafeŃei de
altitudine este constituită din punctele din care o picătură de apă poate ajunge cu aceeaşi
probabilitate în mai multe regiuni de minim local. Fiecărui bazin hidrografic îi va corespunde o
regiune segmentată. Algoritmul watershed presupune că valori de o intensitate mai ridicată în
imaginea iniŃială indică regiunile de frontieră între structurile ce trebuie segmentate. Din acest
motiv, algoritmul watershed de segmentare este în mod uzual folosit ca o etapă finală sau
intermediară într-un algoritm hibrid de segmentare, unde pasul iniŃial este generarea şi
identificarea contururilor (Ibanez, et al. 2005).
2.4. Metode bazate pe modelul snake sau pe funcŃii de energie (Level Set)
Segmentarea prin metoda level-set implică rezolvarea unei metode numerice pentru a
urmări evoluŃia unui contur sau a unei suprafeŃe. EvoluŃia curbelor sau a suprafeŃelor spre
conturul unei anumite structuri de interes reprezintă o metodă de segmentare a imaginilor
folosită atât în domeniul graficii asistate de calculator, precum şi în alte arii de cercetare precum
domeniul fizicii computaŃionale. Metoda snake ce stă la baza algoritmilor level-set de
segmentare urmăreşte evoluŃia unei curbe iniŃiale spre potenŃialul minim al unei funcŃii cost
ataşate (Kass, et al., 1987). De obicei, această funcŃie cost implică şi unele variabile ce depind de
forma geometrică a structurilor de interes ce se doresc a fi segmentate.
Tehnicile level-set reprezintă cea mai adecvată metodă de a urmări unele suprafeŃe ce
evoluează şi au fost introduse şi într-o manieră paralelă de calcul (Osher şi Paragios, 2003).
2.5. Metode hibride
Alte metode de segmentare utilizate în prezent sunt metodele de segmentare hibride.
Aceste metode combină segmentările bazate pe contururi cu cele bazate pe regiuni, furnizând
rezultate ce combină avantajele ambelor metode, diminuând în acelaşi timp dezavantajele.
8
3. Tehnici de vizualizare a datelor volumetrice
Până acum câŃiva ani, redarea datelor volumetrice era restricŃionată la unele echipamente
hardware extrem de scumpe şi greu de programat. Primii paşi către o placă video complet
programabilă au fost făcuŃi odată cu implementarea posibilităŃii de rasterizare configurabilă şi de
procesare a vertex-urilor în anul 1999. InovaŃia majoră adusă de plăcile video curente este
reprezentată de posibilitatea furnizării unor micro-programe direct către procesoarele vertex sau
fragment ale procesoarelor grafice (Graphics processing unit - GPU).
Vizualizarea directă a volumelor înseamnă procesarea directă a datelor volumetrice
dintr-un câmp scalar, fără a mai necesita extragerea de forme geometrice. Acest lucru poate fi
scris ca o corespondenŃă între un spaŃiu 3D şi o singură valoare scalară, cu ajutorul unei funcŃii
RR →3:φ . În mod uzual, se utilizează o funcŃie de transfer pentru a defini o corespondenŃă
între proprietăŃile câmpului scalar 3D şi proprietăŃile fizice ce descriu interacŃiunea luminii în
respectivul punct din spaŃiu.
3.1. Modelul fizic de transport al luminii
Scopul redării volumetrice este acela de a produce imagini 2D ce vor fi afişate în
fereastra de vizualizare pe baza proprietăŃilor fizice ale unui câmp scalar considerat. Acest lucru
este realizat prin utilizarea acestor proprietăŃi fizice pentru a determina modalitatea de transport a
luminii pentru sinteza imaginii finale. Redarea volumetrică simulează propagarea de raze de
lumină prin volumul de afişat, generând imagini pe baza interacŃiunii dintre lumină şi diferitele
structuri întâlnite de aceasta.
3.1.1. EcuaŃia de transport a luminii
Din punct de vedere fizic, redarea geometrică se bazează pe proprietăŃile optice ale
luminii de a se propagă în linie dreaptă, în afara cazului când au loc anumite interacŃiuni între
lumină şi structurile volumetrice întâlnite. InteracŃiunile ce pot apărea au fost grupate în funcŃie
de tipul de emisie, absorbŃie şi difuzie (Engel, et al. 2006):
Fenomenele de emisie, absorbŃie sau difuzie modifică energia radiantă unei raze de
lumină. Energia luminoasă poate fi descrisă prin radianŃa corespunzătoare I, definită ca energia
radiantă Q pe unitatea de suprafaŃă A, în unitatea de unghi solid Ω şi în unitatea de timp t
(Engel, et al. 2006):
dtdAd
dQI
Ω= (3.1)
Unitatea de suprafaŃă A trebuie să fie măsurată pe direcŃia normală a propagării razei de lumină.
Prin combinarea efectelor emisiei, absorbŃiei şi difuziei, se obŃine următoarea ecuaŃie a
transportului luminii (Engel, et al. 2006):
ηχ +−=∇⋅ ),(),( ωωω x xIxI (3.2)
Termenul ),( ωω xIx∇⋅ este produsul scalar dintre direcŃia luminii ω şi gradientul radianŃei I în
poziŃia x. Dacă o rază de lumină este parametrizată prin lungimea s, atunci se poate scrie
9
ds
dIxIx =∇⋅ ),( ωω (Engel, et al. 2006). Termenul χ reprezintă coeficientul absorbŃiei totale şi
defineşte rata cu care lumina este atenuată de punctele întâlnite. η este emisia totală şi descrie
măsura în care energia radiantă creşte pe parcursul razei.
Coeficientul absorbŃiei totale, χ , este constituit din coeficientul absorbŃiei reale k şi
coeficientul difuziei, σ , care reprezintă cantitatea de energie pierdută prin difuzie. În mod
analog, emisia totală poate fi împărŃită în emisia reală q şi difuzia corespunzătoare j. Având în
vedere ca toŃi aceşti parametri depind de poziŃia x de pe rază şi de direcŃia acesteia, putem scrie:
),(),(),(
),(),(),(
ωωω
ωωω
xjxqx
xxkx
+=
+=
η
σχ (3.3)
În mod uzual, componentele k, σ şi q sunt proprietăŃi optice specificate de utilizator, în principal
prin utilizarea unei funcŃii de transfer. Componenta de difuzie j trebuie să fie calculată din
proprietăŃile materialelor întâlnite de către rază. Trebuie considerate toate contribuŃiile posibile
provenite din toate direcŃiile (Engel, et al. 2006):
∫ Ω=sfera
dxIxpxxj '),(),,(),(4
1),( ω'ωω'ω'ω σ
π (3.4)
ContribuŃiile luminii incidente ),( ω'xI sunt cumulate prin integrarea după toate direcŃiile
incidente ω' . Aceste contribuŃii sunt ponderate de coeficientul de difuzie σ şi o funcŃie de fază
p care descrie probabilitatea ca o lumină difuzată din direcŃia originală ω' să se îndrepte în
direcŃia ω .
Prin combinarea emisiei, absorbŃiei, difuziei incidente, difuziei reflectate, ecuaŃia
completă a transportului luminii devine:
∫ Ω+++−=∇⋅sfera
dxIxpxxqxIxxkxI '),(),,(),(),(),()),(),((),( ω'ωω'ω'ωωωωωω x σσ (3.5)
EcuaŃia (3.5) poate fi aplicată numai imaginilor ce conŃin tonuri de gri, deoarece numai
acestea pot fi caracterizate de radianŃa I. Pentru a putea fi aplicată pe imagini color, lungimile de
undă ale razelor trebuie luate în considerare, prin calcularea radianŃei în funcŃie de lungimea de
undă, λλ
d
dII = . Cu toate că ochiul uman percepe lungimi de undă între 400 nm (violet) şi 700
nm (roşu), pentru afişarea unei imagini color este suficient să se considere numai lungimile de
undă corespunzătoare culorilor roşu, verde şi albastru.
3.2. Integrala redării volumetrice
Modelul optic cel mai frecvent utilizat este cel de emisie – absorbŃie. Acesta înseamnă, în
esenŃă, că fiecare punct traversat de o rază poate atenua strălucirea razei sau, invers, de a emite o
lumină proprie. Deci, când ajunge la privitor, raza de lumină conŃine informaŃii ce rezultă din
acumulările de emisie şi absorbŃie ale punctelor aflate pe direcŃia ei. Analitic, acest
10
comportament este exprimat pentru o rază de lumină ce are ca punct de start punctul 0s , iar ca
punct de final punctul Es , prin ecuaŃia (Engel, et al. 2006):
( ) ( )∫∫∫ −−
+=E
Es
s
Es
ss
s
dttkdttk
E dsesqeIsI
0
00
)()(
0 (3.6)
unde 0I reprezintă lumina ambientală ce pătrunde în volum la poziŃia 0s . ( )EsI este radianŃa ce
părăseşte volumul în punctul Es şi ajunge în final la observator. Termenul
∫=2
1
)(),( 21
s
s
dttkssτ (3.7)
defineşte adâncimea optică dintre poziŃiile 1s şi 2s . Ca interpretare fizică, adâncimea optică
măsoară distanŃa medie pe care lumina o parcurge în mediu până când este împrăştiată. Pentru un
mediu transparent se vor obŃine valori mici, iar pentru un mediu relativ opac se vor obŃine unele
valori mai ridicate. TransparenŃa corespunzătoare pentru un material între punctele 1s şi 2s este:
∫−− ==
2
121
)(),(
21 ),(
s
s
dttkss
eessTτ (3.8)
Luând în considerare această definiŃie a transparenŃei, înlocuind în ecuaŃia (3.1) se obŃine:
( ) ( ) ( ) ( )∫+=Es
sEEE dsssTsqssTIsI
0
,,00 (3.9)
Intensitatea )( EsI a razei vizualizate este suma componentei iniŃiale 0I modulată de
transparenŃa asociată ei şi efectul integrat a componentelor de emisie - absorbŃie a tuturor
punctelor aflate pe direcŃia razei.
3.3. Discretizarea
Scopul principal al redării volumetrice îl reprezintă calculul integralei de redare din
ecuaŃia (3.9). Deoarece valoarea integralei nu poate fi calculată în mod analitic, sunt aplicate
metode numerice pentru a găsi o aproximare cât mai apropiată de valoarea reală.
3.3.1. Separarea pe intervale de integrare
O abordare comună împarte domeniul de integrare în n subdomenii. Intervalele sunt
descrise de locul pe care îl ocupă, nin ssss <<<< −L10 , unde 0s este punctul de start al
domeniului de integrare şi Dsn = este punctul de sfârşit al acestuia.
Considerând transportul luminii corespunzător intervalului i , [ ]ii ss ,1− , se obŃine radianŃa
la poziŃia is după următoarea formulă:
( ) ( ) ( ) ( )∫−
+= −−
i
i
s
siiiii dsssTsqssTsIsI
1
,,)( 11 (3.10)
11
Pentru intervalul i, se introduc următoarele notaŃii pentru transparenŃă şi contribuŃia culorii
corespunzătoare intervalului cu numărul i:
∫−
=
= −
i
i
s
sii
iii
dsssTsqc
ssTT
1
),()(
),( 1
(3.11)
Partea haşurată din figura 3.2 descrie rezultatul integrării corespunzător unui singur interval.
RadianŃa în punctul de ieşire din volum va fi descrisă de:
K=++=+== −−−− nnnnnnnnn cTcTsIcTsIsIDI ))(()()()( 1121 ,
relaŃie ce poate fi scrisă ca:
∏∑+==
=n
ij
j
n
i
i TcDI10
,)( (3.12)
unde )( 00 sIc = . În mod uzual, transparenŃa jT este înlocuită de opacitatea jj T−= 1α .
În continuare, se prezintă problema evaluării contribuŃiilor transparenŃei şi a culorii
pentru fiecare interval. Cea mai uzuală abordare este aproximarea integralei redării volumetrice
printr-o suma Riemann pe n segmente echidistante de lungime nsDx /)( 0−=∆ . Integrarea
corespunzătoare fiecărui segment este aproximată prin calculul ariei unui dreptunghi. Datorită
acestei aproximări, transparenŃa segmentului cu numărul i devine:
xski eT
∆−≈ )( 1 (3.13)
iar contribuŃia culorii pentru segmentul cu numărul i este:
xsqc ii ∆≈ )( (3.14)
3.3.2. Compunerea culorilor
Compunerea este operaŃia care stă la baza calculării iterative a formei discretizate a
integralei redării volumetrice (3.12). Se urmăreşte împărŃirea sumelor şi produselor necesare
calculării ecuaŃiei (3.12) în mai multe operaŃii mai simple care sunt executate secvenŃial. Există
două metode de compunere ce sunt utilizate în aplicaŃiile redării volumetrice: front-to-back şi
back-to-front (Engel, et al. 2006).
Metoda de compunere front-to-back este aplicată când direcŃiile de vizualizare pornesc de
la observator şi trec prin volum. Folosim în continuare notaŃia C pentru descrierea culorii, de
obicei dată sub forma RGB. Atât contribuŃia radianŃei c cât şi radianŃa acumulată I din secŃiunile
anterioare vor fi acum asociate cu un asemenea descriptor de culoare.
EcuaŃiile iterative ale metodei front-to-back sunt:
)1(ˆˆ
ˆˆˆ
1
11
iii
iiii
TT
CTCC
α−=
+=
+
++
cu valorile iniŃiale
12
.1ˆ
,ˆ
nn
nn
T
CC
α−=
=
În aceste ecuaŃii, iC şi iT sunt rezultatele obŃinute în urma calculării contribuŃiei pasului curent
de iterare, iar 1ˆ+iC şi 1
ˆ+iT sunt rezultatele acumulate din calculele anterioare. Termenul iC şi
opacitatea iα sunt preluate din funcŃia de transfer folosită în procesul de redare volumetrică, sau
sunt preluate direct din modelul fizic utilizat. IteraŃiile pornesc din prima poziŃie de eşantionare
ni = (cea mai apropiată de privitor) şi se opresc la poziŃia 0=i aflată după volumul ce se
doreşte a fi vizualizat. Pentru o mai facilă înŃelegere a acestui fenomen, se poate recurge la o
schimbare a notaŃiilor folosite (Engel, et al. 2006):
isrc
jdst
isrc
jdst
iijT
CC
iijCC
αα
α
=
+=−=
=
+==
1,cu,ˆ1
1,cu,ˆ
Prin aplicarea acestor substituŃii, metoda front-to-back de compunere devine:
srcdstdstdst
srcdstdstdst CCC
αααα
α
)1(
)1(
−+←
−+← (3.15)
EcuaŃia (3.15) este utilizată în mod recursiv pe parcursul unei raze de vizualizare, actualizând
valorile dstC şi dstα .
Prin inversarea direcŃiei de parcurgere, se obŃine metoda de compunere back-to-front:
)1(ˆˆ
)1(ˆˆ
1
1
iii
iiii
TT
CCC
α
α
−=
+−=
−
−
cu valorile iniŃiale
.1ˆ
,ˆ
00
00
α−=
=
T
CC
IteraŃiile pornesc din poziŃia 0=i şi se opresc la poziŃia ni = . Se poate observa că transparenŃa
acumulată iT nu este necesară pentru a calcula contribuŃia culorii iC şi, deci, poate fi omisă.
În mod analog scrierii metodei front-to-back, se poate rescrie şi această metodă într-o
formă ce exprimă explicit ideea de aplicare iterativă:
srcdstsrcdst CCC +−← )1( α (3.16)
Pe lângă aceste abordări prezentate până acum, necesităŃile medicale de vizualizare
volumetrică a datelor au condus spre propunerea de metode alternative. Astfel de exemple sunt
constituite de către proiecŃia intensităŃii maxime (maximum intensity projection - MIP) sau de
către radiografii. Tehnica de redare volumetrică MIP este calculată după următoarea formulă de
compunere:
13
),max( srcdstdst CCC ← (3.17)
Rezultatul final va fi maximul dintre contribuŃiile punctelor aflate pe direcŃia razei. Această
metodă de compunere este independentă de ordinea de traversare a volumului. MIP este aplicată
îndeosebi la vizualizarea scanărilor angiografice, acolo unde se doreşte evidenŃierea vaselor de
sânge.
3.4. Metode de vizualizare volumetrică
Vizualizarea ştiinŃifică a datelor volumetrice reprezintă un domeniu vast de cercetare şi în
ultima perioadă au fost dezvoltate multiple tehnici de vizualizare a acestor tipuri de date.
Exemple de astfel de tehnici folosite pentru redarea volumelor sunt metodele ray-casting,
reprezentarea datelor prin poligoane folosind metoda marching-cubes sau vizualizarea altor
aspecte cum ar fi segmentările sau statisticile.
3.4.1. Metoda marching-cubes
Metoda marching-cubes este o metodă de redare volumetrică ce implică extragerea unei
reŃele poligonale (mesh) corespunzătoare unei izosuprafeŃe dintr-un set de date 3D. Această
tehnică prezintă dezavantajul de a nu putea fi aplicată pe GPU, timpul necesar redării volumelor
fiind foarte mare, datorită caracterului secvenŃial al algoritmului. De asemenea, algoritmul
conŃine o etapă de luare a unei decizii binare asupra poziŃiei intermediare care este extrasă şi
redată din interiorul volumului. Acest proces de extragere a unei structuri intermediare poate
duce la decizii de fals pozitiv (obiecte care nu există) şi de fals negativ (ascunderea structurilor
mici sau a celor slab definite). Din aceste motive, metoda folosită la scară largă în prezent pentru
afişarea volumelor este ray-casting.
3.4.2. Metoda ray-casting
Ray-casting este o metodă de redare a volumelor reconstruite dintr-o serie de imagini 2D.
Metoda implică determinarea imaginii 2D ce va fi afişată prin lansarea de raze de la nivelul
observatorului prin volumul de afişat şi calcularea culorii, iluminării şi opacităŃii finale prin
combinarea contribuŃiilor punctelor aflate de-a lungul razei respective. Metoda ray-casting
bazată pe procesoarele grafice a fost introdusă în 2003 de către Krüger şi Westrerman şi descrie
utilizarea algoritmului matematic descris anterior într-o manieră paralelă de calcul (Krüger şi
Westermann, 2003).
Pentru fiecare pixel al ferestrei de vizualizare, se generează o rază ce trece prin volum
până când un prag de opacitate este atins. Anterior procesului de traversare a volumului, pentru
fiecare rază trebuie calculată direcŃia de propagare a acesteia prin volumul ce trebuie afişat.
Aceste direcŃii se salvează în texturi 2D, şi pot fi folosite direct pentru calculele următoare.
Procesul de traversare a volumului de către rază implică un număr fix de paşi, fiecare pas
presupunând parcurgerea unei anumite distanŃe date. Pentru trecerea de la un pas la următorul, se
efectuează un test pentru a vedea dacă opacitatea totală a ajuns un prag maxim prestabilit. În
funcŃie de rezultatul acestui test, se trece la pasul următor sau se opreşte algoritmul, caz în care
14
punctele neconsiderate aflate pe direcŃia razei nu vor contribui în nici un fel la culoarea finală a
acesteia.
În principal, algoritmul presupune efectuarea următoarelor etape, etape ce se vor
desfăşura într-o manieră paralelă utilizând proprietăŃile procesoarelor grafice:
Determinarea direcŃiei razelor
Pentru calculul direcŃiei razelor se foloseşte un cub RGB. Având în vedere faptul că în
modelul RGB culorile sunt definite prin intermediul a trei componente numerice, acestea pot
descrie un volum dacă fiecare componentă a culorii este tratată ca o coordonată carteziană
într-un spaŃiu euclidian. Pentru modelul RGB, reprezentarea culorilor în spaŃiul tridimensional
descrie un cub ce utilizează ca şi coordonate valori pozitive, în intervalul ]1,0[ . În figura 3.1 sunt
prezentate imaginile corespunzătoare cubului RGB folosit pentru determinarea direcŃiei razelor.
De asemenea, s-a efectuat si o scădere a celor două imagini (din punctul de vedere al culorilor),
rezultatul fiind utilizat în determinarea direcŃiilor de propagare ale razelor prin volum.
Figura 3.1. Rezultatul operaŃiei de scădere între textura ce reprezintă feŃele vizibile şi cea corespunzătoare feŃelor
ascunse ale cubului RGB, utilizat pentru determinarea vectorului direcŃie corespunzător fiecărei raze.
Eşantionarea şi compunerea culorilor
În momentul în care o rază parcurge volumul, sunt considerate eşantioane la distanŃe fixe.
Fiecărui eşantion îi corespunde o valoare scalară dacă volumul este reconstruit din imagini RMN
sau CT. Această valoare scalară poate fi folosită direct sau poate fi asociată unei culori şi
opacităŃi în concordanŃă cu funcŃia de transfer folosită. Valorile astfel obŃinute sunt compuse
după ecuaŃiile (3.15), la final obŃinându-se culoarea corespunzătoare pixelului din fereastra de
vizualizare.
3.5. Iluminarea volumelor bazată pe modelul sferei luminate
3.5.1. Introducere
Redarea directă a volumelor este metoda cea mai utilizată în procesul de vizualizare a
volumelor provenite din date ştiinŃifice. Majoritatea tehnicilor de vizualizare utilizate şi introduse
în ultima perioadă au încercat sa redea cât mai fidel modelul fizic real. Deoarece mărimea datelor
ştiinŃifice (majoritatea provenite de la scanările tomografice) creşte cu o rată geometrică, a
15
devenit obligatorie explorarea tehnicilor care îmbunătăŃesc înŃelegerea detaliilor modelului. O
direcŃie de cercetare în acest domeniu este reprezentată de modul de iluminare a scenei.
Pentru a obŃine gama largă de efecte utilizate astăzi în vizualizarea ştiinŃifică, unele
influenŃe din artă au fost observate. În ciuda faptului că majoritatea acestor influenŃe au fost
folosite pentru o redare cât mai reală a modelului utilizat, artiştii au dezvoltat cu succes tehnici
de iluminare non-fotorealistice pentru ghidarea atenŃiei privitorului în ilustraŃiile ştiinŃifice, în
artă sau în fotografie. Multe concepte recente din domeniul vizualizării au luat în calcul acest
aspect, ceea ce a condus spre un interes sporit în domeniul vizualizării ilustrative a volumelor
(illustrative volume visualization). O tehnică binecunoscută de redare non-fotorealistică este
aceea de a reprezenta volumul sub diferite iluminări. Aceasta tehnică a fost folosită şi de diferiŃi
artişti de-a lungul anilor.
In această secŃiune, se introduce conceptul de control al iluminării volumului, prin
controlarea iluminării unei sfere utilizate în procesul de redare. Se va prezenta o nouă tehnică de
obŃinere a unui volum iluminat, fără a consuma timp sau resurse suplimentare faŃă de abordările
anterioare privitoare la vizualizarea 3D a seturilor de date provenite din scanările tomografice
(Herghelegiu şi Manta, 2008).
In domeniul graficii asistate de calculator, a fost dezvoltată o metodă simplă pentru a
putea capta modelul de umbrire non-fotorealistă dintr-o piesa de artă deja existentă (Sloan, et al.,
2001). Această metodă a fost folosită ca punct de plecare pentru o altă metodă, care oferă, în
locul definirii unei funcŃii de transfer pentru culoare care poate avea numeroşi parametri utilizaŃi
în controlarea redării non-fotorealistice, posibilitatea utilizatorului de a specifica direct un anumit
stil de reprezentare, stil capturat dintr-o ilustrare deja existentă şi salvat într-o librărie (Bruckner,
et al., 2007). Conceptul funcŃiilor de transfer al stilului reprezintă o piatră de temelie a noii
abordări de iluminare a volumelor, care este introdusă în această secŃiune.
3.5.2. FuncŃiile de transfer al stilului utilizate in redarea ilustrativa a volumelor
3.5.2.1. Iluminarea sferelor (Lit sphere shading)
Sloan, et al., 2001, au prezentat o metodă simplă, dar eficientă, de captare a iluminării
artistice utilizând o imagine a unei sfere iluminate în stilul dorit. Aceasta metodă a fost
dezvoltată pentru redarea non-fotorealistică a modelelor poligonale. Ideea de bază este aceea de a
capta variaŃia culorii în funcŃie de direcŃia normalei. O sferă este utilizată ca obiect intermediar
pentru iluminarea scenei, pentru că furnizează un set complet de normale. Va fi creată proiecŃia
ortografică a acesteia, o imagine ce va capta toate variaŃiile normalelor de pe emisferă. Această
imagine este utilizată ca o hartă sferică, furnizând corespondenŃele necesare pentru iluminarea
unui alt obiect. Pe scurt, sfera este utilizată ca şi obiect de transmitere a informaŃiilor privind
iluminarea de la un obiect la celălalt. Sloan et al. descriu şi o metodă de a extrage aceste
informaŃii despre iluminarea scenei dintr-o suprafaŃă non-sferică. De asemenea, este prezentată şi
o aplicaŃie care permite extragerea rapidă şi interactivă a acestor stiluri de iluminare.
16
3.5.2.2. FuncŃiile de transfer al stilului (Style transfer functions)
Bruckner et al., 2007, au prezentat o modalitate de folosire a modelelor sferelor luminate
pentru afişarea volumelor provenite din date ştiinŃifice, cum ar fi cele de la computer tomograf.
Se presupune existenŃa unui câmp volumetric scalar continuu )(Pf . Un punct de la o
poziŃie arbitrară P este descris de )(Pfs = . Gradientul la poziŃia P este notat cu )(Pfg ∇=r
.
Pentru realizarea iluminării, normala va lua valoarea normalizata a gradientului g
gn
rr= .
Pe parcursul procesului de redare, pentru fiecare punct al volumului, sunt calculate
valoarea scalară şi gradientul. FuncŃia de transfer determină culoarea şi opacitatea punctului, iar
gradientul este utilizat pentru determinarea iluminării. Modelul iluminării şi parametrii săi sunt
de obicei fixaŃi, deci nu sunt dependenŃi de funcŃia de transfer. In abordarea lor, Bruckner et al.
au integrat ideea de combinare a informaŃiei despre culoare şi iluminare într-o singură funcŃie de
transfer şi anume funcŃia de transfer al stilului. Din punct de vedere matematic, acest lucru este
echivalent cu extinderea domeniului funcŃiei de transfer prin includerea direcŃiei normalei.
FuncŃiile de transfer al stilului permit combinarea unor diferite stiluri de iluminare într-o
singură funcŃie de transfer. Aceste funcŃii permit utilizarea unor modele inconsistente de
iluminare, pentru a pune în evidenŃă anumite aspecte ale volumului.
3.5.3. ObŃinerea modelului de iluminare
FuncŃiile de transfer al stilului, prezintă dezavantajul unei iluminări fixe asupra
volumului (Bruckner, et. al. 2007). Din acest inconvenient, s-a introdus ideea redării imaginii
unui volum iluminat, folosind modelele obŃinute prin metoda prezentată de Sloan et. al şi
extinzând conceptul funcŃiilor de transfer al stilului. Pentru un set de date volumetrice, ca de
exemplu cele obŃinute din domeniul medical, este extrem de dificilă realizarea iluminării
volumului în contextul în care trebuie tratate straturile volumului individual, iar acestea pot fi sau
nu transparente. De asemenea, contribuŃia fiecărei surse de lumină trebuie calculată individual
pentru fiecare eşantion, sporind în mod semnificativ capacitatea de calcul necesară. Din aceste
motive s-a introdus ideea de a ilumina într-un mod realist diferitele harŃi sferice folosite în
vizualizarea volumului, pentru a putea crea imaginea unui volum iluminat, fără consum
suplimentar de timp. Deoarece există o corespondenŃă bine definită între proiecŃia ortografică a
sferei şi normala la volum, prin iluminarea sferei folosite ca şi textură, respectivul volum va
apărea ca fiind luminat, rezultatele fiind obŃinute în timp real. Deci, când un volum va apărea ca
fiind luminat, lumina este de fapt aplicată pe sfera care este apoi proiectată ortografic pe textura
utilizată la vizualizarea volumului.
Utilizând aceasta tehnică, se pot aplica diferite efecte luminoase unor segmente separate
ale volumului. In figura 3.2 este prezentat acest efect de iluminare individuală a diferitelor
segmente ale volumului.
17
Figura 3.2. Iluminarea a două părŃi ale volumului cu două surse de lumină diferite.
Se observă faptul că pielea este iluminată din stânga, iar oasele din dreapta (Herghelegiu şi Manta, 2008).
Pentru utilizarea mai multor surse de lumină, s-a folosit o normalizare a intensităŃii
luminoase a acestora pentru a evita iluminarea excesivă a imaginii şi obŃinerea unor efecte de
„ardere” a acesteia. De asemenea, această normalizare a fost introdusă pentru ca fiecare sursă de
lumină să aibă un efect asupra imaginii finale, indiferent de numărul lor. De exemplu, dacă există
două surse de lumină cu aceeaşi poziŃie, culoare şi tip, iluminarea volumului va fi aceeaşi ca în
cazul existenŃei unei singure surse de lumină cu aceeaşi parametri. ContribuŃia pe care fiecare
sursă de lumină o va avea asupra imaginii finale este calculată separat, deci pentru fiecare sursă
de lumină va fi creată o textură care va capta numai aportul acesteia asupra imaginii finale. De
exemplu, pentru o scenă cu două surse de lumină, iluminarea finală va fi calculată după
algoritmul prezentat în figura 3.3.
Datorită faptului că în cazul funcŃiilor de transfer al stilurilor parametrii iluminării nu
puteau fi editaŃi, iluminarea scenei fiind fixă şi stabilită la începutul procesului de redare, a
apărut ideea de editare a efectelor luminoase ce puteau fi aplicate asupra unui volum. AplicaŃia
permite editarea interactivă a următorilor parametri: poziŃia sursei de lumina care se deplasează
pe o emisfera imaginară aflată în faŃa emisferei pe care se captează efectul luminos, precum şi
culoarea şi tipul (difuz, ambient sau specular) luminii.
In abordarea prezentată, pentru combinarea efectelor aduse de fiecare sursa de lumină
asupra iluminării finale, s-au folosit funcŃii de amestec al culorilor. S-a folosit un amestec al
culorilor aditiv, pentru că se realizează adunarea efectivă a celor două culori ale sursei şi ale
destinaŃiei.
18
Figura 3.3. Paşii necesari obŃinerii texturii utilizate în procesul de redare volumetrică (Herghelegiu şi Manta, 2008).
3.6.4. Concluzii
In această secŃiune s-a introdus o nouă tehnică de combinare a efectelor luminoase
produse de multiple surse de lumină aflate într-o scenă, utilizând o normalizare a intensităŃilor
luminoase. Fiecare sursă de lumină modifică un anumit stil utilizat în procesul de redare
volumetrică. Se foloseşte o emisferă ca obiect intermediar, contribuŃiile surselor de lumină fiind
captate pe aceasta. Utilizând apoi o corespondenŃă între normalele la suprafaŃa sferei şi cele la
suprafaŃa volumului de vizualizat, se creează efectul de iluminare a volumului. Acest model
prezentat poate fi utilizat în vizualizarea volumelor, iar interfaŃa propusă este uşor de utilizat,
oricine putând crea efectul unui volum iluminat, într-un mod intuitiv, efect ce poate fi salvat
pentru o utilizare ulterioară, eventual pe alte seturi de date.
19
4. Metode de combinare şi vizualizare a datelor RMN
În prezent, scopul imaginilor obŃinute prin diverse scanări medicale nu mai este limitat la
simpla inspecŃie a acestora. Interesul s-a extins spre dezvoltarea de tehnici moderne de
reconstrucŃie volumetrică, ce ajută medicii în multe practici clinice precum planificarea
operaŃiilor, detecŃia fracturilor sau a tumorilor. În mod uzual, pacientul este supus unei serii de
proceduri de scanare. Acestea pot fi efectuate cu aceiaşi parametri ai echipamentului hardware
RMN folosit (aceeaşi ponderaŃie) sub diferite unghiuri ale planelor de scanare, sau pot fi
efectuate în ponderaŃii diferite. În cazul al doilea, pentru ponderaŃii RMN diferite, pacientul
suferă modificări ale poziŃiei de la o scanare la alta. Pentru combinarea acestor date, trebuie
folosit în prealabil un algoritm de aliniere. Integrarea datelor volumetrice reconstruite din diverse
scanări RMN într-o singură scenă de vizualizare ajută medicii să înŃeleagă mai bine structura
unui anumit organ al corpului omenesc sau la identificarea poziŃiei spaŃiale a acestuia într-un
mod facil. Adăugarea în scenă a datelor cu privire la o anumită structură de interes sporeşte
înŃelegerea anatomiei acesteia în contextul afişării structurilor ce o înconjoară.
4.1. ReconstrucŃia volumetrică a unei serii de imagini RMN şi combinarea cu o structură segmentată
4.1.1. Introducere
Vizualizarea volumetrică a diferitelor organe ale corpului uman oferă o mai bună
perspectivă asupra acestora şi ajută medicii în procesul de diagnosticare. În procesul de
vizualizare volumetrică, este necesară implementarea unui algoritm de reconstrucŃie a imaginilor
succesive obŃinute. Deoarece metodele de segmentare 3D pot fi mari consumatoare de timp şi
pot genera probleme extrem de complexe, pentru obŃinerea unui volum corespunzător unui
anumit organ de interes, poate fi utilizată o metodă de segmentare a imaginilor individuale
urmată de un proces de reconstrucŃie a acestora. Acest proces poate înlocui segmentarea 3D,
necesitând un timp redus de calcul şi permiŃând utilizatorului un mai mare control asupra
procesului de segmentare.
Pentru o mai bună înŃelegere a anatomiei unui anumit organ sau pentru a detecta o
anumită patologie, o vizualizare comprehensibilă a datelor medicale joacă un rol extrem de
important (Preim şi Bartz, 2007).
În această secŃiune se prezintă o metodă de delimitare a măduvei spinării şi de vizualizare
a acesteia ca parte a volumului obŃinut din reconstrucŃia imaginilor succesive provenite în urma
unei scanări RMN (Herghelegiu şi Manta, 2010a).
4.1.2. Segmentarea măduvei spinării din imagini RMN
În figura 4.1 sunt prezentate imaginile originale obŃinute printr-o scanare RMN precum şi
imaginile corespunzătoare obŃinute în urma procesului de segmentare semi-automată a măduvei
20
spinării. Segmentarea a fost efectuată prin metoda region-growing, descrisă în SecŃiunea 2.2. Au
fost alese pentru fiecare imagine câte două puncte de seed, în regiunile indicate de săgeŃi.
Figura 4.1. Imaginile obŃinute în urma unei scanări RMN şi imaginile corespunzătoare, reprezentând
măduva spinării, obŃinute în urma procesului de segmentare (Herghelegiu şi Manta, 2010a).
Pentru corectarea eventualelor goluri ce ar putea apărea în regiunea segmentată după
procesul de segmentare, a fost folosit un algoritm binar iterativ de umplere a golurilor. S-a folosit
algoritmul Iterative Hole Filling Filter ce este parte a Insight Segmentation and Registration
Toolkit (Ibanez, et al. 2005). Rezultatul obŃinut în urma aplicării acestui algoritm este prezentat
în figura 4.2.
Figura 4.2. Rezultatele obŃinute in urma aplicării algoritmului de umplere a contururilor (Herghelegiu şi Manta,
2010a).
4.1.3. ObŃinerea volumului cu măduva spinării segmentată
4.1.3.1 ReconstrucŃia volumului din imagini 2D
Pentru a putea vizualiza datele sub forma unui volum 3D, este necesară o etapă de
reconstrucŃie a imaginilor 2D succesive într-un volum. În continuare se prezintă algoritmul
folosit pentru realizarea acestui proces de reconstrucŃie.
Fie o textură 3D de coordonate ),,( zyx ce variază în intervalul ]1,0[ şi un număr n de
imagini 2D, cu coordonatele ),( yx aparŃinând intervalului ]1,0[ . Volumul corespunzător va fi
construit astfel: feliile volumului de coordonate ),,( zyx , cu:
( ) ,1
11
−−=
niz ni ,1= ,
reprezentând numărul imaginii 2D, vor fi reprezentate de imaginea 2D aferentă în coordonate
),( yx . Punctele de pe axa Oz dintre aceste felii sunt completate prin interpolare liniară între
21
feliile reprezentate de imagini. Pentru a reprezenta într-un mod comprehensibil volumul astfel
obŃinut, s-a implementat şi aplicat o funcŃie de transfer liniară ce atribuie o culoare fiecărei
nuanŃe de gri a imaginilor obŃinute de la RMN, fapt ce este reprezentat împreună cu reconstrucŃia
volumului în figura 4.3. Imaginile obŃinute în urma procesului de segmentare a măduvei spinării
sunt reconstruite într-un mod asemănător într-un volum 3D.
Figura 4.3. Crearea volumului 3D din imaginile 2D reconstruite şi aplicarea unei funcŃii de transfer liniare
(Herghelegiu şi Manta, 2010a).
4.1.3.2 Combinarea volumului obŃinut prin segmentare cu volumul iniŃial
Pentru a obŃine forma de vizualizare finală a datelor provenite de la scanarea RMN, s-a
aplicat un algoritm de combinare a datelor din cele două volume obŃinute anterior: volumul
reconstruit din imaginile 2D obŃinute de la RMN si volumul reconstruit din imaginile segmentate
ale măduvei spinării. Metoda propusă pentru combinarea celor două volume este implementată
în GLSL (OpenGL Shading Language) şi are la bază algoritmul ray-casting.
Descrierea în pseudocod a algoritmului propus este prezentată ca Algoritmul 4.1
(Herghelegiu şi Manta, 2010a):
Algoritmul 4.1 CombinăVolume: Pentru fiecare rază ce parcurge volumul:
• calculează valoarea scalară corespunzătoare poziŃiei razei din
volumul obŃinut prin segmentare
• dacă această valoare este mai mare decât un prag ε se consideră culoarea punctului culoarea dată de funcŃia de transfer liniară
corespunzătoare poziŃiei razei în volum
• dacă ε este mai mic decât valoarea pragului se consideră
culoarea punctului culoarea corespunzătoare poziŃiei razei in
volumul iniŃial; deoarece în volumul iniŃial culorile au
componenta alfa cu valoare 1.0, este necesară o schimbare a
acestei valori pentru a implementa transparenŃa. Valoarea
folosită a fost alfa=0.002.
• calculează contribuŃia culorii punctului curent în stabilirea
culorii finale a razei, culoare ce va fi afişata pe ecran.
22
Rezultatul aplicării acestui algoritm, folosind ca date cele două volume menŃionate
anterior este prezentat în figura 4.4.
Figura 4.4. Măduva spinării ca parte a volumului reconstruit din imaginile 2D obŃinute de la RMN (Herghelegiu şi
Manta, 2010a).
4.1.4. Concluzii
În această secŃiune a fost prezentată o metodă de obŃinere a volumului corespunzător
măduvei spinării ca parte a corpului uman. Metoda folosită implică o segmentare semiautomată a
imaginilor succesive obŃinute în urma unei scanări RMN. De asemenea, a fost prezentat şi un
algoritm de reconstrucŃie şi integrare a acestor imagini într-un volum ce corespunde datelor
RMN. În acest mod, se poate înlocui segmentarea tridimensională prin aplicarea algoritmului de
segmentare asupra imaginilor 2D. Acest procedeu permite utilizatorului un mai mare control
asupra întregului proces de segmentare.
23
4.2. Metodă GPU de reconstrucŃie a secvenŃelor RMN într-un singur volum
4.2.1. Introducere
Vizualizarea Ńesuturilor moi ale corpului uman reprezintă un pas esenŃial în procesul de
diagnosticare a bolilor neurologice. Pentru o mai bună înŃelegere a anatomiei unui anumit organ,
aplicaŃiile medicale folosite în prezent utilizează o etapă de segmentare. Acest pas este de obicei
urmat de unul de vizualizare a structurilor segmentate. În această secŃiune se introduce o metodă
paralelă, bazată pe GPU, de combinare a imaginilor medicale obŃinute de-a lungul a mai multor
plane de scanare. Imaginile sunt obŃinute din scanarea aceluiaşi pacient utilizând metoda RMN.
Metoda prezentată este bazată pe algoritmul ray-casting şi utilizează puterea de calcul a
procesoarelor grafice actuale, pentru obŃinerea de rezultate în timp real.
S-a dezvoltat şi prezentat în această secŃiune o nouă metodă ce combină datele medicale
ale aceluiaşi pacient obŃinute în diverse plane de scanare. Au fost folosite date provenind din
diverse secvenŃe RMN. Prin utilizarea acestei metode, se pot înlocui procesele de rotire, scalare
şi translaŃie a unei texturi 3D pe procesoarele convenŃionale, procese ce implică folosirea unei
cantităŃi de resurse însemnate. Aplicarea acestor transformări este necesară în procesul de
aliniere la acelaşi sistem de coordonate a volumelor folosite.
Scanările RMN sunt utilizate, în principal, în domeniile neurologiei (creier, măduva
spinării), cardiovascular sau oncologic. Spre deosebire de scanările CT, o scanare RMN poate
furniza imagini în orice plan. În mod uzual, o scanare RMN furnizează imagini de-a lungul a trei
plane: sagital, axial şi coronal, rezultând trei seturi de imagini. Aceste trei plane de scanare pot fi
observate în figura 4.6.
Figura 4.6. Planele anatomice utilizate în scanările medicale.
24
În practicile medicale, doctorilor le este necesară deseori inspectarea unei structuri din
multiple seturi de date provenite din diverse metode de scanare a corpului omenesc, precum CT,
RMN, RMN funcŃional, angiografie, SPECT, PET şi altele. Termenul multimodalitate se referă
la aceste cazuri de inspecŃie a seturilor de date obŃinute prin metode de scanare diferite, precum
şi la inspecŃia seturilor de date obŃinute cu aceeaşi metodă de scanare, dar la momente de timp
diferite.
Acest mod de utilizare a GPU a devenit din ce în ce mai folosit în vizualizarea datelor
medicale pentru a oferi o mai bună înŃelegere a anatomiei corpului uman sau pentru a oferi un
sprijin laturii educaŃionale a medicinii. Tehnicile GPU de vizualizare au fost folosite pentru
vizualizarea în timp real a datelor cardiace provenite de la CT, RMN şi alte scanări medicale
(Levin, et al. 2005). Programabilitatea plăcilor grafice actuale oferă sprijinul necesar pentru
vizualizarea datelor într-o manieră multimodală (Abellán şi Tost, 2008).
În această secŃiune se prezintă o metodă de combinare şi aliniere ale volumelor
reconstruite din seturi de imagini obŃinute direct dintr-o scanare RMN (Herghelegiu şi Manta,
2010b). Metoda combină două volume reconstruite din imaginile sagitale şi axiale, metoda
putând fi extinsă către integrarea celui de-al treilea volum (coronal).
Abordarea propusă se bazează pe algoritmul ray-casting şi utilizează caracteristicile
OpenGL Shading Language (GLSL) pentru a obŃine rezultate în timp real. Utilizând informaŃiile
încorporate în imaginile medicale privind poziŃia relativă a fiecărei imagini în raport cu sistemul
de coordonate al pacientului, s-a calculat poziŃia exactă a fiecărui volum reconstruit. S-a obŃinut
un singur volum uşor de înŃeles care înglobează datele din fiecare volum reconstruit folosit.
4.2.2. Metodă GPU pentru obŃinerea unui singur volum
4.2.2.1. ReconstrucŃia imaginilor într-un volum
Pentru segmentarea regiunilor corespunzătoare măduvei spinării, s-a utilizat procedeul
prezentat în secŃiunea 4.1.2. Această metodă a fost aplicată atât imaginilor provenite din scanarea
în planul sagital, cât şi în planul axial, deci s-a obŃinut câte un set de imagini segmentate pentru
fiecare set de imagini corespunzător unei secvenŃe RMN.
Se consideră două seturi de imagini provenite în urma unei scanări RMN: un set de
imagini obŃinut de-a lungul planului axial şi un set obŃinut de-a lungul celui sagital. Pentru a
obŃine o forma comprehensibilă de vizualizare a datelor provenite dintr-o secvenŃă RMN, s-a
aplicat un algoritm de combinare a datelor din cele două volume obŃinute anterior: volumul
reconstruit din imaginile 2D obŃinute de la RMN şi volumul reconstruit din imaginile segmentate
ale măduvei spinării. Pentru segmentarea regiunilor corespunzătoare măduvei spinării, s-a
utilizat procedeul prezentat în secŃiunea 4.1.2. Această metodă a fost aplicată atât imaginilor
provenite din scanarea în planul sagital, cât şi în planul axial, deci s-a obŃinut câte un set de
imagini segmentate pentru fiecare set de imagini corespunzător unei secvenŃe RMN.
Algoritmul propus pentru combinarea celor două volume este realizat în GLSL are la
bază algoritmul ray-casting, ce presupune calcularea culorilor punctelor afişate în fereastra de
25
vizualizare prin trasarea unor raze de-a lungul direcŃiei de vizualizare prin interiorul volumului,
fiind prezentat ca Algoritmul 4.1.
După reconstrucŃia şi combinarea acestor imagini, se obŃine câte un volum pentru fiecare
secvenŃă RMN luată în considerare. Volumul corespunzător direcŃiei de scanare axiale este
prezentat în figura 4.7.
Figura 4.7. Volumul reconstruit din imaginile axiale, combinat cu volumul corespunzător măduvei spinării
(Herghelegiu şi Manta, 2010b).
4.2.2.2. Metodă GLSL pentru alinierea şi combinarea volumelor reconstruite
Algoritmul ray-casting utilizează un cub RGB pentru a calcula direcŃia razei prin volum.
ObŃinerea cubului RGB se face prin redarea unui cub unde coordonatele reprezintă culori. Un
exemplu de imagini ale aceluiaşi cub, odată redate feŃele vizibile, odată cele ascunse, a fost
prezentat în figura 3.1.
Pentru obŃinerea datelor necesare algoritmului de aliniere, s-a aplicat algoritmul ray-
casting descris anterior pentru ambele volume utilizate. S-au obŃinut două direcŃii ale razelor ce
vor fi folosite în cadrul algoritmului de combinare a volumelor. S-au considerat axele de
coordonate ale unui volum ca fiind de referinŃă şi s-au aplicat cele trei transformări de bază
(scalare, rotire şi translaŃie) asupra celui de-al doilea volum pentru a obŃine aceeaşi orientare.
Transformările au fost aplicate cubului RGB prin folosirea funcŃiilor disponibile în OpenGL.
4.2.2.3. Combinarea diverselor date RMN într-un singur volum
Pentru a obŃine o mai bună perspectivă asupra unui volum reconstruit, unele informaŃii
pot fi adăugate din alte volume reconstruite din imaginile RMN. Figura 4.8 prezintă o suprafaŃă
în volumul sagital reconstruit care ar putea fi corectată prin introducerea de date suplimentare.
Motivul obŃinerii acestui efect nerealist este reprezentat de modul de interpolare al OpenGL.
Această interpolare este aplicată în mod automat între două felii succesive, pentru a putea obŃine
textura 3D folosită în procesul de vizualizare. Prin combinarea informaŃiilor provenite din
diverse volume nealiniate, se poate evita într-o mare măsură inspecŃia separată a acestora.
26
Figura 4.8. SuprafaŃă în volumul sagital reconstruit care ar putea fi îmbunătăŃită din punct de vedere imagistic
adăugând date din celelalte volume (Herghelegiu şi Manta, 2010b).
Pentru a combina volumele obŃinute din diverse secvenŃe RMN este necesară cunoaşterea
poziŃiei exacte a fiecărei imagini. Această poziŃie este dată de informaŃiile privind coordonatele
ce sunt incorporate în fiecare imagine în format DICOM obŃinută în urma unei scanări medicale,
şi anume spaŃierea pixelilor, orientarea imaginii, poziŃia imaginii şi grosimea fiecărei felii.
SpaŃierea pixelilor furnizează distanŃa fizică între centrele a doi pixeli vecini, specificată
ca o pereche numerică: distanŃa până la linia şi coloana adiacentă, în milimetri. Orientarea
imaginii furnizează cosinusurile directoare ale primei linii şi ale primei coloane faŃă de sistemul
de coordonate al pacientului. PoziŃia imaginii specifică coordonatele colŃului din stânga sus al
imaginii, iar grosimea feliilor, care poate fi considerată şi distanŃa dintre două felii succesive,
este dată în milimetri.
Pentru a alinia cele două volume (sagital şi axial) la acelaşi sistem de coordonate, a fost
necesară aplicarea unei serii de transformări asupra volumului axial. După cum se poate observa
şi în figura 4.9, pentru a alinia sistemul de coordonate al volumului axial la axele volumului
sagital, două rotaŃii sunt necesare, cu 90 de grade în jurul axei x şi cu 90− de grade în jurul
axei z . Pentru implementarea acestor rotaŃii în OpenGL, o corespondenŃă între sistemul de
coordonate utilizat de OpenGL şi sistemul de coordonate al pacientului a fost definită după cum
urmează: po OyOx ⇔ , po OzOy ⇔ şi po OxOz ⇔ .
După alinierea celor două sisteme de coordonate, este necesară aplicarea unei rotaŃii
suplimentare pentru a obŃine direcŃia dată de către cosinusurile directoare ale primei coloane a
imaginilor axiale. Această rotaŃie este efectuată în jurul axei oOx cu un unghi de
8.690482)988519.0arccos( = grade. Acest unghi este de asemenea încorporat în imaginile
obŃinute de la RMN.
27
Figura 4.9. Orientarea sistemului de coordonate al pacientului pentru volumele reconstruite (Herghelegiu şi Manta,
2010b).
După aplicarea acestui algoritm de aliniere a celor două sisteme de coordonate, se pot
combina datele celor două volume, sagital şi axial, într-un singur volum, utilizând un algoritm
bazat pe metoda ray-casting. Acest algoritm consideră volumul sagital ca fiind de referinŃă, iar
toate transformările prezentate vor fi aplicate cubului RGB utilizat pentru afişarea celui de-al
doilea volum (corespunzător planului axial). Cu toate că setul de date şi textura 3D aferentă
volumului axial nu vor suferi nici o modificare, imaginea finală a acestuia va apărea ca fiind
rotită. Volumul unic obŃinut din cele două volume reconstruite este prezentat în figura 4.10.
Figura 4.10. Volumul final obŃinut din combinarea datelor provenite din volumele sagital şi axial (Herghelegiu şi
Manta, 2010b).
28
4.2.3. Concluzii
A fost prezentată o metodă de combinare a informaŃiilor din multiple secvenŃe RMN. S-a
utilizat o metodă semi-automată de segmentare pentru delimitarea unui organ specific al corpului
uman (măduva spinării) şi s-a folosit o metodă de reconstrucŃie a seriilor de imagini 2D într-un
volum. S-a introdus în această secŃiune o metodă care extinde algoritmul ray-casting clasic
pentru a combina diverse volume orientate spaŃial diferit. Pentru alinierea volumelor, s-au
implementat cele trei transformări de bază (scalare, rotire, translaŃie) pe cuburile RGB utilizate în
algoritmul ray-casting. Prin aplicarea acestei tehnici, nu a mai fost necesară parcurgerea
volumului 3D şi calcularea transformărilor efectuate pentru fiecare punct în parte. Pentru
alinierea sistemelor de coordonate a fost necesară efectuarea unor rotiri rezultate din prelucrarea
datelor incluse in imaginile DICOM, iar direcŃia finală a volumului a fost dată de cosinusurile
directoare ale imaginilor axiale.
29
5. Vizualizarea structurilor segmentate în seturile de date
volumetrice obŃinute din scanările medicale
InspecŃia simultană a imaginilor obŃinute din diverse scanări medicale reprezintă o
practică uzuală, necesară pentru stabilirea unui diagnostic precis.
În acest capitol se prezintă o metodă de a integra structuri segmentate dintr-o secvenŃă în
ponderaŃie T1, cu substanŃă de contrast paramagnetică RMN, în volumul reconstruit din
imaginile obŃinute în urma altei scanări RMN în ponderaŃie T2. Metoda introdusă utilizează
tehnica de redare directă a volumelor pentru vizualizarea seturilor de date şi pentru a reprezenta
structura de interes, împreună cu unele informaŃii contextuale. Abordarea prezentată permite o
mai bună înŃelegere a patologiilor asociate tumorilor intracraniene, de către medicii
neurochirurgi, şi stabilirea exactă a poziŃiei spaŃiale pentru acestea.
5.1. Introducere
În practicile medicale curente, medicii inspectează, de obicei, anumite organe sau
structuri ale corpului omenesc în imagini provenite din diferite scanări medicale pentru a putea
stabili un diagnostic cât mai precis. Această tehnică este de asemenea folosită pentru o mai bună
înŃelegere a anatomiei corpului omenesc sau pentru o mai bună planificare a procedurilor
medicale la care va fi supus pacientul.
Scanarea unui pacient prin metode diferite în acelaşi timp este foarte greu de realizat,
dacă nu imposibilă. De obicei, pacientul trebuie mutat de la un aparat de scanare la celalalt.
Chiar dacă pacientul va avea aproximativ aceeaşi poziŃie relativă fată de aparatul de scanat, o
aliniere perfectă la aceleaşi coordonate nu este posibilă pentru toate scanările efectuate. Înaintea
aplicării unui algoritm de vizualizare, este necesară implementarea unei metode de aliniere a
seturilor de date folosite, relativ la acelaşi sistem de coordonate.
În acest capitol se prezintă o metodă de combinare a datelor segmentate dintr-o secvenŃă
RMN cu alte date volumetrice, precum şi o metodă de vizualizare 3D a acestora (Herghelegiu, et
al., 2011b). Motivul realizării acestei aplicaŃii este acela de a integra în aceeaşi scenă structurile
cele mai clar vizibile din seturile de date medicale folosite. De asemenea, metoda prezentată
furnizează o mai bună înŃelegere a patologiei si a poziŃionării în spaŃiu a tumorii, considerată
structura de interes.
Vizualizarea datelor multimodale prezintă numeroase provocări şi s-au dezvoltat
numeroase tehnici pentru fiecare tip specific de date utilizate. Fiecare metodă medicală de
scanare prezintă unele limitări specifice. Majoritatea metodelor introduse până în prezent nu
prezintă posibilitatea selectării unei regiuni de interes care va fi supusă unui proces de
segmentare, aşa cum este cazul tumorii investigate în cadrul aplicaŃiei prezentate în acest capitol.
Vizualizarea acestei structuri într-un context spaŃial, provenit dintr-o altă scanare aliniată în
prealabil, nu este posibilă utilizând metodele prezentate anterior. Simple plane de tăiere nu pot
30
prezenta un context spaŃial complet în condiŃiile în care se doreşte menŃinerea atenŃiei
privitorului asupra regiunii de interes. Folosirea funcŃiilor de transfer pentru selectarea unei
structuri care va fi integrată într-un alt volum aliniat reprezintă o muncă laborioasă şi predispusă
riscului de a fi afectată de un număr mare de erori, în special cauzate de nivelul ridicat de zgomot
prezent în imaginile RMN.
AplicaŃiile medicale existente precum 3DSlicer (Gering, et al. 1999), ParaView (Ahrens,
et al. 2005), Voreen (Meyer-Spradow, et al. 2009), prezintă posibilitatea de a alinia diferite seturi
de date sau de a segmenta unele structuri ale corpului uman, fără a oferi utilizatorului
posibilitatea de vizualizare a datelor multimodale într-o singură scenă. Aceste aplicaŃii nu
furnizează nici opŃiunea de a vizualiza anumite obiecte segmentate dintr-un set de date într-un
context spaŃial oferit de un al doilea set de date.
5.2. SecvenŃe de achiziŃie RMN
Creierul reprezintă una dintre cele mai scanate structuri ale corpului uman. Metoda RMN
este folosită pentru scanarea substructurilor sau a Ńesuturilor din cutia craniană. Aşa cum s-a
prezentat anterior, RMN-ul se bazează pe proprietatea rezonanŃei magnetice-nucleare de a
produce imagini ale Ńesuturilor umane bazată pe răspunsul diferit la aplicarea unui câmp
magnetic.
Cele mai utilizate secvenŃe RMN pentru investigaŃiile neurochirurgicale ale unei tumori
intracraniene sunt: în ponderaŃie T1 cu substanŃă de contrast paramagnetică (spin-lattice
relaxation time) şi în ponderaŃie T2 (spin-spin relaxation time). Utilizarea unui agent de contrast
în timpul unei secvenŃe în ponderaŃie T1 este recomandată când se doreşte vizualizarea
informaŃiilor cu privire la fluxul sanguin. În cazul tumorilor intra-craniene, această secvenŃă este
necesară pentru localizarea părŃilor proliferative ale tumorii, această etapă fiind necesară
preoperatoriu în cazul biopsiilor. SecvenŃa în ponderaŃie T2 este utilizată în principal pentru
vizualizarea diferitelor leziuni provocate de către unele patologii. În cazul scanărilor creierului,
secvenŃa în ponderaŃie T2 furnizează informaŃii cu privire la lichidul cefalo-rahidian, de
exemplu, localizarea celor mai însemnate acumulări de lichid, sau cât de severă este o anumită
leziune a creierului, etc. (Brown şi Semelka, 2010).
5.3. Metoda de aliniere
Metoda de aliniere utilizată în realizarea aplicaŃiei prezentate în acest capitol ia în
considerare intensităŃile voxelilor, deoarece segmentarea aceleiaşi structuri în seturi de date
provenite din secvenŃe RMN diferite este foarte greu de realizat. Deoarece două secvenŃe RMN
obŃinute la momente de timp apropiate vor fi folosite pentru aliniere, alegerea naturală este
folosirea unui algoritm de aliniere rigid.
În prezent există numeroase aplicaŃii care se ocupă cu problema alinierii volumelor,
dintre care pot fi menŃionte: Insight Segmentation and Registration Toolkit (ITK) (Ibanez, et al.
2005) sau Automated Image Registration (AIR). În abordarea prezentată în acest capitol, s-a
utilizat ITK deoarece conŃine diverşi algoritmi de aliniere şi are implementate mai multe metrici.
31
Pentru evaluarea similitudinii imaginilor, s-a utilizat ca metrică media pătratelor. Este o
metrică simplă care calculează media pătratelor diferenŃelor intensităŃilor pixelilor
corespunzători dintre două imagini:
,)(1
),(1
2∑=
−=N
iii BA
NBAMS (5.1)
unde iA reprezintă intensitatea pixelului i al primei imagini, iB intensitatea pixelului i al celei
de-a doua imagini, iar N este numărul total de pixeli. Această metrică este utilizată în mod
frecvent cu rezultate bune pentru alinierile intramodale dar nu este recomandată pentru alinierile
intermodale (Hill, et al. 2001). Pseudocodul ce descrie algoritmul de aliniere folosit este
prezentat ca Algoritmul 5.1:
Algoritmul 5.1 AliniazăSecvenŃeRMN AliniazăSecvenŃeRMN (volumT1, volumT2)
InitialTransf = Calculează transformarea iniŃială
Aplică transformarea InitialTransf asupra volumului volumT2
Execută
V = Calculează valoarea metricii folosite MS
T = Transformarea ce maximizează similaritatea volumelor
Aplică transformarea T asupra volumului volumT2
cât timp ( V < ε sau numărul maxim de paşi a fost atins)
Valoarea parametrilor utilizaŃi în aplicarea Algoritmului 5.1 este ε = 0.0001, iar numărul
maxim de iteraŃii este 200. Valorile alese pentru aceşti parametri au fost stabilite experimental şi
s-a dovedit că permit obŃinerea performanŃelor urmărite. În cazul alinierii a două volume,
operaŃiile de translaŃie şi rotire, rezultate ca date de ieşire ale algoritmului de aliniere, sunt
aplicate celui de-al doilea volum, care este considerat mobil, pentru a se alinia la coordonatele
primului volum. În figura 5.1 se prezintă câte două imagini succesive din cele două seturi de date
considerate. PoziŃia acestor imagini este aliniată utilizând algoritmul prezentat. În partea de sus
imaginile au aceeaşi coordonată de adâncime, iar în partea de jos, o mică diferenŃă poate fi
observată în regiunea indicată de săgeŃi din cauza diferenŃelor de grosime ale imaginilor generate
de procesul de achiziŃie şi a procesului de interpolare dintre două imagini succesive.
32
Figura 5.1. Două seturi consecutive de imagini: în ponderaŃie T1 cu substanŃă de contrast paramagnetică în partea
stângă şi în ponderaŃie T2 în partea dreaptă. SăgeŃile indică o regiune unde algoritmul de aliniere produce unele erori datorită diferenŃei de grosime a imaginilor rezultate în urma scanării RMN (Herghelegiu, et al., 2011b).
5.4. Segmentarea tumorii
Pentru a integra unele structuri dintr-o secvenŃă RMN într-o altă secvenŃă, a fost necesară
implementarea unei metode de segmentare pentru a separa informaŃia utilă. Algoritmul de
segmentare clasifică voxelii din volumul iniŃial ca aparŃinând fie regiunii de interes, fie regiunii
de fundal. Pentru segmentarea tumorii intracraniene a fost folosit algoritmul watershed (Meyer,
1994), descris în secŃiunea 2.3.
PerformanŃa algoritmului watershed aplicat pe un volum reconstruit din imagini RMN în
ponderaŃie T1 cu substanŃă de contrast paramagnetică poate fi observată în figura 5.2. Valoarea
parametrilor prag şi nivel descrişi în secŃiunea 2.3 a fost de 0,06 respectiv 0,5. Valoarea acestora
a fost determinată experimental, constatându-se că pot suferi unele mici modificări fără a afecta
rezultatul procesului de segmentare.
33
Figura 5.2. Rezultatul algoritmului de segmentare watershed utilizat pentru segmentarea unei tumori intra-craniene:
imagine 2D (stanga), imagine 3D (dreapta). SăgeŃile indică poziŃia tumorii (Herghelegiu, et al., 2011b).
5.5. Vizualizarea datelor volumetrice
Datele procesate până acum sunt disponibile sub formă de date volumetrice, deci o
metodă de vizualizare 3D a acestora reprezintă o alegere naturală. Un aspect important, care
trebuie avut în vedere când se realizează vizualizarea datelor volumetrice, este necesitatea de a
menŃine obiectul de interes în prim plan şi păstrarea informaŃiilor cu privire la contextul spaŃial al
acestuia în aceeaşi scenă de vizualizare. InformaŃia de interes trebuie sa fie evidenŃiată, dar alte
informaŃii mai puŃin importante trebuie să fie de asemenea prezentate pentru a furniza un context
complet atât anatomic cât şi spaŃial asupra datelor investigate. Implementarea unui astfel de
algoritm simplu de vizualizare este ilustrată în figura 5.3. Tumora a fost clasificată separat
utilizând procedeul de segmentare watershed, deci aceasta poate fi izolată uşor fată de restul
structurilor prezente în scenă. Figura 5.3(a) arată o redare uzuală a unui set de date RMN.
Umbrirea şi iluminarea au fost adăugate pentru a furniza o doză de realism asupra imaginilor.
Acest mod de prezentare a informaŃiei nu furnizează mijloacele necesare pentru a vizualiza
informaŃia de interes, tumora în cazul de faŃă. Această problemă este rezolvată în figura 5.3(b),
unde, prin manipularea transparenŃei structurilor prezente în scenă, tumora segmentată poate fi
vizibilă şi evidenŃiată prin alegerea unei culori specifice.
O problemă a datelor RMN o reprezintă nivelul crescut de zgomot prezent, ceea ce face
foarte dificilă izolarea suprafeŃelor semitransparente. Acest lucru se poate observa în figura
5.3(b), unde structuri bine reprezentate în figura 5.3(a) nu mai sunt clar vizibile. Metoda propusă
combină aspectul precis al structurilor din figura 5.3(a) cu informaŃia de interes prezentată în
figura 5.3(b).
34
Figura. 5.3. Redarea volumetrică a unui set de date RMN. (a) Redarea cu suprafaŃa exterioară opacă; (b) Redarea cu
structurile ce blocau informaŃia de interes semitransparente, pentru a putea vizualiza tumora presegmentată (Herghelegiu, et al., 2011b).
Metoda propusă în acest capitol include utilizarea unui efect de tip lentilă pentru a
permite vizualizarea în interiorul setului de date (figura 5.4). Această lentilă este o regiune
circulară în spaŃiul imaginii, în interiorul căreia parametrii de redare volumetrică sunt modificaŃi.
Specific, lentila funcŃionează prin scalarea transparenŃei voxelilor proiectaŃi în interiorul regiunii,
făcând astfel vizibile utilizatorului unele structuri anterior ascunse. Voxelii aparŃinând
structurilor segmentate pot fi uşor identificaŃi prin accesarea măştii de segmentare, deci pot fi
evitaŃi în procesul de alterare a transparenŃei. În exteriorul regiunii corespunzătoare lentilei,
procesul de redare rămâne nealterat, menŃinând astfel aspectul precis al structurilor prezente. În
afara tumorii segmentate, pentru o mai bună exemplificare a metodei propuse, în figura 5.4 a fost
inclus şi volumul corespunzător vascularizaŃiei cerebrale ce a fost anterior segmentat manual.
Caracteristicile structurilor externe sunt păstrate, iar informaŃia de interes, tumora,
localizată în interiorul volumului este mai bine evidenŃiată. Efectul de lentilă poate fi uşor
integrat în orice interfaŃă cu utilizatorul, permiŃând acestuia sa modifice interactiv poziŃia şi deci
să inspecteze în mod dinamic interiorul volumului. Pseudocodul aferent metodei descrise este
prezentat ca Algoritmul 5.2. Acesta este executat într-o manieră paralelă pentru pixelii din
fereastra de vizualizare de către procesoarele fragment ale plăcilor video utilizate.
Algorimul 5.2 RedareaVolumelor
DRC = CalculeazăDirecŃiaRazei(razaCurentă)
Pentru fiecare punct P ∈ DRC
Dacă P∈InteriorLentilă Atunci
micşorează opacitatea pentru razaCurentă;
Dacă P∈MascaTumorii Atunci
35
culoareaRazeiCurente = culoareaTumorii;
C = Atributele culorii pentru punctul P din volumul RMN
Compune C cu culoarea razei curente razaCurentă;
P = punctul următor pe direcŃia razei;
Verifică dacă s-a atins condiŃia de terminare timpurie a razei
(valoarea componentei alfa a razei > 0.95 sau P nu aparŃine mulŃimii
punctelor volumelor utilizate)
Figura 5.4 Lentilă circulară utilizată pentru a vizualiza informaŃia segmentată (tumora şi vasele de sânge) din
interiorul volumului reconstruit din date RMN (Herghelegiu, et al., 2011b).
Algoritmul de redare a volumelor a fost rulat pe o placă video NVidia GeForce GTX 260,
cu o dimensiune a ferestrei de vizualizare de 1024 x 768 pixeli. Seturile de date reconstruite din
secvenŃele RMN în ponderaŃie T1 şi T2 au rezoluŃia de 512 x 512 x 85, respectiv 512 x 512 x 60.
Tabelul 5.1 prezintă datele privitoare la performanŃele algoritmului prezentat.
Volum Cadre pe secundă
Volum din Fig. 5.3(a) 9.52 fps
Volum din Fig. 5.3(b) 3.64 fps
Volum din Fig. 5.4 (fără vascularizaŃie) 7.83 fps
Volum din Fig. 5.4 6.84 fps
Tabel 5.1. Numărul de cadre pe secundă pentru volumele utilizate. Din rezultatele obŃinute se deduce faptul că redarea volumelor cu suprafaŃa exterioară
opacă este cea mai rapidă, iar acelaşi volum cu unele structuri redate semitransparent necesită un
timp de procesare mai îndelungat.
Se poate extinde în continuare conceptul de a menŃine obiectul de interes în prim plan, cu
păstrarea informaŃiilor cu privire la contextul spaŃial al acestuia în aceeaşi scenă prin utilizarea
unei funcŃii de transfer multidimensională. Figura 5.5 prezintă o imagine redată cu ajutorul unei
funcŃii de transfer multidimensionale ce incorporează magnitudinea gradientului şi curbura locală
36
în procesul de clasificare (Kniss, et al. 2002) (Hladuvka, et al. 2000). Lichidul cefalorahidian
precum şi alte Ńesuturi moi sunt preluate din setul de date RMN în ponderaŃie T2, iar tumora este
segmentată din setul de date din secvenŃa RMN în ponderaŃie T1. Tumora este prezentată ca
structură de interes, într-un mod evidenŃiat, alături de structurile care o înconjoară.
Figura 5.5. Clasificarea datelor multimodale utilizând o funcŃie de transfer multi-dimensională. Tumora este vizibilă
ca structură de interes alături de alte Ńesuturi moi menite a furniza un context spaŃial (Herghelegiu, et al., 2011b).
5.6. Concluzii
În prezent, multe procese de diagnosticare sau de planificare a intervenŃiilor chirurgicale
necesită o inspecŃie a mai multor seturi de date obŃinute prin diverse metode de scanare medicală.
Fiecare metodă de scanare existentă, prezintă atât avantaje cât şi dezavantaje şi furnizează date
importante acolo unde celelalte metode nu reuşesc. Deoarece un pacient nu poate fi scanat cu
două metode diferite în acelaşi timp, seturile de date obŃinute în urma mai multor scanări vor
prezenta probleme de aliniere. Pentru a combina date volumetrice obŃinute din mai multe surse în
aceeaşi scenă de vizualizare, s-au aliniat datele folosite utilizând un algoritm de aliniere rigid
bazat pe intensitatea voxelilor.
În acest capitol s-a prezentat o metodă pentru vizualizarea unei structuri anterior
segmentată dintr-o secvenŃă RMN în ponderaŃie T1 cu substanŃă de contrast paramagnetică şi
integrarea ei într-un volum reconstruit pe baza imaginilor RMN dintr-o secvenŃă în ponderaŃie
T2. O abordare de vizualizare directă a volumelor (DVR) a fost utilizată pentru a reprezenta
informaŃia de interes (tumora), concomitent cu păstrarea informaŃiilor privind contextul spaŃial şi
anatomic al acesteia. Cu toate că datele de intrare au un nivel ridicat de complexitate, metoda
implementată rulează pe procesoarele grafice actuale, permiŃând astfel utilizatorului să
manipuleze în mod interactiv procesul de vizualizare şi de explorare a datelor. S-a prezentat, de
asemenea, modul în care combinarea algoritmilor de aliniere, a celor de segmentare şi a celor de
vizualizare poate face datele volumetrice mai uşor explorabile, într-un mod intuitiv. Tehnicile
prezentate urmăresc asistarea mediului medical în înŃelegerea anatomiei umane, a unor patologii
precum tumorile intracraniene, pentru o mai facilă şi rapidă diagnosticare a pacienŃilor.
37
6. Hartă a stabilităŃii direcŃiei de inserare a acului pentru biopsiile
efectuate tumorilor intracraniene
Procedurile medicale minim invazive, precum biopsiile, necesită inserarea unui ac pentru
prelevarea de mostre de Ńesut dintr-un organ specific. Acest proces de inserare a acului poate fi
afectat de un număr mare de erori care pot conduce la schimbări ale direcŃiei planificate iniŃial.
În cazul investigaŃiilor tumorilor intracraniene, aceste erori pot fi cauzate de mişcarea creierului
în urma perforării craniului, de unele erori de măsurare cauzate de folosirea unui cadru fizic
pentru sprijinirea acului în procesul de inserare a acului sau de alte erori umane. Pentru a oferi un
ajutor preoperatoriu, se introduce în acest capitol noŃiunea de hartă a stabilităŃii direcŃiei de
inserare a acului de biopsie. Această hartă furnizează informaŃii cu privire la stabilitatea unei
direcŃii de inserare a acului din punctul de vedere al erorilor ce pot apărea în procesul de inserare.
Se introduce de asemenea un algoritm de identificare a mulŃimii de puncte aparŃinând tumorii,
puncte ce pot fi atinse direct de către acul de biopsie. Se prezintă şi o tehnică automată de
selectare a direcŃiei ce oferă cea mai mare distanŃă până la vasele de sânge intracraniene,
considerându-se toate punctele de pe acea direcŃie. A fost implementată şi o metodă de
reprezentare 3D a structurilor de interes (tumora, vasele de sânge) împreună cu direcŃia de
inserare a acului şi cu mulŃimea punctelor accesibile de pe tumoare, folosind o nouă tehnică de
redare volumetrică, numită Maximum Intensity Difference Accumulation (MIDA). Harta
stabilităŃii direcŃiei de inserare a acului reprezintă, prin utilizarea unei corespondenŃe între costul
aferent fiecărei direcŃii şi o culoare, cât de aproape de vasele de sânge sunt direcŃiile de inserare
aflate în jurul unei direcŃii principale.
6.1. Introducere
Biopsiile sunt o procedură medicală frecvent utilizată pentru o mai bună înŃelegere a
tipului patologiei studiate. Ele reprezintă un test medical care presupune colectarea de Ńesut
dintr-o structură a corpului uman, utilizând un ac de biopsie. În cazul investigaŃiilor tumorilor
intracraniene, efectuarea unei biopsii reprezintă un pas preoperatoriu obligatoriu. În funcŃie de
rezultatul biopsiei se elaborează un plan de tratament. Testele efectuate pe mostrele de Ńesut
prelevate vor furniza detalii despre tipul tumorii, dacă trebuie luată în considerare posibilitatea
unei rezecŃii sau dacă se poate opri creşterea tumorii prin utilizarea razelor gama. Prima etapă
urmată de medicul care va efectua biopsia este stabilirea unei direcŃii pentru acul de biopsie. O
direcŃie a acului este definită de punctul de intrare şi punctul final al acestuia. Punctul de intrare
se va situa pe suprafaŃa craniană, iar punctul de final va fi reprezentat de către un punct de pe
tumoră.
Pentru stabilirea direcŃiei acului de biopsie, metodele folosite în prezent implică inspecŃia
manuală a imaginilor RMN pentru stabilirea punctelor de intrare şi de final ale acului. Acest
proces necesită o ajustare manuală de fineŃe a direcŃiei acului pentru a oferi siguranŃa că nici un
38
vas de sânge nu este atins. După efectuarea acestui pas extrem de laborios, aplicaŃiile medicale
utilizate în prezent furnizează datele care descriu poziŃia stabilită a acului. Aceste date sunt
corelate manual cu un cadru fizic care este fixat pe pacient şi care oferă suportul necesar
procesului de inserare a acului. Tot acest proces descris este supus erorilor umane precum şi
erorilor de măsurare. Algoritmii descrişi în acest capitol ajută medicii prin identificarea celei mai
bune direcŃii ale acului în funcŃie de distanŃa până la vasele de sânge.
Pentru a evidenŃia forma tridimensională a unei structuri sau pentru a o putea localiza mai
uşor, a fost necesară implementarea unui algoritm de segmentare ce separă regiunea de interes de
celelalte regiuni prezente în setul de date. Pentru a putea identifica punctele care pot fi
considerate puncte de final ale acului într-o manieră automată, s-a utilizat un algoritm de
segmentare a tumorilor intracraniene bazat pe metoda watershed. Masca de segmentare a
vascularizaŃiei cerebrale va furniza datele de intrare pentru calcularea distanŃelor de la fiecare
punct din setul de date până la cel mai apropiat vas de sânge. Pentru aceasta, s-a aplicat o
transformată distanŃă care va produce un volum de aceeaşi dimensiune precum volumul iniŃial,
dar în care valorile voxelilor vor reprezenta distanŃa până la cel mai apropiat vas de sânge.
Lipsa unei reprezentări 3D a tumorii sau a direcŃiei acului sporeşte eventualitatea apariŃiei
unor erori în procesul de efectuare a biopsiei. O reprezentare vizuală asupra stabilităŃii direcŃiei
planificate a acului în funcŃie de erorile ce pot apărea (de măsurare, umane sau de calcul) poate
ajuta medicul să înŃeleagă riscurile de a nu atinge punctul stabilit ca şi destinaŃie pentru ac. Se
introduce în acest capitol un algoritm de reprezentare vizuală prin intermediul culorilor a
stabilităŃii direcŃiei acului de biopsie, denumită hartă de stabilitate a direcŃiei de inserare a
acului de biopsie (Herghelegiu et al., 2011a). Algoritmul propus creează de asemenea o ierarhie
a direcŃiilor posibile ale acului şi poate furniza în mod automat direcŃia care oferă cea mai mare
distanŃă până la cel mai apropiat vas de sânge, considerând toate punctele de pe direcŃia acului.
Calcului transformatei distanŃă (distance transform - DT) reprezintă un pas important
folosit în diverse aplicaŃii ale graficii asistate de calculator sau în procesarea de imagini. Un
algoritm de calcul a DT aplicat pe o imagine binară are ca rezultat o imagine de aceeaşi
dimensiune, cu fiecare pixel reprezentând distanŃa până la regiunea de interes (pixel cu valoare
non zero).
HărŃile de stabilitate sunt introduse în aplicaŃii pentru a furniza un ajutor vizual precum şi
unele indicii menite să sprijine utilizatorul în procesul de luare a unei decizii.
Au fost dezvoltate până în prezent numeroase metode de simulare a inserŃiei acului de
biopsie. A fost dezvoltată o tehnică de simulare a procesului de inserŃie prin Ńesuturi moi
(Alterovitz, et al. 2009). Metoda calculează erorile ce pot apărea din cauza procesului de inserare
a acului, calculate ca distanŃe euclidiene. De asemenea, a fost introdusă şi o metrică de măsurare
a stabilităŃii acului pentru procesul de simulare. O altă metodă ce a fost dezvoltată este
reprezentată de simularea preoperatorie a inserŃiei acului de biopsie pentru biopsiile mamare
(Vancamberg, et al. 2010). Erorile considerate de către autori sunt cele datorate procesului de
inserŃie a acului prin Ńesutul glandular mamar. Aceste abordări nu sunt viabile pentru cazul
39
studiat în acest capitol şi anume biopsiile tumorilor intracraniene. łesutul intracranian (creierul)
are un comportament diferit faŃă de celelalte Ńesuturi moi studiate până în prezent. În cazul
biopsiilor tumorilor intracraniene, se consideră faptul că procesul de inserare a acului nu schimbă
poziŃia tumorii sau a vaselor de sânge.
6.2. Transformata distanŃă
Calculul transformatei distanŃă (DT) a fost aplicat în domeniul imagisticii medicale în
principal în cazurile 2D, dar poate fi uşor extins pentru seturile de date 3D. În aceste cazuri, DT
determină distanŃa fiecărui voxel aparŃinând volumului până la o regiune de interes reprezentată
în aplicaŃia prezentată în acest capitol de vasele de sânge. Masca corespunzătoare vaselor de
sânge a fost obŃinută printr-o segmentare manuală. Se consideră: 1,0: 3 →⊂Ω ZVol un volum
binar unde domeniul Ω este convex. Fie O un obiect ce cuprinde toŃi pixelii de culoare albă (cu
valoare 1) ai volumului Vol , 1)( =Ω∈= pVolpO .
Voxelii obiectului O sunt consideraŃi ca făcând parte din obiectul de fundal, iar
complementul său, cO este denumit obiect de interes constituit din pixelii de culoare neagră (de
valoare 0) aparŃinând Ω . Harta de distanŃă (sau transformata distantă) a volumului Vol este dată
de următoarea definiŃie:
cOqqpdpD ∈= ),(min)(
unde ),( qpd reprezintă distanŃa dintre punctele p şi q . Această distantă este de obicei
considerată ca fiind distanŃa euclidiană.
La realizarea aplicaŃiei prezentate în acest capitol, s-a utilizat o transformare distanŃă care
este uşor de reprodus şi furnizează rezultate satisfăcătoare într-un timp scăzut (Felzenszwalb, et
al. 2004). Figura 6.1 prezintă o imagine din volumul DT. Regiunile mai închise la culoare
corespund regiunilor aflate în vecinătatea unui vas de sânge, iar regiunile mai deschise la culoare
indică o distanŃă mai mare până la un vas de sânge.
6.3. Punctele accesibile aparŃinând tumorii
Punctele accesibile ale tumorii pentru acul de biopsie se definesc ca fiind mulŃimea
punctelor de pe suprafaŃa tumorii pentru care direcŃiile de inserare ale acului au proprietatea de a
atinge numai punctul considerat de pe tumoră. Masca punctelor corespunzătoare tumorii
segmentate a fost utilizată ca dată de intrare pentru determinarea punctelor accesibile aparŃinând
tumorii.
Algoritmul folosit pentru a segmenta tumora este identic cu algoritmul prezentat în
secŃiunea 5.4. Metoda propusă pentru identificarea punctelor accesibile de pe tumoră este o
metodă directă şi uşor de implementat şi urmăreşte determinarea acestor puncte pentru un punct
fix de incizie a acului de biopsie.
40
Figura 6.1. O felie a volumului rezultat în urma aplicării transformatei distanŃă pe masca vaselor de sânge
intracraniene. Regiunile închise la culoare indică prezenŃa unui vas de sânge în regiunea învecinată (Herghelegiu, et al., 2011a).
Pentru că acul de biopsie nu prelevă mostrele de Ńesut din vârful său şi prezintă o
deschizătură pe o parte a sa apropiată de vârf (figura 6.2), algoritmul de determinare a punctelor
accesibile aparŃinând tumorii trebuie să Ńină cont de aceste specificaŃii fizice ale acului de
biopsie.
Figura 6.2. Vârful unui ac de biopsie (Herghelegiu, et al., 2011a).
Determinarea automată a punctelor accesibile ajută medicii în procesul de vizualizare a
zonelor ce pot fi atinse de către acul de biopsie, pentru un punct de intrare fix. PoziŃia vaselor de
sânge nu influenŃează rezultatul furnizat de către acest algoritm, deoarece se doreşte
determinarea tuturor punctelor accesibile. Pseudocodul pentru algoritmul de calcul al punctelor
accesibile aparŃinând tumorii ale acului de biopsie este prezentat ca Algoritmul 6.1: Algoritm 6.1 DeterminăPuncteleAccesibile
Pentru punctul de intrare EP
Pentru fiecare punct de pe tumoră TP
Dacă (Voxelul precedent lui TP de pe direcŃia definită de EP şi
TP nu aparŃine tumorii)
Şi (Următorii n voxeli de după TP de pe direcŃia definită de EP
şi TP aparŃin tumorii)
Atunci
Adaugă TP la mulŃimea punctelor accesibile
41
Numărul n este dat de specificaŃiile fizice ale acului utilizat. Specific, acest număr
corespunde distanŃei dintre vârful acului şi mijlocul deschizăturii acului de unde se preleva
mostrele de Ńesut (distanŃa d în figura 6.2). Punctele determinate ca fiind puncte accesibile
pentru un punct de intrare notat EP sunt prezentate în figura 6.3 ca o suprafaŃă albă ce acoperă
tumora. Scena a fost rotită pentru evidenŃierea regiunilor de tranzit dintre punctele accesibile şi
punctele ce nu pot fi atinse de către acul de biopsie.
Figura 6.3. Punctele accesibile de pe tumoră (cu alb) considerându-se un punct de intrare al acului de biopsie fix
(vedere din lateral). Tumora este colorată în albastru (Herghelegiu, et al., 2011a).
6.4. Harta de stabilitate a direcŃiei acului de biopsie
Pentru crearea hărŃii de stabilitate a direcŃiei acului de biopsie, a fost necesară crearea
unui disc notat Ds în planul normal direcŃiei acului (NP), cu centrul în punctul ales ca punct de
final al acului (RTP). Acest disc proiectat de-a lungul direcŃiei de inserare a acului va fi folosit ca
obiect intermediar pentru crearea hărŃii de stabilitate. Paşii necesari identificării planului în care
va fi creat discul Ds sunt prezentaŃi în Algoritmul 6.2. Algoritm 6.2 CreeazăDiscDs:
Alege P ca punct arbitrar ce nu aparŃine direcŃiei acului definită de
punctele EP şi RTP
Calculează vectorul )()( EPRTPEPPR −×−= ; acum, )( EPRTPR −⊥
Calculează vectorul )( EPRTPRS −×= ; acum, RS ⊥ şi )( EPRTPS −⊥
(Vectorii unitate R şi S sunt doi vectori ortonormali în planul ∏
perpendicular pe direcŃia definită de punctele EP şi RTP )
Creează discul Ds în planul ∏ , cu raza specificată r
Un exemplu de direcŃie de inserare a acului ce porneşte din punctul de intrare EP, precum
şi discul Ds aferent punctului de pe tumoră RTP este prezentat în figura 6.4.
Ca funcŃie cost pentru o direcŃie de inserare a acului s-a considerat distanŃa minimă până
la cel mai apropiat vas de sânge, luându-se în considerare toate punctele de pe direcŃia acului.
42
Figura 6.4. Discul Ds creat în planul normal direcŃiei de inserŃie a acului de biopsie NP, cu centrul în punctul de pe
tumoră RTP. Tumora a fost redată semitransparentă pentru a face vizibil întreg discul creat (Herghelegiu, et al., 2011a).
Pentru calcularea acestei distanŃe, s-a utilizat transformata distanŃă prezentată anterior.
După cum s-a menŃionat în secŃiunea 6.2, volumul transformatei distanŃă conŃine ca voxeli
distanŃele până la cel mai apropiat vas de sânge. Pentru determinarea costului aferent fiecărei
direcŃii de introducere a acului ce va fi reprezentată pe harta de stabilitate, este necesară stabilirea
punctelor de pe tumoră corespunzătoare acestora. Pentru aceasta, algoritmul propus are ca date
de intrare tumora segmentată, punctul de intrare şi discul Ds. Pseudocodul aferent acestui
algoritm precum şi a algoritmului de atribuire a unei culori pentru fiecare punct de pe harta de
stabilitate este prezentat ca Algoritmul 6.3: Algoritm 6.3 CreeazăHartaStabilităŃii:
Pentru fiecare voxel V ∈ discului Ds Caută un punct al tumorii TP pe direcŃia definită de V şi EP
Dacă TP a fost găsit
Atunci
Calculează costul direcŃiei definite de EP şi TP
Atribuie o culoare corespunzătoare costului aferent
direcŃiei
Desenează punctele corespunzătoare razei pe harta
stabilităŃii
Altfel
Desenează punctele corespunzătoare direcŃiei pe harta de
stabilitate cu alb, deoarece direcŃia nu atinge tumora
În conformitate cu costul aferent fiecărei direcŃii considerate, a fost implementată o
schemă de codificare prin culoare a acestuia (figura 6.5). Regiunile albe indică zonele unde
direcŃia dată de punctul de intrare şi de punctul corespunzător de pe discul Ds nu atinge tumora.
Culoarea verde indică faptul că direcŃia corespunzătoare are o distanŃă mare până la cel mai
apropiat vas de sânge, iar culoarea roşie indică faptul că direcŃia aferentă loveşte un vas de sânge.
43
Figura 6.5. Hartă a stabilităŃii direcŃiei de inserare a acului de biopsie pentru o direcŃie a acestuia. Regiunile verzi indică o direcŃie a acului ce prezintă o distanŃă mare până la vasele de sânge adiacente, iar regiunile roşii indică direcŃiile unde un vas de sânge este atins. Regiunile albe indică faptul ca direcŃiile respective nu ating tumora
(Herghelegiu et al., 2011a).
În cazul particular prezentat în figura 6.5, chiar dacă direcŃia principală considerată (cea din
centrul discului) asigură o distanŃă suficientă până la vasele de sânge adiacente, medicul poate
opta pentru o altă direcŃie de inserare a acului pentru că, în cazul apariŃiei unor erori foarte mici,
se poate rata atingerea tumorii (regiunea cu alb).
Prin sortarea direcŃiilor după costul fiecăreia descris anterior, se poate reprezenta într-o
manieră automată harta de stabilitate pentru direcŃia care oferă cel mai bun cost. Medicul poate
apoi inspecta harta de stabilitate şi decide dacă direcŃia considerată satisface nevoile medicale.
Metoda prezentată a fot implementată ca un plugin al aplicaŃiei de vizualizare
VolumeShop (Bruckner şi Gröller 2005), cu redarea volumetrică a seturilor de date realizată în
GLSL. AplicaŃia cuprinde o fereastră de vizualizare volumetrică ce oferă informaŃii vizuale cu
privire la poziŃia tumorii investigate, poziŃia vaselor de sânge, direcŃia acului de biopsie, masca
punctelor de intrare, discul aferent direcŃiei curente (figura 6.6). În continuare, utilizatorului i se
oferă posibilitatea de vizualizare în acelaşi ecran a imaginilor 2D corespunzătoare structurilor
menŃionate mai sus, de-a lungul celor trei plane principale de scanare (sagital, axial, coronal).
Sunt deci prezente trei astfel de ferestre de vizualizare 2D, conectate între ele pentru a oferi o
navigare intuitivă. Se utilizează şi o codare a poziŃiei planelor prin intermediul culorilor.
No tumor point hit
Blood vessel hit
Large distance to blood vessels
44
Pentru redarea volumetrică, s-a folosit o metodă nouă de redare ce combină avantajele
redării directe a volumelor (DVR) cu avantajele metodei de redare MIP (descrisă în secŃiunea
3.2.2, ecuaŃia (3.17)), numită Maximum Intensity Difference Accumulation (MIDA) (Bruckner
şi Gröller, 2009). Această metodă de redare este asemănătoare cu MIP din punctul de vedere al
exploatării caracteristicilor datelor folosite şi nu necesită definirea unor funcŃii complexe de
transfer pentru generarea unor rezultate satisfăcătoare.
Figura 6.6. Sistemul de vizualizare propus: fereastră de vizualizare volumetrică (stânga sus) în care pot fi
identificate structurile de interes: tumora, vasele de sânge, direcŃia de inserare a acului, discul Ds corespunzător, masca punctelor de intrare considerate şi structurile anatomice înconjurătoare; ferestre de vizualizare 2D
interconectate pentru o navigare intuitivă între imaginile rezultate din scanarea RMN.
6.5. Concluzii
În acest capitol s-a prezentat o aplicaŃie pentru crearea hărŃii de stabilitate a direcŃiei de
inserare a acului de biopsie pentru procedurile efectuate tumorilor intracraniene. S-au prezentat
algoritmii folosiŃi pentru segmentarea tumorii şi pentru calculul transformatei distanŃă a
volumului ce conŃine masca vaselor de sânge. Harta de stabilitate creată ajută medicul
neurochirurg la vizualizarea direcŃiei acului, dând o măsură stabilităŃii acestuia. Prin vizualizarea
hărŃii introduse, medicul poate alege direcŃiile care oferă cea mai mare marjă de eroare din
punctul de vedere al distanŃei până la cel mai apropiat vas de sânge. Această distanŃă este foarte
importantă deoarece, la eventuala apariŃie a unor erori în procesul de inserare, pacientul nu va
suferi nici o traumă datorată atingerii unui vas de sânge de către acul de biopsie. De asemenea,
harta introdusă oferă informaŃii cu privire la direcŃiile de inserare a acului aflate în vecinătatea
direcŃiei luată în considerare care nu vor atinge tumora, caz în care o alta procedură de inserŃie
este necesară. AplicaŃia poate de asemenea să sugereze o direcŃie de inserŃie pe baza sortării
tuturor direcŃiilor posibile în funcŃie de distanŃa minimă până la cel mai apropiat vas de sânge.
45
7. Concluzii generale
În acest capitol se prezintă principalele contribuŃii pe care teza de doctorat prezentă le
aduce în domeniul procesării şi vizualizării datelor volumetrice, cu aplicabilitate în domeniul
medical. Analiza datelor medicale este un pas necesar în vederea stabilirii unor diagnostice
exacte. În cazul investigării structurilor interne, în funcŃie de natura lor, se aplică diferite metode
de scanare medicală. Deoarece dezvoltarea aparaturii medicale de scanare a cunoscut un progres
remarcabil în ultima perioadă de timp, au trebuit dezvoltate noi metode de vizualizare a datelor
obŃinute. InspecŃia imaginilor 2D captate de-a lungul mai multor plane de scanare poate dura
foarte mult timp, iar lipsa unei reprezentări 3D poate conduce la apariŃia unor erori ce se pot
dovedi fatale în unele cazuri. Din aceste considerente, problema vizualizării datelor medicale sub
forma unui volum este o problemă actuală şi de interes major în comunitatea oamenilor din
domeniul graficii asistate de calculator.
Rezultatele cercetărilor prezentate în această teză se regăsesc în mare parte în cele 8
lucrări ştiinŃifice, astfel: 1 lucrare cotată ISI (factor de impact 0.688), 1 lucrare publicată în
volumele unei conferinŃe IEEE, 3 lucrări publicate în reviste de specialitate categoria B+
(indexate BDI), 2 lucrări publicate în volumele unor manifestări ştiinŃifice internaŃionale
recunoscute din Ńară şi străinătate şi o lucrare în curs de evaluare.
7.1. ContribuŃii
ContribuŃiile personale aduse se pot încadra în următoarele categorii:
controlul iluminării volumelor utilizând modelul sferei luminate;
algoritmi de reconstrucŃie şi de combinare a imaginilor provenite în urma unei scanări
medicale;
algoritm de vizualizare a structurilor segmentate în seturi de date multimodale;
algoritm de creare a unei hărŃi a stabilităŃii acului de biopsie.
7.1.1. Controlul iluminării volumelor utilizând modelul sferei luminate
Adăugarea unui surse de iluminare într-o scenă de vizualizare poate îmbunătăŃi doza de
realism. De asemenea, poate ghida atenŃia utilizatorului spre anumite structuri de interes. În
capitolul 3 a fost introdusă o metodă de adăugare şi editare a surselor de iluminare dintr-o scenă.
Modelul de iluminare este captat pe o emisferă, iar prin utilizarea corespondenŃelor între
normalele la această emisferă şi normalele la suprafaŃa volumului, se poate crea efectul unui
volum iluminat. Avantajul major al acestei tehnici este acela că timpii de afişare ai volumelor nu
cresc odată cu numărul de surse de lumină existente. Un alt avantaj evidenŃiat este faptul că
modelul de iluminare este salvat ca o textură, creată ca o proiecŃie a emisferei utilizată ca obiect
intermediar, pentru captarea influenŃelor pe care fiecare sursă de lumină le va avea asupra
iluminării finale a scenei vizualizate. Au fost prezentate de asemenea tehnicile de captare a unui
stil de iluminare existent într-o operă de artă şi de folosire a acestuia într-o funcŃie de transfer al
46
stilului. Aceste funcŃii de transfer permit definirea mai multor modele de iluminare şi introduc
modalităŃi noi de interpolare între aceste stiluri. Editarea interactivă a modelului de iluminare
permite crearea, mult mai rapidă, de stiluri de iluminare a scenei, transferul stilului creat de la o
scenă la alta efectuându-se într-un mod intuitiv.
7.1.2. Algoritmi de reconstrucŃie şi de combinare a imaginilor provenite în urma unei scanări medicale
Combinarea datelor volumetrice reconstruite din mai multe surse a fost abordată în
această teză prin două direcŃii:
reconstrucŃia volumelor dintr-o singură secvenŃă RMN prezentată în secŃiunea 4.1. De
asemenea, tehnica a fost utilizată şi pentru reconstrucŃia imaginilor 2D segmentate pentru a
pune în evidenŃă o anumită structură de interes, în cazul prezentat, măduva spinării.
Segmentarea imaginilor a necesitat utilizarea algoritmului region-growing. Prin segmentarea
imaginilor 2D şi reconstrucŃia ulterioară a acestora, s-a evitat implementarea unui algoritm de
segmentare 3D, care este mult mai greu de controlat şi de aplicat. Volumul original,
reconstruit din imaginile RMN, împreună cu volumul reconstruit din imaginile segmentate au
fost combinate într-o manieră paralelă utilizând proprietăŃile procesorului grafic pentru a
putea fi vizualizate în aceeaşi scenă.
combinarea volumelor reconstruite din imagini RMN provenite din mai multe secvenŃe a fost
implementată, testată şi evaluată în secŃiunea 4.2. Fiecare secvenŃă RMN furnizează un set de
imagini captate de-a lungul unor plane diferite de scanare (sagital, axial sau coronal). Prin
reconstrucŃia acestor imagini, se obŃine câte un volum pentru fiecare secvenŃă RMN utilizată,
densitatea imaginilor influenŃând modul de reconstrucŃie a acestora. Sunt utilizate densităŃi
diferite de captare a imaginilor pentru a micşora timpul de scanare, crescând astfel confortul
pacientului. O vizualizare a tuturor volumelor aliniate în aceeaşi scenă ajută medicii în
înŃelegerea unei anumite boli, precum şi la o planificare preoperatorie detaliată. Tehnica de
combinare introdusă se bazează pe metoda ray-casting de afişare a volumelor. Se utilizează
câte un cub RGB pentru fiecare volum reconstruit, iar prin manipularea acestor cuburi în
conformitate cu poziŃiile spaŃiale ale fiecărei imagini se obŃine o reducere semnificativă a
timpului de calcul necesar alinierii volumelor. Astfel, scena finală conŃine date provenite din
toate secvenŃele RMN obŃinute în urma scanării medicale, oferind totodată utilizatorului
posibilitatea de interacŃionare, în timp real, spre o mai bună înŃelegere a anatomiei
structurilor urmărite.
Au fost investigate probleme de reconstrucŃie şi de combinare a volumelor obŃinute în
principal din imaginile RMN. S-au folosit imaginile RMN datorită naturii structurilor medicale
investigate (măduva spinării, creier, tumori intracraniene), dar generalitatea algoritmilor nu
restricŃionează utilizarea acestui tip de imagini. Pentru investigarea unor probleme la nivelul
sistemului osos, se pot folosi imaginile CT corespunzătoare, fără a modifica structura
algoritmilor prezentaŃi.
47
7.1.3. Algoritm de vizualizare a structurilor segmentate în seturi de date multimodale
În capitolul 5 a fost prezentată o metodă de integrare a unei structuri anterior segmentată,
dintr-o secvenŃă RMN în ponderaŃie T1 cu substanŃă de contrast paramagnetică şi integrarea ei
într-un volum reconstruit pe baza imaginilor RMN dintr-o secvenŃă în ponderaŃie T2. În urma
segmentării imaginilor provenite din secvenŃa RMN în ponderaŃie T1 cu substanŃă de contrast
paramagnetică, obŃinându-se masca pentru structura de interes, reprezentată de tumora
intracraniană. Această structură a fost integrată în volumul reconstruit din imaginile RMN în
ponderaŃie T2 fără substanŃă de contrast, folosind o abordare de vizualizare directă a volumelor.
Această integrare a fost realizată prin introducerea unei noi tehnici de vizualizare, ce păstrează
informaŃiile cele mai importante din cele două volume corespunzătoare celor două scanări în
ponderaŃii diferite. Astfel, poziŃia tumorii în lichidul cefalorahidian generat de aceasta poate fi
vizualizată în aceeaşi scenă, ajutând medicii neurochirurgi în localizarea tridimensională a
tumorii şi în planificarea preoperatorie. Utilizatorul are posibilitatea de modificare a parametrilor
folosiŃi în procesul de vizualizare, lucru ce face posibilă vizualizarea interactivă a datelor
volumetrice. S-a prezentat, de asemenea, modul în care combinarea algoritmilor de aliniere, a
celor de segmentare şi a celor de vizualizare poate face datele volumetrice mai uşor explorabile,
într-un mod intuitiv. Tehnicile prezentate urmăresc asistarea mediului medical în înŃelegerea
anatomiei umane, a unor patologii precum tumorile intracraniene, pentru o mai facilă şi rapidă
diagnosticare a pacienŃilor.
7.1.4. Algoritm de creare a unei hărŃi a stabilităŃii acului de biopsie
Un nou algoritm de creare a unei hărŃi a stabilităŃii acului de biopsie pentru intervenŃiile
chirurgicale efectuate tumorilor intracraniene a fost prezentat în capitolul 6. Algoritmul propus
implică folosirea unor algoritmi de segmentare a tumorii şi a vaselor de sânge intracraniene. Prin
utilizarea transformatei distanŃă aplicată volumului ce conŃine masca vaselor de sânge s-a obŃinut
un volum separat, în care valorile voxelilor sunt reprezentate de distanŃele euclidiene până la cel
mai apropiat vas de sânge. De asemenea, a fost prezentat un algoritm ce determină punctele
accesibile de pe tumoră, considerându-se un punct de intrare fix pentru acul de biopsie. Pentru a
crea harta stabilităŃii acului, s-a folosit un obiect intermediar, şi anume, un disc perpendicular pe
direcŃia de inserare a acului de biopsie şi cu centrul în punctul ales de pe tumoră ca punct de
destinaŃie pentru acul de biopsie. Costul unei direcŃii a acului este dat de distanŃa minimă până la
cel mai apropiat vas de sânge, luându-se în considerare toate punctele de pe direcŃia acului. Harta
astfel creată ajută medicii neurochirurgi în evaluarea riscului ce îl presupune o anumită direcŃie
de inserare a acului în raport cu erorile ce pot apărea în întreg procesul de efectuare a biopsiei
tumorii intracraniene. Ca algoritm de vizualizare volumetrică s-a folosit o metodă recent
introdusă, numită Maximum Intensity Difference Accumulation (MIDA). Această metodă
permite utilizarea unei funcŃii de transfer intuitive pentru vizualizarea structurilor interne într-un
context spaŃial, reducând astfel timpul necesar utilizatorului pentru definirea parametrilor
funcŃiei de transfer. Algoritmii propuşi au fost implementaŃi, testaŃi şi evaluaŃi, iar aplicaŃia a fost
evaluată şi de către experŃi medicali generând un feedback pozitiv.
48
7.2. DirecŃii viitoare de cercetare
DirecŃiile viitoare de cercetare se vor îndrepta în special spre dezvoltarea aplicaŃiei
prezentate în capitolul 6, urmărind astfel cererile formulate de către partenerii medicali implicaŃi
în realizarea aplicaŃiilor. Se vor realiza elementele de interfaŃă necesare vizualizării datelor
medicale în direcŃia acului de biopsie, precum şi o reprezentare a distanŃelor până la vasele de
sânge pe tot traseul urmat de ac. De asemenea, va fi implementat un algoritm de desenare a
punctelor de intrare care oferă cea mai mare distanŃă până la orice vas de sânge, în cazul în care
se consideră un punct de final al acului fix de pe tumoră.
O altă direcŃie viitoare de cercetare o reprezintă studierea reconstrucŃiei şi combinării
volumelor considerând direcŃia fluxului luminos în procesul de interpolară liniară între două
imagini succesive obŃinute în urma unei scanări medicale. Această tehnică, utilizată în
concomitent cu o metodă de analiză a profilului unei raze, poate conduce la o reducere a timpului
de scanare prin necesitatea unui număr mai mic de imagini.
49
Bibliografie selectivă
(Alterovitz, et al., 2009) R. Alterovitz, K. Y. Goldberg, J. Pouliot, I. C. Hsu, Sensorless Motion Planning for Medical Needle Insertion in Deformable Tissues, IEEE Transactions on
Information Technology in Biomedicine, Vol. 13, No. 2, pp. 217 – 225, 2009. (Abellán and Tost, 2008) P. Abellán, D. Tost, Multimodal volume rendering with 3D textures,
Computers & Graphics, Vol. 32, No. 4, pp. 412-419, 2008. (Ahrens, et al., 2005) J. Ahrens, B. Geveci, C. Law, An End-User Tool for Large-Data Visualization,
Visualization Handbook, pp. 717-731, 2005. (Bailey şi Meikle, 2008) D. L. Bailey, S. R. Meikle, SPECT: Basic Science and Clinical
Applications, Springer, 2008. (Brown şi Semelka, 2010) M. A. Brown, R. C. Semelka, MRI: Basic Principles and Applications,
John Wiley and Sons, 2010. (Bruckner şi Gröller, 2005) S. Bruckner, M. E. Gröller, VolumeShop: An interactive system for
direct volume illustration, VIS 05 IEEE Visualization, Vol. 3, No. April 2005, 2005. (Bruckner şi Gröller, 2007) S. Bruckner, E. Gröller. Style Transfer Functions for Illustrative Volume
Rendering, Computer Graphics Forum, Vol. 26, No. 3, pp. 715-724, 2007. (Bruckner şi Gröller, 2009) S. Bruckner, E. Gröller. Instant Volume Visualization using Maximum
Intensity Difference Accumulation, Computer Graphics Forum, Vol. 28, No. 3, pp 775-782, 2009.
(Burns, et al., 2007) M. Burns, M. Haidacher, W. Wein, I. Viola, E. Gröller, Feature Emphasis and Contextual Cutaways for Multimodal Medical Visualization, EuroVis'2007, pp. 275–282, 2007.
(Bushberg, et al., 2001) J. A. Bushberg, J. A. Seibert, E. M. Leidholdt Jr., J. M. Boone, The Essential Physics of Medical Imaging (2nd Edition), Lippincott Williams & Wilkins, 2001.
(Debevec, 1998) P. Debevec, Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic range photography, ACM SIGGRAPH, pp. 189–198, 1998.
(Dong şi Clapworthy, 2005) F. Dong, G. J. Clapworthy, Volumetric texture synthesis for non-photorealistic volume rendering of medical data, The Visual Computer, Vol. 21, No. 7, pp. 463–473, 2005.
(Ebert şi Rheingans, 2000) D. S. Ebert, P. Rheingans, Volume illustration: Non-photorealistic rendering of volume models, IEEE Visualization, pp. 195–202, 2000.
(Engel, et al., 2006) K. Engel, M. Hadwiger, J. Kniss, C. Rezk-Salama, D. Weiskopf, Real-time Volume Graphics, AK Peters, 2006.
(Felzenszwalb şi Huttenlocher, 2004) P. Felzenszwalb, D. Huttenlocher, Distance transforms of sampled functions, Cornell Computing and Information Science, Vol. C, No. TR2004-1963, pp. 1-15, 2004.
(Gering, et al., 1999) D. T. Gering, A. Nabavi, R. Kikinis, W. E. L. Grimson, N. Hata, P. Everett, F. A. Jolesz, W. M. Wells 3rd., An integrated visualization system for surgical planning and guidance using image fusion and interventional imaging, Medical Image
Computing and Computer Assisted Intervention–MICCAI’99, pp. 809–819, 1999. (Gonzalez şi Woods, 2008) R. C. Gonzalez şi R. E. Woods. Digital image processing. Prentice Hall,
2008.
50
(Gooch, et al., 1998) A. Gooch, B. Gooch, P. Shirley, E. Cohen, A non-photorealistic lighting model for automatic technical illustration. ACM SIGGRAPH, pp. 447–452, 1998.
(Herghelegiu şi Manta, 2008) P. Herghelegiu, V. Manta. Volume Illumination Based On Lit Sphere Maps, Buletinul Institutului Politehnic din Iasi, Automatic Control and Computer
Science, Tom LIV (LVIII), fasc. 3-4, 2008. (Herghelegiu şi Manta, 2010a) P. Herghelegiu, V. Manta. 3D Reconstruction Of Spinal Cord
Segmented By A Semi-automated Algorithm Based On Region Growing. Computer
Graphics, Visualization, Computer Vision and Image Processing 2010, Freiburg, Germany, 27 - 29 July 2010.
(Herghelegiu şi Manta, 2010b) P. Herghelegiu, V. Manta. Single volume reconstruction from multiple MRI images, 14th International Conference on System Theory and Control
(Joint conference of SINTES14, SACCS10, SIMSIS14), October 17-19, Sinaia, Romania, 2010.
(Herghelegiu, et al., 2010c) P. Herghelegiu, C. Smochină, V. Manta. GPU Method for Registering Multiple MRI Sequences, Buletinul Institutului Politehnic din Iasi, Automatic Control
and Computer Science, LVI (LX), fasc. 4, 2010. (Herghelegiu, et al., 2011a) P. Herghelegiu, E. Gröller, V. Manta. Needle Direction Stability Maps
for Brain Tumors Biopsies. 15th International Conference on System Theory and
Control (Joint conference of SINTES15, SACCS11, SIMSIS15), October 16-18, Sinaia, Romania, 2011.
(Herghelegiu, et al., 2011b) P. Herghelegiu, M. Gavrilescu, V. Manta. Visualization of Segmented Structures in 3D Multimodal Medical Data Sets, Advances in Electrical and Computer
Engineering, vol. 11, no. 3, pp. 99-104,. (factor impact 0.688), 2011 (Hill, et al., 2001) D. L. G. Hill, P. G. Batchelor, M. Holden, D. J. Hawkes, Medical image
registration, Physics in medicine and biology, Vol. 46, No. 3, pp. 1-45, 2001. (Hladuvka, et al., 2000) J. Hladuvka, A. H. König, E. Gröller, Curvature-based transfer functions for
direct volume rendering, Spring Conference on Computer Graphics, pp. 58-65, 2000. (Ibanez, et al., 2005) L. Ibanez, W. Schroeder, L. Ng, J. Cates, The ITK Software Guide, Kitware,
2005. (Kalender, 2011) W. A. Kalender. Computed Tomography: Fundamentals, System Technology,
Image Quality, Applications, John Wiley and Sons, 2011. (Kass, et al., 1987) M. Kass, A. Witkin, and D. Terzopoulos, Snakes - Active Contour Models
International Journal of Computer Vision, Vol. 1, No. 4, pp 321-331, 1987. (Kniss, et al., 2002) J. Kniss, G. Kindlmann, C. Hansen, Multidimensional transfer functions for
interactive volume rendering, IEEE Transactions on Visualization and Computer
Graphics, Vol. 8, No. 3, pp. 270-285, 2002. (Krüger şi Westermann, 2003) J. Krüger, R. Westermann, Acceleration techniques for GPU-based
volume rendering, in Proceedings Visualization 2003, Seattle, USA, pp. 287 - 292, 2003.
(Lee, et al., 2009) T.-H. Lee, J. Lee, H. Lee, H. Kye, Y. G. Shin, S. H. Kim. Fast perspective volume ray casting method using GPU-based acceleration techniques for translucency rendering in 3D endoluminal CT colonography. Computers in Biology and Medicine, Vol. 39, No. 8, pp. 657-666, 2009.
(Levin, et al., 2005) D. Levin, U. Aladl, G. Germano, P. Slomka, Techniques for efficient, real-time, 3D visualization of multi-modality cardiac data using consumer graphics hardware, Computerized Medical Imaging and Graphics, Vol. 29, No. 6, pp 463-475, 2005.
51
(Levoy, 1988) M. Levoy, Display of surfaces from volume data, IEEE Computer Graphics and
Applications, Vol. 8, No. 3, pp. 29–37, 1988. (Lu and Ebert, 2005) A. Lu, D. Ebert, Example-based volume illustrations. IEEE Visualization, pp.
655–662, 2005. (Lum şi Ma, 2004) E. B. Lum, K.-L. Ma, Lighting transfer functions using gradient aligned
sampling, IEEE Visualization, pp. 289–296, 2004. (Meyer, 1994) F. Meyer, Topographic distance and watershed lines, Signal Processing, Vol. 38, No.
1, pp. 113-125, 1994. (Meyer-Spradow, et al., 2009) J. Meyer-Spradow, T. Ropinski, J. Mensmann, K. Hinrichs, Voreen:
A Rapid-Prototyping Environment for Ray-Casting-Based Volume Visualizations, IEEE Computer Graphics and Applications, Vol. 29, No. 6, pp. 6-13, 2009.
(Osher şi Paragios, 2003) S. Osher şi N. Paragios. Geometric level set methods in imaging, vision, and graphics. Springer-Verlag, New York, USA, 2003.
(Pratt, 2006) W. K Pratt. Morphological Image Processing, in Digital Image Processing: PIKS Scientific Inside, Fourth Edition, John Wiley and Sons, Inc., Hoboken, 2006.
(Preim şi Bartz, 2007) B. Preim şi D. Bartz, Visualization in Medicine, Theory, Algorithms, and Applications, , MA: Morgan Kaufmann, 2007.
(Ray, et al., 1999) H. Ray, H. Pfister, D. Silver, T. A. Cook, Ray casting architectures for volume visualization, IEEE Transactions on Visualization and Computer Graphics, Vol. 5, No. 3, pp. 210-223, 1999.
(Saha, 2010) G. B. Saha, Basics of PET Imaging: Physics, Chemistry, and Regulations, Springer, 2010.
(Schmidt, et al., 2008) B. Schmidt, K.R. Chun, F. Ouyang, A. Metzner, M. Antz, K.H. Kuck, Three-dimensional reconstruction of the anatomic course of the right phrenic nerve in humans by pace mapping, Heart Rhythm, Vol. 5, No. 8, pp. 1120-1126, 2008.
(Seram, 2009) E. Seeram, Computed Tomography: Physical Priniciples, Clinical Applications and Quality Control, 3rd Edition, WB Saunders Company, 2009.
(Sloan, et al., 2001) P.-P. Sloan, W. Martin, A. Gooch, B. Gooch, The lit sphere: A model for capturing NPR shading from art, Graphics Interface, pp. 143–150, 2001.
(Smochină, et al., 2011) C. Smochină, P. Herghelegiu, V. Manta, Image Processing Techniques Used in Microscopic Image Segmentation, Buletinul Institutului Politehnic din Iasi,
Automatic Control and Computer Science, Tom LVII(LXI), fasc. 2, 2011. (Suri, et al., 2008) J. S. Suri, R.-F. Chang, C. Kathuria, Advances in diagnostic and therapeutic
ultrasound imaging, Artech House, 2008. (Vancamberg, et al., 2010) L. Vancamberg, A. Sahbani, S. Muller, G. Morel, Needle path planning
for digital breast tomosynthesis biopsy, International Conference on Robotics and
Automation - ICRA, pp. 2062-2067, 2010. (Vidyasagar, et al., 2010) R. Vidyasagar, A. Stancak, L.M. Parkes, A multimodal brain imaging
study of repetition suppression in the human visual cortex. NeuroImage Vol. 49, No. 2, pp 1612-1621, 2010.