Download - Denumire proiect: IMAGE AND ELECTROMAGNETIC … de cercetare 2016 - TransBITE.pdf · - utilizarea simulatorului artificial cu miscare de respiratie pentru testarea ... Pentru implementarea

Denumire proiect: IMAGE AND ELECTROMAGNETIC GUIDED INNOVATIVE SYSTEM FOR TRANSBRONCHIAL BIOPSY (TransBITE)

PN-II-PT-PCCA-2011-3.2-0482 Nr. Contract 87/2012

1

RAPORTARE ȘTIINȚIFICĂ

Etapa V

Perioada 1 ian. 2016 – 20 dec. 2016

Rezumatul etapei: Activitatea 3.3. Dezvoltare aplicatiei informatice a sistemului TransBITE (II).

Sistemul TRANSBITE a ajuns in faza finală de realizare în cadrul acestei activități, si care cuplata cu activitatea de testare a condus la mici modificari de interfata si interactiune cu utlizatorul. Aplicatia Transbite, care s-a finalizat in aceasta activitate contine urmatoarele functii: - funcția de citire a secțiunilor unui volum dintr-un set de imagistica CT sau RMN în format DICOM standard (Digital Imaging și Comunicațiilor în Medicină); - funcția care realizează un model digital 3D al anatomiei pulmonare și un model 3D virtual al arborelui bronșic fără a utiliza etape intermediare de segmentare-extracție. - funcția de vizualizare și selecție a secțiunile tomografice și modele virtuale ale mai multor ținte (tumori). - achiziționare date de poziție furnizate de senzorul încorporat în instrumentul de biopsie și marcherul activ și prelucrarea lor în timp real; - funcția de creare a camerei virtuale (în vârful forcepsului biopsie) și vizualizare în timp real a imaginilor de bronhoscopie virtuala ale modelului tridimensional virtual al arborelui bronsic, similar cu imaginea furnizata de camera video a bronhoscopului; - funcția de calibrare/orientare manuală, prin care utilizatorul să poată modifica poziția (cu autorul unui mouse 3D), atunci când observă mici diferențe între imaginea de bronhoscopie virtuală și imaginea reală video. - funcția de asistare a utilizatorului în timpul navigației în interiorul căilor respiratorii înguste acolo unde endoscopul nu poate intra, prin înregistrarea poziției senzorului in mod continuu și prezentarea imaginii video reală alături de imaginea virtuală generată, precum și reprezentarea traiectoriei virtuale care trebuie urmată pentru atingerea țintei. Activitatea 4.1. Studii de evaluare a sistemului TransBITE

S-au realizat studii de evaluare a sistemului Transbite cu participarea specialistilor in pneumologie si oncologie parteneri in proiect din Institutul de Pneumoftiziologie “Marius Nasta” Bucuresti si din Clinica de Oncologie “Oncolab” Craiova.

Testele au fost impartite in doua categorii: - identificarea zonelor cu formatiuni suspicioase pe tomografii reale, prin utilizarea modulului de

bronhoscopie virtuala a sistemului Transbite. - utilizarea simulatorului artificial cu miscare de respiratie pentru testarea componentei de navigatie

a sistemului Transbite.



2

In cadrul acestor teste care au inclus medici rezidenti si medici specialisti au fost utilizate: modelul de simulator pulmonar cu respiratie, sistemul de tracking electromagnetic, pensa pentru biopsie nou dezvoltata cu sensor electromagnetic, un sistem de bronhoscopie clasic aflat in dotarea partenerilor, o unitate de procesare pentru achizitia imaginilor, si aplicatia software a sistemului Transbite.

A fost evaluata capacitatea de ghidare si cresterea acuratetei in atingerea tintelor utilizand sistemul Transbite, ergonomia interfetei cu utilizatorul, precum si utilitatea instrumentului nou dezvoltat. In urma testelor au fost realizate modificari ale sistemului Transbite pentru a facilita utilizarea lui.

Toate testele au dovedit utilitatea sistemului in special pentru medicii mai putin experimentati si pentru proceduri de bronhoscopie ce vizeaza atingerea unor zone periferice din plaman. Activitatea 4.2: Dezvoltarea prezentarii proiectului si a planurilor de diseminare Activitatea a constat in diseminarea rezultatelor proiectului și planificarea unor actiuni in scopul valorificarii comerciale a acestor rezultate. Avand in vedere complexitatea sistemului Transbite dezvoltat, care pentru utilizarea clinica presupune continuarea activitatii de cercetare inceputa in acest proiect prin ample studii clinice care necesita un considerabil efort financiar, s-a decis contactarea cu prioritate a firmelor internationale care au in portofoliu sisteme asemanatoare: Olympus Inc., Pentax Medical, Boston Scientific Inc, Fujitsu Medical, Siemens Medical Inc., Philips Medical Inc., etc. In acest scop au fost intreprinse urmatoarele activitati: - a fost contactata o firma din USA de consulting, IEC Partners (www.iecpartners.com), in scopul intocmirii unui plan de afaceri si unor intalniri cu investitori din USA. Prima prezentare a proiectului Transbite a avut loc in martie 2016 la Boston, USA, in sediul IEC Partners, de-a lungul a mai multor sedinte. In urma colaborarii cu IEC Partners a fost intocmita prezentarea pentru business-pitch pentru piata Americana. - s-a aplicat si s-a castigat un grant in cadrul “Romanian Innovation Commercialization Assistance Program” RICAP (http://portal.larta.org/ricap) care a sustinut financiar indrumarea echipei noastre de catre 2 specialisti in business si marketing din cadrul institutului Larta, California, USA, prin care s-a efectuat un studiu de piata pentru sistemului Transbite si s-a intocmit si sustinut un business-pitch in fata unei echipe de la Philips Medical si Boston Scientific. - s-au contact direct si s-a facut o prezentare in fata echipei tehnice de la Pentax Medical in Boston, USA. O a doua intalnire este programata la inceputul anului 2017. Sistemul TRANSBITE si rezultatele obtinute in urma testelor au fost prezentate la urmatoarele conferinte internationale: - Design of Medical Devices – Europe – sesiunile din 2015 si 2016 – Delft, Olanda. - CARS 2016 Computer Assisted Radiology and Surgery, Convention Center Heidelberg, Germany, Joint Congress of IFCARS / ISCAS / CAR / CMI / CAD / IPCAI. - 3rd European Congress for Bronchology and Interventional Pulmonology (ECBIP), 2016. - Biomedical Engineering Society Conference, USA, sesiunile din 2015 si 2016. Activitatea 4.3. Gestionarea drepturilor de proprietate intelectuala si patentarea sistemului In scopul protejarii drepturilor de proprietate intelectuala au fost depuse urmatoarele cereri de brevet de inventie: - „Metodă si tehnica noua pentru imbunatatirea navigației în bronhoscopie”, A/00678/5-10-2014 - „Echipament și metodă pentru instruire și evaluare în bronhoscopie”, A//5.12.2016 - „Pensă pentru biopsie cu flexibilitate controlată si cu senzor pentru ghidare”, A//5.12.2016.



3

RAPORT ȘTIINȚIFIC ȘI TEHNIC Activitatea 3.3. Dezvoltare aplicatiei informatice a sistemului TransBITE (I) Rezultat: Raport Stiintific si Tehnic.

În ultima activitate de dezvoltare a sistemului TRANSBITE, toate modulele software s-au integrat

într-o aplicație unitară, testată de către partenerii 3 și 4, respectiv Clinica de Oncologie ONCOLAB și Spitalul de Pneumo-ftiziologie NASTA din București.

Sistemul TRANSBITE a ajuns in faza finală de realizare în cadrul acestei activități, si care cuplata cu

activitatea de testare a condus la mici modificari de interfata si interactiune cu utlizatorul. Aplicatia Transbite, care s-a finalizat in aceasta activitate contine urmatoarele functii: - funcția de citire a secțiunilor unui volum dintr-un set de imagistica CT sau RMN în format DICOM standard (Digital Imaging și Comunicațiilor în Medicină); - funcția care realizează un model digital 3D al anatomiei pulmonare și un model 3D virtual al arborelui bronșic fără a utiliza etape intermediare de segmentare-extracție. - funcția de vizualizare și selecție a secțiunile tomografice și modele virtuale ale mai multor ținte (tumori). - achiziționare date de poziție furnizate de senzorul încorporat în instrumentul de biopsie și marcherul activ și prelucrarea lor în timp real; - funcția de creare a camerei virtuale (în vârful forcepsului biopsie) și vizualizare în timp real a imaginilor de bronhoscopie virtuala ale modelului tridimensional virtual al arborelui bronsic, similar cu imaginea furnizata de camera video a bronhoscopului; - funcția de calibrare/orientare manuală, prin care utilizatorul să poată modifica poziția (cu autorul unui mouse 3D), atunci când observă mici diferențe între imaginea de bronhoscopie virtuală și imaginea reală video. - funcția de asistare a utilizatorului în timpul navigației în interiorul căilor respiratorii înguste acolo unde endoscopul nu poate intra, prin înregistrarea poziției senzorului in mod continuu și prezentarea imaginii video reală alături de imaginea virtuală generată, precum și reprezentarea traiectoriei virtuale care trebuie urmată pentru atingerea țintei. Sunt prezentate in continuare principalele caracteristici ale aplicatiei Transbite, cu detalierea unor informatii tehnice de noutate incluse in aceasta. Metoda de masurare a similaritatilor - a presupus realizarea de noi tehnici si algoritmi are sunt descrisi in continuare:

- Extragerea suprafetelor: Metodele de generare a imaginilor bronhoscopice virtuale necesita combinarea generarii imaginilor foarte rapid astfel incat doctorul sa poata interactiona usor si fluent cu redarea imaginilor de inalta calitate ce trebuie sa genereze imagini cat mai realistice cu putinta prin simularea proprietatilor reale ale bronhoscopiei cum ar fi iluminarea, camera si textura. Pentru a genera imaginile de bronhoscopie virtuala fluent am utilizat metoda de randare a suprafetelor care extrage mai intai suprafata modelului din setul de date volumetrice in prima etapa a prelucrarii imaginilor. Extragerea suprafetelor este realizata cu ajutorul algoritmului marching cubes descris de Lorensen. Astfel, pornind de la un index cunoscut ce are o anumita valoare, se construieste progresiv suprafata care cuprinde toate pozitiile voxelilor din setul de date ce au aceeasi valoare. Rezultatul este un model poligonal care adesea consta in mai multe milioane de triunghiuri, ce pot fi uneori consumatoare de resurse hardware 3D. Astfel se poate aplica si o reducere a grilei suprafetei in stadiul de preprocesare.

- Modelarea camerei virtuale: camera virtuala a bronhoscopului trebuie setata si are urmatorii parametrii: o pozitie, un punct catre care priveste sau o directie, directia “sus”, axa y este de obicei directia



4

sus, o scala pentru miscare. Miscarea camerei virtuale joaca un rol foarte important in eficienta si utilizarea practica a endoscopiei virtuale.

In Transbite s-a utilizat urmatorul mod de control al camerei: - controlul miscarii camerei virtuale folosind Tastatura

Pseudocod Controlul camerei virtuale cu tastatura: function dotVecRotateX3(var v: TDotVector3; a: Single); var temp: TDotVector3; begin with temp do begin x := v.x; y := (v.y * cos(a)) + (v.z * -sin(a)); z := (v.y * sin(a)) + (v.z * cos(a)); end; v := temp; end; function dotVecAdd3(v1, v2: TDotVector3): TDotVector3; begin Result.x := v1.x + v2.x; Result.y := v1.y + v2.y; Result.z := v1.z + v2.z; end; function CameraMovementKeyboard(key,v,FCamera) begin if GetAsyncKeyState(Up_key) <> 0 then v.z := -dt*speed else if GetAsyncKeyState(Down_key) <> 0 then v.z := dt*speed; if GetAsyncKeyState(Left_key) <> 0 then v.x := -dt*speed else if GetAsyncKeyState(Right_key) <> 0 then v.x := dt*speed; dotVecRotateX3(v, FCamera.Pitch*PI/180); dotVecRotateY3(v, FCamera.Yaw*PI/180); FCamera.Pos := dotVecAdd3(FCamera.Pos, v); End;

- controlul miscarii camerei virtuale folosind mouse-ul

Pseudocod Controlul camerei virtuale cu mouse-ul: FCamera.Pitch := FCamera.Pitch - (Y - FMousePos.Y)/5; FCamera.Yaw := FCamera.Yaw - (X - FMousePos.X)/5; if FCamera.Pitch > 89 then FCamera.Pitch := 89 else if FCamera.Pitch < -89 then FCamera.Pitch := -89; if FCamera.Yaw > 360 then FCamera.Yaw := FCamera.Yaw - 360 else if FCamera.Yaw < 0 then FCamera.Yaw := FCamera.Yaw + 360;

- starea transformarii camerei virtuale



5

Pseudocod Matricea transform a camerei virtuale: glRotatef(-FCamera.Pitch, 1, 0, 0); glRotatef(-FCamera.Yaw, 0, 1, 0); glTranslatef(-FCamera.Pos.x,-FCamera.Pos.y, -FCamera.Pos.z);

- lumina tip spot - pentru generearea sursei de lumina spot s-a folosit librariei OpenGL standard

pentru ca ofera o flexibilitate si o portabilitate excelenta a aplicatiei finale.In cadrul endoscopiei exista o singura sursa de lumina tip spot pozitionata in aceeasi pozitie cu cea a camerei virtuale. Pentru generarea imaginilor cat mai realistic posibil trebuie sa tinem cont de parametrii intrinseci si extrinseci ai camerei video.

a b c Figura 1. Imagini generate de module TransBITE.

- generarea imaginilor bronhoscopice realistice folosind HDR - pentru a genera imagini bronhoscopice cat mai realiste am creat o metoda de randare grafica bazata pe tehnica HDR (high dynamic range). Pentru implementarea acestei metode am folosit tehnici avansate din libraria open source OpenGL bazate pe limbajul GLSL 3.0 si programarea shader. Pentru implementarea tehnicii HDR am folosit extensia OpenGL EXT_framebuffer_object ce ofera operatii render-to-texture.Aplicatia randeaza o scena intr-un buffer de tip float utilizand un model de iluminare simplu plus maparea umbrelor.Portiunea HDR a imagini este apoi rulata printr-un filtru 5eparate de netezire 5eparate si compusa inapoi in portiunea initiala rezultand intr-un efect de stralucire realist.

a b Figura 2. Examplu de imagini virtuale HDR: imagine bronhoscopica reala (a), imagine virtuala HDR

generata din datele 3D CT (b) cu modulul realizat in cadrul acestui proiect.

- sincronizarea imaginilor bronhoscopice bazata pe 2D/3D Video Tracking - miscarile respiratorii reprezinta o problema serioara pentru orice procedura asistata imagistic in regiunea anatomica toracoabdominala. Asadar orice fel de asumtie asupra relatiilor rigide intre anatomia pacientului si imaginile Computer Tomograf (CT) este o estimare foarte grosiera a situatiei realiste. Asadar in orice interventie ghidata imagistic trebuie dezvoltata o schema de compensare a respiratiei. Un mecanism pentru compensarea miscarilor respiratorii poate fi utilizarea imaginile video obtinute de la bronhoscop in timpul procedurii pentru sincronizarea cu imaginilor virtuale generate din datele CT.



6

Astfel, utilizand doar sincronizarea intre imaginile video 2D si imaginile virtuale generate din datele CT este posibil sa se determine locatia fizica a varfului bronhoscopului relativ la datele CT preachizitionate. Metoda propusa si utilizata de noi de video tracking este utilizata doar ca un mecanism de initializare pentru metoda de electromagnetic tracking. Asadar, in momentul in care pacientul tuseste sau o miscare ampla a pacientului este detectata, tehnica de video tracking va fi folosita pentru a corecta pozitia dispozitivului de ghidaj EM(electromagnetic) relativ la spatiul imaginii. La inceputul unei proceduri interventionale, calculatorul afiseaza redarea initiala a datelor CT impreuna cu planificarea caii de acces. In continuare medicul pozitioneaza varful bronhoscopului in apropierea unei pozitii unde imaginea video este asemanatoare cu imaginea virtuala. Pasul de sincronizare video este realizat pentru a potrivi imaginea virtuala cu imaginea video si astfel, sa determine pozitia initiala a varfului bornhoscopului relativ la coordinatele imagini CT. Prin experimentarea cu diverse configuratii pentru platforma de sincronizare am decis sa utilizam ca functie de optimizare metoda Powell impreuna cu functia cost Normalized Mutual Information

- platforma de sincronizare a imaginilor Trakingul video al bronhoscopului poate fi realizat folosind sincronizarea 2D/3D, care utilizeaza o functie de optimizare ce va cauta cea mai optima potrivire a imaginii video cu imaginea virtuala 2D generata din modelul 3D al arborelui bronsic. Scopul sincronizarii este sa se alinieze vederea camerei video a bronhoscopului I CBr cu vederea camerei virtuale I CCT astfel inicat cele doua camere sa fie pozitionate in aceeasi locatie fizica. Initial pozitia fizica a camerei bronhoscopului CBr se afla la coordonatele XBr ,YBr , ZBr ,αBr ,βBr ,γBr ,iar pozitia camerei virtuale din spatiul CT al imaginii la coordonatele XCT ,YCT , ZCT ,αCT ,βCT ,γCT unde e X ,Y, Z sunt coordonate carteziene si α ,β ,γ sunt pitch, yaw si roll ca unghiuri Euler.

Figura 3. Reprezentarea axelor de rotatie a varfului bronhoscopului utilizate in proiect.

Folosind acesti parametri se poate determina matricea de rotatie si translatie a camerei.

𝑀 𝑋, 𝑌, 𝑍, 𝛼, 𝛽, 𝛾 =

cos𝛼cos𝛽 cos𝛼sin𝛽sin𝛾– sin𝛼cos𝛾 cos𝛼sin𝛽sin𝛾– sin𝛼cos𝛾 𝑋𝑠𝑖𝑛𝛼𝑐𝑜𝑠𝛽 sin𝛼sin𝛽sin𝛾 + cos𝛼cos𝛾 sin𝛼sin𝛽cos𝛾 − cos𝛼sin𝛾 𝑌−sin𝛽 cos𝛽sin𝛾 cos𝛾cos𝛽 𝑍0 0 0 1

Deoarece implementarea curenta a aplicatiei TransBite necesita tranferul parametrilor camerei ca pozitie plus vectorii Eye si Up de asemenea am folosit urmatoarea matrice pentru a extrage vectorii eye si up si sa-i pasam motorului de randare.

𝑀 𝑃𝑜𝑠𝑖𝑡𝑖𝑜𝑛, 𝑈𝑝, 𝑒𝑦𝑒 =

𝑅𝑖𝑔ℎ𝑡. 𝑥 𝑈𝑝. 𝑥 𝐹𝑜𝑟𝑤𝑎𝑟𝑑. 𝑥 −𝑑𝑜𝑡(𝑅𝑖𝑔ℎ𝑡. 𝑒𝑦𝑒)𝑅𝑖𝑔ℎ𝑡. 𝑦 𝑈𝑝. 𝑦 𝐹𝑜𝑟𝑤𝑎𝑟𝑑. 𝑦 −𝑑𝑜𝑡(𝑈𝑝, 𝑒𝑦𝑒)𝑅𝑖𝑔ℎ𝑡. 𝑧 𝑈𝑝. 𝑧 𝐹𝑜𝑟𝑤𝑎𝑟𝑑. 𝑧 −𝑑𝑜𝑡(𝐹𝑜𝑟𝑤𝑎𝑟𝑑, 𝑒𝑦𝑒)

0 0 0 1

- functiile de cost - cele doua surse de imagini nu ofera imagini fizic identice dar destul de asemanatoare(vezi imaginile video si virtuale). Ambele imagini reprezinta aceasi vedere anatomica. Imaginea virtuala obtinuta din datele 3D CT a fost generata sa fie cat mai asemanatoare cu imaginea video reala. Am corectat distorsiunea barrel, FOV, intensitatea sursei de lumina si apertura camerei. Dar generarea imaginii exacte este mult mai dificila datorita factorilor nepredictibili cum ar fi:cheaguri de sange si mucus, imagini fara focus, miscari rapide ale camerei.



7

Sincronizarea imaginilor utilizeaza functiile de cost pentru a compara immaginile. Aceste functii masoara cantitativ cat de bine o imagine virtuala mutabila se potriveste cu imaginea video fixata prin compararea intensitatilor imaginilor folosind scala de tonuri de gri. Aceste functii de cost utilizeaza intreaga imagine si nu necesita reducerea imaginilor cu tonuri de gri la informatii reduse cum ar fi muchii. Selectia functiei de cost reprezinta partea cea mai critica a sincronizarii 2D/3D.Unele functii de cost se preteaza numai la potrivirea imaginilor obtinute in cadrul aceleasi modalita de generare a imaginilor, altele permit potrivirea inter-modalitate. Practic, functia de cost utilizeaza toti pixelii dintr-o imagine video.Pentru fiecare pixel, functia interpolator este utilizata pentru a compune intensitatea imaginii virtuale la aceeasi pozitie. Aplicatia Transbite foloseste functia optimizator Powell care are doua parti: in primul rand algoritmul apeleaza o metoda de setare a directiei care produce N directii conjugate mutual(3 sau 6 directii in cazul nostru). Partea a doua a algoritmului este reprezentata de minimizarea liniilor. Datorita acestor puncte slabe am decis sa utilizam o versiune modifica a optimizorului Powell ce necesita mai multi pasi pentru a converge dar nu sufera de problemele enuntate mai sus. Aceasta metoda de asemenea divide problema optimizarii in cautari de-a lungul directiei conjugate, dar simplifca mult criteriile de cautare.Nu inlocuieste directia de cautare curenta cu cea minima si de asmenea nu foloseste minimizarea liniilor. Bazadu-ne pe studii experimentale am reusit ca aceasta metoda sa ofere un compromis mai bun relativ la viteza/acuratete. Codul C++ pentru aceasta metoda realizat de noi este descris in continuare:

Functia de optimizare Powell

float Find_Maximum_Conformity(int direction,float step,float range,double *p) { float er,max,previous; pt[0]= ptt[0]=p[0];pt[1]= ptt[1]=p[1];pt[2]= ptt[2]=p[2]; pt[3]= ptt[3]=p[3];pt[4]= ptt[4]=p[4];pt[5]= ptt[5]=p[5]; for(iter=0;iter>-range;iter=iter-step) { pt[direction]=p[direction]+iter; unsigned char *pImageMoved = RayCasterRenderCurrentFrame(pt); Compute_jointentropy(data1,data2,m_iWidth,m_iHeight,1,256,256); m_fNMI=Compute_normalizedmutualinformation(pImageFixed,pImag e Moved,m_iWidth,m_iHeight); if(er>max) { max=er; ptt[0]=pt[0];ptt[1]=pt[1];ptt[2]=pt[2]; ptt[3]=pt[3];ptt[4]=pt[4];ptt[5]=pt[5]; } } p[0]=ptt[0];p[1]=ptt[1];p[2]=ptt[2]; p[3]=ptt[3];p[4]=ptt[4];p[5]=ptt[5]; return p; } void PowellOptimization() { double range=45; double factor=45; double itermax=2; int i; double attenuation=0.4; p[0]=x;p[1]=y;p[2]=z;p[3]=dirx;p[4]=diry;p[5]=dirz;



8

for (i=0;i<itermax;i++) { Find_Maximum_Conformity(0,step,range,p); Find_Maximum_Conformity(1,step,range,p); Find_Maximum_Conformity(3,step/factor,range/factor,p); Find_Maximum_Conformity(4,step/factor,range/factor,p); Find_Maximum_Conformity(5,step/factor,range/factor,p); Find_Maximum_Conformity(2,step,range,p); step=step*attenuation; factor=range=26; }

- validarea metodei de Ghidaj Video - in tabel se pot vedea rezultatele modelului de sincronizare

model la model. Am folosit o pozitie initiala a camerei virtuale ca referinta si apoi, pornind de la o pozitie aleatoare am incercat sa determinam miscarea camerei. Diferenta intre pozitia de referinta si pozitia finala, care intr-o sincronizare ideala ar trebui sa fie identica, reprezinta eroarea de sincronizare.

Pozitia/numarul 1 2 3 4 5 Pozitia Initiala a camerei fixe 263, 301, 244 256,304, 249 267,300, 227 267, 313, 220 263, 308, 195

Pozitia initiala a camerei mobile 268,306,230 271,308, 245 267,310, 216 268,300, 216 275,305, 187

Pozitia finala a camerei mobile 265,304,241 261,305, 242 267,300, 228 266,315, 218 260,308, 191

Tabel 1. Valorile metricii Cross Crorrelation obtinute in sincronizarea 2D/3D; In tabelele urmatoare se poate vedea evolutia metricii de sincronizare, de la pozitia initiala catre cadrul de referinta.

Pozitia/numarul 1 2 3 4 5 Pozitia Initiala a camerei fixe 263,301,244 256,304,249 267,300,227 267,313,220 263,308,195

Pozitia initiala a camerei mobile 268,306,230 271,308,245 267,310,216 268,300,216 275,305,187

Pozitia finala a camerei mobile 265,304,241 261,305,242 267,300,228 266,315,218 260,308,191

Tabel 2. Valorile metriciiNMI in sincronizarea 2D/3D Pozitia/numarul 1 2 3 4 5

Pozitia initiala a camerei fixe 263,301,244 256,304,249 267,300,227 267,313,220 263,308,195 Pozitia initiala a camerei mobile 268,306,230 271,308,245 267,310,216 268,300,216 275,305,187 Pozitia finala a camerei mobile 263,301,245 257,303,250 266,300,229 266,313,221 263,308,194

Tabel 3. Valorile metricii SSD in sincronizarea 2D/3D

Interfața grafica (fig. 4,5) propusă în cadrul sistemului Transbite s-a bazat pe expertiza medicală

din cadrul membrilor medici pneumologi ai consorțiului. În urma discuțiilor am concluzionat că rata de succes a unei proceduri de biopsie transbronșică este dependentă de dimensiunea și localizarea leziunii investigate. Drept urmare am decis ca interfața grafică Transbite va fi mai utila daca augmentează bronhoscopia clinică pentru leziunile periferice, nu și cele centrale. Pentru bronhoscopia virtuală (fig. 16 - diagrama algoritmului) am îmbunătațit vizualizarea dezvoltată în cadrul perioadei anterioare WP2, 2013.

Ca noutăți le reprezintă dezvoltarea unei metode de extragere a suprafețelor folosind algoritmul Marching Cubes paralel implementat cu GPU pentru extragere de suprafețe de volume, cu ajutorul tehnologiilor OpenCL si OpenGL:



9

Acest algoritm cuprinde 6 etape : 1. Transferul Datelor – setul de date este stocat ca o textură 3D pe GPU al unei plăci grafice specializate performante :NVIDIA Quadro 6000 2. Construirea nivelul de bază pentru piramidele histograme 3. Întreaga structură a piramidelor histogramei este construită prin apelarea unui set de kerneluri ND Range din OpenCL. 4. Alocarea de memorie de pe placa grafică (VBO) pentru toate nodurile și normalele necesare pentru a reprezenta suprafața arborelui bronsic. 5. Traversarea piramidelor histogramei. Memoria este umplută cu datele de ieșire ale algoritmului Marching Cubes prin apelarea unui alt kernel Range ND de aceeași mărime cu suma totală de triunghiuri ale suprafetei.

6. Randarea. Nodurile și normalele sunt stocate în tamponul VBO creat în etapa anterioară. De asemenea am implementat un algoritm de căutare a căii minime către o țintă folosind tehnica A-star

(figura 17 – diagrama algoritmului).

Figura 4. Captură ecran - interfața de planificare

Aplicația Transbite conține două module de înregistrare și navigare. Aceste module sunt dezvoltate folosind biblioteci open source IGSTK, ITK, VTK cunoscute în lumea științifică pentru prelucrări de imagini medicale.

Figura 5. Captură ecran - interfața de navigare

O augmentare eficientă a presupus dezvoltarea unei tehnici inovatoare de corelare a modalitaților de

navigare din cadrul sistemului Transbite ce permite ghidarea forcepsului de bronhoscopie pentru a atinge ținte pulmonare periferice din arborele bronșic, în afara ariei de vizualizare a bronhoscopiei video, prin



10

estimarea parametrilor extrinseci ai camerei, rezultând într-o metodă de navigație pe baza markerilor externi activi.

Pe scurt, bronhoscopia virtuală CT și poziția bronhoscopului sunt co-înregistrate în timp real în timpul procedurii, folosind datele de poziționare spațiale furnizate de forcepsul de navigație și de senzorul activ de pe pacient (fig. 15).

Algoritmul inițial de înregistrare se bazează pe o soluție formă închisă de orientare absoluta, folosind quaternioni unitari și include datele de poziționare spațială de la cei trei markeri anatomici selectați de utilizator plus markerul activ de pe pielea pacientului. Prin urmare, o corecție continuă a registrării este realizată pe parcursul procedurii de bronhoscopie ce urmărește mișcarea pacientului folosind doar poziția și datele de orientare date de markerul activ. Utilizatorul poate efectua o corecție a acestei registrari folosind un mouse 3D, pentru o re-aliniere fină a modelului de bronhoscopie virtuală cu pozitia pacientului, comparând vizual imaginile de pe ecran. Astfel sunt compensate mișcările respiratorii ale zonei țintă.

Atât corecțiile de înregistrare și manuale sunt calculate folosind quaternioni pentru poziționare, robustețea orientării și viteză. Quaternionii sunt obiecte matematice care pot fi folosite pentru a descrie într-un mod concis rotația de vectori într-un spațiu 3D euclidian, sau, echivalent, pentru a măsura orientarea relativă a două cadre de referință. Comparativ cu alte metode matematice folosite pentru a descrie rotații și orientarea (matrice de orientare, unghiuri Euler), quaternionii prezintă anumite avantaje, cum ar fi formule mai simple și erori mai mici în calcule numerice.

Quaternionii pot fi reprezentați ca un scalar plus un vector prin formula: 𝑞 = 𝑤 ⋅ 1 + 𝑥 ⋅ 𝑖 + 𝑦 ⋅ 𝑗 + 𝑧 ⋅ 𝑘 = 𝑤, 𝑞 , 𝑞 = 𝑥, 𝑦, 𝑧 (1)

unde 𝑤este partea scalară , 𝑞 este un vector standard Euclidian 3 dimensional si i,j,k sunt vectori unitate

în coordinate Cartesiene. O rotație în jurul axei 𝑛 cu unghiul 𝜃 poate fi calculate folosind quaternionul unitate:

𝑞 = 𝑤, 𝑞 = 𝑐𝑜𝑠𝜃2, 𝑠𝑖𝑛

𝜃2𝑛 ,

(2)

𝑞Z[ = 𝑤,−𝑞 , 𝑤\ + 𝑞\ = 1.

Aceste două ecuatii din (2) descriu proprietatea unitară a quaternionilor. Rotirea unui vector 𝑟 în jurul axei 𝑛 cu unghiul 𝜃, se poate extinde la un quaternion prin inserarea unei părți scalare 𝑟 = 𝑎, 𝑟 .

Rezultatul operatiei de rotație descris de (2) este partea vectorială a quaternionului. 𝑟] = 𝑞 ⋅ 𝑟 ⋅ 𝑞Z[ = 𝑎, 𝑟] (3)

și este independent de alegerea părți scalare a lui 𝑟. De asemenea partea scalar a quaternionului 𝑟 rămâne neschimbată de operația de rotație.

Metoda de navigație dezvoltată inovativ în sistemul Transbite rezolvă problemele tehnice ale orientării medicului în atingerea țintelor periferice prin determinarea poziției instantanee a instrumentului în raport cu pacientul și crearea în timp real a unei imagini de bronhoscopie virtuală corespunzătoare poziție capului instrumentului, care să înlocuiască imaginea video a bronhoscopului și să fie folosită de către medic la navigare.

Transbite este un sistem de navigare cu urmărire electromagnetică care se poate integra la orice bronhoscop existent, constituit dintr-un echipament electromagnetic de determinare a poziţiei în spaţiu, alcătuit dintr-un generator de câmp magnetic de mică intensitate, care se poziţionează în apropierea pacientului în timpul procedurii investigative, astfel încât zona anatomică de interes, care va fi investigată, să fie cuprinsă în volumul câmpului magnetic; un instrument/pensă pentru biopsie, la capătul distal al instrumentului fiind introdus şi fixat un senzor electromagnetic de poziţie, cu şase grade de libertate; un marker activ care urmează să fie lipit pe pielea pacientului, în apropiere de zona de investigat; o unitate de control, care interpretează semnalele electrice primite de la senzori şi le transformă în coordonate şi unghiuri de rotaţie; precum şi un computer personal, pe care rulează un produs-program original care



11

construiește un model tridimensional al arborelui bronșic al pacientului, care calculează în timp real poziția capului instrumentului în interiorul pacientului, și construiește o imagine de bronhoscopie virtuală corespunzătoare poziției capului instrumentului și o secțiune virtuală prin volumul CT, folosind o metodă originală bazată pe metoda curbelor geodezice.

În scopul creșterii preciziei în navigare, s-a constatat că reprezentarea virtuală a instrumentului medical ar trebui să rămână permanent în interiorul căilor respiratorii. Totuși, datorită erorilor inerente ale sistemului de urmărire și localizare, pot exista momente când instrumentul este reprezentat în bronhoscopia virtuală în afara suprafeței căilor respiratorii.

Pentru a evita această reprezentare greșită, care ar putea să inducă în eroare utilizatorul, s-a dezvoltat un algoritm inovativ de detecție și rezolvare a coliziunilor care va păstra permanent reprezentarea instrumentului medical în interiorul căilor respiratorii.

Se presupune că inițial, înainte de începerea detecției coliziunilor, instrumentul este reprezentat în interiorul suprafeței căilor respiratorii. Poziția instrumentului va fi furnizată la momente discrete de timp. De asemenea, reprezentarea suprafeței căilor respiratorii este formată din triunghiuri mici. Pașii de detecție și rezolvare a coliziunilor sunt următorii (fig. 18):

- fiind date două poziții Pt, Pt+1 la două momente succesive de timp t, (t + 1), se evaluează intersecția segmentului PtPt+1 cu triunghiurile de pe suprafață. Pentru a evita calcule prea lungi, se vor grupa triunghiurile într-o structură de date care va permite luarea în calcul doar a triunghiurilor din “vecinătatea” segmentului. Dacă nicio intersecție nu a fost detectată, atunci poziția Pt+1 a rămas în interiorul suprafeței.

- dacă segmentul PtPt+1 intersectează un triunghi (notat Tr în fig. 9 iar PTr este punctul de intersecție), atunci Pt+1 este adus de aceeași parte a triunghiului Tr ca și Pt de-a lungul unei căi “minime” ( Pt+1 → P't+1). O dreaptă perpendiculară pe planul Tr este trasată din poziția Pt+1. Intersecția cu Tr este notată prin P'Tr și, dacă intervalul de timp în care sunt furnizate două poziții succesive este suficient de mic, ar trebui să fie în interiorul triunghiului Tr. Dacă nu, atunci sunt necesare corecții suplimentare (v. fig. 19). O paralelă la planul Tr este trasată din punctul Pt, în planul (PtPt+1P'Tr). Intersecția celor două drepte “trasate” anterior reprezintă poziția corectată P't+1 a instrumentului medical.

În cazul în care proiecția poziției Pt+1 pe planul Tr este de fapt în afara triunghiului Tr (compară Fig. 18, A și Fig. 18 B), atunci dreapta formată de punctele PTr and P'Tr este intersectată cu perimetrul triunghiului (v. fig. 19 B), intersecția este notată P''Tr). Intersecția dreptelor (PtPt+1) și (Pt+1P''Tr) reprezintă, în acest caz, poziția corectată P''t+1 a instrumentului medical.

Figura 6. Diagrama fluxului de date în sistemul Transbite.



12

Figura 7. Diagrama algoritmului de calcul al căii minime către țintă dezvoltat în cadrul proiectului

Transbite.

Figura 8. Diagrama algoritmului de realizare a bronhoscopiei virtuale dezvoltat în cadrul proiectului

Transbite.

Figura 9. Reprezentarea geometrică folosită în algoritmul de detectare a coliziunilor dezvoltat în

cadrul proiectului Transbite.



13

Figura 10. Reprezentarea geometrică a corecției folosite în algoritmul de detectare a coliziunilor

dezvoltat în cadrul proiectului Transbite. Dezvoltarea unei metode de înregistrare în timp real este cea mai importantă și mai inovativă

componentă din cadrul software-ului pentru a îmbunătăți precizia biopsiilor transbronhiale. În cadrul aplicației Transbite am utilizat o combinație a unui hardware de navigație electromagnetic, o stație grafică de mare putere, un algoritm performant de render, o tehnică optimizată pentru creșterea preciziei de estimare a poziției camerei video a bronhoscopului precum și o metodă de măsurare a similarităților care include o serie de markeri anatomici, stabiliți de utilizator.

Fig. 11. Diagrama metodei de înregistrare utilizând markeri externi și interni (anatomici) S-au utilizat în continuare următoarele definiții pentru a explica algoritmul dezvoltat:

),,,,,( zyxzyx rrrtttC =: poziția în spațiu a camerei,

),,( zyx ttt: parametrii de poziție (translații), ),,( zyx rrr

: rotatii,

bC : poziția camerei bronhoscopului,

vC : poziția camerei virtuale,

iBI : cadrul i al imaginii video a bronhoscopului,



14

jiVI , : cadrul i al imaginii virtuale a bronhoscopului, j indicele reconstrucției pe baza algoritmului,

iVI : imaginea bronhoscopică virtuală generată la cadrul i,

)(ibC : poziția camerei bronhoscopului la cadrul i,

),( jivC : poziția j a camerei virtuale a bronhoscopului calculată pentru cadrul i,

)(ivC : poziția finală precisă a camerei estimată prin calcul pentru cadrul i,

iT : parametrii de navigație pentru cadrul i .

Prin aceste tehnici s-a estimat )(ivC calculand ii BIVI = cu iT si iBI . Figura 1 prezintă algoritmul de co-registrare. Algoritmul cuprinde urmatoarele operatii principale:

- estimarea inițială a poziție camerei,pe baza senzorului existent în cateter și a senzorului prezent pe toracele pacientului,

- generarea modelului 3D al anatomiei de interes pe baza secțiunilor seriate și a unui algoritm care include metoda de segmentare Marching Cubes,

- generarea unei imagini virtuale din stiva CT/MRI pe baza poziției estimate și a modelului 3D,

- recalcularea mai precisă a poziției inițiale prin atingerea de către utilizator a minim 3 intersecții ale căilor respiratorii începând cu carina, și aplicarea unui algoritm bazat pe metoda Horn,

- crearea unor elemente de control între cele două pozitii precum forma căilor respiratorii și linia mediana, verificarea similitudinilor elementelor de control a celor doua imagini, incluzând datele selectate preoperativ,

- decizia utilizatorului privind similitudinea pozițiilor și modificarea/ajustarea folosind controalele manuale,

- deteminarea noii poziții a camerei.

- repetarea pasilor anteriori pentru cazul în care utilizatorul observă erori semnificative între imaginea virtuală și cea bronhoscopică.

- Estimarea poziției inițiale a camerei. La începutul procedurii de biopsie transbronșică se aliniază spațiul virtual al CT cu spațiul pacientului furnizat de sistemului electromagnetic. Se realizează o aliniere inițială

prin modificarea manuală a camerei virtuale astfel încât )0()0,0( bv CC II @. Odată ce )0,0(vC a fost determinat

valoarea acestuia va fi rafinată conform algoritmului prezentat anterior cu determinarea finală a lui )0(vC .

Să presupunem calculate pozițiile )()1()0( ,,, ivvv CCC !. Poziția inițială este estimată prin următorul

calcul: )( 1)()0,1( iiiviv TTCC -+= ++ . Pentru această estimare inițială se va tine cont de parametrii de poziție

ai markerului extern, deoarece parametrii de rotatie nu vor fi afectati de deplasarea pacientului din camera CT în camera de procedură. - Simularea imaginilor bronhoscopice virtuale. Exista două tipuri de parametrii ai camerei implementați, cei intrinseci și cei extrinseci. Parametrii intrinseci sunt centrul de proiectie (COP), distanța focală, scara de transformare a imaginii plane și distorsiunea lentilelor. Parametrii intrinseci sunt independenți de mișcarea camerei. Cu alte cuvinte, acești parametrii au fost calculași odată pentru un anumit tip de bronhoscop pentru că focusul și zoom-ul nu se modifică. Calculul parametrilor intrinseci presupun calculul matricei de proiecție a camerei și distorsiunea radială a lentilelor.



15

Parametrii extrinseci sunt locația camerei și axele optice. Parametrii extrinseci se modifică în funcție de mișcările camerei. Aceștia se obțin utilizând navigația electromagnetică cu senzorul încorporat în instrumentul de biopsie și prin metoda de co-registrare dezvoltată în această etapă prin care se adaugă și o serie de markeri anatomici pe care utilizatorul îi selectează în faza de înregistrare. Pentru măsurarea similitudinilor între imaginile camerei bronhoscopice și cele ale bronhoscopiei

virtuale s-a dezvoltat un algoritm de segmentare al iBI și iVI care crează conturul și linia mediană a căilor bronșice pentru a permite comparația lor. - Segmentarea imaginilor bronhoscopice virtuale. S-a realizat o operație de render a secțiunilor de pe stiva CT prin aplicarea parametrilor intrinseci și extrinseci ai camerei. Volumul obtinut este utilizat pentru crearea imaginilor bronhoscopice virtuale. Volumul obținut prin rendering este augmentat vizual prin segmentarea căilor aeriene prin metoda Marching Cubes. Un element important în crearea imaginilor bronhoscopice virtuale îl reprezintă viteza de rendering, operația decurgând in timp cvasi-real pentru determinarea imaginilor bronhoscopice virtuale corespunzatoare poziției instantanee a camerei bronhoscopului. În acest scop s-a ales metoda de rendering pe volum. - Masurarea similitudinilor. Pe măsură ce imaginea bronhoscopică virtuală și conturul căilor bronșice este creat, măsoară similitudinile cu imaginea curentă bronhoscopică prin metoda coeficientului de corelație (CC) și a diferenței intensitații sumei patratelor (SSD).

Sistemul TRANSBITE al cărui prototip s-a finalizat în cadrul acestei activități, este un sistem de navigație pentru bronhoscopie ce se compune din următoarele elemente:

- Un dispozitiv electromagnetic pentru determinarea poziției în spațiu, format dintr-un generator de câmp magnetic de intensitate scăzută, care se află în apropierea pacientului în timpul procedurii medicale, astfel încât regiunea de interes care urmează să fie investigată sa fie inclusa în volumul campului magnetic

- O unitate de control, care interpretează semnalele electrice primite de la senzori și le transformă în coordonate și unghiuri de rotație;

- Un marcher activ, care va fi plasat pe pielea pacientului aproape de zona investigată; - Un instrument de biopsie pentru ghidarea senzorului de poziție în arborele bronșic; - Un computer pe care rulează un program care permite afișarea unui instrument de navigare în timp

real în interiorul arborelui bronsic al pacientului, folosind un model de bronhoscopie virtuala si permite corecții automate și manuale ale acestei operațiuni.

Programul este un sistem dedicat de bronhoscopie si navigație care realizeaza următoarelor operațiuni: 1. citirea secțiunilor unui volum dintr-un set de imagistica CT sau RMN în format DICOM standard

(Digital Imaging și Comunicațiilor în Medicină); 2. efectuează un model digital 3D al anatomiei pulmonare și un model 3D virtual al arborelui bronsic

prin metodă numită marching-cubes folosind un algoritm ce se aplică fără a utiliza etape intermediare de segmentare-extracție, ci direct pe datele inițiale DICOM. Se permite, de asemenea, selectarea valorii isosuprafeței.

3. Selecteaza cu mouse-ul secțiunile tomografice și modele virtuale ale mai multor targeturi (tumori), precum și poziția virtuală a 3 markere active 5D sau un marker activ 6D care se vor plasa pe pacient în apropierea zonei investigate.

4. achiziționează date de poziție furnizate de senzorul încorporat în instrumentul de biopsie și marcherul activ;

5. creează o camera virtuala în vârful forcepsului biopsie si arată în timp real imagini de bronhoscopie virtuala ale modelului tridimensional virtual al arborelui bronsic, similar cu imaginea furnizata de camera video a bronhoscopului;

6. permite orientare manuala, astfel încât utilizatorul să poată modifica poziția cu un mouse 3D, atunci când a observat mici diferențe între imaginea de bronhoscopie virtuală și imaginea reală video.



16

7. Navighează în interiorul căilor respiratorii înguste acolo unde endoscopul nu poate intra, prin înregistrarea poziției senzorului in mod continuu și arată imaginea video reală alături de imaginea virtuală generată. Prototip Transbite are următoarele componente principale:

Figura 12: Arhitectura generală a prototipului TRANSBITE Principalele ferestre GUI ale aplicație sunt:

1. Fereastra Calibration cu 4 panouri: Axiala, sagitală, coronală și 3D 2. Ferestra Operation cu 4 panouri: arbore 3D bronșic, Flux Video , Volum 3D și panou Oblique 3. Fereastra Options: controalele funcției de transfer și panoului oblic 4. Fereastra Controls: setări diferite pentru panoul arbore bronsic 3D si volum 3D

Figura 13: Captura ecran cu fereastra Operation ce contine cele 4 cadrane, fereastra Controls si

ferestra Options.

Caracteristici ale aplicației TRANSBITE:

1. Fuziunea continuă combinată cu corecții manuale - Aliniează modele tridimensionale virtuale cu spațiul de tracking, utilizând un marker activ sau o

configurație de 3 markeri, care sunt selectate pe modele virtuale combinate cu date reale obținute prin tracking, problema de orientare sistemelor de coordonate ale celor două volume fiind rezolvată printr-un algoritm numit Horn utilizând quaternioni pentru calcul.

-Navigarea permite de asemenea control manual pe care utilizatorul il poate realiza folosind un mouse 3D (3DConnexion), atunci când există diferențe discrete între imaginea virtuală bronhoscopică și imaginea reală a camerei endoscopului.



17

-Un algoritm de detecție a coliziunilor și de rezolvare a acestora ce menține tot timpul reprezentarea instrumentului medical în interiorul căilor aeriene. Se presupune că inițial, înainte de începerea procedurilor de detectie, intrumentul se afla in interiorul suprafetei cailor aeriene. Poziția intrumentului este determinată la momente discrete de timp. Pentru implementarea algoritmului de detecție a coliziunilor am folosit un calcul geometric între poziția carteziană a reprezentarii vărfului bronhoscopului cu reprezentarea suprafeței arborelui bronsic, ce este alcatuit din triunghiuri optim stocate, astfel reducând calculele la intersecția punct-suprafață.

2. Înregistrarea folosind un marker anatomic intern Utilizatorul selecteaza initial pozitia unui marker anatomic in imagine, cu posibilitatea de inghetare a

imaginii. Dupa selectia acestui landmark se porneste trackingul si se identifica o imagine video reala asemanatoare, sistemul adaugand acest offset de pozitie la pozitia actuala a instrumentului pentru corectia pozitiei intrumentului. Metoda este simpla si eficienta, dar ofera o precizie limitata, corectand erorile mari de registrare cum ar fi mișcarea pacientului.

3. Controlul folosind dispozitivul Mouse 3D Controlul mouse în Transbite permite doctorului re-poziționeze liber camera virtuală și să corecteze

poziția intrumentului real oricând în timpul procedurii, cu acuratețe crescută. Pentru a creste acuratetea si a indeparta efectul gimball lock ce afecteaza metoda Directional Cosine

Matrix Orientation am decis sa implementam rotatiile bazate pe quaternioni. Interfața grafica propusă în cadrul sistemului Transbite s-a bazat pe expertiza medicală din cadrul

membrilor medici pneumologi ai consorțiului. În urma discuțiilor am concluzionat că rata de succes a unei proceduri de biopsie transbronșică este dependentă de dimensiunea și localizarea leziunii investigate. Drept urmare am decis ca interfața grafică Transbite va fi mai utila daca augmentează bronhoscopia clinică pentru leziunile periferice, nu și cele centrale.

Ca noutăți le reprezintă dezvoltarea unei metode de extragere a suprafețelor folosind algoritmul Marching Cubes paralel implementat cu GPU pentru extragere de suprafețe de volume, cu ajutorul tehnologiilor OpenCL si OpenGL:

Acest algoritm cuprinde 6 etape : 1. Transferul Datelor – setul de date este stocat ca o textură 3D pe GPU al unei plăci grafice specializate

performante :NVIDIA Quadro 6000 2. Construirea nivelul de bază pentru piramidele histograme 3. Întreaga structură a piramidelor histogramei este construită prin apelarea unui set de kerneluri ND

Range din OpenCL. 4. Alocarea de memorie de pe placa grafică (VBO) pentru toate nodurile și normalele necesare pentru

a reprezenta suprafața arborelui bronsic. 5. Traversarea piramidelor histogramei. Memoria este umplută cu datele de ieșire ale algoritmului

Marching Cubes prin apelarea unui alt kernel Range ND de aceeași mărime cu suma totală de triunghiuri ale suprafetei.

6. Randarea. Nodurile și normalele sunt stocate în tamponul VBO creat în etapa anterioară. O augmentare eficientă a presupus dezvoltarea unei tehnici inovatoare de corelare a modalitaților de

navigare din cadrul sistemului Transbite ce permite ghidarea forcepsului de bronhoscopie pentru a atinge ținte pulmonare periferice din arborele bronșic, în afara ariei de vizualizare a bronhoscopiei video, prin estimarea parametrilor extrinseci ai camerei, rezultând într-o metodă de navigație pe baza markerilor externi activi.

Pe scurt, bronhoscopia virtuală CT și poziția bronhoscopului sunt co-înregistrate în timp real în timpul procedurii, folosind datele de poziționare spațiale furnizate de forcepsul de navigație și de senzorul activ de pe pacient.



18

Activitatea 4.1. Studii de evaluare a sistemului TransBITE S-au realizat studii de evaluare a sistemului Transbite cu participarea specialistilor in pneumologie

si oncologie parteneri in proiect din Institutul de Pneumoftiziologie “Marius Nasta” Bucuresti si din Clinica de Oncologie “Oncolab” Craiova.

Testele au fost impartite in doua categorii: - identificarea zonelor cu formatiuni suspicioase pe tomografii reale, prin utilizarea modulului de

bronhoscopie virtuala a sistemului Transbite. - utilizarea simulatorului artificial cu miscare de respiratie pentru testarea componentei de navigatie

a sistemului Transbite. In cadrul acestor teste care au inclus medici rezidenti si medici specialisti au fost utilizate: modelul

de simulator pulmonar cu respiratie, sistemul de tracking electromagnetic, pensa pentru biopsie nou dezvoltata cu sensor electromagnetic, un sistem de bronhoscopie clasic aflat in dotarea partenerilor, o unitate de procesare pentru achizitia imaginilor, si aplicatia software a sistemului Transbite.

A fost evaluata capacitatea de ghidare si cresterea acuratetei in atingerea tintelor utilizand sistemul Transbite, ergonomia interfetei cu utilizatorul, precum si utilitatea instrumentului nou dezvoltat. In urma testelor au fost realizate modificari ale sistemului Transbite pentru a facilita utilizarea lui.

Toate testele au dovedit utilitatea sistemului in special pentru medicii mai putin experimentati si pentru proceduri de bronhoscopie ce vizeaza atingerea unor zone periferice din plaman.

Metodologia de testare: Modelul 3D rigid cu tumori a fost asezat in camera pentru proceduri clinice de bronhoscopie (a fost testat

in doua locatii: centrul de Cercetare de la Spitalul de Urgenta nr 1 din Craiova si Institutul de Pneumoftiziologie “Marius Nasta” Bucuresti) pe masa de procedura, intr-o pozitie fixa langa generatorul de camp magnetic.

Este pozitionat aleator pe el un marker activ care contine un sensor de pozitie cu 6 grade de libertate care furnizeaza atat pozitia cat si orientarea in spatiu relativ la campul magnetic.

Cu un instrument precis realizat de producatorul NDI (Aurora 6DOF Probe, Straight Tip, Standard) este obtinuta pozitia tumorilor in spatiu relativ la campul magnetic, prin atingerea acestora cu varful probei.

Se porneste sistemul Transbite si se incarca modelul CT. Se alege pe acesta manual, de catre utilizator, pozitia aproximativa a markerul activ prezent pe modelul real.

Se aleg ca target pe rand tumorile, manual cu mouse-ul pe modelul CT. Se navigheaza catre acestea pana la atingerea unei valori minime a erorii, precizate de sistemul

Transbite si se inregistreaza pozitia tool-ului in acel loc. Se verifica cu pozitia stabilita initial au ajutorul probei NDI si se calculeaza eroarea absoluta de

pozitie. Se repeta procedura de catre mai multi utilizatori, pentru a se determina dependenta erorilor de

alegerea subiectiva a pozitia virtuala pe modelul CT a markerului activ. Se repeta procedura utilizand reglajele manuale pentru a alinia imaginea bifurcatiei traheala (carina)

de pe bronhoscop cu cea de pe bronhoscopia virtuala (left main stem bronchus-right stem). Date colectate: erorile absolute de pozitie pentru fiecare tumora intre pozitia determinata prin

navigatie cu Transbite si pozitia reale, timpii de lucru si numarul de proceduri de corectie, revenire la pozitia initiala cu bronhoscopul.

Pentru testarea sistemului Transbite cat mai aproape de o situație reală clinică s-au construit în cadrul proiectului 2 tipuri de modele ale arborelui bronșic, unul rigid necesar testelor și calibrării sistemului și unul flexibil din polimer, mai apropiat de realitate, precum și un simulator al arborelui bronșic cu mișcare abdominală de respirație și mișcare cardiacă.

Modelele tridimensionale ale arborelui bronșic au fost realizate prin segmentarea secțiunilor seriate ale tomografiei unui pacient și reconstruirea modelului tridimensional utilizând un software de proiectare asistată, SolidWorks. Detaliile acestei operații sunt prezentate în rapoartele științifice anterioare.

S-a realizat astfel un model redus 3D al arborelui bronșic, redus ca dimensiuni cu accent pe ramurile principale și s-a printat pe o imprimanta 3D Objet260 Connex dintr-un material rigid VeroGray RGD850),



19

pentru a permite testele inițiale și calibrarea sistemului Transbite și a pensei de biopsie fără introducerea unor variații ale geometriei ca în cazul utilizării modelelor flexibile.

a b Figura14. Modelul 3D (a) realizat în SolidWorks al arborelului bronșic redus, rigid și modelul fizic (b)

realizat pe o imprimanta Objet 3D. În figură se observă pe modelul fizic o serie de modele tumorale din ceramică (pentru a reduce artefactele la scanarea tumografică) care au fost fixate cu silicon.

Un al doilea model al arborelui bronșic conținând ramurile principale complete a fost printat tot pe o

imprimantă 3D Objet260 Connex dar dintr-un material flexibil, care are un comportament în timpul operației de bronhoscopie asemănător arborelui real.

Ambele modele au fost testate inițial în camera de bronhoscopie de către medicii prezenți în cadrul acestui grant și au fost considerate suficient de detaliate și apropiate de realitate pentru a permite testarea sistemului Transbite care se dezvoltă în cadrul acestui proiect și chiar pentru trainingul ulterior al medicilor pneumologi.

a b

Figura 15. Testarea inițială în camera de bronhoscopie, model rigid (a), model flexibil (b) la Spitalul de Urgență Craiova.

Modelul flexibil turnat în silicon a fost montat în cadrul simulatorului realizat în etapa anterioară.

Acesta are o structură complexă, este automatizat și prezintă două acționări de translație care comprimă modelul siliconic, simulând mișcarea abdominală de respirație și pe cea cardiacă. Cursele simulatorului sunt reglabile de la 0 la 10 mm pentru mișcarea abdominală și de la 0 la 5 mm pentru cea cardiacă. Frecvența mișcărilor este de asemenea reglabilă de la 0.1-1 Hz la repirație și 0.5-1.5 Hz la cea cardiacă.

Proiectul acestui simulator a fost realizat în SolidWorks de către echipa coordonatorului (MEDINSYS SRL) și construit fizic de către Partenerul I (IPA SA). În continuare, atât modelul rigid cât și simulatorul au fost utilizate într-o serie de teste pentru validarea soluției constructive a pensei de biopsie și a modulelor software de tracking și bronhoscopie virtuală a sistemului Transbite. În figurile următoare este prezentat set-up-ul utilizat pentru aceste test.



20

Figura 16. Modelul tridimensional rigid realizat in cadrul proiectului și organizarea experimentelor

pentru testarea sistemului pensei de biopsie și a modulelor de navigație și bronhoscopie virtuală în camera de bronhoscopie.

Figura 17. Organizarea experimentelor pentru testarea sistemului pensei de biopsie și a modulelor de navigație și bronhoscopie virtuală cu ajutorul simulatorului pulmonar automatizat.



21

In cadrul Institutul de Pneumoftiziologie “Marius Nasta” Bucuresti si din Clinica de Oncologie “Oncolab” Craiova au fost realizate mai multe teste de fezabilitate cu ajutorul a trei ingineri și doi pneumologi experimentați îndrumati de către echipa de dezvoltare. A fost folosit un bronchoscop marca Olympus și pensa dezvoltată în cadrul proiectului, într-o cameră de procedură bronhoscopică pentru testele pe modelul rigid, flexibil precum si pentru testarea modulului de bronhoscopie virtuala. Pentru testele pe simulator a fost utilizată o cameră flexibilă împreună cu pensa pentru biopsie dezvoltată în cadrul proiectului.

Am selectat șapte tumori țintă pe care utilizatorul trebuia să le atinga la diverse adâncimi în interiorul simulatorului de arbore bronsic și a modelului rigid.

Eroarea absolută (distanța de la vârful bronhoscopului la țintă) și durata procedurii au fost masurate. - Inginerii au atins tumorile în 79.5 ± 2.7 sec cu un FIS (8.3±0.5 mm eroare) vs. 204.2 ± 3.7 sec cu

ajutorul doar al bronhoscopului (28.7 ± 5.5 mm eroare). - În comparație, medicii pneumologiști au atins țintele tumorale în 71.3±7.9 sec cu FIS (8.4 ± 1.8 mm

eroare) și 74.3 ± 7.1 sec cu ajutorul doar al bronnchoscopului singur (16.2 ± 3.3 mm eroare).

Sunt prezentate în continuare imagini din timpul testelor precum si rezultatele pentru fiecare membru al echipei de testare în parte precum și rezultatele centralizate.

a b

c d

Fig. 18. Imagini din timpul testelor la Centrul de Cercetare in Hepato-gastroenterologie si Pneumologie de la Spitalul de Urgenta nr 1 din Craiova si Institutul de Pneumoftiziologie “Marius Nasta”

Bucuresti).



22

a

b

c

g

Figura 19. Rezultatele testelor pensei de biopsie cu tracking electromagnetic și a modulelor de navigație respectiv bronhoscopie virtuală ale sistemului Transbite dezvoltat în cadrul proiectului. În

figurile a-e sunt prezentate rezultatele individuale ale utilizatorului (Ui_B sunt ingineri și Ui_A sunt medici) iar in figurile f-g sunt rezultele sintetice ale testelor.

1 2 3 4 5 6 7U1_E 2.2 2.0 2.8 4.4 3.6 3.0 4.1

U2_E 2.1 2.9 3.2 5.4 3.2 3.6 3.0

U3_E 2.7 2.8 3.6 5.0 5.2 2.9 5.1

U4_B 2.6 2.4 2.8 3.6 3.7 3.5 3.6

U5_B 2.4 2.8 3.2 2.4 3.5 3.8 3.8

2.2 2.0

2.8

4.4

3.63.0

4.1

2.1

2.93.2

5.4

3.23.6

3.02.7 2.8

3.6

5.0 5.2

2.9

5.1

2.6 2.42.8

3.6 3.7 3.5 3.6

2.42.8

3.2

2.4

3.53.8 3.8

0.0

1.0

2.0

3.0

4.0

5.0

6.0

TRAN

SBITE_Ab

solute_Error(m

m)

UsersabillitytoreachtargetsusingTRANSBITE- engineers(E) andbronchologists (B)

1 2 3 4 5 6 7

U1_B 3.5 10.7 8.0 12.1 21.1 7.6 16.2

U2_B 7.3 15.8 14.5 11.4 29.6 30.0 9.0

U3_B 34.0 39.3 38.0 38.3 33.7 44.8 31.0

U4_E 3.2 7.2 7.8 8.1 12.8 4.9 6.1

U5_E 26.3 17.5 18.1 12.2 5.4 22.8 17.2

3.5

10.78.0

12.1

21.1

7.6

16.2

7.3

15.8 14.511.4

29.6 30.0

9.0

34.0

39.3 38.0 38.3

33.7

44.8

31.0

3.27.2 7.8 8.1

12.8

4.9 6.1

26.3

17.5 18.1

12.2

5.4

22.8

17.2

0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

45.0

50.0

TRANSBITE_Absolute_Error(m

m)

Usersabillitytoreachtargets- absoluteerror- beginnersandexperienced(bronchologists)

1 2 3 4 5 6 7E_TB 15 22 20 21 28 27 19

E_B 15 12 13 10 9 14 12

D_TB 15 19 19 23 26 32 33

D_B 9 11 14 11 18 13 19

15

2220 21

28 27

19

1512 13

10 9

1412

15

19 1923

26

32 33

911

1411

18

13

19

0

5

10

15

20

25

30

35

Absolute_Error(m

m)

UsersabillitytoreachtargetswithTRANSBITE+bronchoscope(TB)vsbronchoscope only(B) - enginners (E) andbronchologists (D)

1 2 3 4 5 6 7E_TB 58 61 65 64 54 95 77

E_B 150 178 181 175 129 204 178

D_TB 52 58 64 66 45 80 51

D_B 45 57 70 72 51 80 59

58 61 65 64 54

9577

150

178 181 175

129

204178

52 58 64 6645

80

514557

70 7251

8059

0

50

100

150

200

250

Time(sec)

Time toreachtargetswithTRANSBITE+bronchoscope(TB)vsbronchoscope only(B) - enginners (E) andbronchologists (D)



23

Aceste teste dovedesc utilitatea sistemului Transbite și a pensei de biopsie în special pentru utilizatorii ne-experimentați, pentru țintele vizibile în bronhoscop. Se observă o creștere a preciziei medii în atingerea țintelor impreună cu o scadere a timpului procedurii. Pentru țintele în afara câmpului de acțiune al bronhoscopului, sistemul Transbite se dovedește a fi deosebit de util. Activitatea 4.2: Dezvoltarea prezentarii proiectului si a planurilor de diseminare Activitatea a constat in diseminarea rezultatelor proiectului și planificarea unor actiuni in scopul valorificarii comerciale a acestor rezultate. Avand in vedere complexitatea sistemului Transbite dezvoltat, care pentru utilizarea clinica presupune continuarea activitatii de cercetare inceputa in acest proiect prin ample studii clinice care necesita un considerabil efort financiar, s-a decis contactarea cu prioritate a firmelor internationale care au in portofoliu sisteme asemanatoare: Olympus Inc., Pentax Medical, Boston Scientific Inc, Fujitsu Medical, Siemens Medical Inc., Philips Medical Inc., etc. In acest scop au fost intreprinse urmatoarele activitati: - a fost contactata o firma din USA de consulting, IEC Partners (www.iecpartners.com), in scopul intocmirii unui plan de afaceri si unor intalniri cu investitori din USA. Prima prezentare a proiectului Transbite a avut loc in martie 2016 la Boston, USA, in sediul IEC Partners, de-a lungul a mai multor sedinte. In urma colaborarii cu IEC Partners a fost intocmita prezentarea pentru business-pitch pentru piata Americana. - s-a aplicat si s-a castigat un grant in cadrul “Romanian Innovation Commercialization Assistance Program” RICAP (http://portal.larta.org/ricap) care a sustinut financiar indrumarea echipei noastre de catre 2 specialisti in business si marketing din cadrul institutului Larta, California, USA, prin care s-a efectuat un studiu de piata pentru sistemului Transbite si s-a intocmit si sustinut un business-pitch in fata unei echipe de la Philips Medical si Boston Scientific. - s-au contact direct si s-a facut o prezentare in fata echipei tehnice de la Pentax Medical in Boston, USA. O a doua intalnire este programata la inceputul anului 2017. Sistemul TRANSBITE si rezultatele obtinute in urma testelor au fost prezentate la urmatoarele conferinte internationale: - Design of Medical Devices – Europe – sesiunile din 2015 si 2016 – Delft, Olanda. - CARS 2016 Computer Assisted Radiology and Surgery, Convention Center Heidelberg, Germany, Joint Congress of IFCARS / ISCAS / CAR / CMI / CAD / IPCAI. - 3rd European Congress for Bronchology and Interventional Pulmonology (ECBIP), 2016. - Biomedical Engineering Society Conference, USA, sesiunile din 2015 si 2016. Activitatea 4.3. Gestionarea drepturilor de proprietate intelectuala si patentarea sistemului In scopul protejarii drepturilor de proprietate intelectuala au fost depuse urmatoarele cereri de brevet de inventie: - „Metodă si tehnica noua pentru imbunatatirea navigației în bronhoscopie”, A/00678/5-10-2014 - „Echipament și metodă pentru instruire și evaluare în bronhoscopie”, A//5.12.2016 - „Pensă pentru biopsie cu flexibilitate controlată si cu senzor pentru ghidare”, A//5.12.2016.



24

REZULTATE IMPORTANTE ALE PROIECTULUI IMAGE AND ELECTROMAGNETIC GUIDED INNOVATIVE SYSTEM FOR TRANSBRONCHIAL

BIOPSY (TransBITE) PN-II-PT-PCCA-2011-3.2-0482 Nr. Contract 87/2012

Publicatii:

1. Caroline Ewertsen, Adrian Saftoiu, Lucian Gruionu, Michael Bachmann Nielsen, "Real-time image fusion involving diagnostic ultrasound", American Journal of Roentgenology, vol. 200 no. 3 W249-W255, 2013, (ISI Impact Factor: 2.731) doi:10.2214/AJR.12.8904.

2. Lucian Gheorghe Gruionu, Teodor Popa, Catalin Ciobîrca, Adrian Saftoiu, Costin Streba, Ana-Maria Ioncica, Thomas Langø, Gabriel Gruionu, “A novel fusion imaging guiding system for bronchoscopy”, Design of Medical Devices - Europe Edition Oct. 22-24, 2014, Delft.

3. L. Gruionu, A. Săftoiu, A. Iordache, A.M. Ioncică, D. Burtea, D. Dumitrescu, „Feasibility study of tridimensional co-registration of endoscopic ultrasound and dynamic spiral computer tomography procedures for real-time evaluation of tumor angiogenesis in lung cancer patients”, 19th United European Gastroenterology Week, Stockholm 2012.

4. Lucian Gheorghe Gruionu, Adrian Săftoiu, Gabriel Gruionu, “A novel fusion imaging system for endoscopic ultrasound”, Endoscopic Ultrasound, 5(1):35-42, 2016. doi: 10.4103/2303-9027.175882. (ISI Impact Factor: 1.353).

5. L.G. Gruionu, A. Săftoiu, T. Popa, C. Ciobârcă, C.T. Streba, Ana-Maria Ioncică, G. Gruionu, “Feasibility Study of a Novel Navigation System for Biopsy of Peripheral Lesions in the Lungs”, Current Health Sciences Journal, Vol. 42, No. 1, pg. 76-81, 2016, DOI: 10.12865/CHSJ.42.01.11.

6. Constantinescu C, Constantinescu I, Gruionu L., „Artificial lung phantom for training and testing in bronchoscopy”, ADEM 2016 „Advances In Engineering and Management”, International Conference, Nov. 2016.

7. L. G. Gruionu, C. Ciobârcă, A. Săftoiu, C.T. Streba, A. Ioncică, G. Gruionu, „Evaluation of a navigation system for bronchoscopy using a lung phantom”, Current Health Sciences Journal, (acceptat pentru publicare).

Cereri de Brevet de Inventie: 1. “Sistem si metoda pentru navigatie in bronhoscopie”, Cerere de Brevet de Inventie A/00678/3-10-

2014 OSIM, Publicat in RO-BOPI 6/2015, din 30.06.2015 2. „Echipament și metodă pentru instruire și evaluare în bronhoscopie”, Cerere de Brevet de Inventie,

A//5.12.2016 3. „Pensă pentru biopsie cu flexibilitate controlată si cu senzor pentru ghidare”, Cerere de Brevet de

Inventie, A//5.12.2016.

Prototipuri si Tehnologii: 1. „Generarea imaginilor bronhoscopice realistice utilizand HDR (high dynamic range)” – Tehnologie 2. „Simulator artificial pulmonar cu miscare de respiratie” – Prototip 3. „Forceps/Pensa de Biopsie Transbronsica cu ghidaj electromagnetic” – Prototip 4. „Metoda inovativa pentru simularea si segmentarea imaginilor video bronhoscopice” – Tehnologie 5. „Algoritm de bronhoscopie virtuala” – Prototip. 6. „Metoda inovative pentru estimarea parametrilor extrinseci ai camerei - navigație utilizând markeri

anatomici” - Tehnologie

Director Proiect, Conf. Dr. Ing. Lucian Gruionu

Download - Denumire proiect: IMAGE AND ELECTROMAGNETIC … de cercetare 2016 - TransBITE.pdf · - utilizarea simulatorului artificial cu miscare de respiratie pentru testarea ... Pentru implementarea

Top Related