Universitatea de Medicină şi Farmacie "Carol Davila" din

Bucureşti

Evaluarea arsurilor prin imagistică multispectrală – BAMSI

Contract 135/ 2014

Etapa 4: Integrare de sistem şi testare.

Activitate 4.1 Măsurarea în imagini a arsurilor Activitate 4.2 Integrare de sistem şi testare Activitate 4.3 Diseminare

Responsabil de proiect: Ş.l. Dr. Silviu Constantin BĂDOIU 25 septembrie 2017

Arsurile reprezintă o problemă serioasă de sănătate publică, intrucat ranirea prin arsura reprezintă, probabil, forma cea mai severa de traumatism. Incidenta arsurilor variază foarte mult de la o regiune la alta, dar valoarea mediana este de aproximativ 31,2 / 100.000 de persoane / an. Există aproximativ 330.000 de decese pe an, la nivel mondial din cauza leziunilor termice. Arsurile sunt cea de-a patra cauza de deces ca urmare a ranirilor neintenționate. Stabilirea diferenței dintre arsurile dermice superficiale și arsurile dermice profunde este foarte importanta. Arsurile superficiale se vindeca cu pansamente corespunzătoare în 14-21 zile și nu lasă cicatrici. Arsuri dermice profunde si arsurile in toata adancimea necesita excizie chirurgicala timpurie și grefe tegumentare, timpul de vindecare fiind altfel mai mare de 21 de zile și lasand de regula cicatrici vicioase si hipertrofice. De obicei, această diferențiere se face pe baza experientei clinice a chirurgului specializat in arsuri. Precizia unui chirurg senior specializat in arsuri este de aproximativ 64-76%. Aceasta înseamnă că, în 23-36% din cazuri, judecata clinica a chirurgului nu reușește să diferențieze între arsurile superficiale și arsurile profunde. Scopul declarat al acestui proiect este de a dezvolta un instrument care determină in mod obiectiv adâncimea arsurilor, bazat pe estimarea perfuziei tisulare a ranii arse, prin utilizarea în comun a mai multor înregistrări imagistice de culoare, infraroșu apropiat, si infraroșu termic. Această abordare este mai ieftina, mai rapida, și poate produce imagini de rezoluție mai mare decât standardul curent de spectrometrie laser Doppler. Abordarea noastră este destul de originala prin utilizarea de imagini multispectrale și reprezintă o problemă științifică și tehnică provocatoare. Combinația de experimental, modelare, statistică avansată și prelucrare a imaginilor va rezolva unele probleme importante, cum ar fi (1) dezvoltarea de protocoale rapide și precise în examinarea medicală in vivo a arsurilor prin intermediul imaginilor fotografice, (2) fuzionarea imaginilor vizibile cu informații extrase din imaginile termice pentru a evidenția anomalii și oferirea de suport al diagnosticului; (3), dezvoltarea unui aparat funcțional pentru utilizarea clinica in evaluarea arsurilor. Obiectivul principal al primului pachet de lucru (Măsurarea în imagini a arsurilor) este de a realiza lantul automat de prelucrare a imaginilor achizitionate, prin identificarea diferitelor zone caracteristice de interes medical (segmentarea zonelor de arsură), descrirea automată a acestora prin descriptori de tip vizuali şi asigurarea compatibilităţii dintre descrierea automată şi interpretarea medicală (vizuală, subiectivă). Obiectivul principal al pachetului de lucru "Integrare de sistem şi testare" este de a asigura un demonstrator funcţional al principiilor şi tehnicilor dezvoltate prin proiect. Obiectivul principal al pachetului de lucru "Diseminare" este de a asigura un flux bidirecțional de informații corecte între consorțiu și restul comunității științifice / industriale cu activități conexe. Faţă de aceste cerinţe iniţiale, toate activităţile au fost realizate, conform descrierii ce urmează.

1. Măsurarea în imagini a arsurilor (UPB, UMF) - descrierea zonelor de tip texturat cu noi descriptori Zonele arsurii au caracteristici ce pot fi asimilate texturilor, atât în domeniul imagistic color, cât şi în domeniul imagisticii termale. Aceste zone de arsură sunt deci caracterizate prin descriptori statistici de tip textură. Pe lângă multitudinea de descriptori clasici de textură, am investigat noi descriptori ce provin din re-interpretarea problemei de segmentare ca o problemă de cuantizare, permiţând formularea unui mod alternativ de definire a pragurilor de segmentare ca limite ale intervalelor de cuantizare şi de folosire a acestor praguri ca descriptori (ce înlocuiesc valorile cuantizate). Este deja demonstrat (inclusiv în articole realizate în cadrul actui proiect, precum [DISEMINARE1] că segmentarea globală de tip Otsu/ Fisher este un caz particular de cuantizare optimală Lloyd-Max. In virtutea acestei observaţii am postulat posibilitatea de a folosi segmentări locale, în vecinătatea fiecărui pixel, pentru care se pot folosi mai multe praguri de segmentare, ce urmează a fi folosite ca descriptori (caracteristici locale), înlocuind valorile originale scrise în pixel. Refolosirea acestor praguri ca descriptori locali a fost testată în cadrul general al texturilor, evidenţiind dependenţa acestora de rezoluţia generală a imaginii, dimensiunea vecinătăţii de calcul şi numărul de praguri de segmentare alese. De asemenea, s-a propus modificarea şi descriptorului clasic de tip LBP prin înlocuirea pragului central cu valoarea pragului de segmentare locală. In cazul texturilor omogene (precum bazele de texturi Vistex, Brodatz sau ALOT) se poate observa o îmbunătăţire a performanţelor de recunoaştere. Pentru caracterizarea texturării zonelor arse , rezultatelor testelr sunt descrise pe larg în cadrul secţiunii următoare a acestui raport, care grupează rezultatele experimentelor privitoare la potrivirea clasificării medicale (intrinsec subiective) cu clasificarea automată. - caracterizarea arsurilor prin descriptori similari perceptiei medicului Rănile provocate prin arsură sunt considerate a fi traume severe, de un real interes în contextul sănătății publice. Nivelul de incidență, mortalitatea și alte urmări ale lor reprezintă factorii care fac studiul arsurilor un subiect important. Tratarea lor presupune un proces anevoios, scump și de durată. Pentru o vindecare cât mai rapidă și care să conducă la cât mai puține complicații, este necesară o estimare inițială foarte exactă a nivelului de severitate a rănii [1]. Din acest punct de vedere, trebuie luată o decizie dacă arsura necesită intervenție chirurgicală, sau dacă aceasta se va vindeca în urma unui procedeu mult mai puțin invaziv. În cazurile complicate, statisticile arată că un chirurg cu experiență evaluează corect arsura în 74% din cazuri [2], în timp ce unul mai puțin experimentat are o rată de estimare corectă mai aproape de 50%.

Luând în considerare dificultățile inerente, dezvoltarea unor tehnici computerizate auxiliare este de înțeles. Creșterea domeniului imagisticii digitale a condus la apariția unor soluții ieftine de asistență, care nu necesită hardware specializat. În mod normal, aparatura necesară unor evaluări bune a stării unei arsuri se găsește doar în anumite centre specializate de tratare a arsurilor. Una din posibilele soluții propuse în cadrul proiectului este reprezentată de analiza conținutului imaginilor cu arsuri utilizând descriptori MPEG-7, în conjunctură cu evaluarea similarității a diferite arsuri de către chirurgi specializați și scalare multidimensională.

Recunoașterea automată a arsurilor și evaluarea lor

Interesul arătat în ultimele decenii pentru soluțiile automate de segmentare și clasificare a arsurilor a condus la două abordări diferite ale problemei. Prima variantă presupune utilizarea unor trăsături extrase manual, care apoi sunt folosite într-un clasificator. A doua variantă clasifică direct arsurile (fără etapa de extragere a trăsăturilor), cu ajutorul unor algoritmi avansați de învățare automată. Un exemplu de astfel de algoritm este reprezentat de Rețelele Neuronale Convoluționale [3] (utilizate în [4]).

Trăsăturile propuse pentru diversele operații sunt descriptori matematici bazați pe observația că o arsură este mai roșiatică ca restul pielii și prezintă o textură granulară. Având aceste aspecte în vedere, au fost folosite histograme color [5], saturația culorii [6], saturația ponderată de nuanță [7] și statistici de crominanță [8], care au fost utilizate ca intrări pentru clasificatori de tip SVM [9] și clasificatori neurali [10].

Baza de date și metode

A. Baza de date

Baza de date folosită în proiect a fost achiziționată în a doua parte a anului 2015, în secția de arsuri a spitalul pediatric „Grigore Alexandrescu” din București, România. Imaginile au fost capturate de către personalul medical, în condițiile obișnuite ale secției de arsuri (nu s-au impus restricții speciale), folosind o cameră care înregistrează atât color cât și în spectrul termic. Imaginile color originale au o rezoluție de 1664 x 1248 pixeli. Ele au fost decupate și până la rezoluția de 320 x 240 pixeli a camerei termice. Imaginile color au fost ușor deformate pentru a se suprapune cu cele termice.

Pentru a obține fotografiile care compun setul de date au fost luate în considerare cazurile a 53 de pacienți pediatrici, cu vârste între 8 luni și 17 ani, cu grade diferite de severitate ale arsurilor. Perioada de timp în care s-au realizat capturile a început, în mod uzual, de la ziua în care a avut loc accidentul, până la ziua externării. S-au strâns 611 imagini cu arsuri, fiecare fiind adnotată cu zonele arsele, precum și severitatea arsurii, de către un chirurg specialist. Adnotarea a condus la identificarea a 1634 de zone de interes care prezinta arsuri de la gradul I la gradul III (nu au existat cazuri cu arsuri de gradul IV).

Din totalitatea de zone găsite, au fost alese 25 ca fiind reprezentative: 7 de gradul III, 9 de gradul IIb, 8 de gradul IIa și una de gradul I. Motivul pentru care au fost alese aceste arsuri în aceste proporții a fost determinat de problema diferențierii între arsuri obișnuite (gradul I și IIa) și arsuri grave (gradul IIb și III), acestea necesitând intervenții chirurgicale. Cele 25 de regiuni au fost decupate din imaginile originale și suprapuse pe un fundal neutru, gri, după cum se vede în figura următoare. Ele au fost folosite drept setul de date pentru testul de similaritate vizuală.

Fig. 1: Exemplu de regiune aleasă pentru testul de similaritate vizuală

B. Metode

Testul de similaritate vizuală a regiunilor cu arsuri selectate a constat în compararea celor 300 de perechi obținute din cele 25 de zone. Fiecare pereche de imagini a fost prezentată subiecților experimentului. Sarcina a fost de a nota similaritatea celor 2 imagini prezentate, pe 5 nivele, plecând de la foarte puțin similar, până la foarte similar. Scorul de similaritate a fost stocat într-o matrice de similaritate de dimensiune 25 x 25. Matricile obținute de subiecți având pregătiri similare au fost mediate.

La acest experiment au participat 16 persoane: 4 chirurgi specializați în tratarea arsurilor, 4 medici nespecializați pe această problemă și 8 ingineri în domeniul imagisticii digitale (ingineri în electronică și calculatoare). Având aceste categorii definite, au fost obținute 3 matrici de similaritate medii. A mai fost calculată o matrice de similaritate ideală, bazată pe diferențele între gradele de severitate ale arsurilor.

Matricile de similaritate sunt transformate în grafice bidimensionale, cu ajutorul unei tehnici standard de scalare multidimensională (Multidimensional Scaling - MDS) [11],[12]. MDS este o unealtă statistică folosită în psihologie și alte științe cognitive. Ea permite crearea unei reprezentări numerice pentru orice categorie de obiecte, având la dispoziție doar informații legate de interacțiunile dintre perechile de obiecte ale colecției. În cazul cel mai uzual, interacțiunile reprezintă o măsură a disimilarității (diferențe, distanțe) fiecărei perechi de obiecte considerate. Matricea de disimilaritate este apoi transformată în coordonate carteziene, ordonată după gradul de importanță a axelor. În acest mod, se pot vizualiza grafic obiectele, păstrând disimilaritatea dintre obiecte ca distanțe între ele.

Există mai multe exemple de utilizare a MDS în diverse sarcini specifice imagisticii digitale, precum în caracterizarea texturilor [13],[14], percepția culorii de către oameni [15], dar și evaluarea arsurilor [8]. Tehnica este folosită pentru găsirea în mod empiric a trăsăturilor măsurabile care se potrivesc cu axele vizualizate. Aceasta este abordarea utilizată în [8], care propune 8 măsuri matematice corelate cu severitatea arsurii: nivelul mediu al crominanței în spațiul L*a*b*, proporția de valori extreme din distribuția RGB, componenta medie de nuanță, skewness a componentelor a*, b*, kurtosis al componentei a*, varianța angulară a componentei de nuanță și quartile skewness al L*.

Validarea trăsăturilor propuse a fost realizată pe setul de date original, din care s-au extras imagini de test. În cadrul studiului nostru, a fost aleasă o alta abordare. S-a măsurat potrivirea unei trăsături matematice care să descrie conținutul imaginilor asemănător cu subiecții care au participat la experiment, astfel încât matricile de similaritate și graficele MDS construite din ele să fie asemănătoare cu rezultatele experimentale. De asemenea, se compară matricile de similaritate și graficele MDS cu cele calculate ca fiind ideale.

Trăsătura sau combinația de trăsături care prezintă cea mai mare asemănare cu testele subiective și cu măsurătorile ideale, au potențialul de a fi descriptori buni pentru conținutul imaginilor.

C. Descriptori vizuali

Principalul scop al studiului a fost de a găsi o serie de descriptori vizuali MPEG-7 compatibili cu sarcina de a clasifica arsuri. S-au utilizat principalii descriptori MPEG-7: descriptorul de structură a culorii (Color Structure Descriptor - CSD), descriptorul culorii dominante (Dominant Color Descriptor - DCD), descriptorul scalabil de culoare (Scalable Color Descriptor - SCD) și descriptorul de tip histogramă a contururilor (Edge Histogram Descriptor - EHD). Algoritmul folosit pentru calcularea lor este cel standard, implementarea fiind disponibilă la [16]. Setul complet al descriptorilor utilizați mai cuprinde și histograme RGB, descriptori de saturație a culorii și distribuție a temperaturii. Lista descriptorilor este, astfel, următoarea (ordine folosită pentru figurile 5 și 6):

1. Măsurile derivate din analiza MDS din [8]; 2. CSD și EHD pe 64 de grupări; 3. CSD pe 64 de grupări; 4. CSD pe 256 de grupări; 5. EHD 6. CSD și SCD pe 64 de grupări 7. CSD, EHD și SCD pe 64 de grupări; 8. CSD și saturație pe 64 de grupări; 9. DCD; 10. Distribuția temperaturii; 11. Distribuția temperaturii normate; 12. Histogramă RGB pe 256 de grupări;

13. Histogramă RGB și distribuția temperaturii pe 216 de grupări; 14. Histogramă RGB și distribuția temperaturii normate pe 216 de grupări; 15. Histogramă RGB și distribuția saturației pe 216 de grupări; 16. Distribuția saturației 17. Distribuția saturației și a temperaturii normate; 18. SCD 19. SCD și EHD

Rezultate

Cele 16 matrici de similaritate obținute din desfășurarea experimentelor au fost grupate pe baza naturii instruirii subiecților. Variația scorurilor a fost studiată în cadrul fiecărui grup definit, raportându-se la matricea ideală. După cum era de așteptat, chirurgii specializați în arsuri au avut cel mai ridicat grad de acuratețe și consens în notarea similarității dintre arsurile prezentate, urmați de inginerii în domeniul imagisticii digitale. În mod surprinzător, medicii nespecializați au avut rezultate mai slabe.

Fig. 2. Graficul MDS obținut pe baza celor mai importante două coordonate rezultat din matricea de similaritate ideală. Pentru fiecare tip de arsură, toate exemplele se află la aceleași coordonate. Semnificația culorilor: roșu - gradul III, galben -

gradul IIb, verde - gradul IIa, albastru - gradul I.

Fig. 3. Graficul MDS obținut pe baza celor mai importante două coordonate rezultat din matricea medie de similaritate a chirurgilor specialiști. Semnificația culorilor: roșu - gradul III, galben - gradul IIb, verde - gradul IIa, albastru - gradul I. Se

poate observa tranziția de la stânga la dreapta corelată cu scăderea gradului de severitate a arsurii. Majoritatea arsurilor de același tip sunt grupate în zone restrânse.

Fig. 4. Graficul MDS obținut pe baza celor mai importante două coordonate rezultat din matricea medie de similaritate a inginerilor în domeniul imagisticii digitale. Semnificația culorilor: roșu - gradul III, galben - gradul IIb, verde - gradul IIa,

albastru - gradul I. Se poate observa tranziția de la stânga la dreapta corelată cu scăderea gradului de severitate a arsurii. Arsurile de același tip sunt grupate, dar mai răsfirate ca în cazul chirurgilor specialiști, iar unele exemple se află în zone cu

izolate.

Distanțele între matrici sunt prezentate în Tabelul I și Tabelul II. Tabelul I prezintă distanțele dintre matricile generate de către descriptorii MPEG-7 și matricea ideală de similaritate. Tabelul II prezintă distanțele față de matricea medie de similaritate a chirurgilor specialiști. Valoarea cea mai mică din tabele corespunde distanței cele mai mici dintre matrici. Descriptorii EHD (textură) și gruparea SCD-EHD (culoare-textură) au cele mai bune rezultate.

Tabelul I. Distanțele dintre matricile generate cu ajutorul descriptorilor MPEG-7 și matricea ideală de similaritate

Ref. [8] CSD EHD CSD+EHD SCD DCD SCD+EHD

.417 .302 .267 .289 .297 .278 .278

Tabelul II. Distanțele dintre matricile generate cu ajutorul descriptorilor MPEG-7 și matricea medie de similaritate a chirurgilor specialiști

Ref. [8] CSD EHD CSD+EHD SCD DCD SCD+EHD

.445 .334 .264 .316 .318 .653 .269

Pentru al doilea test de potrivire a graficelor MDS, au fost calculate distanțele (eroare medie) dintre eșantioane în diverse configurații, în planul celor mai importante două axe. S-au folosit coordonate normate și diverse rotații ale graficelor obținute, deoarece graficele MDS rezultate pot avea diverse scale și rotații. Eroarea obținută este reprezentată ca eroarea minimă/medie/maximă, la toate rotațiile considerate, pentru toți cei 19 descriptori și combinații de descriptori (Fig. 5 și Fig. 6).

Fig. 5. Eroarea configurațiilor MDS generate în funcție de distanțele dintre imagini. Calculele s-au făcut între cei 19 descriptori și grupări de descriptori și configurația MDS ideală (Fig.2). Graficele reprezintă erorile minime (curba albastră),

medii (curba neagră) și maxime (curba roșie).

Fig. 6. Eroarea configurațiilor MDS generate în funcție de distanțele dintre imagini. Calculele s-au făcut între cei 19 descriptori și grupări de descriptori și configurația MDS rezultată din opiniile chirurgilor specialiști (Fig.3). Graficele

reprezintă erorile minime (curba albastră), medii (curba neagră) și maxime (curba roșie).

Rezultatele arată că aceiași descriptori (EHD și gruparea SCD-EHD) au cele mai bune rezultate. Se poate nota astfel posibilitatea utilizării descriptorilor generali MPEG-7 pentru detecția și clasificarea arsurilor în imagini color.

Concluzii

Acest studiu a demonstrat că există motive de a lua în considerare descriptorii generali culoare-textură MPEG-7 pentru sarcina de clasificare a arsurilor din imagini color. Performanța lor poate fi corelată cu evaluarea chirurgilor specialiști a similarității vizuale a arsurilor. Randamentul lor trebuie testat și pe restul bazei de date. Este de așteptat ca descriptorii MPEG-7, în combinație cu un clasificator neuronal să conducă la rezultate comparabile cu cele ale unui medic. Rata de clasificare corectă poate fi îmbunătățită prin utilizarea de informații suplimentare, cum ar fi distanța în timp (numărul de zile) față de momentul producerii accidentului, cauza arsurii (gaz, lichid, flăcări, chimică, electrică, etc.) și localizarea rănii.

2. Integrare de sistem şi testare (FN, UPB, UMF)

Echipa Fotonation şi-a folosit experienţa practică și know-how-ul pentru a realiza integrarea deplină a tuturor componentelor software și hardware care au fost dezvoltate prin proiect. Unele componente suplimentare, disponibile în portofoliul Fotonation (atât software cât și hardware) au fost necesare şi au fost utilizate în scopul de a obține o performanță optimă (de exemplu includerea unor detectoare a prezenţei figurii umane în fotografii, pentru a asigura o anonimizare a conţinutului imaginii). Echipa LAPI-UPB a avut un rol de sprijin, contribuind la suportul portării algoritmilor de segmentare/ decizie dezvoltaţi în varianta sistem.

2.1 Prezentare sistemului fizic de achiziție Prima versiune a sistemului de achiziție, bazată pe cadrul mobil a introdus și o serie

de limitări în procesul de preluare de imagini. Principalele două probleme care au fost identificate în timpul achizițiilor sunt legate de limitarea accesului și nevoia de repoziționare; cadrul folosit restricționează accesul medicilor la pacient datorită construcției acestuia. De aceea, cadrul nu poate rămâne în poziție fixă și este retras pentru a permite cadrelor medicale să îngrijească pacientul, fiind repoziționat pentru o scurtă perioadă de timp numai pentru achiziția imaginilor, pentru fiecare pacient în parte.

Pe lângă aceste două probleme, am constatat și mai multe lipsuri ale sistemului existent: lipsă iluminare în infra-roșu apropiat, lipsă posibilitate de focusare a camerei utilizate pentru achiziția în spectrul vizibil și în infra-roșu apropiat, precum și imposibilitateaadaptării facile a distanței de plasare a camerelor. De asemenea, pe lângă toate aspectele evidențiate mai sus, mediul în care se realizează achiziția presupune existența unui sistem ce poate fi sterilizat ușor, cu elemente componente omologate pentru utilizarea în spitale.

Noul sistem de achiziție vine în ajutorul utilizatorului atât prin construcție cât și prin

facilitățile oferite: • Construcția cadrului sub forma unui trepied elimină problema de limitare a

accesului. • Repoziționarea cadrului este facilă datorită celor trei roți. Totuși, deși se poate

repoziționa ușor, acest lucru nu mai este la fel de necesar ca și în cazul primului cadru tocmai datorită eliminării problemei accesului la pacient. Mișcarea în plan orizontal și vertical a blocului ce conține camerele este automatizată, aceasta putând fi controlată din panoul de control disponibil. Astfel, camerele pot fi deplasate deasupra pacientului automat, operatorul putând să încadreze foarte ușor leziunea de interes fără deplasarea întregului ansamblu, ci numai a blocului ce conține camerele. Există, de asemenea, și posibilitatea rotirii camerelor cu un unghi de până la 60 grade.

• Plasarea fixă a camerelor elimină eventualele probleme de aliniere a imaginilor, probleme ce ar fi putut fi introduse de lipsa paralelismului dintre camere și a perpendicularității cu solul.

• Iluminarea în infra-roșu apropiat este realizată prin intermediul a două blocuri de LED-uri plasate în cutia camerelor, de o parte și de alta a acestora. Intensitatea lor poate fi controlată prin intermediul soft-ului de achiziție și control dezvoltat.

• Focusarea imaginilor preluate cu ajutorul camerei JAI este realizată automat prin intermediul unui motor ce rotește lentila în direcția dorită. Focusul poate fi ajustat atât din panoul de control cât și din aplicație.

• Sursele de tensiune folosite, precum și alte componente existente sunt omologate pentru utilizarea în spitale, iar formatul compact (încapsularea tuturor elementelor în carcase) permite sterilizarea sistemului fără a afecta componente interne ale acestuia.

• Există elemente de protecție la impact (sistemul se oprește la impact intrând într-o stare de avarie), elemente prin care se validează mișcările toate inițiate, posibilitatea de blocare rapidă a sistemului (buton ciupercă), precum și etichete și instrucțiuni de utilizare.

Figura 1. Imagini de prezentare ale noului sistem de achiziție creat: 1),2)-prezentare de ansamblu, 3)- blocul mobil care conține camerele și alte elemente componente, 4)-reprezentare detaliată a plasării camerelor, laserului, blocurilor de LED-uri, a motorului ce controlează focusarea și a altor elemente de control (switch Ethernet, placă de control pentru laser), 5)-panoul de control cu instrucțiunile de utilizare. Sigurul dezavantaj al sistemului creat este dimensiunea acestuia. Nu a putut fi realizat mai mic din cauza automatizărilor de care dispune și din considerente de siguranță. Sistemul poate fi miniaturizat, odată cu înlocuirea camerelor cu module mai mici urmând să se găsească alte soluții și pentru celelalte probleme. O alegere a altor două camere, precum

și un exemplu de integrare în aplicație va fi propus, pentru o viziune clară asupra modului în care poate fi miniaturizat sistemul existent.

2.2 Prezentare soft de achiziție (modificări aduse odată cu noul sistem). Odată cu realizarea noului sistem prezentat mai sus, aplicația de achiziție și control a

fost modificată pentru a permite comunicația și controlul cu sistemul nou creat. Pe lângă controlul robotului au mai fost adăugate și alte funcționalități cu scopul de a simplifica interacțiunea cu utilizatorul.

În interfața de achiziție a imaginilor au fost adăugate următoarele funcționalități: 1) Opțiunea de control automat/manual a focusului pentru camera JAI. 2) Opțiunea de control a intensității blocurilor de LED-uri de infra-roșu apropiat. 3) Posibilitatea de a reconecta/calibra camerele. 4) Posibilitatea de a șterge ultimele 3 achiziții făcute. 5) Opțiunea de a înregistra cadre consecutive timp de 25 de secunde.

După autentificarea cadrului medical, sunt stabilite conexiunile cu camera termală,

camera JAI (infraroșu și vizibil), cu laserul și cu noul sistem. Pentru a putea regla focusul camerei JAI, motorul care învârte lentila necesită o etapă de calibrare pentru a determina limitele de deplasare. Această calibrare se execută la pornirea robotului; din poziția 0, motorul execută o deplasare completă determinând astfel prin intermediul unor senzori capetele de cursă. După această calibrare, mișcarea lentilei poate fi controlată manual din panoul de control prin intermediul unui buton (mișcare executată cu validare), sau prin intermediul aplicației furnizând poziția la care trebuie să se afle lentila, în intervalul de pași pe care îi poate executa robotul (determinat după calibrare). Poziția lentilei poate fi calculată și automat în funcție de distanța de la cameră până la subiect.

La pornirea aplicației, blocurile de LED-uri sunt aprinse la 67% din intensitate. Pentru reglarea intensității acestor LED-uri, intervalul de valori accesibile este între 0 și 15, unde valoarea 0 are ca efect stingerea completă a LED-urilor, iar valoarea 15 aprinderea acestora la intensitate maximă. Există posibilitatea ca cele trei camere să se deconecteze accidental, din această cauză fiind introdusă funcționalitatea de reconectare a camerelor. De asemenea, pentru camera termală, există și posibilitatea recalibrării.

În cazul preluării unor imagini nefocusate, incorect încadrate sau asociate unui alt pacient, ultimele trei achiziții pot fi șterse pentru a evita astfel introducerea în baza de date a unor poze proaste din punct de vedere calitativ sau asocierea incorectă poze-pacient. Din cauza condiției în care se află (stres, durere), ar fi util de corelat pulsul acestora cu starea de agitație și imaginile termale preluate. De aceea, pentru o parte din ultimii pacienți, au fost achiziționate mai multe cadre succesive pentru a vedea dacă poate fi estimat pulsul acestora în timpul preluării imaginilor.

Pe lângă aceste modificări, interfața a fost actualizată să se redimensioneze fără a afecta componentele pe care le conține și au mai fost adăugate diferite etichete care să ofere feedback către operatorul uman. Toate aceste modificări aduse pot fi observate în figura 2.

Figura 2. Interfața de achiziție și control. Modificări aduse față de ultima versiune.

În ceea ce privește analiza imaginilor, toate funcționalitățile vechi au fost menținute,

dar interfața grafică a fost reorganizată pentru a se putea lucra mai ușor. În modulul de vizualizare a imaginilor au fost adăugate:

• un catalog al pacientului; • pe lângă cele trei poze din triplet a fost adăugată și a patra poză conținând

pre-vizualizarea alinierii; • un mod de filtrare al imaginilor în funcție de data de achiziție; • posibilitatea de a afișa un anumit triplet din catalog; • opțiunea de a salva imaginile rezultate în urma procesului de aliniere; • posibilitatea de a șterge tripletul selectat din catalogul pacientului.

Pentru a putea naviga mai ușor prin pozele pacientului, de la o zi la alta, a fost creat

un catalog al pacientului unde sunt afișate toate tripletele achiziționate. Acestea au afișat și un număr de ordine și data la care au fost preluate, fiind sortate descrescător în funcție de această dată. Pozele din catalog sunt selectabile pentru a se putea analiza mai în detaliu imaginile. Poza ce afișează alinierea celor două imagini (vizibil și termal) redirecționează operatorul către modulul de adnotare și analiză a arsurilor. În figura 3 pot fi observate aceste funcționalități introduse.

Control focus

Control LED-uri

Calibrare

Reconectare

Ștergere imagini

Achiziție cadre succesive

Figura 3. Interfața de vizualizare a imaginilor.

În cazul modulului de adnotare, toate funcționalitățile au fost păstrate dar au fost

reorganizate într-o interfață redimensionabilă. De asemenea, partea de adnotare a fost rescrisă pentru a facilita desenarea și modificarea contururilor. În versiunea actuală există mai multe tipuri de conturi ce pot fi folosite pentru adnotarea mai facilă a arsurilor: contur liber, dreptunghi, hexagon, triunghi. De asemenea, modificarea contururilor poate fi făcută acum prin deplasarea punctelor, iar asocierea etichetelor și a comentariilor se poate face prin apăsarea butonului click dreapta al mouse-ului pe unul din punctele conturului.

Funcționalitățile prezente în meniu sunt active în funcție de prelucrările făcute, existând pentru fiecare o descriere vizibilă atunci când utilizatorul trece cu mouse-ul peste imaginea corespunzătoare.

Figura 4. Interfața de analiză a imaginilor.

Catalog pacient

Vizualizare aliniere

Filtrare catalog

Selecție triplet

Ștergere triplet

Meniu adnotare și analiză

În vederea integrării evaluării rețelei au mai fost adăugate încă două funcționalități ce presupun ajustarea balansului de alb și segmentarea pielii. Segmentarea pielii este realizată pe baza imaginii termale deoarece nuanțele de piele sunt foarte variate, iar metodele clasice de segmentare nu dau rezultate mulțumitoare pe pielea arsă. În figura 5 pot fi observate rezultate ale celor două funcționalități adăugate.

Figura 5. Rezultate ale aplicării corecției de balans de alb și ale segmentării (stânga: poză originală urmată de cele două rezultate).

2.3 Testare clinica (bază de date finală)

Cu ajutorul sistemului îmbunătățit s-a realizat o nouă versiune de baza de date. Achizițiile s-au desfășurat tot la spitalul Grigore Alexandrescu, în aceeași sală a spitalului. Au fost incluși în studiu un număr de 45 de pacienți ale căror leziuni au fost urmărite între o zi și 18 zile, acest lucru depinzând de gravitatea leziunii, de suprafața care este afectată, precum și de capacitatea de vindecare a fiecărui organism. Numărul de pacienți este mai mare decât în cazul versiunii anterioare deoarece există 7 pacienți care au fost fotografiați o zi sau două, iar în acest caz este greu de determinat care a fost evoluția pacientului.

Există cazuri de arsuri ușoare, pe suprafețe mici ale corpului (braț, umăr, torace), însă majoritatea cazurilor surprinse în cadrul acestui studiu prezintă arsuri grave pe suprafețe extinse ale corpului. Tabelul din Anexă prezintă pentru fiecare pacient în parte numărul de zile în care acesta a fost fotografiat, precum și numărul de triplete achiziționate.

Principala problemă identificată în cazul primei baze de date a fost calitatea relativ slabă a imaginilor surprinse în infra-roșu apropiat (NIR), aceasta fiind datorată lipsei iluminării corespunzătoare din cameră.Detaliile surprinse în infraroșu în cazul primei baze de date sunt datorate luminii naturale ce pătrunde în camera respectivă, orice condiții meteo nefavorabile afectând calitatea achizițiilor.

Sistemul nou conține propria iluminare în spectrul de interes, iluminare controlabilă cu ajutorul căreia au putut fi surprinse poze superioare din punct de vedere calitativ ( tabelul 2). De asemenea, și partea de ajustare a focusului camerei a adus un plus calitativ în imagini datorită modului facil și rapid de ajustat a poziției lentilei. De asemenea, și încadrarea leziunilor și focalizareasunt mai bune datorită mișcărilor automatizate de care dispune sistemul creat. În acest fel, pozele sunt preluate relativ rapid, fără a provoca prea mult disconfort pacientului.

Ipr

Iult

Au f

Îacțidete

Îsângsoluurmpoz

Figuigiencremcură

magini din ima bază de

date

magini din tima bază de

date

Tab

fost conside• Înai• Dup

În primul conează în ermina variÎn cazul pogerări care

uției folositeme de creme

ele preluate

ura 2. Exempnizarea acesmă de la paățare a rănii.

e

e

bel 2. Compa

erate două nte de a cu

pă curățarea

caz, leziunenici un fel ații anormaozelor prelo să fie viz

e pentru igie sau țesute înainte de

plu de achiziteia (ultimelnsamentul a

arație a imag

abordări derăța leziunea leziunilor,

ea nu este asupra răn

ale de tempuate după zibile în infenizarea și

t mort. În ime curățare ș

ții preluate île trei poze)avut. Se obs

inilor dintre

e preluare aea, imediat imediat îna

supusă nicnii, așadar peratură.

înlăturareara-roșu depcurățarea r

maginile uri după.

înainte de c). Pe zonele servă că ace

cele două ve

a imaginilordupă îndepainte de pa

ciunei alte nu există i

a pansamepărtat, precrănii, dar vomătoare po

curățarea lezalbe din pri

estea sunt în

ersiune de b

: părtarea pannsarea leziu

acțiuni. Canfluențe ex

ntelor, estcum și zoneor fi eliminaoate fi văzu

ziunii (primema imagine nlăturate în

aze de date.

nsamentelounilor;

adrele medxterne ce a

e posibil se mai reci date astfel evută diferenț

ele trei pozeîncă există urma proce

or;

icale nu ar putea

ă apară datorate ventuale ța dintre

) și după urme de

esului de

3. Diseminarea rezultatelor

Am asigurat activitatea de diseminare a rezultatelor cercetării prin participarea la conferinţe de specialitate cu articole in-extenso. Mai precis, am prezentat câte un articol la două conferinţe ale IEEE (listate IEEE, indexate IEEE Xplore, Scopus şi INSPEC), ISSCS - International Symposium on Signals, Circuits and Systems şi EHB - E-Health and Bioengineering Conference. De asemenea am avut o prezentare orală la Congresul mondial de arsuri pediatrice. Articolele prezentate sunt menţionate în cele de urmează:

[DISEMINARE1] C. Vertan, C. Florea, L. Florea, M.S. Badea: "Reusing the Otsu threshold beyond segmentation", prezentat la IEEE ISSCS 2017 Iasi, Romania, 13-14 Jul. 2017 Original abstract: "The Otsu thresholding is a classical binarization method that partitions graylevel images according to a withinclass variance minimization principle. The Otsu method is a particular case of the general Lloyd-Max optimal quantization. We propose the alternative use of Otsu/Lloyd thresholds, computed locally, as local features that describe the image content. This description can be used directly within a content-based image retrieval framework, or it can be reused in the definition of new Local Binary Pattern variants. Texture retrieval experiments show that the proposed approaches lead to performance improvement under specific constraints." [DISEMINARE2] C. Vertan, M.-S. Badea, C. Florea, L. Florea, S. Bădoiu: "MPEG-7 Visual Descriptors Selection for Burn Characterization by Multidimensional Scaling Match", prezentat la IEEE EHB International Conference on e-Health and Bioengineering 2017 Sinaia, Romania, 22-24 Jun. 2017, ISSN 978-1-5386-0358-1/17, DOI: 10.1109/EHB.2017.7995409, INSPEC Accession Number: 17066118 Original abstract: "This paper presents a new approach towards the selection of color image features to be used in the classification of burn wounds. The features are selected such that they generate similarity matrices and multidimensional scaling (MDS) plots that match the similarity matrix and the MDS-plot resulting from a subjective visual burn area similarity test performed by trained surgeons. We show that standard MPEG-7 visual descriptors that combine color and texture are good candidates for the task of burn wound grading." [DISEMINARE3] S. Bădoiu, C. Vertan, M.S. Badea, C. Florea, L. Florea: "Matching Medical Severe Burn Detection Performance by Off the Shelf Multispectral Imaging and Machine Learning", presentation at the ECPB 8th World Congress on Paediatric Burns, 21-23 Jun. 2017, Birmingham, UK, acceptat ca prezentare orală Original abstract: "Objectives: This study investigates the possible use of multispectral imaging (joint thermal infrared and colour) and machine learning for the classification of burns into severe (with potential surgicalization potential) and simple (healing spontaneously under correct treatment).

Methods: An extensive image database was recorded in normal, unconstrained hospital conditions, by medical staff, using a handheld thermal camera recording simultaneously colour and thermal images, that were subsequently manually registered and labelled. The recordings follow 55 paediatric patients, 8 months to 17 years old and burn degrees between I and III. Most images are taken in the first 10 days following the burn accident. The database contains 1634 burn areas. The original size of the images was 320 x 240 pixels for the thermal images and 1664 × 1248 pixels for the colour images. The burn areas were decomposed into patches of size 32 x 32 pixels which were feed to a machine learning system based on a state of the art Convolutional Neural Network. The system was trained to recognize between severe burns (degrees IIb and III) and light burns (degrees I and IIa). Results: The system achieves upto 65% overall precision in the classification of burn patches (73% precision for severe burns). The contribution of thermal imagery is small, but increases by more than 2% the overall precision. This compares favourably with the reported average accuracy of 50% for a inexperienced surgeon or in the range of 64% to 76%, for an experienced surgeon. The system performance compares favourably with surgeon decision from the perspective of the burn similarity judgment across pairs of burn areas as well. Discussion / Conclusion: Simple, of the shelf multispectral imaging devices can be boosted with machine learning for an overall performance matching inexperienced doctors in the context of a possible telemedicine/ first response framework ."

Articolele in extenso sunt ataşate acestui raport şi sunt publicate pe site-ul web al proiectului în formă ne-formatată final (pentru forma finală copyright-ul aparţine IEEE).

Bibliografie

[1] H. L. Haller, M. Giretzlehner, J. Dirnberger, R. Owen, "Medical documentation of burn injuries", in M. G. Jeschke, L.-P. Kamolz, F. Sjöberg, S. E. Wolf editors: Handbook of Burns vol. 1: Acute Burn Care, 2012, pp. 117-129.

[2] A. D. Jaskille, J. W. Shupp, M. H. Jordan, J. C. Jeng, "Critical review of burn depth assessment techniques: Part I. Historical review", J. Burn Care Res., vol. 30, no. 6, 2009, pp. 937-947.

[3] I. Arel, D. C. Rose, and T. P. Karnowski. "Deep machine learning-a new frontier in artificial intelligence research [research frontier]." IEEE Computational Intelligence Magazine, vol. 5. no. 4, 2010, pp. 13-18.

[4] M.-S. Badea, C. Vertan, C. Florea, L. Florea, S. Bădoiu: "Severe Burns Assessment by Joint Color-Thermal Imagery and Ensemble Methods", IEEE HealthCom 2016, Munchen, Germany

[5] M. Kolesnik, and A. Fexa, "Multi-dimensional color histograms for segmentation of wounds in images." in Proc. of Image Analysis and Recognition 2005, LNCS vol. 3656, pp. 1014-1022.

[6] R. Mukherjee, D. D. Manohar, D.K. Das, A. Achar, A. Mitra, and C. Chakraborty, "Automated tissue classification framework for reproducible chronic wound assessment". BioMed research international, 2014, Article ID 851582, 9 pages, http://dx.doi.org/10.1155/2014/851582.

[7] B. Acha, C. Serrano, and L. M. Roa. "Segmentation and classification of burn color images", in Proc. of the 23rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society, vol. 3., 2001.

[8] B. Acha, C. Serrano, I. Fondón, T. Gómez-Cía, "Burn Depth Analysis Using Multidimensional Scaling Applied to Psychophysical Experiment Data". IEEE Tran. on Medical Imaging, vol. 3, no. 6, 2013, pp. 1111-1120.

[9] B. Acha, C. Serrano, S. Palencia, and J. J. Murillo "Classification of burn wounds using support vector machines." In Proc. of International Society for Optics and Photonics - Medical Imaging 2004, pp. 1018-1025.

[10] K. Wantanajittikul, N. Theera-Umpon, S. Auephanwiriyakul, and T. Koanantakool, "Automatic segmentation and degree identification in burn color images," in Proc. of International Conference on Biomedical Engineering (BMEiCON), 2011, pp.169-173.

[11] W. Torgerson, Theory and Methods of Scaling, Wiley, New York, NY, 1958. [12] T. F. Cox and M. A. A. Cox, Multidimensional Scaling, Chapman & Hall, 1994. [13] A. Mojsilovic, J. Kovacevic, J. Hu, R. Safraneck, and K. Ganapathy, “The vocabulary and grammar of color patterns,” IEEE Trans. on

Image Processing 9, pp. 417–431, Mar 2000. [14] J. Restat, “Psychological relevant features of color patterns,” in Proc. of Workshop on Image Analysis for Multimedia Services

WIAMIS 2001, pp. 107–112, (Tampere, Finland), 16-17 May 2001 [15] C. Vertan, M. Ciuc, M. Zamfir, A. Stoica, V. Buzuloiu, C. Fernandez-Maloigne: “Correlating Human Color Similarity Judgements and

Colorimetric Representations”, ATOM02-Advanced Topics in Optoelectronics, Microelectronics and Nanotechnologies, vol. SPIE 5227, eds. O. Iancu, A. Manea, D. Cojoc, pp. 51-58 (ISSN 0277-786X, ISBN 0-8194-5100-2)

[16] Bastan, M., Cam, H., Gudukbay, U. and Ulusoy, O. "Bilvideo-7: an MPEG-7-compatible video indexing and retrieval system". IEEE MultiMedia, 17(3), pp. 62-73, 2010.

Anexă : Tabelul 1. Situația pacienților din studiu: număr de zile și imagini achiziționate.

Număr pacient

Număr zile

Număr triplete

1 1 52 3 223 5 254 6 605 10 476 3 207 7 508 5 259 14 80

10 4 2011 13 6412 14 8513 6 4014 2 1215 2 1616 3 1717 4 2518 3 1319 2 1020 8 4221 11 6922 7 5523 11 7124 5 2725 10 9926 3 1727 6 6828 7 4029 1 430 12 11131 2 1032 6 3633 14 8834 4 1235 5 4036 4 2037 5 2538 16 35839 3 1340 7 14841 2 842 9 4243 18 21244 10 5345 15 140