Universitatea de Medicina si Farmacie Carol Davila din Bucureşti

Evaluarea arsurilor prin imagistică multispectrală – BAMSI

Contract 135/ 2014

Etapa 3: Prelucrarea şi analiza în imagini a arsurilor.

Activitate 3.1 Achiziţie bază de imagini şi teste clinice Activitate 3.2 Achiziţie, prelucrarea şi analiza în imagini a arsurilor Activitate 3.3 Diseminare

Director de proiect: S.l. Dr. med. Silviu Constantin BĂDOIU 5 decembrie 2016

Arsurile reprezintă o problemă serioasă de sănătate publică, intrucat ranirea prin arsura reprezintă, probabil, forma cea mai severa de traumatism. Incidenta arsurilor variază foarte mult de la o regiune la alta, dar valoarea mediana este de aproximativ 31,2 / 100.000 de persoane / an. Există aproximativ 330.000 de decese pe an, la nivel mondial din cauza leziunilor termice. Arsurile sunt cea de-a patra cauza de deces ca urmare a ranirilor neintenționate. Stabilirea diferenței dintre arsurile dermice superficiale și arsurile dermice profunde este foarte importanta. Arsurile superficiale se vindeca cu pansamente corespunzătoare în 14-21 zile și nu lasă cicatrici. Arsuri dermice profunde si arsurile in toata adancimea necesita excizie chirurgicala timpurie și grefe tegumentare, timpul de vindecare fiind altfel mai mare de 21 de zile și lasand de regula cicatrici vicioase si hipertrofice. De obicei, această diferențiere se face pe baza experientei clinice a chirurgului specializat in arsuri. Precizia unui chirurg senior specializat in arsuri este de aproximativ 64-76%. Aceasta înseamnă că, în 23-36% din cazuri, judecata clinica a chirurgului nu reușește să diferențieze între arsurile superficiale și arsurile profunde. Scopul declarat al acestui proiect este de a dezvolta un instrument care determină in mod obiectiv adâncimea arsurilor, bazat pe estimarea perfuziei tisulare a ranii arse, prin utilizarea în comun a mai multor înregistrări imagistice de culoare, infraroșu apropiat, si infraroșu termic. Această abordare este mai ieftina, mai rapida, și poate produce imagini de rezoluție mai mare decât standardul curent de spectrometrie laser Doppler. Abordarea noastră este destul de originala prin utilizarea de imagini multispectrale și reprezintă o problemă științifică și tehnică provocatoare. Combinația de experimental, modelare, statistică avansată și prelucrare a imaginilor va rezolva unele probleme importante, cum ar fi (1) dezvoltarea de protocoale rapide și precise în examinarea medicală in vivo a arsurilor prin intermediul imaginilor fotografice, (2) fuzionarea imaginilor vizibile cu informații extrase din imaginile termice pentru a evidenția anomalii și oferirea de suport al diagnosticului; (3), dezvoltarea unui aparat funcțional pentru utilizarea clinica in evaluarea arsurilor. Obiectivul principal al pachetului de lucru " Achiziţie bază de imagini şi teste clinice" este de a stabili baza de informatii pe care se va lucra in dezvoltarea componentelor tehnice ale proiectului BAMSI. Pachetul de lucru este cu desfasurare continua pe periada intregului proiect, cu scopul de a strange si documenta un numar maxim de cazuri clinice de interes. Obiectivul principal al pachetului de lucru "Prelucrarea şi analiza în imagini a arsurilor" este de a realiza lantul automat de prelucrare a imaginilor achizitionate, prin identificarea diferitelor zone caracteristice de interes medical (segmentarea zonelor de arsură). Obiectivul principal al pachetului de lucru "Diseminare" este de a asigura un flux bidirecțional de informații corecte între consorțiu și restul comunității științifice / industriale cu activități conexe. Livrabilele etapei: raport de cercetare; baza de imagini adnotate; librarie software.

1. Achiziţie bază de imagini şi teste clinice Aceasta activitate a avut loc in Unitatea de Arsi a Cliniciii de Arsuri si Chirurgie Plastica a Spitalului de Copii Grigore Alexandrescu, din Bucuresti. Fotografiile au fost efectuate cu camera termala FLIR pusa la dispozitie de Partenerul P3 din proiect, firma Fotonation. Caracteristicile tehnice ale acestei camere termale sunt specificate in raportul Partenerului P3. In esenta, acest tip de aparat efectueaza fotografii in spectrul infrarosu. SImultan -sa folosit o alta camera care face fotografii in spectrul infrarosu apropiat si spectrul vizibil. Aceasta camera apartine, deasemenea partenerului P3, Fotonation. Fiecare dintre cele doua camere are un obiectiv propriu si sunt pozitionate separat, ceea-ce face ca imaginile achizitionate in spectrul vizibil, in spectrul infrarosu si in spectrul infrarosu apropiat sa nu fie perfect superpozabile. Pentru fiecare cadru se obtin 3 fotografii: o fotografie color, o fotografie in infrarosu, si o fotografie infrarosu apropiat, adica o triada de imagini. Imaginile din aceasta triada nu se suprapun perfect datorita detaliului tehnic precizat mai sus. Suprapunerea imaginilor vizibil color, infrarosu apropiat si inrarosu a fost efectuata manual, cu ajutorul uni soft pus la dispozitie de catre Partenerul P2, Universitatea Politehnica Bucuresti. Acelasi soft a fost folosit si in etapa II a proiectului nostru. Aceasta suprapunere a fost realizata tehnic de catre Partenerul P2, conform raportului tehnic al Partenerului P2. Ca si in etapa II a proiectului, achizitia de imagini a fost realizata de catre membriii echipei medicale a proiectului, adica de catre mebrii din echipa Partenerului P1, UMF Carol Davila Bucuresti. Lor li s-au adaugat si o serie de medici si asistente medicale ce au desfasurat activitate de voluntariat in cadrul proiectului nostru de cercetare. In plus, partenerul P3 a alocat o echipa formata din 2 persoane care s-a aflat zilnic si a conlucrat cu echipa medicala, in scopul obtinerii de imagini de o calitate superioara. Avand in vedere ca se achizitioneaza, in continuare, si imagini termale, am acordat o atentie speciala ambientului unde a avut loc si are loc achizitia de imagini. Pacientii arsi sunt gazduiti in rezerve cu dotari speciale si cu temperatura constanta de 27 grade Celsius. Din rezerva unde are pat, pacientul ars strabate un culoar in care se mentine acelasi regim termic si ajunge in sala de pansamente. Aici este mentinuta aceeasi temperatura constanta de 27 grade Celsius. In sala de pansamente am respectat protocolul de pregatire a pacientului de catre echipa medicala(protocol elaborat in etapa II): 2 asistente special instruite si medicul curant al pacientului indeparteaza pansamentele si curata solutiile sau unguentele ce acopera plagile arse, in cadrul procesului normal de schimbare a pansamentelor la pacientului ars. Apoi plagile arse sunt tamponate cu comprese sterile. Preluarea de imagini a fost efectuata de catre echipa de tehnicieni a partenerului P3, care fotografiaza fiecare zona de arsura pentru fiecare regiune anatomica, la pacientul ars. Toti membrii echipei medicale si echipa de tehnicieni din sala de pansamente poarta imbracaminte de protectie sterila si masti chirurgicale si respecta normele de asepsie si antisepsie specifice blocului operator. Dupa efectuarea fotografiilor, pacientul este pansat si transportat in rezerva unde isi are patul. Si procesul continua in acelasi mod pentru pacientul urmator. Precizam ca fotografiile au fost efectuate in cadrul programului normal de schimbare a pansamentelor la pacientii arsi deja internati, exceptand urgentele. Ca si in etapa II a proiectului, am constatat ca procesul descris mai sus a fostextrem de laborios, avand in vedere ca a fost vorba de pacienti pediatrici, iar timpul in care trebuiau efectuate pozele era foarte scurt, pentru a nu stanjeni in nici un fel activitatea de ingrijire medicala. In plus, o parte dintre fotografii au fost efectuate la admiterea pacientilor in Unitatea de Arsi, in conditii de urgenta medico-chirurgicala. Daca pacientii erau admisi dupa pranz, cand ramanea numai linia de

garda, activitatea de preluare a imaginilor de la acesti pacienti, se efectua in ziua urmatoare, cand sosea si echipa tehnica a partenerului industriL P3. Spre deosebire de etapa II, in care fotografiile au fost facute de medici diferiti, asistati de echipe de pansament diferite, folosind o camera termala manuala, in etapa III captura de imagini s-a efectuat cu camera infrarosu, camera infrarosu apropiat si vizibil. Aceste camere nu au mai fost tinute in mana, ci au fost fixate pe un cadru special gandit de Partenerii P1, P2 si P3 si realizat tehnic integral de partenerii P2 si P3. Achizitia de imagini in etapa III a proiectului nu a mai fost reslizata de medici, ci de echipa de 2 tehnicieni, special antrenati, ai partenerului P3. In etapa II, nu intodeauna au putut fi achizitionate imagini cu incadrare si expunere perfecta, astfel ca o parte din pozele obtinute nu au putut fi utilizate in studiu. Prin opozitie, in etapa III, majoritatea imaginilor au auvut incadrarea si expubnerea dorite, astfel ca pozele rezultate au putut fi utilizate in studiu. Dupa scanarea infrarosu, infrarosu apropiat si fotografierea in spectrul color, pentru fiecare pacient in parte s-a creat o fisa ce contine aceleasi date ca si in etapa II a proiectului nostru: - datele pasaportale: nume, prenume, varsta - data internarii - numarul foii de observatie - data producerii arsurii si ora - mecanismul de producere al arsurii: termic, chimic, electric, iradiere, frictiune etc. - diagnosticul la internare, ce cuprinde mecanismul arsurii, profunzimea arsurii si suprafata

corporala arsa, precum si vechimea arsurii. - medicul curant - telefonul de contact al parintilor pacientului(fiind vorba despre copii) si/sau al pacientului(cand a

fost vorba despre adulti). - datele cand s-au facut achizitii de imagini - pentru fiecare data in parte s-au notat triadele de imagini: infrarosu-infrarosu apropiat—vizibil,

care s-au facut. Au rezultat, pentru etapa III a studiului nostru, inca 40 de fise de achizitie de imagini corespunzand la tot atatia pacienti nou inclusi in studiu. Ceea-ce se stia de la evaluarea arsurilor prin tehnica laser-doppler, este ca imaginea in spectrul vizibil nu se suprapune perfect cu imaginea achizitionata prin tehnica laser-doppler. Aceeasi situatie am intalnit-o si in cazul tehnicii folosite de noi: imaginea achizitionata in spectrul vizibil nu se suprapune 100% cu imaginea obtinuta in spectrul infrarosu si nici cu imaginea in infrarosu apropiat, deoarece fiecare obiectiv de camera priveste zona examinata dintr-un unghi usor diferit. Prin urmare, triadele de imagini au fost prelucrate pentru a obtine o suprapunere perfecta. Dupa ce am obtinut triade de imagini superpozabile am trecut la etapa de marcare a zonelor arse si de atribuire a unui grad de profunzime a arsurii. Prelucrarea triadelor de imagini, pentru a deveni superpozabile, a fost efectuata de colegii de la Universitatea Politehnica Bucuresti. Ei au dezvoltat un soft nou care a permis ca cele 3 imagini(spectrul vizibil, spectrul infrarosu apropiat si spectrul infrarosu) obtinute sub unghiuri diferite(dar vizand acelasi segment anatomic) sa poata fi suprapuse. In aceasta etapa, colegii specialisti in chirurgie plastica si arsuri au studiat fiecare triada de imagini superpozabile, pentru fiecare pacient in parte. Pe fiecare imagine spectru vizibil s-au marcat zonele de arsura si s-au atribuit grade de profunzime a arsurii, conform clasificarii internationale: I, IIA, IIB, III, clasificare am folosită şi în etapa II a proiectului.

2. Achiziţie, prelucrarea şi analiza în imagini a arsurilor Investigațiile de natură termografică constau în analizarea nivelului de vascularizare a țesutului aflat sub arsură, observându-se că arsurile mai „reci” sunt mai severe și necesită intervenții chirurgicale. Aceste studii sunt însă într-un stadiu incipient și evidențiază diversele limitări asociate înregistrărilor termale [Hardwicke 2013] [Tylman 2012]. Abordarea noastră a constat într-o procedură simplificată de scanare, înregistrând în paralel imagini color și termale. Nici mediul, nici pacienții nu au fost restricționați în vreun fel. În general, achiziția imaginilor este realizată în condiții cât mai bune. Acest lucru poate să însemne utilizarea unor marcaje suplimentare [Tylman 2012] pentru calibrare geometrică și alinierea imaginilor, precum și diagrame de culoare [Wannous 2010] pentru calibrare colorimetrică. Se impun restricții în ceea ce privește iluminarea, pacientul și poziționarea camerei față de acesta. În cazul înregistrărilor termale se parcurg diverse etape de pregătire a rănii [Hardwicke 2013], dintre care amintim acomodarea la temperatura ambientală, curățarea rănii, precum și învelirea acesteia într-o folie de plastic. În scenariul nostru, nici una dintre aceste pregătiri nu a putut fi realizată. Acest fapt se datorează condițiilor de lucru în cazul pacienților pediatrici. Baza de date este compusă din imagini capturate cu ajutorul unui aparat portabil care înregistrează simultan imagini color și termale. De asemenea, focalizarea a fost făcută manual, de personal medical, fără alte calibrări în momentul achiziției. În ceea ce privește diversele trăsături extrase din imaginile cu arsuri, acestea sunt specifice domeniului imagisticii color, reprezentând o descriere a aspectului vizual al rănii. Din punct de vedere al trăsăturilor din imagini termale, nu au fost raportate până acum măsuri ale aspectului arsurilor, în afară de diverse interpretări calitative și integrative [Hardwicke 2013]. Trăsăturile studiate sunt compatibile cu metodele de evaluare a arsurilor folosite de medici, care se bazează pe aspectul vizual al rănii. Majoritatea trăsăturilor propuse în trecut au fost folosite în cadrul unor clasificatori puternici la momentul publicării, în special Support Vector Machine (SVM). Dintre diversele soluții propuse, trebuie menționată cea propusă de Kolesnik și Fexa [Kolesnik 2005]. Această metodă folosește histograme color și distanțe modificate inter-histograme, acestea fiind cuantizate într-o gamă mai mică de valori. Această descriere a imaginii color este utilizată apoi într-un clasificator SVM. Pe de altă parte, Mukherjee [Mukherjee 2014] propune o metodă pentru clasificarea rănilor folosind nivelul de saturație al culorilor. Acest studiu nu a avut ca scop analiza arsurilor, ci au fost luate în considerare mai multe tipuri de răni la nivelul pielii. Principala concluzie în acest caz a fost că orice tip de rană la nivelul pielii este considerabil mai colorată față de zonele de piele normală, fapt ce se vede clar în componenta de saturație a culorilor. Pentru segmentarea efectivă, a fost folosită o metodă de tip fuzzy, iar baza de date de test a fost de 6 imagini. Având la bază o observație similară, Wantanajittikul propune o metodă care se folosește de faptul că rănile au un aspect clar mai roșiatic față de pielea normală [Wantanajittikul 2011]. A mai fost pus în evidență aspectul mai granular (texturat) al rănilor, inclusiv al arsurilor. Având acestea în vedere, modalitatea propusă a constat într-o descriere a culorii și texturii rănilor. Culoarea a fost măsurată ca valoarea medie și abaterea standard a raportului între componenta de roșu și cea de verde a pixelilor. Textura zonei de interes a fost descrisă prin măsuri clasice, anume omogenitatea și contrastul acesteia. Și în acest caz, baza de date de test a fost restrânsă, însumând 6 imagini în total. O serie de studii realizate de Acha s-au folosit de gradul de saturație al culorii ponderat la nuanța pixelilor pentru a stabili un prag de diferențiere a zonelor diferite de piele [Acha 2001] [Acha 2004]. Aceeași echipă a utilizat o metodă de tip Multi Dimensional Scaling (MDS) pentru a descoperi trăsăturile considerate a fi relevante în descrierea rănilor, folosind o serie de observații a unor cadre medicale

[Acha 2013]. Metoda a produs cele mai relevante 3 componente în diferențierea arsurilor, care au fost apoi identificate manual ca fiind nivelul de roz al zonei, gradul de texturare și coloritul zonei. Aceste studii au folosit baze de date vizibil mai extinse, de 50 [Acha 2004], respectiv 74 [Acha 2013]. Metodele prezentate anterior au consolidat ideea că o clasificare automată a arsurilor este posibilă, însă dimensiunile relativ reduse ale bazelor de date, precum și abordările clasice ale problemei lasă loc de îmbunătățiri. Diversele studii desfășurate de echipa noastră se diferențiază vizibil de abordările anterioare atât prin dimensiunea bazei de date considerate (mai mare cu aproximativ un ordin de mărime), cât și prin metodele moderne de extragere a trăsăturilor și clasificare, după cum va fi explicat în continuare.

2.1 Metodologii de evaluare a arsurilor Ultimii ani au determinat o îndepărtare față de metodele clasice de recunoaștere a formelor. Acestea constau într-o etapă de extragere de trăsături care apoi sunt folosite ca intrare într-un sistem de clasificare. Trăsăturile reprezintă adesea diverse măsuri statistice care se extrag din setul de date (imagini în acest caz), precum media sau varianța, după cum s-a văzut în metodele prezentate anterior. Clasificatorii cei mai uzuali, cu cele mai bune rezultate sunt cei de tip SVM și cei Random Forest (RF). Abordarea modernă a problemelor de recunoaștere a formelor este de a folosi metode de tip Deep Learning. Aceste sisteme complexe și-au demonstrat în mod repetat capacitatea de a întrece sistemele clasice [LeCun 2015]. Apariția acestor metode a fost facilitată de apariția unor baze de date de dimensiuni foarte mari, precum și de progresul constant în ceea ce privește puterea de calcul a sistemelor informatice, mai ales în zona unităților de procesare grafică (GPU). Pentru probleme cu seturi restrânse de date, sau în cazurile în care puterea de calcul este o problemă, se utilizează în continuare metodele clasice de clasificare. Baza de date considerabil mai mare utilizată de echipa noastră a permis testarea atât a unor metode clasice cât și a unora moderne. Pentru prima categorie de metode, cele care au la bază extragerea de trăsături, au fost alese trei trăsături diferite: histograma gradienților orientați (Histogram of Oriented Gradients – HOG) [Dalal 2005], trăsături de tip Local Binary Pattern (LBP) [Ojala 2002] și o trăsătură mai recentă, histograma trăsăturilor topografice (Histogram of Topographical features – HoT) [Florea 2014]. Ultima trăsătură prezentată reprezintă o augmentare a informației de gradient prin informații extrase din Hessiana locală. Pentru etapa de clasificare s-au folosit clasificatori de tip SVM și RF. Metodele de tip Deep Learning sunt reprezentate de obicei de rețele neuronale convoluționale (Convolutional Neural Networks – CNN) [LeCun 1998] sau de rețele de tip deep belief [Hinton 2009]. Pentru experimentele desfășurate, au fost utilizate mai multe arhitecturi de rețele neuronale convoluționale:

• LeNet [LeCun 1998] • Network in Network (NiN) [Lin 2013] • Residual Networks (ResNet) [He 2015]

Indiferent de arhitectură, CNN reprezintă o rețea cu propagare înainte a semnalului alcătuită din suprapunerea mai multor straturi cu funcții diferite. Stratul care sta la baza unui CNN este cel convoluțional. Acesta este reprezentat dintr-o serie de nuclee convoluționale care se aplică imaginii de intrare și apoi hărților de trăsături obținute. Straturile convoluționale sunt adesea urmate de straturi de „pooling”, acestea având rolul de a subeșantiona imaginea și de a oferi invarianță spațială. Majoritatea blocurilor care alcătuiesc un CNN conțin și un strat de activare. Acest strat are rolul de a aplica o funcție de activare hărților obținute, asemeni rețelelor neuronale obișnuite. Deși se pot folosi funcții precum sigmoid sau tanh, alegerea obișnuită în cazul CNN este de a folosi un strat ReLU, care are funcția de activare ( ) = max(0, ).

Fig. 1 Exemplu de imagine color, imagine infraroșu și imagine cu marcajele de arsuri suprause

Utilizarea acestor straturi în mod succesiv duce la crearea unei piramide în vârful căreia se definește o rețea neuronală clasică (denumit strat „dens” în acest context), care are ca scop clasificarea propriu-zisă a trăsăturilor obținute. Uzual, se adaugă un strat de tip softmax la sfârșitul rețelei. Această structură este reprezentativă pentru majoritatea arhitecturilor existente, fiecare aducând diverse modificări modelului de bază.

După obținerea rezultatelor folosind toate metodele prezentate mai sus, s-au ales cele mai bune 3 procedee pentru a crea un sistem de ansamblu. Acesta se folosește de faptul ca diversele metode au arătat capacități diferite de a discrimina fiecare dintre clase. Sistemul de ansamblu ia etichetele produse de toți cei 3 clasificatori folosiți și hotărăște ca eticheta corectă să fie eticheta majoritară. Daca există egalitate în numărul de voturi, sistemul cel mai performant (ResNet) este cel considerat a fi corect.

2.2 Pregătirea bazei de date Unul dintre aspectele importante ale experimentelor noastre este reprezentat de dimensiunea și condițiile de realizare a bazei de date. Aceasta a fost construită pe parcursul a mai multor luni în condiții de spital, fără intervenții asupra mediului de lucru obișnuit. Toate achizițiile au fost realizate de personal medical, fără a avea vreun fel de pregătire în domeniul achiziției de imagini digitale. Zonele înregistrate au fost alese de medici specialiști ca fiind relevante diagnozei.

Imaginile atât în domeniul infraroșu cât și în spectrul vizibil au fost obținute utilizând același aparat. Primele au o rezoluție de 320 x 240 pixeli, în timp ce imaginile color au o rezoluție de 1664 x 1248 pixeli. În urma unui proces manual, imaginile color au fost aliniate cu cele în infraroșu, astfel încât cele color să aibă aceeași rezoluție cu cele infraroșu (prin decupare), iar distorsiunile geometrice să fie corectate.

Din punct de vedere al dimensiunii, baza de date este clar mai mare decât diversele baze de date folosite în alte studii. Ea cuprinde în total 611 perechi de imagini (color și infraroșu), care surprind arsuri de severități diferite, adunate de la 55 de pacienți pediatrici. Gradul de răspândire al vârstelor este și el semnificativ. Pacienții au vârste începând de la 8 luni și până la 17 ani. Vârsta medie este de 4 ani, cea mediană de 2 ani, iar abaterea standard este de 4 ani. Studiul a presupus analiza în timp a arsurilor, astfel că datele achizițiilor variază începând de la ziua producerii accidentului până la 62 de zile după. Totuși, majoritatea imaginilor sunt achiziționate în primele 10 zile de la producerea accidentului, acestea fiind cele critice, în care se decide nevoia intervenției chirurgicale. Fiecare imagine color a fost adnotată manual de către medici specialiști, aceste adnotări reprezentând zona în care se află o arsură, precum și severitatea ei. În urma acestor operațiuni au fost obținute 1634 de zone de interes. Arsurile marcate variază de la cele mai ușoare arsuri de gradul I până la arsuri de gradul III. În afară de acestea, au fost marcate și zonele în care se găsesc arsuri vindecate.

Fig. 2 Exemplu de piele segmentată ca fiind sănătoasă

O sarcină suplimentară în ceea ce privește baza de date a fost reprezentată de segmentarea automată a zonelor de piele sănătoasă. Problemele apar din cauza condițiilor de iluminare, a fundalului care poate avea nuanțe de piele și a zonelor care prezintă răni. În urma testării mai multor metode de segmentare a pielii, cea aleasă a constant în folosirea unui prag într-un spațiu de culori combinat RGB-YUV [Al-Tairi 2014]. Ecuațiile care determină dacă o zonă este de piele sau nu sunt următoarele: 80 < < 130136 < < 200>> 80, > 30, > 15| − | > 15 (Ec. 1)

Alături de aceste praguri, s-a folosit informație termală pentru eliminarea majorității

cazurilor de fals pozitiv. Astfel, ca un pixel de imagine să fie considerat aparținând unei zone de piele normală, acesta trebuie să îndeplinească următoarele condiții:

1. Să îndeplinească condițiile Ec.1 2. Să aibă asociat o temperatură mai mare de 32°C 3. Să nu fie marcat ca aparținând unei arsuri

Abordarea noastră constă în dezvoltarea unei metode care să clasifice fiecare pixel, pe baza vecinătății sale. S-au ales zone de 32 x 32 pixeli, eticheta aparținând pixelului aproximativ central. Peticele au fost decupate din zone aparținând tuturor tipurilor de piele, ajungând la un total de 200494 de eșantioane (inclusiv zone de piele sănătoasă). Aceste eșantioane au fost împărțite apoi în set de antrenament, set de validare și set de testare. Seturile de antrenare și validare conțin adunat 74763 de eșantioane. Centrele eșantioanelor se află la o distanță de minim 16 pixeli față de orice alt centru. Există astfel suprapunere între eșantioane adiacente.

În cazul setului de testare, distanța minimă între centrele a două eșantioane este de 6 pixeli, deoarece în acest set nu se mai pune problema redundanței la antrenare. Având o constrângere mai mică, s-a ajuns la un total de 125731 de eșantioane în setul de test. 2.3 Desfășurarea experimentelor S-au luat în considerare diverse variante de etichetare a bazei de date, astfel încât să se studieze mai multe probleme. Aceste probleme, în ordine crescătoare a dificultății sunt reprezentate de sarcina de a diferenția între:

1. Piele sănătoasă și arsuri de orice fel

2. Piele sănătoasă sau arsuri ușoare și arsuri grave 3. Piele sănătoasă, arsuri ușoare și arsuri grave

Arsurile vindecate au fost considerate ca fiind arsuri ușoare, ele prezentând aceleași trăsături din punct de vedere al aspectului. Din punct de vedere al echilibrului între clase, s-au studiat și cazurile în care nu s-au făcut augmentări claselor mai slab reprezentate. De asemenea, în majoritatea experimentelor, au fost ignorate pozele făcute la mai puțin de 24 de ore de momentul producerii accidentului, acestea fiind irelevante, cel puțin din punct de vedere al conținutului de informație termală. 2.3.1 Descriptori și clasificatori clasici

O etapă experimentală importantă a fost reprezentată de analiza metodelor clasice. Pentru aceasta s-au luat trăsăturile alese (HOG, LBP, HoT), s-au aplicat peticelor din baza de date, iar descriptorii obținuți au fost folosiți ca intrări pentru cei doi clasificatori populari (SVM, RF). Problema studiată a fost cea mai dificilă, cea de deosebire între piele sănătoasă, arsuri ușoare și arsuri grave. În primă instanță s-a căutat cel mai bun descriptor de trăsături.

Descriptor Clasificator

Random Forest - RF

Support Vector Machine-SVM

HOG 50.84% 50.22% LBP 53.93% 57.70% HoT 61.50% 63.74%

Această analiză a demonstrat performanțele clar superioare ale descriptorilor de tip HoT,

diferența între aceștia și următorii find de cel puțin 6%, indiferent de clasificatorul considerat. Având aceste informații la dispoziție, se caută obținerea celui mai bun sistem Random Forest sau SVM, prin optimizarea parametrilor. Pentru clasificatorii Random Forest s-au variat numărul de arbori, respectiv numărul de trăsături care să fie păstrat. În cazul SVM, s-au variat coeficienții C și γ, toate studiile fiind realizate pe setul de validare. Unul dintre aspectele cele mai importante ale studiului nostru este reprezentat de introducerea informației de infraroșu ajută la performanțe mai bune de clasificare. Pentru a analiza relevanța informațiilor suplimentare au fost antrenate doi clasificatori de tip Random Forest cu parametrii identici, în afara de intrări. Unul dintre clasificatori a fost antrenat folosind doar informație RGB, în timp ce al doilea clasificator a utilizat și informație infraroșu. Rezultatele, prezentate în Tabelul II, demonstrează importanța informațiilor suplimentare din domeniul infraroșu.

Trăsături Spații de culoare R G B + IR R G B

HoT 60.7 % 58.69 % 2.3.2 Deep Learning

Cele mai multe experimente au avut loc în contextul studiului rețelelor convoluționale. Un număr mare de rețele a fost antrenat pentru a studia impactul diverselor modificări care pot fi aduse atât rețelelor cât și bazei de date. Pentru antrenarea rețelelor de tip LeNet și NiN a fost

Tabel I: Comparație între performanțele descriptorilor considerați

Tabel II: Influența informației din spectrul infraroșu asupra performanțelor de clasificare

folosit[ biblioteca „MatConvNet” [MatConvNet]. În cazul rețelelor ResNet, acestea au fost antrenate folosind software-ul pus la dispoziție de creatorii acestei rețele [CNTK]. O problemă obișnuită, care a fost întâlnită și în experimentele desfășurate este reprezentată de dimensiunea bazei de date. Tehnicile de tip Deep Learning necesită baze de date extinse pentru a putea converge. Deși baza noastră de date este considerabil mai mare față de altele utilizate în literatura de specialitate, unele clase nu sunt suficient de bine reprezentate. Din totalul de 74763 de eșantioane în lotul de antrenare/validare, 37639 aparțin clasei de piele sănătoasă, doar 9767 clasei de arsuri ușoare și 27357 clasei arsurilor grave. Într-un astfel de caz este necesară echilibrarea claselor pentru a asigura rezultate realiste. Dezechilibrul între clase poate determina un CNN să clasifice orice eșantion în clasele mai bine reprezentate, asigurând astfel o eroare mai mică. Problemele de această natură se pot identifica studiind matricea de confuzie rezultată. Există două soluții pentru astfel de probleme. Prima presupune trunchierea claselor mult mai bine reprezentate. Astfel de soluții nu sunt recomandate fiindcă, pe de-o parte, se pot pierde eșantioane relevante, iar pe de altă parte, rețelele convoluționale cer un lot de antrenare cât mai extins. A doua soluție, cea aleasă până la urmă a fost de a augmenta clasele. Metoda aleasă pentru a augmenta baza de date a fost de a genera eșantioane noi prin operația de rotire cu 90° a celor existente. Această operație s-a efectuat de mai multe ori dacă a fost necesară obținerea mai multor eșantioane. Altă metodă considerată pentru extinderea claselor slab reprezentate a fost de a scădea distanța dintre centrele peticelor (practic, creșterea suprapunerii acestora). Această metodă s-a dovedit a fi ineficientă, până și cel mai simplu sistem ajungând la supraînvățare într-un număr redus de epoci. În urma augmentării s-a ajuns la următoarele valori:

Clasă Înainte de augmentare După augmentare Piele sănătoasă 37639 37639 Arsuri ușoare 9767 38795 Arsuri grave 27357 49836

Total 74763 126270

Prima rețea aleasă pentru experimentare a fost cea cu arhitectură LeNet. Această alegere se datorează simplității manipulării acestor rețele (în MatConvNet) și timpul redus de antrenare (considerabil mai mic ca NiN sau ResNet). În primă instanță s-au antrenat mai multe rețele pentru compara diverși parametri. S-a observat importanța separării eșantioanelor din aceeași poză într-un singur lot (antrenare sau validare). Nerespectarea acestei reguli atrage de la sine valori incorecte ale scorurilor de validare, deoarece similitudinea între petice apropiate este foarte mare. Studierea îndeaproape a bazei de date a arătat faptul ca există o corelație între aspectul rănii și timpul trecut de la producerea accidentului. Această trăsătură a fost introdusă în rețea prin adăugarea încă unui plan în datele de intrare. Câștigul raportat a fost de sub 2%, rețeaua având același timp de antrenare.

Rețea Performanță Fără informație de timp [%]

Performanță Cu informație de timp [%]

LeNet 53.68 54.38 NiN 55.56 57.06

Tabel III: Rezultatele augmentării bazei de date

Tabel VI : Influența informației de timp al arsurii

Fig. 3 Exemple de imagini modificate. Prima linie – Imaginea color originală, imaginea color

scalată; A doua linie – Imaginea obținută prin fuziune, imaginea în infraroșu

Condițiile de achiziție și informația suplimentară obținută a determinat analize suplimentare în ceea ce privește conținutul imaginilor. În acest sens, s-au testat mai multe variante ale bazei de date, fiecare având conținutul peticelor modificat. Într-o primă instanță s-a aplicat o transformare liniară pe fiecare dintre poze. Altă variantă încercată a presupus o operație de fuziune a imaginii infraroșu cu cea color. Au rămas nemodificate locațiile de la care au fost extrase peticele. După obținerea bazelor de date cu imagini modificate, acestea au fost utilizate în antrenarea unor rețele LeNet pe toate cele 3 probleme de clasificare. Fiind importantă capacitatea de discriminare pe fiecare dintre clase, rezultatele raportează procentul de recunoaștere pe fiecare clasă.

Bază de date Precizie piele [%]

Precizie arsuri ușoare

[%]

Precizie arsuri grave

[%]

Precizie totală [%]

RGB + IR 58.63 33.79 67.27 58.01 RGB 62.59 32 67.13 60.01

Fuziune 46.17 43.35 59.55 49.79 Scalat 45.49 37.12 71.84 52.24

Având la dispoziție sistemul de detecție al pielii folosind CNN, a fost efectuată comparația lui cu alte metode propuse în trecut. Tabelul X surprinde avantajele folosirii CNN în cazuri reale, față de metodele nuanță-saturație [Mukherjee 2014], culoare-textură [Wantanajittikul 2011] și modelul de piele RGB-YUV [Al-Tairi 2014]. Un avantaj al rețelei convoluționale este dat de metoda de analiză la nivel de vecinătate, spre deosebire de decizia la nivel de pixel a celorlalte modele. Primele două metode se bazează pe observații făcute în medii controlate, comparația cu metoda propusă în cadrul proiectului BAMSI devenind și mai interesantă.

Comparație între diversele metode de detecție a arsurilor

Fig. 4 Comparație vizuală între etichetele prezise și imaginea originală

Fig. 5 Exemplu de reconstrucție corectă. Stânga: Etichete prezise; Dreapta: Etichete adevărate

Legendă: albastru – piele normală, magenta – arsură ușoară, roșu – arsură gravă

Metodă

Performanța clasificării arsurilor Precizie arsuri

[%]

Rată de fals positive

arsuri [%]

Precizie totală

[%] LeNet 81.83 29.34 75.41

Nuanță-saturație 97.28 88.94 53.87 Culoare-textură 70.10 39.36 65.34

RGB-YUV 77.09 64.29 53.31

Rezultatele sunt clar în favoarea rețelei LeNet, la o diferență de 10% față de cea mai apropiată metodă. Deși metoda nuanță-saturație a avut o precizie a arsurilor foarte mare, rata de fals pozitive face această metodă nefezabilă.

Pentru a putea analiza mai corect rezultatele obținute pentru diversele sarcini de clasificare, s-a realizat reconstrucția imaginilor cu etichetele calculate. În figurile următoare se vor prezenta, în paralel, reconstrucțiile pentru comparație vizuală (subiectivă) cu imaginile originale (Fig. 4) și pentru comparația etichetelor prezise cu cele adevărate (Fig. 5).

După desfășurarea tuturor analizelor pe rețeaua LeNet, pasul logic a fost de a testa arhitecturi similare, dar cu un grad de complexitate mai mare. Pentru aceasta a fost aleasă arhitectura Network in Network, care reprezintă introduce straturi noi în arhitectura clasică LeNet. Straturile introduse sunt dense, ele reprezentând stratul ascuns dintr-un perceptron multinivel clasic. Deși rețeaua nu se extinde semnificativ în adâncime, fiecare strat dens introduce un număr mare de parametri noi care trebuie învățați. Consecința acestui fapt este că timpul de antrenare crește de aproximativ 5 ori. S-au antrenat mai multe rețele de tip NiN pentru a testa o serie de tehnici de optimizare în cadrul rețelelor convoluționale. Prima tehnică testată a fost cea de „fine-tuning”. Procedeul presupune folosirea ponderilor calculați pentru o rețea anterioară la inițializarea ponderilor rețelei curente. În cazul nostru, ponderile straturilor comune cu cele LeNet au Rezultatele au fost răsunătoare, deoarece lăsată pe cont propriu, rețeaua avea tendința să rămână blocată într-un „punct șa” (minim local). A doua tehnică testată pe aceste rețele a fost introducerea unui „dropout”. Procedeul se bazează pe ideea că o parte din parametrii învățați sunt nefolositori rețelei sau, într-un caz mai nefericit, pot duce chiar la blocarea rețelei în puncte de minim. Introducerea de „dropout” a fost făcută pe rețeaua cu ponderi pre-antrenate. Rezultatele se observă sub forma unui aspect cu mai puține fluctuații al evoluției erorii în timp, dar punctul final este același. În ceea ce privește performanța pe lotul de test, în Tabelul VI se observă o îmbunătățire a performanțelor cu 2%, însă cu un cost computațional net mai mare. Rețeaua ResNet a avut rezultate mai bune comparativ cu cea LeNet și s-a evidențiat printr-un procentaj vizibil superior în ceea ce privește precizia în recunoașterea zonelor de piele cu arsuri grave. Din aceste motive rețeaua ResNet a fost aleasă pentru folosirea în soluția de ansamblu. Alături de aceasta a fost ales un sistem de clasificare de tip Random Forest cu trăsături HoT la intrare pentru scorul cel mai bun în ceea ce privește detecția de piele. Un sistem similar dar cu clasificator SVM a fost inclus în soluția de ansamblu, având cel mai bun scor de detecție a arsurilor ușoare.

Metodă

Performanța clasificării arsurilor

Precizie de detecție a

arsurilor grave [%]

Precizie de detecție a arsurilor ușoare

[%]

Precizie de detecție a

pielii [%]

Precizie totală

[%]

LeNet 67.27 33.79 58.63 58.01 ResNet 79.81 29.13 56.77 60.07 HoT+RF 71.83 25.53 59.31 58.69

HoT+SVM 60.18 36.74 56.49 55.06 Ansamblu 78.3 29.3 61.06 65.12

Rezultatul agregat al celor trei metode luate în considerare a condus la o precizie acceptabilă pentru acest stadiu al dezvoltării. Capacitatea de discriminare a sistemului este comparabilă cu cea a unui medic specialist cu experiență, care are precizia situată undeva în gama de 64% până la 75%. Un medic cu mai puțină experiență în domeniu poate avea rezultate situate în jurul valorii de 50% [Jaskille 2009]. Soluția dezvoltată este originală în acest domeniu și arată un potențial ridicat. Performanța rețelelor convoluționale poate fi îmbunătățită prin diverse procedee de optimizare, precum și ajustare a spațiului de intrare. Clasificatorii clasici cuplați cu descriptori de actualitate completează din lipsurile arătate de rețelele convoluționale, deși sunt de un grad mai mic de complexitate computațională.

3. Softwa

Sistemuauxiliare capoze prelusenzor laseimportantăam ales unSistemul a (pentru achfiind diferitpreluarea p

Imaginiinfraroșu dpentru a m

Din cauimaginile pfiind setatămediului deadaptând ucu ajutorul ușor zonelejos prezintă

Corecțiaculorile pe

are şi hard

ul ales inițiaare să ajute ate. Pentruer de măsă în procesu senzor lasefost testat

hiziția în spete. Rezultatpozelor.

i preluate îndepărtat, imăsura dista

uza faptului preluate penă camera se achiziție. un algoritm

acestei core afectate dă aceste îmb

a de nivel dcare le au

dware de a

al, compus în procesu

u a realiza urare a di

ul de găsireer numit Ba într-un meectrul infrartele au fost

n unitatea dmaginea în i

nța a fost o

că preluarntru o partă realizezeCorecțiile asimplist, la

recții sunt fdin imagine bunătățiri a

de alb a imrănile celo

a

e

achiziţie ş

din cele dol de achizițialinierea cstanței din

e a zonei coaumer, senediu controroșu apropit mulțumito

de arși cu siinfraroșu apoprit în timp

ea imaginilte din pacie automat a

acestea au f nevoile exifoarte impo(accentul a

aduse imagi

maginilor acor doi pacie

şi prelucra

ouă camereie, precum ât mai exa

ntre pacienomune celozor care ofe

olat, un meiat) și suficioare, dar au

istemul prepropiat și cepul achiziție

or se face îenți au avuaceste corefost realizatistente din

ortante, deoa căzut pe îmnilor.

chiziționateenți. După c

b

f

are a imag

e și cadrul cși în proces

actă a pozent și cameror trei cameeră o preciz

ediu care dient spațiu d

u existat și a

ezentat mai ea din speci, eliminând

într-o sală dt nevoie de

ecții (white te manual ppunct de ve

oarece ajutămbunătățire

e(a,b,c,d). Sconfigurare

ginilor de

configurabilsul ulterior

elor, a fost ră, aceastăere. Pentru zie de 1mmispunea de de manevraaspecte car

sus. Tripletctrul vizibil. d astfel pun

de pansamee corecții d

balance aupe pozele fieedere vizuaă cadrul meea zonelor a

e observă ca corectă a

c

g

arsuri

, a necesitade aliniere introdus în distanță fprecizia m

m a distanțelumină inc

are, condițiie au influen

tul conține Ulterior, lactul roșu din

ente cu perde nivel de uto) și să secărui pacie

al. Îmbunătăedical să idafectate. Fig

că se pot oa camerei s

at elementeal celor tre

n sistem unfiind foarteăsurătorilo

ei măsuratecandescentăile din spitanțat negativ

imaginea înserul folosin imagine.

reți albaștrialb,ulterio

se adaptezeent în parteățirile aduseentifice magura de ma

observa clas-au obținu

d

h

e ei n e r

e. ă

al v

n t

ii r e

e, e ai ai

r t

d

h

rezultate mprocesări (epunctul roș Avâachiziția, petocmai în aprincipale (o aplicație componentimaginilor.

3.1

Pentru două cameaceasta treun minut ddisponibil,

Adăugamomentul Inițial se vintroduce ucătre cadruîn spital șiintroduși ut

Dacă cocele trei cacontrolul caale intervaexpunere șautomat, rcontrolate

mult mai bue, f). Ultimeșu de pe imand în vederentru a minacest scop. (un modul dde achiziție

te principa

Achiziția de

a putea prere FLIR. Du

ebuie selectde la conecreporniți ap

area unui paachiziției ,

va completun număr idul medical, și date legatilizând filtronexiunea camere, fiecamerelor, s

alului de teși de ampleglându-și și manual.

une (evitândele două imaginea în vizre condițiile

nimiza cât mAm renunț

de gestiunee unitară, mle ce vor

e imagini

elua imaginpă selecția tată din fertare pentru

plicația dupacient nou dar și datoa numele dentificatorși o fișă a p

ate de arsurarea disponcamerelor acare în tab-sunt disponemperaturăitudine a lsingură tim

d existențamagini redau

zibil (g,h). e de achiziț

mai mult disțat la veche a paciențilmult mai ușfi detaliate

ni, utilizatorcamerei doeastra de du inițializareă un minut.a fost mult

orită faptuluși prenum

r pentru fieacientului c

ură (substanibilă în intea fost realiz-ul ei (termibile in inteă pe care s

uminozitățmpul de exp

unor zoneu imagini a

ie și mai aleconfortul pea construcor și un moșor de foloe în cele c

ul trebuie sorite, pentrudialog. Atene și alocare. t simplificatui că preluaele pacient

ecare paciencare să conțnță, supraferfața graficată corect,

mal, infraroerfața graficsă fie suprii din imag

punere și am

e subexpusechiziționate

es rapiditatacientului, cție care av

odul de achisit de către

ce urmează

să porneascu a porni flunție, camerae de IP. În c

tă datorită area pozelotului (pentnt), urmândțină mai mufață). Se pocă. aplicația va

oșu apropiacă setări de rapusă palegine. Inițial mplitudinea

e sau suprae cu laserul

tea cu care aplicația vevea în comiziție de imae personaluă: achiziția

că aplicația uxul video pa termală acazul în car

lipsei de inor se realizeru protecți

d ca ulterioulte detalii ot realiza c

a afișa cele t și vizibilfocus (auto

eta de culocamera JA

a luminozit

aexpuse) făroprit pentr

trebuie să eche a fost rponență doagini) și amul medical.

de imagin

selectând upentru cameare nevoie dre fluxul vid

nformații diează într-unia identitățr să se comlegate de încăutări ale

trei fluxuril). În ceea omat și manori, setări dAI porneșteății, dar ac

ră alte posru a elimina

se realizezereproiectatăouă module reproiectatExistă două

ni și analiza

una din celeera termalăde cel puțindeo nu este

isponibile lan ritm alertții se poate

mpleteze, denregistrarea

paciențilo

video de lace priveste

nual), setărde timp dee pe moduestea pot f

t a

e ă e t ă a

e ,

n e

a t. e e a r

a e ri e

ul fi

3.2 Ana

și analiInformadezvoltcazul im

-

-

- - - - -

-

Pentru compuse dacceseze, ppoate modmanual alinzona comudorit de trași comenta

aliza imaginO altă parteză a imaginații pacientat oferă pe

maginilor teAfișarea trtriplet, și a Posibilitatetermală, prCorecția mSuprapuneMarcarea șTransferul Afișarea intranspus peMultiple iînvecinate întinderii udintr-un ananaliza mul

din imagineprin intermdifica intervnierea făcutnă (adăugâ

ansparență)rii fiecărei a

nilor e componenilor. Aceast la apăsarentru pozelermale înreg

ripletelor dezonei comu

ea de a schrecum și nuanuală a alirea a două și adnotareamarcajelor

nformațiilore imaginea nstrumentecu tempe

nor suprafenumit intervltispectrală,ea în infrar

mediul a dovalul de temtă (în cazul îând detalii d) și să poatăarsuri în par

M

ntă a aceststă compone butonulu

e fiecărui pagistrate: e imagini, une rezultathimba intermărul de cuinierii imagiimagini din

a manuală adin spectru

r ca tempetermală;

e de analraturi ce aețe, distribuval de temp, vor fi încărroșu depărtuă butoanemperaturi îîn care estedin alt specă marca și arte.

Modulul de vi

ei aplicații dnentă este ui din dreaacient select

cu posibilitte în urma prvalul de teulori utilizatinilor; spectre dif

a arsurilor;ul vizibil pe ieratură me

iză pentruau o variațuția locală aeraturi, saurcate în intetat, infraroe, întreaga în care să fe necesară cctru prin intadnota arsu

izualizare, al

de achizițieaccesată utpta al moutat, mai mu

tatea de a procesului demperaturi te;

ferite, cu un

imaginile diedie, minim

imaginile ție foarte a temperatuu a puncteloerfață numaoșu apropia

colecție defie afișată corecția), petermediul surile coresp

iniere și adn

e este partetilizând meuse-ului. Inulte funcțion

accesa fiede aliniere;

pentru car

n anumit niv

n celeltaltemă și maxim

termale: mică (grow

urilor, evideor de maximai imaginileat și vizibil.e triplete aimaginea tentru ca ultsuprapunerpunzător. Po

otare a imag

a de alinierniul disponstrumentulnalități utile

ecare poză re este gen

vel de trans

e spectre; mă pentru

evidențierw regions), ențierea temm local.

care forme. Utilizatorua unui paciermală, poerior să poaii imaginiloot fi adăuga

ginilor.

re, adnotarenibil în zona de analiză

e mai ales în

din fiecare

nerată poza

sparență;

un marca

rea zonelomăsurarea

mperaturilo

ează tripleteul poate săent. Acestaate corectaată vizualizaor cu graduate etichete

e a ă n

e

a

aj

r a r

e ă a a a

ul e

După cintermediuimagini. Duasemenea, un un contpot analiza se dorește regiunea dtemperaturinteres în p

O altă fdistribuției intuitiv, se poate selecanaliza pumultispectrpot să contdiferite cu u

Afisări dmarcaj pe temperaturtemperaturmaxim loca

ce cadrul ml meniului upă transfedupă transur selectat. comparativevidențier

dorită și seri poate fi s

pixeli, ulteriofuncționalittemperatupot evidențcta intervancte de mrală, și penttribuie o anun nivel de

diferite: a) imaginea

ri e schimrilor; g),h),ial; k),l) – Sup

medical readiponibil în

er, fiecare sferul marca. De asemev două zone

rea ei prin vor evide

selectă in inor realizândtate pusă larilor, la niveția zone dorlul de tem

maxim local tru că pozenaliză amăntransparen

Transfer mîn NIR; c)

mbată); e) ) – Selectarprapunerea

lizează man stânga im

marcaj poajului, se vonea, tot pee de interesanaliza temnția pixeli

nterfață). Exdu-se și o apa dispozițieel de linie sarite și prin speraturi ma

identificatle dintr-un

nunțită, exisnță configur

arcaj pe im),d)- Analiz– Măsurarrea unui ana a două ima

g)

j)

rcarea manmaginii, mar

ate fi modor putea obntru analizas. În cazul înmperaturilo

vecini cu txită de asemproximare în de aceastăau de coloaselectarea canual, evidte în imaganumit spe

stă posibiliaabil.

maginea teră compararea unei znumit intervagini din sp

nuală pe imcajul poate

dificat prin serva și deta amănunțin care imagr, se poatetemperatur

menea, și pon centimetră interfață ană selectatculorilor corențiind zonine. Deoar

ectru pot săatea suprap

mală, afișarativă a douone de in

val de tempectre diferi

maginea die fi transfer

replasareatalii legate dită a imaginginea prezine selecta unri foarte aposibiliatea mrii a măsurăgrafică esteă. Pentru u

respunzătoana dorită dece sistemă aducă infopunerii a do

re informațuă zone denteres; f) –peraturi; j) –te.

h)

k)

n spectrul rat și pe cela liniilor dede temperanilor termalntă o aumităn pixel carepropiate (dmăsurării uătorilor făcue cea de evn control mare. Similar,

din imaginemul realizea

ormații supouă imagini

ții marcaj; be interes (– Distribuț– Analiza p

vizibil, prinlelalte douăesenate. Deatură pentrue create, seă simetrie șe se află în

diferența denei zone de

ute. vidențiere a

mai fin și ma, utilizatoru, sau poateză achizițielimentare șdin spectre

b) –Transfe(variația deia locală aunctelor de

i)

l

n ă e u e și n e e

a ai ul e e și e

r e a e

)

)

3.3 Reproie

Camerași nici nu omai restricttotuși incompentru pozDe asemennecesitatealentilă comlentilei nu sachiziției lacamerei se în care se rfolosite, pr

Având în vachiziție capentru camspațiul necpunct foaracestuia, aua camereloproiectat şi

ectarea sist

a de pansamoferă foartetive decât cmod pentrue, iar apoi rnea, cadrula refocusăr

mpatibilă cu se poate re o distanță face manuealizează ac

recum și folo

vedere limitare să inclumera JAI, săesar pentru

rte importautomatizare

or de către ui realizat, ce

Instru

temului me

mente în cae mult spațicele de labou asistenteleretragerea l limitează rii camerei această ca

ealiza în moaproximatial, pot rezuchizițiile, treosirea unor

tările expusdă iluminaă permită u a realiza pant în realie care să peun singur ope va fi folosi

ument grafic

canic de ac

are s-au reaiu de mane

orator. Deși e care realizcadrului peaccesul la JAI, lucru meră care

omentul achvă. Datoritălta deseori ebuie luată r echipamen

se mai sus,rea necesamanevrarea

pansamentezarea celui

ermită contperator. Acit în sistemu

de analiză a

hiziţie

alizat achizițevrare a cad

cadrul permzează pansa

entru a permpacient. P

imposibil dsă aibă opț

hiziției, focuă variației fopoze care sîn consider

nte omolog

s-a luat înră, o posiba mult maele, fără a fi de-al doirolul rapid,este cerinţeul final, în e

evoluției răn

țiile nu dispdrului, condmite o oareamentele, fmite pansarPe lângă acde realizat dțiunea de ausarea cameoarte mari dsă nu fie foarare și sterigate, potrivi

n considerabiliate de foi ușoară a i mutat de lea cadru, focusarea e au fost inctapa IV/201

nii în timp.

pune de iludițiile realeecare manefiind necesarea pacientuceste probldin cauza futofocus. Rerei fiind făde cazuri și arte clare. Alizarea cadrit normelor

re realizareocusare aut

acestuia șifiecare datăa fost aut

motorizată,cluse într-u17.

minare inc de achizițivrabilitate,

ară deplasarului de cătrleme, s-a cfaptului că Refocusareaăcută înainta faptului c

Avand în vedrului și a di

r existente î

ea unui noutomată sau i să ofere ă. Pe lângă tomatizarea, și poziționn nou mod

andescentăe fiind multacesta este

rea acestuiare asistenteconstatat șnu există o

a manuală aea începeri

că focusareadere mediuspozitivelon spital.

u sistem demotorizată

asistenteloacestea, un

a parțială anarea rapidăel de cadru

ă t e a

e. și o a ii a

ul r

e ă r n a ă ,

4. Diseminare Am asigurat activitatea de diseminare a rezultatelor cercetării prin participarea la conferinţe de specialitate cu articole in-extenso. Mai precis, am prezentat câte un articol la două conferinţe ale IEEE (listate IEEE, indexate IEEE Xplore, Scopus şi INSPEC), Comm - International Conference on Communications şi EHB - E-Health and Bioengineering Conference. Articolele prezentate sunt menţionate în cele de urmează:

M.-S. Badea, C. Vertan, C. Florea, L. Florea, S. Bădoiu: "Automatic Burn Area Identification in Color Images", IEEE Communications 2016, Bucharest, 9-10 Jun. 2016, pp.65-68, DOI: 10.1109/ICComm.2016.7528325, INSPEC Accession Number: 16196349, WOS: WOS:000383221900014 M.-S. Badea, C. Vertan, C. Florea, L. Florea, S. Bădoiu: "Severe Burns Assessment by Joint Color-Thermal Imagery and Ensemble Methods", IEEE HealthCom 2016, Munchen, Germany, 14-16 Sept. 2016. DOI: 10.1109/HealthCom.2016.7749450

Bibliografie [Haller 2012] H. L. Haller, M. Giretzlehner, J. Dirnberger, R. Owen, „Medical documentation of burn

injuries”, in M. G. Jeschke, L.-P. Kamolz, F. Sjöberg, S. E. Wolf editors: Handbook of Burns vol. 1: Acute Burn Care, 2012, pp. 117-129.

[Jaskille 2009] A. D. Jaskille, J. W. Shupp, M. H. Jordan, J. C. Jeng, „Critical review of burn depth assessment techniques: Part I. Historical review”, J. Burn Care Res., vol. 30, no. 6, 2009, pp. 937-947.

[Calin 2015] M. A. Calin, S. V. Parasca, R. Savastru, D. Manea, „Characterization of burns using hyperspectral imaging technique – A preliminary study”. Burns, vol. 41, no. 1, 2015, pp. 118-124.

[Hardwicke 2013] J. Hardwicke, R. Thomson, A. Bamford, and N. Moiemen, „A pilot evaluation study of high resolution digital thermal imaging in the assessment of burn depth”, Burns, vol. 39, 2013, pp. 76-81.

[Tylman 2012] W. Tylman, M. Janicki, and A. Napieralski, "Automatisation of computer-aided burn wounds evaluation." in Proc. MIXDES 2012, pp. 535-538.

[Wannous 2010] H. Wannous, S. Treuillet, and Y. Lucas, "Robust tissue classification for reproducible wound assessment in telemedicine environments," Journal of Electronic Imaging, vol. 19, no. 2, 2010, pp.023002-023002.

[Kolesnik 2005] M. Kolesnik, and A. Fexa, "Multi-dimensional color histograms for segmentation of wounds in images." in Proc. of Image Analysis and Recognition 2005, LNCS vol. 3656, pp. 1014-1022.

[Mukherjee 2014] R. Mukherjee, D. D. Manohar, D.K. Das, A. Achar, A. Mitra, and C. Chakraborty, "Automated tissue classification framework for reproducible chronic wound assessment". BioMed research international, 2014, Article ID 851582, 9 pages, http://dx.doi.org/10.1155/2014/851582.

[Wantanajittikul 2011] K. Wantanajittikul, N. Theera-Umpon, S. Auephanwiriyakul, and T. Koanantakool, "Automatic segmentation and degree identification in burn color images," in BMEiCON, 2011, pp.169-173.

[Acha 2001] B. Acha, C. Serrano, and L. M. Roa. "Segmentation and classification of burn color images", in IEEE-EMBC, vol. 3., 2001, pp. 2692 - 2695.

[Acha 2004] B. Acha, C. Serrano, S. Palencia, and J. J. Murillo, " Acha, Begoña, Carmen Serrano, Sergio Palencia, and Juan Jose Murillo. "Classification of burn wounds using support vector machines." In Proc. of International Society for Optics and Photonics - Medical Imaging 2004, pp. 1018-1025.

[Acha 2013] B. Acha, C. Serrano, I. Fondón, T. Gómez-Cía: "Burn depth analysis using multidimensional scaling applied to psychophysical experiment data", IEEE Trans. on Medical Imaging., vol. 32 no. 6, 2013, pp. 1111-1120.

[LeCun 2015] Y. LeCun, Y. Bengio, G. Hinton, "Deep learning," Nature, vol. 521, 2015, pp. 436–444. [Dalal 2005] N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. In CVPR,

pp. 886–893, 2005. [Ojala 2002] T. Ojala, M. Pietikäinen, and T. Mäenpää. Multiresolution gray-scale and rotation

invariant texture classification with local binary patterns. IEEE T. PAMI, 24(7):971–987, 2002 [Florea 2014] C. Florea, L. Florea, and C. Vertan. Learning pain from emotion: Transferred HoT data

representation for pain intensity estimation. In ECCV workshops - ACVR, pp. 778–790, 2014 [LeCun 1998] LeCun, Y.; Bottou, L. ; Bengio, Y. ; Haffner, P. "Gradient-based learning applied to

document recognition.", Proceedings of the IEEE, vol. 86, no. 11, 1998, pp. 2278-2324. [Hinton 2009] G. Hinton, "Deep belief networks". Scholarpedia vol. 4, no. 5, 2009, pp. 5947. [Lin 2013] Lin, M., Chen, Q., & Yan, S., 2013, Network in network. arXiv preprint arXiv:1312.4400. [He 2015] K. He, X. Zhang, S. Ren, J. Sun. Deep Residual Learning for Image Recognition. arXiv

preprint arXiv:1512.03385. 2015 [Al-Tairi 2014] Al-Tairi, Z. H., Rahmat, R. W. O., Saripan, M. I., & Sulaiman, P. S. (2014). Skin

Segmentation Using YUV and RGB Color Spaces. JIPS, 10(2), 283-299. [MatConvNet] http://www.vlfeat.org/matconvnet [CNTK] https://github.com/Microsoft/CNTK