analiza imaginilor - imag.pub.roimag.pub.ro/ro/cursuri/archive/ai_curs1.pdf · laboratorul de...

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ANALIZA IMAGINILOR

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Titular curs :

Prof. Dr. Ing. Constantin VERTANcvertan@alpha.imag.pub.roB141

Laborator :

As. Dr. Ing. Laura FLOREAlflorea@alpha.imag.pub.roB141/ B135A

ANALIZA IMAGINILOR

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Cod curs: 04.S.08.O.512 - 3 puncte credit

Curs: 3 ore/ saptamana – 9.3 saptamaniLaborator: 3 ore/ 2 saptamani, cu subgrupa, B135A

Punctare: 20 puncte lucrare finala2 x 20 puncte lucrari de verificare la curs40 puncte colocviu de laborator

(20 pct. test teoretic laborator, eliminatoriu20 pct. test practic laborator0 pct. prezenta)

Chestiuni administrative

http://alpha.imag.pub.ro/cursuri

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Programare lucrari de verificare (cu degrevare):Lucrarile NU SE REPETA !

Lucrare 1: Saptamana 4 – Marti, 16 martie(la curs)

Lucrare 2: Saptamana 7 – Marti, 13 aprilie(la curs)

Verificare finala: Saptamana 10 – Marti, 4 mai(la curs)

Chestiuni administrative

http://alpha.imag.pub.ro/cursuri

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

http://alpha.imag.pub.ro/cursuri

Bibliografie de baza

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

anul 2008:

140 milioane aparate foto digitale vandute

250 milioane telefoane mobile cu camera vandute

+ cateva zeci de milioane de camere video digitale

+ produsele profesionale

Imaginile digitale sunt un bun de larg consum

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ANALIZA IMAGINILOR:

imagini “de consum”

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Analiza continutului imaginilorpentru detectia si corectiaerorilor

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Analiza conţinutului imaginilorpentru detecţia feţelor...

chiar si “corectia” feţelor

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Renoir : “Nude”

Analiza conţinutuluiimaginilor pentrudetecţia continutuluiofensator:

“family filter”

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ANALIZA IMAGINILOR:

imagini “de securitate”

Identificarea persoanelor

Iris AmprentaFata

01110010111…..Recunoastere ?

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

AH-64 Apache helicopter

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ANALIZA IMAGINILOR:

imagini “medicale”

Melanoame de piele

Descrierea automata: criteriul ABCDA - asimetrieB - borduraC - culoarea

D - diametrul

Problema : stabilitatea achizitieiculorii

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Detectiacanceruluimamar

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

MIAS database X-rays

normal malignant chistic masses

Urmarirea protezelor totale de sold

identificarea si caracterizareaprotezei

imagine HDR afilmului radiologic

Descrierea structurii osoase inregiunile Gruen

• descriere de textura

• detectia semnelor radiologice(piedestal, linii radiolucenta)

Analiza interfetei os-proteza

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ROI 0

ROI 1

ROI 2

schema dedescriereMPEG-7+ extra

Baza de cazuri

clasificaresupervizata

radiografiede calcai

<=10% MD<=15% FA

decizie privind osteoporoza

Screening-ul osteoporozei prin analiza [semi]-automata a radiografiilor de calcai

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

ANALIZA IMAGINILOR

Ce este, cum se leaga de prelucrarea imaginilor ….

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Sistemul tipic de prelucrarea imaginilor

Compunere la nivel logic(in sistemul de calcul):

AnalizaImbunatatire Restaurare Segmentare

Compresie

AnalizaImbunatatire Restaurare Segmentare

Segmentare:

Descompunereaimaginii (scenei)in partile saleconstituente.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

AnalizaImbunatatire Restaurare Segmentare

Segmentare:

Descompunereaimaginii (scenei)in partile saleconstituente.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

AnalizaImbunatatire Restaurare Segmentare

Analiza:

Descrierea partilor (obiectelor) din imagine si arelatiilor dintre ele; decizii/ clasificari …

De la obiecte la numere:

011 000 111 ….

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Caracteristicile pixelului

dimensiune

forma

imagine

k

pozitie : linie, coloana

valoare(+ informatie de afisare)

legatura cu realitatea fizica

Valoarea pixelului vs. conventii de afisareImaginea ce se vede pe un ecran nu este neaparat informatia realaachizitionata din scena investigata.

In general, imaginilor li se adauga si conventiile de afisare a valorilor,ce sunt stabilite de utilizator.

Aceste conventii sunt deci subiective si independente de continutulimaginii.

Actiunea este de modificare a perceptiei vizuale a imaginii, si nua continutului imaginii.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR - LAPI

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Caracteristicile pixeluluiSunt valorile fizice masurate in scena relevante ?

Obiecte diferite sa fie caracterizate de aceleasi valori ale pixelilor ?

sau

Obiecte identice sa fie caracterizate de valori diferite ale pixelilor ?

depinde de ceea ce se achizitioneaza …..

Este oare posibil ca :

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Caracteristicile pixelului

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Structura cursului

Segmentarea imaginilor

segmentarea orientata pe regiuni

segmentarea orientata pe contururi

Caracterizarea componentelor din imagini

descrierea regiunilor

descrierea contururilor

separareacomponentelorscenei (imaginii)

individualizarea(recunoasterea,identificarea)componentelorscenei (imaginii)

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Segmentarea orientata pe regiuni

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

0)ff(C1)f(C

ji,ff

ff

ji

i

ji

ii

=∪=

≠=∩

=

φ

U

Segmentare

Descompunerea imaginii (scenei) in partile sale constituente.

Matematic: segmentarea este o partitionare a multimii pixelilordin imaginea f, in submultimi fi continand una sau mai multecomponente conexe, disjuncte si uniforme dpdv al unui criteriuC pre-stabilit.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu desegmentare

imagineoriginala

imaginesegmentata:componentelesuntpseudocolorate

componenta 1

comp.2

comp.3

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu desegmentare

Segmentare : uniformitatea regiunilor

uniformitatea valorilor

uniformitatea unorcaracteristici,altele decatvaloarea[texturale]

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Texturi

Segmentare

Evident, segmentarea inseamna ca pentru fiecare pixel din imagine,in functie de valoarea acestuia (si poate si alte valori din imagine)si in functie de parametri specifici unui anume metode, sa se decidacare componenta din care respectivul pixel face parte.

Parametrii care particularizeaza o metoda generala pentru oanume imagine pot sa depinda

doar de valoare pixelilor

de valoarea pixelilor si de caracteristicide vecinatate ale pixelilor

de valoarea pixelilor, de caracteristicide vecinatate ale pixelilor si de pozitiain imagine

segm. dinamica

segm. globala

segm. locala

segm. adaptivaLABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Categorii de tehnici de segmentare pe regiuni

Thresholding (segmentare pe histograma)

Cresterea si fuziunea regiunilor

Segmentarea in spatiul caracteristicilor (generalizare thresholding)

pentru regiuni cu uniformitate a valorilor

pentru regiuni cu uniformitate a caracteristicilor (texturi)

Marea problemaCate tipuri de obiecte (cate clase de obiecte) sunt in imagine ?

?

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Segmentarea orientata pe contururi

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Contur = frontiera unei regiuni; este format din pixeli in jurul caroracriteriul de uniformitate nu se mai respecta.

Contur = modificare (variatie) a valorilor pixelilor.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Descrierea (caracterizarea)regiunilor si contururilor

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Cum putem individualiza acest obiect printr-un set de numere ?

(mutam obiectul de studiu din domeniul functiilor binare cu suportin Z2 intr-un spatiu real de dimensiune n).

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Aplicatii posibile

sky is the limit ….

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Thresholding (segmentare pe histograma)

Presupunere esentiala : diversele categorii de obiecte din scenasunt formate din pixeli al caror nivel de gri (valoare) este relativconstanta.

Tip de obiecte = plaja ingusta de valori a pixelilor

Obiectele sunt caracterizate de grupuri de pixeli avand ouniformitate a valorilor.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Thresholding

Nivelul de gri (valoarea) pixelilor corespunde in scena unorproprietati fizice definitorii si discriminatorii pentru tipurile de obiecte.

Distributia proprietatii fizice masurate in scena este aproximata dehistograma imaginii.

Histograma - instrument de descriere a continutului scenei.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Histograma

Histograma = functie ce asociaza fiecarui nivel de gri posibilprobabilitatea [sa] de aparitie in imagine.

h(u) = numar pixeli de nivel de gri “u” / numar total pixeli

( ) 1L,...,1,0u,u)n,m(fMN

1)u(h1M

0m

1N

0n−=−= ∑∑

−

=

−

=

δ

Histograma este o functie de densitate de probabilitate.

∑−

=

=1L

0u1)u(h

Histograma descrie continutul “de culoare/ de gri” al imaginii.

Histograma

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Histograma

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Histogramacolor%

culori

Histograma nu ofera informatieasupra distributiei spatiale aculorilor.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Se poate face distinctia intre imagini intunecate / luminoase.

Histograma nu reflecta distributia spatiala a valorilor.

Histograma

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Se pot face presupuneri asupra numarului de tipuri decomponente din imagine.

Histograma

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Modurile histogramei corespund unor categorii de obiecte.

Histograma

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Thresholding

Segmentarea pe histograma (thresholding) inseamna determinareamodurilor din histograma si separarea lor.

Fiecare mod va corespunde unui tip de obiecte, caracterizate deplaje distincte (si relativ inguste) de nivele de gri.

Problema :cate moduri sunt ?

care este separatia dintre ele ?

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

C=3T1=40T2=100

C=4T1=40T2=100T3=190

Exemplu

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Thresholding

Presupunem cunoscut numarul de clase de obiecte din imaginein care se face segmentarea, C.

Presupunem ca am ales pragurile de separatie dintre modurilehistogramei, aceleasi pentru intreaga imagine (deci suntem incazul unei segmentari de tip global).

Presupunem ca nivelul de gri al pixelilor corespunde unei marimifizice discriminante.

Tuturor pixelilor ce apartin aceluiasi mod (au acelasi interval devalori) li se atribuie aceeasi eticheta de apartenenta la o clasa.

Dupa segmentare rezulta o imagine etichetata (sau harta a claselor).

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

gasirea “pragurilor” de separare dintre modurile histogrameide nivele de gri a imaginii.

Fie Tk pragurile de segmentare pe histograma.

g(m,n) = Ek, daca Tk ≤ f(m,n) ≤ Tk+1

Ek este eticheta ce se atribuie tipului de obiecte k

T0 = 0, TC = L, k = 0, 1, ..., L-1

Caz particular : C = 2 (binarizarea)

⎩⎨⎧

>≤

=TnmfETnmfE

nmg),(,),(,

),(1

0

Thresholding

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu de binarizare

C=2T=170

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Evident, alegerea pragurilor de segmentare Tk este cruciala.

obiecte foarte luminoaseobiectegri mediu

obiecteintunecate

T1 T2

Pragurile se aleg pe minimele histogramei (separatia dintre moduri).

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu Pentru inspectia de calitate a produselorse fac fotografii ale suprafetei acestora,cu imagini cu 1 pixel/ mm.

Petele de rugina nu trebuie sa depaseascaniste limite impuse. Cum se detecteazaaceasta ?

Rugina: culoare (nivel de gri) intermediar.

Fixam doua praguri care sasepare acest mod central:fie T1=80 si T2=150(pragurile sunt situate pe minimelehistogramei).

T1 T2

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu Imaginea segmentata: eticheta 1 pentrupixelii de rugina (mod central), eticheta0 pentru pixelii modului intunecat sieticheta 2 pentru pixelii modului alb.

Imaginea etichetata este afisata inmod pseudo-color: rosu pentru 0,albastru pentru 1, verde pentru 2.

Rugina = pixelii avand nivele de griintre 80 si 150, adica pixelii coloratiin albastru in imaginea etichetata,adica 62.2 % din imagine.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Exemplu

O bila alba de biliard este fotogafiata pe un fundal negru.Fotografia este esantionata pe o retea patrata cu spatierea pixelilorde 1 mm si este cuantizata pe 11 de nivele de gri. Histogramaimaginii este descrisa de vectorul :

(300, 3000, 9000, 3000, 800, 200, 300, 1127, 700, 300, 0).

a) Binarizati imaginea; care este valoarea pragului de segmentare ?b) Calculati raza bilei de biliard. c) Rezultatul ar mai fi credibil daca spatierea dintre pixeli ar fide 2 mm ?

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Observatie

Elementele partitiei determinate prin segmentarea pe histograma(deci multimile de pixeli ce au aceeasi eticheta) nu sunt multimiconexe (pot avea mai mult de o singura componenta).

Nu se poate face nici o distinctie intre componente conexe diferitedin aceeasi clasa (adica intre obiectele de acelasi fel din scena).

Individualizarea componentelor dintr-o aceeasi clasa se faceprin etichetare.

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Segmentarea cu prag optim

Thresholding

Modalitati de alegere a pragurilor

Metode globaleMinimele histogrameiMetoda BhattacharryyaMetoda FisherMetoda OtsuMetoda Kittler-Illingworth

Metode globale cu cunostinte apriori

Segmentarea pe histograma cumulativa

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

Thresholding

Modalitati de alegere a pragurilor (cont.)

Metode locale

Folosirea histogramelor ponderate

Metode dinamice (adaptive)

Metoda Nakagawa

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

www.dilbert.com