cercetare-semdetecția și urmărirea obiectelor. studiu comparativ2-an2

Detecia i urmrirea obiectelor. Studiu comparativ

Universitatea Politehnica Bucureti

Facultatea de Automatic i Calculatoare

Departamentul de Automatic i Ingineria Sistemelor

LUCRARE DE CERCETARE


Masterand

Cricon Iulian

Coordonator

Conf.dr.ing. Ciprian Lupu

Bucureti, 2014


Abstract:

Scopul acestei lucrri este de a revizui metodele de identificare i de urmrire de

ultim or, de a le clasifica n diferite categorii si de a identifica noile tendine.

Identificarea i urmrirea obiectelor, n general, este o problem dificil. Dificulti n

urmrirea obiecte pot aprea ca urmare a micrilor brute, a schimbrii aspectelor att

ale obiectului ct i ale mediului, ale folosirii unor structuri de obiecte non-rigide sau

datorit ocluziei obiectelor i a micarii camerei.

Urmarirea este efectuat n contextul unor aplicaii de supervizare care necesit

locaia i / sau forma obiectului n fiecare cadru. De obicei, ipoteze sunt fcute pentru a

constrnge problema de urmrire n contextual unei anumite aplicaii.

n acest studiu, clasificm metodele de urmrire pe baza obiectului i ale

tipologiilor de cadru i oferim descrieri detaliate ale metodelor reprezentative din fiecare

categorie, examinnd avantajele i dezavantajele. Mai mult de att, vom discuta despre

problemele importante legate de urmrire, inclusiv utilizarea caracteristicilor adecvate

ale imaginilor, de selecia modelelor de micare, i de detecia obiectelor.


CUPRINS

1. Introducere ......................................................................................................................................... 4

2. Reprezentarea obiectelor ................................................................................................................... 6

3. Selectarea caracteristicilor pentru urmrire ....................................................................................... 9

4. Detectarea obiectelor ....................................................................................................................... 12

4.1 Detecia punctelor .......................................................................................................................... 12

4.2 Modelarea fundalului ...................................................................................................................... 14

4.3 Segmentarea ................................................................................................................................... 18

4.3.1 Translaia la medie ................................................................................................................... 18

4.3.2 Reduceri de graf ................................................................................................................ 19

4.3.3 Contururi active ........................................................................................................................ 20

4.4 Clasificatori supervizai .............................................................................................................. 22

4.4.1 Stimularea adaptiv .................................................................................................................. 23

4.4.2 Mecanisme de vectori suport ............................................................................................... 24

5. Urmrirea obiectelor ......................................................................................................................... 25

6. Concluzii ............................................................................................................................................ 26

7. Bibliografie ............................................................................................................................................ 27


1. Introducere

Urmrirea obiectelor este o sarcin important n domeniul computer vision.

Proliferarea calculatoarelor de mare putere, disponibilitatea camerelor video de nalt

calitate, precum i nevoia tot mai mare a unei analize video automate a generat un mare

interes n algoritmii de urmrire a obiectelor. Identificm trei etape cheie n analiza

imaginilor: detectarea obiectelor n micare relevante, urmrirea acestor obiecte cadru

cu cadru i analiza obiectelor urmrite pentru a identifica comportamentul lor. Prin

urmare, utilizarea algoritmilor de urmrire este pertinent pentru operaiile de:

- recunoaterea micrilor, care reprezint n fapt, identificare oamenilor bazat pe

mers, detecia automat a obiectelor etc;

- supraveghere - automat, care const n monitorizarea unei scene pentru a detecta

activiti suspecte sau evenimente improbabile;

- indexare video - adnotare i recuperare coninut multimedia automat n baze de

date;

- interaciune om - calculator, care presupune recunoaterea gesturilor, urmrirea

ochilor pentru introducerea n sisteme de calcul;

- monitorizarea traficului, ce presupune colectarea n timp real a statisticilor de trafic

pentru direcionarea i monitorizarea fluxul de trafic;

- sistem de navigaie cu capabiliti de planificare a traseului i de evitare a

obstacolelor n timp real bazat pe video;

n forma sa cea mai simpl, urmrirea poate fi definit ca problema de estimare a

traiectoriei unui obiect n planul imaginii, n timp ce se deplaseaz ntr-un mediu. Cu

alte cuvinte, obiectelor urmrite le este atribuit contant o etichet n diferite cadre ale

unui video. n plus, n funcie de domeniul de urmrire, se pot obine, de asemenea,

informaii referitoare la obiect, cum ar fi orientarea, aria, sau forma. Obiecte urmrite

poe fi complexe datorit:

- pierderilor de informatii cauzate de proiecie 3D pe o imagine 2D;

- zgomotul din imagini;

- micri complexe ale obiectului;

- obiecte de natur non-rigid sau articulate;


- ocluzii pariale sau complete ale obiectelor urmrite;

- forme complexe ale obiectului;

- modificri de iluminare n cadru;

- cerine de procesare n timp real.

Urmrirea se poate simplifica prin impunerea unor constrngeri cu privire la

micarea i / sau aspectul obiectelor. De exemplu, aproape toi algoritmii de urmrire

presupun c micarea obiectului este neted, fr schimbri brute. Se poate constrnge

i mai mult micarea obiectului fie la o vitez constant sau acceleraie constant pe baza

datelor existente anterior. Cunotine iniiale legete de numrul i mrimea obiectelor,

sau de aspect i form, pot fi de asemenea folosite pentru a simplifica problema.

Au fost propuse numeroase abordri pentru urmrirea obiectelor. Acestea difer

n primul rnd n funcie de modul de abordare al urmtoarelor ntrebri: care

reprezentare a obiectului este potrivit pentru urmrirea? Ce caracteristici de imagine ar

trebui s fie folosite? Cum ar trebui s fie modelate micarea, aspectul, i forma

obiectului? Rspunsurile la aceste ntrebri depind de context, de mediul n care se

efectueaz urmrirea i de utilizarea final pentru care se solicit informaiile referitoare

la locaia obiectului. Un numr mare de metode de urmrire care ncearc s rspund

la aceste ntrebri au fost propuse pentru o varietate de scenarii care se pot grupa n 3

categorii (ACM Computing, Vol.. 38, No. 4, articolul 13), pentru care vom oferi descrieri

complete i prezentri ale metodelor reprezentative din fiecare categorie.

Mai mult dect att, vom prezenta noile tendine i idei din perspectiva

dezvoltrii de noi metode de urmrire. Ne axam pe metodologiile folosite n urmrirea

obiectelor, n general, i nu pe aplicaii adaptate pentru anumite obiecte, de exemplu,

cele pentru persoane care folosesc cinematica uman ca baz a punerii lor n aplicare.

Exist progrese substaniale n aplicaii de urmrire a persoanelor care folosesc modele

de obiecte articulate, discutate i clasificate de Aggarwal i Cai [1999], Gavrilla [1999] i

Moeslund i Granum [2001]. Cu toate acestea, vom include i aplicaii folosite pe obiecte

articulate care sunt aplicabile i la alte obiecte.

Urmm o abordare de jos n sus n descrierea problemelor care trebuie abordate

n construirea unei aplicaii de urmrire. Prima problem o reprezint definirea adecvat

a obiectului. Vom descrie unele forme comune de reprezentri ale obiectelor, de

exemplu, puncte, forme geometrice primitive i contururi de obiecte i reprezentri ale

aspectului general. Urmtoarea problem este dat de selecie caracteristicilor imaginii

ce urmeaz a fi utilizate ca date de intrare. Vom discuta despre diferite caracteristici de


imagine, cum ar fi culoarea, micare, margini etc, care sunt frecvent utilizate n urmrirea

obiectelor. Toi algoritmii de urmrire necesita detectarea obiectelor, fie n primul cadru

sau n fiecare cadru. Performanele unui algoritm de urmrire depind de apariiile

obiectelor, de formele acestora, de numrul lor, de miscarea camerei i a obiectelor,

precum i de condiiile de iluminare. Vom clasifica i descrie metodele de urmrire

existente explicnd punctele forte i punctele slabe ntr-o seciune rezumat la sfritul

fiecrei categorii i vom prezenta aspectele importante pentru urmrirea obiectelor. n

cele din urm, vom prezenta concluziile i direciile n cercetare pentru algoritmii de

urmrire.

2. Reprezentarea obiectelor

ntr-un scenariu de urmrire, un obiect poate fi definit ca ceva care este de interes

pentru analiz suplimentar. De exemplu, brci pe mare, peti n interiorul unui acvariu,

vehicule pe un drum, avioane in aer, oameni care merg pe jos pe un drum, sau bule n

ap sunt un set de obiecte care ar putea fi importante pentru a fi urmrite ntr-un

domeniu specific. Obiectele pot fi reprezentate prin forma i aspectul lor. n aceast

seciune, vom descrie mai nti formele obiectului folosite de obicei pentru urmrire i

apoi ne vom referi la formele comune i reprezentri ale aspectelor obiectelor.

- puncte. obiectul este reprezentat de un punct, care este, centrul de greutate

(figura 1 (a)) [Veenman i colab. 2001] sau de un set de puncte (figura 1 (b)) [Serby i col.

2004]. n general, reprezentarea sub forma de puncte este potrivit pentru urmrirea

obiectelor care ocup mici regiuni ntr-o imagine.

- forme geometrice primitive. Forma obiectului este reprezentat de un

dreptunghi, elips (Figura 1 (c), (d) [Comaniciu i col. 2003], etc. Micarea obiectelor

pentru astfel de reprezentri este, de obicei modelat prin translatare sau proiecie. Dei

forme geometrice primitive sunt mai potrivite pentru reprezentarea obiectelor rigide

simple, ele sunt, de asemenea, utilizate i pentru urmrirea obiectelor non-rigide.

- siluete i contururi. Reprezentarea prin contur definete limita unui obiect

(Figura 1 (g), (h). Regiunea din interiorul conturului se numete silueta obiectului (a se

vedea figura 1 (i)). Reprezentri prin siluete i contururi sunt potrivite pentru urmrirea

formelor complexe non-rigide [Yilmaz i col. 2004].

- forme de modele articulate. Obiecte articulate sunt compuse din pri ale

corpului, care sunt conectate prin articulatii. De exemplu, corpul uman este un obiect


articulat cu trunchi, picioare, mini, cap i picioarele legate de articulaii. Relaiile dintre

pri sunt guvernate de modele de micare cinematice, de exemplu, unghi comun, etc.

Pentru a reprezenta un obiect articulat, se pot modela elementele constitutive folosind

cilindri sau elipse cum se arat n figura 1 (e).

- modele scheletice. Scheletul obiectului poate fi extras prin aplicarea

transformrii axei mediane pe silueta obiectului [Ballard i Brown 1982, cap. 8]. Acest

model este frecvent folosit ca o forma de reprezentare pentru recunoaterea obiectelor

[Ali i Aggarwal 2001]. Reprezentarea scheletic poate fi folosit pentru a modela obiecte

att articulate ct i rigide (vezi Figura 1 (f)).

Fig. 1. Reprezentri obiecte. (a) Centroid, (b) mai multe puncte, (c) form

dreptunghiular , (d) form eliptic, (e) forme din multiple seciuni, (f) schelet, (g)

contur complet (h) punctele de control de pe contur, (i) siluet.

Exist un numr de metode prin care se pot reprezenta caracteristicile de aspect

ale obiectelor. Reprezentrile dup form pot fi de asemenea combinate cu

reprezentrile dup aspect [Cootes i colab. 2001] pentru urmrire. Reprezentrile cele

mai frecvente folosite n urmrire n funcie de aspectul obiectelor sunt:

- densitatea de probabilitate a aspectului obiectului. Estimrile de densitate de

probabilitate ale aspectului obiectului pot fi parametrice, cum ar fi distribuia Gaussian

[Zhu i Yuille 1996] i un amestec de distribuii Gaussiene [Paragios i Deriche 2002], sau

neparametric, precum Parzen-Window [Elgammal i col. 2002] i histograme

[Comaniciu i colab. 2003]. Densiti de probabilitate ale caracteristicilor aspectului

obiectului (culoare, textura) pot fi calculate din regiunile de imagine specificate de

modelul formei obiectului (regiunea interioar a unei elipse sau un contur).


- abloane. abloanele sunt formate utiliznd forme geometrice simple sau siluete

[Fieguth i Terzopoulos 1997]. Un avantaj ale ablonului este c acesta conine att

informaii spaiale ct i referitoare la aspectul obiectului. Cu toate acestea, abloanele

codifica aspectul obiectului generat dintr-o singur referin. Astfel, ele sunt potrivite

doar pentru urmrirea obiectelor a cror ipostaz nu variaz considerabil n cursul

procesului de urmrire.

- modele active ale aspectului. Modelele active ale aspectului obiectului sunt

generate prin modelarea simultan a formei i a aspectului obiectului [Edwards i col.

1998]. n general, forma obiectului este definit de un set de repere. Similar cu

reprezentarea pe baz de contur, reperele se pot afla pe contur sau, alternativ, n

interiorul regiunii obiectului. Pentru fiecare reper, un vector ce conine aspectul

obiectului este stocat i care poate conine culoarea, textura, sau gradient. Modelele

active ale aspectului unui obiect necesit o etap de antrenare unde att forma ct i

aspectul obiectului este nvat dintr-un set de probe.

- modele multiple ale aspectului. Aceste modele codifica ipostaze diferite ale unui

obiect. O abordare pentru a reprezenta ipostazele diferite ale obiectului este de a genera

un subspaiu din aceste ipostze. Astfel de abordri, de exemplu, analiza componentei

principale (Principal Component Analysis - PCA) i Analiza componentel independente

(Independent Component Analysis - ICA), au fost folosite pentru reprezentri att ale

formei ct i ale aspectului [Mughadam i Pentland 1997; Negru i Jepson 1998]. O alt

abordare pentru a afla ipostazele diferite ale unui obiect este de a antrena un set de

clasificatori, de exemplu, vectori de sprijin [Avidan 2001] sau reele Bayesian [Park i

Aggarwal 2004]. O limitare a acestei abordri este c aspectele obiectelor pentru fiecare

ipostaz sunt necesare nainte.

n general, exist o relaie puternic ntre reprezentarea obiectelor i algoritmii de

urmrire. Reprezentrile obiectelor sunt de obicei alese n funcie de domeniu de

aplicare. Pentru obiectele urmrite, care apar foarte mici ntr-o imagine, reprezentarea

prin puncte este, de obicei adecvat. De exemplu, Veenman i colab. [2001] utilizeaz

reprezentarea prin puncte pentru a urmri seminele ntr-o bol aflat n micare. n mod

similar, Shafique i Shah [2003] folosesc reprezentarea prin puncte pentru a urmri

psrile. Pentru obiectele ale cror forme pot fi aproximate prin dreptunghiuri sau

elipse, reprezentrile prin forme geometrice primitive sunt mai adecvate. Comaniciu

colab. [2003] folosesc reprezentarea printr-o form eliptic i genereaz o histograma de

culoare calculat n regiunea eliptic pentru modelarea aspectului obiectului. n 1998,

Black i Jepson au folosit vectori proprii pentru a reprezenta aspectul obiectelor. Vectorii

proprii au fost generai de abloane de form dreptunghiular. Pentru urmrirea


obiectelor cu forme complexe, de exemplu, persoane, o reprezentare bazat pe contur

sau siluet este necesar. Haritaoglu colab. [2000] a folosit reprezentarea prin siluete

pentru a urmri obiectele ntr-o aplicaie de supraveghere.

3. Selectarea caracteristicilor pentru urmrire

Selectarea caracteristicile potrivite joaca un rol critic n urmrire. n general, cel

mai de dorit proprietate a unui element vizual este unicitatea, astfel nct obiectele pot

fi cu uurin depistate. Selecie caracteristicilor este strns legat de reprezentarea

obiectului.

De exemplu, culoarea este folosit ca o caracteristic pentru reprezentri ale

aspectului obiectului bazate pe histogram, n timp ce pentru reprezentri pe baza de

contur, conturul obiecte sunt de obicei utilizate ca i caracteristici. n general, muli

algoritmi de urmrire utilizeaz o combinaie a acestor caracteristici. Detaliile cu privire

la caracteristicile vizuale comune sunt:

- culoarea. Culoarea aparent a unui obiect este influenat n principal de doi

factori fizici, 1) Distribuia spectral a luminii i 2) gradul de reflexie al suprafeei

obiectului. n procesare a imaginii, modelul de culoare RGB (rosu albastru, verde) este

de obicei folosit pentru a reprezenta culoarea. Cu toate acestea, modelul RGB nu este un

model uniform perceptual prin faptul c diferenele dintre culori n modelul RGB nu

corespund diferenelor de culoare percepute de oameni [Paschos 2001]. n plus,

dimensiunile RGB sunt puternic corelate. n contrast, L * u * v * i L * a * b * sunt modele

de culoare uniform perceptual, n timp ce HSV (Nuan, Saturaie, Valoare) este un

model aproximativ uniform. Cu toate acestea, aceste modele de culoare sunt sensibile la

zgomot [Song i col. 1996]. Prin urmare, nu exist nicio concluzie privind care model de

culoare este mai eficient, o varietate de spaii de culoare fiind folosite n urmrire.

- marginile. Marginile obiectelor genereaz, de obicei, schimbri puternice n

intensiti de imagine. Detecia marginilor este folosita pentru a identifica aceste

schimbri. O proprietate important a marginilor este c ele sunt mai puin sensibile la

lumin n raport cu caracteristicile de culoare. Algoritmii care detecteaz marinea

obictelor folosesc, de obicei, ca i caracteristic reprezentiv margine. Datorit simplitii

i preciziei sale, cea mai populara metoda de detectare a marginilor este Detector de

margini Canny [Canny 1986]. O evaluare a algoritmilor de detecie a marginilor este

furnizat de Bowyer i col. [2001].


- fluxul optic. Flux optic este un cmp dens de vectori de deplasare care definete

translatarea fiecrui pixel ntr-o regiune. Acesta este calculat folosind constrngeri de

luminozitate, care presupune o luminozitate constant a pixelilor n cadre consecutive

[Horn i Schunk 1981]. Flux optic este de obicei folosit ca o caracteristic n segmentarea

i urmrirea pe baz de micare. Tehnici populare pentru determinarea fluxului optic

includ metodele Horn i SCHUNCK [1981], Lucas i Kanade [1981], Negru i Anandan

[1996] i Szeliski i Couglan [1997], un studiu comparativ al performanelor metodelor

de determinare a fluxului optic este Barron i colab. [1994].

- textura. Textura este o msur a variaiei intensitii unei suprafee care

cuantific proprieti, cum ar fi netezimea i regularitatea. Comparativ cu culoare,

textura necesit un pas de prelucrare pentru a genera descriptorii. Exist diferii

descriptori de textura: matricea concurenta de nivele gri (GLCMs) [Haralick et al. 1973]

(o histogram 2D care arat corelaia intensitilor ntr-o direcie i distan specificat),

msurtorile de textur Law [Laws 1980] (25 de filtre 2D generate de cinci filtre 1D

corespunztoare nivel, margine, locaie, und i pulsaie), unde [Mallat 1989] (seturi de

filtre ortogonale), i piramide orientabile [Greenspan i col. 1994]. Asemntor cu

caracteristicile de margine, caracteristicile de textur sunt mai puin sensibile la

schimbrile de iluminare comparativ cu culoarea.

n general, caracteristicile sunt alese manual de ctre utilizator n funcie de

domeniu de aplicare al algoritmului de urmrire. Cu toate acestea, problema de selecie

automat a caracteristicilor devinde din ce n ce mai important. Metodele pentru

selectarea automat a caracteristicilor pot fi mprite n metode de filtrare i metode de

nveli [Blum i Langley 1997]. Metodele de filtrare ncerc selectarea caracteristicilor

bazate pe un criteriu general, de exemplu, caracteristicile ar trebui s fie necorelate.

Metodele de nveli selecteaz caracteristicile bazate pe utilitatea acestora ntr-un

domeniu specificic, de exemplu, clasificarea performanelor folosind un subset de

caracteristici. Analiza componentelor principale (ACP) este un exemplu de metode de

filtrare pentru reducerea caracteristicilor. ACP implic transformare a unui numr de

(posibil) variabile corelate ntr-un (mic) numr de variabile necorelate numite

componentele principale. Prima component principal este rspunztoarea de o ct mai

mare variabilitate a datelor posibil, i fiecare componenta ulterioar pentru o ct mai

mare parte din variabilitatea rmas e acoperit. O metod de nveli ce selecteaz

caracteristicile discriminatorii pentru urmrirea unei anumite clase de obiecte este

algoritmul Stimulri adaptive [Tieu i Viola 2004]. Stimulri adaptive este o metod

pentru identificarea unui clasificator puternic bazat pe o combinaie de clasificatori

aproximativ inexaci.


Avnd un set mare de caracteristici, un clasificator poate fi instruit pentru fiecare

caracteristic. AdaBoost, va calcula o combinaie ponderat a clasificatorilor

(caracteristici reprezentative) care maximizeaz performanele de clasificare ale

algoritmului. Cu ct mai mare ponderea caracteristicii, cu att mai discriminatorie este.

Pentru urmarire se pot folosi primele n caracteristici cu ponderea cea mai mare.

Categorie Metode reprezentative

Detecia punctelor Detectorul Moravec [Moravec 1979],

Detectorul Harris [Harris and Stephens 1988],

Transformarea caracteristiclor invariate scalate (SIFT)

[Lowe 2004].

Detectorul de puncte afin invariant [Mikolajczyk and

Schmid 2002].

Segmentarea Translaia la medie [Comaniciu and Meer 1999],

Graph-cut [Shi and Malik 2000],

Contururi active [Caselles et al. 1995].

Modelarea fundalului Amestec de distribuii Gaussiene [Stauffer and Grimson

2000],

Eigenbackground[Oliver et al. 2000],

Wall flower [Toyama et al. 1999],

Texturi dinamice de fundal [Monnet et al. 2003].

Clasificatori supervizai Mecanisme de vectori support [Papageorgiou et al. 1998],

Reele neuronale [Rowley et al. 1998],

Stimulri adaptive[Viola et al. 2003].

Tabelul. 1. Categorii de detecie ale obiectelor.

Dintre toate caracteristicile, culoarea este una dintre caracteristicile cele mai

utilizate pe scar larg n algoritmii de urmrire. Comaniciu i colab. [2003] folosesc o

histograma de culoare pentru a reprezenta aspectul obiectului. n ciuda popularitii,

cele mai multe modele de culoare sunt sensibile la variaiile de iluminare. Prin urmare

n scenarii n cazul n care acest efect este inevitabil, alte caracteristici sunt incluse n

modelul de aspect al obiectului. Cremers i colab. [2003] folosesc fluxul optic ca o

caracteristic de urmrire a conturului. Jepson i colab. [2003] folosesc rspunsurile

filtrelor orientabile pentru urmrire. Alternativ, o combinaie a acestor caracteristici este

de asemenea utilizat pentru a mbunti performanele de urmrire.


4. Detectarea obiectelor

Fiecare metod de urmrire necesit un mecanism de detectare a obiectului, fie n

fiecare cadru sau atunci cnd obiectul apare pentru prima dat n. O abordare comun

pentru detectarea obiectului este de a utiliza informaii ntr-un singur cadru. Cu toate

acestea, unele metode de detectare a obiectelor folosesc informaia temporal calculat

dintr-o secven de cadre pentru a reduce numrul de detecii false. Aceast informaie

temporal este, de obicei, sub form de cadru cu diferene succesive, care subliniaz

schimbarea regiuni n cadre consecutive. Avnd regiunile obiectului algoritmul are

sarcina de a efectua corespondena obiectului dintr-un cadru n altul pentru a efectua

urmrirea acestuia. Mai multe metode de detectare ale obiectelor au fost prezentate n

tabelul 1, iar n continuare vom prezenta cele mai populare metode.

4.1 Detecia punctelor

Algoritmii de detecia a punctelor sunt folosii pentru a gsi puncte de interes n

imagini care au o textur expresiv n regiunile respective. Puncte de interes au fost

folosite mult timp n contextul problemelor de urmrire. O calitate de dorit a unui punct

de interes este invarianta la schimbri n iluminare i locaia camerei. n literatura de

specialitate, detectoare de puncte de interes frecvent utilizate includ operator de interes

Moravec [Moravec 1979], detectorul de punctul de interes Harris [Harris i Stephens

1988], detectorul KLT [Shi i Tomasi 1994] i detectorul SIFT [Lowe 2004]. Mikotajczyk

i Schmid [2003] prezint o evaluare comparativ a detectoarelor de puncte de interes.

Pentru a gsi puncte de interes, operatorul Moravec calculeaz variaia intensitile

de imagine ntr-o seciune de 4 4 n direciile orizontale, verticale, diagonale, i

antidiagonale i selecteaz minimul dintre cele patru variante ca valori reprezentative

pentru cadru. Un punct este declarat punct de interes n cazul n care variaia sa de

intensitate este un maxim local ntr-o seciune de 12 12.


Fig. 2. Puncte de interes detectate aplicnd operatorii (a) Harris, (b) KLT i (c) SIFT

Detectorul Harris calculeaz derivatele de oridnul I ale imaginii pentru (, ), n

direciile x i y pentru a evidenia variaiile de intensitate direcionale, apoi o matrice pe

stare, care codific aceast variaie, este evaluat pentru fiecare pixel dintr-o seciune

mic:

= (

2 2

)

(1)

Un punct de interes este identificat cu ajutorul determinantului i urmei lui M care

msoar variaia ntr-o seciune local

= det() ()2

(2)

unde k este constant. Punctele de interes sunt marcate de limita R dup aplicarea

criteriului de eliminare non-maximal (Figura 2 (a)). Aceeai matrice M din ecuaia (1)

este folosit la pasul de detecie al punctelor de interes a metodei de urmrire KLT.

Punctul de interes R, se calculeaz folosind valoarea proprie minim a lui M, . Sunt

selectate punct de interes relevante prin limita R, dintre care KLT le elimin pe cele care

sunt spaial aproape unul de altul (Figura 2 (b)).

Cantitativ att detectorul Harris ct i cel KLT subliniaz variaiile de intensitate,

folosind msurtori foarte similare. De exemplu, R n Harris este legat de polinomul

caracteristic folosit pentru a gsi valorile proprii ale matricei M:

2 + det() () = 0

(3)


n timp ce KLT calculeaz valorile proprii direct. n practic, ambele metode pot gsi

aproape acelai puncte de interes. Singura diferen este criteriul suplimentar KLT care

impune o distana spaial predefinit dintre punctele de interes detectate.

n teorie, matricea M este invariant att la rotaie ct i la translaie. Cu toate acestea,

ea nu este invariant la transformri afine sau proiecii. n scopul de a introduce

detectarea robust a punctelor de interes n diferite transformri, Lowe [2004] a introdus

Transformarea caracteristiclor invariate scalate SIFT (Scale Invariant Feature Transform)

metod care este compus din patru etape. n primul rnd, un spaiu de dimensiuni este

construit prin convoluia imaginii cu filtre de distribuie Gaussiene la diferite

dimensiuni. Imaginile ca rezultat al convoluiei sunt folosite pentru a genera imagini

diferene de distribuii Gaussiene (DoG). Puncte de interes relevante sunt apoi

selectate din minimele i maximele dn imaginile DoG pentru toate dimensiunile.

Urmtorul pas actualizeaz locaia fiecrui punct relevant prin interpolarea valorilor de

culoare utiliznd pixeli adiaceni. n a treia etap, punctele relevante cu contrast sczut

sau care sunt situate de-alungul marginilor sunt eliminate. n cele din urm, punctelor

de interes rmase le sunt atribuite orientri bazate pe vrfurile din histogramele de

direcii de gradient ntr-o arie restrns n jurul unui punct relevant. Detectorul SIFT

genereaz un numr mai mare de puncte de interes comparativ cu alte detectoare. Acest

lucru se datoreaz faptului c sunt cumulate punctele de interes de la diferite

dimenisiuni i rezoluii. Empiric, s-a artat n Mikotajczyk i Schmid [2003], c metoda

SIFT surclaseaza cele mai multe detectoare de puncte i nu este la fel de sensibil la

deformri ale imaginilor.

4.2 Modelarea fundalului

Detectarea obiectelor poate fi realizat prin construirea unei reprezentri a unui

cadru numit model de fundal i apoi prin identificarea modificrilor fa de model

pentru fiecare cadru consecutiv. Orice modificare semnificativ ntr-o regiune a imaginii

de la modelul de fundal semnific o micare a unui obiect. Pixelii care constituie

regiunile n curs de schimbare sunt marcate pentru mai multe prelucrri. De obicei, un

algoritm de conectate a componentelor este aplicat pentru a obine regiunile conectate

corespunztoare obiectelor. Acest proces este extragerea fundalului. Itentificarea

modificrilor ntre dou cadre adiacente a fost studiat nc de la sfritul anilor '70 [Jain


i Nagel 1979]. Cu toate acestea, extragerea fundalului a devenit popular odat cu Wren

i colab. [1997]. Pentru a nva schimbrile graduale ce se petrec n timp, Wren i colab.

propune modelarea culorii fiecrui pixel, I (x, y), a unui fundal staionar cu un singur

model de distribuie Gaussian 3D (Y, U i V)

I (x, y) ~ N ( (x, y), (x, y))

(4)

Parametrii modelului, valoarea medie a (x, y) i covariana (x, y), sunt nvate prin

observarea culorilor n mai multe cadre consecutive. Odat ce modelul de fundal este

derivat, pentru fiecare pixel (x, y) din cadrul de intrare, probabilitatea ca culoarea de

fundal a acestuia s proven din (4) este calculat, iar pixelii care se abat de la modelul de

fundal sunt etichetai ca pixelii de prim-plan. Cu toate acestea, o singur distribuie

gaussian nu este reprezint un model adaptat pentru scene exterioare [Gao i colab.

2000], deoarece multe culori pot fi observate ntr-o anumit locaie datorit micrii

repetitive a obiectului, umbre, sau reflexii. O mbuntire substanial n modelarea

fundalului se realizeaz prin utilizarea unor modele statistice multimodale pentru a

descrie culoarea de fundal pentru fiecare pixel. De exemplu, Stauffer i Grimson [2000]

folosesc un amestec de distribuii Gaussiene pentru a modela culoarea pixelilor. n

aceast metod, un pixel n cadrul curent este comparat cu modelul fundalului prin

comaprndul cu fiecare distribuie Gaussian din model. Dac se gsete o potrivire,

media i variana distribuiei Gaussiane identificate este actualizat, altfel o nou

distribuie Gaussian cu media egal cu culoarea pixelului curent i cu o varian iniial

este introdus n amestec. Fiecare pixel este clasificat n baza faptului dac distribuia

Gaussian asociat reprezint modelul fundalului. Regiunile n micare, care sunt

detectate folosind aceast abordare, mpreun cu modelele de fundal sunt prezentate n

Figura 3.


Fig. 3 Amestec de modele de distribuii Gaussine pentru extragerea fundalului. (a)

cadru n care o persoan merge pe jos. (b) media distribuiilor Gaussiene cu cea mai

mare pondere la fiecare poziie a pixelilor. Aceste medii reprezint culorile temporale

cele mai constante la nivel de pixel i, prin urmare, ar trebui s reprezinte fundalul

staionar. (c) mediile distribuiilor Gaussiane cu cea de-a doua cea mai mare pondere;

aceste medii reprezint culorile care sunt observate mai puin frecvent. (d) rezultatul

extragerii fundalului. Prim plan-ul format din pixelii din cadrul curent care au

corespuns unui distribuii Gaussiane cu pondere redus.

O alt abordare este de a ncorpora informaii din anumite regiuni din cadru n loc

de a folosi doar informaii bazate pe culoare. Elgammal i Davis [2000] folosesc un

estimator de nucleu al funciei de densitate, un model neparametric, pentru a modela

fundalul la nivel de pixel. n timpul procesului de extracie, pixelul curent este comparat

nu doar cu pixelul corespunztor din modelul de fundal, ci i cu pixelii din jur. Astfel,

aceast metod poate s compenseze bruiajul camerei sau micri mici n fundal. Li i

Leung [2002] folosesc caracteristicile de textura si culoare pentru a efectua extragerea de

fondul pe seciuni de 5 5 pixeli. Deoarece textura nu variaz foarte mult cu schimbrile

de iluminare, metoda este mai puin sensibil la iluminare. Toyama i colab. [1999]

propune un algoritm pe trei niveluri care s se ocupe de problema extragerii fundalului.

n plus fa de extragerea la nivel de pixeli, autorii folosesc informaiile de la nivel de

regiune i de cadru. La nivel de pixel, autorii propun utilizarea filtrrii Wiener pentru a

face predicii probabilistice legate de culoare de fundal. La nivelul regiunii, regiunile din

prim-plan formate din culori omogene sunt completate. La nivel de cadru, n cazul n

care cei mai muli pixeli dintr-un cadru se schimb brusc, se presupune c modelele de

fundal bazate pe pixeli nu mai sunt valabile. n acest moment, modelul bazat pe pixeli

este schimbat cu unul stocat sau modelul este reiniializat.

O abordare alternativ pentru extragerea fundalului este de a reprezenta variaiile

de intensitate ale unui pixel ntr-o secven de cadre ca stri discrete corespunztoare

evenimentelor din locaie. De exemplu, pentru a urmri maini pe o autostrada, pixelii

din imagine pot fi n fundal, n prim-plan (main), sau n umbr. Rittscher i colab.


[2000] folosesc modelele Hidden Markov (HMM) pentru a clasifica blocuri mici ale unei

imagini ca aparinnd uneia dintre aceste trei stri. n contextul de a detecta schimbrile

de iluminare ntr-o camer, Stenger et al. [2001] folosete HMM pentru extracia

fundalului. Avantajul de a folosi HMM este c anumite evenimente, care sunt greu de

modelat n mod corect utiliznd abordri de modelare ale fundalului nesupravegheate,

pot fi nvate prin folosirea unor abloane. n loc de a modela variaia individual a

pixelilor, Oliver i col. [2000] propune o abordare holistic prin descompunerea valorilor

proprii. Pentru k cadre de intrare, = 1 . . de dimensiune n x m, o matrice de fundal

B de dimenisune k x l este format prin adugarea a m linii din fiecare cadru unul dup

altul, unde l = (n x m). Descompunea pe baza valorilor proprii este aplicat covarianei

lui , = . Fundalul este apoi reprezentat de primii vectori proprii, , unde i <

< k, care s cuprind toate iluminrile posibile din cmpul vizual (FOV). Astfel, aceast

metod este mai puin sensibil la schimbrile de iluminare. Obiectele din prim-plan

sunt detectate prin proiecia imaginii curente pe vectorul valorilor proprii i identificarea

diferenei dintre imaginea reconstruit i cea real. Figura 4 prezint regiunile de obiecte

detectate utiliznd abordarea valorilor proprii.

Fig. 4 Extragerea fundalului bazat pe descompunearea valorilor proprii (cadrul

este contruit cu obiecte din cmpul vizual): (a) o imagine de intrare cu obiecte, (b)

imagine reconstruit dup proiecia imaginii de intrare pe vectorul valorilor proprii, (c)

diferena dintre cele dou imagini n care obiectele din primplan sunt clar identificabile

O limitare a abordrilor menionate mai sus este faptul c acestea necesit un fundal

static. Aceast limitare se adreseaz de ctre Monnet i colab. [2003], i Zhong i Sclaroff

[2003]. Ambele metode sunt n msur s compenseze variaiile n timp ale fundalului

(de exemplu, valuri, micarea norilor i a scrilor rulante). Aceste metode modeleaz

regiunile imaginilor ca un model de tip autoregresiv medie mobila (ARMA), procese

care ofer o modalitate de a nva i prezice modelele de micare ntr-un cadru. Un

proces ARMA este o serie de timp format din sume de componente autoregresive i

medii mobile, unde un proces autoregresiv poate fi descris ca o sum ponderat a

valorilor sale anterioare i o eroare de tip zgomot alb.


Ce mai multe metode de urmrire de ultim generaie pentru radare fixe, de

exemplu, Haritaoglu colab. [2000] i Collins i colab. [2001] utilizeaz metode de

extragere a fundalului pentru a detecta regiuni de interes. Acest lucru se datoreaz

faptului c metodele recente de extragere au capacitile necesare de a modela

schimbrile de iluminare, zgomotul i micarea periodic a regiunilor din fundal i, prin

urmare, pot detecta cu precizie obiectele ntr-o varietate de circumstane. Mai mult dect

att, aceste metode sunt eficiente computaional. n practic, extragerea fundalului ofer

n multe cazuri regiuni incomplete ale obiectului, deoarece obiectele se pot afla n mai

multe regiuni, sau pot exista guri n interiorul obiectului, datorit faptului c nu exist

nicio garanie c elementele careacteristice ale obiectelor vor fi diferite de caracteristicile

fundalului. Cea mai important limitare a extragerii fundalului este cerina unor camere

staionare. Micare camerei denatureaz, de obicei, modelele de fundal. Aceste metode

pot fi aplicate la imaginile achiziionate de camere mobile prin regenerarea modelelor

de fundal la intervale reduse de timp, de exemplu, trei cadre, de la zero [Kanade i col.

1998] sau prin compensarea micarii senzorului, de exemplu, crearea unui mozaic de

fundal (imagine panoramic) [Rowe i Blake 1996; Irani i Anandan 1998]. Cu toate

acestea, ambele soluii necesit ipoteza unei suprafee plane i micari reduse n cadre

succesive.

4.3 Segmentarea

Scopul algoritmilor de segmentare a imaginii este de a mpri imaginea n regiuni

similare. Fiecare algoritm de segmentare abordeaz dou probleme, criteriile pentru

obinerea unei bune partiionri i metoda pentru obinerea unei partiionari eficiente

[Shi si Malik 2000]. Vom discuta despre tehnici de segmentare recente care sunt relevante

n urmrirea obiectelor.

4.3.1 Translaia la medie

Pentru problema de segmentare a imaginii, Comaniciu i Meer [2002] propun

abordarea prin translatare la medie pentru localizarea nodurilor n planul definit de

culoare i locaie [l, u, v, x, y], unde [l, u, v] reprezint culoarea i [x, y] reprezint locaia.

Avnd o imagine, algoritmul este iniializat cu un numr mare de noduri centrale

ipotetice alese aleator. Apoi, fiecare nod central este mutat la media datelor aflate n

interiorul elipsoidului multidimensional centrat n mijlocul nodului central. Vectorul

definit de vechiul i noul nod central este numit vectorul de translaie a mediei. Vectorul


este calculat iterativ pn cnd poziiile nodurilor centrale rmn constante. De

menionat faptul c, n timpul iteraiilor, unele noduri centrale pot fi unificate. n figura

5 (b), este prezentat segmentarea folosind translaia la medie. Metoda poate fi utilizat

pe diverse aplicaii, cum ar fi detecia marginilor, regularizarea imaginilor [Comaniciu

i Meer 2002] i n urmrire [Comaniciu et al. 2003].

Segmentarea folosind translaia la medie necesit reglarea fin a diverilor parametri

pentru a obine o mai bun segmentare, de exemplu, selectarea culorii i a limitei pentru

dimensiunea minim a regiunii considerabil afectate de segmentarea rezultat.

4.3.2 Reduceri de graf

Segmentarea imaginii poate fi de asemenea formulate ca o problem de partiionare

de graf-uri, n care nodurile (pixelii), V = {u, v,. . .}, unui graf (imagine), G, sunt mprite

n N subgrafuri disjuncte (regiuni), , , = , = , i j prin eliminarea

arcurilor ponderate ale graf-ului. Costul total dintre arcurile eliminate dintre 2

subgrafuri se numete reducere (engl. cut). Costul este de obicei dat de similaritile ntre

culoarea, luminozitatea i textura dintre noduri. Wu i Leahy [1993] utilizeaz criteriul

reducerii minime, cu obiectivul de a gsi partiiile care s minimizeze o reducere. n

demersul lor, ponderile sunt definite pe baza similitudinii de culoare. O limitare a

reducerilor de graf este tendina de a suprasegmenta imaginea. Acest efect se datoreaz

creterii costurilor unei reduceri cu numrul de arcuri care fac legtura ntre dou grafuri

partiionate.

Shi si Malik [2000] propune reducerea normalizat pentru a evita problematica

suprasegmentrii. n abordarea lor, reducerea nu depinde numai de suma consturilor

arcurilor din reducere, ci i de raportul dintre totalul costurilor nodurilor din fiecare

partiie fa de totalul costurilor tuturor nodurilor din graf. Pentru segmentarea bazat

pe imagine, costurile dintre noduri sunt definite prin produsul dintre similitudinea

culorilor i proximitatea spaial. Odat ce costurile dintre fiecare pereche de noduri sunt

calculate sunt construite o matrice de cost W i o matrice diagonal D, unde , =

,=1 . Segmentarea se face nti prin calcularea vectorilor proprii i a valorilor

proprii ale sistemului generalizat (D W) y = , apoi al doilea cel mai mic

vector propriu este utilizat pentru a diviza imaginea n dou segmente. Pentru fiecare

segment nou, acest proces se face recursiv pn cnd o limit este atins. n Figura 5 (c),

se arat rezultatele segmentrii obinute prin reducerea normalizat.


Fig. 5 Segmentarea imaginii ilustrate n (a), folosind segmentarea prin translaie la

medie (b), respectiv prin reduceri de graf (c)

n segmentarea bazat pe reduceri normalizate, pentru imagini de mari dimensiuni,

cerinele in termeni de procesare i memorie pentru obinerea soluiilor sistemului

generalizat pot fi ridicate. Cu toate acestea, aceast metod necesit mai puini

parametrii selectai manual, comparativ cu segmentarea prin traslaie la medie. Reduceri

normalizate au fost, de asemenea, utilizate n contextul urmriri contururilor obiectelor

[Xu i Ahuja 2002].

4.3.3 Contururi active

n algoritmul cu contururi active, segmentarea obiectului este realizat prin dezvoltarea

unui contur nchis n jurul obiectului, astfel nct conturul cuprinde strns regiunea n

care se afl obiectul. Evoluia conturului este determinat de o funcie de energie care

definete gradul de potrivire al conturului fa de regiunea ipotetic n care se afl

obiectul. Funcia de energie pentru evoluia conturului are urmtoarea form:

() = () + () + ()1

0

(5)

unde s este lungimea arcului conturului , include constrngeri de regularizare,

include energia imaginii, i specific constrngeri suplimentare. , de obicei,

include un termen de curbur de ordinul nti () sau un termen de continuitate de

ordinul 2 (2) pentru a gsi cel mai restrns contur. Energia imaginii, , poate fi

calculat att la nivel local ct i la nivel global. Informaia local este, de obicei, sub

forma unui gradient al imaginii i se evalueaz n jurul conturul [Kass i colab. 1988;

Caselles colab. 1995]. n contrast, caracteristicile globale sunt calculate n interiorul i n

afara regiunii obiectului. Caracteristici globale includ culoarea [Zhu i Yuille 1996;

Yilmaz i colab. 2004; Ronfard 1994] i textura [Paragios i Deriche 2002].


Diferii cercetatorii au folosit termeni diferii pentru termenul n ecuaia (5). n 1995,

Caselles i colab. exclude i folosete ca energie a imaginii gradientul acesteia =

||, unde g este funcia sigmoid. Comparativ cu gradientul, o funcie de gradient

definete conturul obiectului ca o curb geodezic n spaiul Riemannia [Caselles i

colab. 1995]. Cu toate acestea, gradientul imaginii furniza informaii foarte locale i este

sensibil la minimele locale. Pentru a depi aceast problem, cercettorii au introdus in

energia imaginii informaii din regiunile acesteia. n 1996, Zhu i Yuille au propus

utilizarea informaiilor din regiuni n detrimentul gradientului imaginii. Cu toate

acestea, utilizarea informaiilor din regiuni n energia imaginii nu conduce la o bun

localizare a conturului obiectului. Recent, metode care combina informaiilor din regiuni

i gratientul imaginii n energia imaginii au devenit populare. Paragios i Deriche [2002]

propune, folosind o combinaie convex a energiilor imaginii date de gradient i de

informaiile din regiunile imaginii, = + (1 ). n special,

autorii modeleaz apariia n a unui amestec de distribuii Gaussiene. Evoluia

conturului este efectuat iniial la nivel global, i ulterior local prin varierea lui de la 0

la 1, la fiecare iteraie.

Un aspect important n metode bazate pe contur este iniializarea conturului. n

abordrile bazate pe gradientul imaginii, un contur este de obicei plasat n afara regiunii

obiect i micorat pn marginea obiectului este ntlnit [Kass i colab. 1988; Caselles

colab. 1995]. n cazul metodelor ce folosesc imformaiile din regiunile imaginii conturul

poate fi iniializat fie n interiorul sau n afara obiectului, astfel nct conturul poate, fie

s se extind, respectiv sp se micoreze, pentru a atinge marginea obiectului. Cu toate

acestea, abordrile menionate necesit n prealabil informaii legate de obiect i de

fundal [Paragios i Deriche 2002]. Folosind mai multe cadre sau un cadru de referin,

iniializarea poate fi efectuat fara a construi regiunile apriori. De exemplu, n Paragios

i Deriche [2000], autorii utilizeaz extragerea fundalului pentru a iniializa conturul. Pe

lng selectarea funciei de energie i iniializarea, o alt problem important este

selectarea conturului corespunztor. Conturul obiectului () poate fi reprezentat fie n

mod explicit (puncte de control, v) sau implicit (seturi de nivel, ). n reprezentarea

explicit, relaia dintre punctele de control sunt definite prin ecuatii spline (o curb

parametric definit prin puncte de control). n reprezentarea pe seturi de nivel, conturul

este reprezentat pe o reea spaial care codific distanele pozitive sau negative ale

reelei fa de contur, cu semne opuse pentru obiect i regiunile din fundal. Conturul

este implicit definit ca punctele nule din reeaua de nivel stabilit. Evoluia conturului

este reglementat prin schimbarea valorilor reelei conform energiei calculat utiliznd

ecuaia (5), evaluat pentru fiecare poziie a reelei. Schimbrile n valorile reelei conduc

la noi puncte nule, prin urmare, la noi poziii ale conturului. Cel mai important avantaj


al reprezentrii implicite fa de reprezentare explicit este flexibilitatea sa n a permite

modificri topologice (mprire i mbinare).

4.4 Clasificatori supervizai

Detectarea obiectelor poate fi realizat prin nvarea n mod automat a diferitelor

ipostaze ale obiectelor pornind de la un set de eantioane prin intermediul unui

mecanism de nvare supravegheat. nvarea diferitelor ipostaze ale obiectului este

similar cu stocarea un set complet de abloane. Fiind dat un set de eantioane, metoda

de nvare supravegheat genereaz o funcie care mapeaz intrrile la ieirile dorite.

O formulare standard a nvrii supervizate este problema clasificarea unde se

aproximeaz comportamentul unei funcii prin generarea unei ieiri, sub forma fie a unei

valori continue, care se numete regresie, sau a unei clase etichet, care se numete

clasificare. n context detectrii obiectelor, eantioanele de nvare sunt compuse din

perechi ale caracteristicilor obiectului i o clas de obiecte asociat unde ambele entiti

sunt definite manual.

Selectarea caracteristici joac un rol important n performanele clasificrii, prin

urmare, este important s se utilizeze un set de caracteristici unice ntre clase. n plus

fa de caracteristicile menionate n seciunea 3, este de asemenea posibil s se utilizeze

alte caracteristici, cum ar fi zona obiectului, orientare acestuia i aspectul obiectului sub

forma unei funcii de densitate, de exemplu, histogram. Odat ce caracteristicile sunt

selectate, diferite ipostaze ale unui obiect pot fi nvate prin alegerea unei abordri de

nvare supravegheat.

Aceste abordri de nvare includ, dar nu sunt limitate la, reele neuronale [Rowley

i colab. 1998], stimulri adaptive [Viola et al. 2003], arbori de decizie [Grewe i Kak

1995] i mecanisme de vectori support [Papageorgiou et al. 1998]. Aceste metode de

nvare a calculeaz o suprafa care separ o clas de obiecte de alta ntr-un spaiu

multidimensional.

Metode de nvare supravegheat necesita, de obicei, o colecie mare de probe de la

fiecare clas de obiecte. n plus, aceast colecie trebuie s fie etichetat manual. O

posibil abordare pentru a reduce cantitatea de date etichetate manual este de a nsoi

nvarea supravegheat cu co-antrenarea [Blum i Mitchell 1998]. Ideea principala din

spatele co-antrenrii este de a antrena dou clasificatoare folosind un set mic de date

etichetate n care caracteristicile utilizate pentru fiecare clasificator sunt independente.

Dup ce co-antrenarea este finalizat, fiecare clasificator este folosit pentru a atribui

datele neetichetate la setul de formare al altui clasificator. A fost demonstrat c, pornind


de la un set mic de date etichetate cu dou seturi de caracteristici statistic independente,

co-antrenarea poate oferi o regul foarte precis de clasificare [Blum i Mitchell 1998].

Co-antrenarea a fost folosit cu succes pentru a reduce numrul de intervenii

manuale necesare pentru antrenare n contextul stimulrii adaptive [Levin i colab. 2003]

i a mecanismelor de vectori suport [Kockelkorn i colab. 2003]. Vom prezenta

stimulrea adaptiv i mecanismele de vectori suport datorit aplicabilitii lor n

urmrirea obiectelor.

4.4.1 Stimularea adaptiv

Stimularea adaptiv este o metod iterativ de a identifica un clasificator de mare

precizie prin combinarea mai multor clasificatori de baz, dintre care fiecare poate fi

puin inexact [Freund i Schapire 1995]. n faza de formare a algoritmul de stimulare

adaptiv, primul pas este de a construi o distribuie iniial de ponderi pentru setul de

antrenare. Mecanismul de stimulare selecteaz un clasificator de baz care genereaz

eroarea minim, unde eroarea este proporional cu ponderile datelor clasificate

incorect. n continuare, ponderile asociate cu datele clasificate incorect de ctre

clasificatorul de baz selectat sunt crescute. Astfel, algoritmul ncurajeaz selectarea

unui alt clasificator care se comporta mai bine pe date rmase neclasificate n urmtoarea

iteraie.

n contextul deteciei obiectelor, clasificatorii slabe pot fi operatori simple precum un

set de limite, aplicate pe caracteristicile obiectui extrase din imagine. n 2003, Viola i

colab. au utilizat stimularea adaptiv pentru a detecta pietoni. n demersul lor,

perceptroni (aparate pentru clasificarea formelor prin metode adaptive) au fost alei ca

i clasificatori slabi i au instruii pe caracteristicile de imagine extrase printr-o

combinaie de operatori spaiali i temporali. Operatorii pentru extracia caracteristicilor

imaginii sunt n form de filtre dreptunghiulare, prezentate n Figura 6. Operatorii din

domeniul temporal sunt cadre cu diferene succesive care conin i informaii cu privire

la obiectele aflate n micare. Atunci cnd este utilizat ca un operator din domeniu

temporal, cadrul cu diferene succesive reduce numrul de detectii false prin impunerea

detectrii obiectelor doar n regiunile n care are loc micarea.


Fig. 6 Un set de filtre dreptunghiulare utilizate de ctre Viola i colab. [2003] pentru

a extrage caracteristici utilizate n stimularea adaptiv. Fiecare filtru este compus din

trei regiuni: alb, gri deschis, gri nchis, cu ponderile asociate 0, -1 i respectiv 1. Pentru

a calcula caracteristicile unui cadru se realizeaz convoluia acestor filtre cu imaginea.

4.4.2 Mecanisme de vectori suport

Ca un clasificator, mecanismele de vectori suport (SVM) sunt folosite pentru a grupa

datele n dou clase prin identificarea maximului marginal al hiperplanului (ansamblu

de puncte ale cror coordonate scalare, ntr-un spaiu vectorial de n dimensiuni, raportat

la o origine fix, verific o relaie de gradul nti) care separ o clas de alta [Bser i

colab. 1992]. Marja de hiperplan, care este maximizat, este definit ca distana dintre

hiperplanul i cel punctele cele mai apropiate. Punctele care se afl la limita marjei de

hiperplan sunt numite vectori suport. n contextul detectaiei obiectui, aceste clase

corespund clasei de obiecte (eantioane pozitive) i clasa non-objectelor (eantioane

negative). De la eantioanele de instruire generate manual i etichetate ca obiect i non-

object, calculul hiperplanului pentru un numr infinit de posibile hiperplane se

efectueaz prin intermediul programrii ptratice.

Dei SVM este un clasificator liniar, poate fi de asemenea utilizat i ca un clasificator

neliniar prin aplicarea unui conucleu vectorului caracteristicilor de intrare. Aplicare

unui conucleu la un set de date care nu este liniar separabil, transform datele ntr-un

spatiu multidimensional superior, care este separabil. Nucleele folosite pentru conucleu

sunt nucleele polinoame sau funcii de baz radiale, de exemplu, nucleul distribuiei

Gaussiene i perceptroni cu dou straturi, de exemplu, o funcie sigmoid. Cu toate

acestea, selectarea nucleului-ul nu este o sarcin uoar. Odat ce un nucleu este ales,

trebuie testate performana de clasificare pentru un set de parametri care pot s nu

funcioneze la fel de bine cnd noi observaii sunt introduse n setul de eantioane.

n contextul deteciei obiectelor, Papageorgiou i colab. [1998] folosesc SVM pentru

detectarea pietonilor i a feelor din imagini. Caracteristicile utilizate pentru a diferenia

clasele sunt extrase prin aplicarea de wavelet-uri Haar la seturile de eantioane de

antrenare pozitive i negative. Pentru a reduce spaiul de cutare, informaiile temporale

sunt utilizate pentru a calcula proprietile fluxului optim al imaginii. n special,


discontinuitile n proprietile fluxului optim sunt utilizate pentru a iniia cutarea

obiectelor posibile, fapt care rezult ntr-o scdere a numrului de detecii false.

5. Urmrirea obiectelor

Scopul unui algoritm de urmrire a obiectelor este de a genera traiectoria unui obiect n

timp prin localizarea poziiei sale n fiecare cadru. Algoritmul poate oferi, de asemenea,

regiunea complet din imagine pe care o ocup obiectul. Detectarea obiectului i

stabilirea unei corespondene a obiectului ntre cadre pot fi efectuate fie separat fie

simultan. n primul caz, regiunile posibile ale obiectului din fiecare cadru sunt obinute

cu ajutorul unui algoritm de detectare, dup care algoritmul de urmrire efectueaz

corespondena obiectului de-alungul cadrelor. n cel de-al doilea caz, regiunea obiectul

i corespondena sa n imaginea sunt estimat simultan prin updatarea iterativ a locaie

obiectului si a regiunilor adiacente obinute din cadrele anterioare. n ambele abordri

obiectele sunt reprezentate prin forma i / sau modele de aspect descrise n Seciunea 2.

Modelul selectat pentru a reprezenta forma obiectului limiteaz tipul de micare sau de

deformare la care algoritmul poate urmrii obiectul. De exemplu, dac un obiect este

reprezentat ca un punct, atunci numai un model de translaie poate fi folosit. n cazul n

care o form geometric ca o elips este folosit pentru reprezentarea obiectul, modele

parametrice de micare, cum ar fi transformri afine sau transformri de proiecie sunt

adecvate. Aceste reprezentri pot aproxima micarea obiectelor rigide din cadru. Pentru

un obiect nonrigid, silueta sau conturul este reprezentarea cea mai descriptiv i modele

att parametrice ct i neparametrice pot fi utilizate pentru a specifica micarea lor.

Fig. 7 Metode de urmrire


6. Concluzii

n acest lucrare, am prezentat un studiu extins al metodelor de detecie i urmrire a

obiectelor. Am mprit metodele de urmrire n trei categorii bazat pe reprezentarea

obiectului, i anume, metode ce stabilesc corespondena punctelor, metode care folosesc

modele geometrice primitive, i metode ce folosesc evoluia conturului. Toate aceste

metode necesita detectarea obiect la un moment dat. De exemplu, aloritmul ce stabilete

corespondena punctelor necesit detectaia obiectului n fiecare cadru, n timp ce alte

metode necesita acest lucru numai atunci cnd obiectul apare pentru prima dat n

cadru. Deoarece detectaia obiectelor este un aspect foarte importnat pentru sistemele de

urmrire, am prezentat metodele cele mai populare pentru detectarea obiectelor. Am

descris reprezentarea obiectelor, modelele de micare, i schemele de estimare a

parametrilor utilizate de algoritmi de urmrire. Mai mult, am discutat despre contextul

de utilizare, gradul de aplicabilitate, criterii de evaluare, i comparaii calitative ale

algoritmilor de detectare.


7. Bibliografie

1. AGGARWAL, J. K. AND CAI, Q. 1999. Human motion analysis: A review.

Comput. Vision Image Understand. 73, 3.

2. ALI, A. AND AGGARWAL, J. 2001. Segmentation and recognition of continuous

human activity. In IEEEWorkshop on Detection and Recognition of Events in Video. 8

35.

3. AVIDAN, S. 2001. Support vector tracking. In IEEE Conference on Computer

Vision and Pattern Recognition (CVPR). 184191.

4. BAR-SHALOM, Y. AND FOREMAN, T. 1988. Tracking and Data Association.

Academic Press Inc.

5. BARRON, J., FLEET, D., AND BEAUCHEMIN, S. 1994. Performance of optical flow

techniques. Int. J. Comput. Vision 12, 4377.

6. BEAULIEU, J. AND GOLDBERG, M. 1989. Hierarchy in picture image

segmentation: A step wise optimization approach. IEEE Trans. Patt. Analy. Mach. Intell.

11, 150163.

7. BERTALMIO, M., SAPIRO, G., AND RANDALL, G. 2000. Morphing active

contours. IEEE Trans. Patt. Analy. Mach. Intell. 22, 7, 733737.

8. BLACK, M. AND JEPSON, A. 1998. Eigentracking: Robust matching and tracking

of articulated objects using a view-based representation. Int. J. Comput. Vision 26, 1, 63

84.

9. BLAKE, A. AND ISARD,M. 2000. Active Contours:The Application ofTechniques

from Graphics,Vision, Control Theory and Statistics to Visual Tracking of Shapes in

Motion. Springer.

10. BLUM, A. AND MITCHELL, T. 1998. Combining labeled and unlabeled data with

co-training. In 11th Annual Conference on Computational Learning Theory. 92100.

11. BLUM, A. L. AND LANGLEY, P. 1997. Selection of relevant features and examples

in machine learning. Artific. Intell. 97, 1-2, 245271.

12. BOSER, B., GUYON, I. M., AND VAPNIK, V. 1992. A training algorithm for

optimal margin classifiers. In ACM Workshop on Conference on Computational

Learning Theory (COLT). 142152.

13. ACM Computing Surveys, Vol. 38, No. 4, Article 13, Publication date: December

2006. Object Tracking: A Survey 41

14. BROIDA, T. AND CHELLAPPA, R. 1986. Estimation of object motion parameters

from noisy images. IEEE Trans. Patt. Analy. Mach. Intell. 8, 1, 9099.

15. CANNY, J. 1986. A computational approach to edge detection. IEEE Trans. Patt.

Analy. Mach. Intell. 8, 6, 679698.

16. CHAM, T. AND REHG, J. M. 1999. A multiple hypothesis approach to figure

tracking. In IEEE International Conference on Computer Vision and Pattern Recognition.

239245.

17. CHEN, Y., RUI, Y., AND HUANG, T. 2001. Jpdaf based hmm for real-time contour

tracking. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 543


550.

18. COMANICIU, D. 2002. Bayesian kernel tracking. In Annual Conference of the

German Society for Pattern Recognition. 438445.

19. COMANICIU, D. AND MEER, P. 1999. Mean shift analysis and applications. In

IEEE International Conference on Computer Vision (ICCV). Vol. 2. 11971203.

20. COMANICIU, D. AND MEER, P. 2002. Mean shift: A robust approach toward

feature space analysis. IEEE Trans. Patt. Analy. Mach. Intell. 24, 5, 603619.

21. COMANICIU, D., RAMESH, V., ANDMEER, P. 2003. Kernel-based object

tracking. IEEE Trans. Patt. Analy. Mach. Intell. 25, 564575.

22. ELGAMMAL, A.,DURAISWAMI, R.,HARWOOD, D., ANDDAVIS, L. 2002.

Background and foreground modeling using nonparametric kernel density estimation

for visual surveillance. Proceedings of IEEE 90, 7, 11511163.

23. ELGAMMAL, A., HARWOOD, D., AND DAVIS, L. 2000. Non-parametric model

for background subtraction. In European Conference on Computer Vision (ECCV). 751

767.

24. FIEGUTH, P. AND TERZOPOULOS, D. 1997. Color-based tracking of heads and

other mobile objects at video frame rates. In IEEE Conference on Computer Vision and

Pattern Recognition (CVPR). 2127.

25. GAO, X., BOULT, T., COETZEE, F., AND RAMESH, V. 2000. Error analysis of

background adaption. In IEEE Conference on Computer Vision and Pattern Recognition

(CVPR). 503510.

26. HARRIS, C. AND STEPHENS, M. 1988. A combined corner and edge detector. In

4th Alvey Vision Conference. 147151.

27. HARRISSRC. Harris Source Code

http://www.cs.uwa.edu.au/pk/Research/MatlabFns/Spatial/harris.m.

28. HORN, B. AND SCHUNK, B. 1981. Determining optical flow. Artific. Intell. 17,

185203.

29. HUANG, T. AND RUSSELL, S. 1997. Object identification in a bayesian context.

In Proceedings of International Joint Conference on Artificial Intelligence. 12761283.

30. HUTTENLOCHER, D., NOH, J., AND RUCKLIDGE, W. 1993. Tracking nonrigid

objects in complex scenes. In IEEE International Conference on Computer Vision (ICCV).

93101.

31. IRANI, M. AND ANANDAN, P. 1998. Video indexing based on mosaic

representations. IEEE Trans. Patt. Analy. Mach. Intell. 20, 6, 577589.

32. KALMANSRC. Kalman Filtering Source Code.

http://www.ai.mit.edu/murphyk/Software/index.html.

33. KANG, J., COHEN, I., AND MEDIONI, G. 2004. Object reacquisition using

geometric invariant appearance model. In International Conference on Pattern

Recongnition (ICPR). 759762.

34. KASS, M., WITKIN, A., AND TERZOPOULOS, D. 1988. Snakes: active contour

models. Int. J. Comput. Vision 1, 321332.

35. KLTSRC. KLT Source Code. http://www.ces.clemson.edu/stb/klt/.

36. LAWS, K. 1980. Textured image segmentation. PhD thesis, Electrical Engineering,


University of Southern California.

37. LEVELSETSRC. Level Set Source Code.

http://www.cs.utah.edu/whitaker/vispack/.

38. LEVIN, A., VIOLA, P., AND FREUND, Y. 2003. Unsupervised improvement of

visual detectors using co-training. In IEEE International Conference on Computer Vision

(ICCV). 626633.

39. LIYUAN, L. AND MAYLOR, L. 2002. Integrating intensity and texture differences

for robust change detection. IEEE Trans. Image Process. 11, 2, 105112.

40. LOWE, D. 2004. Distinctive image features from scale-invariant keypoints. Int. J.

Comput. Vision 60, 2, 91110.

41. MATTHIES, L., SZELISKI, R., AND KANADE, T. 1989. Kalman filter-based

algorithms for estimating depth from image sequences. Int. J. Comput. Vision 3, 3, 209

238.

42. MEANSHIFTSEGMENTSRC. Mean-Shift Segmentation Source Code.

http://www.caip.rutgers.edu/riul/research/code.html.

43. MEANSHIFTTRACKSRC. Mean-Shift Tracking Source Code.

http://www.intel.com/technology/computing/opencv/ index.htm.

44. MIKOLAJCZYK, K. AND SCHMID, C. 2002. An affine invariant interest point

detector. In European Conference on Computer Vision (ECCV). Vol. 1. 128142.

45. MIKOLAJCZYK, K. AND SCHMID, C. 2003. A performance evaluation of local

descriptors. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

16151630.

46. MONNET, A., MITTAL, A., PARAGIOS, N., AND RAMESH, V. 2003.

Background modeling and subtraction of dynamic scenes. In IEEE International

Conference on Computer Vision (ICCV). 13051312.

47. PARAGIOS, N. AND DERICHE, R. 2000. Geodesic active contours and level sets

for the detection and tracking of moving objects. IEEE Trans. Patt. Analy. Mach. Intell.

22, 3, 266280.

48. PARAGIOS, N. AND DERICHE, R. 2002. Geodesic active regions and level set

methods for supervised texture segmentation. Int. J. Comput. Vision 46, 3, 223247.

49. PARTICLEFLTSRC. Particle Filtering Source Code. http://www-

sigproc.eng.cam.ac.uk/smc/software.html.

50. PASCHOS, G. 2001. Perceptually uniform color spaces for color texture analysis:

an empirical evaluation. IEEE Trans. Image Process. 10, 932937.

51. RASMUSSEN, C. AND HAGER, G. 2001. Probabilistic data association methods

for tracking complex visual objects. IEEE Trans. Patt. Analy. Mach. Intell. 23, 6, 560576.

52. COLLINS, R. AND LIU, Y.. 2003. On-line selection of discriminative tracking

features. In IEEE International Conference on Computer Vision (ICCV). 346352.

53. RITTSCHER, J., KATO, J., JOGA, S., AND BLAKE, A. 2000. A probabilistic

background model for tracking. In European Conference on Computer Vision (ECCV).

Vol. 2. 336350.

54. RONFARD, R. 1994. Region based strategies for active contour models. Int. J.

Comput. Vision 13, 2, 229251.


55. ROWLEY, H., BALUJA, S., ANDKANADE, T. 1998. Neural network-based face

detection. IEEE Trans. Patt. Analy. Mach. Intell. 20, 1, 2338.

56. SCHUNK, B. 1986. The image flow constraint equation. Comput. Visison Graphics

Image Process. 35, 2046.

57. SCHWEITZER, H., BELL, J. W., AND WU, F. 2002. Very fast template matching.

In European Conference on Computer Vision (ECCV). 358372.

58. SERBY, D., KOLLER-MEIER, S., AND GOOL, L. V. 2004. Probabilistic object

tracking using multiple features. In IEEE International Conference of Pattern

Recognition (ICPR). 184187.

59. SHI, J. AND MALIK, J. 2000. Normalized cuts and image segmentation. IEEE

Trans. Patt. Analy. Mach. Intell. 22, 8, 888905.

60. SHI, J. AND TOMASI, C. 1994. Good features to track. In IEEE Conference on

Computer Vision and Pattern Recognition (CVPR). 593600.

61. SIFTSRC. SIFT Source Code.

http://www.cs.ucla.edu/vedaldi/code/siftpp/assets/siftpp/versions/.

62. SZELISKI, R. AND COUGHLAN, J. 1997. Spline-based image registration. Int. J.

Comput. Vision 16, 1-3, 185 203.

63. TIPPING, M. E. 2001. Sparse bayesian learning and the relevance vector machine.

J. Mach. Learn. Resear. 1, 1, 211244.

64. TOYAMA, K., J. KRUMM, B. B., AND MEYERS, B. 1999. Wallflower: Principles

and practices of background maintenance. In IEEE International Conference on

Computer Vision (ICCV). 255261.

65. VIDAL, R. AND MA, Y. 2004. A unified algebraic approach to 2-d and 3-d motion

segmentation. In European Conference on Computer Vision (ECCV). 115.

66. VIOLA, P., JONES, M., AND SNOW, D. 2003. Detecting pedestrians using

patterns of motion and appearance. In IEEE International Conference on Computer

Vision (ICCV). 734741.

67. WU, Z. AND LEAHY, R. 1993. An optimal graph theoretic approach to data

clustering: Theory and its applications to image segmentation. IEEE Trans. Patt. Analy.

Mach. Intell. 11, 11011113.

68. XU, N. AND AHUJA, N. 2002. Object contour tracking using graph cuts based

active contours. In IEEE International Conference on Image Processing (ICIP). 277280.

cercetare-semdetecția și urmărirea obiectelor. studiu comparativ2-an2

Documents