sisteme de vedere artificial ă - rovislab.comrovislab.com/courses/sva/curs_07_sva_2016.pdf ·...

1

Sisteme de Vedere Artificială

Reconstrucţia 3D

Sorin M. Grigorescu

Universitatea Transilvania din BraşovLaboratorul de Vedere Artificială Robustă şi Control

2

Cuprins

�Vederea stereo

�Reconstrucţia 3D utilizând camere calibrate paralele

�Geometria epipolară

�Matricea fundamentală

�Puncte de interes (colţuri)

�Calculul corespondenţelor

3

Modelarea camerelor ideale

O cameră, sau un senzor vizual, poate fi descrisă ca un sistem ce

execută o transformare ireversibilă din coordonatele spaţiului 3D real

şi coordonatele 2D ale planului imaginii.

P – punct 3D (real)p – punct 2D (în imagine)

f – distanță focală

Z

Xfx ⋅=

Z

Yfy ⋅=

[ ]TZYXP 1=

[ ]Tyxp 1=

Centru

optic

P

p Punct

principal

Planul

imaginii

x

y

x

y

zf

Matricea de proiecţie a camerei

4

� Intrinseci:

�Centrul optic la (��, ��)

�Pixeli dreptunghiulari

�Cu oblicitate (skew)

�Extrinseci:

�Există rotaţie

�Poziţia la coordonatele ��, �, �

=

=

1100

0

333231

232221

131211

0

0

Z

Y

X

trrr

trrr

trrr

v

us

Z

fY

fX

p

Z

Y

X

β

α

� = � � �

Vederea stereo

5

�Punctul � este vizualizat în camerele stângă �� şi dreaptă ���Poziţia 3D a punctului � poate fi reconstruită prin triangulaţie,

cunoscându-se poziţia şi orientarea camerei (calibrare) şi punctele

corespondente

Camera

stângăCamera

dreaptă

P

pL=QL·PpR=QR·P

CRCL

Imagini stânga şi dreaptaCamera stângă ��

Punctul 3D vizualizat P:

�� şi �� puncte corespondente

Camera dreaptă ��

6

�� = �� · �

�� = �� · �

(i) Geometria corespondenţelor (problema corespondenţelor): Avându-se un punct �� în imaginea stângă, care este corespondenţa �� a lui ��în imaginea dreaptă?

(ii) Geometria camerelor (mişcarea): Având un set de puncte corespondente {���↔ ���}, � = 1,… , �, care sunt parametrii camerelor (matricile de proiecţie) �� şi ��pentru cele două vederi?

(iii) Geometria scenei (structura): Având un set de puncte corespondente {���↔ ���} şi matricile de proiecţie �� şi��, care este poziţia punctului real � în spaţiul 3D?

Problemele geometriei stereo

7

Camere paralele şi calibrate

P

CL CR

Z

b

x

y

x

y

pL pR

IL IR

8

9

Sistem de vedere stereo calibrat

� – coordonatele de referinţă

��, ��– centrele optice ale celor două camere

� = � + � – baseline (distanţa dintre cele două centre optice)

, !, "– variabile ce indică orientarea camerei stereo

Matricile de proiecţie ��, �� sunt cunoscute (camerele sunt calibrate)

10

Disparitatea� Calculul coordonatelor 3D virtuale ale scenei vizualizate

� De-a lungul axei # a imaginii, diferenţa dintre punctul �� vizualizat în $� şi �� vizualizat

în $� se numeşte disparitate:%# = ��& − ��&

� Distanţa cameră obiect: dx

TfZ =

��& ��&

�� ��

11

Disparitatea

��& ��&

�� ��

� Calculul coordonatelor 3D virtuale ale scenei vizualizate

� De-a lungul axei # a imaginii, diferenţa dintre punctul �� vizualizat în $� şi �� vizualizat

în $� se numeşte disparitate:%# = ��& − ��&

� Distanţa cameră obiect: dx

TfZ =

Stabilirea corespondenţelor

12

� Dându-se punctul �� în imaginea stângă, care este punctul corespondent �� din imaginea dreaptă?

� Deoarece camerele sunt paralele, punctul corespondent se va căuta de-a lungul axei #a celor două imagini

pL pR=?

IL IR

Stabilirea corespondenţelorBlock Matching

13

� [dmin, dmax ] = H – horopter

�Horopterul este linia de căutare a punctului corespondent �� în imaginea dreaptă $�

P

CL CR

f

(cx, cy)

xL

yL

xR

yR

Z

b

x

y

x

y

Rază

pri

ncip

ală

pL

pR

dmax dmin

H

IL IR

(x, y)Imagine stânga

� Pentru fiecare punct (x, y) din imaginea stângă se defineşte o fereastră centrată pe (x, y)

Corespondenţe prin corelaţie

14

(x, y)Imaginea dreaptă

� Căutarea punctului corespondent într-o regiune de căutare din imaginea dreaptă

Corespondenţe prin corelaţie

15

(x, y)dx(x´, y´)Imaginea dreaptă

� Disparitatea dx este deplasamentul indicat de corelaţia maximă

Corespondenţe prin corelaţie

16

�Există corelaţie între intensităţiile pixelilor

Corespondenţe prin corelaţie

Intensitate pixeli Intensitate pixeli17

∑ ∑

∑

−−−−

−−−−

=

lk

nm

lk

nm

lk

flnkmfglkg

flnkmfglkg

nmh

,

2

,

,

2

,

,

)],[()],[(

)],[)(],[(

],[

media regiunii din imaginemedia kernelului

Determinarea corelaţiei

�Cross-Corelaţie Normalizată (vezi cursul 2)

18

� Pereche de imagini rectificate

� Intensitatea pixelilor din imaginea disparitate este

proporţională cu distanţa cameră-obiect

Imagine stânga Imagine dreapta Hartă de disparitate

Estimarea distanţelor

%# = �� − ��19

Hartă de disparitate

Z – distanţa (m)T – Linia de referinţă (m)f – Distanţa focală (pixeli)dx – Disparitatea (pixeli)

� Distanţa cameră-obiect Z este invers proporţională cu disparitatea

Reproiectarea distanţelor

dx

TfZ =

20

Camere neparalele

P

CL

CR

pL pR

IL IR

21

Stabilirea corespondenţelor

22

� Dându-se punctul �� în imaginea stângă, care este punctul corespondent �� din imaginea dreaptă

pL pR=?

IL IR

��, �� , ��, �� şi � sunt coplanare

� Având un punct într-o imagine, care este corespondentul acelui punct într-o altă imagine?

� Geometria epipolară reduce căutarea punctului corespondent lacăutarea pe o linie

Geometria epipolară

23

P

pLpR

Planul epipolar π

CRCL

Geometria epipolară

(� (��� ��

�Epipolii (� şi (� reprezintă proiecţia unei camere în cealaltă

�Toate liniile epipolare dintr-o imagine trec prin epipoli

24

� Un punct într-o vedere “generează” o linie epipolară în cealaltă vedere

� Punctul corespondent se află pe linia epipolară

� Dacă poziţiile camerelor ��, �� şi proiecţia �� a lui � sunt cunoscute

Geometria epipolară

25

pL

pL

pL=?

pL=?

eL eR

lR

Linie

Epipolară

pentru pL

CRCL

Geometria epipolară�Corespondenţele potenţiale pentru �� se află pe linia epipolară

corespondentă )��Corespondenţele potenţiale pentru �� se află pe linia epipolară

corespondentă )�

26

Epipolii (�, (�= intersecţia liniei de referinţă cu planele imaginilor= imaginea centrului celeilalte camere (� = � · ��; (� = � · ��

Linii epipolare )�, )�= intersecţia planului epipolar π cu planul imaginii

= imaginea razei prin ��, ��

��

�� ��

Planul epipolar= planul ce conţine linia de referinţă

Geometria epipolară

Linia de referinţă

27

��

)�

(�

)�

(�

� Atunci când poziţia punctului � variază, planele epipolare se rotesc în jurul liniei de referinţă. Această familie de plane poartă numele de creion epipolar.

� Toate liniile epipolare se intersectează la epipoli.

“Creionul” epipolar

Linia de referinţă

28

�

(� (�

�� ��

Exemple

29

Exemplu: Camere ce converg

Liniile epipolare sunt în general neparalele30

Exemplu: mişcare paralelă cu planul imaginii

(� → ∞ (� → ∞

31

�Cazul camerelor paralele pe axa #

e

e’

Exemplu: mişcarea de înaintare

�Epipolii au aceleaşi coordonate în ambele imagini

�Punctele corespondente se deplasează de-a lungul liniilor ce radiază

din ( (focus of expansion)

32

Matricea fundamentală ,

Planul epipolar

��

�� ��

��

)� )�

�Geometria epipolară dintre două imagini este descrisă de o matrice

de transformare - 3 × 3, intitulată matricea fundamentală

�- mapează (în coordonate omogene) punctele din imaginea stângă în

linii în imaginea dreaptă

�Linia epipolară din imaginea dreaptă $�, ce corespunde punctului ��din imaginea stângă $� este - · ��

�Constrângerea epipolară pentru puncte corespondente este ��0-�� = 0

$� $� 33

Matricea fundamentală

Matricea fundamentală ,Cameră necalibrată

��

�� ��

��

)� )�

$� $�

� – matricea parametriilor intrinseci ai camerei stângi �� � – matricea parametriilor intrinseci ai camerei drepte ��� – rotaţia imaginii drepte $� faţă de camera stângă ��

�� · �0 · � · � × · �

23 · �� = 0

- 34

Produsul vectorial

�Rezultatul produsului vectorial dintre doi vectori este un vector

perpendicular pe vectorii de intrare

� 4 este perpendicular atât pe 5, cât şi pe 4, ceea ce înseamnă ca

produsul lor scalar este 0

56 × � = 4656 · 46 = 0

� · 46 = 0

35

Produsul vectorial ca şi operator algebric�Produsul vectorial cu un vector � poate fi reprezentat printr-o

multiplicare cu o matrice 3 × 3

36

Matricea esenţială

Matricea fundamentală ,Cameră calibrată

��

�7�

��

��

�7�0 · � · � × · �7� = 0

8

��

�0�7�

�7� = �23 · �� – raza ce trece prin �� şi coordonatele camerei stângi ��

�7� = �23 · �� – raza ce trece prin �� şi coordonatele camerei drepte ��

�7�0 · 8 · �7� = 0

37

Proprietăţiile matricei fundamentale

�-�� este linia epipolară asociată lui ��

�-0�� este linia epipolară asociată lui ��

�-(� = 0 şi -0(� = 0

�- are rangul 2

38

Exemplu: 9 pentru camere paralele

39

Rectificarea imaginilor

�Reproiectarea imaginilor într-

un plan comun în care

imaginile sunt paralele de-a

lungul axei #

�După rectificare, mişcarea

pixelilor este orizontală

� 2 matrici de transformare 3 × 3,

câte una pentru fiecare imagine

40

Estimarea matricei ,

�- poate fi estimată prin determinarea punctelor corespondente dintre

imagini, fără a se cunoaşte în prealabil valorile de calibrare ale

camerelor ( �, �, � sau �)

41

Estimarea matricei ,Algoritmul 8-puncte

�Pentru oricare pereche de puncte corespondente �� şi ��, - este

definită de:

�Fie �� = #� :� 1 0, �� = #� :� 1 0 şi - =

;33 ;3< ;3=;<3 ;<< ;<=;=3 ;=< ;==

�Fiecare pereche de puncte corespondente respectă ecuaţia liniară:

��0 · - · �� = 0

#�#�;33 + :�#�;3< + #�;3= + #�:�;<3 + :�:�;<< +

+:�;<= + #�;=3 + :�;=< + ;== = 042

Estimarea matricei ,Algoritmul 8-puncte

#�3#�3 :�3#�3 #�3 #�3:�3 :�3:�3 :�3 #�3 :�3 1#�<#�< :�<#�< #�< #�<:�< :�<:�< :�< #�< :�< 1

⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮#�?#�? :�?#�? #�? #�?:�? :�?:�? :�? #�? :�? 1

;33;3<;3=;<3;<<;<=;=3;=<;==

= 0

�Practic, în locul rezolvării ecuaţiei @; = 0, vom determina ; prin

minimizarea @; , ceea ce corespunde celei mai mici valori proprii a

matricei @0@

43

Estimarea matricei ,Algoritmul 8-puncte

�- trebuie să aibă rangul 2

�Pentru a impune rangul 2 asupra lui -, - va fi înlocuită prin -‘

�-‘ va minimiza ecuaţia - − -′ supusă constrângerii de rang

�Calculul se obţine prin descompunerea în valori singulare (Singular

Value Decomposition – SVD), unde - = DΣF0

�-′ = DΣ′F0 este soluţia ecuaţiei

Σ =G3 0 00 G< 00 0 G=

Σ′ =G3 0 00 G< 00 0 0

44

Stabilirea corespondenţelor

45

Corespondenţe în imagini�Obiectiv: determinarea omografiei dintre cele două imagini

�Punctele corespondente dintre cele două imagini trebuiesc

determinate

46

Corespondenţe locale invarianteDescriptori locali

�Conţinutul imaginii este transformat în coordonate locale de

descriptori invatianţi la translaţie, rotaţie şi scalare

Features Descriptors 47

AfBf

A1

A2 A3

Tffd BA <),(

1. Gasirea unui set de puncte de interes distinctive

2. Definirea unei regiuni în jurul punctului de interes

3. Extragerea şi normalizarea regiunii

4. Calculul unui descriptor local din regiunea normalizată

5. Identificarea (matching) descriptorilor locali

Identificarea corespondenţelorDescriptori locali

Punctele de interes ar trebui să fie repetitive şi distincte 48

Feature detection: obiective�Repetabilitate

� aceleaşi caracteristici trebuiesc regăsite în mai multe imagini, chiar dacă

imaginile au fost supuse la transformări geometrice şi fotometrice

�Descriptori distinctivi� fiecare feature are o descriere (descriptor) distinctiv

�Caracter compact şi eficienţă� features mai puţine decât numărul de pixeli din imagine

�Localizare� un feature ocupă o zonă relativ mică din imagine; robust faţă de

ocluziune şi clutter

49

Detectarea colţurilor

50

Detectarea colţurilor

““““cantăcantăcantăcantă””””::::nicio modificare denicio modificare denicio modificare denicio modificare de----a a a a

lungul canteilungul canteilungul canteilungul cantei

““““colţcolţcolţcolţ””””::::modificări în toate modificări în toate modificări în toate modificări în toate

direcţiiledirecţiiledirecţiiledirecţiile

regiune regiune regiune regiune ““““platăplatăplatăplată””””::::nicio modificare a nicio modificare a nicio modificare a nicio modificare a

intensităţiiintensităţiiintensităţiiintensităţii

�Colţurile ar trebui sa poată fi recunoscute atunci când imaginea este

vizualizată printr-o regiune de interes

�Când vizualizăm un colţ, deplasarea regiunii în oricare direcţie va

indica o schimbare puternică în intensitate

�Dacă în regiune avem un colţ, gradientul imaginii are cel puţin două

direcţii dominante

51

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

I(x, y)E(u, v)

E(3,2)

w(x, y)

Detectarea colţurilor�Modificarea aspectului ferestrei H(#, :) pentru deplasarea [�, �]

52

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

I(x, y)E(u, v)

E(0,0)

w(x, y)

Detectarea colţurilor�Modificarea aspectului ferestrei H(#, :) pentru deplasarea [�, �]

53

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

Intensitatea pixelului

Intensitatea în fereastră

Funcţia fereastră

sauFuncţia fereastrăw(x,y) =

Gaussian1 în fereastră, 0 afară

Detectarea colţurilor�Modificarea aspectului ferestrei H(#, :) pentru deplasarea [�, �]

� 4 deplasări: (u,v) = (1,0), (1,1), (0,1), (-1, 1)

�Caută minimul local al funcţiei E: min{E}54

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

Cum se comportă funcţia 8(�, �) pentru deplasări mici?

E(u, v)

Detectarea colţurilor�Modificarea aspectului ferestrei H(#, :) pentru deplasarea [�, �]

55

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

+

+≈

v

u

EE

EEvu

E

EvuEvuE

vvuv

uvuu

v

u

)0,0()0,0(

)0,0()0,0(][

2

1

)0,0(

)0,0(][)0,0(),(

Detectarea colţurilor�Modificarea aspectului ferestrei H(#, :) pentru deplasarea [�, �]

�Aproximarea pătratică locală a lui 8(�, �) în vecinătatea lui (0,0) poate

fi obţinută prin dezvoltarea în serie Taylor:

56

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

Dezvoltare în serie Taylor a lui 8(�, �) în jurul lui (0,0):

+

+≈

v

u

EE

EEvu

E

EvuEvuE

vvuv

uvuu

v

u

)0,0()0,0(

)0,0()0,0(][

2

1

)0,0(

)0,0(][)0,0(),(

[ ]

[ ]

[ ] ),(),(),(),(2

),(),(),(2),(

),(),(),(),(2

),(),(),(2),(

),(),(),(),(2),(

,

,

,

,

,

vyuxIyxIvyuxIyxw

vyuxIvyuxIyxwvuE

vyuxIyxIvyuxIyxw

vyuxIvyuxIyxwvuE

vyuxIyxIvyuxIyxwvuE

xy

yx

xy

yx

uv

xx

yx

xx

yx

uu

x

yx

u

++−+++

++++=

++−+++

++++=

++−++=

∑

∑

∑

∑

∑

57

),(),(),(2)0,0(

),(),(),(2)0,0(

),(),(),(2)0,0(

0)0,0(

0)0,0(

0)0,0(

,

,

,

yxIyxIyxwE

yxIyxIyxwE

yxIyxIyxwE

E

E

E

yx

yx

uv

yy

yx

vv

xx

yx

uu

v

u

∑

∑

∑

=

=

=

=

=

=

+

+≈

v

u

EE

EEvu

E

EvuEvuE

vvuv

uvuu

v

u

)0,0()0,0(

)0,0()0,0(][

2

1

)0,0(

)0,0(][)0,0(),(

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

Dezvoltare în serie Taylor a lui 8(�, �) în jurul lui (0,0):

58

≈∑∑

∑∑

v

u

yxIyxwyxIyxIyxw

yxIyxIyxwyxIyxw

vuvuE

yx

y

yx

yx

yx

yx

yx

x

,

2

,

,,

2

),(),(),(),(),(

),(),(),(),(),(

][),(

),(),(),(2)0,0(

),(),(),(2)0,0(

),(),(),(2)0,0(

0)0,0(

0)0,0(

0)0,0(

,

,

,

yxIyxIyxwE

yxIyxIyxwE

yxIyxIyxwE

E

E

E

yx

yx

uv

yy

yx

vv

xx

yx

uu

v

u

∑

∑

∑

=

=

=

=

=

=

[ ]2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y= + + −∑

Dezvoltare în serie Taylor a lui 8(�, �) în jurul lui (0,0):

59

2

2,

( , )x x y

x y x y y

I I IM w x y

I I I

=

∑

≈

v

uMvuvuE ][),(

M

Detectarea colţurilor�Aproximarea pătratică se simplifică:

�unde K este o matrice de ordinul doi, calculată din derivatele imaginii:

60

=∑

yyyx

yxxx

IIII

IIIIyxwM ),(

x

II x

∂

∂⇔

y

II y

∂

∂⇔

y

I

x

III yx

∂

∂

∂

∂⇔Notaţii:

Detectarea colţurilor�K este o matrice 2 × 2 ale derivatelor imaginii (cu medie în

vecinătatea unui punct)

61

≈

v

uMvuvuE ][),(

∑

=

yx yyx

yxx

III

IIIyxwM

,2

2

),(

Detectarea colţurilor

�Suprafaţa lui 8(�, �) este aproximată local printr-o formă

pătratică

8(�, �)

�

�

62

const][ =

v

uMvu

Detectarea colţurilor�Consideraţi o ”felie” orizontală a lui 8(�, �):

�Aceasta este ecuaţia unei elipse

63

RRM

= −

2

11

0

0

λ

λ

direcţia celei mai încete schimbări

direcţia celei mai rapide schimbări

(λmax)-1/2

(λmin)-1/2

Detectarea colţurilor�Diagonala matricei K:

�Lungimile axelor elipsei sunt determinate de valorile proprii L3şi L<, iar orientarea este determinată de �

64

Detectarea colţurilor

65

Detectarea colţurilor

66

λ1

λ2

“colţ”

λ1 şi λ2 mari,

λ1 ~ λ2;

E creşte în toate

direcţiile

λ1 şi λ2 mici;

E este aproape constant

în toate direcţiile

“cantă”

λ1 >> λ2

“cantă”

λ2 >> λ1

regiune

“plată”

Interpretarea valorilor proprii�Clasificarea punctelor utilizând valorile proprii ale lui K

67

“colţ”

R > 0

“cantă”

R < 0

“cantă”

R < 0

regiune

“plată”

|R| mic

2

2121

2 )()(trace)det( λλαλλα +−=−= MMR

α: constant (0.04 până la 0.06)

Funcţia de răspuns la colţuri

68

Detectorul de colţuri Harris

1. Calculul matricei K pentru fiecare fereastră a imaginii şi

determinarea probabilităţii de a avea un colţ (valoarea �)

2. Găsirea punctelor a căror fereastră are o probabilitate mare

de a fi colţ (; > threshold)

3. Selectarea punctelor cu maxim local; efectuarea de supresie

non-maximă

69

∗=

)()(

)()()(),(

2

2

DyDyx

DyxDx

IDIIII

IIIg

σσ

σσσσσµ

70

1. Derivatele imaginii

2. Pătratele derivatelor

3. Filtru Gaussian N(G$)

Ix Iy

Ix2 Iy

2 IxIy

g(Ix2) g(Iy

2) g(IxIy)

222222)]()([)]([)()( yxyxyx IgIgIIgIgIg +−− α

=−= ])),([trace()],(det[ 2

DIDIhar σσµασσµ

4. Probabilitate colţ – ambele valori proprii sunt mari

har5. Supresie non-maximă

1 2

1 2

det

trace

M

M

λ λ

λ λ

=

= +

(blur opţional)

Detectorul de colţuri Harris

�Matricea de ordinul 2:

Detectorul de colţuri Harris (intrare)

71

Calitatea R a colţurilor

72

Partiţionare pe R

73

Maximele locale ale lui R

74

Detectorul de colţuri Harris

75

Descriptori locali

76

�Pentru a putea stabili corespondenţele, zonele locale din jurul

punctelor de interes (colţuri), trebuiesc reprezentate

0.2

0.2

0.2

0.2

0.1

0.3

0.2

0.3

0.3

0.2

0.7

0.4

0.6

0.8

0.6

…

Descriptori locali direcţi

�Valorile pixelilor din jurul punctul de interes

77

Descriptori locali fereastră

�Rotirea regiunii în jurul punctului de interes

�Scalarea regiunii în jurul punctului de interes

�Extragerea valorii pixelilor din noua regiune

CSE 576: Computer Vision78

Descriptori locali

Problemele cu descriptorii locali prezentaţi:

�Sensibili la mici translaţii şi rotaţii �Sensibili la modificări fotometrice

79

Descriptori SIFTScale Invariant Feature Transform

�Clasificarea pixelilor prin histograme ce descriu orientarea lor

0 2ππππ

80

Descriptori SIFTScale Invariant Feature Transform

Pentru fiecare punct, magnitudinea şi orientarea gradientului este ponderată

cu o valoarea Gaussiană

Histograme ale orientărilor:suma magnitudinii

gradientului pentru fiecare direcţie

În practică sunt utilizate dimensiuni 4x4 cu histograme de 8 bin, rezultând un număr total de 128 de features pentru un punct de interes

81

Descriptori SIFTScale Invariant Feature Transform

�Tehnică robustă de determinare a corespondenţelor:

�Poate face faţă unor modificări mari a perspectivei (până la

60 de grade de rotaţie a imaginii)

�Poate face faţă modificărilor puternice de iluminare

82

Descriptori SIFTScale Invariant Feature Transform

83

Descriptori SIFTScale Invariant Feature Transform

84

Calculul corespondenţelor

�Obiectiv: producerea unui set de

corespondenţe candidat ce conţin:

�Cât mai multe corespondenţe

corecte

�Cât mai puţine corespondenţe

incorecte

85

Poziţia, scala şiorientarea feature-ului

Calculul corespondenţelor

86

0.20.70.40.60.80.6…

Descriptor

Poziţia, scala şiorientarea feature-ului

Calculul corespondenţelor

87

Spaţiul descriptorului

Calculul corespondenţelor

88

Calculul corespondenţelor

Spaţiul descriptorului

89

Calculul corespondenţelor

Spaţiul descriptorului

90

Cum determinăm corespondenţele?

Calculul corespondenţelor

Spaţiul descriptorului

91

� Metoda 1: crearea de corespondenţe de la fiecare feature Ai la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

Spaţiul descriptorului

@�

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

Calculul corespondenţelor

92

OP

Calculul corespondenţelor

@�

� Metoda 1: crearea de corespondenţe de la fiecare feature Ai la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

Spaţiul descriptorului

93

@�

OP

Calculul corespondenţelor

� Metoda 1: crearea de corespondenţe de la fiecare feature Ai la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

Spaţiul descriptorului

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

94

@�

OP

Calculul corespondenţelor

� Metoda 2: crearea de corespondenţe de la fiecare feature Ai la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

dacă % @�, OP < �ST(USV)%

Spaţiul descriptorului

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

95

@�

OP

Calculul corespondenţelor

� Metoda 2: crearea de corespondenţe de la fiecare feature Ai la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

dacă % @�, OP < �ST(USV)%

Spaţiul descriptorului

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

96

OP2

OP

Calculul corespondenţelor

� Metoda ponderilor: crearea de corespondenţe de la fiecare featureAi la feature-urile Bk din B ce au distanţa minimă %(@�, OP)

dacă W X�,Y

Z

W X�,Y

Z<

< �ST(USV)%

OP este cel mai apropiat descriptor

OP2 este al doilea cel mai apropiat

descriptor

Spaţiul descriptorului

%(@�, OQ) este distanţa Euclidianăîn spaţiul descriptorului

97

Calculul corespondenţelor

� Metoda apropierii mutuale: crearea de corespondenţe între Ai şi Bk din B doar dacă, dintre toate perechile de feature-uri apropiate, perechea Ai şi Bk este cea mai apropiată mutual

Spaţiul descriptorului

98

A B

Calculul corespondenţelor

� Metoda apropierii mutuale: crearea de corespondenţe între Ai şi Bk

doar dacă sunt apropiate mutual

99

A BC

(A,B) este o corespondenţă eronată

Calculul corespondenţelor

� Metoda apropierii mutuale: crearea de corespondenţe între Ai şi Bk

doar dacă sunt apropiate mutual

100

AB

(A,B) este o corespondenţă bună

Calculul corespondenţelor

� Metoda apropierii mutuale: crearea de corespondenţe între Ai şi Bk

doar dacă sunt apropiate mutual

101

102