Transcript
Page 1: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

Calibrare- Extragerea automată a punctelor

-

Februarie, 2003

Vilmos Zsombori ([email protected])

Page 2: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

cuprins

° Parametrii de calibrare• modelul camerei

• matricea de proiecţie

• distorsiuni

° Algoritmi de calibrare• Zhang

• Bouget

° Automatizarea extragerii punctelor de control• pouncte de control AICON

• tabela de şah

° Referinţe

Page 3: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

param. de calibrare – modelul camerei

° Model simplu: Pinhole

° Plan Imagine Z=1 (f=1)

° Proiecţie:

° Reprezentare prin coordonate omogene:

Page 4: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

param. de calibrare – matricea de proiecţie

intrinseci K proiecţie extrinseci

P: matrice 3x4, matricea de proiecţie

• intrinseci: 5 (fx, fy, cx, cy, s)• extrinseci: 6 (R, T)• simplificări la iniţializare:

• (cx, cy) centru• s 0 (pixeli rectangulari)

Page 5: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

param. de calibrare – distorsiuni

r

K1,K2 – schimbare în funcţie de distanţa focală:

Page 6: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Zhang

° algoritmul lui Zhang:

• listăm un şablon pe care fixăm pe o suprafaţă plană

• facem câteva poze despre modelul plan, având orientări diferite, mişcând sau camera sau şablonul

• detectăm puntele de control pe imagini

• estimăm cei cinci param. intrinseci şi param. extrinseci, urmat de o optimizare neliniară

• estimarea coeficienţilor de distorsiune radială

• fecem o optimizare a tuturor parametrilor prin minimizare neliniară

Page 7: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Zhang – homography

° corespondenţă: <->

° Z = 0:

° homography: ,

° R – matrice de rotaţie (ortogonal):

Page 8: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Zhang ctd.

° soluţie iniţială:

• fie:

• cu restricţii:

• sistem supradeterminat 2n x 6; avem soluţie unică pentru n mai mare sau egal de 3

• pseudosuluţie în sensul celor mai mici pătrate

Page 9: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Zhang ctd.

° optimizare maximum-likelihood:• reproiectare – punctul Mj – imaginea i

• minimizarea funcţionalei se face prin metoda Levenberg-Marquardt, fiind o minimizare neliniară

° estimarea distorsiunilor radiale:

• având n imagini cu câte m puncte – sistem cu 2mn ecuaţii

• se rezolvă în sencul celor mai mici pătrate:

° optimizare globală neliniară

Page 10: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Zhang ctd.

° caz degenerat:• o imagine se obţine din celălalt numai prin translaţie

• nu adaugă constrângeri la sistemul iniţial, constrângerile fiind bazate pe propr. matricii de rotaţie

° alte probleme care se mai pun:• estimarea iniţială a matricii H (homography)

- minimizare neliniară

• extragerea parametrilor intrinseci din matricea B

• aproximarea lui R printr-o matrice de rotaţie

- datorită erorilor, matricea R obţinut prin calcule nu va fi o matrice de rotaţie

- aproximarea se face în sensul celei mai mici norme Frobenius a difetenţei

- soluţie: singular value decomposition

Page 11: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

algoritmi de calibrare – Bouget

° algoritmul lui Bouget:• detectarea punctelor de control pe imaginile de calibrare (punctele

de control fiind colţurile unei tabele de şah)

• calcularea matricilor H (homohraphy) pentru fiecare imagine folosind algoritmul Levenberg-Marquardt pentru minimizare

• estimarea param. extrinseci (neglijând distorsiunile)

• optimizarea param. intrinseci

• recalcularea param. extrinseci pentru fiecare imagine

• optimizare globală luând în considerare şi distorsiunile

Page 12: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

automatizarea extragerii punctelor de control

° puncte de control tip AICON:• avantaj:

- posibilitatea de identificare unică prin histogramă radială

• dezavantaj:

- proiecţie – elipse

- ellipse detection/fitting – costisitor

° tabela de şah:• avantaj:

- mai uşor de detectat prin funcţii de potenţial şi operatori diferenţiali

• dezavantaj:

- corespondenţă

Page 13: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

puncte de control AICON ctd.

° algoritm stabil (numeric) de ellipse-fitting:

• ecuaţia: ,

• puncte, restricţii:

• sistemul de ecuaţii: ,

• ideea: se separă termenii pătratici de cele liniari

Page 14: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° puncte de control – colţuri

Page 15: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° detectarea colţurilor, eliminarea regiunii irelevante

• câmp de forţe:

• energie de potenţial:

• proprietate:

• implementare: nucleu de convoluţie

Page 16: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° obs.: • potenţial (intensităţi) –> câmp scalar

• energie –> câmp scalar

• câmpul de forţe –> câmp vectorial

• un punct iniţializat, care se mişcă numai sub influenţa câmpului, satisface sistemul simetric

jyxQiyxPyxF ),(),(),(

00 )( xyy

Q

dy

P

dx

Page 17: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° proprietăţi relevante în cazul nostru:• magnitudinea câmpului se anulează în colţuri şi sunt

izolate complet de magnitudini mari

• zonele cu intensităţi relativ apropiate dispar

• aceste proprietăţi sunt independente de orientarea şablonului

° probleme care apar:• magnitudinea poate să se anuleze şi în alte puncte (ex.

mijlocul unei zone circulare)

• imagini saturate

Page 18: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

• operatori diferenţiali:

Fx FyFx

2 Fy2

|grad(Fx)| FxxFyy|grad(Fy)|

Fx2Fyy – 2FxFyFxy + Fy

2Fxx Fx2Fyy – 2FxFyFyx + Fy

2Fxx

Page 19: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

Page 20: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° soluţie• determinăm alinierea punctelor

• eliminăm pe cele care nu respectă alinierea

• interpolăm pe cele care n-a prins câmpul

° iarăşi probleme:• dreptele se proiectează ca şi drepte, deci alinierea pe diagonală se

păstrează

• colţurile nu se aliniază exact din cauza distorsiunilor

° iarăşi soluţii:• validare de direcţii

- după orientarea gradientului

- gradul de suprapunere a dreptelor cu muchii

• dreptele se determină în sensul celor mai mici pătrate

Page 21: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

Page 22: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° algoritm

• determin câmpul de potenţial

• determin câmpul de forţe –> magnitudinea

• stretching, binarizare, imaginea negativă

• etichetare –> puncte de control nominalizate

• pentru fiecare pereche de puncte nominalizate

• determin dereapta, determin proiecţia tuturor celorlalte puncte

• pentru punctele extreme

• determin combinaţia convexă –> segmentul de dreaptă

• în funcţie de gradul de suprapunere cu imaginea muchii

• validez sau nu dreapta, etichetez acesta cu orientarea

• determin histograma de orientări, reetichetez dreptele

• validez punctele

• interpolez punctele lipsă

Page 23: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° rezultate

Page 24: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

tabela de şah

° parametri

• vecinătatea limită a câmpului –> viteză, saturaţie

• aria maximă a punctelor izolate –> numărul punctelor considerate a fi colţ iniţial

• distanţa maximă a puntelor de drepte –> distorsiuni

• numărul minim de puncte pentru o dreaptă

• gradul de suprapunere a combinaţiilor convexe cu muchii –> distorsiuni

Page 25: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

completări

° determinarea dreptunghiului maxim

° identificarea unică a punctelor pentru stereo-calibrare

Page 26: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 27: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 28: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 29: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 30: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 31: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

ca să nu termin aşa sec...

Page 32: Calibrare - Extragerea automată a punctelor - Februarie,  200 3

referinţe

[1] Zhengyou Zhang : A Flexible New Technique for Camera CalibrationTechnical Report MSR-TR-98-71, Microsoft Research, 2002

[2] Peter F. Sturm, Stephen J. Maybank : On Plane-Based Camera Calibration: A General Algorithm, Singularities, ApplicationsComputational Vision Group, Department of Computer Science, The University of Reading Whiteknights

[3] Janne Heikkila, Olli Silven : A Four-step Camera Calibration Procedure with Implicit Image CorrectionInfotech Oulu and Department of Electrical Engineering, University of Oulu

[4] Radim Halir : Numerically Stable Direct Least Squares Fitting of Ellipses Departament of Software Engineering, Charles University

[5] David J. Hurley, Mark S. Nixon, John N. Carter : Force Field Energy Functionals for Image Feature ExtractionDepartment of Electronics and Computer Science, University of Southampton


Top Related