tehnici de control pentru sistemele servoing vizuale cosmincopot.pdf · puncte de interes se...

UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI

MINISTERUL MUNCII, FAMILIEI ŞI PROTECŢIEI SOCIALE

AMPOSDRU

Fondul Social European

POSDRU 2007-2013

Instrumente Structurale

2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ

“GHEORGHE ASACHI” DIN IAŞI

UNIVERSITATEA TEHNICĂ


Şcoala Doctorală a Facultăţii de

Automatică şi Calculatoare

TEHNICI DE CONTROL PENTRU

SISTEMELE SERVOING VIZUALE

- REZUMATUL TEZEI DE DOCTORAT -

Conducător de doctorat:

Prof. univ. dr. ing. Corneliu Lazăr

Doctorand:

Ing. Cosmin Copoţ

IAŞI - 2011

UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI

MINISTERUL MUNCII, FAMILIEI ŞI PROTECŢIEI SOCIALE

AMPOSDRU

Fondul Social European

POSDRU 2007-2013

Instrumente Structurale

2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ


Teza de doctorat a fost realizată cu sprijinul financiar al

proiectului „Burse Doctorale - O Investiţie în Inteligenţă (BRAIN)”.

Proiectul „Burse Doctorale - O Investiţie în Inteligenţă (BRAIN)”,

POSDRU/6/1.5/S/9, ID 6681, este un proiect strategic care are ca

obiectiv general „Îmbunătățirea formării viitorilor cercetători în

cadrul ciclului 3 al învățământului superior - studiile universitare de

doctorat - cu impact asupra creșterii atractivității şi motivației pentru

cariera în cercetare”.

Proiect finanţat în perioada 2008 - 2011.

Finanţare proiect: 14.424.856,15 RON

Beneficiar: Universitatea Tehnică “Gheorghe Asachi” din Iaşi

Partener: Universitatea “Vasile Alecsandri” din Bacău

Director proiect: Prof. univ. dr. ing. Carmen TEODOSIU

Responsabil proiect partener: Prof. univ. dr. ing. Gabriel LAZĂR

i

CUPRINS

CAPITOLUL 1. INTRODUCERE ......................................................................................... 1

1.1. SISTEMELE SERVOING VIZUALE .................................................................................. 1

1.2. STRUCTURA TEZEI ...................................................................................................... 3

1.3. DISEMINAREA REZULTATELOR ................................................................................... 4

CAPITOLUL 2. SISTEME SERVOING VIZUALE ............................................................ 7

CAPITOLUL 3. ANALIZA PERFORMANŢELOR TRĂSĂTURILOR VIZUALE

UTILIZATE ÎN APLICAŢII SERVOING .......................................................................... 13

3.1. EVALUAREA TRĂSĂTURILOR PUNCTIFORME ............................................................. 13

3.2. EVALUAREA TRĂSĂTURILOR DE TIP MOMENTE ALE IMAGINII ................................... 16

CAPITOLUL 4. LEGI DE CONTROL CONVENŢIONALE ........................................... 21

CAPITOLUL 5. TEHNICI DE CONTROL PREDICTIV PENTRU SISTEMELE

SERVOING ............................................................................................................................. 29

5.1. ALGORITMI DE CONTROL PREDICTIV PENTRU TRĂSĂTURI PUNCTIFORME .................. 29

5.2. ALGORITMI DE CONTROL PREDICTIV PENTRU MOMENTE ALE IMAGINII ..................... 34

5.3. IMPLEMENTAREA ÎN TIMP REAL A REGULATORULUI PREDICTIV ................................ 37

CAPITOLUL 6. CONCLUZII ŞI DIRECŢII VIITOARE ................................................. 43

6.1. CONTRIBUȚII ............................................................................................................ 44

6.2. DIRECȚII VIITOARE ................................................................................................... 45

BIBLIOGRAFIE .................................................................................................................... 48

Capitolul 1. Introducere

Cercetările recente din domeniul roboticii vizează folosirea unor senzori auxiliari care

să contribuie la îmbunătățirea robusteții, flexibilității și preciziei sistemului. Informațiile

senzoriale obținute sunt folosite în bucla de reglare a sistemului. În ultimii ani s-au fost

dezvoltat diferite tipuri de senzori pentru îndeplinirea unor sarcini specifice, dar care în

același timp diferă între ele. În robotică, cei mai folosiți senzori sunt: senzori de forță, senzori

de cuplu, senzori cu ultrasunete și senzori vizuali. Dintre toate tipurile de senzori, senzorul

vizual oferă cele mai complete informații ce pot fi folosite în bucla de reglare. Prin folosirea

acestui tip de senzor, robotul poate percepe mediul de lucru. Utilizarea trăsăturilor vizuale

extrase din imaginile achiziționate cu ajutorul senzorului vizual ca mărimi măsurate pentru a

închide bucla de reglare a sistemului, reprezintă o metodă viabilă pentru a controla mișcările

robotului și este cunoscută sub denumirea de sistem servoing vizual.

1.1. Sistemele servoing vizuale

Sistemele servoing vizuale reprezintă o ramură de cercetare care îmbină rezultatele din

diferite domenii cum ar fi: vederea artificială, robotică, precum și proiectarea aplicațiilor în

timp real, acesta devenind un domeniu de interes major pentru cercetările din ultimul

deceniu. Sistemele servoing se referă la folosirea trăsăturilor vizuale pentru a controla

traiectoria mișcării unui robot manipulator. Trăsăturile vizuale sunt definite ca proprietăți ale

obiectelor ce compun o imagine. Imaginile pot fi achiziționate cu ajutorul unui senzor vizual

care este montat fie într-o poziție fixă în mediul de lucru, fie pe ultima articulație a robotului.

Prima configurație este denumită eye-to-hand, iar cea de-a doua configurație este denumită

eye-in-hand și este folosită pentru realizarea experimentelor din cadrul tezei de doctorat. În

(Weiss, 1988) se face pentru prima dată o descriere completă a celor două arhitecturi

fundamentale ale sistemelor servoing vizuale: arhitectura bazată pe poziţie si arhitectura

bazată pe imagine. Fiecare din cele doua arhitecturi prezintă avantaje si dezavantaje pentru

procesele de timp real (Corke și Hutchinson, 2001).

Arhitectura bazată pe poziţie constă în calcularea unei erori reprezentate în sistemul

Cartezian şi necesită atât un model al obiectului ( de obicei de tip CAD) cât şi o cameră

perfect calibrată pentru a obţine o estimare a poziţiei şi orientării obiectului (Mezouar și

Chaumette, 2002). În cazul arhitecturii bazate pe imagine, se evita folosirea unui model al

obiectului prin măsurarea erorii în planul imaginii, care este mapată direct în comenzile

Capitolul 1 – Introducere

2

elementului de execuţie al robotului (Corke și Hutchinson, 2001). Avându-se ca unul din

scopurile principale stabilitatea globală a sistemelor servoing, s-a constatat faptul că

arhitectura bazată pe poziţie suferă limitări masive din punct de vedere al robusteţii şi

descrierii matematice a modelelor necesare implementărilor fizice. Astfel, aşa numitele

metode hibride, au fost create pentru a se compensa deficienţele iniţiale (Kyrki et al., 2004;

Comport et al., 2003).

Ambele arhitecturi folosesc trăsături vizuale ca mărimi de caracterizare a proprietăţilor

obiectelor în planul imaginii. Dacă pentru arhitectura bazată pe poziţie trăsăturile sunt folosite

pentru a caracteriza poziţii prin corelarea planului imaginii cu spaţiul tridimensional, în cazul

arhitecturii bazate pe imagine aceste trăsături conduc la formarea matricei de interacţiune,

matrice ce reprezintă maparea între vitezele obiectelor proiectate în planul imaginii şi mediul

de lucru al robotului.

Alegerea unui set adecvat de trăsături vizuale este necesară pentru a se asigura o

corelare cât mai exactă între dinamica din spaţiul imaginii şi dinamica din spaţiul task-urilor,

ceea ce conduce la diferite entităţi: trăsături de tip punct (centroizi, colţuri), momente ale

imaginii, ariile regiunilor proiectate, orientarea liniilor care unesc doua puncte, lungimile

muchiilor, parametrizarea liniilor etc. (Marchand și Chaumette, 2005; Chaumette, 2004;

Mahony et al., 2002). Aceste tipuri de trăsături vizuale pot fi folosite pentru generarea legii de

control bazate pe imagine. Cele mai utilizate sunt trăsăturile punctiforme și cele bazate pe

momente ale imaginii. Trăsăturile punctiforme pot fi uni-dimensionale (muchie) și bi-

dimensionale (colt). Principalul avantaj al folosirii trăsăturilor punctiforme este acela al

calculării matricei de interacțiune relativ simplu deoarece coordonatele punctelor sunt

cunoscute. Dezavantajul utilizării punctelor de interes în aplicații servoing fiind acela al

stabilității reduse (nu sunt invariante la schimbări ale obiectului în scena de lucru). Această

problemă întâlnită la trăsăturile punctiforme poate fi eliminată dacă se folosesc trăsături de tip

momente ale imaginii pentru a genera legea de control ce permite controlul mișcării robotului.

Ideea folosirii momentelor în aplicații servoing este relativ veche, dar problema era matricea

de interacțiune care nu era disponibila pentru orice tip de obiect. În (Chaumette, 2004) a fost

dezvoltată o metodă cu ajutorul căreia se poate calcula matricea de interacțiune

corespunzătoare momentelor imaginii pentru orice tip de obiect. Trăsăturile de tip momente

ale imaginii fiind astfel utilizate mai des în aplicații servoing.

Controlul roboţilor studiază structura şi funcţionarea sistemului de comandă al

roboţilor. Pe baza modelului geometric şi dinamic, a sarcinii de îndeplinit convertită în

traiectoria de urmat, se stabilesc comenzile necesare elementelor de acţionare şi elementelor

hardware şi software care să furnizeze aceste comenzi, folosind şi semnalele de reacţie

obţinute de la sistemul senzorial (Spong et al., 2006). Astfel, rezultă complexitatea ridicată a

sistemului de control al unui robot manipulator. Acesta va avea frecvent o organizare

ierarhică, în care pe nivelul superior se află partea de decizie cu privire la acţiunea de

Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași

3

întreprins, iar pe nivelul inferior elementele de control şi acţionare ale articulaţiilor. Aceste

comenzi vor trebui să ţină seama şi de performanţele dorite pentru robot, aici intervenind

modelul dinamic al robotului. Structura tipică a sistemului de control va conţine un calculator

pe nivelul superior şi un sistem cu unul sau mai multe microcontrolere comandând elementele

de acţionare din articulaţii.

Selectarea unui set adecvat de trăsături vizuale și proiectarea legii de reglare reprezintă

principalul aspect pentru a obține o arhitectură de control cu performanțe ridicate. Trăsăturile

vizuale utilizate în sistemele servoing pot părăsi spațiul camerei pe parcursul taskului

servoing (Chesi și Vicino, 2004). De aceea, este de dorit ca legile de control folosite să fie

capabile să păstreze trăsăturile vizuale în câmpul de vedere al camerei pentru a obține un

feedback corect în timpul procesului servoing. Pentru a minimiza probabilitatea ca trăsăturile

vizuale să părăsească spațiul camerei pot fi folosite strategii de planificare (Mezouar și

Chaumette, 2002), sau de marcare (Gans și Hutchinson, 2007). Creşterea numărului de grade

de libertate ale roboţilor incluşi în sistemele servoing şi complexitatea mărită a obiectelor din

scena de lucru (Fuijimoto, 2003) au condus la necesitatea implementării de noi metode pentru

proiectarea legii de control. Astfel una din soluţiile propuse vizează controlul predictiv

(Gangloff și Mathelin, 2003) cu scopul de a creşte viteza de răspuns a sistemului servoing.

1.2. Structura tezei

Lucrarea este structurată în șase capitole după cum urmează:

În capitolul 1 s-a realizat o scurtă introducere ce prezintă noţiunile fundamentale din

sistemele servoing vizuale.

În capitolul 2 intitulat ”Sisteme servoing vizuale” sunt prezentate diverse metode din

sistemele servoing vizuale care vor fi ulterior folosite pentru dezvoltarea contribuțiilor proprii

din cadrul tezei. Prima parte a acestui capitol este dedicată detectării a două tipuri de trăsături

vizuale: puncte de interes şi momente ale imaginii. În continuare sunt prezentate două metode

folosite pentru modelarea ansamblului robot-senzor vizual. În finalul acestui capitol sunt

prezentate arhitecturile fundamentale ale sistemelor servoing: arhitectura bazată pe poziţie şi

arhitectura bazată pe imagine. Simulatorul pentru sistemele servoing care stă la baza

simulatoarelor servoing dezvoltate în cadrul cercetărilor doctorale este prezentat în ultima

parte a acestui capitol.

Capitolul 3 intitulat ”Analiza performanțelor trăsăturilor vizuale utilizate în aplicații

servoing” este dedicat criteriilor de evaluare a trăsăturilor de tip puncte de interes și a

trăsăturilor de tip momente ale imaginii în aplicații servoing. Evaluarea trăsăturilor de tip

puncte de interes se realizează pe baza criteriilor utilizate în aplicații servoing cum ar fi:

stabilitate, robustețe, repetabilitate și gradul de împrăștiere. Pentru a analiza performanțele


4

trăsăturilor de tip momente ale imaginii s-a propus un nou criteriu de evaluare ce se bazează

pe distanța Hausdorff.

În capitolul 4 intitulat ”Legi de control convenționale” este prezentată arhitectura de

control bazată pe feedback vizual în care dinamica robotului a fost modelată ca un dispozitiv

de mişcare cartesian virtual (Virtual Cartesian Motion Device - VCMD). Pentru

implementarea, testarea și validarea algoritmului de control s-au dezvoltat două simulatoare

cu regulator proporțional bazat pe trăsături de tip puncte de interes și, respectiv, trăsături de

tip momente ale imaginii. Pornind de la aceste simulatoare servoing s-a dezvoltat o arhitectură

de control pentru a controla în timp real mișcarea unui robot manipulator ABB IRB2400 cu 6

grade de libertate.

Capitolul 5 intitulat ”Tehnici de control predictiv pentru sistemele servoing” este

dedicat metodelor de control predictiv utilizate în sistemele servoing vizuale. Pentru a testa și

valida teoria propusă s-a dezvoltat simulatoare servoing ce se bazează pe controlul predictiv.

Folosind arhitectura de control propusă s-a realizat un sistem servoing pentru controlul în

timp real a unui robot manipulator FANUC cu 6 grade de libertate.

În capitolul 6 se prezintă concluziile finale, contribuțiile originale din cadrul tezei,

precum și direcțiile viitoare de cercetare.

1.3. Diseminarea rezultatelor

Rezultatele cercetărilor doctorale au fost prezentate în 13 articole publicate sau

acceptate spre publicare din care: o lucrare într-o revistă cotată ISI cu factor de impact 1.717,

două lucrări în reviste indexate BDI, un capitol în carte publicată la editura ELSEVIER, 7

lucrări la conferinţe cu volume indexate în baze de date internaţionale din care 5 ISI

Proceedings, una la Congresul IFAC 2011 şi una SCOPUS şi două lucrări la conferinţe

internaţionale la care se efectuaează recenzia lucrărilor.

Reviste ISI cu factor de impact

Copoț C., Lazăr C. și Burlacu A., (2011). Predictive Control of Nonlinear Visual

Servoing Systems using Image Moments, IET Control Theory and Applications,

accepted with revisions (cotată ISI, impact factor = 1.717).

Reviste indexate BDI

Copoţ C., Burlacu A., Lazăr C., (2011). Image moments based predictive control for

eye-in-hand servoing systems, Buletinul Institutului Politehnic din Iași, Automatic

Control and Computer Science Section, Tome LVII (LXI), Fasc. 1. (indexată

Zentralblatt)

http://zb.msri.org/ZMATH/serials/en/search/?an=00002662

Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași

5

Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature

Tracking, The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-

64. (indexată PROQUEST-CSA / EBSCO ).

Capitol în carte

Copoț C., Lazăr C. şi Burlacu A. (2011). Nonlinear Model based Predictive Control of

Visual Servoing Systems using Image Moments, editura ELSEVIER, In Press.

Conferinţe cu volume indexate în baze de date internaţionale

ISI Proceedings

Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011). Real-Time Visual Predictive

Control of Manipulation Systems, Proc. of. IEEE 15th

International Conference on

Advanced Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388. (indexată ISI

Proceedings)

Copoț C., Burlacu A. și Lazăr C., (2011). Visual Predictive Control Architecture

based on Image Moments for Manipulators Robots, Proc. of 20th

IEEE Int. Symposium

on Industrial Electronics, Gdansk, Polonia, pag. 963 – 968. (indexată ISI Proceedings)

Copoţ C., Burlacu A., Lazăr C., (2010). Visual control architecture of servoing

systems based on image moments, Proc. of 12th

Int. Conference on Optimization of

Electrical and Electronic Equipment (OPTIM), Braşov, pag.801-806. (indexată ISI

Proceedings)

Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for

evaluation of image moments in servoing applications, Proc. of IEEE Int. Conference

on Intteligent computer Communication and Processing, Cluj-Napoca, pag.255-258.

(indexată ISI Proceedings)

Copoţ C., Burlacu A. şi Lazăr C. (2009). Image Moments Based Visual Control

Algorithm for Servoing Systems, Proc. of IEEE International Conference on

Intelligent Computer Communication and Processing, Cluj-Napoca, pag. 157-160.

(indexată ISI Proceedings)

Congresul IFAC

Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual

Servoing of Robot Manipulators, Proc. of 18th

IFAC World Congress, Milano, Italia,

August 2011, pag. 9464-9469.

SCOPUS

Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011). Real-time Image

Based Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference

on Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.

(indexată SCOPUS/SciTePress)


6

Conferinţe internaţionale la care se efectuaează recenzia lucrărilor

Copoţ C., Burlacu A., Lazăr C. (2010). An image moment based approach for visual

predictive control, Proc. of 14th

Int. Conference on System Theory and Control

(ICSTC), Sinaia, pag.154-159.

Copoț C., Lazăr C. şi Burlacu A. (2009). Image features detection and analysis for

visual servoing applications, Proc. of 17th

International Conference on Control

Systems and Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.

Capitolul 2. Sisteme servoing vizuale

În acest capitol sunt prezentate mai întâi două detectoare de trăsături vizuale:

operatorul Harris şi detectorul SIFT care sunt folosite pentru extragerea trăsăturilor vizuale de

tip puncte de interes. Apoi este descrisă o metodă de calcul a trăsăturilor vizuale de tip

momente ale imaginii. Pentru a modela ansamblul robot-senzor vizual sunt prezentate două

modele: unul multivariabil de tip ARIMAX şi unul cu observer robust pentru perturbaţii. În

continuare este prezentată arhitectura de control bazată pe poziţie şi cea bazată pe imagine.

Aceste metode din sistemele servoing vizuale prezentate în acest capitol sunt ulterior folosite

pentru dezvoltarea contribuțiilor proprii din cadrul tezei.

O trăsătură vizuală de tip punct de interes este o locaţie din planul imaginii în care

funcţia imagine are variaţii pe cel puţin două direcţii. Aceasta înseamnă că punctul detectat

poate fi un punct de interes și totodată poate fi un punct izolat al unui minim sau maxim local,

terminaţiile unei muchii sau punctul în care curbura unei curbe atinge un maxim local. Un colţ

poate fi definit ca intersecţia a doua muchii. Ca o consecinţă, dacă un singur punct de interes

este detectat, este necesar să se facă o analiză locală pentru a determina punctele de interes

reale.

Operatorul Harris se bazează pe utilizarea funcţiei de auto-corelaţie. Acest algoritm a

fost propus pentru prima dată de Moravec, urmând ca ulterior sa fie dezvoltat de către Harris

(Harris şi Stephens, 1988). Algoritmul Harris de detecție a punctelor de interes este format din

două etape: prima constă în calcularea valorilor funcţiilor de autocorelaţie pentru fiecare pixel

din imagine, iar în cea de-a doua se determină valoarea de maxim local a acestei funcţii intr-o

vecinătate definită de utilizator. Pixelii care sunt asociaţi acestor valori de maxim local sunt

consideraţi puncte de interes (colţuri).

În continuare este prezentat algortimul SIFT propus de Lowe (Lowe, 1999; 2003),

algortim ce se compune din patru etape: Detectarea extremelor în spaţiul scalării, Localizarea

trăsăturilor, Determinarea magnitudinii și a orientării pentru fiecare trăsătură, Crearea

descriptorului. Primele două etape sunt utilizate pentru detecţia extremelor din spaţiul

scalărilor şi localizarea cu acurateţe a trăsăturilor, iar următoarele etape pentru determinarea

descriptorului SIFT. Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei

orientări și a unei magnitudini calculate pe baza proprietăților locale ale funcției imagine

(Lowe, 1999).

Momentele au un spectru larg de aplicaţii în analiza imaginii, cum ar fi recunoaşterea

formelor, clasificarea obiectelor, estimarea unei poziţii. Un set de momente calculate pentru o

Capitolul 2 – Sisteme servoing vizuale

8

imagine digitală, în general, reprezintă caracteristicile globale ale imaginii, şi furnizează o

mulţime de informaţii despre diferitele tipuri de trăsături geometrice ale imaginii. Având în

vedere o imagine ca o distribuţie a intensităţii bi-dimensionale, momentele imaginii pot

asigura în mod similar informaţii despre aria imaginii, orientarea imaginii, coordonatele

centrului de greutate. Aceste caracteristici pot fi în continuare utilizate pentru a construi

vectorul trăsăturilor vizuale care sunt invariante la mişcări de translaţie, rotaţie şi scalare ce

pot fi folosite cu succes în aplicații servoing.

Pentru a caracteriza un obiect dintr-o imagine, în (Tahri şi Chaumette, 2005) se

propune folosirea unui set de momente ale imaginii definit prin [ , , , , , ]T

m n n nf x y a .

Primele trei componente ale vectorului trăsăturilor mf reprezintă coordonatele centrului de

greutate normalizate şi aria normalizată care sunt folosite pentru a controla componentele

liniare ale vitezei. Ultimele trei componente sunt combinaţii ale momentelor centrate şi sunt

folosite pentru a controla componentele unghiulare ale vitezei.

În general, un sistem servoing bazat pe imagini este compus din următoarele elemete:

un robot manipulator, un senzor vizual, un regulator bazat pe imagine. În Figura 2.1 este

ilustrată o arhitectură bazată pe imagini pentru roboți manipulatori cu 6 grade de libertate.

Robotul

modelat ca

un VCMD - f

Procesarea imaginiei și extragere trăsăturilor

Regulator bazat pe imagine

+

f

c

v e

Modelul

senzorului vizual

Figura 2.1. Sistem visual servoing pentru controlul roboților

Partea fundamentală a arhitecturii, regulatorul bazat pe imagine necesită informații

apriorice despre comportarea sistemului pentru a putea minimiza eroarea dintre o configurație

curentă a unor tăsături vizuale f și o configurație dorită f . Pentru a modela comportarea în

buclă deschisă a sistemului servoing, trebuie analizate separat cele două entități care formează

partea fixată: robotul manipulator și senzorul vizual. Se consideră în continuare o configurație

de tipul eye-in-hand pentru ansamblul robot-senzor vizual.

Un robot poate fi modelat în două moduri: cinematic și dinamic. Dinamica robotului

reprezintă unul din factorii care influențează cel mai mult performanțele unui sistem servoing

vizual. Pentru acest tip de aplicații un robot manipulator poate fi modelat ca un VCMD. În

(Gangloff și De Mathelin, 2003) se propune utilizarea unui model liniarizat pentru VCMD de

Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași

9

tipul MIMO (multi-input, multi-output). Plecând de la ipoteza că fiecare articulație a robotului

are atașată o buclă de reglare a vitezei, regulatoarele , 1,6iC i corespunzătoare buclelor de

reglare sunt proiectate astfel încât să asigure decuplarea fiecărei articulații, lucru valabil

pentru majoritatea roboților manipulatori.

În cazul sistemelor servoing bazate pe feedback vizual vitezele articulațiilor sunt

controlate individual, iar regulatoarele , 1,6iC i sunt proietate astfel încât să elimine

efectele neliniare generate de perturbații. Modelul discret liniarizat pentru VCMD este descris

de:

1

1 1

2

( )( ) 1 r r

VCMD

J G s JG z z

s

, (2.1)

unde reprezintă transformata z.

În (Gangloff și De Mathelin, 2003) dinamica senzorului vizual este modelată cu

întârzieri pure. Folosind modelul senzorului vizual împreună cu modelul VCMD şi cunoscând

postura iniţială a camerei notată cu 0x , se poate realiza o structura de control din Figura 2.2

care ulterior poate fi aplicată cu succes în aplicații servoing de timp real.

+

_

1qv*1qv

C1

+

_ C6

6qv *6qv

1rJ ZOH

* ( )c kv * ( )c tv *qv

rJ qv

RbI

Modelul

camerei

Extragerea

trăsăturilor

1

s

( )c kx e f

( )f k

0x

_

VCMD

Senzorul visual (2z )

Bucla internă de viteză

cv ( )c tx

Figura 2.2. Structura de control pentru un sistem servoing

O altă metodă ce poate fi folosită pentru a modela dinamica unui robot manipulator

este prezentată în (Fujimoto, 2003). Metoda propusă pentru modelarea VCMD-ului implică

folosirea unui observer bazat pe perturbații (DOB – eng. disturbance observer) pentru a

estima mișcarea obiectului de la o perioadă de eșantionare la următoarea. Pentru a realiza un

sistem decuplat pentru bucla internă de viteză se pornește de la considerația că fiecare

articulaţie este decuplată pentru o frecvenţă mai mică decât frecvenţa de tăiere a DOB.

Considerând regulatorul de viteză ca fiind o matrice diagonală:


10

{ , , , }v v v vdiag k k kK , (2.2)

și tinând cont că regulatoarele buclelor de reglare sunt de tip proporțional, bucla internă de

viteză a sistemului poate fi modelată în regiunea frecvențelor mai mici decât frecvența de

tăiere. Modelul discret al VCMD-ului este:

1 1 2( ) 1 ( ) /VCMDG z z G s s , (2.3)

În cazul acestei abordări, ca și în cea prezentată anterior, senzorul vizual este modelat

ca un element cu timp mort. Structura de control atașată unui sistem servoing atunci când

dinamica robotului este modelată folosind DOB este ilustrată în Figura 2.3.

+ _

f

RbI Robotul

ca DOB ZOH

* ( )c kv Kv

1rJ

rJ

e * ( )c tv

+

_

*cv

+ _

q

( )f k

0x

*q ( )c tv

VCMD

Modelul

camerei

Extragerea

trăsăturilor

Senzorul visual

1

s

( )c tx ( )c kx

Figura 2.3. Structura de control a unui sistem servoing când robotul este modelat

folosind DOB

Pentru o comportare optimă a sistemului vizual servoing se impune şi o alegere

adecvată a trăsăturilor vizuale utilizate în astfel de aplicaţii. Prima condiţie necesară este să ne

asigurăm că matricea de interacţiune ataşată trăsăturilor vizuale nu este singulară. Sistemele

de control bazate pe feedback vizual sunt neliniare și prezintă dinamică cuplată. Pentru

proiectarea unei arhitecturi de control decuplată, matricea de interacțiune trebuie să fie

diagonală pentru a realiza decuplarea celor 6 componente ale vitezei, (Tahri şi Chaumette,

2005).

Ştiind că viteza unei trăsături punctiforme 2D ( , )Tx yx poate fi scrisă astfel:

c xx L v , (2.4)

unde xL reprezintă matricea de interacţiune raportată la x şi cv viteza spaţială a camerei,

matricea de interacţiune pentru un punct x de coordonate (x, y) este:


11

2

2

1/ 0 / (1 )

0 1/ / 1

Z x Z xy x y

Z y Z y xy x

xL , (2.5)

unde Z este adâncimea punctului relativ la cadrul camerei. Pentru un set de momente ale

imaginii [ , , , , , ]Tm n n nf x y a matricea de interacţiune fL se calculează folosind

relaţia:

11 12

21 11

31 32

1 0 0 (1 )

0 1 0 (1 )

0 0 1 0

0 0 0 0

0 0 0 0

0 0 0 1

m

n n n

n n n

f

x y

x y

x y

a e a e y

a e a e x

e e

L (2.6)

Cele mai utilizate metode de a genera semnalul de control pentru roboti este folosirea

controlului proportional (Papanikolopoulous şi Khosla, 1993; Hashimoto et al., 1996). Într-

un sistem servoing vizual viteza camerei rezultă în urma minimizării unei funcţii eroare

definită în planul imaginii (Hafez, și Jawahar, 2007).

Întrucât comanda pentru controlerul robotului este definită de c

v şi dorindu-se o

descreştere exponenţial negativă a erorii de tipul e e , se obţine următoarea lege de

control:

c f e v L , (2.7)

unde 1

T Tf f f f

L L L L este pseudo-inversa matricei fL . Deoarece, în sistemele servoing

vizuale reale, distanţa Z dintre punctele de interes şi sistemul de referinţă ataşat camerei nu

este cunoscută cu exactitate, ea trebuie estimată. În (Chaumette şi Hutchinson, 2006) se

propune următoarea formă a matricei de interacţiune *1

2f f f L L L .

Datorită unor probleme întâlnite în sistemele servoing cum ar fi impunerea unor

restricţii de vizibilitate și în scopul de a îmbunătăți performanțele legilor de control bazate pe

imagine au fost adaptate diferite tehnici avansate de control (Perez-Vidal et al., 2009).

Principala problemă a sistemelor servoing bazate pe controlul predictiv este de a dezvolta un

predictor adecvat, deoarece acest model global neliniar generează dificultăți în dezvoltarea

predictorului. Pentru a elimina aceste probleme, în (Lazăr și Burlacu, 2008; Lazăr și Burlacu,


12

2009) s-a propus utilizarea unui model local bazat pe relația dintre variația în timp a

trăsăturilor vizuale f și viteza camerei cv pentru a prezice evoluția trăsăturilor vizuale în

planul imaginii.

Acest predictor este folosit în cadrul tezei pentru proiectarea unei arhitecturi bazată pe

controlul predictiv și în același timp constituie baza predictorilor trăsăturilor de tip momente

ale imaginii dezvoltați în Capitolul 5. Acest tip de predictori propuşi în cadrul tezei de

doctorat sunt utilizaţi în proiectarea arhitecturilor de control predictiv bazate pe momente ale

imaginii.

În literatura de specialitate există diferite simulatoare ale arhitecturilor servoing, aceste

simulatoare fiind dezvoltate cu scopul de a simula controlul unui robot manipulator. Un

toolbox pentru sistemele servoing dezvoltat în mediul Matlab (Visual Servoing Toolbox) ce

cuprinde principalele arhitecturi de control a fost realizat la Universitatea Jaume I (Cervera,

2003). Acest simulator permite utilizatorului să proiecteze legi de reglare utilizând trăsături

vizuale de tip punct de interes pentru a controla mişcarea unei camere montate pe braţul

efector al unui robot manipulator, fără a lua în considerare modelul dinamic al robotului.

Trăsăturile vizuale utilizate reprezintă coordonate sintetice în planul imaginii alese de

utilizator. Prima etapă reprezintă setarea unei poziţii şi a orientării de start a camerei. A doua

etapă constă în alegerea numărului de vârfuri ale unui poligon ce va simboliza conturul unui

obiect virtual. Folosind o interfaţă dedicată, denumită vsbrowser, utilizatorul setează

configuraţia dorită. Utilizând simulatorul descris de schema Simulink (Figura 2.4) se pot

calcula componentele vitezei necesare minimizării erorii dintre configuraţia dorită şi

configuraţia curentă a trăsăturilor vizuale de tip punct de interes.

Figura 2.4. Schema simulink pentru IBVS cand modelul robotului este 1

Acest toolbox reprezintă baza simulatoarelor ce au fost dezvoltate în cadrul tezei şi

care vor fi prezentate în Capitolele 4 și 5. Simulatoarele dezvoltate sunt utilizate pentru a

analiza performanțele sistemelor servoing folosind fie trăsături de tip puncte de interes, fie

trăsături de tip momente ale imaginii pentru a legea de reglare.

Capitolul 3. Analiza performanţelor trăsăturilor vizuale utilizate

în aplicaţii servoing

Analiza proprietăţilor obiectelor ce compun o imagine poate fi realizată utilizând

diferitele tipuri de trăsături vizuale ce pot fi extrase în urma procesării imaginii la nivel de

pixel. O importantă aplicaţie a trăsăturilor vizuale o constituie utilizarea lor în sisteme visual

servoing ce permit controlul mişcării roboţilor. Performanțele trăsăturilor vizuale în aplicațiile

de tip servoing sunt relevante în raport cu performanțele sistemelor de control. Deși, în

literatura de specialitate există multiple criterii de evaluare a performanțelor trăsăturilor

vizuale pentru diferite aplicații, pentru aplicațiile de tip servoing criteriile de evaluare sunt

foarte rare (Lazăr și Burlacu, 2007; Schmid et al., 2000). Aceste criterii sunt folosite pentru a

evalua performanțele trăsăturilor de tip punct de interes, în literatura de specialitate neexistând

un criteriu de evaluare a trăsăturilor de tip momente ale imaginii în aplicații servoing. Astfel,

pentru a analiza calitatea momentelor imaginii derivate din puncte de interes utilizate în

aplicații servoing în cadrul tezei de doctorat (Burlacu et al., 2010) s-a propus un nou criteriu

ce poate fi folosit pentru a evalua calitatea trăsăturilor de tip momente ale imaginii în aplicații

servoing.

În acest capitol sunt prezentate implementările operatorilor de detecţie Harris şi SIFT

a trăsăturilor vizuale de tip puncte de interes. În continuare am analizat performanţele acestor

tipuri de trăsături vizuale folosind criteriile de evaluare utilizate în aplicaţiile servoing de tipul

repetabilitate şi gradul de împrăştiere. Pentru evaluarea trăsăturilor vizuale de tip momente ale

imaginii am dezvoltat un nou criteriu de evaluare bazat pe distanţa Hausdorff. Acest criteriu

ce utilizează momente ale imaginii permite atât o analiză cantitativă cât și calitativă a

punctelor de interes detectate, realizându-se astfel o analiză mai complexă a punctelor de

interes ce caracterizează starea unui obiect. Aceste trăsături vizuale sunt utilizate în capitolele

4 şi 5 pentru dezvoltarea arhitecturilor de control.

3.1. Evaluarea trăsăturilor punctiforme

Considerând o secvenţă de imagini reale obţinută cu un sistem servoing real (Figura

3.1), performanţele algoritmilor Harris şi SIFT ce au fost implementați în acest capitol sunt

evaluate folosind un criteriu ce se bazează pe răspândirea trăsăturilor (Lazăr și Burlacu,

2007). Pentru achiziţonarea imaginilor s-a folosit un robot ABB cu 6 grade de libertate având

o configuraţie de tipul eye-in-hand şi un obiect rectangular. Secvenţa de imagini este compusă

Capitolul 3 – Analiza performanțelor trăsăturilor vizuale utilizate în aplicații servoing

14

din 54 de cadre, fiecare cadru având dimensiunea de 640x480, cadrele fiind obţinute prin

eşantionarea semnalului vizual la o perioadă de o secundă. Au fost considerate condiţii

diferite de achiziţionare a cadrelor pe parcursul întregii secvenţe. Astfel sunt prezente

modificări în planul imaginii datorate diferitelor stagii de scalare şi translare ale obiectului.

Figura 3.1. Achiziţia imaginilor folosind robotul ABB

Detectoarele SIFT şi Harris sunt folosite pentru a extrage trăsăturile vizuale din fiecare

imagine din secvenţă. În Figura 3.2 sunt prezentate trei cadre din secvenţa de imagini ce a fost

achiziţionată cu un sistem servoing real.

.... ...

Figura 3.2. Secvenţa de imagini achiziţionată cu sistemul servoing real

Performanţele sunt analizate comparând trăsăturile vizuale din fiecare imagine cu

trăsăturile caracteristice poziţiei dorite, cea de prindere a obiectului ţintă. Prima imagine din

secvenţă reprezintă poziţia de start, iar ultima imagine din secvență reprezintă configurația

dorită. Utilizând criteriul dezvoltat de (Lazăr și Burlacu, 2007), mai întâi se calculează

descriptorii bazaţi pe momente ale imagini, şi apoi se calculează rata de repetabilitate pentru

fiecare descriptor raportat la cadrul dorit.

Pentru descrierea trăsăturilor punctiforme sunt utilizaţi următorii decriptori bazaţi pe

momentul 1m şi pe momentele centrate 2 , 3 şi 4 (Sonka et al., 1998):


15

2

2

432/3

2

32

1

2/1

21

)(,

)(,

)(

FF

mF . (3.1)

Cu ajutorul descriptorilor 321 ,, FFF se poate calcula rata de repetabilitate pentru un

cadru j dintr-o secvenţă de imagini cunoscând descriptorul D

iF corespunzător cadrului final

(Lazăr şi Burlacu, 2007):

DjiF

FR

D

j

j

i

i

i ,1,3,1, . (3.2)

O evaluare globală a descriptorilor iF este posibilă dacă sunt grupaţi într-un vector

descriptor:

T

j jjjFFF ],,[ 321 . (3.3)

Analiza convergenţei vectorilor descriptori către d în raport cu diferite condiţii de

achiziţionare a imaginilor poate fi realizată dacă se utilizează distanţa Mahalanobis:

2/11 )]()[(),( dj

T

djdjM Cdj

, (3.4)

unde C este o matrice de covarianţă. Distanţa Mahalanobis este fundamentală pentru analiza

gradului de răspândire a trăsăturilor punctiforme dintr-o secvenţă de imagini raportat la cadru

final şi în diferite condiţii de achiziţionare

Răspunsul gradului de răspândire bazat pe distanţa Mahalanobis se poate vizualiza în

Figura 3.3, iar rata de repetabilitate este prezentată în Figura 3.4.

Figura 3.3. Gradul de împrăștiere


16

Pentru o bună comportare a trăsăturilor punctiforme în aplicaţii servoing, gradul de

împrăștiere trebuie să fie cât mai aproape de 0. După cum se poate observa în Figura 3.3,

trăsăturile extrase cu ajutorul detectorului SIFT sunt mai robuste pentru acest tip de obiect în

comparație cu trăsăturile extrase utilizând operatorul Harris. În cazul unei secvenţe de

imagini, putem spune că un set de trăsături vizuale sunt robuste dacă rata repetabilităţii este

apropiată sau egală cu 1.

Figura 3.4. Rata repetabilităţii pentru descriptorii F1, F2, F3

O analiză a rezultatelor experimentale arată că trăsăturile extrase cu operatorul Harris

au o calitate scăzută pentru aplicaţiile de tip servoing. Aşa cum se poate observa din

experimente, rezulatele obţinute cu detectorul SIFT au un comportament mai bun pentru

aplicaţii servoing chiar dacă apar schimbări ale scalei în secvenţa de imagini. Din Figura 3.4

se poate observa că variaţia descriptorilor este mai mare pentru operatorul Harris în

comparaţie cu detectorul SIFT. În urma testelor efectuate, rezultatele arată ca ambele

detectoate pot fi aplicate în aplicaţii servoing, dar în cazul repetabilităţii detectorul SIFT a

obţinut performanţe mai bune pentru acest tip de obiect.

3.2. Evaluarea trăsăturilor de tip momente ale imaginii

Momentele imaginii reprezintă una dintre metodele cele mai recente utilizate pentru a

descrie forme (obiecte) simple sau complexe. Din literatura de specialitate este cunoscut

faptul că momentele imaginii sunt în primul rând invariante la translaţie, dar de asemenea,

sunt şi momente ce prezintă proprietăti precum invarianţa la transformări de translaţie, rotaţie

şi scalare ale imaginii (Brunelli, 2009). În literatura de specialitate sunt foarte puţine criterii

de evaluare a trăsăturilor vizuale pentru aplicaţii de tip servoing, şi în special de evaluarea a

momentelor.

În cadrul cercetărilor doctorale am dezvoltat un criteriu nou de evaluare a

performanţelor momentelor pentru aplicaţii servoing. Pentru a analiza calitatea momentelor

imaginii derivate din puncte de interes se consideră o secvenţă de imagini achiziţionată pe

parcursul unui task servoing, deci pentru fiecare imagine din secvenţă se extrag punctele de

interes folosind operatorul Harris, iar apoi aceste trăsături punctiforme sunt folosite pentru a

calcula momentele imaginii ( )mf t .


17

Fie { ( ) [ , , , , , ] , 1, }Tm n n nX f t x y a t p ansamblul de momente ale imaginii

corespunzător ansamblului punctelor de interes { ( ), 1, }M f t t p , unde p reprezintă

numărul de cadre din secvenţă. Pentru a obţine o măsură de evaluare a momentelor imaginii

similară cu stabilitatea punctelor de interes, se analizează distanţa Hausdorff (Munkres, 1999)

dintre X şi X :

21,1,

max min ( ) ( )j pi p

X i X j

, (3.5)

unde 2

este norma Euclideană, iar X reprezintă un ansamblu de momente ale imaginii

pentru o comportare ideală, adică pentru cazul în care procentajul stabilităţii este 100% .

Trebuie specificat faptul că dacă există două seturi de parametri 1 2 care implică

1 2( ) ( ) , atunci 1 2( ) ( ) . Funcţia ( ) reprezintă variaţia stabilităţii pentru un set

de parametri şi este definită ca:

( ) ( ) ( ) , (3.6)

unde reprezintă un set de parametrii pentru care 100% .

Dacă pentru fiecare cadru din secvenţă se atasează o formă convexă corespunzătoare

punctelor de interes detectate, atunci conţinutul de informaţie se poate analiza din punct de

vedere geometric. Forma convexă ataşată punctelor de interes detectate reprezintă pseudo-

forma obiectului. Într-o aplicaţie servoing pot fi considerate două situaţii: una dintre ele este

atunci când pe parcursul unei secvenţe de imagii dispare un punct de interes care nu aparţine

acoperirii convexe. În acest caz, dacă 1 2( ) ( ) , atunci 1 2( ) ( ) . Cea de-a doua

situaţie întâlnită în aplicaţiile servoing este atunci când dispare un punct ce aparţine acoperirii

convexe. Dacă pentru setul de parametrii 1 dispar puncte ce nu aparţin acoperirii convexe,

iar pentru setul de parametrii 2 dispar puncte ce aparţin acoperirii convexe şi

1 2( ) ( ) , atunci 1 2( ) ( ) .

O evaluare mai bună a calităţii punctelor de interes care descriu obiectul poate fi

obţintă prin șiftarea distanţei Hausdorff corespunzătoare momentelor imaginii. Având o

secvenţă de imagini cu o anumită rată de stabilitate, apoi pentru fiecare cadru t , exceptând

primul şi ultimul cadru se consideră cadrele vecine 1t şi 1t . Aceste trei cadre va forma o

nouă secvenţă pentru care se va calcula distanţa Hausdorff corespunzătoare momentelor

imaginii:


18

21,11,1

( ) max min ( ) ( ) , 2, 1ji

t X t i X t j t p

. (3.7)

Această distanţă permite analiza secvenţei de imaginii şi stabilirea faptului dacă într-

un cadru din secvenţă există puncte care dispar.

Pentru a evalua performanţele momentelor imaginii derivate din puncte de interes

pentru aplicaţii de tip servoing, s-a considerat o configuraţie eye-in-hand. Secvenţa de imagini

a fost achiziţonată folosind un robot ABB cu 6 grade de libertate ce are o camera Sony

montată pe efector. Secvenţa de imagini ce a fost achiziţionată reprezintă mişcarea efectorului

spre o poziţie dorită. Primul cadru din secvenţă reprezintă poziţionarea dorită a camerei faţă

de obiect, în timp ce ultimul cadru reprezintă configuraţia iniţială a camerei. În Figura 3.5

sunt ilustrate (cu cerculeţ roşu) punctele de interes detectate cu operatorul Harris pentru cazul

în care procentajul stabilităţii este de 83%, iar punctele de interes ce dispar sunt atât puncte

din interiorul formei convexe, cât şi puncte ce aparţin formei convexe.

... ...

Figura 3.5. Punctele de interes extrase cu operatorul Harris când 83%

În Figura 3.6 este prezentată distanţa Hausdorff shiftată pentru cazul în care

procentajul stabilităţii este de 83% (linie roşie) şi punctele de interes ce dispar influenţează

geometria obiectului, în timp ce pentru un procentaj al stabilităţii de 66% în care punctele de

interes ce dispar nu influenţează forma ataşată obiectului, distanţa Hausdorff este descrisă

printr-o linie albastră punctată .

1 2 4 6 8 10 12 14 150

5

10

15

20

25

30

35

40

45

cadru

Dis

tan

ta H

au

sd

orf

f sifta

ta

Figura 3.6. Distanţa Hausdorff șiftată corespunzătoare momentelor calculate pentru două

seturi de puncte de interes (două seturi diferite de parametrii, 1 şi 2 )


19

Analizând Figura 3.6 se poate observa faptul că, chiar dacă procentajul stabilităţii este

mai mare pentru setul de parametrii 1 ( 83% ) decât în cazul setului de parametrii

2

( 66% ), distanţa Hausdorff este mai mare pentru 83% deoarece punctele de interes ce

dispar în acest caz influenţează geometria obiectului. Un alt experiment a fost realizat

considerând un singur set de parametrii . Dacă variaţia stabilităţii este constantă, atunci

pentru a evalua calitatea punctelor de interes trebuie analizată distanţa Hausdorff (Figura 3.7)

corespunzătoare momentelor imaginii derivate din punctele de interes.

1 2 4 6 8 10 12 14 160

10

20

30

40

50

60

70

80

90

cadru

Dis

tanta

Hausdorf

f

Figura 3.7. Distanţa Hausdorff

Este evident că în al doilea cadru din secvenţă punctele de interes ce dispar sunt

puncte esenţiale, adică influenţează forma geometrică a obiectului. O altă situaţie similară este

prezentă în cadrul 7 din secvenţa de imagini. Ceea ce nu poate fi analizat cu distanţa

Hausdorff este dacă pentru cadrele 3-7 şi 7-16 punctele ce dispar sunt esenţiale sau nu.

Singura soluţie este aceea de a analiza distanţa Hausdorff șiftată corespunzătoare momentelor

imaginii drivate din puncte de interes.

Folosind noul criteriu ce se bazează pe distanţa Hausdorff corespunzătoare

momentelor imaginii derivate din puncte de interes se poate realiza o analiza mai complexă a

punctelor de interes detectate. Acest criteriu ce utilizează momente ale imaginii pentru a

calcula distanţa Hausdorff permite atât analiza cantităţii cât şi a calităţii punctelor de interes

detectate, astfel realizându-se o evaluarea mai eficientă a performanţelor trăsăturilor vizuale

folosite pentru a caracteriză starea unui obiect. În urma implementărilor şi testărilor pe care

le-am realizat rezultă că trăsăturile vizuale bazate pe momente ale imaginii prezintă un

comportament mai robust pentru aplicaţiile servoing decât trăsăturile punctiforme.

Capitolul 4. Legi de control convenţionale

Comportarea sistemelor servoing vizuale este în principal influențată de tipul

trăsăturilor vizuale utilizate pentru a genera legea de control și de forma legii de control.

Deoarece legile de control bazate pe feadback vizual variază în raport cu numărul punctelor

ce descriu obiectul, trăsăturile vizuale utilizate în proiectarea legilor de control trebuie să aibă

proprietăți bine define cum ar fi: stabilitate, robustețe, acuratețe. Aceste proprietăți au fost

analizate folosind criteriile de evaluare din Capitolul 3.

În acest capitol sunt prezentate arhitecturile de control bazate pe feedback vizual ce au

fost proiectate folosind trăsăturile vizuale detectate în capitolul anterior tinînd cont şi de

dinamica robotului manipulator. În literatura de specialitate există diferite metode propuse

pentru a modela dinamica unui manipulator, două dintre aceste metode au fost prezentate în

Capitolul 2. Dintre aceste metode, pentru dezvoltarea unei arhitecturi de control bazată pe

imagine a fost considerat un model dinamic diagonal de tip VCMD. Folosind modelul

dinamic al robotului și o lege de reglare proporțională au fost dezvoltate simulatoare servoing

ce utilizează fie trăsături punctiforme, fie trăsături de tip momente ale imaginii pentru a

controla mișcarea unui robot manipulator. Spre deosebire de legile de reglare proporţionale

existente în literatura de specialitate, legea de reglate utilizată în proiectarea arhitecturilor de

control include şi dinamica robotului. Plecând de la arhitectura de control ce a fost dezvoltată

pentru aceste simulatoare s-a realizat o arhitectură de control propusă pentru a controla

mișcarea unui robot manipulator în timp real. Această arhitectură de timp real folosește

trăsături vizuale de tip punct de interes extrase cu implementarea operatorilor Harris şi SIFT

prezentată în capitolul 3. În acest capitol s-au utilizat atât trăsături de tip punct de interes cât și

trăsături de tip momente ale imaginii pentru proiectarea unor legi de reglare proporționale

bazate feadback vizual.

Considerând viteza de referinţă a camerei c

v ca fiind semnalul de comandă pentru

controller-ul robotului, se obține următoarea lege de control:

1 1( ) ( )c fG z f t f v L . (4.1)

În relația (4.1), f

L este o forma de inversare generalizată ce poată denumirea de

pseudo-inversa matricii fL și este definită astfel:

Capitolul 4 – Legi de control convenționale

22

1

T Tf f f f

L L L L . (4.2)

Dacă trăsăturile vizuale sunt de tip momente ale imaginii, legea de control pentru

regulatorul proporțional bazat pe imagini este:

1 1( ) ( )mc f m mG z f t f v L , (4.3)

unde mf

L este pseudo-inversa matricii mf

L .

În comparaţie cu legile de control proporţionale din literatura de specialitate, legea de

control defintă de relaţiilea (4.1) şi (4.3) include inversa matricei 1( )G z . Această matrice

reprezintă modelul dinamic diagonal de tip VCMD corespunzător robotului manipulator.

Pornind de la toolboxul dezvoltat de Cervera (Cervera, 2003) s-a realizat simulatorul

servoing din Figura 4.1 ce utilizează trăsături punctiforme pentru a proiecta legea de reglare şi

include modelul dinamic al robotului. Spre deosebire de simulatorul dezvoltat de Cervera,

acest simulator include şi dinamica robotului repezentată prin blocul „VCMD‟ din Figura 4.1.

În sistemele servoing, modelul dinamic al unui robot manipulator poate fi definit ca un

VCMD (eng. Virtual Cartesian Motion Device). Prin extinderea simulatorului realizat pentru

trăsături punctiforme s-a realizat nou simulator care permite utilizarea trăsăturilor vizuale de

tip momente ale imaginii şi introduce un model al robotului. Acest simulator are o

funcționalitate similară cu cea a simulatorului dezvoltat pentru puncte de interes, însă, în acest

caz, pentru proiectarea regulatorul proporțional bazat pe imagine s-au luat în considerare

trăsături vizuale de tip momente ale imaginii.

(0)c

bT

Perspective

projection2

Homog1

Homog2

Perspective

projection1

Initial

position

* *

cP Z

cP f

Depth

extraction1

bP *

*

(0)

b

c

c

b

P

P

T

Desired

configuration f

Z

f

L

f

Z

f

L f

f

L

LL

L

( )f f k Camera view

(0)c

bT

(0)

( )

( )

c

b

c

b

c

T

T k

kv

_ +

Proportional

Control Law

VCMD Frame Motion

( )

( )c

e k

kv

LL

( ) ( )c ck kv v

Desired interaction

matrix

Current interaction

matrix

Pseudo-inverse

(0)b

P

cP f

(0)

( )

( )

b

c

c

b

P

P k

T k

cP Z

O. B.

Figura 4.1. Structura de control pentru IBVS ce include modelul robotului

Principala problemă a sistemelor servoing este de a asigura stabilitatea și robustețea

legii de control ținând cont de restricţiile dinamice ale robotului manipulator și în același timp

de configurația mediului de lucru. Implementarea în timp real a unor astfel de structuri de


23

control bazate pe feedback vizual este foarte dificilă datorită accesului limitat asupra

componentelor low level ale unui robot manipulator (ex: motoarele articulaților). Datorită

acestui impediment este necesară o metodă pentru extinderea capacității controlerului

robotului. Acestă extindere trebuie realizată luând în considerare și perioadele de timp

necesare pentru comunicare dintre calculator și controlerul robotului, pentru procesarea

imaginii și generarea legii de control.

Pornind de la sistemul de vedere artificială pentru comanda roboţilor, Opti-Master,

existent în laboratorul de Robotică și Inteligență Artificială, în cadrul tezei de doctorat s-a

dezvoltat o arhitectură de control prezentată în Figura 4.2 proiectată pentru a controla în timp

real mișcarea unui robot ABB IRB-2400 cu 6 grade de libertate având o configurație eye-in-

hand. Arhitectura propusă este compusă din trei module diferite: Regulatorul bazat pe imagini

(blocul Image based control), Interfațarea cu robotul (blocul Robor driver interface) și

Controlerul robotului (blocul Robot controller) conectate între ele, dar fiecare cu un alt

obiectiv. Utilizând senzorul vizual montat pe ultima articulație a robotului, imaginile sunt

achiziționate și procesate în timp real, și astfel trăsăturile vizuale tip punct de interes sunt

extrase. Una dintre cele mai frecvente probleme întâlnite în aplicațiile de timp real este

lățimea de bandă limitată pentru comunicarea dintre senzorul vizual și robot, introducând

astfel întârzieri în bucla închisă a sistemului. Cu scopul de a obține o lățime de bandă

suficientă, o extensie a controlerului robotului ABB IRB-2400 (ABB S4CPlus) a fost propusă

în (Blomdell et al., 2005), dar care nu ia în considerare aplicațiile de tip servoing. Folosind

interfața cu robotul dezvoltată în cadrul tezei, capacitățile controlerului ABB S4CPlus sunt

extinse permițând interacțiunea low-level dintre controlerul robotului și un calculator luând în

calcul aplicațiile de tip servoing. Pentru a controla mișcarea unui robot manipulator ABB cu 6

grade de libertate s-au utilizat trăsături vizuale tip puncte de interes extrase cu ajutorul

operatorilor de detecţie Harris şi SIFT prezentaţi în capitolul 2.

Figura 4.2. Arhitectura de control

Pentru a avea o comunicare directă între mediul de lucru Matlab ce implementează

regulatorul bazat pe imagini și controlerul robotului s-a realizat o interfață de comunicare


24

(RDI – Robot Driver Interface). Rolul acestei interfețe este de a monitoriza ieșirea

algoritmului de control, de a transmite date programului RAPID și de a returna noua postură a

TCP-ului. Interfața RDI încorporează mai multe module: Interfața cu robotul, modulul

Input/Output și Interfața cu utilizatorul. Interfața cu robotul are ca scop gestionarea

comunicării dintre RDI și controlerul robotului S4CPlus. Utilizând această interfață,

controlerul robotului poate interacționa cu mediul exterior printr-un protocol de tipul TCP/IP.

Arhitectura de control bazată pe feedback vizual (Figura 4.2) dezvoltată în cadrul tezei

a fost testată și validată, în continuare fiind prezentate rezultatele experimentale obținute.

Sistemul servoing (Figura 4.3) este compus din: un calculator pe care rulează algoritmul de

control (label 1), controlerul ABB S4CPlus (label 2), un robot manipulator ABB IRB2400 cu

6 grade de libertate (label 3), un senzor vizual montat pe ultima articulație a robotului (label

4) și o masă de lucru (label 5).

Figura 4.3. Sistemul servoing

Legătura dintre senzorul vizual (label 4) și calculator (label 1) se realizează printr-o

interfață IEEE-1394 (FireWire), iar conexiunea dintre calculator și controlerul robotului (label

2) se realizează utilizând o rețea Ethernet. Imaginile sunt achiziționate folosind o cameră

video Sony XCD-V60CR având următori parametrii intrinseci: dimensiunea unui pixel este de

7.4 7.4m m , iar distanța focală a fost setată la 4.5mm. Acest tip de cameră permite

achiziționarea a 90 fps cu o rezoluție de 640 480 , dar în scopul de a minimiza timpul de

calcul necesar pentru extragerea punctelor de interes s-au achizitionat imagini cu o rezoluție

de 320 240 .

În continuare sunt prezentate rezultatele experimentale obţinute folosind trăsăturile

vizuale extrase cu operatorul Harris pentru proiectarea legii de control. Legea de control

utilizată în acestă lucrare este una de tip proporţional definită de relaţia (4.1). Factorul de

proporţionalitate este determinat experimental ţinând cont de stabilitatea algoritmului, dar şi

viteza cu care converge spre un regim staţionar (un factor de proporţionalitate mare poate

duce la oscilaţii şi instabilitate, iar un factor mic duce la creşterea regimului tranzitoriu).


25

Pentru realizarea acestui experiment, factorul de proporţionalitate este 0.01 , iar 1( )G z

este:

1 1

1 1

1 1

1

1 1

1 1

1 1

80 1 79 0 0 0 0 0

0 80 1 79 0 0 0 0

0 0 80 1 79 0 0 0( )

0 0 0 80 1 79 0 0

0 0 0 0 80 1 79 0

0 0 0 0 0 80 1 79

z z

z z

z zG z

z z

z z

z z

.

Evoluţia trăsăturilor vizuale în planul imaginii este ilustrată în Figura 4.4, unde, cu

verde sunt plotate coordonate de start ale punctelor de interes, referinţa este reprezentată de

piesa efectivă, în timp ce cu roşu sunt reprezentate coordonatele punctelor de interes ce au

fost detectate la fiecare iteraţie.

Figura 4.4. Evoluţia în timp a trăsăturilor din planul imaginii

Descreşterea exponenţial negativă a erorii este oglindită şi de evoluţia similară a

vitezei camerei prezentată în Figura 4.5. Rezultatele experimentale obţinute ilustrează

diferenţele care apar între forma continua ideală, teoretică şi oscilaţiile ce apar în cazul real în

evoluţia vitezelor efectorului.

Figura 4.5. Evoluţia vitezei camerei


26

Un alt experiment a fost realizat folosind trăsăturile vizuale extrase cu ajutorul

detectorului SIFT. În continuare sunt analizate performanţele arhitecturii de control în raport

cu factorul de proporţionalitate. Figura 4.6 ilustrează evoluţia trăsăturilor vizuale în planul

imaginii pentru diferite valori ale factorului de proporţionalitate ( 0.05 şi 0.07 ).

Coordonatele punctelor de start sunt reprezentate cu verde, iar configuraţia dorită este plotată

cu pătrate roşii, în timp ce coordonatele punctelor de interes detectate la fiecare iteraţie sunt

ilustrate cu puncte roşii.

(a) (b)

Figura 4.6. Evoluţia în timp a trăsăturilor din planul imaginii pentru: (a) 0.05 ;

(b) 0.07

Analizând Figura 4.6 se poate obseva cum creşterea factorului de proporţionalitate

duce la o scădere mai rapidă a erorii, a cărei evoluţie este ilustrată în Figura 4.7, şi implicit la

o scădere a regimului tranzitoriu.

Figura 4.7. Evoluţia în timp a erorii pentru 0.05 şi 0.07

Rezultatele experimentale obţinute arată faptul că odată cu creşterea factorului de

proporţionalitate, creşte şi viteze cu care sistemul servoing converge spre un regim staţionar.

Pentru 0.05 sunt necesare 140 de iteraţii pentru a ajunge în configuraţia dorită, iar pentru

cazul în care 0.07 sunt necesare mai puţin de 60 de iteraţii. Aceată descreştere

exponenţială a erorii reflectă evoluţia vitezei camerei ilustrată în Figura 4.8.


27

(a) (b)

Figura 4.8. Evoluţia vitezei camerei pentru: (a) 0.05 ; (b) 0.07

Pentru a proiecta o arhitectură de control bazată pe feedback vizual, dinamica

robotului a fost modelată ca un VCMD. Într-o primă etapă, performanțele sistemului au fost

analizate folosind un regulator proporțional bazat pe imagine ce utilizează fie trăsături de tip

punct de interes, fie trăsături de tip momente ale imaginii pentru a proiecta legea de reglare.

Implementarea, testarea și validarea algoritmului de control a fost realizată prin dezvoltarea

unui simulator pentru sistemele servoing. Pornind de la acest simulator s-a dezvoltat o

arhitectură de control pentru aplicațiile servoing de timp real. Pentru realizarea acestei

arhitecturi s-au folosit trăsături de tip puncte de interes extrase cu operatorii Harris şi SIFT și

un robot ABB-IRB2400 cu o configurație eye-in-hand. Deşi regulatorul proporţional este cel

mai simplu tip de regulator ce poate fi proiectat, rezultatele experimentale indică faptul că

regulatorul proporţional obţine performanţe satisfăcătoare pentru aplicaţii de tip servoing însă,

pentru a îmbunătăţii performanţele sistemului s-a propus implementarea unor regulatoare mai

complexe, cum ar fi regulatorul predictiv. Aceste tehnici avansate de conduce a unui robot

manipulator sunt prezentate în Capitolul următor.

Capitolul 5. Tehnici de control predictiv pentru sistemele servoing

În acest capitol sunt prezentate tehnici de control predictiv ce folosesc fie trăsături de

tip puncte de interes, fie trăsături de tip momente ale imaginii pentru proiectarea legilor de

control. Majoritatea structurilor de control predictiv utilizează trăsături de tip punct de interes

pentru proiectarea legii de control luând în considerare diferite metode de implementare

(Allibert et al., 2010). O primă abordare a strategiei de control predictiv bazată pe momente

ale imaginii a fost propusă în (Copoț et al., 2010b). În acest caz momentele imaginii sunt

calculate dintr-un set de puncte de interes, iar pentru predicția momentelor imaginii s-a

utilizat o extindere a metodei propusă în (Lazăr și Burlacu, 2008). În (Copoț et al., 2011b) s-a

propus o nouă metodă pentru a proiecta legea de reglare direct în spațiul momentelor. Până în

prezent, în sistemele servoing, traiectoria de referință nu a fost luată în considerare în

proiectarea legilor de control predictiv. O primă metodă ce utilizează traiectoria de referință

pentru a genera legea de control (Lazăr et al., 2011) este prezentată în cadrul tezei de doctorat.

În acest caz trăsăturile vizuale sunt de tip punct de interes. Pornind de la această abordare, în

(Copoț et al., 2011c) s-a propus o metodă de control predictiv bazată pe momente ale imaginii

și o traiectorie de referință pentru proiectarea legii de control. Pentru a analiza performanțele

legilor de control am realizat două simulatoare servoing ce implementează arhitecturile de

control predictiv dezvoltate. Plecând de la arhitectura de control ce a fost dezvoltată pentru

aceste simulatoare am realizat o arhitectură de control pentru a controla mișcarea unui robot

manipulator în timp real. Această arhitectură de timp real folosește fie trăsături de tip punct de

interes, fie trăsături de tip momente ale imaginii în proiectarea legilor de control predictiv

5.1. Algoritmi de control predictiv pentru trăsături punctiforme

Arhitectura unui sistem servoing bazată pe controlul predictiv propusă în cadrul tezei

de doctorat pentru a controla mișcarea unui robot manipulator este prezentată în Figura 5.1.

Arhitectura de control conține un regulator predictiv bazat pe imagine (RPbI), un model al

robotului (blocul VCMD) și un model al senzorului vizual (blocul Senzor vizual). Regulatorul

bazat pe imagini este format dinr-un predictor bazat pe un model local (blocul Predictor bazat

pe model local), un generator de traiectorie de referință (blocul Generator traiectorie de

referință) și o funcție de cost ce este minimizată utilizând blocul de optimizare (Lazăr et al.,

2011).

Capitolul 5 – Tehnici de control predictive pentru sistemele servoing

30

Generator

traiectorie de

referinţă

*f Bloc de

optimizare

Senzor

vizual

Predictor

bazat pe

model local

w(k+i|k)

e(k+i|k)

* ( | )c k kv ( )c kv ( )f k

RPbI

f(k+i|k)

restricţii

+ -

VCMD

* ( | )c k i kv

Figura 5.1. Arhitectura unui sistem servoing bazată pe controlul predictiv

Datorită faptului că sistemele servoing conțin atât un model al robotului cât și un

model al senzorului vizual, modelul pentru un astfel de sistem este unul global neliniar.

Principala problemă a sistemelor servoing bazate pe controlul predictiv este de a dezvolta un

predictor adecvat, deoarece acest model global neliniar generează dificultăți în dezvoltarea

predictorului. Pentru a elimina aceste probleme, în (Lazăr și Burlacu, 2008; 2009) s-a propus

utilizarea unui model local bazat pe relația dintre variația în timp a trăsăturilor vizuale f și

viteza camerei cv pentru a prezice evoluția trăsăturilor vizuale în planul imaginii. La fiecare

perioadă de eșantionare sT , senzorul vizual împreună cu un detector de puncte de interes

generează un set de trăsături vizuale ( )f k în planul imaginii. Plecând de la variaţia

trăsăturilor vizuale şi folosind modelul discret al VCMD-ului, se obține predicția pe un pas a

evoluției trăsăturilor vizuale:

1

( )( 1| ) ( ) ( ) ( | )s f k cf k k f k T G z k k L v . (5.1)

În (5.1), notația ( 1| )f k k indică faptul că predicția este calculată la momentul k .

Utilizând (5.1) și un algoritm recursiv se obțin predictorii pentru următorii hp pași:

1

( 1)

1

( 1)

( 2 | ) ( 1| ) ( ) ( 1| )

..............................................................

( | ) ( 1| ) ( ) ( 1| )

..............................................

s f k c

s f k i c

f k k f k k T G z k k

f k i k f k i k T G z k i k

L v

L v

1

( 1)

...............

( | ) ( 1| ) ( ) ( 1| )s f k hp cf k hp k f k hp k T G z k hp k

L v

. (5.2)

În cazul sistemelor servoing bazate pe feedback vizual, referința este definită de

configurația dorită f a trăsăturilor vizuale. Pornind de la o configurație curentă ( )f k a


31

trăsăturilor vizuale, se defineşte traiectoria de referință ce va genera evoluția dorită a lui

( | )f k i k în cadrul orizontului de predicție.

În literatura de specialitate există diverse metode propuse pentru a genera traiectoria

punctelor în planul imaginii într-un sistem eye-in-hand. Pentru generarea traiectoriei de

referință într-un sistem servoing s-a ales planificarea mișcării propusă în (Allotta și

Fioravanti, 2005). Plecând de la ipoteza că ( )f k reprezintă trăsăturile vizuale

corespunzătoare imaginii inițiale kI , f trăsăturile vizuale pentru imaginea finală k hpI și

luând în considerare că obiectul este static și descris de un set de 4 puncte coplanare,

traiectoria de referință variază treptat de la ( )f k calculat la momentul st kT până la f de

la momentul ( ) st k hp T . Fie matricea G reprezentând proiecția homografică dintre

imaginea inițială kI și cea dorită k hpI . Atunci, coordonatele omogene ale trăsăturilor vizuale

, ,1 , 1,T

i iif u v i n

din imaginea dorită pot fi exprimate în raport cu coordonatele

omogene ale trăsăturilor vizuale ( ) ( ), ( ),1T

i iif k u k v k din imaginea inițială.

Pentru a obține evoluția trăsăturile curente ( )f k de la momentul 0t kT până la

trăsăturile dorite f de la momentul ( ) hpt k hp T t , se poate proiecta o secvanță de

matrici G corelată cu o funcție de timp. Acestă secvență poate fi obținută folosind:

1( ) ( )d dq q G KH K , (5.3)

unde ( )q q este o funcție monotonă variind de la (0)q la (1)q , iar matricea ( )d qH trebuie

să indeplinească condițiile: (0)d q H I și (1)d q H H .

În funcție de orizontul de predicție, predictorul aproximează vectorii vitezelor de la

momentul 1k până la momentul k hp . Funcția de cost are o formă pătratică și este

definită de:

1

1 0

1( | ) ( | ) ( | ) ( | )

2

hp huT T

c c

i i

J e k i k e k i k k i k k i k

Q v Wv , (5.4)

unde Q și W sunt matricele de pondere pozitiv definite și simetrice, e reprezintă eroarea, iar

hu orizontul de control. Această funcție este minimizată folosind blocul de Optimizare din

Figura 5.1 și este compusă din erori definite în planul imaginii.

Pentru a asigura existența permanentă a trăsăturilor vizuale în planul imaginii sunt

introduse restricții de vizibilitate asociate dimensiunii imaginii. Aceste restricții sunt introduse

în funcția de cost garantând astfel soluția strategiei de control predictiv. Comanda se obține


32

prin minimizarea funcției de cost definită de relația (5.4). Folosind funcția fmincon din mediul

de lucru Matlab și tinând cont de restricțiile introduse se generează comanda c

v .

Pentru a analiza performanțele strategiei de control predictiv bazate pe puncte de

interes într-o aplicație de tip servoing s-a realizat simulatorul servoing din Figura 5.2 folosind

arhitectura de control (Figura 5.1) prezentată anterior. Acest simulator a fost implementat în

mediul de lucru Matlab plecând de la simulatorul dezvoltat de Cervera (Cervera, 2003). Spre

deosebire de simulatoarele prezentate în Capitolul anterior, simulatorul din Figura 5.2

utilizează un regulator predictiv dezvoltat în cadrul tezei de doctorat pentru a controla

mișcarea unui robot manipulator cu 6 grade de libertate. Regulatorul predictiv bazat pe

imagini este compus dintr-un predictor (blocul ‟Predictor‟), un generator de traiectorie de

referinţă (blocul ‟Reference trajectory‟) şi o funcţie de cost ce este minimizată cu ajutorul

unui bloc de optimizare (blocul ‟Optimization block‟).

(0)c

bT

Camera view

Perspective

projection2

Depth

extraction2

Homog2

Homog1 Perspective

projection1

* ( )f f k

Initial

position

* *

cP z

* *

cP f

Depth

extraction1

( )k

z

L

f k

*

*

*

z

L

f

cP z

(0)bP

bP

cP f (0)

( )

( )

b

cc

b

PP k

T k

*

*

(0)

b

cc

b

P

P

T

Desired

configuration

_

+

*( | )

( )

fw k i k

f k

*

k

k

L

LL

Constraints

Frame Motion

(0)

( )( )

c

bc

b

c

T

T kv k

(0)c

bT

( ) ( )c cv k v k

VCMD

( | ) ( )ce k i k v k

Predictor

Reference

trajectory

Optimization

block

IbPC

Cost

function

( ) ( | )

( | )

k

c

Lf k f k i k

v k i k

Figura 5.2. Simulator control predictiv – puncte de interes

Analizând Figurile 5.3, 5.4 și 5.5 se pot evalua rezultatele obținute prin utilizarea

simulatorului dezvoltat pe baza strategiei de control predictive propuse. În cazul regulatorului

proporțional bazat pe imagine, taskul servoing nu este îndeplinit (nu poate converge către

configurația dorită) deoarece o parte din punctele ce definesc obiectul părăsesc planul

imaginii și astfel algoritmul de control este oprit (Figua 5.3). Datorită restricțiilor de

vizibilitate introduse, chiar dacă nu este impusă o referință a traiectoriei, regulatorul predictiv

este capabil să încheie cu succes taskul servoing (Figura 5.4).


33

(a) (b)

Figura 5.3. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul

proporțional

(a) (b)


predictiv

(a) (b)


predictiv folosind traiectoria de referință


34

Din Figura 5.3 se poate observa comportarea oscilatorie a sistemului servoing atunci

când traiectoria referinței nu este luată în calcul. Această comportare oscilatorie necesită și un

efort de reglare mai mare, lucru nedorit în cazul unei structuri de control. O comportare mult

mai lină se obține când se impune o referință a traiectoriei (Figura 5.5). Chiar dacă sunt

necesare mai multe iterații pentru a converge către configurația dorită, datorită comportării

sale, acestă arhitectură de control poate fi aplicată cu succes și în aplicațiile de timp real ale

sistemelor servoing.

5.2. Algoritmi de control predictiv pentru momente ale imaginii

În continuare sunt prezentate două metode dezvoltate în cadrul tezei de doctorat pentru

a calcula predicțiile trăsăturilor vizuale de tip momente ale imaginii. Dacă prima abordare

pentru calcul predicției momentelor imaginii folosește predictorul bazat pe puncte de interes

(Copoț et al., 2010b), cea de-a doua abordare calculează predicția momentelor imaginii direct

în spațiul momentelor utilizând un predictor bazat pe momente ale imaginii (Copoț et al.,

2011a; 2011b; 2011c).

Pornind de la predictorul bazat pe puncte de interes descris de ecuația (5.1) și folosind

transformarea care calculează momentele imaginii din puncte de interes, predicția

momentelor imaginii se poate calcula astfel:

ˆ ( | ) ( | ) , 1,mf k i k f k i k i hp , (5.5)

unde ( | )f k i k reprezintă predicția punctelor de interes pentru i paşi de la momentul

k calculată cu ecuațiile (5.1)-(5.2). Ținând cont de structura predictorului bazat pe puncte de

interes și folosind ecuația (5.5) se obține predictorul pentru momente ale imaginii bazat pe

puncte de interes.

Pentru ca legea de reglare să fie descrisă direct în spațiul momentelor imaginii este

necesar dezvoltarea unui predictor bazat pe momente ale imaginii (Copoț et al., 2011c).

Variația în timp a unui set de momente ale imaginii mf în raport cu viteza camerei este dată

de:

mm f cf L v , (5.6)

unde mf

L este matricea de interacțiune corespunzătoare lui mf . Discretizând (5.6) obținem:

( )( 1) ( ) ( )mm m s f k cf k f k T k L v . (5.7)


35

Folosind modelul discret al VCMD-ului împreună cu ecuația (5.7) se obține

predictorul pentru momente ale imaginii descris de următoare relație:

1

( )( 1| ) ( ) ( ) ( | )mm m s f k cf k k f k T G z k k L v . (5.8)

Pentru a proiecta un regulator predictiv bazat pe imaginii este necesar realizarea unui

predictor multi-step. Datorită elemntelor ce formează matricea de interacțiune mf

L și a

faptului că momentele imaginii sunt calculate din puncte de interes, apar probleme în calculul

predicției matricei de interacțiune. O posibilitate de a elimina aceste probleme este de a

considera constantă matricea de interacțiune mf

L peste un orizont de predicție hp , plecând de

la ipoteza că mf

L este o matrice parțial decuplată având schimbări mici în jurul configurației

dorite (Tahri și Chaumette, 2005). Aplicând o metodă recursivă realției (5.8), se obțin

predictorii pentru următorii hp pași:

1

( )

1

( )

( 2 | ) ( 1| ) ( ) ( 1| )

..............................................................

( | ) ( 1| ) ( ) ( 1| )

..............................................

m

m

m m s f k c

m m s f k c

f k k f k k T G z k k

f k i k f k i k T G z k i k

L v

L v

1

( )

...............

( | ) ( 1| ) ( ) ( 1| )mm m s f k cf k hp k f k hp k T G z k hp k L v

, (5.9)

și astfel, predictorul multi-step bazat pe momente ale imaginii este descris de:

1

( )

1

( | ) ( ) ( ) ( | )m

i

m m s f k c

j

f k i k f k T G z k j k

L v . (5.10)

Dacă luăm în considerare și traiectoria de referință, atunci arhitectura de control a

sistemului servoing este descrisă în Figura 5.6.

Generator

traiectorie de

referință

f

VCMD Bloc de

optimizare

Senzor

vizual

Predictor

momente ale

imaginii

w(k+i|k)

e3(k+i|k)

* ( | )c k kv ( )c kv ( )f k

RPbI

fm(k+i|k)

restricţii

+

_

( )mf k

wm(k+i|k)

Predictor bazat pe model local

* ( | )c k i kv

Figura 5.6. Arhitectura de control folosind predictorul bazat pe momente ale imaginii

și traiectoria de referință


36

În cazul momentelor imaginii este imposibil de a genera o traiectorie de referință

direct în spațiul momentelor și de aceea, se utilizează traiectoria de referință corespunzătoare

punctelor de interes, împreună cu transforarea . Astfel, aplicând transformata traiectoriei

de referință ( | )w k i k generată pentru puncte de ineteres, se obține traiectoria de referință

( | )mw k i k în spațiul momentelor imaginii:

Funcția de cost ce trebuie minimizată de blocul de optimizare este defintă de:

1

1 0

1( | ) ( | ) ( | ) ( | ),

2

hp huT T

c c

i i

J e k i k e k i k k i k k i k

Q v Wv (5.11)

și are aceeași formă ca funcția de cost definită pentru cazul în care se folosesc trăsături

vizuale de tip punct de interes pentru a genera legea de reglare.

În cazul în care pentru predicția momentelor imaginii se utilizează predictorul pentru

puncte de interes definit de ecuația (5.5), eroarea este măsurată ca diferența dintre momentele

imaginii predictate ˆ ( | )mf k i k și configurația dorită mf :

1ˆ( | ) ( | ) , 1,m me k i k f k i k f i hp . (5.12)

Dacă pentru a calcula predicția momentelor imaginii se folosește predictorul bazat pe

momente ale imaginii descris de relația (5.10), iar în proiectarea arhitecturi de control nu se

ține cont de traiectoria de referință, atunci eroarea este definită astfel:

2( | ) ( | ) , 1,m me k i k f k i k f i hp . (5.13)

Folosind predictorul bazat pe momente ale imaginii și traiectoria de referință descrisă

în proiectarea arhitecturii de control, eroarea este definită ca:

3( | ) ( | ) ( | ), 1,m me k i k f k i k w k i k i hp . (5.14)

Pornind de la simulatorul dezvoltat pentru puncte de interes și folosind arhitectura de

control descrisă în Figura 5.6 s-a realizat simulatorul servoing din Figura 5.7 pentru momente

ale imaginii . Acest simulator utilizează un regulator predictiv (Copoț et al., 2011c) pentru a

controla mișcarea unui robot manipulator, iar ca trăsături vizuale utilizează un set de momente

ale imaginii [ , , , , , ]Tm n n nf x y a . Ca și celelate simulatoare prezentate anterior, acest

simulator a fost dezvoltat folosind mediul de lucru Matlab.


37

(0)c

bT Perspective

projection2

Homog1

Homog2

Perspective

projection1

Initial

position

* *

c ZP

c p

P f

Depth

extraction1

b

P *

*

(0)

b

c

c

b

P

P

T

Desired

configuration

m

p

Z

fL

f

m

p

p m

Z

fL

f

f f

m

m

k

f

f

L

L

L

Reference

trajectory

Predictor

( ) ( | )

( | )

k

m m

c

k k i k

k i k

L

f f

v

_ +

IbPC

Desired_moments

Current_moments

( | )m k i kw

Constraints

Optimization

block

VCMD

Frame Motion

( | ) ( )ck i k ke v ( ) ( )c ck kv v ( | )

( )

p

p

p

k i k

k

f

w

f

(0)

( )

( )

b

c

c

b

k

k

P

P

T

(0)bP

Visual Sensor

c pP f

Cost

function (0)c

bT

(0)

( )

( )

c

b

c

b

c

k

k

T

T

v

( )p p kf f Camera view

O. B.

Figura 5.7. Simulator control predictiv – momente ale imaginii

5.3. Implementarea în timp real a regulatorului predictiv

În continuare este prezentată o structură de control (Figura 5.8) bazată pe feedback

vizual dezvoltată în cadrul tezei de doctorat pentru a controla în timp real mișcarea unui robot

manipulator FANUC ArcMate120 cu 6 grade de libertate și o configurație eye-in-hand

folosind un regulator predictiv bazat pe imagini. Sistemul servoing pe care a fost testată

această arhitectură se alfă în departamentul de Inteligență artificială și Robotică de la

Universitatea Jaume I din Spania.

Figura 5.8. Arhitectura de control pentru sistemul în timp real

Arhitectura de control predictiv propusă în cadrul tezei de doctorat este compusă din

trei module diferite: Strategia de control bazată pe imagine (blocul Image based control

strategy), Interfațarea cu robotul (blocul Robot communication interface) și Controlerul

robotului (blocul Robot controller) conectate între ele, dar fiecare având un timp de execuție

diferit și un alt obiectiv.

Regulatorul predictiv bazat pe imagini are ca intrare configurația dorită a trăsăturilor

vizuale extrase din imaginea de referință și configurația curentă a trăsăturilor vizuale. Ieșirea

regulatorului bazat pe imagini reprezintă viteza de referintă a camerei c

v obținută prin


38

minimizarea erorii dintre configurația dorită și cea curentă a trăsăturilor vizuale. Integrând

viteza de referintă se obține noua postură dorită a camerei notată cu ( )c tx , iar apoi utilizând

transformările omogene se obține matricea omogenă c

bT care reprezintă diferența dintre

postura curentă a camerei ( )c

bT t și postura dorită a acesteia. Matricea de transformare

omogenă c

bT care reprezintă intrarea în modelul cinematic invers se obține prin produsul

dintre c

bT și ( )c

bT t . Soluția modelului cinematic invers este q care reprezintă noua

configurație a articulatiilor robotului. Această informație este scrisă într-un fișier de date care

este citit prin intermediul unei interfețe utilizator și apoi este transmisă către controlerul

robotului.

Pentru a exista o comunicare directă între strategia de control bazată pe imagini

implementată în mediul de lucru Matlab și controlerul robotului R-J3IB se utilizează o

interfață de comunicare cu robotul (modulul Robot communication interface (RCI)). Acestă

interfață de comunicare cu robotul a fost dezvoltată în cadrul departamentului de Inteligență

artificială și Robotică de la Universitatea Jaume I din Spania. Aceasta permite controlerului

robotului să interacționeze cu mediul exterior printr-un protocol de tipul TCP/IP, iar

comunicarea propriu-zisă este realizată prin intermediul librăriilor PC Developer‟s Kit

(PCDK) şi a programului Robot Server. Rolul modulului RCI în arhitectura de control este de

a analiza ieșirea strategiei de control implemetată în Matlab, de a transfera date către

controlerul robotului și de a citi noua configurație a articulațiilor robotului.

Arhitectura de control (Figura 5.8) este folosită pentru a controla în timp real mișcarea

unui robot manipulator FANUC. Această arhitectura de control a fost implementată, testată și

validată, iar în urma rezultatelor experimentale efectuate au rezultat performanțe mai ridicate

atunci când se utilizează un regulator predictiv bazat pe imagini în comparație cu regulatorul

proporțional bazat pe imagini. Sistemul servoing (Figura 5.9) pe care s-au realizat

experimentele este compus din: un calculator (label 1) pe care rulează algortimul de control,

un robot manipulator FANUC ArcMate120 (label 2), o cameră montată pe ultima articulație a

robotului (label 3) și o masă de lucru (label4).

Figura 5.9. Sistemul servoing


39

Conexiunea dintre calculator și controlerul robotului se realizează printr-o rețea

Ethernet, iar legătura dintre calculator și cameră se realizează printr-o interfață IEEE-1394

(FireWire). Imaginile sunt achiziționate folosind o cameră video Foculus FO124TC. Acest tip

de cameră video are o interfață de comunicare serială IEEE-1394a ce folosește un conector cu

6 pini și are o rată de transfer de 400 Mbits/sec. Imaginile achiziționate sunt monocrome cu o

rezoluție de 640 480 . Pentru procesul de calibrare a camerei s-a folosit Calibration Toolbox

din mediul de lucru Matlab.

Rezultatele experimentale au fost obţinute luând în considerare faptul că, atât poziția inițială,

cât și poziția dorită a camerei este paralelă cu planul obiectului. Distanța dorită dintre planul

obiectului și cameră este 0.3Z m , iar distanța inițială este 0.21Z m . Performanțele

arhitecturii de control au fost analizate folosind atât un regulator proporțional, cât și un

regulator predictiv ce utilizează fie trăsături de tip punct de interes, fie trăsături de tip

momente ale imaginii calculate din puncte de interes. În Figura 5.10 sunt prezentate trăsăturile

de tip punct de interes extrase din imaginea inițială și din imaginea dorită folosind operatorul

Harris.

Figura 5.10. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea

inițială; (b) imaginea dorită

Sistemul servoing converge cu succes către configurația dorită pentru ambele tipuri de

legi de reglare (proporțional și predictiv) folosite. În Figura 5.11 este ilustrată viteza camerei

pentru cazul regulatorului proporțonal bazat pe imagine. Analizând Figura 5.11 se observă

faptul că legea de reglare proporțională bazată pe trăsături de tip punct de interes tinde spre o

comportare oscilatorie (Figura 5.11(a)), numărul iterațiilor necesare pentru a finaliza taskul

servoing finnd egal cu 200. Dacă legea de reglare proporțională este proiectată folosind

trăsături de tip momente ale imaginii (Figura 5.11(b)), sistemul servoing prezintă o

comportare mai lină, iar numărul iterațiilor necesare pentru a finaliza taskul este mult mai

mic.


40

(a) (b)

Figura 5.11. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de

interes; (b) bazat pe momente ale imaginii

Pentru a îmbunătății performanțele sistemului servoing se folosește un regulator

predictiv bazat pe imagine (Figura 5.12). În Figura 5.12(a) este ilustrată viteza camerei pentru

cazul în care trăsăturile vizuale sunt de tip punct de interes. După cum se poate observa,

sistemul servoing are o rată de convergență mai mare decât în cazul regulatorului

proporțional, dar prezintă aceeași comportare oscilatorie. Performanțele cele mai ridicare se

obțin pentru regulatorul predictiv bazat pe momente ale imaginii (Figura 5.12(b)). În acest

caz, sistemul servoing prezintă o comportare lină și are o rată de convergență ridicată,

numărul de iterații necesare pentru a finaliza taskul servoing fiind mai mic de 50.

(a) (b)

Figura 5.12. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de

interes; (b) bazat pe momente ale imaginii

Pentru a proiecta o arhitectură de control bazată pe feedback vizual, dinamica

robotului a fost modelată ca un VCMD. Implementarea algoritmului de control a fost realizată

prin dezvoltarea unui simulator pentru sistemele servoing.

Pentru a predicta mișcarea trăsăturilor în planul imaginii s-a utilizat un predictor bazat

pe modelul local al sistemului servoing vizual. Utilizarea trăsăturilor vizuale de tip momente

ale imaginii în controlul predictiv implică dezvoltarea unui predictor pentru momente ale

imaginii. În literatura de specialitate nu există acest tip de predictor, astfel pentru a calcula

predicţia momentelor imagnii au fost propuse două metode noi. Pe baza predictorului


41

dezvoltat s-a realizat un simulator care a fost implementat, testat și validat, iar rezultatele

experimentale au relevat performanțe foarte bune atât pentru punctelor de interes, cât și pentru

momente ale imaginii. În cazul strategiei de control predictiv s-a dezvoltat o nouă arhitectură

de control predictiv pentru sistemele servoing care, pentru prima dată, utilizează o traiectorie

de referiță pentru proiectarea legilor de control bazate pe imagine. Rezultatele experimentale

obținute au evidențiat faptul că structura de control ce conține un regulator predictiv împreună

cu o traiectorie de referință a relevat performanțe mult mai bune decât în cazul unei arhitecturi

de control ce nu ia în considerare traiectoria de referință.

Pornind de la structura de control a simulatoarelor servoing s-a dezvoltat o arhitectură

de control predictiv pentru a controla în timp real mișcarea unui robot manipulator FANUC

ArcMate120. Pentru generarea legii de control s-a folosit fie trăsături de tip puncte de interes,

fie trăsături de tip momente ale imaginii. Rezultatele experimentale obținute când se utilizează

regulatorul redictiv bazat pe imagine indică o creștere a performanțelor sistemului servoing în

raport cu rezultatele obținute folosind regulatorul proporțional bazat pe imagine.

Capitolul 6. Concluzii şi direcţii viitoare

În acest capitol sunt prezentate concluziile finale şi principalele contribuţii din cadrul

tezei. Cercetările doctorale au pornit de la stadiul actual al cunoaşterii în domeniu (capitolul

2) unde au fost prezentate aspectele fundamentale ale sistemelor servoing vizuale.

Performanţele sistemului servoing sunt relevante în raport cu performanţele trăsăturilor

vizuale utilizate pentru proiectarea legii de control. În cadrul tezei s-a folosit două tipuri de

trăsături vizuale: trăsături de tip puncte de interes şi trăsături de tip momente ale imaginii.

Pentru extragerea trăsăturilor de tip puncte de interes s-au implementat doi algoritmi de

detecţie: operatorul Harris şi descriptorul SIFT prezentaţi în capitolul 3. Performanţelor

trăsăturilor punctiforme au fost analizate folosind criteriile de evaluare bazate pe rata de

repetabilitate şi gradul de împrăştiere. Întrucât, pentru trăsăturile de tip momente ale imaginii

nu există un criteriu de evaluare a trăsăturilor în aplicaţii servoing s-a introdus un nou criteriu

bazat pe distanţa Hausdorff. Acest criteriu poate fi utilizat atât pentru momente ale imaginii

cât şi pentru trăsături punctiforme.

În capitolul 4 a fost prezentată o nouă lege de reglare de tip proporţional care include

şi modelul dinamic al robotului manipulator. Pentru a analiza performanțele unui sistem

servoing compus dintr-un robot manipulator cu 6 grade de libertate având o cameră montată

pe efectorul robotului s-a dezvoltat două simulatoare servoing: unul pentru trăsături

punctiforme şi unul pentru trăsături de tip momente ale imaginii. Pentru ambele simulatoare

servoing dinamica robotului a fost modelată ca un VCMD. Pornind de la acest simulator s-a

dezvoltat o arhitectură de control pentru aplicațiile servoing de timp real. În verderea realizării

acestei arhitecturi au fost utilizate trăsături punctiforme extrase cu operatorii Harris şi SIFT și

un robot ABB-IRB2400 cu o configurație eye-in-hand. Cu toate că regulatorul proporţional

este cel mai simplu tip de regulator ce poate fi proiectat, rezultatele experimentale indică

faptul că regulatorul proporţional obţine performanţe satisfăcătoare pentru aplicaţii de tip

servoing însă, pentru a îmbunătăţii performanţele sistemului s-a propus implementarea unor

regulatoare mai complexe, cum ar fi regulatorul predictiv. Aceste tehnici avansate de conduce

a unui robot manipulator au fost prezentate în capitolul 5.

În cadrul strategiei de control predictiv s-a dezvoltat o nouă arhitectură de control

predictiv pentru sistemele servoing care, pentru prima dată, utilizează o traiectorie de referință

pentru generarea dinamicii (vitezei de răspuns) sistemului de control. Pentru a predicta

mișcarea trăsăturilor în planul imaginii s-a utilizat un predictor bazat pe modelul local al

sistemului servoing vizual. Pentru calculul trăsăturilor de tip momente ale imaginii, în

Capitolul 6 – Concluzii

44

literatura de specialitate nu există un astfel de predictor, fapt pentru care s-a dezvoltat două

metode ce pot fi folosite pentru a predicta mişcarea momentelor în planul imaginii. Pentru a

testa și valida teoria propusă s-au dezvoltat simulatoare servoing ce se bazează pe controlul

predictiv. Simulatoarele servoing folosesc fie trăsături punctiforme, fie trăsături de tip

momente ale imaginii pentru a proiecta legea de control predictiv ce include şi modelul

dinamic diagonal de tip VCMD al robotului.Folosind teoria propusă s-a realizat un sistem

servoing pentru controlul în timp real a unui robot manipulator FANUC cu 6 grade de

libertate.

În continuare sunt prezentate contribuţiile principale din cadrul tezei şi direcţiile

viitoare de cercetare.

6.1. Contribuții

Principalele contribuții din cadrul tezei de doctorat sunt:

- Implementarea operatorilor Harris și SIFT de detecție a trăsăturilor de tip punct de

interes.

- Evaluarea performanțelor pentru aplicații de tip servoing a trăsăturilor vizuale

detectate cu operatorii Harris și SIFT. Pentru analiza calității trăsăturilor vizuale s-au

utilizat criteriile de evaluare. Unul dintre aceste criterii este rata de repetabilitate

calculată cu ajutorul descriptorilor bazați pe momente ale imaginii. Cel de-al doilea

criteriu utilizat pentru a analiza performanțele trăsăturilor vizuale este gradul de

împrăștiere calculat cu distanța Mahalanobis.

- Introducerea unui nou criteriu bazat pe distanța Hausdorff pentru a analiza

performanțele trăsăturilor de tip momente ale imaginii. În aplicațiile servoing nu

există un criteriu de evaluarea a trăsăturilor de tip momente, astfel pentru a obține o

măsură de evaluare a momentelor imaginii similară cu stabiltatea punctelor de

interes se utilizează distanța Hausdorff dintre două seturi de momente ale imaginii.

- Evaluarea performanțelor pentru trăsăturile de tip momente ale imaginii în aplicații

servoing. În baza noului criteriu bazat pe distanța Hausdorff s-au analizat

performanțele trăsăturilor de tip momente în secvențe de imagini. Momentele

imaginii sunt calculate din puncte de interes. Prin utilizarea acestui criteriu se poate

realiza o analiză mai complexă a punctelor de interes permițând atât o analiză

cantitativă cât și calitativă a punctelor de interes detectate.

- Proiectarea unui regulator proporțional ce include modelul dinamic al VCMD. Pentru

majoritatea simulatoarelor servoing, dimanica unui robot este considerată egală cu 1.

Arhitectura de control dezvoltată în acest capitol implică utilizarea unui regulator


45

proporţional bazat pe imagine, iar pentru proiectarea acestei arhitecturi de control,

dinamica robotului a fost modelată ca un VCMD.

- Dezvoltarea a două simulatoare servoing ce utilizează un regulator proporțional bazat

pe trăsături de tip punct de intres și de tip momente ale imaginii. Faţă de

simulatoarele servoing existente în literatura de specialitate, aceste simulatoare sunt

proiectate ţinând cont de dinamica robotului manipulator care este modelată ca un

VCMD.

- Implementarea unui sistem servoing cu regulator proporțional pentru conducerea în

timp real a unui robot ABB cu 6 grade de libertate. Pentru a controla mişcarea

robotului în timp real s-au utilizat trăsături vizuale de tip puncte de interes extrase cu

operatorii Harris şi SIFT. Comunicarea dintre robot şi calculatorul ce implemnetează

algoritmul de control se realizează prin interfaţa de comunicare prezentată în

paragraful 4.4.2.

- Dezvoltarea unui generator de traiectorii de referință. Pentru a genera evoluția dorită a

trăsăturilor vizuale în cadrul orizontului de predicție se definește traiectoria de

referință.

- Dezvoltarea predictorilor pentru trăsături vizuale de tip momente ale imaginii.

Utilizarea trăsăturilor vizuale de tip momente în aplicații servoing au relevat

performanțe mai bune pentru sistemele servoing. Astfel, pentru proiectarea unei

arhitecturi de control predictiv au fost propuse două metode pentru a calcula

predicția trăsăturilor de tip momente în cadrul orizontului de predicție.

- Dezvoltarea unei structuri de control predictiv pentru puncte de interes și pentru

momente ale imaginii ce integrează predictorii și generatorul de traiectorii de

referință.

- Dezvoltarea unor simulatoare servoing pentru structura de control predictiv.

- Dezvoltarea unui sistem servoing cu regulator predictiv bazat pe imagini pentru

controlul în timp real al robotului FANUC.

6.2. Direcții viitoare

- Adaptarea arhitecturilor de control bazate pe imagine pentru celule de fabricaţie

existente.

- Creşterea vitezei de răspuns pentru aplicaţiile servoing de timp real.

- Acordarea automată a parametrilor regulatorului predictiv bazat pe imagini pentru

îmbunătăţirea performanţelor sistemului servoing vizual.

Capitolul 6 – Concluzii

46

- Descrierea restricţiilor de vizibilitate şi a restricţiilor de mişcare a camerei direct în

spaţiul momentelor imaginii.

BIBLIOGRAFIE

Allibert G., Courtial E. și Chaumette F., (2010). Visual servoing via nonlinear predictive

control, in Chesi, G., and Hashimoto, K. (Eds.): Visual servoing via Advan. Numer.

Methods, Springer Press, pag. 375-393.

Allibert G., Courtial E. și Toure Y., (2008). Visual Predictive Control for Manipulators with

Catadioptric Camera, Proc. of IEEE Int. Conf. on Robotics and Automation, Pasadena,

pag. 510-515.

Allotta B., și Fioravanti D., (2005). 3D Motion Planning for Image-Based Visual Servoing

Tasks, Proc. of IEEE Int. Conf. on Robotics and Automation, Barcelona, Spain, pag.

2173-2178.

Blomdell A., Bolmsj G., Brogrdh T., Cederberg P., Isaksson M., Johansson R., Haage M.,

Nilsson K., Olsson M., Olsson T., Robertsson A. și Wang J., (2005). Extending an

industrial robot controller implementation and applications of a fast open sensor

interface, IEEE Robotics and Automation Magazine, 12(3), pag. 85–94.

Brown M. şi Lowe D., (2002). Invariant features from interest point groups, British Machine

Vision Conference, pag. 656-665.

Brunelli R., (2009). Template matching techniques in computer vision, Wiley.

Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011a). Real-time Image Based

Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference on

Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.

Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011b). Real-Time Visual Predictive Control

of Manipulation Systems, Proc. of. IEEE 15th

International Conference on Advanced

Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388.

Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for evaluation

of image moments in servoing applications, Proc. of IEEE Int. Conference on

Intteligent computer Communication and Processing, Cluj-Napoca, pag. 255-258.

Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature Tracking,

The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-64.

Cederberg P., Olsson M., și Bolmsj G., (2002). Remote control of a standard abb robot system

in real time using the robot application protocol (rap), In Proceedings of the

International Symposium on Robotics, ISR2002, Stockholm.


49

Cervera E., (2003). “Visual Servoing Toolbox”, Jaume I University, Castello,

http://sourceforge.net/projects/vstoolbox/.

Cervera E., del Pobil A., Berry F., Martinet P., (2003). Improving image-based visual

servoing with three-dimensional features, International Journal of Robotics Research,

22(10-11), pag. 821–840.

Chaumette F. și Hutchinson S., (2008). Handbook of Robotics, Springer.

Chaumette F. şi Hutchinson S., (2006). Visual Servo Control Part I: Basic Approaches, IEEE

Robotics & Automation Magazine, 13(4), pag. 82-90.

Chaumette F., (2002). A first step toward visual servoing using image moments, Proc. of

IEEE/RSJ IROS’00, pag. 378-383.

Chaumette F., Hutchinson S., (2007). Visual servo control, part II : Advanced approaches.

IEEE Robotics and Automation Magazine, 14(1), pag. 109–118.

Chaumette F., (2004). Image moments: a general and useful set of features for visual

servoing, IEEE Trans. on Robotics, 20(4), pag. 713-723.

Chaumette F., (1998). Potential problems of stability and convergence in image-based and

position-based visual servoing. The Confluence of Vision and Control, editor D.

Kriegman, G . Hager, A.S. Morse, Springer-Verlag, pag. 66–78.

Chaumette F., Rives P. şi Espiau B., (1991). Positioning a robot with respect to an object,

tracking it and estimating its velocity by visual servoing, Proc. of the IEEE International

Conference on Robotics and Automation, pag. 2248–2253.

Chesi G., Vicino A., (2004). Visual servoing for large camera displacements. IEEE

Transactions on Robotics, 20(4), pag. 724–735.

Collewet C. şi Chaumette F., (2000). A contour approach for image based control of objects

with complex shape, Proc. of IEEE/RSJ IROS’00, pag. 751-756.

Comport A, Pressigout M., Marchand E., Chaumette F., (2003). A Visual Control Law that is

Robust to image Outliers, Proc. of Int. Conference on Intelligent Robots and Systems,

pag. 492–497.

Copoț C., Burlacu A. și Lazăr C., (2011a). Image Moments based Predictive Control for Eye-

in-Hand Servoing Systems, Buletinul Instititului Politechnica din Iasi, Automatic

Control and Computer Science Section, Fasc. 1, pag. 23-37.

Copoț C., Burlacu A. și Lazăr C., (2011b). Visual Predictive Control Architecture based on

Image Moments for Manipulators Robots, Proc. of 20th

IEEE Int. Symposium on

Industrial Electronics, Gdansk, Polonia, pag. 963 – 968.

Copoț C., Lazăr C. și Burlacu A., (2011c). Predictive Control of Nonlinear Visual Servoing

Systems using Image Moments, IET Control Theory and Applications, accepted with

revisions.

Copoț C., Lazăr C. şi Burlacu A., (2011d). Nonlinear Model based Predictive Control of

Visual Servoing Systems using Image Moments, Proc. of 18th

International

http://sourceforge.net/projects/vstoolbox/

Bibliografie

50

Conference on Control Systems and Computer Science, Ed. Politehnica Press,

Bucureşti, pag. 321-326.

Copoţ C., Burlacu A. și Lazăr C., (2010a). Visual Control Architecture of Servoing Systems

Based on Image Moments, Proc. of 12th International Conference on Optimization of

Electrical and Electronic Equipment, OPTIM, pag. 801-806.

Copoţ C., Burlacu A., Lazăr C., (2010b). An image moment based approach for visual

predictive control, Proc. of 14th

Int. Conference on System Theory and Control

(ICSTC), Sinaia, pag.154-159.

Copoț C., Lazăr C. şi Burlacu A., (2009a). Image features detection and analysis for visual

servoing applications, Proc. of 17th

International Conference on Control Systems and

Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.

Copoţ C., Burlacu A. şi Lazăr C., (2009b). Image Moments Based Visual Control Algorithm

for Servoing Systems, Proc. of IEEE International Conference on Intelligent

Computer Communication and Processing, Cluj-Napoca, pag. 157-160.

Corke P., (2008). A Robotics Toolbox for Matlab, IEEE Robotics and Automation Magazine.

Corke P., Hutchinson S., (2001). A new partitioned approach to imagebased visual servo

control. IEEE Transactions on Robotics and Automation, 17(4), pag. 507–515.

Corke P., (2005). Machine Vision Toolbox, IEEE Robotics and Automation Magazine, pag.

16-25.

Corke P., Spindler F., Chaumette F., (2009). Combining cartesian and polar coordinates in

IBVS, Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems,

IROS’09, St. Louis, USA, pag. 5962–5967.

Deguchi K., (2000). A direct interpretation of Dynamic Image with Camera and Object

Motions for Vision Guided Robot Control, Int. Journal of Computer Vision, pag. 7-20.

Deng L., Wilson W., Janabi-Sharifi F., (2003). Dynamic performance of the position-based

visual servoing method in the cartesian and image spaces, Proc of IEEE/RSJ

International Conference on Intelligent Robots and Systems, IROS’03, vol. 1, pag. 510–

515.

Dombre E., Khalil W., (2007). Robot Manipulator Modeling, performance analysis and

control, ISTE, Cambridge.

Espiau B., Chaumette F., Rives P., (1992). A new approach to visual servoing in robotics,

IEEE Trans. on Robotics and Automation, 8(3), pag. 313–326.

Fujimoto H., (2003). Visual Servoing of 6 Dof Manipulator by Multirate Control with Depth

Identification, Proc. of 42nd IEEE Conference on Decision and Control, Hawaii, pag.

5408- 5413.

Gangloff J.A. și de Mathelin M.F. (2003). High speed visual servoing of a 6 dof manipulator

using multivariable predictive control, Advances Robotics, 21(10), pag. 993–1021.


51

Gans N., Hutchinson S., Corke P., (2003). Performance tests for visual servo control systems,

with application to partitioned approaches to visual servo control. International Journal

of Robotics Research, 22(10-11), pag. 955–981.

Gans N., Hutchinson S., (2007). Stable visual servoing through hybrid switched-systems

contro. IEEE Transactions on Robotics, 23(3), pag. 530–540.

Hadj-Abdelkader H., Mezouar Y., Martinet P., (2007). Decoupled Visual Servoing from a set

of points imaged by an omnidirectional camera, Proc of IEEE International Conference

on Robotics and Automation, ICRA’07, Roma, Italy, pag. 1697–1697.

Hafez A., Jawahar C., (2007). Visual servoing by optimization of a 2D/3D hybrid objective

function. Proc. of IEEE International Conference on Robotics and Automation,

ICRA’07, Roma, Italy, pag. 1691 –1696.

Hager G., Chang W. şi Morse A., (1995). Robot hand-eye coordination based on stereo

vision, IEEE Control Systems Magazine, vol. 15, pag. 30–39.

Harris C. și Stephens M., (1988). A combined corner and edge detector, in proc. 4th

Alrey

Vision Conference, Manchester, pag.147-151.

Hashimoto K., Ebine T. şi Kimura H., (1996). Visual servoing with hand–eye manipulator–

optimal control approach, IEEE Transactions on Robotics and Automation, vol. 12, pag.

766–774.

Hu M.K., (1962). Visual pattern recognition by moment invariants, IRE. Trans. Inf. Theory,

pag. 179–187.

Hutchinson S., Hager G., Corke P., (1996). A tutorial on visual servo control, IEEE

Transactions on Robotics and Automation, 12(5), pag. 651–670.

Janabi-Sharifi F., Wilson W., (1997). Automatic selection of image features for visual

servoing, IEEE Transactions on Robotics and Automation, 13(6), pag. 890–903.

Kyrki, V., Kragic, D., Christensen, H., (2004). New shortest-path approaches to visual

servoing, Proc. of 2004 IEEE/RSJ International Conference on Intelligent Robots and

Systems, Sendai, Japan.

Lazăr C. şi Burlacu A., (2008). Modeling of visual servo open-loop for robot manipulators,

Proc. of IEEE International Symposium on Industrial Electronics, Cambridge.

Lazăr C. și Burlacu A., (2009). Visual Servoing of Robot Manipulators using Model-Based

Predictive Control, 7th IEEE Int. Conference on Industrial Informatics, Cardiff, UK,

pag. 690-695.

Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual Servoing

of Robot Manipulators, Proc. of 18th

IFAC World Congress, Milano, Italia, pag. 9464-

9469.

Lazăr, C. şi Burlacu A., (2007). Performance Evaluation of Point Feature Detectors for Eye-

in-Hand Visual Servoing. Proc. of 5th

IEEE International Conference of Industrial

Informatics, pag. 497-502.

Bibliografie

52

Lindeberg T., (1998). Feature detection with automatic scale selection, International Journal

of Computer Vision, pag. 79–116.

Lindeberg T., (1994). Scale-space theory: A basic tool for analyzing structures at different

scales, Journal of Applied Statistics, pag. 224-270.

Lowe D., (2003). Distinctive image features from scale-invariant keypoints, International

Journal of Computer Vision, pag. 91- 110.

Lowe D., (2001). Local features view for 3D object recognition, Proc. of IEEE Conference on

Computer Vision and Pattern Recognition, pag. 682-688.

Lowe D., (1999). Object recognition from local scale–invariant features, Proc. of Proceedings

of the International Conference on Computer Vision, pag. 1150–1157.

Lowe D., (2004). Distinctive image features from scale-invariant keypoints, International

Journal of Computer Vision, 60(2), pag. 91-110.

Ma Y., Soatto S., Kosecko J. şi Sasky S.S., (2005). An invitation to 3-D Vision fromImages to

Geometric Models, Springer.

Mahony, R., Corke, P., Chaumette, F., (2002). Choice of image features for depth-axis control

in image based visual servo control, Proc. of In IEEE/RSJ International Conference on

Intelligent Robots and Systems, Lausanne, Switzerland, pag. 390-395.

Malis E., Chaumette F. şi Boudet S., (1998). Positioning a coarse-calibrated camera with

respect to an unknown object by 2D 1/2 visual servoing, Proc. of the IEEE International

Conference on Robotics and Automation, vol. 1, pag. 1352–1359.

Malis E., (2004). Improving vision-based control using efficient secondorder minimization

techniques, Proc. of IEEE International Conference on Robotics and Automation,

ICRA‟04, vol. 2, New Orleans, pag. 1843–1848.

Marchand E. și Chaumette F., (2005). Feature tracking for visual purposes, In Robotics and

Systems, 52(1), pag. 53-70.

Marchand E., Spindler F. şi Chaumette F., (2005). ViSP for visual servoing a generic software

platform with a wide class of robot control skills, IEEE Robotics and Automation

Magazine, pag. 40-52.

Marques de Sa J.P, (2001). Pattern Recognition concepts, Methods and Applications,

Springer.

Mezouar Y., Chaumette C., (2002). Path planning for robust image-based control, IEEE

Transactions on Robotics and Automation, 18(4), pag. 534 – 549.

Mikolajczyk K. şi Schmid C., (2004). Scale & affine invariant interest point detectors,

International Journal of Computer Vision, pag. 63–86.

Munkres J., (1999). Topology, Ed. Massachusetts Institute of Technology.

Nixon M. şi Aguado A., (2008). Feature Extraction and Image Processing, 2nd

ed., Elsevier.

Papanikolopoulous N. şi Khosla P., (1993). Adaptive robotic visual tracking: Theory and

experiments, IEEE Transactions on Automatic Control, pag. 429–445.


53

Perez-Vidal C., Garcia L., Garcia N. și Cervera E., (2009). Visual Control of Robots with

Delayed Images, Advanced Robotics, pag. 725-745.

Ponce F., (2003). Computer Vision – A Modern Approach, Prentice Hall.

R. Mebarki, A. Krupa, F. Chaumette, (2010). 2D ultrasound probecomplete guidance by

visual servoing using image moments, IEEE Transactions on Robotics, 26(2), pag. 296

–306.

Schmid C., Mohr R. Şi Bauckhage C., (2000). Evaluation of interest point detectors,

International Journal of Computer Vision, vol. 37, pag. 151–172.

Shapiro L. , Stockman G., (2000). Computer Vision, Prentice Hall.

Siciliano B., Sciavicco L., Villani L., și Oriolo G., (2009). Robotics, Modelling, Planning and

Control, Springer Press.

Sim T.P., Hong G.S. și Lim K.B., (2002). Multirate predictor control scheme for visual servo

control, IEE Proceedings - Control Theory and Applications, 149(2), pag. 117-124.

Sonka, M., V. Hlavac and R. Boyle, (1998). Image processing, Analysis and Machine Vision,

Published by PWS.

Spong M., Hutchinson S., Vidyasagar M., (2006). Robot modeling and control, Wiley New

Jersey.

Stoll J., Novotny P., Howe R. și Dupont P., (2006). Real-time 3d ultrasound-based servoing

of a surgical instrument, In Proceedings of the 2006 IEEE International Conference on

Robotics and Automation, Orlando, Florida, pag. 613–618.

Tahri O. și Chaumette F., (2003). Application of moment invariants to visual servoing, In

IEEE Int. Conference on Robotics and Automation, pag. 4276-4281.

Tahri O. și Chaumette F., (2005). Point-based and region-based image moments for visual

servoing of planar objects, IEEE Trans. on Robotics, 21(6), pag. 1116-1127.

Tamadazte B., Arnould T., Dembele S., Lefort-Piat N. și Marchand E., (2009). Real-time

vision-based microassembly of 3d memss, In IEEE/ASME Int. Conf. on Advanced

Intelligent Mechatronics, AIM 2009, Singapore, pag. 88–93.

Tatsambon Fomena R., Chaumette F., (2009). Improvements on visual servoing from

spherical targets using a spherical projection model, IEEE Transactions on Robotics,

25(4), pag. 874–886.

Tissainayagam P. şi Suter D., (2004). Assessing the performance of corner detectors forpoint

feature tracking applications, Image and Vision Computing, 22(8), pag. 663-679.

Walin A. şi Kubler O., (1995). Complete sets of complex Zernike moments invariants and the

role of the pseudo-invariants, IEEE Trans. on PAMI, pag. 1106-1110.

Weiss L. E., (1984). Dynamic Visual Servo Control of Robots: An Adaptive Image-Based

Approach, Phd. Thesis, Carnegi-Mellon University, Pittsburgh.

Bibliografie

54

Wilson W., Hulls C. şi Janabi-Sharifi F., (2000). Robust image processing and position–based

visual servoing, Proc. of Robust Vision for Manipulation, pag. 163–220.

Wilson W., Hulls C., Bell G., (1996). Relative end-effector control using cartesian position-

based visual servoing, IEEE Transactions on Robotics and Automation, 12(5), pag. 684–

696.

tehnici de control pentru sistemele servoing vizuale cosmincopot.pdf · puncte de interes se...

Documents