curs11 restaurare 2014.ppt - pub.roalpha.imag.pub.ro/ro/cursuri/archive/restaurare.pdf · filtrul...
TRANSCRIPT
-
1
1
RESTAURAREA IMAGINILOR
2
Restaurarea imaginii constă în reconstruirea sau estimarea imaginii originale din imaginea observată (degradata), adică este o operaţie inversă celei ce a degradat imaginea.Spre deosebire de imbunatatire la restaurare presupunem ca stim modelul de degradare.
-
2
3
Exemple de imagini degradateoriginal
4
originalrestaurata
blurata
-
3
5
Restaurarea• Reconstruieste originalul folosind modelul
de degradare• Proces invers celui de degradare • Presupune utilizarea unui criteriu obiectiv
de calitate a restaurarii pentru estimatul optim
6
Domeniile de aplicaţie a tehnicilor de restaurare a imaginilor sunt diverse:
• astronomie• imagini medicale• domenii ştiinţifice• fotografie etc.
-
4
7
Modelul degradarii imaginilor
Degradarea imaginilor=blurare+zgomot• Blurarea poate fi cauzatǎ de:
- mişcarea relativǎ a camerei faţǎ de scena originalǎ;
- distorsiuni datorate turbulenţei atmosferice;- defocalizare.
• În plus imaginea este afectatǎ de zgomotulechipamentului de captare, de zgomotul datorat mediului de transmisie, de erori de mǎsurare şi cuantizare etc.
8
Modelul degradării imaginilor este descris în diagrama de mai jos:
f (i,j) * d (i,j)
F (u,v) D (u,v)f (i,j)
F (u,v)+
n (i,j)N (u,v)
g (i,j)G(u,v)
d (i,j)
D (u,v)
f (i,j) * d (i,j)
F (u,v) D (u,v)f (i,j)
F (u,v)+
n (i,j)N (u,v)
g (i,j)G(u,v)
+
n (i,j)N (u,v)
g (i,j)G(u,v)
d (i,j)
D (u,v)
-
5
9
În acest model se presupune că degradarea imaginii este o operaţie liniară şi invariantǎ spaţial, iar zgomotul se aplică aditiv:
unde:g(i,j) este imaginea observată (blurată şi cu zgomot)f(i,j) este imaginea originală d(i,j) este funcţia de bluraren(i,j) este zgomotul aditiv aplicat imaginii* convolutie
),(),(*),(),( jinjidjifjig +=
),(),(),(),( vuNvuDvuFvuG +=
10
∑∑−
=
−
=
+−−=+=1
0
1
0),(),(),(),(),(*),(),(
M
p
N
qjinqpdqjpifjinjidjifjig
10,10 −≤≤−≤≤ NjMim,n = coordonatele spatiale
Folosind proprietatea convolutiei a tr Fourier bidimensionale, rezulta:
u,v = frecvente
),(),(),(),( vuNvuDvuFvuG +=
-
6
11
Modelul: Blurarea imaginii este modelată ca o convoluţie a imaginii ideale cu nucleul spaţial d(i, j)( PSF – Point Spread Function -funcţia de împrăştiere a punctului- care este raspunsul filtrului de degradare, presupus invariant spatial, la delta Dirac bidimensional).
12
Filtrul de degradare d este in general un filtru trece jos, avand zerouri in frecventa ( frecvente spatiale in care functia de transfer a filtrului se anuleaza).
Filtrul de degradare
-
7
13
9/19/19/19/19/19/19/19/19/1
Filtru de degradare d1:
14
-
8
15
25/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/1
Filtru de degradare d2:
16
-
9
17
Spectrele:
originalDegradat cu d1
Degradat cu d2
18
Modelul de zgomot:
•Zgomot alb
•Independent de semnalul util
•Caracterizat de energia sa, care se presupune cunoscuta:
∑∑=i j
r jirE ),(2
-
10
19
Problema restaurarii cu operatii liniare:Cunoscand
•filtrul de degradare d(i,j) si
•energia zgomotului
trebuie proiectat un filtrul de restaurare Q
liniar si
invariant spatial
rE
20
Filtrul de restaurare este definit de :
•coeficientii spatiali q(i,j) sau
•functia de transfer Q(u,v)
Filtrul de restaurare este folosit la obtinerea imaginii restaurate .
(estimare optima, intr-un sens pe care trebuie sa-l precizam, a imaginii originale)
f
f̂
-
11
21
Filtrul invers
∑∑−
=
−
=
+−−=+=1
0
1
0),(),(),(),(),(*),(),(
M
p
N
qjinqpdqjpifjinjidjifjig
),(),(),(),( vuNvuDvuFvuG +=
Ideea: neglijarea zgomotului),(),(),( vuDvuFvuG =
),(),( 1 vuDvuQ −= vu ,∀
22
Imaginiea restaurata (in frecv):
),(),(),(),(),(ˆ 1 vuGvuDvuGvuQvuF −==
-
12
23
Filtrul invers
∑∑−
=
−
=
+−−=+=1
0
1
0),(),(),(),(),(*),(),(
M
p
N
qjinqpdqjpifjinjidjifjig
),(),(),(),( vuNvuDvuFvuG +=
Estimat al imag originale a.i :),(ˆ jif
min})*ˆ{( 22 →−= dfgEε
24
min)],(*),(ˆ),([
min)],)(*ˆ(),([
1
0
1
0
22
1
0
1
0
22
→−=
→−=
∑∑
∑∑−
=
−
=
−
=
−
=
N
u
N
v
N
i
N
j
vuDvuFvuG
jidfjig
ε
ε
Daca toti termenii sunt nuli eroarea este minima.
),(*),(),(ˆ),(*),(ˆ),(
1 vuGvuDvuF
vuDvuFvuG−=
=
),(),( 1 vuDvuQ −= vu ,∀
-
13
25
),(),(),(),( vuNvuDvuFvuG +=Dar:
qnff
vuNvuDvuFvuGvuDvuF
*ˆ),(),(),(
),(),(),(ˆ1
1
+=
+=
==−
−
26
9/19/19/19/19/19/19/19/19/1
Filtru de degradare d1:
Spectru pt Q
Spectru pt D
-
14
27
28
25/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/125/1
Filtru de degradare d2:Spectru pt D
Spectru pt Q
-
15
29
original
blurata
Refacuta cu filtrul invers
30
Deci, dacǎ în imagine va fi prezent şi zgomot, atunci:
),(),(),(),( vuNvuDvuFvuG +=
),(),( 1 vuDvuQ −= vu ,∀
),(),(),(),(ˆ 1 vuNvuDvuFvuF −+= vu ,∀
Termenul are valori extrem de mari.),(),(1 vuNvuD−
-
16
31
original Degradata cu d1
Degradata cu d1 si zg aditiv Refacuta cu filtru invers:
32
Metoda filtrului invers este extrem de sensibilă lanivelul zgomotului atunci când are zerouri(sau valori extrem de mici), caz caracteristicblurării determinate de mişcarea liniară sau deblurarea de defocalizare.
Filtrul pseudo invers evitǎ problema impǎrţirii la zero prin aplicarea formulei:
),( vuD
⎪⎩
⎪⎨⎧
=
≠=
0),(0
0),(),(
1),(
vuD
vuDvuDvuQinv
-
17
33
Cum probleme pot apare şi în cazul valorilor mici ale lui Q(u,v), formula se aplicǎ un pic modificatǎ:
⎪⎩
⎪⎨⎧
≤
>=
ε
ε
),(0
),(),(
1),(
vuD
vuDvuDvuQinv
ceea ce duce la o reducere a efectului zgomotuluiasupra imagii restaurate.
34
original Blurata+zgomot
Refacuta cu filtru invers Refacuta cu pseodo-filtru invers
-
18
35
original blurata si cu zg
refacuta cu filtru invers refacuta cu filtru pseudo invers
Spectrele imaginilor
36
),(),(
vuDvuN
Problema deblurării “problemǎ prost condiţionată”
Scopul principal:•soluţia obţinută să fie, pe de o parte, apropiata de imagineaoriginala•să fie mai puţin sensibilă la zgomot.
Aceste cerinţe sunt contradictorii şi de aici apare necesitatearealizǎrii unui compromis.Filtrul invers produce rezultate neutilizabile.
poate lua valori foarte mari
spectrul imaginii dominat de componentele zgomotului
-
19
37
Filtrul invers cu constrangeri
Deoarece filtrul invers produce in general rezultate instabile din cauza zerourilor sau valorilor mici din domeniul de frecventa si din cauza prezentei zgomotului din imagine, trebuie impuse constrangeri suplimentare in criteriul de minimizare a erorii.
38
Se presupune ca in modelul
),(),(),(),(
),(),(),(),(
),(),(*),(),(1
0
1
0
vuNvuDvuFvuG
jinqjpidjifjig
jinjidjifjigM
p
N
q
+=
+−−=
+=
∑ ∑−
=
−
=
),(),,( jidjig si energia totala a zgomotului
∑∑−
=
−
=
=1
0
1
0
2),(M
i
N
jn jinE
sunt cunoscute:
-
20
39
In cazul filtrului invers cu constrangeri , imaginea restaurata este calculata a.i. energia imaginii diferenta intre imaginea degradata si imaginea obtinuta din aplicarea filtrului de degradare imaginii restaurate sa fie egala cu energia zgomotului:
{ }∑∑−
=
−
=
=−1
0
1
0
2),)(*ˆ(),(
M
i
N
jnEjidfjig
40
Deorece ecuatia admite o infinitate de solutii , trebuie impuse constrangeri suplimentare.
O solutie este impunerea conditiei de minimizare a energiei componentelor de frecventa inalta ale imaginii restaurate:
∑∑ ∑∑−
=
−
=
−
=
−
=
∧
→⎭⎬⎫
⎩⎨⎧
−−1
0
1
0
21
0
1
0min),(),(
M
i
N
j
M
p
N
qqjpicqpf
),( jicUnde sunt coeficientii unui filtru de tip trece-sus.
-
21
41
In domeniul transformatei Fourier ecuatii devin:
∑ ∑−
=
−
=
∧
=−1
0
1
0
2
),(),(),(1M
u
N
vnEvuDvuFvuGMN
∑ ∑−
=
−
=
=1
0
1
0
2),(1M
u
N
vzg vuNMN
E
∑ ∑−
=
−
=
∧
→1
0
1
0
2
min),(),(1M
u
N
vvuFvuC
MN
unde:
42
Utilizand metoda multiplicatorilor Lagrange problema de optimizare este descrisa de urmatoarea expresie care trebuie minimizata:
min
),(),(),(),(),(),(1
0
1
0
22
→⎠
⎞⎜⎜⎝
⎛−−+=
⎭⎬⎫
⎩⎨⎧ ∑∑
−
=
−
=
∧∧∧ M
u
N
vnEvuDvuFvuGvuFvuCvuF λψ
-
22
43
Scriind : ),(),(),( vujBvuAvuF +=∧
0),(=
∂Ψ∂
vuA
0),(=
∂Ψ∂
vuB
min),( →⎭⎬⎫
⎩⎨⎧∧ vuFψ
44
),(),(),(* vujBvuAvuF −=∧
),(),(),( vujBvuAvuF +=∧
( ) ******
222
*2
222
)(
yxxy
yxyx
yxxy
xxx
bax
jbax
=
+=+
=
=
+=
+=
{ } { }{ } { }yxjxyjyxxy
yxxyyxxy****
****
Im2Im2Re2Re2−==−
==+
-
23
45
{ } 0),(),(),(),(),(),(2),(),(2
),(**
22
=+−
−+=∂
Ψ∂
vuDvuGvuDvuG
vuDvuAvuAvuCvuA
λ
λ
{ } 0),(),(),(),(),(),(2),(),(2
),(**
22
=−+
++=∂
Ψ∂
vuDvuGvuDvuGj
vuDvuBvuBvuCvuB
λ
λ
46
{ }22
*
),(),(),(),(Re),(
vuDvuCvuDvuGvuA
λλ
+=
{ }22
*
),(),(),(),(Im),(
vuDvuCvuDvuGvuB
λλ
+=
-
24
47
0),(2),(2),(
222
2
≥+=∂
Ψ∂ vuDvuCvuA
λ
Cum derivatele de ordin doi:
0),(2),(2),(
222
2
≥+=∂
Ψ∂ vuDvuCvuB
λ
0),(),(
2
=∂∂Ψ∂
vuBvuA
0),(),(
2
=∂∂Ψ∂
vuAvuB
Rezulta ca functia are minim.
48
{ }22
*
),(),(),(),(Re),(
vuDvuCvuDvuGvuA
λλ
+=
{ }22
*
),(),(),(),(Im),(
vuDvuCvuDvuGvuB
λλ
+=
),(),(),(),(
),(),(),(ˆ 22*
vuGvuQvuDvuC
vuGvuDvuF =+
=λ
λ
22
2
),(),(
),(),(
1),(vuDvuC
vuDvuD
vuQλ
λ
+=
-
25
49
22
2
),(),(
),(),(
1),(vuDvuC
vuDvuD
vuQλ
λ
+=
Iar trebuie calculat din:
∑ ∑
∑ ∑−
=
−
=
−
=
−
=
−=
==
1
0
1
0
2
1
0
1
0
2
),(),(ˆ),(1
),(1
M
u
N
v
M
u
N
vn
vuDvuFvuGMN
vuNMN
E
λ
50
∑ ∑−
=
−
= +−=
1
0
1
0
2
22
*
),(),(),(
),(),(),(1M
u
N
vn vuDvuDvuC
vuGvuDvuGMN
Eλ
λ
{ }∑ ∑−
=
−
= +=
1
0
1
0222
42
),(,(
),(),(1 M
u
N
vn
vuDvuC
vuCvuGMN
Eλ
va fi determinat iterativ.λ
-
26
51
{ }∑ ∑−
=
−
= +=
1
0
1
0222
42
),(,(
),(),(1 M
u
N
vn
vuDvuC
vuCvuGMN
Eλ
•Valori mari , va tinde la zero, filtrul va tinde spre filtrul invers
•Daca este un filtru trece jos, atunci Q(u,v) poate fi privit ca un filtru invers urmat de un filtru de corectie a efectelor negative ale filtrului invers
λ nE
),( vuD
22
2
),(),(),(
),(1),(
vuDvuCvuD
vuDvuQ
λλ
+=
•Valori mari , va tinde la zero, filtrul va tinde spre filtrul invers
•Daca este un filtru trece jos, atunci Q(u,v) poate fi privit ca un filtru invers urmat de un filtru de corectie a efectelor negative ale filtrului invers
λ nE
),( vuD
52
Filtrul Wiener
realizează o îmbunătăţire optima a imaginii în sens statistic, în sensul minimizării erorii pătratice medii dintre imaginea restaurată şi imaginea originală, folosind informaţii apriorice despre imagine şi despre zgomotul din imagine;
imaginea si zgomotul sunt presupuse campuri stationare.
-
27
53
( ) ( ) ( )[ ]( ) ( ) ( )[ ]ntmsntsnEnm
ntmsftsfEnm
nn
ff
−−=
−−=
,,,
,,,
ϕ
ϕ
Se presupune ca imaginea originala f(m,n) si zgomotul adaugat n(m,n) sunt campuri aleatoare necorelate si li se cunosc functiile de autocorelatie
54
min (MSE), unde
( )( )∑∑
−
=
−
=
−
=⎥⎦⎤
⎢⎣⎡ −=
1
0
1
0
2
2
),(ˆ),(1
),(ˆ),(
M
i
N
jjifjif
MN
jifjifEMSE
Filtrul Wiener:
-
28
55
( ) min),(ˆ),( 2 →⎥⎦⎤⎢⎣⎡ − jifjifE
),(*),(),(ˆ
),(),(),(ˆ
jiqjigjif
nmqnjmigjifm n
=
−−=∑∑
56
( ) min),(ˆ),( 2 →⎥⎦⎤⎢⎣⎡ − jifjifE[ ]min
),(ˆ),(),(ˆ),(ˆ),(),( 22
→+−− jifjifjifjifjifjifE
[ ] [ ][ ] [ ] min),(ˆ),(),(ˆ
),(ˆ),(),(2
2
→+
−−
jifEjifjifE
jifjifEjifE
-
29
57
( ) ( )( ) ( ) min0,00,0
0,00,0
ˆ̂ˆ
ˆ
→+
−−
ffff
ffff
ϕϕ
ϕϕ
In domeniu Fourier:
( ) min),(ˆ),( 2 →⎥⎦⎤⎢⎣⎡ − jifjifE
( ) ( ) ( ) ( ){ } min,,,, ˆˆˆˆ →Φ+Φ−Φ−Φ=Ψ ∑∑k l
ffffffffvuvuvuvu
58
( )( ) ( )vuvuvuD
vuvuDvuD
vuQnnff
ff
,,),(
,),(),(
1),( 2
2
Φ+Φ
Φ=
Filtrul Wiener poate fi privit ca o cascadare a doua filtre: filtrul invers urmat de un filtru care face o corectie a efectelor negative ale filtrului invers; corectia se face folosind cunostinte despre puterea zgomotului si despre imaginea originala.
-
30
59
Observatii:
densitatea spectrala de putere a semnalului util (imaginea originala) este in general necunoscuta si trebuie estimata.
Un mod simplu (nu foarte precis ):
( )
⎪⎩
⎪⎨⎧ ≥−≈
≈==Φ
restinvuNvuGdacavuNvuG
vuFvuFvuFvuff
0),(),(),(),(
),(),(),(,22
2*
60
Densitatea spectrala a zgomotului este aproximata printr-o constanta, deoarece se presupune ca zgomotul este alb:
( ) ctvuNvurr =≈Φ2),(,
-
31
61
Metode directe
Filtrul invers
Filtrul Wiener
Filtrul invers cu constrângeri
),(1),(
vuDvuQinv =
),(),(),(
),(),(
1
),(),(),(),(
),(),(2
2
*
*
vuvuvuD
vuDvuD
vuvuvuDvuD
vuDvuQ
ff
nn
ff
nnw
ΦΦ
+=
ΦΦ
+⋅=
22
2
22
*
),(),(
),(),(
1),(),(
),(),(vuCvuD
vuDvuDvuCvuD
vuDvuQicαα +
=+
=
62
Se observă că forma generală a filtrelor prezentate este de tipul:
MvuDvuDvuH+
= 2*
),(),(),(
unde
⎪⎪
⎩
⎪⎪
⎨
⎧
ΦΦ
=
riconstrangecuinversfiltrulptvuC
Wienerfiltrulptvuvu
inversfiltrulpt
Mff
nn
2),(),(),(
0
α