metode de evaluare a parametrilor aor şi frr

Prezentul document este proprietatea SOFTWIN şi informaţia inclusă în el este confidenţială.

Metode de evaluare a parametrilor AOR şi FRR

Andrei ValentinProgramator

4 septembrie 2009

Departamentul de cercetare şi dezvoltare

4 septembrie 2009 Prezentare BIOACS 2

AgendaAgenda

1. Explicaţia termenilor

2. Metoda în doi paşi

3. Metoda RNA

4. Comparaţie

5. Concluzii


Definirea termenilorDefinirea termenilor

• AOR – Accepted Originals Ratio – Reprezintă rata de originale acceptate la o evaluare (numărul de originale acceptate / numărul total de originale)

• FRR – Forgery Rejection Ratio – Reprezintă rata de falsuri respinse la o evaluare (numărul de falsuri respinse / numărul total de falsuri)

• RNA – Reţea neuronală artificială– Ansamblu de unităţi de procesare simple, puternic interconectate şi operând în paralel, care urmăresc să interacţioneze cu mediul înconjurător într-un mod asemănător creierelor biologice şi care prezintă capacitatea de a învăţa.

• Bază de subiecţi – Ansamblu format dintr-un număr de indivizi care au fost de acord să semneze, şi din totalitatea semnăturilor acestora.


BaBaze de subiecze de subiecţiţi

Baza Număr de subiecţiNumăr de semnături

Baza 2 38 1710

Baza 3 79 7099

Baza 4 379 12099


Procedura de evaluare folosind Procedura de evaluare folosind “Metoda “Metoda în în doi Paşidoi Paşi””

• Descrierea sistemului de evaluare

• Rezultate obţinute


Evaluare folosind metoda Evaluare folosind metoda în paşiîn paşi- Sistemul de evaluare- Sistemul de evaluare

Variaţie

Evaluare

Colectare


Evaluare folosind metoda Evaluare folosind metoda în paşiîn paşi- - Parametrii de evaluareParametrii de evaluare

• Numărul de algoritmi pentru calculul distanţelor între semnătură şi cohortă

• Numărul de algoritmi pentru calcului distanţelor între semnătură şi şabloane

• Pragul de autentificare– Influenţă semnificativă asupra AOR / FRR

• Pragul de enrollment– Influenţă semnificativă asupra AOR / FRR


Evaluare folosind metoda Evaluare folosind metoda în paşiîn paşi- Rezultate- Rezultate metoda cu enrollmetoda cu enroll

AOR in functie de pragul de enrollment

0

10

20

30

40

50

60

70

80

90

0.5 0.51 0.52 0.53 0.54 0.55 0.56 0.57 0.58 0.59 0.6 0.61 0.62 0.63 0.64

Pragul de enrollment

AO

R

PA 3 PA 2.8 PA 2.6 PA 1.2

FRR in functie de pragul de enrollment

88

90

92

94

96

98

100

102

0.5 0.51 0.52 0.53 0.54 0.55 0.56 0.57 0.58 0.59 0.6 0.61 0.62 0.63 0.64

Pragul de enrollment

FR

R

PA 3 PA 2.8 PA 2.6 PA 1.2

• Au fost folosiţi algoritmii SRA3 şi SRA5• Pe măsură ce creşte pragul de enrollment, AOR scade şi FRR creşte• Pe măsura ce pragul de autentificare scade, AOR creşte şi FRR scade• Configuraţie optimă pentru baza 4 : AOR = 67.17%, FRR = 98.01% pentru

prag de enrollment de 0.54 şi prag de autentificare de 2.4, algoritmi de calcul in metoda cohortă 3, 5, algoritmi de calcul in metoda pragurilor 1, 2, 3, 4, 5.


Evaluare folosind metoda Evaluare folosind metoda în paşiîn paşi- Rezultate metoda fara enroll- Rezultate metoda fara enroll

Baza de semnături

Algoritmi SRA cohorta

Algoritmi SRA prag

Prag de autentificare

AOR FRR

Baza 4 1, 2, 5 1, 2, 3, 4, 5 1.6 72.55% 97.98%

Baza 4 2, 5 1, 2, 3, 4, 5 1.4 71.18% 97.98%

Baza 3 3, 5 1, 2, 3, 4, 5 2.6 54.04% 99.17%

Baza 2 1 1, 2, 3, 4, 5 1.4 82.80% 99.69%

Baza 4 3, 5 1, 2, 3, 4, 5 1.8 70.72% 95.34%

Baza 3 3, 5 1, 2, 3, 4, 5 1.8 70.51% 98.19%

Baza 2 3, 5 1, 2, 3, 4, 5 1.8 78.07% 99.08%


Procedura de evaluare folosind Reţele Procedura de evaluare folosind Reţele Neuronale ArtificialeNeuronale Artificiale

• Introducere teoretică

• Descrierea sistemului de antrenare/evaluare

• Rezultate obţinute


Reţea Neuronală Artificială Reţea Neuronală Artificială (RNA)(RNA)

• Neuronul de tip perceptron

– Ponderile– Funcţia de activare

• Parametrii reţelei

– Numărul de straturi– Numărul de neuroni pe fiecare strat

• Parametrii de antrenament

– Epoca de antrenament– Rata de invăţare– Momentul

• Epoca de antrenament – Reprezintă a câta oară se antrenează reţeaua cu acelaşi set de date;

• Rata de învăţare – Parametru introdus în legea de variaţie a ponderilor care influenţează timpul de convergenţă;

• Momentul – Parametru introdus în legea de variaţie ce influenţează oscilaţia rezultatelor de la ieşire


Sistemul de Sistemul de antrenare - antrenare - evaluareevaluare

Generare Configuraţii RNA Antrenare RNA Evaluare RNA Filtrare rezultate


Sistemul de Sistemul de ananttrenare renare - evaluareevaluare

• Pasul 1 – Generarea de configuraţii de reţele şi de antrenamente

• Pasul 2 – Antrenarea şi evaluarea pe baze diferite a reţelei neuronale

• Pasul 3 – Filtrarea şi centralizarea rezultatelor


Procedura de antrenareProcedura de antrenare

• Obţinerea unor rezultate bune se face prin variaţia parametrilor de antrenament sau ai reţelei.

• Pentru a varia 3 parametrii într-un interval de 100 de valori, trebuie sa efectuam 1000000 de antrenamente.

• În general, am variat doar un parametru, păstrându-i pe ceilalţi ficşi, după care am reluat variaţia celorlalţi în jurul maximelor obţinute.

Bază de antrenament

Bază de evaluare Parametru variat Interval de variaţie

Baza 3

Subiecţi impari

Baza 3

Subiecţi pariRata de învăţare [0.05, 0.55]

Baza 3

Subiecţi impari

Baza 3

Subiecţi pariMomentul [0.0005, 0.9]

Baza 3

Subiecţi impari

Baza 3

Subiecţi pariNeuronii din primul

strat[300, 600]


VVariaţia AOR ariaţia AOR / FRR / FRR in funcţie de in funcţie de “Num“Numărul ărul de neuroni din primul stratde neuroni din primul strat””

Evolutia AOR in functie de numarul de neuroni din primul strat

0

0.2

0.4

0.6

0.8

1

1.2

Numarul de neuroni din primul strat

AO

R

Epoca 20 Epoca 40Epoca 100 Epoca 200

Evolutia FRR in functie de numarul de neuroni din primul strat

0

0.2

0.4

0.6

0.8

1

1.2


FR

R

Epoca 20 Epoca 40Epoca 100 Epoca 200

• Antrenare pe ID-urile impare din Baza 3 şi evaluare pe ID-urile pare din aceeaşi bază.

• Reţea neuronală fără strat ascuns, având următorii parametrii :– Rata de invăţare 0.1– Momentul 0.05– Un singur neuron la ieşire iar în primul strat numărul de neuroni ia 30 de valori

echidistante in intervalul [300, 600]– Maxim 200 de epoci de antrenament

Evolutia AOR / FRR in functie de numarul de neuroni din primul strat

0

0.2

0.4

0.6

0.8

1

1.2


AO

R /

FR

R

AOR Epoca 180 FRR Epoca 180

AOR FRRNumărul de

neuroni / Epoca

88.00% 99.16% 420 / 140

90.29% 99.01% 420 / 180


VVariaţia AOR ariaţia AOR / FRR / FRR in funcţie de in funcţie de “Rata “Rata de de invăţareinvăţare””

Evolutia FRR in functie de rata de invatare

0

0.2

0.4

0.6

0.8

1

1.2

0.05

0.07

0.09

0.11

0.13

0.15

0.17

0.19

0.21

0.23

0.25

0.27

0.29

0.31

0.33

0.35

0.37

0.39

0.41

0.43

0.45

0.47

0.49

0.51

0.53

Rata de invatare

FR

R

Epoca 20 Epoca 40 Epoca 100 Epoca 200


• Reţea neuronală cu un strat ascuns, având următorii parametrii :– 40 de neuroni in primul strat, 100 neuroni pe al doilea strat, 1 neuron de ieşire– Momentul 0.3425– Rata de invăţare ia 50 de valori echidistante in intervalul [0.05, 0.55]– Maxim 200 de epoci de antrenament

Evolutia AOR / FRR in functie de rata de invatare

0

0.2

0.4

0.6

0.8

1

1.2

0.0

5

0.0

7

0.0

9

0.1

1

0.1

3

0.1

5

0.1

7

0.1

9

0.2

1

0.2

3

0.2

5

0.2

7

0.2

9

0.3

1

0.3

3

0.3

5

0.3

7

0.3

9

0.4

1

0.4

3

0.4

5

0.4

7

0.4

9

0.5

1

0.5

3

Rata de invatare

AO

R /

FR

R

AOR Epoca 40 FRR Epoca 40

AOR FRRRata de

învăţare / Epoca

92.34% 99.07% 0.36 / 40

95.73% 98.46% 0.25 / 80

Evolutia AOR in functie de rata de invatare

0

0.2

0.4

0.6

0.8

1

1.2

0.05

0.07

0.09

0.11

0.13

0.15

0.17

0.19

0.21

0.23

0.25

0.27

0.29

0.31

0.33

0.35

0.37

0.39

0.41

0.43

0.45

0.47

0.49

0.51

0.53

Rata de invatare

AO

R

Epoca 20 Epoca 40 Epoca 100 Epoca 200


VVariaţia AOR ariaţia AOR / FRR / FRR in funcţie de in funcţie de ““MomentMoment””


• Reţea neuronală fără strat ascuns, având următorii parametrii :– Rata de invăţare 0.25– Un singur neuron la ieşire ,în primul strat 40 de neuroni şi în al doilea strat 100

de neuroni– Maxim 200 de epoci de antrenament– Momentul ia 100 de valori echidistante in intervalul [0.0005, 0.9]

AOR in functie de moment

0

0.2

0.4

0.6

0.8

1

1.2

Momentul

AO

R

Epoca 10 Epoca 20 Epoca 100

FRR in functie de moment

0.00E+00

2.00E-01

4.00E-01

6.00E-01

8.00E-01

1.00E+00

1.20E+00

0.00

05

0.04

55

0.09

05

0.13

55

0.18

05

0.22

55

0.27

05

0.31

55

0.36

05

0.40

55

0.45

05

0.49

55

0.54

05

0.58

55

0.63

05

0.67

55

0.72

05

0.76

55

0.81

05

0.86

45

Momentul

FR

R

Epoca 10 Epoca 20 Epoca 100

AOR / FRR in functie de moment la epoca 20

0

0.2

0.4

0.6

0.8

1

1.2

Moment

AO

R / F

RR

AOR FRR

AOR FRRMomentul /

Epoca

92.18% 99.11% 0.3425 / 20

92.34% 99.01% 0.846 /20, 30


ConfiguraConfiguraţii optime evaluate pe toate ţii optime evaluate pe toate babazele de testzele de test

Configuraţie reţea

Bază de evaluare 2

Bază de evaluare 3

Bază de evaluare 4

Neuroni : 40, 100, 1; Rată de învăţare 0.36; moment

0.3425;Epoca 40

AOR = 93.37%, FRR = 96.15%

AOR = 92.19%, FRR = 98.73%

AOR = 92.97%, FRR = 96.60%

Neuroni : 40, 100, 1; Rată de învăţare 0.25; moment

0.3425;Epoca 80

AOR = 95.78%, FRR = 95.99%

AOR = 94.71%,

FRR = 98.46%AOR = 95.08%, FRR = 96.05%

Neuroni : 420, 1;Rată de învăţare 0.1;moment

0.05;Epoca 140

AOR = 98.45%, FRR = 94.14%

AOR = 98.02%,

FRR = 96.45%AOR = 98.46%, FRR = 92.18%

Neuroni : 420, 1;Rată de învăţare 0.1;moment

0.05;Epoca 180

AOR = 98,71%,

FRR = 93.38%

AOR = 98.06%,

FRR = 96.05%AOR = 98.60%, FRR = 92.14%

Neuroni : 40, 100 1;Rată de învăţare 0.25;moment

0.3425;Epoca 30

AOR = 92.26%,

FRR = 96.12%AOR = 91.16%, FRR = 99.12%

AOR = 92.15%, FRR = 96.91%

Neuroni : 40, 100 1;Rată de învăţare 0.25;moment

0.846;Epoca 30

AOR = 94.06%,

FRR = 96.17%

AOR = 92.70%,

FRR = 99.14%AOR = 93.36%, FRR = 96.86%


Comparaţie între cele două metodeComparaţie între cele două metode

• Metoda în doi paşi

– Prezintă AOR / FRR mai scăzute decât metoda RNA

– Rezultatele se pot îmbunătăţi folosind “pragul de enrollment”

– Pentru a găsi o configuraţie optimă nu trebuie efectuat un număr mare de teste

• Metoda RNA

– Prezintă AOR / FRR net superior

– AOR / FRR se pot îmbunătăţi pe măsură ce RNA-ul primeşte tot mai multe cereri de autentificare

– Trebuie ţinut cont de un număr mare de parametri pentru găsirea unei reţele optime

– Antrenarea reţelei durează mult


ConcluConcluziizii

• Am prezentat două metode de evaluare automată a indicilor AOR şi FRR, pe o bază de subiecţi

• Am prezentat procedura de determinare a unei reţele neuronale capabilă de performanţe ridicate

• Am dovedit că putem obţine procente de peste 92% pentru AOR şi peste 99% pentru FRR


Vă mulţumesc pentru atenţie şi sunt gata Vă mulţumesc pentru atenţie şi sunt gata să răspund eventualelor întrebarisă răspund eventualelor întrebari

metode de evaluare a parametrilor aor şi frr

Documents