CURS 3

PERCEPTRONUL MULTISTRAT

Caracteristici

Este una dintre cele mai cunoscute şi utilizate arhitecturi feedforward, şi foloseşte învăţare supervizată de tipul corectare a erorii.

Fiecare neuron din reţea are asociată o funcţie de activare nelineară, diferenţiabilă (de exemplu, funcţia logistică).

În afara stratului de intrare şi a celui de ieşire, reţeaua conţine şi unul sau mai multe straturi ascunse de neuroni, care au rolul de a extrage caracteristici din ce în ce mai relevante ale vectorilor de intrare.

Poate modela suprafeţe de decizie nelineare (spre deosebire de perceptron); ex.:

Unitatea de bază procesatoare pentru pecreptronul multistrat

Trebuie să aibă drept ieşire o combinaţie nelineară a intrărilor, care să fie şi diferenţiabilă (pentru a aplica gradient descendent).

Funcţia de activare: funcţia logistică (sigmoidală).

Funcţia log-sigmoidală

În cadrul algoritmului de antrenare (backpropagation) se întâlnesc două tipuri de semnale:

1. propagarea înainte a semnalelor calculate pe baza funcţiilor de activare a neuronilor, şi

2. propagarea înapoi a semnalelor de eroare, pe baza cărora ponderile reţelei sunt ajustate folosind regula Delta (gradient descendent în spaţiul ponderilor).

Regula Delta generalizată este baza pentru algoritmul backpropagation.

Backpropagation

Probabilităţi şi clasificare bayesiană

Perceptronul multistrat şi clasificarea bayesiană

Convergenţa algoritmului

Întrucât suprafaţa de eroare poate avea mai multe minime locale, algoritmul poate converge la unul dintre acestea, în loc de minimul global.

Exemple

Problema cu irişii. Cum se testează.