entropia

Entropie informațional

Proprietăți

Aditivitate

Logaritmul este folosit în calculul entropiei pentru a pemite adunarea incertitudinii unor variabile independente.

De exemplu, considerând X și Y doua evenimente independente, distribuite uniform, cu

rezultate perechea (X,Y) va avea rezultate echiprobabile Entropia perechii (X,Y) se calculează:

Astfel, entropia perechii este egală cu suma entropiei celor douaditivității implică faptul că entropia se menprivit ca întreg sau ca sumă a unor submul

Schimbarea de bază

Entropia poate fi calculată folosind diferite baze ale logaritmului. Înmul

.

Entropia calculată in baza va fi egală cu

Continuitate

Entropia este o funcție continuă. Unei modificari infinitezimale a prasemănătoare a entropiei.

Simetrie

Valoarea entropiei rămâne neschimbată

Maximum

Entropia, incertitudinea atinge o valoare maxim

Pentru evenimente independente și echiprobabile entropia cre

țională


i Y doua evenimente independente, distribuite uniform, cu

rezultate echiprobabile

cu suma entropiei celor două evenimente luate separat. Proprietatea entropia se menține constantă indiferent dacă mulțimea rezultatelor/procesul este a unor submulțimi / procese.

folosind diferite baze ale logaritmului. Înmulțirea logaritmilor are proprietatea:

lă cu inmulțită cu entropia calculată cu logaritm in baza 2.

. Unei modificari infinitezimale a probabilităților corespunde o modificare

mâne neschimbată daca se schimbă ordinea variabilelor xi.

etc.

Entropia, incertitudinea atinge o valoare maximă dacă evenimentele sunt echiprobabile.

i echiprobabile entropia crește cu numărul posibil de rezultate.


i Y doua evenimente independente, distribuite uniform, cu respectiv posibile

.

(2)

evenimente luate separat. Proprietatea imea rezultatelor/procesul este

irea logaritmilor are proprietatea:

ă cu logaritm in baza 2.

ilor corespunde o modificare

evenimentele sunt echiprobabile.

rul posibil de rezultate.

entropia

Documents