Entropie informaional

n teoria informaiei, entropia Shannon sau entropia informaional msoar incertitudinea asociat cu o variabil aleatoare. Aceast msur indic i cantitatea de informaie coninut ntr-un mesaj, exprimat de obicei n bii sau n bii pe simbol. Cnd este exprimat n bii, ea reprezint lungimea minim pe care trebuie s o aib un mesaj pentru a comunica informaia.

Ea mai reprezint i o limit absolut a celei mai bune compresii fr pierderi aplicabil unor date comunicate: tratnd un mesaj ca pe o serie de simboluri, cea mai scurt reprezentare posibil a mesajului are lungimea egal cu entropia Shannon n bii pe simbol nmulit cu numrul de simboluri din mesajul original.

O aruncare a monezii are entropia de un bit. Dar, dac moneda nu este echilibrat, atunci incertitudinea este mai mic (se tie c exist o probabilitate mai mare ca ea s cad cu o anume parte a ei n sus), i astfel entropia Shannon este mai mic. Un ir lung de caractere repetate au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text n limba englez este de 1,0 pn la 1,5 bii pe liter,[1] . Echivalent, entropia Shannon msoar media de coninut informaional pe care receptorul o pierde atunci cnd nu cunoate valoarea variabilei aleatoare.

Conceptul a fost introdus de Claude Shannon n lucrarea sa din 1948 O teorie matematic a comunicaiei.

Definiie

Entropia H a unei variabile discrete X cu valorile {x1, ..., xn} i funcia de probabilitate p:

(1)

iar dac X este continu, avnd funcia de distribuie f(x):

unde b este o baz pentru logaritmi, real i supraunitar (de obicei 2, caz n care unitatea de msur a informaiei se numete bit, sau e, caz n care ea se numete nat).

Exemplu

Presupunem evenimentul aruncrii unui zar cu 6 fee. Valorile variabilei X sunt {1,2,3,4,5,6} iar probabilitile obinerii oricrei valori sunt egale. Entropia este: .

Pentru o populaie discret cu valorile {1,2,3,4,5,6} cu probabilitile respectiv {3%,16%,31%,31%,16%,3%} (aproximativ o distribuie binomial cu p=50%) entropia calculat este: . Incertitudinea s-a diminuat fa de exemplul precendent.

Proprieti

Aditivitate

Logaritmul este folosit n calculul entropiei pentru a pemite adunarea incertitudinii unor variabile independente.

De exemplu, considernd X i Y doua evenimente independente, distribuite uniform, cu respectiv posibile rezultate perechea (X,Y) va avea rezultate echiprobabile . Entropia perechii (X,Y) se calculeaz:

(2)

Astfel, entropia perechii este egal cu suma entropiei celor dou evenimente luate separat. Proprietatea aditivitii implic faptul c entropia se menine constant indiferent dac mulimea rezultatelor/procesul este privit ca ntreg sau ca sum a unor submulimi / procese.

Schimbarea de baz

Entropia poate fi calculat folosind diferite baze ale logaritmului. nmulirea logaritmilor are proprietatea: .

Entropia calculat in baza va fi egal cu inmulit cu entropia calculat cu logaritm in baza 2.

Continuitate

Entropia este o funcie continu. Unei modificari infinitezimale a probabilitilor corespunde o modificare asemntoare a entropiei.

Simetrie

Valoarea entropiei rmne neschimbat daca se schimb ordinea variabilelor xi.

etc.

Maximum

Entropia, incertitudinea atinge o valoare maxim dac evenimentele sunt echiprobabile.

Pentru evenimente independente i echiprobabile entropia crete cu numrul posibil de rezultate.