1

Teoria Probabilitatilor

Teoria probabilitatilor este o disciplina a matematicii care se ocupa de studiul fenomeneloraleatoare.

• aleator = care depinde de o ımprejurare viitoare si nesigura; supus ıntamplarii

• provine din latina: aleatorius; alea (lat.) = zar; joc cu zaruri; joc de noroc; sansa; risc

→ se masoara sansele pentru succes sau riscul pentru insucces al unor evenimente

Fenomene si procese aleatoare apar, de exemplu, ın:→ jocuri de noroc, pariuri, loto (6 din 49)→ previziuni meteo→ previziuni economice / financiare (evaluarea stocurilor)→ sondaje de opinie, asigurari (evaluarea riscurilor, pierderilor)→ ın informatica: sisteme de comunicare, prelucrarea informatiei, modelarea traficului ınretea, analiza probabilistica a unor algoritmi, fiabilitatea sistemelor, algoritmi de simulare, ma-chine learning, data mining, recunoasterea formelor / a vocii, generarea de numere aleatoare,algoritmi aleatori: de tip Monte-Carlo, de tip Las Vegas etc.Exemple de ıntrebari:→ Cum este conceputa memoria cache pentru a maximiza viteza RAM a calculatoarelor?→ Retelele de calculatoare: Care este probabilitatea ca un pachet de date sa fie receptionatcorect, atunci cand canalul de transmisie este perturbat? In medie cate date sunt transmisecorect?→ Structuri de date: Se cauta un tabel hash eficient cu cea mai rapida cautare (lookup)

Algoritmi aleatori

Def. 1. Un algoritm pe cursul executarii caruia se iau anumite decizii aleatoare este numitalgoritm aleator (randomizat).

durata de executie, spatiul de stocare, rezultatul obtinut sunt variabile aleatoare (chiar dacase folosesc aceleasi valori input) la anumite tipuri de algoritmi corectitudinea e garantata doar cu o anumita probabilitate ın mod paradoxal, incertitudinea ne poate oferi mai multa eficientaExemplu: Random QuickSort, ın care elementul pivot este selectat aleator• Algoritm de tip Las Vegas este un algoritm aleator, care returneaza la fiecare executie rezul-tatul corect (independent de alegerile aleatoare facute); durata de executie este o variabilaaleatoare.Exemplu: Random QuickSort• Un algoritm aleatoriu pentru care rezultatele obtinute sunt corecte doar cu o anumita proba-bilitate se numeste algoritm Monte Carlo.

2

→ se examineaza probabilitatea cu care rezultatul este corect; probabilitatea de eroare poate fiscazuta semnificativ prin executii repetate, independente;Exemplu:1) testul Miller-Rabin, care verifica daca un numar natural este prim sau este numar com-pus; rezultatul testului returneaza fie raspunsul: “numarul este sigur un numar compus” sauraspunsul: “numarul este probabil un numar prim” (acest test nu returneaza valorile divizorilornumarului compus);2) problema taieturii minime ıntr-un graf (algoritmul lui D. Karger: random min-cut)−→ De care tip este urmatorul algoritm (scris ın pseudocod)?Input: Fie A(1),...,A(200) un vector cu 200 de elemente, din care 100 sunt egale cu 0 si restulegale cu 1 (ordinea lor este necunoscuta).Output: Sa se gaseasca un 0 ın vector.

algorithm(array A, size n)beginrepeatrandomly select one element from Auntil 0 is foundend

Raspuns: Algoritm de tip Las Vegas.Versiunea Monte Carlo a problemei formulate anterior: se da k numarul maxim de iteratii

find_MC(array A, size n, k)begin

i=0repeat

randomly select one element from Ai = i + 1

until i=k or 0 is foundend

daca 0 este gasit, atunci algoritmul se ıncheie cu rezultatul corect, altfel algoritmul nu gasesteniciun 0; probabilitatea de a gasi pe 0 dupa k iteratii este

P (“0 este gasit dupa k iteratii”) = 1− (1/2)k; 1− (1/2)k −→ 1, cand k →∞.

Notiuni introductive:• Experienta aleatoare este acea experienta al carei rezultat nu poate fi cunoscut decat dupaıncheierea ei.• Evenimentul este rezultatul unui experiment.Exemple:

3

Experiment: aruncarea a doua zaruri, eveniment: ambele zaruri indica 1 experiment: aruncarea unei monede, eveniment: moneda indica pajura experiment: extragerea unei carti de joc, eveniment: s-a extras as experiment: extragerea unui numar la loto, eveniment: s-a extras numarul 27• evenimentul imposibil, notat cu ∅, este evenimentul care nu se realizeaza niciodata la efectu-area experientei aleatoare• evenimentul sigur este un eveniment care se realizeaza cu certitudine la fiecare efectuare aexperientei aleatoare• spatiul de selectie, notat cu Ω, este multimea tuturor rezultatelor posibile ale experimentuluiconsiderat spatiul de selectie poate fi finit sau infinit

• daca A este o submultime a lui Ω atunci A se numeste eveniment aleator, iar daca A are unsingur element atunci A este un eveniment elementar. O analogie ıntre evenimente si multimi permite o scriere si ın general o exprimare mai co-mode ale unor idei si rezultate legate de conceptul de eveniment aleator.Exemplu: Experimentul: aruncarea unui zar, spatiul de selectie: Ω = e1, e2, e3, e4, e5, e6,ei: s-a obtinut numarul i (i = 1, . . . , 6) ; e1, e2, e3, e4, e5, e6 sunt evenimente elementareA: s-a obtinut un numar par ⇒ A = e2, e4, e6A: s-a obtinut un numar impar ⇒ A = e1, e3, e5 ♣Operatii cu evenimente

• daca A,B ⊆ Ω, atunci evenimentul reuniune A ∪B este un eveniment care se produce dacacel putin unul din evenimentele A sau B se produce

• dacaA,B ⊆ Ω, atunci evenimentul intersectieA∩B este un eveniment care se produce dacacele doua evenimente A si B se produc ın acelasi timp

• daca A ⊆ Ω atunci evenimentul contrar sau complemetar A este un eveniment care se real-izeaza atunci cand evenimentul A nu se realizeaza

• A,B ⊆ Ω sunt evenimente incompatibile (disjuncte), daca A ∩B = ∅• daca A,B ⊆ Ω, atunci evenimentul diferenta A \ B este un eveniment care se produce dacaA are loc si B nu are loc, adica

A \B = A ∩ BRelatii ıntre evenimente

• dacaA,B ⊆ Ω, atunciA implicaB, daca producerea evenimentului A conduce la producereaevenimentului B: A ⊆ B

• daca A implica B si B implica A, atunci evenimentele A si B sunt egale: A = BProprietati ale operatiilor ıntre evenimente A,B,C ⊆ Ω

Operatiile de reuniune si intersectie sunt operatii comutative:

A ∪B = B ∪ A, A ∩B = B ∩ A ,

4

asociative

(A ∪B) ∪ C = A ∪ (B ∪ C), (A ∩B) ∩ C = A ∩ (B ∩ C) ,

si distributive

(A ∪B) ∩ C = (A ∩ C) ∪ (B ∩ C), (A ∩B) ∪ C = (A ∪ C) ∩ (B ∪ C);

satisfac legile lui De Morgan

A ∪B = A ∩ B, A ∩B = A ∪ B.

Are loc ¯A = A.

Frecventa relativa si frecventa absoluta

Def. 2. Fie A un eveniment asociat unei experiente, repetam experienta de n ori (ın aceleasiconditii date) si notam cu rn(A) numarul de realizari ale evenimentului A; frecventa relativaa evenimentului A este numarul

fn(A) =rn(A)

n

rn(A) este frecventa absoluta a evenimentului A.

Definitia clasica a probabilitatii

Def. 3. Intr-un experiment ın care cazurile posibile sunt finite la numar si au aceleasi sansede a se realiza, probabilitatea unui eveniment A este numarul

P (A) =numarul de cazuri favorabile aparitiei lui A

numarul total de cazuri posibile.

Prin repetarea de multe ori a unui experiment, ın conditii practic identice, frecventa relativafn(A) de aparitie a evenimentului A este aproximativ egala cu P (A)

fn(A) ≈ P (A), daca n→∞.

Exemplu: Experiment: Se arunca 4 monede. Evenimentul A: cele 4 monede indica pajuraexact de 3 ori ; experimentul s-a repetat de n = 100 de ori si evenimentul A a aparut de 22 deori.

fn(A) =?, P (A) =?

Raspuns: fn(A) = 22100 = 0.22

Ω = (c, c, c, c), (c, p, p, p), . . . , (p, p, p, c), (p, p, p, p)

A = (c, p, p, p), (p, c, p, p), (p, p, c, p), (p, p, p, c) ⇒ P (A) = 424 = 0.25 ♠

5

Definitia axiomatica a probabilitatiiDefinitia clasica a probabilitatii poate fi utilizata numai ın cazul ın care numarul cazurilor

posibile este finit. Daca numarul evenimentelor elementare este infinit, atunci exista eveni-mente pentru care probabilitatea ın sensul clasic nu are nici un ınteles.Probabilitatea geometrica: Masura unei multimi corespunde “lungimii” ın R, “ariei” ın R2,“volumului” ın R3. Fie M ⊂ D ⊂ Rn, n ∈ 1, 2, 3, multimi cu masura finita.Alegem aleator un punct A ∈ D (ın acest caz spatiul de selectie este D). Probabilitateageometrica a evenimentului “A ∈M” este

P (A ∈M) :=masura(M)

masura(D).

O teorie formala a probabilitatii a fost creata ın anii ’30 ai secolului XX de catre matemati-ciuanul rus Andrei Nikolaevici Kolmogorov, care, ın anul 1933, a dezvoltat teoria axiomaticaa probabilitatii ın lucrarea sa Conceptele de baza ale Calculului Probabilitatii.

P : K → R este o functie astfel ıncat oricarui eveniment aleator A ∈ K i se asociazavaloarea P (A), probabilitatea de aparitie a evenimentului A

→K este o multime de evenimente si are structura unei σ-algebre (vezi Def. 4)→ P satisface anumite axiome (vezi Def. 5)

Def. 4. O familie K de evenimente din spatiul de selectie Ω se numeste σ-algebra daca suntsatisfacute conditiile:

(i) K este nevida;

(ii) daca A ∈ K, atunci A ∈ K;

(iii) daca An ∈ K, n ∈ N∗, atunci∞⋃n=1

An ∈ K.

Perechea (Ω,K) se numeste spatiu masurabil.

Exemple: 1) Daca ∅ 6= A ⊂ Ω atunci K = ∅, A, A,Ω este o σ-algebra.2) P(Ω):= multimea tuturor submultimilor ale lui Ω este o σ-algebra.3) Daca (Ω,K) este un spatiu masurabil si ∅ 6= B ⊆ Ω, atunci

B ∩ K = B ∩ A : A ∈ K

este o σ-algebra pe multimea B, iar (B,B ∩ K) este un spatiu masurabil.

P. 1. Proprietati ale unei σ-algebre: DacaK este o σ-algebra ın Ω, atunci au loc proprietatile:

(1) ∅,Ω ∈ K;

(2) A,B ∈ K =⇒ A ∩B, A \B ∈ K;

6

(3) An ∈ K, n ∈ N∗ =⇒∞⋂n=1

An ∈ K.

Def. 5. Fie K o σ-algebra ın Ω. O functie P : K → R se numeste probabilitate daca satisfaceaxiomele:

(i) P (Ω) = 1;

(ii) P (A) ≥ 0 pentru orice A ∈ K;

(iii) pentru orice sir (An)n∈N∗ de evenimente doua cate doua disjuncte (adica Ai ∩ Aj = ∅pentru orice i 6= j) din K are loc

P( ∞⋃n=1

An

)=

∞∑n=1

P (An) .

Tripletul (Ω,K, P ) format din spatiul masurabil (Ω,K) si probabilitatea P : K → R senumeste spatiu de probabilitate.

P. 2. Fie (Ω,K, P ) un spatiu de probabilitate. Au loc proprietatile:

(1) P (A) = 1− P (A) si 0 ≤ P (A) ≤ 1;

(2) P (∅) = 0;

(3) P (A \B) = P (A)− P (A ∩B);

(4) A ⊆ B =⇒ P (A) ≤ P (B), adica P este monotona;

(5) P (A ∪B) = P (A) + P (B)− P (A ∩B).

Exercitiu: a) Sa se arate ca pentru ∀ A,B,C ∈ K are loc:

P (A∪B∪C) = P (A)+P (B)+P (C)−P (A∩B)−P (A∩C)−P (B∩C)+P (A∩B∩C).

b) Pentru A1, ..., An ∈ K care e formula similara de calcul pentru P (A1 ∪ A2 ∪ ... ∪ An)?

Exemplu: Dintr-un pachet de 52 de carti de joc se extrage o carte aleator. Care este probabili-tatea p de a extrage a) un as sau o dama de pica? b) o inima sau un as?R.: a) A: s-a extras un as; D: s-a extras dama de pica; A si D sunt doua evenimente incompat-ibile (disjuncte)

p = P (A ∪D) = P (A) + P (D) =4 + 1

52;

b) I: s-a extras inima; I si A nu sunt evenimente incompatibile

p = P (I ∪ A) = P (I) + P (A)− P (T ∩ A) =13 + 4− 1

52=

4

13.

♥

7

Probabilitate conditionata

Def. 6. Fie (Ω,K, P ) un spatiu de probabilitate si fie A,B ∈ K. Probabilitatea conditionataa evenimentului A de evenimentul B este P (·|B) : K → [0, 1] definita prin

P (A|B) =P (A ∩B)

P (B),

daca P (B) > 0. P (A|B) este probabilitatea aparitiei evenimentului A, stiind ca evenimentulB s-a produs.

Exemplu: Se extrag succesiv fara retrunare doua bile dintr-o urna cu 4 bile albe si 5 bile rosii.a) Stiind ca prima bila este rosie, care este probabilitatea ca a doua bila sa fie alba?b) Care este probabilitatea ca ambele bile sa fie rosii?R.: pentru i ∈ 1, 2 fie evenimenteleRi: la a i-a extragere s-a obtinut o bila rosie;Ai = Ri: la a i-a extragere s-a obtinut o bila alba;

a) P (A2|R1) = 48 . b) P (R1 ∩R2) = P (R2|R1)P (R1) = 4

8 ·59 . ♣

P. 3. Pentru A,B ∈ K, P (A) > 0, P (B) > 0 au loc:

P (A ∩B) = P (B)P (A|B) = P (A)P (B|A) ,

P (A|B) = 1− P (A|B).

Fig.1. Probabilitati conditionate

Def. 7. O familie A1, . . . An de evenimente dinΩ se numeste partitie sau sistem complet de

evenimente a lui Ω, dacan⋃i=1

Ai = Ω si pentru

fiecare i, j ∈ 1, . . . , n, i 6= j, evenimenteleAi si Aj sunt disjuncte, adica Ai ∩ Aj = ∅.

Partitie A1 ∪ A2 ∪ A3 ∪ A4 ∪ A5 = Ω

Exemplu: Daca B ⊂ Ω atunci B, B formeaza o partitie a lui Ω. ♠

8

P. 4. (Formula probabilitatii totale) Intr-un spatiu de probabilitate (Ω,K, P ) considerampartitia H1, ..., Hn a lui Ω cu P (Hi) > 0 si Hi ∈ K ∀ i ∈ 1, . . . , n, si fie A ∈ K. Atunci areloc

P (A) =n∑i=1

P (A|Hi)P (Hi).

Exemplu: Intr-o urna sunt 7 bile albe, notate cu 1,2,3,4,5,6,7, si 6 bile rosii notate cu 8,9,10,11,12,13.Se extrage o bila. a) Stiind ca bila extrasa este rosie, care este probabilitatea p1, ca numarulınscris sa fie divizibil cu 4? b) Stiind ca prima bila este rosie, care este probabilitatea p2, ca oa doua bila extrasa sa fie un numar impar? (Prima bila nu s-a returnat ın urna!)R.: Se considera evenimentele:A1: prima bila extrasa are ınscris un numar divizibil cu 4;B1: prima bila extrasa este rosie;C1: prima bila extrasa are ınscris un numar impar;C2: a doua bila extrasa are ınscris un numar impar.a) p1 = P (A1|B1) = 2

6 .

b) p2 = P (C2|B1) =? Folosim Def.6 si P.3, scriem succesiv

p2 = P (C2|B1) =P (C2 ∩B1)

P (B1)=P (C2 ∩B1 ∩ C1) + P (C2 ∩B1 ∩ C1)

P (B1)

=P (C2|B1 ∩ C1)P (B1 ∩ C1) + P (C2|B1 ∩ C1)P (B1 ∩ C1)

P (B1)=

612 ·

313 + 7

12 ·313

613

=13

24.

♥Formula lui Bayes

Formula lui Bayes este o metoda de a ”corecta” (a revizui, a ımbunatati) pe baza unor noiinformatii (date) disponibile o probabilitate determinata apriori. Se porneste cu o estimarepentru probabilitatea unei anumite ipoteze I . Daca avem noi informatii (date) D, ce privescipoteza I , se poate calcula o probabilitate ”corectata” pentru ipoteza I , numita probabilitateposterioara (a-posteriori).→ P (I) probabilitatea ca ipoteza I sa fie adevarata, numita si probabilitatea apriori;→ probabilitatea conditionata P (I|D) este probabilitatea posterioara (corectata de noile informatii);→ P (D|I) probabilitatea ca sa apara informatiile, daca ipoteza I este adevarata;→ P (D|I) probabilitatea ca sa apara informatiile, daca ipoteza I este falsa.Folosind P.5 are loc:

P (D) = P (D|I) · P (I) + P (D|I) · P (I) = P (D|I) · P (I) + P (D|I) · (1− P (I)).

Formula lui Bayes este ın acest caz

P (I|D) =P (D|I) · P (I)

P (D)=

P (D|I) · P (I)

P (D|I) · P (I) + P (D|I) · P (I).

9

Exemplu: Consideram evenimentele (ın teste clinice):I: o persoana aleasa aleator dintr-o populatie are o anumita alergie AD+: testul clinic returneaza pozitiv privind alergia AD+: testul clinic returneaza negativ privind alergia A din statistici anterioare sunt cunoscute:p = P (I), probabilitatea ca o persoana selectata aleator din populatie sa sufere de alergia A;sensibilitatea testului s1 = P (D+|I);specificitatea testului s2 = P (D+|I);⇒ probabilitatea de a obtine raspuns fals pozitiv este P (D+|I) = 1− s2; un test clinic bun implica valori apropiate de 1 pentru s1 si s2;I cunoscand p, s1, s2 se doreste a se determina valoarea predictiva P (I|D+)

P (I|D+) =P (D+|I) · P (I)

P (D+)=

P (D+|I) · P (I)

P (D+|I) · P (I) + P (D+|I) · P (I)=

s1 · ps1 · p+ (1− s2) · (1− p)

.

♣

P. 5. (Formula lui Bayes) Intr-un spatiu de probabilitate (Ω,K, P ) consideram partitiaH1, . . . , Hn

a lui Ω cu P (Hi) > 0 si Hi ∈ K ∀ i ∈ 1, ...n, si fie E ∈ K astfel ıncat P (E) > 0. Atunci,

P (Hj|E) =P (Hj)P (E|Hj)

P (E)=

P (Hj)P (E|Hj)n∑i=1

P (Hi)P (E|Hi)

∀ j ∈ 1, 2, ..., n.

pentru i ∈ 1, 2, ..., n P (Hi) sunt probabilitati apriori pentru Hi, numite si ipoteze(asertiuni), E se numeste evidenta (dovada, premisa, informatie); cu formula lui Bayes secalculeaza probabilitatile pentru ipoteze, cunoscand evidenta: P (Hi|E), acestea se numescprobabilitati posterioare (ulterioare); P (E|Hi) reprezinta verosimilitatea datelor observate. Se pot calcula probabilitatile cauzelor, date fiind efectele; formula lui Bayes ne ajuta sadiagnosticam o anumita situatie sau sa testam o ipoteza.

Exemplu: Ce probabilitati calculeaza programul de mai jos? Ce tip de algoritm aleator este?I randi(imax,n,m) genereaza o n×mmatrice cu valori ıntregi aleatoare (pseudoaleatoare)ıntre 1 si imax.

clear allci=0;cp=0;c=0;a=0;b=0;N=1000;for i=1:N

10

A=[randi(5,1,5),5+randi(8,1,5),13+randi(7,1,10)];r= randi(length(A));v=A(r);ci=ci+mod(v,2);cp=cp+(mod(v,2)==0);c=c+ mod(v,2)*(mod(v,3)==0);a=a+ mod(v,2)*(6<=r && r<=10);b=b+ (mod(v,2)==0)*(r>=10);

endp1=c/cip2=a/cip3=b/cp

R.: Se da un sir A format din 20 de elemente, ın care• 25% provin din generarea aleatoare si cu aceeasi probabilitate (care e 1/5) a unui numar din1, 2, 3, 4, 5• 25% provin din generarea aleatoare si cu aceeasi probabilitate (care e 1/8) a unui numar din6, 7, 8, 9, 10, 11, 12, 13• 50% provin din generarea aleatoare si cu aceeasi probabilitate (care e 1/7) a unui numar din14, 15, 16, 17, 18, 19, 20.Se extrage aleator un numar din sir.Ip1 estimeaza probabilitatea conditionata ca numarul ales aleator sa fie divizibil cu 3, stiindca s-a extras un numar impar;I p2 estimeaza probabilitatea conditionata ca numarul ales aleator sa provina din multimea6, 7, 8, 9, 10, 11, 12, 13, stiind ca s-a extras un numar impar;I p3 estimeaza probabilitatea conditionata ca numarul ales aleator sa provina din multimea14, 15, 16, 17, 18, 19, 20, stiind ca s-a extras un numar par.Algoritmul este de tip Monte-Carlo! ♣Exercitiu: Sa se calculeze valorile teoretice pentru probabilitatile p1, p2, p3 din exemplulanterior! ♠

P. 6. (Regula de ınmultire) Fie (Ω,K, P ) un spatiu de probabilitate si fie A1, . . . , An ∈ Kastfel ıncat P (A1 ∩ · · · ∩ An−1) > 0. Atunci,

P (A1 ∩ · · · ∩ An) = P (A1)P (A2|A1) . . . P (An|A1 ∩ · · · ∩ An−1).

Exemplu: Intr-o urna sunt 2 bile verzi si 3 bile albastre. Se extrag 2 bile succesiv, fara re-turnare. Care este probabilitatea caa) prima bila sa fie verde, iar cea de-a doua albastra?b) cele 2 bile sa aiba aceeasi culoare?c) a doua bila sa fie albastra?

11

d) prima bila sa fie verde, stiind ca a doua este albastra?e) se mai extrage o a treia bila; se cere probabilitatea ca prima bila sa fie verde, cea de-a douaalbastra si a treia tot albastra.R.: Notam pentru i ∈ 1, 2, 3 evenimentele:Ai: la a i-a extragere s-a obtinut bila albastra; Vi: la a i-a extragere s-a obtinut bila verde;a) folosim P.3: P (V1 ∩ A2) = P (A2|V1)P (V1) = 3

4 ·25

b) P ((V1∩V2)∪(A1∩A2)) = P (V1∩V2)+P (A1∩A2) = P (V2|V1)P (V1)+P (A2|A1)P (A1) =14 ·

25 + 2

4 ·35

c) folosim formula probabilitatii totale P.5:P (A2) = P (A2|V1)P (V1) + P (A2|A1)P (A1) = 3

4 ·25 + 2

4 ·35

d) folosim P.3: P (V1|A2) = P (V1∩A2)P (A2)

= P (A2|V1)P (V1)P (A2)

=34 ·

25

34 ·

25+

24 ·

35

e) formula de ınmultire a probabilitatilor P.6:P (V1 ∩ A2 ∩ A3) = P (V1) · P (A2|V1) · P (A3|V1 ∩ A2) = 2

5 ·34 ·

23 .

Fig. 3. Extragere fara returnare

♣Evenimente independente

Def. 8. Fie (Ω,K, P ) un spatiu de probabilitate. Evenimentele A,B ∈ K sunt evenimenteindependente daca

P (A ∩B) = P (A)P (B).

Observatie: Fie evenimentele A,B ∈ K astfel ıncat P (A) > 0 si P (B) > 0. Evenimentele AsiB sunt independente, daca aparitia evenimentuluiA, nu influenteaza aparitia evenimentuluiB si invers, adica

P (A|B) = P (A) si P (B|A) = P (B) .

12

Doua evenimente se numesc dependente daca probabilitatea realizarii unuia dintre ele depindede faptul ca celalalt eveniment s-a produs sau nu.Exercitiu: 1) Se extrag succesiv fara returnare doua carti de joc dintr-un pachet de carti;A: prima carte extrasa este as;B: prima carte extrasa este damaC: a doua carte extrasa este 1;Sunt A si B evenimente independente?Sunt A si C evenimente independente?Sunt B si C evenimente dependente?2) Se arunca un zar de doua ori.A: primul numar este 6;B: al doilea numar este 5C: primul numar este 1;Sunt A si B evenimente independente?Sunt A si C evenimente independente?Sunt B si C evenimente dependente? ♣

P. 7. Fie (Ω,K, P ) un spatiu de probabilitate si fie A,B ∈ K. Sunt echivalente afirmatiile:

(1) A si B sunt independente.

(2) A si B sunt independente.

(3) A si B sunt independente.

(4) A si B sunt independente.

Def. 9. Fie (Ω,K, P ) un spatiu de probabilitate. B1, . . . , Bn sunt n evenimente independente(ın totalitate) din K daca

P (Bi1 ∩ · · · ∩Bim) = P (Bi1) · . . . · P (Bim)

pentru orice submultime finita i1, . . . , im ⊆ 1, 2, ..., n.

Exemplu: 1) A,B,C ∈ K sunt trei evenimente independente (ın totalitate), daca

P (A ∩B) = P (A)P (B), P (A ∩ C) = P (A)P (C), P (B ∩ C) = P (B)P (C),

P (A ∩B ∩ C) = P (A)P (B)P (C).

2) Cele 4 fete ale unui tetraedru regulat sunt vopsite astfel: una este rosie, una este albastra,una este verde si una este colorata avand cele trei culori. Se arunca tetraedrul si se consideraevenimentele: R: tetraedrul cade pe partea rosie; A: tetraedrul cade pe partea albastra; V :tetraedrul cade pe partea verde. Se poate afirma ca P (R ∩ A ∩ V ) = P (R)P (A)P (V )? Sunt

13

cele 3 evenimente independente ın totalitate?3) Pentru a verifica daca n evenimente distincte B1, . . . , Bn sunt independente (ın totalitate)cate relatii trebuie verificate? R.: C2

n + C3n + ...+ Cn

n = 2n − n− 1

Variable aleatoare

Exemplu: Un jucator arunca doua monede⇒ Ω = (c, p), (c, c), (p, c), (p, p) (c=cap; p=pajura)

X indica de cate ori a aparut pajura: ⇒ X : Ω→ 0, 1, 2⇒ P (X = 0) = P (X = 2) = 1

4 , P (X = 1) = 12

Notatie 1. variabila/variabile aleatoare→ v.a.

O variabila aleatoare este:I discreta, daca ia un numar finit de valori (x1, . . . , xn) sau un numar infinit numarabil devalori (x1, . . . , xn, . . . )

I continua, daca valorile sale posibile sunt nenumarabile si sunt ıntr-un interval (sau reuninede intervale) sau ın RV.a. discrete: exemple de v.a. numerice discrete: suma numerelor obtinute la aruncarea a4 zaruri, numarul produselor defecte produse de o anumita firma ıntr-o saptamana; numarulapelurilor telefonice ıntr-un call center ın decursul unei ore; numarul de accesari ale unei anu-mite pagini web ın decursul unei anumite zile (de ex. duminica); numarul de caractere trans-mise eronat ıntr-un mesaj de o anumita lungime; exemple de v.a. categoriale (→ se clasificaın categorii): prognoza meteo: ploios, senin, ınnorat, cetos; calitatea unor servicii: nesat-isfacatoare, satisfacatoare, bune, foarte bune, exceptionale . . . )

V.a. continue sunt v.a. numerice: timpul de functionare pana la defectare a unei piese electron-ice, temperatura ıntr-un oras, viteza ınregistrata de radar pentru masini care parcurg o anumitazona . . .

Variabile aleatoare numerice - definitie formala

Def. 10. Fie (Ω,K, P ) spatiu de probabilitate X : Ω→ R este o variabila aleatoare, daca

ω ∈ Ω : X(ω) ≤ x ∈ K pentru fiecare x ∈ R.

Variabile aleatoare discrete X : Ω→ x1, x2, . . . , xi, . . .

Def. 11. Distributia de probabilitate a v.a. discrete X

X ∼(x1 x2 . . . xi . . .p1 p2 . . . pi . . .

)=

(xipi

)i∈I

I ⊆ N (multime de indici nevida); pi = P (X = xi) > 0, i ∈ I , cu∑i∈Ipi = 1.

14

Variabilele aleatoare discrete sunt caracterizate de distributia de probabilitate. Notam X = xi = ω ∈ Ω : X(ω) = xi; X = xi este un eveniment din K pentrufiecare i ∈ I .

Distributii discrete clasiceDistributia discreta uniforma: X ∼ Unif(n)

X ∼

1 2 . . . n

1n

1n . . . 1

n

Exemplu: Se arunca un zar, fie X v.a. care indica numarul aparut

⇒ X ∼(

1 2 . . . 616

16 . . . 1

6

)Matlab/Octave: unidrnd(n, ...), randi(n, ...)

Distributia Bernoulli: X ∼ Bernoulli(p), p ∈ (0, 1)

X ∼(

0 11− p p

)Exemplu: ın cadrul unui experiment poate sa apara evenimentul A (succes) sau A (insucces)X = 0⇔ daca A apare; X = 1⇔ daca A apare⇒ X ∼ Bernoulli(p) cu p := P (A)

X ∼(

0 11− P (A) P (A)

)♣

generare ın Matlab/Octave:

n=1000;p=0.3;nr=rand(1,n);X=(nr<=p) % vector de date avand distributia Bernoulli(p)%%%%%%%%Y=floor(rand(1,n)+p)% vector de date avand distributia Bernoulli(p)%%%%%%%%Z=binornd(1,p,1,n)% vector de date avand distributia Bernoulli(p)

Distributia binomiala: X ∼ Bino(n, p), n ∈ N∗, p ∈ (0, 1)ın cadrul unui experiment poate sa apara evenimentul A (succes) sau A (insucces)• A = succes cu P (A) = p, A = insucces P (A) = 1− p

15

• se repeta experimentul de n ori• v.a. X= numarul de succese ın n repetari independente ale experimentului⇒ valori posibile:X ∈ 0, 1, . . . , n

P (X = k) = Cknp

k(1− p)n−k, k = 0, . . . , n.

Exemplu: Un zar se arunca de 10 ori, fie X v.a. care indica de cate ori a aparut numarul 6⇒ Bino(10, 16).→ are loc formula binomiala

(a+ b)n =n∑k=0

Cpna

kbn−k

pentru a = p si b = 1− p se obtine

1 =n∑k=0

Cpnp

k(1− p)n−k.

Matlab/Octave: binornd(n, p, ...)

Distributia binomiala corespunde modelului cu extragerea bilelor dintr-o urna cu returnareabilelor dupa fiecare extragere.Exemplu: Intr-o urna sunt n1 bile albe si n2 bile negre. Se extrag cu returnare n bile; fie v.a.X = numarul de bile albe extrase⇒ X ∼ Bino(n, p) cu p = n1

n1+n2.

2) Fie un canal de comunicare binara care transmite cuvinte codificate de N biti fiecare. Prob-abilitatea transmiterii cu succes a unui singur bit este p, iar probabilitatea unei erori este 1− p.Presupunem, de asemenea, ca un astfel de cod este capabil sa corecteze pana la m erori, unde0 ≤ m ≤ N . Se stie ca transmiterea bitilor succesivi este independenta, atunci probabilitateatransmiterii cu succes a cuvantului este p = P (A), undeA: cel mult m erori apar ın transmiterea celor N biti

p = P (A) =m∑k=0

CkNp

N−k(1− p)k.

♠Exercitiu: 1) Un client acceseaza o data pe zi o anumita pagina web, care ofera produse bio,cu probabilitatea 0.4. Cu ce probabilitate clientul acceseaza aceasta pagina ın total de 3 ori ınurmatoarele 6 zile?2) O retea de laborator este compusa din 15 calculatoare. Reteaua a fost atacata de un virusnou, care ataca un calculator cu o probabilitatea 0.4, independent de alte calculatoare. Careeste probabilitatea ca virusul a atacat a) cel mult 10 computere; b) cel putin 10 calculatoare; c)exact 10 calculatoare? ♥

16

Distributia hipergeometrica: X ∼ Hyge(n, n1, n2)Intr-o urna sunt n1 bile albe si n2 bile negre. Se extrag fara returnare n bile.Fie v.a. X = numarul de bile albe extrase⇒ valori posibile pentru X sunt 0, 1, . . . , n∗ cu

n∗ = min(n1, n) =

n1 daca n1 < n (mai putine bile albe decat numarul de extrageri)n daca n1 ≥ n (mai multe bile albe decat numarul de extrageri)

Fie n1, n2, n ∈ N cu n ≤ n2 si notam n∗ = min(n1, n).

⇒ P (X = k) =Ckn1Cn−kn2

Cnn1+n2

, k = 0, . . . , n∗.

Matlab/Octave: hygernd(n1 + n2, n1, n, ...)

Exemplu: Loto 6 din 49→ Care este probabilitatea de a nimeri exact 4 numere castigatoare?R.: Intre cele 49 de bile exact n1 = 6 sunt castigatoare (“bilele albe”) si n2 = 43 necastigatoare(“bilele negre”). Care este probabilitatea ca din n = 6 extrageri fara returnare, exact k = 4numere sa fie castigatoare?

⇒ P (X = 4) =C4

6C243

C649

♦

Distributia geometrica X ∼ Geo(p)In cadrul unui experiment poate sa apara evenimentul A (succes) sau A (insucces)• A = succes cu P (A) = p, A = insucces P (A) = 1− p• se repeta (independent) experimentul pana apare prima data A (“succes”)• v.a. X arata de cate ori apare A (numarul de “insuccese”) pana la aparitia primului A (“suc-ces”)⇒ valori posibile: X ∈ 0, 1, . . .

P (X = k) = p(1− p)k pentru k ∈ 0, 1, 2, . . . .

Matlab/Octave: geornd(p, ...)

Exemplu: X v.a. ce indica numarul de retransmisii printr-un canal cu zgomot (canal cu per-turbari) pana la prima receptionare corecta a mesajului; X are distributie geometrica. ♠

Variabile aleatoare independente

Def. 12. Variabilele aleatoare discrete X (care ia valorile xi, i ∈ I) si Y (care ia valorileyj, j ∈ J) sunt independente, daca si numai daca

P (X = xi, Y = yj) = P (X = xi)P (Y = yj) ∀ i ∈ I, j ∈ J.

Notatie 2. P (X = xi, Y = yj) = P (X = xi ∩ Y = yj) ∀ i ∈ I, j ∈ J.

17

P. 8. Fie variabilele aleatoare discrete X (care ia valorile xi, i ∈ I) si Y (care ia valorileyj, j ∈ J). Sunt echivalente afirmatiile:(1) X si Y sunt v.a. sunt independente;(2) P (X = xi|Y = yj) = P (X = xi) ∀ i ∈ I, j ∈ J ;(3) P (Y = yj|X = xi) = P (Y = yj) ∀ i ∈ I, j ∈ J.(4) P (X ≤ x, Y ≤ y) = P (X ≤ x) · P (Y ≤ y) ∀ x, y ∈ R.

Def. 13. X = (X1, . . . , Xm) este un vector aleator discret daca fiecare componenta a sa esteo variabia aleatoare discreta.Daca X este un vector aleator discret care ia valori ın multimea X(Ω) = xk : k ∈ K ⊂ Rm,unde K ⊆ N este o multime de indici, atunci

P (X = xk) = P(ω ∈ Ω : X(ω) = xk

), k ∈ K,

determina distributia de probabilitate a vectorului aleator discret X

X ∼(

xk

P (X = xk)

)k∈K

.

Vectorii aleatori sunt caracterizati de distributiile lor! De exemplu, un vector aleator cu 2componente:

X = (X, Y ) ∼(

(xi, yj)pij

)(i,j)∈I×J

unde I, J ⊆ N sunt multimi de indici,pij = P ((X, Y ) = (xi, yj)) = P (X = xi ∩ Y = yj), pij > 0 ∀ i ∈ I, j ∈ J ,iar

∑(i,j)∈I×J

pij = 1.

Uneori distributia vectorului (X, Y ) se da sub forma tabelara:

XY ... yj ...

... ... ... ...xi ... pij ...... ... ... ...

Observatie: Daca X si Y sunt v.a. independente, atunci

(1) pij = P (X = xi ∩ Y = yj) = P (X = xi)P (Y = yj) ∀ i ∈ I, j ∈ J.

Daca X si Y sunt v.a. independente, si se stiu distributiile lor, atunci distributia vectoruluialeator (X, Y ) se determina pe baza formulei (1). Daca se cunoaste distributia vectorului aleator (X, Y ) distributiile lui X si Y se determinaastfel:

P (X = xi) =∑j∈J

pij ∀i ∈ I

18

P (Y = yj) =∑i∈I

pij ∀j ∈ J.

Operatii cu variabile aleatoare (numerice)• Cunoscand distributia vectorului (X, Y ) cum se determina distributia pentru X + Y , X · Y ,X2 − 1, 2Y ?Exemplu: Fie vectorul aleator discret (X1, X2) cu distributia data de urmatorul tabel:

X1

X2 0 1 2

1 216

116

216

2 116

516

516

. Determinati: a) distributiile variabilelor aleatoare X1 si X2;

b) distributiile variabilelor aleatoare X1 +X2 si X1 ·X2, X21 − 1;

c) daca variabilele aleatoare X1 si X2 sunt independente sau dependente.

R.: a) X1 ∼(

1 2516

1116

)si X2 ∼

(0 1 2316

616

716

).

b) X1 +X2 ∼(

1 2 3 4216

216

716

516

)si X1 ·X2 ∼

(0 1 2 4316

116

716

516

), X2

1 − 1 ∼(

0 3516

1116

)c) X1 si X2 nu sunt independente, pentru ca 2

16 = P (X1 = 1, X2 = 0) 6= P (X1 = 1)P (X2 =0) = 5

16 ·316 . ♥

• Cunoscand distributiile variabilelor aleatoare independente (discrete) X si Y , cum se deter-mina distributia pentru X + Y , X · Y ?Exercitiu: Fie X ,Y v.a. independente, avand distributiile

X ∼(

0 113

23

), Y ∼

(−1 0 112

14

14

)a) Care sunt distributiile v.a. 2X + 1, Y 2, dar distributia vectorului aleator (X, Y )?b) Care sunt distributiile v.a. X + Y , X · Y , max(X, Y ), min(X, Y 2)? ♣

Exercitiu: Se arunca doua zaruri. a) Sa se scrie distributia de probabilitate pentru variabilaaleatoare, care este suma celor doua numere aparute. b) Sa se scrie distributia de probabilitatepentru variabila aleatoare, care este produsul celor doua numere aparute. ♠

Def. 14. Valoarea medie a unei variabila aleatoare discrete (numerice) X , care ia valorilexi, i ∈ I, este

E(X) =∑i∈I

xiP (X = xi),

daca∑i∈I

|xi|P (X = xi) <∞.

Valoarea medie a unei variabile aleatoare caracterizeaza tendinta centrala a valorilor aces-teia.

19

P. 9. Fie X si Y v.a. discrete. Au loc proprietatile:→ E(aX + b) = aE(X) + b pentru orice a, b ∈ R;→ E(X + Y ) = E(X) + E(Y );→ Daca X si Y sunt v.a. independente, atunci E(X · Y ) = E(X)E(Y ).→ Daca g : R→ R e o functie astfel ıncat g(X) este v.a., atunci

E(g(X)) =∑i∈I

g(xi)P (X = xi),

daca∑i∈I|g(xi)|P (X = xi) <∞.

Matlab/Octave: mean(x)pentru x = [x(1), ..., x(n)], se calculeaza mean(x) =

1

n(x(1) + ...+ x(n))

Exemplu: Joc: Se arunca un zar; daca apare 6, se castiga 3 u.m. (unitati monetare), daca apare1 se castiga 2 u.m., daca apare 2,3,4,5 se pierde 1 u.m. In medie cat va castiga sau pierde unjucator dupa 30 de repetitii ale jocului?Raspuns: Fie X v.a. care indica venitul la un joc

X ∼(−1 2 346

16

16

)Pentru i ∈ 1, ..., 30 fie Xi venitul la al i-lea joc; Xi are aceeasi distributie ca X . Venitulmediu al jucatorului dupa 30 de repetitii ale jocului este

E(X1 + ...+X30) = E(X1) + ...+ E(X30) = 30 · E(X) = 30 · 16· (2− 4 + 3) = 5 (u.m.).

Asadar jucatorul castiga ın medie 5 u.m.Exercitiu:Input: Fie A(1),...,A(200) un vector cu 200 de elemente, din care 50 sunt egale cu 0, 70 egalecu 1 si 80 sunt egale cu 2 (ordinea lor este necunoscuta).Output: Sa se gaseasca un 0 ın vector, alegand aleator un element din sir si verificand dacaacesta este 0.Intrebare: In medie cate iteratii sunt necesare ınainte sa apara primul 0?

clear allA=[zeros(1,50), zeros(1,70)+1,zeros(1,80)+2];index=randperm(length(A));A=A(index);c=0;i=randi(length(A));while A(i)˜=0

20

c=c+1;i=randi(length(A));endfprintf(’nr. iteratii: %d \n’,c)

clcclear allA=[zeros(1,50), zeros(1,70)+1,zeros(1,80)+2];s=[];N=100;for j=1:Nindex=randperm(length(A));A=A(index);c=0;i=randi(length(A));A(i)while A(i)˜=0c=c+1;i=randi(length(A));ends=[s,c];endmean(s)fprintf(’nr. mediu de iteratii: %4.3f \n’,mean(s))

Probabilitatea sa apara la orice iteratie 0 este p = 50200 = 0.25.

Notam cu X v.a. care indica numarul de iteratii necesare ınainte sa apara primul 0 ⇒ X ∼Geo(p).Numarul mediu de iteratii necesare ınainte sa apara primul 0 este E(X). Sa se calculezeaceasta valoare medie! t

Def. 15. Fie X1, . . . , Xn cu n ∈ N, n ≥ 2, variabile aleatoare, care iau valori ın multimileX1, . . . ,Xn. X1, . . . , Xn sunt variabile aleatoare independente, daca

P (X1 = x1, . . . , Xn = xn) = P (X1 = x1) · . . . · P (Xn = xn)

pentru fiecare x1 ∈ X1, . . . , xn ∈ Xn

Notatie 3. Fie U un vector aleator discret care ia valori ın U ⊂ Rm si fie V un vector aleatordiscret care ia valori ın V ⊂ Rn, m,n ∈ N∗. Notam P [U] : U → [0, 1],

P [U](u) = P (U = u) ∀ u ∈ U

21

→ P [U] este distributia de probabilitate a vectorului aleator, daca m > 1 (a se vedea Def.13), sau a v.a., daca m = 1 (a se vedea Def. 11).

I Observatie: (1) Def. 15 se transcrie mai compact astfel:X1, . . . , Xn sunt variabile aleatoare independente

⇐⇒ P [X1, . . . , Xn] = P [X1] · . . . · P [Xn].

(2) Daca U1 and U2 sunt 2 v.a. discrete atunci: U1 au U2 aceeasi distributie ⇐⇒ P [U1] = P [U2]. U1 si U2 sunt v.a. independente⇐⇒ P [U1, U2] = P [U1]P [U2]⇐⇒ P [U1|U2] = P [U1] ⇐⇒P [U2|U1] = P [U2].

P. 10. Daca X1, . . . , Xn sunt variabile aleatoare independente, atunci pentru orice indicidiferiti i1, ..., ik ⊂ 1, ..., n Xi1, . . . , Xik sunt variabile aleatoare independente, adica

P [Xi1, . . . , Xik] = P [Xi1] · . . . · P [Xik].

Clasificarea naiva BayesIn ınvatarea automata, clasificatorii bayesieni naivi sunt o familie de clasificatori proba-

bilistici simpli, bazati pe aplicarea formulei lui Bayes (a se vedea P.5) cu ipoteze “naive” deindependenta conditionata ıntre atribute (ın engl. features), cunoscand clasificarea. Pentruunele tipuri de modele de probabilitate, clasificatorii bayesieni naivi pot fi antrenati foarte efi-cient. In aplicatii practice pentru modelele bayesiene naive se foloseste metoda probabilitatiimaxime. Notiunea folosita ın acest context este conditional independenta ıntre evenimente,respectiv v.a.

Fie (Ω,K, P ) un spatiu de probabilitate. De asemenea consideram ca toate probabilitatileconditionate sunt definite (adica conditionarea se face ın raport cu un eveniment a carui prob-abilitate nu este 0).

Def. 16. Evenimentele A,B ∈ K sunt conditional independente, cunoscand evenimentulC ∈ K, daca si numai daca

P (A ∩B|C) = P (A|C)P (B|C).

P. 11. Au loc echivalentele:

P (A ∩B|C) = P (A|C)P (B|C)⇔ P (A|B ∩ C) = P (A|C)⇔ P (B|A ∩ C) = P (B|C).

Demonstratie: • Pentru prima echivalenta: “⇒”

P (A|B ∩ C) =P (A ∩B ∩ C)

P (B ∩ C)=P (A ∩B|C)P (C)

P (B|C)P (C)=P (A|C)P (B|C)

P (B|C)= P (A|C).

22

“⇐”

P (A ∩B|C) =P (A ∩B ∩ C)

P (C)=P (A|B ∩ C)P (B ∩ C)

P (C)=P (A|C)P (B ∩ C)

P (C)

= P (A|C)P (B|C).

• P (A ∩B|C) = P (A|C)P (B|C)⇔ P (B|A ∩ C) = P (B|C) se demonstreaza analog.

Exemplu: Fie Z o v.a. care indica rezultatul aruncarii unui zar. Consideram evenimentele:A = (Z ∈ 1, 2), B = (Z ∈ 2, 4, 6) si C = (Z ∈ 1, 4). Sa se arate ca:a) A si B sunt independente;b) A si B nu sunt conditional independente, cunoscand evenimentul C.

R.: a) P (A ∩ B) = P (Z = 2) =1

6=

1

3· 1

2= P (Z ∈ 1, 2)P (Z ∈ 2, 4, 6) =

P (A)P (B) =⇒ A si B sunt independente.

b)P (A ∩ B|C) = P (Z = 2|Z ∈ 1, 4) = 0, P (A|C) = P (Z = 1|Z ∈ 1, 4) =1

2=

P (Z = 4|Z∈1, 4)=P (B|C)⇒ A si B nu sunt conditional independente, cunoscand C. N

Exercitiu: Intr-o cutie sunt 2 zaruri. La primul zar 3 apare cu probabilitatea 16 , iar la celalalt

zar (care e masluit) 3 apare cu probabilitatea 56 . Se alege aleator un zar, care este apoi aruncat

de 2 ori. Consideram evenimenteleAi: “zarul ales indica 3 la aruncarea i”, i ∈ 1, 2Zj:“se alege zarul j”, j ∈ 1, 2.Sunt A1 si A2 conditional independente, cunoscand Z1? Sunt A1 si A2 independente?R.: Daca se cunoaste tipul zarului ales, atunci aruncarile sunt ın mod evident independente:P (A1 ∩ A2|Z1) = 1

36 = P (A1|Z1) · P (A2|Z1). Din formula probabilitatii totale P.5 avem:P (A2) = P (A1) = P (A1|Z1)P (Z1) + P (A1|Z2)P (Z2) = 1

6 ·12 + 5

6 ·12 = 1

2 si P (A1 ∩ A2) =P (A1 ∩ A2|Z1)P (Z1) + P (A1 ∩ A2|Z2)P (Z2) = 1

6 ·16 ·

12 + 5

6 ·56 ·

12 = 13

36 . Deci P (A2|A1) =P (A1 ∩ A2)

P (A1)=

13

18. A1 si A2 nu sunt independente, pentru ca P (A2|A1) 6= P (A2). ^

Def. 17. FieX, Y, Z v.a. discrete care iau valori ın multimileX , Y ,Z . V.a. X este conditionalindependenta de Y , cunoscand (stiind) v.a. Z, daca pentru fiecare x ∈ X , y ∈ Y , z ∈ Z ,areloc

P (X = x, Y = y|Z = z) = P (X = x|Z = z)P (Y = y|Z = z) .

Notatie 4. Notam cu P [U|V] : U × V → [0, 1] distributia de probabilitate conditionata

P [U|V](u,v) = P (U = u|V = v) ∀ u ∈ U ,v ∈ V .

I Observatie: Def. 17 se transcrie astfel:

P [X, Y |Z] = P [X|Z]P [Y |Z] .(2)

Folosind P.11, rezulta:

23

P. 12. V.a. X si Y sunt conditional independente, cunoscandZ⇔ P [X, Y |Z] = P [X|Z]P [Y |Z]⇔ P [X|Y, Z] = P [X|Z]⇔ P [Y |X,Z] = P [Y |Z].

Vom introduce notiunea de conditional independenta pentru mai multe v.a. discrete.

Def. 18. Fie X, Y1, . . . , Ym, Z1, . . . , Zn v.a. discrete. V.a. X este conditional independenta deY1, . . . , Ym, stiind (cunoscand) v.a. Z1, . . . , Zn, daca are loc

P [X, Y1, . . . , Ym|Z1, . . . , Zn] = P [X|Z1, . . . , Zn]P [Y1, . . . , Ym|Z1, . . . , Zn].

P. 13. Fie X o v.a. discreta conditional independenta de v.a. discrete Y1, . . . , Ym, cunoscandv.a. discrete Z1, . . . , Zn. Daca i1, . . . , ik ∈ 1, . . . ,m sunt indici diferiti, atunci are loc

P [X|Yi1, . . . , Yik, Z1, . . . , Zn] = P [X|Z1, . . . , Zn] ,

P [Yi1, . . . , Yik|X,Z1, . . . , Zn] = P [Yi1, . . . , Yik|Z1, . . . , Zn].

Exemplu de clasificare naiva BayesSe doreste clasificarea traficului T pe un anumit bulevard, ın clasele: aglomerat a sau

relaxat a, r, ın functie de urmatoarele atribute cu valorile lor posibile:• vreme V : ploaie p, zapada z, senin s, ınnorat ı (dar nu ploua si nu ninge) ;• timp Ti: dimineata di, amiaza am, seara se, noapte no.

Consideram urmatorul tabel de date obtinute ın urma unor observatii pe bulevard:

Vreme Timp Trafic1 ınnorat noapte relaxat2 zapada seara aglomerat3 senin noapte relaxat4 ploaie seara aglomerat5 ınnorat amiaza aglomerat6 senin amiaza aglomerat7 senin dimineata relaxat8 ploaie noapte relaxat9 ınnorat dimineata aglomerat10 zapada noapte aglomerat11 senin seara relaxat12 zapada amiaza relaxat13 ınnorat seara aglomerat14 ploaie dimineata aglomerat15 zapada dimineata aglomerat

Consideram evenimentul urmator, denumit vector de atribute:

E = (V = p) ∩ (Ti = am).

24

Se cauta o clasa pentruE, stabilind care din urmatoarele probabilitati este mai mare: P (T = a|E)sau P (T = r|E); aceasta este metoda de probabilitate maxima. Stiind ca vremea esteploioasa si este amiaza, ce previziune se poate face despre trafic?

Se face urmatoarea presupunere naiva: atributele sunt conditional independente, daca seda clasificarea. De asemenea, presupunemm ca toate probabilitatile conditionate sunt definite(adica conditionarea este ın raport cu un eveniment a carui probabilitate nu este 0).

Presupunerea naiva ın acest exemplu este: V si Ti sunt conditinal independente, cunoscand(stiind) T (a se vedea Def. 17, respectiv relatia (2)), adica

(3) P [V, T i|T] = P [V |T]P [Ti|T].

Aceasta notatie se transcrie prin

(4) P (V = v, T i = ti|T = t) = P (V = v|T = t)P (Ti = ti|T = t),

pentru fiecare v ∈ p, z, s, ı, ti ∈ di, am, se, no, t ∈ a, r. De exemplu, avem:

P (V = p, T i = di|T = a) = P (V = p|T = a)P (Ti = di|T = a),

altfel spus: probabilitatea sa ploua, stiind ca traficul este aglomerat, nu depinde de timp (adicaeste independenta de timp).

Din (3) si P. 12 se deduce caP [V |Ti,T] = P [V |T] si P [Ti|V,T] = P [Ti|T], adica

P (V = v|Ti = ti,T = t) = P (V = v|T = t) si P (Ti = ti|V = v,T = t) = P (Ti = ti|T = t)

pentru fiecare v ∈ p, z, s, ı, ti ∈ di, am, se, no, t ∈ a, r.I Folosind datele din tabel, determinam mai ıntai probabilitatile claselor si probabilitatileconditionate ale atributelor, cunoscand clasa.

T = a T = r P (T = a) P (T = r)

9 6 915

615

V T = a T = r P (V = ...|T = a) P (V = ...|T = r)

p 2 1 29

16

z 3 1 39

16

s 1 3 19

36

ı 3 1 39

16

Ti T = a T = r P (Ti = ...|T = a) P (Ti = ...|T = r)

di 3 1 39

16

am 2 1 29

16

se 3 1 39

16

no 1 3 19

36

25

I Pe baza formulei lui Bayes P. 5 si a ipotezei de independenta conditionata, deducem ca:

P (T = a|E) =P (E|T = a)P (T = a)

P (E)=P (V = p, T i = am|T = a)P (T = a)

P (E)

=P (V = p|T = a)P (Ti = am|T = a)P (T = a)

P (E)=

29 ·

29 ·

915

P (E)=

1

P (E)· 4

135

si

P (T = r|E) =P (E|T = r)P (T = r)

P (E)=P (V = p, T i = am|T = r)P (T = r)

P (E)

=P (V = p|T = r)P (Ti = am|T = r)P (T = r)

P (E)=

16 ·

16 ·

615

P (E)=

1

P (E)· 1

90.

Deoarece P (T = a|E) > P (T = r|E), asociem vectorului de atribute

E = (V = p) ∩ (Ti = am) clasa T = a.

Aceasta concluzie se poate completa la datele din tabelul de date initial!I In plus, putem determina P (E) = P (V = p, T i = am) astfel: Scriem

1 = P (T = a|E) + P (T = r|E) =1

P (E)

(4

135+

1

90

)si deducem P (E) = P (V = p, T i = am) = 11

270 . X

Retele Bayes

Reteaua Bayes este un graf orientat aciclic (i.e. nu contine niciundrum orientat ınchis). Nodul Y este parinte pentru nodul X , daca exista o muchieorientata de la Y la X . Multimea parintilor lui X se noteaza cup(X). DacaX este nod radacina, atunci p(X) = ∅. De exemplu:p(B) = E,A, p(D) = A, p(C) = B, p(E) = p(A) = ∅. Nodul Y este descendent al noduluiX , daca exista un drum orientat de laX la Y . Multimeadescendentilor lui X se noteaza cu de(X). De exemplu: d(E) = B,C, d(A) = B,C,D,d(B) = C, d(D) = ∅.Intr-o retea ın care exista o structura cauzala, nodurile din p(X) reprezinta cauzele pentru X ,iar nodurile din de(X) sunt efectele nodului X . Nodul Y este nondescendent al noduluiX , daca nu este descendent al noduluiX . Multimeanondescendetilor lui X se noteaza cu nd(X). De exemplu: nd(E) = A,D, nd(A) =E, nd(B) = E,A,D, nd(D) = E,A,B,C, nd(C) = E,A,B,D. Fiecare nod X1, ..., Xn din retea este identificat cu o variabila aleatoare si este definit pe

26

acelasi spatiu de probabilitate (Ω,K, P ); probabilitatile P [Xj|p(Xj)], j = 1, n sunt date; areloc conventia P [Xj|p(Xj)] = P [Xj], daca Xj este nod radacina (P [Xj] este distributia deprobabilitate a lui Xj, a se vedea Notatia 3, iar P [Xj|p(Xj)] este distributia de probabilitateconditionata, a se vedea Notatia 4).I Properietatea retelei Bayes: orice nod X si nondescendentii sai nd(X) sunt conditionalindependenti, daca se cunosc valorile parintilor p(X); daca p(X) = ∅, atunci X si nd(X) suntindependenti.

Retea Bayes

Exemplul 1: Se da reteaua Bayes din figura alaturata, ın careX1, ..., X6 sunt variabile aleatoare binare. Au loc proprietatile:•Multimile de noduri corespunzatoare parintilor, descendentilor,nondescendentilor sunt:p(X1) = ∅, p(X2) = X1, p(X3) = X1, X2,p(X4) = p(X5) = X3, p(X6) = X4, X5de(X1) = X2, X3, X4, X5, X6,de(X2) = X3, X4, X5, X6,de(X3) = X4, X5, X6,de(X4) = de(X5) = X6, de(X6) = ∅,nd(X2) = X1, nd(X3) = X1, X2,nd(X4) = X1, X2, X3, X5nd(X5) = X1, X2, X3, X4,nd(X6) = X1, X2, X3, X4, X5;• probabilitatile (asociate nodurilor), care definesc reteaua Bayes sunt:P [X1], P [X2|X1], P [X3|X1, X2], P [X4|X3], P [X5|X3], P [X6|X4, X5];• independente conditionate: X4 este conditional independenta de X1, X2, X5, cunoscand X3

⇒ P [X4|X1, X2, X3, X5] = P [X4|X3],

X5 este conditional independenta de X1, X2, X4, cunoscand X3

⇒ P [X5|X1, X2, X3, X4] = P [X5|X3],

X6 este conditional independenta de X1, X2, X3, cunoscand X4, X5

⇒ P [X6|X1, X2, X3, X4, X5] = P [X6|X4, X5];

• (exemplu de calcul ın retea Bayes) se stiu P (X1=1)=0.5, P (X2=1|X1=1)=0.6,P (X3=1|X1=1, X2=1)=0.5, P (X4=1|X3=1)=0.4, P (X4=1|X3=0)=0.3, atunci sa se cal-

27

culeze P (X4=1, X2=1, X1=1):

P (X4=1, X2=1, X1=1)

=P (X4=1, X3=1, X2=1, X1=1) + P (X4=1, X3=0, X2=1, X1=1)

=P (X1=1)P (X2=1|X1=1)P (X3=1|X1=1, X2=1)P (X4=1|X3=1)

+ P (X1=1)P (X2=1|X1=1)P (X3=0|X1=1, X2=1)P (X4=1|X3=0)

=0.105.

Exemplul 2 Se da reteaua Bayes din figura alaturata, ın careX1, ..., X5 sunt variabile aleatoare binare. Se stiu probabilitatile:P (X1 = 0) = 0.4 , P (X2 = 0|X1 = 0) = 0.2,P (X2 = 0|X1 = 1) = 0.5, P (X3 = 0|X1 = 0) = 0.3,P (X3 = 0|X1 = 1) = 0.4,P (X4 = 0|X2 = 0) = 0.2, P (X4 = 0|X2 = 1) = 0.5,P (X5 = 0|X2 = 0, X3 = 0) = 0.5,P (X5 = 0|X2 = 0, X3 = 1) = 0.2,P (X5 = 0|X2 = 1, X3 = 0) = 0.7,P (X5 = 0|X2 = 1, X3 = 1) = 0.4.

Retea Bayes

a) Sa se calculeze

P (X3 = 1|X2 = 1), P (X1 = 0, X3 = 1), P

(5⋂i=1

Xi = 1

).

b) Sa se scrie distributia de probabilitate a variabilei aleatoare X3.Rezolvare: Se calculeaza: P (X1 = 1) = 1− P (X1 = 0) = 0.6

P (X2 = 1|X1 = 0) = 1− P (X2 = 0|X1 = 0) = 0.8;

P (X2 = 1|X1 = 1) = 1− P (X2 = 0|X1 = 1) = 0.5;

P (X3 = 1|X1 = 0) = 1− P (X3 = 0|X1 = 0) = 0.7;

P (X3 = 1|X1 = 1) = 1− P (X3 = 0|X1 = 1) = 0.6;

P (X4 = 1|X2 = 0) = 1− P (X4 = 0|X2 = 0) = 0.8;

P (X4 = 1|X2 = 1) = 1− P (X4 = 0|X2 = 1) = 0.5;

P (X5 = 1|X2 = 1, X3 = 1) = 1− P (X5 = 0|X2 = 1, X3 = 1) = 0.6.

a) Are loc:

P (X3 = 1|X2 = 1) =P (X3 = 1, X2 = 1)

P (X2 = 1).

28

Folosind formula probabilitatilor totale si proprietatile retelelor Bayes (X2 este conditionalindependenta de X3, cunoscand X1)1:

• P (X3 = 1, X2 = 1) = P (X3 = 1, X2 = 1|X1 = 0)P (X1 = 0)

+ P (X3 = 1, X2 = 1|X1 = 1)P (X1 = 1) =

= P (X3 = 1|X1 = 0)P (X2 = 1|X1 = 0)P (X1 = 0)

+ P (X3 = 1|X1 = 1)P (X2 = 1|X1 = 1)P (X1 = 1)

• P (X2 = 1) = P (X2 = 1|X1 = 0)P (X1 = 0) + P (X2 = 1|X1 = 1)P (X1 = 1).

Are loc

P (X1 = 0, X3 = 1) = P (X3 = 1|X1 = 0)P (X1 = 0).

Folosind regula de ınmultire si proprietatile retelelor Bayes (X2 este conditional independentade X3, cunoscand X1; X4 este conditional independenta de X1, X3, cunoscand X2; X5 esteconditional independenta de X1, X4, cunoscand X2, X3)

P (X1 = 1, X2 = 1, X3 = 1, X4 = 1, X5 = 1)

= P (X1 = 1)P (X2 = 1|X1 = 1)P (X3 = 1|X1 = 1, X2 = 1)·· P (X4 = 1|X1 = 1, X2 = 1, X3 = 1)P (X5 = 1|X1 = 1, X2 = 1, X3 = 1, X4 = 1) =

= P (X1=1)P (X2=1|X1=1)P (X3 = 1|X1 = 1)P (X4 = 1|X2 = 1)P (X5 = 1|X2 = 1, X3 = 1).

b) P (X3 = 0) = P (X3 = 0|X1 = 0)P (X1 = 0) + P (X3 = 0|X1 = 1)P (X1 = 1)= 0.12 + 0.24 = 0.36⇒ P (X3 = 1) = 0.64

⇒ X3 ∼(

0 10.36 0.64

).

Variabile aleatoare continue

V.a. continua: ia un numar infinit si nenumarabil de valori ıntr-un interval sau reuniune deintervale (v.a. poate lua orice valoare din intervalul considerat); v.a. continue pot modela caracteristici fizice precum timp (de ex. timp de instalare, timp deasteptare), greutate, lungime, pozitie, volum, temperatura (de ex. X e v.a. care indica durata defunctionare a unui dispozitiv pana la prima defectare; X e v.a. care indica temperatura ıntr-unoras la ora amiezii) ea este caracterizata de o functie de densitate.

Def. 19. Functia de densitate f : R→ R a unei v.a. continue este functia pentru care are loc

P (X ≤ x) =

∫ x

−∞f(t)dt, ∀ x ∈ R.

1Orice nod X si nondescendentii sai nd(X) sunt conditional independenti, daca se dau valorile parintilor p(X).

29

P. 14. Fie f functia de densitate a unei v.a. continue X . Au loc proprietatile:(1) f(t) ≥ 0 pentru orice t ∈ R;

(2)

∞∫−∞

f(t) dt = 1;

(3) P (a < X ≤ b) =

∫ b

a

f(t)dt ∀ a, b ∈ R, a < b;

(4) P (X = a) = 0 ∀ a ∈ R;(5) pentru ∀ a < b, a, b ∈ R au loc

P (a ≤ X ≤ b) = P (a < X ≤ b) = P (a ≤ X < b) = P (a < X < b) =

b∫a

f(t)dt.

Observatie: Orice functie f : R→ R, care are proprietatile (1), (2) din P.14 este o functie dedensitate.

Exemple de distributii clasice continueæDistributia uniforma pe un interval [a, b]: X ∼ Unif [a, b], a, b ∈ R, a < b

• functia de densitate este

f(t) =

1

b− a, pentru t ∈ [a, b]

0, pentru t ∈ R \ [a, b]

Matlab/Octave: cand a = 0, b = 1 rand(M,N) returneaza o matrice M ×N cu valori aleatoare din [0,1] unifrnd(a,b,M,N), respectiv (b-a)rand(M,N)+a returneaza o matrice M ×N cuvalori aleatoare din [a, b]

Friedrich Gauss si legea normala N(m,σ2) (bancnota de 10 DM)

30

æ Distributia normala (Gauss): X ∼ N(m,σ2), m ∈ R, σ > 0• functia de densitate este

f(t) =1√2πσ

exp

(−(t−m)2

2σ2

), t ∈ R.

• Pentru m = 0, σ = 1: N(0, 1) se numeste distributia standard normala.• Distributia normala se aplica ın: masurarea erorilor (de ex. termenul eroare ın analiza regre-sionala), ın statistica (teorema limita centrala, teste statistice) etc.Matlab/Octave: normrnd(m,σ,...)

æDistributia exponentiala: X ∼ Exp(λ), λ > 0• functia de densitate este

f(t) =

λe−λt, pentru t > 0

0, pentru t ≤ 0

Matlab/Octave: exprnd(1λ , ...

)æDistributia Student: X ∼ St(n), n ∈ N∗• distributia Student cu n ∈ N∗ grade de libertate are functia de densitate

f(t) =Γ(n+12

)√nπΓ

(n2

) (1 +t2

n

)−n+12

, t ∈ R

unde

Γ(a) =

∞∫0

va−1 exp(−v)dv, a > 0

este functia Gamma.Matlab/Octave: trnd(n, ...)æDistributia Chi-patrat: X ∼ χ2(n), n ∈ N∗• distributia χ2 cu n ∈ N∗ grade de libertate are functia de densitate

f(t) =

0, daca t ≤ 01

Γ(n2 )2n2

· tn2−1 · exp

(− t

2

), daca t > 0,

Matlab/Octave: chi2rnd(n, ...)Exemplu: Fie X ∼ Exp(0.5) v.a. care indica timpul de functionare a unei baterii (cate lunifunctioneaza bateria). Folosind simulari, sa se estimeze a) P (2 ≤ X ≤ 4); b) P (X > 3) si sase compare rezultatele obtinute cu rezultatele teoretice.X=exprnd(2,1,10000);p=mean((2<=X)&(X<=4))q=mean(X>3)> p = 0.23280> q= 0.22060

31

P (2 ≤ X ≤ 4) =

∫ 4

2

0.5e−0.5tdt = −e0.5t∣∣∣42

= e−1 − e−2 ≈ 0.23254

P (X > 3) =

∫ ∞3

0.5e−0.5tdt = −e0.5t∣∣∣∞3

= e−1.5 ≈ 0.22313

♣

Def. 20. Functia de repartitie F : R → [0, 1] a unei variabile aleatoare X (discrete saucontinue) este

F (x) = P (X ≤ x) ∀x ∈ R.

P. 15. Functia de repartitieF a unei variabile aleatoareX (discrete sau continue) are urmatoareleproprietati:(1) F este monoton crescatoare, adica pentru orice x1 < x2 rezulta F (x1) ≤ F (x2).(2) lim

x→∞F (x) = 1 si lim

x→−∞F (x) = 0.

(3) F este continua la dreapta, adica limxx0

F (x) = F (x0) ∀ x0 ∈ R.

(4) P (a < X ≤ b) = F (b)− F (a) ∀a, b ∈ R, a < b.

Observatie importanta: Orice functie F : R → R, care are proprietatile (1), (2), (3) din P.15 este o functie derepartitie.Matlab/Octave:

Distributia Generare Functia de repartitie Probabilitatev.a. discrete X valori aleatoare FX(x) P (X = x)

Bino(n, p) binornd(n, p) binocdf(x, n, p) binopdf(x, n, p)

Unid(n) unidrnd(n) unidcdf(x, n) unidpdf(x, n)

Hyge(n,n1,n2) hygernd(n1+n2,n1,n) hygecdf(x,n1+n2,n1,n) hygepdf(x,n1+n2,n1,n)

Geo(p) geornd(p) geocdf(x, p) geopdf(x, p)

Distributia Generare Functia de repartitie Functia de densitatev.a. continue X valori aleatoare FX(x) fX(x)

Unif [a, b] unifrnd(a, b) unifcdf(x, a, b) unifpdf(x, a, b)

N(m,σ2) normrnd(m,σ) normcdf(x,m, σ) normpdf(x,m, σ)

Exp(λ) exprnd( 1λ) expcdf(x, 1λ) exppdf(x, 1λ)

32

V.a. discreta V.a. continua• caracterizata de distributia de probabilitate • caracterizata de functia de densitate fdiscreta

X ∼(

xiP (X = xi)

)i∈I

P (X ≤ x) =

∫ x

−∞f(t)dt

•∑i∈I

P (X = xi) = 1 •∫ ∞−∞

f(t)dt = 1

• functia de repartitie F (x)=P (X ≤ x) ∀x ∈ R • functia de repartitie F (x)=P (X ≤ x) ∀x∈R

• F (x) =∑

i∈I:xi≤x

P (X = xi) ∀x ∈ R • F (x) =

∫ x

−∞f(t)dt ∀x ∈ R

• F este functie continua la dreapta • F este functie continua ın orice punct x ∈ R

• F este discontinua ın punctele xi, ∀ i ∈ I• ∀ a < b, a, b ∈ R • ∀ a < b, a, b ∈ RP (a ≤ X ≤ b) =

∑i∈I

a≤xi≤b

P (X = xi) P (a ≤ X ≤ b) = P (a < X ≤ b)

= P (a ≤ X < b) = P (a < X < b) =

b∫a

f(t) dt

• P (X = a) = 0 daca a /∈ xi : i ∈ I • P (X = a) =

a∫a

f(t) dt = 0 ∀ a ∈ R

• daca F este derivabila ın punctul x⇒ F ′(x) = f(x).

Exemplu: Fie X v.a. care indica timpul de functionare neıntrerupta (ın ore) pana la primadefectare a unui aparat, pentru care P (X > x) = 2−x, x > 0 si P (X > x) = 1, x ≤ 0. Sa sedetermine fX si P (2 < X < 3).

Exemplu: V.a. X urmeaza legea uniforma pe [a, b] cu 0 < a < b. Sa se arate ca P (X > 0) = 1

si sa se determine functia densitate de probabilitate a variabilei aleatoare Y = ln

(1

X

).

Solutie: Functia de densitate a lui X este:

fX(x) =

1

b− a, pentru x ∈ [a, b]

0, pentru x ∈ R \ [a, b].

Atunci are loc

P (X > 0) = 1− P (X ≤ 0) = 1−0∫

−∞

fX(x)dx = 1.

33

Scriem succesiv

FY (y) = P (Y < y) = P

(ln

(1

X

)< y

)= 1− FX(e−y).

Derivam ın raport cu yfY (y) = fX(e−y)e−y.

Folosind definitia lui fX , obtinem

fY (y) =

e−y

b− a, y ∈ [−lnb,−lna]

0, altfel .

4Generarea de numere pseudo-aleatoare ce urmeaza o distributie discreta data (metoda

inversei)

Se dau (x1, . . . , xn) (valorile) si (p1, . . . , pn) (probabilitatile lor). Realizati un program caregenereaza N numere pseudo-aleatoare, care urmeaza distributia discreta

X ∼(x1 x2 . . . xnp1 p2 . . . pn

),

folosind numere aleatoare uniform distribuite pe [0,1].Procedeul de generare al numerelor aleatoare Y (i), i = 1, N , este:

• Se citesc valorile x1, x2, . . . , xn si probabilitatile corespunzatoare p1, p2, . . . , pn, precum sinumarul N . Fie p0 = 0.• Se genereaza N numere aleatoare uniform distribuite pe [0,1]: U(i), i = 1, N .• Pentru fiecare i = 1, N : Y (i) = xk daca si numai daca

p0 + p1 + · · ·+ pk−1 < U(i) ≤ p0 + p1 + · · ·+ pk, k ∈ 1, . . . , n.

• Se returneaza: Y (i), i = 1, N.

Verificarea procedeului: deoarece U urmeaza legea uniforma, avem pe baza procedeului demai sus:P (“se genereaza xk”) = P (p0+p1+· · ·+pk−1 < U ≤ p0+p1+· · ·+pk) = pk, k = 1, . . . , n,deci numerele generate urmeaza legea de distributie discreta data.

Problema: Conform statisticilor medicale 46% din oameni au grupa sanguina 0, 40% augrupa sanguina A, 10% au grupa sanguina B si 4% au grupa sanguina AB. Simulati deN(= 100, 1000) ori stabilirea grupei sanguine a unei persoane alese aleator si afisati frecventade aparitie a fiecarei grupe sanguine. Comparati rezultatele obtinute cu cele teoretice.

34

function Y=ivtdiscret(x,p,N) %inverse transform methodY=zeros(1,N);q=cumsum(p);for i=1:N

U=unifrnd(0,1);Y(i)=x(find(U<=q,1));

end%Aplicatiaclcclear allclose allN=1000;%numarul de simularix=[0,1,2,3];% valorile variabilei aleatoarep=[0.46,0.4,0.1,0.04];%probabilitatileY=ivtdiscret(x,p,N);%generarea celor N numereny=hist(Y,length(unique(Y)));%determinarea frecventei de aparitie[p’ ny’/N]

Vector aleator continuu

Def. 21. (X1, . . . , Xn) este un vector aleator continuu daca fiecare componenta a sa este ovariabia aleatoare continua.

Def. 22. f(X,Y ) : R×R→ R+ este functia de densitate a vectorului aleator continuu (X, Y ),daca

P (X ≤ x, Y ≤ y) =

∫ x

−∞

∫ y

−∞f(X,Y )(s, t)dsdt ∀x, y ∈ R.

Def. 23. F(X,Y ) : R× R→ R+ este functia de repartitie a vectorului aleator (X, Y ) (discretsau continuu), daca

F(X,Y )(x, y) = P (X ≤ x, Y ≤ y) ∀ x, y ∈ R.

Exemplu: Vectorul aleator (X1, X2) este dat prin urmatorul tabelde contingenta:

X1

X2 0 3

-2 0.4 0.34 0.2 0.1

=⇒ (X1, X2) are functia de repartitie F(X1,X2) : R× R→ [0, 1]

F(X1,X2)(x1, x2) = P (X1 ≤ x1, X2 ≤ x2) =

0, daca x1 < −2 sau x2 < 00.4, daca − 2 ≤ x1 < 4 si 0 ≤ x2 < 30.7, daca − 2 ≤ x1 < 4 si 3 ≤ x20.6, daca 4 ≤ x1 si 0 ≤ x2 < 31, daca 4 ≤ x1 si 3 ≤ x2 .

X

35

Functia de repartitie F(X1,X2)

Observatie: Cunoscand distributia vectorului aleator continuu (X, Y ), cum determinam distributiav.a. continue X respectiv Y ? daca se cunoaste f(X,Y ): fX , respectiv fY , se determina cu

fX(x) =

∫ ∞−∞

f(X,Y )(x, y)dy, ∀x ∈ R, fY (y) =

∫ ∞−∞

f(X,Y )(x, y)dx, ∀y ∈ R;

daca se cunoaste F(X,Y ): FX , respectiv FY , se determina cu

FX(x) = limy→∞

F(X,Y )(x, y), FY (y) = limx→∞

F(X,Y )(x, y).

Exemplu: Functia de repartitie a vectorului aleator (X1, X2) este F(X1,X2) : R× R→ [0, 1]

F(X1,X2)(x1, x2) =

0, daca x1 < 0 sau x2 < 1x1(x2 − 1), daca 0 ≤ x1 < 1 si 1 ≤ x2 < 2x1, daca 0 ≤ x1 < 1 si 2 ≤ x2x2 − 1, daca 1 ≤ x1 si 1 ≤ x2 < 21, daca 1 ≤ x1 si 2 ≤ x2 .

Ce distributie au X1, respectiv X2?R.: Se determina FX1

, FX2si fX1

, fX2=⇒ X1 ∼ Unif [0, 1], X2 ∼ Unif [1, 2].

Def. 24. X1, . . . , Xn sunt n variabilele aleatoare independente (discrete sau continue), daca

P (X1 ≤ x1, . . . , Xn ≤ xn) = P (X1 ≤ x1) · . . . · P (Xn ≤ xn) ∀ x1, . . . , xn ∈ R.

36

Functia de repartitie F(X1,X2)

Observatie (n = 2 in definitia de mai sus): X si Y sunt doua variabilele aleatoare indepen-dente, daca

P (X ≤ x, Y ≤ y) = P (X ≤ x) · P (Y ≤ y) ∀ x, y ∈ R,adica

F(X,Y )(x, y) = FX(x) · FY (y) ∀ x, y ∈ R.P. 16. Variabilele aleatoare continue X (cu functia de densitate fX) si Y (cu functia de densi-tate fY ) sunt independente, daca si numai daca

fX(x)fY (y) = f(X,Y )(x, y) ∀ (x, y) ∈ R2,

unde f(X,Y ) este functia de densitate a vectorului aleator (X, Y ).

Exemplu: (X1, X2) are distributie uniforma pe I = [a1, b1] × [a2, b2], cu a1, a2, b1, b2 ∈ R,a1 < b1, a2 < b2 daca

f(x1, x2)=

1

(b1 − a1)(b2 − a2)daca (x1, x2) ∈ I

0 daca (x1, x2) /∈ I.Functia de repartitie are expresia

F (x1, x2) =

x1∫−∞

x2∫−∞

f(t1, t2)dt1dt2 =

(x1 − a1b1 − a1

)∗·(x2 − a2b2 − a2

)∗,

unde

u∗ =

0 daca u < 0u daca 0 ≤ u ≤ 11 daca 1 < u.

_

37

P. 17. Pentru un vector aleator continuu (X, Y ) au loc proprietatile:

1.∫ ∞−∞

∫ ∞−∞

f(X,Y )(u, v) dudv = 1.

2. F(X,Y ) este functie continua.

3. Daca F(X,Y ) este derivabila partial ın (x, y), atunci are loc:

∂2F(X,Y )(x, y)

∂x∂y= f(X,Y )(x, y).

4. P ((X, Y ) ∈ A) =

∫ ∫︸ ︷︷ ︸A

f(X,Y )(u, v)dudv, A ⊂ R2 (masurabila).

Exemplu: Fie (X, Y ) vector aleator continuu, avand functia de repartitie

F(X,Y )(x, y) =

(1− e−x)(1− e−2y) daca x > 0 si y > 00 ın rest

Sunt X si Y v.a. independente? Sa se calculeze P (1 ≤ X ≤ 2 ≤ Y ≤ 3).R.: Se calculeaza FX(x) = 1 − e−x pentru x > 0 si FX(x) = 0 pentru x ≤ 0, precum siFY (y) = 1− e−2y pentru y > 0 si FY (y) = 0 pentru y ≤ 0. Se verifica

F(X,Y )(x, y) = FX(x) · FY (y) ∀ x, y ∈ R.

Deci, X si Y sunt v.a. independente.

P (1 ≤ X ≤ 2 ≤ Y ≤ 3) =

∫ 2

1

∫ 3

2

fX(u)fY (v)dudv = (e−1 − e−2)(e−4 − e−6) ≈ 0.00368.

♥Operatii cu v.a. continue

Proprietate: Fie (X, Y ) vector aleator continuu cu functia de densitate f(X,Y ). Atunci X + Ysi X · Y sunt v.a. continue, avand functiile de densitate:

fX+Y (z) =

∞∫−∞

f(X,Y )(u, z − u)du ∀ z ∈ R,

fX·Y (z) =

∞∫−∞

1

|u|f(X,Y )

(u,z

u

)du ∀ z ∈ R.

38

Daca X si Y sunt v.a. independente, atunci

fX+Y (z) =

∞∫−∞

fX(u)fY (z − u)du ∀ z ∈ R,

fX·Y (z) =

∞∫−∞

1

|u|fX(u)fY

(zu

)du ∀ z ∈ R.

Def. 25. Valoarea medie a unei v.a. continue X , care are functia de densitate f , este

E(X) =

∞∫−∞

tf(t)dt

daca

∞∫−∞

|t|f(t)dt <∞.

Valoarea medie a unei variabile aleatoare caracterizeaza tendinta centrala a valorilor aces-teia.

P. 18. Proprietati ale valorii medii; fie X, Y v.a. continue:→ E(aX + b) = aE(X) + b for all a, b ∈ R;→ E(X + Y ) = E(X) + E(Y );→ Daca X si Y sunt variabile aleatoare independente, atunci E(X · Y ) = E(X)E(Y ).→ Daca g : R→ R e o functie, astfel ıncat g(X) este o v.a. continua, atunci

E(g(X)) =

∫ ∞−∞

g(x)fX(x)dx,

daca∫ ∞−∞|g(x)|fX(x)dx <∞.

Exemplu: Durata drumului parcurs de un elev dimineata de acasa pana la scoala este o v.a.uniform distribuita ıntre 20 si 26 minute. Daca elevul porneste la 7:35 (a.m.) de acasa si areore de la 8 (a.m.), care este probabilitatea ca elevul sa ajunga la timp la scoala? In medie catdureaza drumul elevului pana la scoala?Raspuns: fieX (v.a.) =durata drumului parcurs pana la scoala (ın minute)⇒ X ∼ Unif [20, 26]

P (“elevul ajunge la timp la scoala”) = P (X ≤ 25) =25− 20

26− 20=

5

6.

39

E(X) =

∫ 26

20

x1

26− 20dx =

20 + 26

2= 23 (minute).

♣

Def. 26. Varianta (dispersia) unei variabile aleatoare X (discrete sau continue) este

V (X) = E(

(X − E(X))2),

(daca valoarea medie E(

(X −E(X))2)

exista). Valoarea√V (X) se numeste deviatia stan-

dard a lui X .

Varianta unei variabile aleatoare caracterizeaza ımprastierea (dispersia) valorilor lui X ınjurul valorii medii E(X).

P. 19. Proprietati ale variantei:→ V (X) = E(X2)− E(X)2.→ V (aX + b) = a2V (X) ∀ a, b ∈ R.→ Daca X si Y sunt variabile aleatoare independente, atunci V (X + Y ) = V (X) + V (Y ).

Exemplu: 1) X ∼ Bino(n, p) =⇒ E(X) = np, V (X) = np(1− p).2) Daca X ∼ N(m,σ2) =⇒ E(X) = m, V (X) = σ2. ♣

IMatlab/Octave: mean, var, std

Def. 27. (Xn)n este sir de v.a. independente, daca ∀ i1, . . . , ik ⊂ N v.a. Xi1, . . . , Xik suntindependente, adica

P (Xi1 ≤ xi1, . . . , Xik ≤ xik) = P (Xi1 ≤ xi1) · · · · · P (Xik ≤ xik)

∀ xi1, . . . , xik ∈ R.

Exemplu: a) Xn= v.a. care indica numarul aparut la a n-aruncare a unui zar⇒ (Xn)n sir dev.a. independenteb) Se arunca o moneda

Xn =

0 : la a n-a aruncare a aparut cap,

1 : la a n-a aruncare a aparut pajura.

⇒ (Xn)n sir de v.a. independente.

Def. 28. Sirul de v.a. (Xn)n converge aproape sigur la v.a. X , daca

P (ω ∈ Ω : limn→∞

Xn(ω) = X(ω)) = 1.

40

Notatie: Xna.s.→ X

Cu alte cuvinte, convergenta a.s. Xna.s.→ X impune ca (Xn(ω))n sa convearga la X(ω) pen-

tru fiecare ω ∈ Ω, cu exceptia unei multimi “mici” de probabilitate nula; daca Xna.s.→ X atunci

evenimentul

M = ω ∈ Ω : (Xn(ω))n nu converge la X(ω) are P (M) = 0.

Exemplu:

Xn ∼(− 1n

1n

0.5 0.5

)⇒ Xn

a.s.−→ 0.

Exemplu:Ω := [0, 1] spatiul de selectie, fie P probabilitatea pe [0,1] indusa de masura Lebesgue pe [0,1],adica pentru ∀α < β din [0, 1] are loc

P(

[α, β])

= P(

[α, β))

= P(

(α, β])

= P(

(α, β))

:= β − α (lungimea intervalului)

1) Xn(ω) = ω + ωn, ω ∈ [0, 1], n ≥ 1⇒ Xna.s.−→ ???

R.:

limn→∞

Xn(ω) =

ω pentru ω ∈ [0, 1)2 pentru ω = 1.

Fie X(ω) = ω pentru fiecare ω ∈ Ω

⇒ ω ∈ Ω : limn→∞

Xn(ω) = ω = [0, 1)

⇒ P (ω ∈ Ω : limn→∞

Xn(ω) = ω) = P ([0, 1)) = 1.

Xna.s.→ X.

2) Xn(ω) = (−1)nω, ω ∈ [0, 1], n ≥ 1; converge(Xn

)n

a.s.?R.: (Xn)n nu converge a.s. spre o v.a.; sirul

(Xn(ω)

)n

este convergent doar ın ω = 0. N

Frecvente relative si absolute (a se vedea Def.2): FieA un eveniment asociat unei experiente,repetam experienta de n ori (ın aceleasi conditii date) si notam cu rn numarul de realizari aleevenimentului A; frecventa relativa a evenimentului A este numarul

fn(A) =rn(A)

n

rn(A) este frecventa absoluta a evenimentului A.

Experiment: Se arunca o moneda de n ori; A: se obtine pajura

41

n frecventa absoluta frecventa relativarn(A) fn(A)

100 48 0.481000 497 0.49710000 5005 0.5005

fn(A)a.s.−→ 1

2 (a se vedea P.21, LTNM)

Legea tare a numerelor mari (LTNM)Legea numerelor mari se refera la descrierea rezultatelor unui experiment repetat de foarte

multe ori. Conform acestei legi, rezultatul mediu obtinut se apropie tot mai mult de valoareaasteptata, cu cat experimentul se repeta de mai multe ori. Aceasta se explica prin faptul caabaterile aleatoare se compenseaza reciproc.Legea numerelor mari are doua formulari: legea slaba a numerelor mari (LSNM) si legeatare a numerelor mari (LTNM).4 Scurt istoric: Jacob Bernoulli (1655 -1705) a formulat LSNM pentru frecventa relativa aunui experiment si a dat raspunsul la ıntrebarea “Putem aproxima empiric probabilitatile?” (ınopera publicata postum, ın 1713, Ars conjectandi): Teorema lui Bernoulli afirma: ”Frecventele relative converg ın probabilitate la probabili-tatea teoretica.” In cadrul unui experiment poate sa apara evenimentul A (succes) sau A (insucces).

• Xi = 0⇔ daca A apare ın a i-a repetitie a experimentului• Xi = 1⇔ daca A apare ın a i-a repetitie a experimentului⇒ Xi ∼ Bernoulli(p) cu p := P (A)

Xi ∼(

0 11− P (A) P (A)

)• X1, ..., Xn sunt v.a. independente• frecventa relativa de aparitie a lui A este

fn(A) =1

n(X1 + ...+Xn); fn(A) este o v.a.

• (Xn)n verifica LSNM, adica

limn→∞

P(∣∣∣fn(A)− P (A)

∣∣∣ > ε)

= 0 ∀ ε > 0.

4Def. 29. Sirul de v.a. (Xn)n cu E|Xn| < ∞ ∀ n ∈ N verifica legea tare a numerelor mari(LTNM) daca

P

(ω ∈ Ω : lim

n→∞

1

n

n∑k=1

(Xk(ω)− E(Xk)

)= 0)

= 1,

42

Fig. 5. Jacob Bernoulli (timbru emis ın 1994 cu ocazia Congresului International al Matematicienilor dinElvetia)

adica1

n

n∑k=1

(Xk − E(Xk)

)a.s.−→ 0.

P. 20. Fie (Xn)n sir de v.a. independente avand aceeasi distributie (si exista m = E(Xn) ∀n ∈ N)⇒ (Xn)n verifica LTNM, adica

1

n(X1 + · · ·+Xn)

a.s.−→ m.

In simulari:1

n(X1 + · · ·+Xn) ≈ m, daca n este suficient de mare.

Aplicatie Matlab/Octave: Simulare LTNM

clear allclfhold onn=300;x=unidrnd(6,1,n);for i=1:n

s(i)=sum(x(1:i))/i;y(i)=i;plot(y(i),s(i),’b.’)plot(y(i),3.5,’k-’)

endplot(y,s,’r-’)xlabel(’Nr. aruncari zar’)ylabel(’Media numerelor aparute’)

P. 21. Fie A un eveniment asociat unei experiente, repetam experienta de n ori (ın aceleasiconditii date). LTNM: cu cat repetam mai des un experiment (n→∞), cu atat mai bine aprox-imeaza frecventa relativa fn(A) a evenimentului A probabilitatea sa (teoretica) de aparitieP (A):

fn(A)a.s.−→ P (A), daca n→∞.

In simulari: fn(A) ≈ P (A), daca n este suficient de mare.

43

Fig. 4. Simulare LTNM

Statistica matematica

I Statistica matematica este o ramura a matematicii aplicate, care se ocupa de colectarea,gruparea, analiza si interpretarea datelor referitoare la anumite fenomene ın scopul obtineriiunor previziuni;• statistica descriptiva: metode de colectare, organizare, sintetizare, prezentare si descriere adatelor numerice (sau nenumerice) ıntr-o forma convenabila• statistica inferentiala: metode de interpretare a rezultatelor obtinute prin metodele statisticiidescriptive, utilizate apoi pentru luarea deciziilor.IO colectivitate sau populatie statistica C este o multime de elemente care au anumite ınsusiricomune ce fac obiectul analizei statistice. Numarul elementelor populatiei se numeste volumulpopulatiei.Exemple de populatii statistice: multimea persoanelor dintr-o anumita tara, localitate, zona etc.ıntr-un anumit an; multimea gospodariilor din Romania la un moment dat; multimea consuma-torilor unui anumit produs; multimea societatilor care produc un anumit produs; angajatii uneisocietati; studentii unei facultati.I Esantionul E reprezinta o submultime a unei populatii statistice E ⊂ C, constituita dupacriterii bine stabilite:a) sa fie aleatoare;b) toate elementele colectivitatii sa aibe aceeasi sansa de a fi alese ın esantion;c) esantionul sa fie reprezentativ (structura esantionului sa fie apropiata de structura populatiei);d) volumul esantionului sa fie suficient de mare.I Unitatea statistica (indivizii) este elementul, entitatea de sine statatoare a unei populatiistatistice, care poseda o serie de trasaturi caracteristice ce-i confera apartenenta la populatiastudiata.De exemplu: unitatea statistica simpla: un salariat, un student, un agent economic, o trasatura,o parere; unitatea statistica complexa: o grupa de studenti sau o echipa de salariati, o familiesau o gospodarie, o categorie de marfuri.

44

I Variabila statistica sau caracteristica reprezinta o ınsusire, o proprietate masurabila a uneiunitati statistice, ıntalnita la toate unitatile care apartin aceleiasi colectivitati si care prezintavariabilitate de la o unitate statistica la alta. Caracteristica sau variabila statististica corespundeunei variabile aleatoare.Exemple de caracteristici: varsta, salariul, preferintele politice, pretul unui produs, calitateaunor servicii, nivelul de studii.a) variabile (caracteristici) continue → iau un numar infinit si nenumarabil de valori ıntr-uninterval sau reuniune de intervale (de ex.: greutatea, ınaltimea, valoarea glicemiei, temperaturaaerului)b) variabile (caracteristici) discrete→ iau numar finit sau infinit dar numarabil de valori dis-crete (de ex.: numari elevi ai unei scoli, numarul liceelor existente ıntr-un oras, valoarea IQ) caracteristicile de la a) si b) sunt variabile numerice (cantitative)c) variabile (caracteristici) nominale (de ex.: culoarea ochilor, ramura de activitate, religia)d) variabile (caracteristici) nominale ordinale (de ex.: starea de sanatate / calitatea unor servicii- precara, mai buna, buna, foarte buna)e) variabile (caracteristici) dihotomiale (binare) (de ex.: stagiul militar - satisfacut/nesatisfacut,starea civila - casatorit/necasatorit) caracteristicile de la c),d),e) sunt variabile calitative variabilele nominale mai sunt numite variabile categorialeI Datele statistice reprezinta observatiile rezultate dintr-o cercetare statistica, sau ansamblulvalorilor colectate ın urma unei cercetari statistice.De exemplu: un angajat al unei companii are o vechime de 6 ani ın munca. Angajatul reprezintaunitatea statistica, vechimea ın munca este caracteristica (variabila) cercetata, iar 6 este val-oarea acestei caracteristici.

O colectivitate (populatie) C este cercetatata din punctul de vedere al caracteristicii (variabileistatistice) X .

Distributia caracteristicii X poate fi

1) complet specificata (de ex.: X ∼ Exp(3), X ∼ Bin(10, 0.3), X ∼ N(0, 1))

2) specificata, dar depinzand de unul sau mai multi parametri necunoscuti(de ex.: X ∼ Exp(λ), X ∼ Bin(10, p), X ∼ N(m,σ2))3) necunoscuta: X ∼?

• ın cazul 2) parametrii sunt necunoscuti, iar ın cazul 3) distributia este necunoscuta→ se estimeaza→ teoria estimatiei→ se testeaza→ teste statistice

I Fie E ⊂ C un esantion. Se numesc date de selectie relative la caracteristica X datele statis-tice x1, . . . , xn obtinute prin cercetarea indivizilor care fac parte din esantionul E .I Datele de selectie x1, . . . , xn pot fi considerate ca fiind valorile unor variabile aleatoare

45

X1, . . . , Xn, numite variabile de selectie si care se considera a fi variabile aleatoare indepen-dente si avand aceeasi distributie ca X .I Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X , notam cu X1, . . . , Xn vari-abilele de selectie corespunzatoare. Fie g : Rn → R o functie astfel ıncat g(X1, . . . , Xn) esteo variabila aleatoare.g(X1, . . . , Xn) se numeste functie de selectie sau estimatorg(X1, . . . , Xn) se numeste valoarea functiei de selectie sau valoarea estimatorului.

• Exemple de estimatori (functii de selectie) sunt: media de selectie, dispersia de selectie,functia de repartitie empirica (de selectie) . Estimatorii (functiile de selectie) se folosesc ın statistica pentru estimarea punctuala aunor parametri necunoscuti, pentru obtinerea unor intervale de ıncredere pentru parametrinecunoscuti, pentru verificarea unor ipoteze statistice.

Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X , notam cu X1, . . . , Xn vari-abilele de selectie corespunzatoare:

I media de selectie

Xn =1

n(X1 + · · ·+Xn)

I valoarea mediei de selectie

xn =1

n(x1 + · · ·+ xn)

I varianta (dispersia) de selectie

S2n =

1

n− 1

n∑k=1

(Xk − Xn)2

I valoarea variantei (dispersiei) de selectie

s2n =1

n− 1

n∑k=1

(xk − xn)2

I abaterea standard de selectie

Sn =

(1

n− 1

n∑k=1

(Xk − Xn)2

) 12

I valoarea abaterii standard de selectie

sn =

(1

n− 1

n∑k=1

(xk − xn)2) 1

2

46

I functia de repartitie empirica Fn : R× Ω→ R

Fn(x) =#i ∈ 1, ..., n : Xi ≤ x

n, x ∈ R

I valoarea functiei de repartitie empirice

Fn(x) =#i ∈ 1, ..., n : xi ≤ x

n, x ∈ R

Def. 30. g(X1, . . . , Xn) este estimator nedeplasat pentru parametrul necunoscut θ, daca

E(g(X1, . . . , Xn)) = θ.

g(X1, . . . , Xn) este estimator consistent pentru parametrul necunoscut θ, daca

g(X1, . . . , Xn)a.s.−→ θ.

Fie g1(X1, . . . , Xn) si g2(X1, . . . , Xn) estimatori nedeplasati pentru parametrul necunoscut θ.g1(X1, . . . , Xn) este mai eficient decat g2(X1, . . . , Xn), daca V (g1) < V (g2).

Observatii:1) Media de selectie Xn este estimator nedeplasat si consistent pentru media teoretica E(X) acaracteristicii X; ın practica E(X) ≈ xn.2) Varianta (dispersia) de selectie S2

n este estimator nedeplasat si consistent pentru variantateoretica V (X) a caracteristicii X; ın practica V (X) ≈ s2n.3) Functia de repartitie de selectie calculata ın x ∈ R: Fn(x) este estimator nedeplasat siconsistent pentru FX(x), care este valoarea functiei de repartitie teoretice calculata ın x; ınpractica FX(x) ≈ Fn(x).

Exemplu: Fie (Xn)n sirul variabilelor de selectie pentru caracteristica cercetataX ∼ Bernoulli(p),unde p ∈ (0, 1) este parametru necunoscut. Estimatorul

p(X1, ..., Xn) =1

n(X1 + ...+Xn) = Xn

este un estimator nedeplasat si consistent pentru parametrul necunoscut p.R.: X ∼ Bernoulli(p) =⇒ E(X) = p;

=⇒ E(p(X1, ..., Xn)

)=

1

n

(E(X1) + ...+ E(Xn)

)= E(X) = p.

LTNM (a se vedea P.20) implica

p(X1, ..., Xn) =1

n(X1 + ...+Xn)

a.s.−→ p.

Deci, p(X1, ..., Xn) este un estimator nedeplasat si consistent pentru parametrul necunoscut p.Daca x1, . . . , xn ∈ 0, 1 sunt date statistice, atunci valoarea estimata pentru p este

p ≈ p(x1, ..., xn) =1

n(x1 + ...+ xn) = xn.

♦

47

Metoda momentelor pentru estimarea parametrilor necunoscuti θ = (θ1, . . . , θr) pentrudistributia caracteristicii cercetate X

de exemplu:X ∼ Exp(λ) parametrul necunoscut: θ = λ

X ∼ N(m,σ2) parametri necunoscuti: (θ1, θ2) = (m,σ)

X ∼ Unif [a, b] parametri necunoscuti: (θ1, θ2) = (a, b)

Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X si fie X1, . . . , Xn variabilelede selectie corespunzatoare.Se rezolva sistemul E(Xk) =

1

n

n∑i=1

Xki ,

k = 1, ..., r

cu necunoscutele θ1, . . . , θr.Solutia sistemului θ1, . . . , θr este estimatorul pentru parametrii necunoscuti ai distributiei car-acteristicii X .

Exemplu: Folosind metoda momentelor, sa se estimeze parametrul necunoscut θ := a pentruX ∼ Unif [0, a]; se dau datele statistice: 0.1,0.3,0.9,0.49,0.12,0.31,0.98,0.73, 0.13,0.62.

Avem cazul: r = 1, calculam E(X) = a2 , n = 10, xn = 0.468. Se rezolva

E(X) =1

n

n∑i=1

Xi =⇒ a

2=

1

n

n∑i=1

Xi.

Estimatorul pentru parametrul necunoscut a este

a(X1, ..., Xn) =2

n

n∑i=1

Xi,

unde X1, . . . , Xn sunt variabilele de selectie. Valoarea estimatorului este

a(x1, ..., xn) =2

n

n∑i=1

xi = 0.936 .

Parametrul necunoscut a este estimat cu valoarea 0.936.I Este a(X1, ..., Xn) un estimator nedeplasat pentru parametrul a?

48

Metoda verosimilitatii maxime pentru estimarea parametrului necunoscut θ al distributieicaracteristicii cercetate X

Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X si fie X1, . . . , Xn variabilelede selectie corespunzatoare. Notam

L(x1, . . . , xn; θ) =

P (X = x1) · . . . · P (X = xn), daca X e v.a. discreta

fX(x1) · . . . · fX(xn), daca X e v.a. continua.

Aceasta este functia de verosimilitate pentru parametrul θ si datele statistice x1, . . . , xn.

Metoda verosimilitatii maxime se bazeaza pe principiul ca valoarea cea mai verosimila (ceamai potrivita) a parametrului necunoscut θ este aceea pentru care functia de verosimilitateL(x1, . . . , xn; θ) ia valoarea maxima:

(1) L(x1, . . . , xn; θ) = maxθL(x1, . . . , xn; θ).

Se rezolva sistemul∂L

∂θ= 0 si se arata ca

∂2L

∂θ2< 0.

Deseori este mai practic sa se considere varianta transformata

∂lnL

∂θ= 0 cu

∂2lnL

∂θ2< 0. In unele situatii (1) se rezolva prin alte metode.

Observatie: Daca distributia caracteristicii cercetate depinde de k parametri necunoscuti (θ1, . . . , θk)atunci se rezolva sistemul

∂L

∂θj= 0, j = 1, k si se arata ca matricea

( ∂2L

∂θi∂θj

)1≤i≤j≤k

este negativ definita.

Se poate lucra si cu varianta transformata:

∂lnL

∂θj= 0, j = 1, k si se arata ca matricea

( ∂2lnL∂θi∂θj

)1≤i≤j≤k

este negativ definita.

O matrice M este negativ definita daca ytMy < 0 pentru orice y ∈ Rn \ 0n.Exemplu: Folosind metoda verosimilitatii maxime sa se estimeze parametrul θ := p ∈ (0, 1)al distributiei Bernoulli,

X ∼(

0 11− p p

), cu datele statistice: 0,1,1,0,0,0,1,0,1,0.

⇒ n = 10, x1 = 0, x2 = 1, x3 = 1, x4 = 0...;P (X = x) = px(1− p)1−x, x ∈ 0, 1

⇒ L(x1, . . . , xn; p) = P (X = x1) · . . . · P (X = xn) = px1+···+xn(1− p)n−(x1+···+xn)

⇒ lnL(x1, . . . , xn; p) = (x1 + · · ·+ xn)ln(p) + (n− (x1 + · · ·+ xn))ln(1− p)

49

∂lnL

∂p= 0 ⇒ p =

1

n(x1 + · · ·+ xn).

Are loc:∂2lnL

∂p2< 0.

Estimatorul de verosimilitate maxima pentru parametrul necunoscut p este

p(X1, . . . , Xn) =1

n(X1 + · · ·+Xn) = Xn,

unde X1, . . . , Xn sunt variabilele de selectie. Valoarea estimata este

p(x1, . . . , xn) =1

n(x1 + · · ·+ xn) = xn =

4

10= 0.4 .

I Este p(X1, ..., Xn) un estimator nedeplasat pentru parametrul p?

Intervale de ıncredere si teste statistice

Notiuni de baza

I Fie α ∈ (0, 1) nivelul de semnificatie (probabilitatea de risc).

Def. 31. Cuantila de ordin α pentru distributia caracteristicii cercetate X este numarulzα ∈ R pentru care

P (X < zα) ≤ α ≤ P (X ≤ zα).

Daca α = 0.5 atunci z0.5 se numeste mediana.

daca X este v.a. continua, atunci: zα este cuantila de ordin α⇐⇒ P (X ≤ zα) = α ⇐⇒FX(zα) = α daca FX este functie inversabila, atunci zα = F−1X (α)

• α · 100% din valorile lui X sunt mai mici sau egale cu zα•Matlab/Octave: quantile

Distributii de probabilitate continue frecvent folosite ın statistica

distibutia normala N(0, 1)cuantila zα = norminv(α, 0, 1); functia de repartitie FN(0,1)(x) =normcdf(x, 0, 1) distibutia Student St(n)cuantila tα = tinv(α, n); functia de repartitie FSt(n)(x) = tcdf(x, n) distibutia Chi-patrat χ2(n)cuantila cα = chi2inv(α, n); functia de repartitie Fχ2(n)(x) = chi2cdf(x, n)De exemplu:

50

norminv(0.01, 0, 1) = −2.3263,norminv(1− 0.01, 0, 1) = 2.3263,tinv(0.05, 10) = −1.8125,tinv(1− 0.05, 10) = 1.8125,chi2inv(0.05, 10) = 3.9403,chi2inv(1− 0.05, 10) = 18.307.Exemplu: Sa se arate ca: a) X ∼ N(0, 1)⇐⇒ −X ∼ N(0, 1);b) pentru cuantilele distributiei normale N(0, 1) are loc zα = −z1−α pentru orice α ∈ (0, 1).c) Sa se arate ca loc proprietatea analoaga si pentru distributia Student St(n), adica tα = −t1−αpentru orice α ∈ (0, 1).R.: a) Fie x ∼ N(0, 1). Scriem pentru orice u ∈ R

F−X(u) = P (−X ≤ u) = P (X > −u) = 1− P (X ≤ −u) = 1− FX(−u).

Aceasta implica

f−X(u) = F ′−X(u) = F ′X(−u) = fX(−u) =1√2πe−

u2

2 , ∀u ∈ R.

Deci −X ∼ N(0, 1). Folosind rezultatul deja demonstrat si relatia X = −(−X), obtinem ca−X ∼ N(0, 1) =⇒ X ∼ N(0, 1).b) Fie X ∼ N(0, 1) si zα, z1−α cuantile ale sale. Rezulta ca

P (X ≤ zα) = α, P (X ≤ z1−α) = 1− α.

Scriem si folosim faptul ca −X si X urmeaza distributia N(0, 1)

P (X ≤ zα) = α = 1− P (X ≤ z1−α) = P (X > z1−α) = P (−X < −z1−α) = P (X < −z1−α)

= P (X ≤ −z1−α).

Pentru distributia N(0, 1) cuantila zα e unic determinata din relatia P (X ≤ zα) = α (pentruca FX e o functie inversabila si atunci zα = F−1X (α)), asadar obtinem ca zα = −z1−α.c) Rationamentul este analog. Se foloseste X ∼ St(n)⇐⇒ −X ∼ St(n). ♣

Intervale de ıncredere

Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X , a carei distributie depindede parametrul necunoscut θ; notam cu X1, . . . , Xn variabilele de selectie corespunzatoare. Fieα ∈ (0, 1) nivelul de semnificatie; 1− α se numeste nivelul de ıncredere.Se cauta doi estimatori g1(X1, . . . , Xn) si g2(X1, . . . , Xn) astfel ıncat

P(g1(X1, . . . , Xn) < θ < g2(X1, . . . , Xn)

)= 1− α ⇔

P(θ /∈

(g1(X1, . . . , Xn), g2(X1, . . . , Xn)

))= α

I(g1(X1, . . . , Xn), g2(X1, . . . , Xn)

)se numeste interval de ıncredere bilateral pentru parametrul

necunoscut θ

51

I(g1(x1, . . . , xn), g2(x1, . . . , xn)

)este valoarea intervalului de ıncredere pentru parametrul

necunoscut θI g1(X1, . . . , Xn) este limita inferioara a intervalului de ıncredere, valoarea sa este g1(x1, . . . , xn)I g2(X1, . . . , Xn) este limita superioara a intervalului de ıncredere, valoarea sa este g2(x1, . . . , xn)I probabilitatea ca parametrul necunoscut θ sa fie ın intervalul

(g1(X1, . . . , Xn), g2(X1, . . . , Xn)

)este 1− α (nivelul de ıncredere)I exista si intervale de ıncredere unilaterale:

(−∞, g3(X1, . . . , Xn)

),(g4(X1, . . . , Xn),∞

),

estimatorii g3 si g4 sunt astfel ıncat

P(θ < g3(X1, . . . , Xn)

)= 1− α, respectiv P

(g4(X1, . . . , Xn) < θ

)= 1− α

I(−∞, g3(x1, . . . , xn)

) (g4(x1, . . . , xn),∞

)sunt valorile intervalelor de ıncredere unilat-

erale pentru parametrul necunoscut θI probabilitatea ca parametrul necunoscut θ sa fie ın intervalul

(−∞, g3(X1, . . . , Xn)

)este

1− α, respectiv probabilitatea ca θ sa fie ın intervalul(g4(X1, . . . , Xn),∞

)este 1− α.

æ Nu este corect sa afirmam ca probabilitatea ca intervalul construit (din datele statistice) sacuprinda valoarea exacta (reala) a lui θ este 1 − α. Intervalul de ıncredere este un intervalaleator, el depinde de selectia facuta, deci extremitatile sale sunt v.a. Prin urmare interpretareacorecta a lui 1− α este urmatoarea: daca, facem un numar foarte mare de selectii si calculamde fiecare data intervalul de ıncredere cu nivelul de ıncredere 1− α, atunci (1− α) · 100% dinaceste intervale vor contine valoarea exacta pentru θ.

P. 22. (Teorema limita centrala) Fie (Xn)n un sir de v.a. independente, care au aceeasidistributie. Fie m = E(Xn) si σ2 = V (Xn) > 0 ∀ n ≥ 1. Are loc

limn→∞

P

(Xn −m

σ√n

≤ b

)=

1√2π

b∫−∞

e−t2

2 dt = FN(0,1)(b),

pentru orice b ∈ R, iar Xn = 1n(X1 + · · ·+Xn).

æ FN(0,1)(b)=normcdf(b, 0, 1)æ Consecinta (la P. 22): pentru orice a < b are loc

limn→∞

P

(a <

Xn −mσ√n

< b

)= FN(0,1)(b)-FN(0,1)(a)=normcdf(b, 0, 1)-normcdf(a, 0, 1).

Exemplu: Daca (Xn)1≤n≤100 sunt variabile de selectie pentru X ∼ Bernoulli(0.5), sa seestimeze P (0.35 < X100 < 0.65)!

52

R.: Observam

P (0.35 < X100 < 0.65) = P

−3 <X100 − 0.5√

0.5(1−0.5)100

< 3

.

Cf. P. 22 si a consecintei de mai sus

=⇒ P

(− 3 <

X100 − 0.5√0.5(1−0.5)

100

< 3

)≈ normcdf(3, 0, 1)− normcdf(−3, 0, 1) ≈ 0.9973

=⇒ P(Xn ∈ (0.35, 0.65)

)≈ 0.9973,

asadar pentru o caracteristica de tip Bernoulli(0.5), media de selectie Xn apartine cu o prob-abilitate foarte mare intervalului (0.35, 0.65) . ♥Exemplu: 100 de zaruri sunt aruncate. Folosind P.22 (Teorema limita centrala), estimati prob-abilitatea ca suma obtinuta sa fie ıntre 300 si 400! ♠Exemplu: Un profesor stie din experienta anilor precedenti ca media aritmetica a punctajelorelevilor la un anumit test are media 71 si deviatia standard de 20. Daca o clasa are 36 de eleviestimati probabilitatea ca media punctajelor sa fie ıntre 60 si 80. Daca numarul de elevi dinclasa creste (de exemplu sunt 40 de elevi ın clasa) cum se modifica aceasta probabilitate? ♣

Interval de ıncredere pentru proportia p, a caracteristicii cercetate X ∼ Bernoulli(p)

I se dau α ∈ (0, 1), σ, datele statistice x1, . . . , xn ∈ 0, 1I construim intervale de ıncredere pentru parametrul necunoscut p ∈ (0, 1)

I daca X ∼ Bernoulli(p), atunci P. 22 implicaXn − p√

p(1−p)n

∼ N(0, 1) pentru n suficient de

mareI cuantilele legii normale N(0, 1):z1−α2 = norminv(1− α

2 , 0, 1), z1−α = norminv(1− α, 0, 1), zα = norminv(α, 0, 1)

• interval de ıncredere bilateral: se cauta doi estimatori g1(X1, . . . , Xn) si g2(X1, . . . , Xn)astfel ıncat pentru proportia p sa avem:

P(g1(X1, . . . , Xn) < p < g2(X1, . . . , Xn)

)= 1− α

53

din P

∣∣∣∣∣∣∣Xn − p√

p(1−p)n

∣∣∣∣∣∣∣ < z1−α2

= 1− α avem :

∣∣∣∣∣∣∣Xn − p√

p(1−p)n

∣∣∣∣∣∣∣ < z1−α2 ⇔ Xn −√p(1− p)

n· z1−α2 < p < Xn +

√p(1− p)

n· z1−α2

se observa ca la acest interval capetele depind de parametrul necunoscut p; avand ın vedereca Xn este un estimator nedeplasat si consistent pentru parametrul necunoscut p ın cazuldistributiei Bernoulli(p) (a se vedea Exemplul de pe pagina 46), se ınlocuieste p din capeteleintervalului cu

p ≈ p(X1, ..., Xn) = Xn

si se obtine• intervalul de ıncredere bilateral pentru p:(

Xn −√Xn(1− Xn)

n· z1−α2 , Xn +

√Xn(1− Xn)

n· z1−α2

) se calculeaza valoarea intervalului de ıncredere bilateral(

xn −√xn(1− xn)

n· z1−α2 , xn +

√xn(1− xn)

n· z1−α2

)• interval de ıncredere unilateral: se cauta doi estimatori g3(X1, . . . , Xn), g4(X1, . . . , Xn)astfel ıncat pentru proportia p sa avem:

P (p < g3(X1, . . . , Xn)) = 1− α, P (g4(X1, . . . , Xn) < p) = 1− α

din P

Xn − p√p(1−p)n

> zα

= 1− α avem :Xn − p√

p(1−p)n

> zα ⇔ p < Xn −√p(1− p)

n· zα

pentru capatul drept al intervalului consideram p ≈ p(X1, ..., Xn) = Xn

⇒ g3(X1, . . . , Xn) = Xn −√Xn(1− Xn)

n· zα; valoarea intervalul de ıncredere este

(−∞ , xn −

√xn(1− xn)

n· zα)

din P

Xn − p√p(1−p)n

< z1−α

= 1−α avem :Xn − p√

p(1−p)n

< z1−α ⇔ p > Xn−√p(1− p)

n·z1−α

54

• g4(X1, . . . , Xn) = Xn −√Xn(1− Xn)

n· z1−α; valoarea intervalului de ıncredere este

(xn −

√xn(1− xn)

n· z1−α , ∞

).

Exemplu: Se stie ca 45% din populatia unui oras sustine un anumit candidat la alegerileviitoare. Daca se alege un esantion aleatoriu de dimensiunea 200, estimati probabilitatea camai mult de jumatate dintre membrii esantionului sa sustina candidatul P (X200 ≥ 0.5) =?Calculati E(X200) si V (X200).Exemplu: p· 100% din populatia unui oras sustine un anumit candidat la alegerile viitoare,unde p ∈ (0, 1) este parametru necunoscut. S-a ales un esantion aleatoriu de dimensiunea2000 si s-a determinat ca 980 de persoane sustin candidatul. Construiti un interval de ıncrederebilateral cu nivelul de ıncredere 95% pentru proportia p necunoscuta.R.: Intervalul de ıncredere bilateral este(

xn −√xn(1− xn)

n· z1−α2 , xn +

√xn(1− xn)

n· z1−α2

),

unde n = 2000, α = 0.05, xn = 980/2000 = 0.49, z1−α2 = norminv(1 − 0.052 , 0, 1) ≈ 1.96 .

Valoarea intervalului de ıncredere bilateral este (0.4678, 0.51212) . ♦

P. 23. Fie X1, . . . , Xn variabile de selectie pentru X ∼ N(m,σ2), atunci pentru media de

selectie are locXn −m

σ√n

∼ N(0, 1).

Reamintim: X ∼ N(m,σ2) =⇒ E(X) = m,V (X) = σ2.

Interval de ıncredere pentru media m = E(X) caracteristicii cercetate X , cand dispersiaσ2 = V (X) este cunoscuta

I se dau α ∈ (0, 1), σ, datele statistice x1, . . . , xnI construim intervale de ıncredere pentru parametrul necunoscut m = E(X)I parametrul σ2 = V (X) este cunoscutI daca X ∼ N(m,σ2) sau n > 30 si X are o distributie necunoscuta, atunci P. 22 si P. 23

implicaXn −m

σ√n

∼ N(0, 1)

I cuantilele legii normale N(0, 1):z1−α2 = norminv(1− α

2 , 0, 1), z1−α = norminv(1− α, 0, 1), zα = norminv(α, 0, 1)

• interval de ıncredere bilateral: se cauta doi estimatori g1(X1, . . . , Xn) si g2(X1, . . . , Xn)

55

astfel ıncat pentru media teoretica m = E(X) sa avem:

P(g1(X1, . . . , Xn) < m < g2(X1, . . . , Xn)

)= 1− α

din P

(∣∣∣∣∣Xn −mσ√n

∣∣∣∣∣ < z1−α2

)= 1− α avem :

∣∣∣∣∣Xn −mσ√n

∣∣∣∣∣ < z1−α2 ⇔ Xn −σ√n· z1−α2 < m < Xn +

σ√n· z1−α2

• intervalul de ıncredere bilateral pentru m = E(X) (media teoretica) este(Xn −

σ√n· z1−α2 , Xn +

σ√n· z1−α2

) se calculeaza valoarea intervalului de ıncredere

(xn −

σ√n· z1−α2 , xn +

σ√n· z1−α2

)• interval de ıncredere unilateral: se cauta doi estimatori g3(X1, . . . , Xn), g4(X1, . . . , Xn)astfel ıncat pentru media teoretica m = E(X) sa avem:

P (m < g3(X1, . . . , Xn)) = 1− α, P (g4(X1, . . . , Xn) < m) = 1− α

din P

(Xn −m

σ√n

> zα

)= 1− α avem :

Xn −mσ√n

> zα ⇔ m < Xn −σ√n· zα

• g3(X1, . . . , Xn) = Xn−σ√n·zα; valoarea intervalul de ıncredere este

(−∞ , xn−

σ√n·zα)

din P

(Xn −m

σ√n

< z1−α

)= 1− α avem :

Xn −mσ√n

< z1−α ⇔ m > Xn −σ√n· z1−α

• g4(X1, . . . , Xn) = Xn −σ√n· z1−α; valoarea intervalului de ıncredere este

(xn −

σ√n· z1−α , ∞

).

Exemplu: Un profesor a ınregistrat pe parcursul mai multor ani rezultatele elevilor sai la unanumit tip de test. Punctajul unui elev este o v.a. X ∈ (0, 100), avand abaterea standardegala cu 10. Media de selectie a calificativelor a 144 de elevi este 68. Daca α = 0.05, sase construiasca un interval de ıncredere bilateral pentru valoarea medie E(X) a punctajuluiobtinut de un elev la un anumit test.R: (

xn −σ√n· z1−α2 , xn +

σ√n· z1−α2

)

56

unde n = 144, σ = 10, xn = 68, α = 0.05, z1−α2 = norminv(1− 0.052 , 0, 1) ≈ 1.96 . Valoarea

intervalului de ıncredere bilateral este (66.367, 69.633) . ♣

P. 24. Fie X1, . . . , Xn variabile de selectie pentru X ∼ N(m,σ2), atunci pentru media de

selectie si abaterea standard de selectie are locXn −m

Sn√n

∼ St(n− 1).

Interval de ıncredere pentru media m = E(X) caracteristicii cercetate X , cand dispersiaV (X) este necunoscuta

I se dau α ∈ (0, 1), datele statistice x1, . . . , xnI daca X ∼ N(m,σ2) sau n > 30 si X are o distributie necunoscuta, atunci P.24 implica

Xn −mSn√n

∼ St(n− 1)

I cuantilele legii Student St(n− 1):t1−α2 = tinv(1− α

2 , n− 1), t1−α = tinv(1− α, n− 1), tα = tinv(α, n− 1)

• interval de ıncredere bilateral: se cauta doi estimatori g1(X1, . . . , Xn) si g2(X1, . . . , Xn)astfel ıncat pentru media teoretica m = E(X) sa avem:

P(g1(X1, . . . , Xn) < m < g2(X1, . . . , Xn)

)= 1− α

din P

∣∣∣∣∣∣Xn −mSn√n

∣∣∣∣∣∣ < t1−α2

= 1− α avem :

∣∣∣∣∣∣Xn −mSn√n

∣∣∣∣∣∣ < t1−α2 ⇔ Xn −Sn√n· t1−α2 <

m < Xn +Sn√n· t1−α2

• intervalul de ıncredere bilateral pentru m = E(X) (media teoretica) este(Xn −

Sn√n· t1−α2 , Xn +

Sn√n· t1−α2

) se calculeaza valoarea intervalului de ıncredere

(xn −

sn√n· t1−α2 , xn +

sn√n· t1−α2

)• interval de ıncredere unilateral: se cauta doi estimatori g3(X1, . . . , Xn), g4(X1, . . . , Xn)astfel ıncat pentru media teoretica m = E(X) sa avem:

P (m < g3(X1, . . . , Xn)) = 1− α, P (g4(X1, . . . , Xn) < m) = 1− α

57

din P

Xn −mSn√n

> tα

= 1− α avem :Xn −m

Sn√n

> tα ⇔ m < Xn −Sn√n· tα

• g3(X1, . . . , Xn) = Xn−Sn√n· tα; valoarea intervalul de ıncredere este

(−∞ , xn−

sn√n· tα)

din P

Xn −mSn√n

< t1−α

= 1− α avem :Xn −m

Sn√n

< t1−α ⇔ m > Xn −Sn√n· t1−α

• g4(X1, . . . , Xn) = Xn −Sn√n· t1−α; valoarea intervalului de ıncredere este

(xn −

sn√n· t1−α , ∞

).

Exemplu: Media de selectie a lungimii a 100 de suruburi este 15.5 cm, iar varianta de selectieeste 0.09 cm2. Sa se construiasca un interval de ıncredere 99% bilateral pentru media (teo-retica) a lungimii suruburilor.R.: valoarea intervalului de ıncredere bilateral pentru media teoretica m, cand varianta estenecunoscuta, este (

xn −sn√n· t1−α2 , xn +

sn√n· t1−α2

)unde xn = 15.5, sn = 0.3 (s2n = 0.09), α = 0.01, t1−α2 = tinv(0.995, 99) = 2.6264,√n = 10. ♣

P. 25. Fie X1, . . . , Xn variabile de selectie pentru X ∼ N(m,σ2), atunci pentru varianta deselectie are loc n−1

σ2 S2n ∼ χ2(n− 1).

Exemplu: Timpul necesar unei unitati CPU pentru a realiza un anumit tip de operatii aredistributie normala cu media 20 de secunde si abaterea standard 3 secunde. Intr-un esantionde 25 de astfel de operatii, care este probabilitatea ca varianta de selectie (a timpului necesartipului de operatii studiate) sa depaseasca 12 secunde?R: Vom folosi P.25. Rescriem succesiv

P (S225 > 12) = P

(25− 1

32S225 >

24

9· 12)

= 1− P(24

32S225 ≤ 32

).

Dar 2432 S

225 ∼ χ2(25− 1) (cf. P.25)

=⇒ P (S225 > 12) = 1− Fχ2(24) = 1− chi2cdf(32, 24) ≈ 1− 0.87301 = 0.12699 .

58

Interval de ıncredere pentru varianta (dispersia) σ2 = V (X) caracteristicii cercetate X

I se dau α ∈ (0, 1), datele statistice x1, . . . , xn

I daca X ∼ N(m,σ2), atunci P.25 implica n−1σ2 S

2n ∼ χ2(n− 1)

I cuantilele distributiei χ2(n− 1) (Chi-patrat cu n− 1 grade de libertate):c1−α2 = chi2inv(1− α

2 , n−1), cα2

= chi2inv(α2 , n−1), c1−α = chi2inv(1−α, n−1),cα = chi2inv(α, n− 1)

• interval de ıncredere bilateral: se cauta doi estimatori g1(X1, . . . , Xn) si g2(X1, . . . , Xn)astfel ıncat pentru varianta teoretica σ2 = V (X) sa avem:

P(g1(X1, . . . , Xn) < σ2 < g2(X1, . . . , Xn)

)= 1− α

din P(cα

2< n−1

σ2 · S2n < c1−α2

)= 1 − α avem : cα

2< n−1

σ2 · S2n < c1−α2 ⇔

n−1c1−α2· S2

n <

σ2 < n−1cα2

· S2n

• intervalul de ıncredere bilateral pentru σ2 = V (X) (varianta teoretica) este(n− 1

c1−α2· S2

n,n− 1

cα2

· S2n

) se calculeaza valoarea intervalului de ıncredere

(n−1c1−α2· s2n, n−1cα

2

· s2n)

• interval de ıncredere unilateral: se cauta doi estimatori g3(X1, . . . , Xn), g4(X1, . . . , Xn)astfel ıncat pentru varianta teoretica σ2 = V (X) sa avem:

P (σ2 < g3(X1, . . . , Xn)) = 1− α, P (g4(X1, . . . , Xn) < σ2) = 1− α

din P(n−1σ2 · S2

n > cα

)= 1− α avem : n−1

σ2 · S2n > cα ⇔ σ2 < n−1

cα· S2

n

• g3(X1, . . . , Xn) = n−1cα· S2

n; valoarea intervalul de ıncredere este(

0, n−1cα· s2n)

din P(n−1σ2 · S2

n < c1−α

)= 1− α avem : n−1

σ2 · S2n < c1−α ⇔ σ2 > n−1

c1−α· S2

n

• g4(X1, . . . , Xn) = n−1c1−α· S2

n; valoarea intervalului de ıncredere este(n−1c1−α· s2n , ∞

).

Exemplu: Durata de functionare a unui anumit tip de baterie este 500 de ore. S-au testat 64 debaterii si s-a obtinut media de 525 de ore si abaterea standard de 25 de ore. Sa se construiascaun interval de ıncredere 99%a) bilateral pentru media (teoretica);b) unilateral stang pentru varianta (teoretica) [adica un interval de ıncredere avand margineainferioara 0 si se calculeaza marginea superioara, la dreapta]a duratei de functionare a acestui tip de baterii.

59

R.: a) Valoarea intervalului de ıncredere bilateral pentru media teoretica, cand varianta estenecunoscuta, este (

xn −sn√n· t1−α2 , xn +

sn√n· t1−α2

)cu√n = 8, xn = 525, sn = 25, α = 0.01, t1−α2 = tinv(0.995, 63) = 2.6561 =⇒ valoarea

intervalului de ıncredere bilateral pentru medie este (516.7, 533.3) .b) Valoarea intervalului de ıncredere unilateral stang pentru varianta este

(0, n−1cα

· s2n)

, cu

n = 64, s2n = 625, α = 0.01, cα = chi2inv(0.01, 63) = 39.8551 =⇒ valoarea intervaluluide ıncredere unilateral stang pentru varianta este (0, 39.5181) . ♣

Teste statistice

Fie x1, . . . , xn datele statistice pentru caracteristica cercetata X , notam cu X1, . . . , Xn vari-abilele de selectie corespunzatoare. Ipoteza statistica este o presupunere relativa la un parametru necunoscut θ Metoda de stabilire a veridicitatii unei ipoteze statistice se numeste test (criteriu de verifi-care). Rezultatul testarii se foloseste apoi pentru luarea unor decizii (cum ar fi: eficienta unormedicamente, strategii de marketing, alegerea unui produs etc.). Se formuleaza ipoteza nula H0 si ipoteza alternativa H1, privind parametrul θ; fie θ0 o val-oare data

I. H0 : θ = θ0 H1 : θ 6= θ0

II. H0 : θ ≥ θ0 H1 : θ < θ0

III. H0 : θ ≤ θ0 H1 : θ > θ0

Se da α ∈ (0, 1) nivelul de semnificatie (probabilitatea de risc). Formularea unui test revine laconstruirea unei regiuni critice U ⊂ Rn (pentru cazurile I, II, respectiv III) astfel ıncat

P ((X1, . . . , Xn) ∈ U |H0) = α

ceea ce este echivalent cu

P ((X1, . . . , Xn) /∈ U |H0) = 1− α

Concluzia testului:(x1, . . . , xn) /∈ U ⇒ ipoteza H0 este admisa(x1, . . . , xn) ∈ U ⇒ ipoteza H0 este respinsa, ın favoarea ipotezei H1

O colectivitate este testata ın raport cu caracteristica X .• test pentru valoarea medie E(X)

cand varianta teoretica V (X) este cunoscuta: testul lui Gauss (testul Z) cand varianta teoretica V (X) este necunoscuta: Student Test (testul T)

60

• test pentru abaterea standard teoretica√V (X) sau pentru varianta teoretica V (X): testul

χ2

• test asupra proportiei (test Gauss aproximativ)

Pasii ın efectuarea unui test statistic:• Care parametru se testeaza? Care test este potrivit?• Care este ipoteza nula H0 si care este ipoteza alternativa H1?• Care este nivelul de semnificatie (probabilitatea de risc) α ?• Calculul valorii estimatorului pe baza datelor statistice• Concluzia testului

Test pentru media m = E(X) caracteristicii cercetate X , cand varianta σ2 = V (X) estecunoscuta (testul Z, testul Gauss)

I se dau α ∈ (0, 1), m0, σ

I daca X ∼ N(m,σ2) sau n > 30 si X are o distributie necunoscuta, atunciXn −m

σ√n

∼

N(0, 1)

I folosind datele statistice x1, . . . , xn, se calculeaza z =xn −m0

σ√n

I cuantilele legii normale N(0, 1):z1−α2 = norminv(1− α

2 , 0, 1), z1−α = norminv(1− α, 0, 1), zα = norminv(α, 0, 1)

I. H0: m = m0 II.H0: m ≥ m0 III. H0: m ≤ m0

H1: m 6= m0 H1: m < m0 H1: m > m0

Se accepta H0 daca |z| < z1−α2 z > zα z < z1−α

Se respinge H0 ın favoarea lui H1, daca |z| ≥ z1−α2 z ≤ zα z ≥ z1−α

I ın Octave/Matlab: ztestI regiunea critica U ⊂ Rn pentru testul mediei, cand varianta este cunoscuta:

I. U =

(u1, . . . , un) ∈ Rn :∣∣∣un −m0

σ√n

∣∣∣ ≥ z1−α2

, unde un =

1

n

(u1 + · · ·+ un

)II. U =

(u1, . . . , un) ∈ Rn :

un −m0σ√n

≤ zα

III. U =

(u1, . . . , un) ∈ Rn :

un −m0σ√n

≥ z1−α

Exemplu: Un profesor a ınregistrat pe parcursul mai multor ani rezultatele elevilor sai. Cali-ficativul unui elev este o v.a. cu valoarea ıntre 1 si 100, avand abaterea standard egala cu 12.Actuala clasa are 36 de elevi si media calificativelor lor este 73.2. Se poate afirma din punct

61

de vedere statistic ca media calificativelor din actuala clasa este egala cu 73.5? (α = 0.05)R.: H0: m = 73.5, H1: m 6= 73.5, testul Z (Gauss) pentru medie, cand varianta este cunoscutaσ2 = 122. ♠

Test pentru media m = E(X) caracteristicii cercetate X , cand varianta V (X) este ne-cunoscuta (Testul T, testul Student)

I se dau α ∈ (0, 1), m0

I daca X ∼ N(m,σ2) sau n > 30 si X are o distributie necunoscuta, atunciXn −m

Sn√n

∼

St(n− 1)

I folosind datele statistice x1, . . . , xn se calculeaza t =xn −m0

sn√n

I cuantilele legii Student cu n− 1 grade de libertate St(n− 1):t1−α2 = tinv(1− α

2 , n− 1), t1−α = tinv(1− α, n− 1), tα = tinv(α, n− 1)

I. H0: m = m0 II. H0: m ≥ m0 III. H0: m ≤ m0

H1: m 6= m0 H1: m < m0 H1: m > m0

Se accepta H0 daca |t| < t1−α2 t > tα t < t1−α

Se respinge H0 ın favoarea lui H1, daca |t| ≥ t1−α2 t ≤ tα t ≥ t1−α

I ın Octave/Matlab: ttestI regiunea critica U ⊂ Rn pentru testul mediei, cand varianta este necunoscuta:

I. U =

(u1, . . . , un) ∈ Rn :

∣∣∣∣∣un −m0

sn√n

∣∣∣∣∣ ≥ t1−α2

, unde un =

1

n

(u1 + · · ·+ un

),

sn =( 1

n− 1

n∑k=1

(uk − un)2) 1

2

II. U =

(u1, . . . , un) ∈ Rn :un −m0

sn√n

≤ tα

III. U =

(u1, . . . , un) ∈ Rn :

un −m0

sn√n

≥ t1−α

Exemplu: Specificatiile unui anumit medicament indica faptul ca fiecare comprimat contineın medie 2.4 g de substanta activa. 100 de comprimate alese la ıntamplare din productie suntanalizate si se constata ca ele contin ın medie 2.5 g de substanta activa cu o deviatie standardde 0.2 g. Se poate spune ca medicamentul respecta specificatiile (cu α = 0.01)?R.: H0: m = 2.4 cu H1: m 6= 2.4, testul Student. ♣

62

Test asupra proportiei p pentru caracteristica X ∼ Bernoulli(p) (testul Gauss aproxi-mativ)

I se dau α ∈ (0, 1), p0

I daca X ∼ Bernoulli(p) si np(1− p) ≥ 10, atunciXn − p√

p(1−p)n

∼ N(0, 1)

I folosind datele statistice x1, . . . , xn se calculeaza z =xn − p0√p0(1−p0)

n

I cuantilele legii normale N(0, 1):z1−α2 = norminv(1− α

2 , 0, 1), z1−α = norminv(1− α, 0, 1), zα = norminv(α, 0, 1)

I. H0: p = p0 II. H0: p ≥ p0 III. H0: p ≤ p0

H1: p 6= p0 H1: p < p0 H1: p > p0

Se accepta H0 daca |z| < z1−α2 z > zα z < z1−α

Se respinge H0 ın favoarea lui H1, daca |z| ≥ z1−α2 z ≤ zα z ≥ z1−α

I regiunea critica U ⊂ Rn

I. U =

(u1, . . . , un) ∈ Rn :

∣∣∣∣∣ un − p0√p0(1−p0)

n

∣∣∣∣∣ ≥ z1−α2

, unde un =

1

n

(u1 + · · ·+ un

)

II. U =

(u1, . . . , un) ∈ Rn :un − p0√p0(1−p0)

n

≤ zα

III. U =

(u1, . . . , un) ∈ Rn :un − p0√p0(1−p0)

n

≥ z1−α

Exemplu: O moneda s-a aruncat de 100 de ori si s-a obtinut de 61-de ori “pajura”. Pe bazaacestor informatii se poate afirma ca moneda este masluita? Adica p 6= 0.5, unde p esteprobabilitatea cu care apare “pajura” la o aruncare. Se ia α = 0.05.

R.: n = 100, p0 = 0.5⇒ np0(1− p0) = 100 · 0.5 · 0.5 ≥ 10H0 : p = 0.5, H1 : p 6= 0.5, test pentru proportia p

z =xn − p0√p0(1−p0)

n

=61100 − 0.5√0.5(1−0.5)

100

= 2.2

z > z1−α2 = norminv(1− 0.052 , 0, 1) = 1.96 =⇒H0 se respinge; pe baza datelor statistice se

deduce ca moneda este masluita.

63

Test pentru varianta σ2 = V (x) / abaterea standard σ =√V (x) / a caracteristicii cerc-

etate X

I se dau α ∈ (0, 1), σ0I daca X ∼ N(m,σ2), atunci n−1σ2 S

2n ∼ χ2(n− 1)

I folosind datele statistice x1, . . . , xn se calculeaza c =n− 1

σ20· s2n

I cuantilele χ2 (Chi-patrat) cu n− 1 grade de libertate:c1−α2 = chi2inv(1− α

2 , n−1), cα2

= chi2inv(α2 , n−1), c1−α = chi2inv(1−α, n−1),cα = chi2inv(α, n− 1)

I. H0: σ = σ0 II. H0: σ ≥ σ0 III. H0: σ ≤ σ0H1: σ 6= σ0 H1: σ < σ0 H1: σ > σ0

Se accepta H0, daca cα2< c < c1−α2 c > cα c < c1−α

Se respinge H0 ın favoarea lui H1, daca c /∈ (cα2, c1−α2 ) c ≤ cα c ≥ c1−α

I ın Octave/Matlab: vartestI regiunea critica U ⊂ Rn pentru testul variantei:

I. U =

(u1, . . . , un) ∈ Rn :1

σ20

n∑k=1

(uk − un)2 /∈(cα

2, c1−α2

), unde un =

1

n

(u1 + · · ·+ un

)

II. U =

(u1, . . . , un) ∈ Rn :1

σ20

n∑k=1

(uk − un)2 ≤ cα

III. U =

(u1, . . . , un) ∈ Rn :

1

σ20

n∑k=1

(uk − un)2 ≥ c1−α

Exemplu: Un manager este suspicios ca un utilaj, care umple anumite cutii cu ceai, trebuieınlocuit cu unul mult mai precis. 121 de cutii cu ceai sunt cantarite. S-a obtinut o medie de196.6 g si o abatere (deviatie) standard de 2.09 g pentru acest esantion.a) Sa se testeze daca abaterea standard a utilajului este de 2 g.b) Sunt datele suficiente pentru a concluziona, ca utilajul trebuie reglat pentru ca nu pune 200g de ceai ıntr-o cutie? (α = 0.01)R.: a) H0: σ = 2 cu H1: σ 6= 2 , test pentru abaterea standard (adica testul pentru varianta)b) H0: m = 200 cu H1: m 6= 200, testul Student. ♣

Erori ın efectuarea testelor statisticeP (Eroare de tip I) = P (se respinge H0|H0 este adevarata) = αadica H0 este respinsa desi este adevarata

64

de exemplu: se trage concluzia ca un tratament este ineficient pe baza unor interpretari gresite(desi ın realitate tratamentul este eficient)P (Eroare de tip II) = P (se accepta H0|H1 este adevarata)

notatie= β

adica H0 nu este respinsa desi este falsade exemplu: nu este respins un tratament ineficient (desi ın realitate tratamentul este ineficient);Puterea unui test = 1− β= 1− probabilitatea aparitiei unei erori de tip II.

decizia

realitateaH0 este adevarata H1 este adevarata

se respinge H0 Eroare de tip I decizie corectase accepta H0 decizie corecta Eroare de tip II

Analogie cu procedurile penale (realitatea: acuzatul este vinovat/nevinovat; se ia decizia:acuzatul este vinovat/nevinovat)

decizia

acuzatulvinovat nevinovat

nevinovat Eroare de tip I decizie corectavinovat decizie corecta Eroare de tip II