Legea numerelor mari şi legi limităLNM şi TLC

Radu Tr̂ımbiţaş

UBB

Decembrie 2012

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 1 / 28

Conţinut

1 Legea numerelor mari şi legi limită

2 Convergenţa ı̂n probabilitate

3 Legea slabă a numerelor mari

4 Convergenţa ı̂n repartiţie

5 Teorema limită centrală

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 2 / 28

Legea numerelor mari şi legi limită I

Înainte de a efectua o experienţă nu putem şti ce valoare va lua ovariabilă aleatoare pe care o studiem.

Întrucât dispunem de puţine informaţii despre fiecare variabilăaleatoare, s-ar părea că determinarea comportării mediei aritmetice aunui număr suficient de mare de variabile aleatoare este o problemădificilă.

În realitate, ı̂n condiţii puţin restrictive, media aritmetică a unuinumăr mare de variabile aleatoare ı̂şi pierde caracterul ı̂ntâmplător.

În practică este foarte important să cunoaştem condiţiile ı̂n careacţiunea combinată a mai multor factori ı̂ntâmplători conduce la unrezultat care să nu depindă de ı̂ntâmplare, deci care să ne permită săprevedem mersul fenomenului studiat.

Aceste condiţii se dau ı̂n calculul probabilităţilor ı̂n teoreme cunoscutesub denumirea comună de legi ale numerelor mari.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 3 / 28

Legea numerelor mari şi legi limită II

Termenul a fost folosit pentru prima oară de Poisson, deşi cu un secolı̂nainte Jakob Bernoulli a pus ı̂n evidenţă acţiunea legii numerelormari cu referire la repartiţia binomială.

În 1867 Ceb̂ışev a precizat riguros din punct de vedere matematiclegea numerelor mari ı̂n condiţii mai generale.

Reamintim:

Teorema 1 (Inegalitatea lui Ceb̂ışev)

Fie X o variabilă aleatoare pentru care există M(X ) şi D2(X ). Are locinegalitatea

P (|X −M(X )| < ε) ≥ 1− D2(X )

ε2. (1)

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 4 / 28

Simeon Denis Poisson(1781–1840)

Jakob Bernoulli(1654-1705)

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 5 / 28

Pafnuty Levovici Ceb̂ışev(1821-1894)

A. A. Markov(1856-1922)

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 6 / 28

Convergenţa ı̂n probabilitate I

Definiţia 2

Vom spune că şirul de variabile aleatoare (Xn) converge ı̂n probabilitate

către o variabilă aleatoare X (notaţie Xnp−→ X ) dacă, fiind date două

numere reale pozitive, suficient de mici, ε şi η, există un ı̂ntreg N astfelı̂ncât pentru orice n > N să avem

P(|Xn − X | ≥ ε) < η. (2)

În Analiza matematică are loc convergenţa deterministă

Xn −→ X ⇐⇒ ∀ε > 0 ∃Nε : n > Nε =⇒ |Xn − X | < ε.

Convergenţa ı̂n probabilitate este aproape certitudinea unei convergenţedeterministe

Xnp−→ X ⇐⇒ lim

n→∞P(|Xn − X | < ε) = 1.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 7 / 28

Convergenţa ı̂n probabilitate II

Teorema 3

Dacă (Xn) este un şir de variabile aleatoare şi a ∈ R, astfel ı̂ncâtM(Xn) −→ a şi D2(Xn) −→ 0, atunci Xn

p−→ a.

Demonstraţie. Se aplică inegalitatea lui Ceb̂ışev (1)

P(|Xn − a| ≥ ε) <M((Xn − a)2

)ε2

−→ 0

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 8 / 28

Legea slabă a numerelor mari I

Fie şirul de variabile aleatoare (Xn), definite pe câmpul (E ,K, P) şi fie(ϕn) un şir de aplicaţii ϕn : Rn −→ R simetrice ı̂n raport cu argumentelelor. Fie şirul (Yn) dat de Yn = ϕ(X1, . . . , Xn).

Definiţia 4

Dacă există un şir de constante (cn)n∈N astfel ı̂ncât

limn→∞

P(|Yn − cn| < ε) = 1

pentru orice ε > 0 dat, atunci spunem că şirul (Xn) urmează legea slabăa numerelor mari.

Cu alte cuvinte |Yn − cn|p−→ 0.

Una din cele mai frecvente alegeri pentru ϕn este

ϕn(X1, . . . , Xn) =X1 + · · ·+ Xn

n,

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 9 / 28

Legea slabă a numerelor mari II

iar pentru cn

cn =M(X1) + · · ·+ M(Xn)

n.

Teorema 5 (Markov)

Dacă (Xn) verifică condiţia lui Markov

limn→∞

1

n2D2

(n

∑i=1

Xi

)= 0,

atunci

limn→∞

P

(∣∣∣∣∣1n n∑i=1 Xi − 1nn

∑i=1

M(Xi )

∣∣∣∣∣ < ε)

= 1 (3)

pentru orice ε > 0 dat.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 10 / 28

Legea slabă a numerelor mari III

Demonstraţie. Punem

X̄ =X1 + · · ·+ Xn

n

şi aplicăm inegalitatea lui Ceb̂ışev (1)

P (|X̄ −M(X̄ )| < ε) ≥ 1− D2(X̄ )

ε2

Deoarece

D2(X̄ ) =1

n2D2(X1 + · · ·+ Xn) −→ 0 (n→ ∞)

obţinem limn→∞ P (|X̄ −M(X̄ )| < ε) ≥ 1 şi, ţinând cont că probabilitateaeste subunitară rezultă concluzia.Din teorema lui Markov rezultă:

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 11 / 28

Legea slabă a numerelor mari IV

Teorema 6 (Ceb̂ışev)

Dacă X1, . . . , Xn sunt variabile aleatoare independente care au dispersiifinite mărginite de o aceeaşi constantă c, atunci pentru orice ε > 0

limn→∞

P

(∣∣∣∣X1 + · · ·+ Xnn − M(X1) + · · ·+ M(Xn)n∣∣∣∣ < ε) = 1. (4)

Demonstraţie. Avem D2(Xi ) < c, i = 1, n. Din independenţa variabilelorXi rezultă

D2(X̄ ) =1

n2D2(

n

∑i=1

Xi ) =1

n2

n

∑i=1

D2(Xi ) ≤nc

n2−→ 0 (n→ ∞),

din care aplicând teorema 5 rezultă concluzia.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 12 / 28

Legea slabă a numerelor mari V

Observaţia 7

Dacă M(X1) = . . . = M(Xn) = m, atunci (3) şi (4) se scriu

limn→∞

P

(∣∣∣∣X1 + · · ·+ Xnn −m∣∣∣∣ < ε) = 1.

Această observaţie explică de ce putem să facem afirmaţii asupra uneipopulaţii pe baza unei selecţii având un volum mic comparativ cu cel alı̂ntregii populaţii. Explicaţia constă ı̂n aceea că selecţia implică un numărde măsurători suficient prin ele ı̂nsele. Deci teorema lui Ceb̂ışev estefundamentală pentru teoria selecţiei.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 13 / 28

Legea slabă a numerelor mari VI

Observaţia 8

Teorema lui Ceb̂ışev ne spune că deşi variabilele aleatoare independentepot lua valori depărtate de mediile lor, media aritmetică a unui numărmare de variabile aleatoare ia, cu o probabilitate foarte mare, valori ı̂n

vecinătatea constantei M(X1)+···+M(Xn)n . Această observaţie ne arată căı̂ntre comportarea fiecărei variabile aleatoare şi cea a mediei lor aritmeticeexistă o mare deosebire, ı̂n sensul că nu putem preciza ce valoare va luafiecare din variabilele aleatoare, ı̂nsă putem preciza cu o probabilitateapropiată de 1 ce valoare va lua media aritmetică a acestor variabile.Urmează că media aritmetică a unui număr suficient de mare de variabilealeatoare, cu dispersii mărginite, ı̂şi pierde din caracterul de variabilăaleatoare. Acest fapt se explică prin aceea că abaterile diverselor variabilealeatoare sunt unele pozitive, altele negative şi astfel ele se compensează.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 14 / 28

Legea slabă a numerelor mari VII

Teorema 9 (Poisson)

Fie şirul de evenimente (An)n∈N, ale căror probabilităţi de realizare auvalorile succesive (pn)n∈N. Dacă notăm cu fn frecvenţa relativă aevenimentului An, n ∈N, atunci

limn→∞

P

(∣∣∣∣fn − p1 + · · ·+ pnn∣∣∣∣) = 1.

Demonstraţie. Fie Xk o variabilă aleatoare având distribuţia

Xk :(

0 11− pk pk

).

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 15 / 28

Legea slabă a numerelor mari VIII

Variabila ia valoarea 0 sau 1 după cum Ak se realizează sau nu la proba derang k . Variabilele aleatoare Xk sunt independente şi

M(Xk) = 1 · pk + 0 · (1− pk) = pk

D2(Xk) = pk − p2k = pk(1− pk) ≤1

4.

Rezultă că avem fn =X1+···+Xn

n şi

M(X̄ ) =1

n[(M(X1) + · · ·M(Xn))] =

p1 + · · ·+ pnn

.

Suntem ı̂n condiţiile teoremei lui Ceb̂ışev şi deci

limn→∞

P

(∣∣∣∣fn − p1 + · · ·+ pnn∣∣∣∣) = 1.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 16 / 28

Legea slabă a numerelor mari IX

În cazul particular când p1 = . . . = pn = p şi A1 = . . . = An = A obţinem:

Teorema 10 (Bernoulli)

Dacă ε este un număr pozitiv arbitrar, atunci

limn→∞

P(∣∣∣ν

n− p

∣∣∣ < ε) = 1,unde ν este numărul de realizări ale evenimentului A din n experienţe.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 17 / 28

Legea slabă a numerelor mari X

Observaţia 11

În cazul unei populaţii de volum mare, dacă se efectuează o selecţie devolum n şi se obţin ν rezultate favorabile, atunci putem afirma, cu oprobabilitate oricât de apropiată de 1, că probabilitatea evenimentuluicercetat este dată de frecvenţa relativă. Prin urmare, dacă ı̂n studiulpopulaţiilor pentru care nu putem determina a priori probabilitatea derealizare a unui eveniment, probabilitatea teoretică se poate aproxima pecale elementară prin frecvenţa relativă νn a evenimentului considerat, faptce constituie justificarea teoretică a utilizării frecvenţei ı̂n loc deprobabilitate.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 18 / 28

Convergenţa ı̂n repartiţie I

Fie (Xn) un şir de variabile aleatoare cu funcţiile de repartiţie (Fn) şi X ovariabilă aleatoare cu funcţia de repartiţie F .

Definiţia 12

Spunem că şirul de variabile aleatoare (Xn) converge ı̂n repartiţie către

variabila aleatoare X (notaţie Xnr−→ X ) dacă ı̂n orice punct de

continuitate x0 al funcţiei de repartiţie F (x) a variabilei aleatoare X avem

limn→∞

Fn(x0) = F (x0).

Teorema 13

Dacă Xnp−→ X , atunci Xn

r−→ X .

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 19 / 28

Convergenţa ı̂n repartiţie II

Demonstraţie. Fie x0 un punct de continuitate al lui F . Pentru oriceε > 0 există δ > 0 astfel ı̂ncât

F (x0 + δ)− F (x0 − δ) ≤ ε. (5)

Avem

F (x0 − δ) = P(X < x0 − δ) ==P ((X < x0 − δ)∩(Xn < x0))+P ((X < x0 − δ)∩(Xn ≥ x0))== Fn(x0) + P ((X < x0 − δ) ∩ (Xn ≥ x0)) ≤≤ Fn(x0) + P (|Xn − X | ≥ δ) .

Ţinând cont că are loc (2), rezultă

F (x0 − δ) ≤ limn→∞Fn(x0).

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 20 / 28

Convergenţa ı̂n repartiţie III

Analog se obţine

F (x0 + δ) ≥ limn→∞Fn(x0).

Din ultimele două inegalităţi şi din (5) rezultă

limn→∞

Fn(x0) = F (x0)

ceea ce ne arată că Xnr−→ X .

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 21 / 28

Teorema limită centrală I

Fie şirul de variabile aleatoare (Xn) definite pe câmpul de probabilitate(E ,K, P). Vom presupune ı̂n cele ce urmează că aceste variabile aleatoareau dispersii finite. Pentru simplitate vom utiliza notaţiile:

aj = M(Xj ) σ2j = D2(Xj )

a(n) = ∑nj=1 aj σ

2(n) = ∑

nj=1 σ

2j

(6)

Yn =1

σ2(n)

n

∑j=1

(Xj − aj ) (7)

Problema care se pune este următoarea: ce condiţii trebuie impuse şiruluide variabile aleatoare (Xn) pentru ca repartiţia lui Yn să conveargă cătrerepartiţia unei variabile aleatoare normale. Această problemă, numită şiproblema asimptotică centrală, are o importanţă deosebită ı̂n aplicaţiileTeoriei probabilităţilor, permiţând, pentru n suficient de mare, asimilarea

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 22 / 28

Teorema limită centrală II

funcţiei de repartiţie a lui Yn cu o funcţie de repartiţie normală. Spunemcă (Xn) verifică condiţia lui Lindeberg, notată cu (L) dacă

limn→∞

1

σ2(n)

n

∑j=1

∫|x−aj |>εσ(n)

(x − aj )2dFj (x) = 0, (L)

unde Fj este funcţia de repartiţie a variabilei aleatoare Xj .Pentru a clarifica semnificaţia condiţiei lui Lindeberg să fixăm ε şi n şi săconsiderăm evenimentela Aj (ε), j = 1, n, definite astfel

Aj (ε) ={

e : |Xj (e)− aj | > εσ(n)}

.

Este clar că

P (Aj (ε)) =∫|x−aj |>εσ(n)

dFj (x) ≤1

ε2σ2(n)

∫|x−aj |>εσ(n)

(x − aj )2dFj (x).

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 23 / 28

Teorema limită centrală III

Pe de altă parte avem

P

(max

1≤j≤n|Xj − aj | > εσ(n)

)= P

(n⋃

j=1

Aj (ε)

)≤

n

∑j=1

P (Aj (ε)) .

Din ultimele două relaţii se obţine

P

(max

1≤j≤n|Xj − aj | > εσ(n)

)≤ 1

ε2σ2(n)

n

∑j=1

∫|x−aj |>εσ(n)

(x − aj )2dFj (x).

şi deci conform condiţiei (L) rezultă că

∀ε > 0 limn→∞

P

(max

1≤j≤n|Xj − aj | > εσ(n)

)= 0.

Această condiţie ne arată că termenii sumei (7) sunt mici ı̂n mod uniform.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 24 / 28

Teorema limită centrală IV

Teorema 14 (Lindeberg)

Fie (Xn) un şir de variabile aleatoare. Dacă este ı̂ndeplinită condiţia (L),atunci (Yn) definit de (7) converge ı̂n repartiţie către N(0, 1) şi ı̂n plus

limn→∞

max1≤j≤n

σ2jσ2(n)

= 0. (8)

Şi reciproca este adevărată.

Teorema 15 (Feller)

Fie (Xn) un şir de variabile aleatoare independente. Dacă şirul (Yn) definitde (7) converge ı̂n repartiţie către o variabilă aleatoare normală standard şidacă este ı̂ndeplinită condiţia (8), atunci este ı̂ndeplinită şi condiţia luiLindeberg (L).

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 25 / 28

Teorema limită centrală V

Cu ajutorul teoremei lui Lindeberg se obţine:

Teorema 16

Următoarele condiţii sunt suficiente pentru ca şirul de variabile aleatoare(Yn) să conveargă ı̂n repartiţie către o variabilă aleatoare N(0, 1):

(a) (Xn) admit dispersii finite şi mărginite şi limn→∞ σ(n) = +∞;(b) variabilele aleatoare (Xn) sunt identic repartizate şi admit dispersii

finite;

(c) (Liapunov) există momentele absolute de ordin 3

ρ3j = M(|Xj − aj |3

)şi limn→∞

ρ(n)σ(n)

= 0, unde ρ3(n) = ∑nj=1 ρ

3j .

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 26 / 28

Teorema limită centrală VI

Observaţia 17

Se poate folosi repartiţia normală pentru a aproxima repartiţii discrete.

1 Dacă X ∈ b(n, p), atunci Y = X−np√npq este asimptotic normalăstandard. Pentru valori mari ale lui n putem scrie

P (a√

npq < X − np < b√npq) ' 1√2π

∫ ba

e−t2

2 dt.

2 Dacă X ∈ Po(λ), atunci Y = X−λλ este asimptotic normală standard.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 27 / 28

Teorema limită centrală VII

Observaţia 18

În practică, repartiţiile binomială şi Poisson se asimilează unei repartiţiinormale reduse ı̂n următoarele condiţii:

1 pentru repartiţia binomială dacă n ≥ 50 şi np ≥ 18 se considerăvariabila aleatoare corectată X+0.5−np√npq care este asimptotic normală

redusă;

2 pentru repartiţia Poisson dacă λ ≥ 18 se ia variabila aleatoarecorectată X+0.5−λλ care este asimptotic normală redusă.

Radu Tr̂ımbiţaş (UBB) Legea numerelor mari şi legi limită Decembrie 2012 28 / 28

Legea numerelor mari si legi limitaConvergenta în probabilitateLegea slaba a numerelor mariConvergenta în repartitieTeorema limita centrala