principii s i implementare constantin manuel...

MODELE IERARHICE LINIARE

Principii s, i Implementare

Constantin Manuel Bosancianu

S, coala Doctorala de S, tiint,e Politice, Politici Publice s, i Relat,ii Internat,ionaleCentral European University

Metode Aplicate de Cercetare SocialaCluj-Napoca, România: 24 Iulie, 2014

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 1 / 81

Introducere

Întrebari

I De ce e nevoie de modele ierarhice?

I Care sunt asumpt, iile metodei?

I Cum reprezentam un model ierarhic (notat, ie)?

I Cum implementam un model ierarhic în R?

I Cum interpretam un model ierarhic?

I Cum prezentam grafic rezultatele unui astfel de model?

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 2 / 81

Introducere

Prezentatorul...

I Student (înca!) interesat de comportament electoral s, i deefectele politice ale inegalitat, ii de venit;

I Ocazional asistent de predare la s, colile de metodologie aleECPR;

I Experient, a (înca prea put, ina!) în metode cantitative decercetare s, i vizualizarea datelor;

I Absolvent al FSPAC (2008).

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 3 / 81

Iar voi?

Introducere

Exemplele practice

Codul R s, i baza de date: https://manuelbosancianu.github.io/workshops/2014-07-Cluj

R este disponibil pentru toate platformele s, i extrem de puternicpentru a rula modele ierarhice liniare

Voi analiza determinant, ii satisfact, iei privind democrat, ia, cudate ESS 2012 (European Social Survey)

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 5 / 81

Recapitulare

Regresia OLS Notat,ie

Forma de baza

Orice regresie OLS poate fi scrisa sub urmatoarea notat, ie

Yi = β0 + β1X1 + β2X2 + · · ·+ βkXk + εi , ε ∼ N (0, σ2) (1)

unde k este numarul de predictori din model, β0 reprezintaconstanta ecuat, iei, iar β1, . . . , βk sunt parametrii estimat, i.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 7 / 81

Regresia OLS Notat,ie

Forma de baza

În forma matriceala, ecuat, ia 1 poate fi rescrisa

Y1Y2......Yn

n×1

=

1 X11 X21 · · · Xk11 X12 X22 · · · Xk2...

...... · · ·

......

...... · · ·

...1 X1n X2n · · · Xkn

n×k

×

β0β1......

βk

(k+1)×1

+

ε1ε2......

εn

n×1

(2)

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 8 / 81

Regresia OLS Notat,ie

Asumpt, ii Gauss-Markov

Pe lânga cele de rutina (forma liniara a relat, iilor, specificat, iecompleta a modelului, lipsa colinearitat, ii, lipsa erorilor demasurare, media deviat, iilor este 0, variant,a deviat, iilor esteconstanta)1, urmatoarea este importanta aici:

COV (εi , εj ) = 0, ∀ i 6= j (3)

1Nu sunt asumpt, ii, dar trebuie verificate: lipsa cazurilor deviante,predictori distribuit, i normal.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 9 / 81

Regresia OLS Autocorelat,ie

Autocorelat, ie

Ecuat, ia 3 se refera la asumpt, ia (lipsei) de autocorelat, ie.

În multe cazuri aceasta asumpt, ie este respectata: e. g.es, antionul WVS din România din 2012 (es, antionare stratificataîn doua stadii).

⇓

Regresia OLS va produce coeficient, i precis, i (unbiased) cu eroristandard corecte.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 10 / 81

Regresia OLS Autocorelat,ie

Autocorelat, ie

În multe cazuri, însa, exista suficiente motive sa credem caasumpt, ia nu mai este respectata:

I Factorii care influent,eaza performant,a s, colara: elevi,grupat, i în clase, grupate în s, coli;

I Factorii care influent,eaza productivitatea muncitorilor IT:muncitori, grupat, i în departamente, grupate în companii;

I Predictorii lungimii perioadei de recuperare dupa unaccident: pacient, i, grupat, i în spitale.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 11 / 81

Regresia OLS Autocorelat,ie

Autocorelat, ie

Consecint,e: erori standard imprecise (biased) care duc la risccrescut de producere a unei erori de tip I.

t = β−µSE . De vreme ce erorile standard vor fi mai mici decât

trebuie, valorile t vor fi mai mari, facând mai probabila gasireaunui efect semnificativ statistic.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 12 / 81

Regresia OLS Solut,ii pentru problema

Variabile discriminante (dummy)

Adaugam m− 1 variabile discriminante la ecuat, ia 1, unde meste numarul de grupuri (clase, s, coli, firme, spitale, t, ari) dines, antion:

Yi = β0 + β1X1 + β2X2 + · · ·+ βkXk+

+ βk+1D1 + βk+2D2 + · · ·+ βk+m−1Dm−1 + εi(4)

De ce includem doar m− 1 variabile discriminante?

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 13 / 81

Regresia OLS Solut,ii pentru problema

Beneficii ale variabilelor discriminante

1. Estimarea este foarte eficienta computat, ional, deoarececontinuam sa folosim OLS;

2. Procedura intuitiva s, i simplu de explicat cititorilor.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 14 / 81

Regresia OLS Solut,ii pentru problema

Dezavantaje ale variabilelor discriminante

1. Nu putem adauga variabile masurate la nivel de grup;2

2. Pierdem grade de libertate (degrees of freedom);

3. Facem o asumpt, ie puternica: relat, ia dintre VI s, i VD esteidentica în fiecare context, cu except, ia constantei.3

2Observam ca grupurile sunt diferite, însa nu s, tim de ce.3Problema poate fi rezolvata prin includerea unor interact, iuni.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 15 / 81

X

Y

Variabile discriminante pentru fiecare group

Regresia OLS Solut,ii pentru problema

Estimatorul Huber–White

Numit s, i estimator sandwich – aplica o corect, ie erorilor standard(Huber, 1967; White, 1980).

Testele de semnificat, ie devin din nou precise.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 17 / 81

Regresia OLS Solut,ii pentru problema

Avantaje ale estimatorului sandwich

1. Estimare eficienta (OLS);

2. Procedura acceptata în disciplina s, i relativ us, or de explicat.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 18 / 81

Regresia OLS Solut,ii pentru problema

Probleme cu estimatorul sandwich

1. Nu permite includerea variabilelor masurate la nivel degrup;

2. Erorile corelate indica o posibila specificat, ie incorecta aecuat, iei, ceea ce face corect, ia estimatorului sandwichirelevanta (Freedman, 2006).

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 19 / 81

Modele ierarhice

Modele ierarhice liniare Avantaje

Avantaje

I Rezolva problema autocorelat, iei prin teorie, iar nu printr-ocorect, ie post-hoc;

I Constante diferite pot fi estimate (ca în cazul variabilelordiscriminante);

I Pante diferite pot fi estimate;

I Permit includerea predictorilor la nivel de grup (e.g., t,ara);

I Extrem de flexibile la diverse situat, ii.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 21 / 81

Modele ierarhice liniare Avantaje

Dezavantaje

I Mult mai complexe din punct de vedere matematic;

I Solicitante din punct de vedere computat, ional;

I Complexe s, i din punct de vedere teoretic.4

4Putem considera asta s, i un avantaj.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 22 / 81

Modele ierarhice liniare Notat,ie

Terminologie

Diverse niveluri de analiza: 2, (mai rar) 3, sau chiar 4.

Nivelul 1: student, i, alegatori, clase, companii;

Nivelul 2: clase, t, ari, s, coli, regiuni;

Nivelul 3: s, coli, –, districte s, colare, t, ari.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 23 / 81

Arad

S1

E1 E2

S2

E3

S3

E4 E5 E6

Cluj

S4

E7

S5

E8 E9

N3:

N2:

N1:

Elevi, grupat, i în s, coli, grupate în judet,e

Modele ierarhice liniare Notat,ie

Nivelul 1

Sa presupunem o situat, ie similara ESS: i indivizi 1, 2, . . . , I, caresunt grupat, i în j t, ari 1, 2, . . . , J.

Yi j = β0j + β1jX1j + β2jX2j + · · ·+ βkjXkj + εi j , ε ∼ N (0, σ2) (5)

Similara cu ecuat, ia 1 cu except, ia indicatorilor j .

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 25 / 81

Modele ierarhice liniare Notat,ie

Nivelul 1

Implicat, ii majore: coeficient, ii variaza de la t,ara la t,ara!

O constrângere a modelelor ierarhice este ca aces, ti coeficient, isunt distribuit, i normal.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 26 / 81

X

Y

β0 + β1X1 + · · ·+ βkXk + βk+1D1+ . . .

X

Y

β0 + β1jX1j + β2jX2j + · · ·+ βkjXkj

X

Y

β0j + β1jX1j + β2jX2j + · · ·+ βkjXkj

Întrebari?

Modele ierarhice liniare Notat,ie

Nivelul 2

Începem cu constanta:

β0j = γ00︸︷︷︸Medie

+ u0j︸︷︷︸Reziduu

(6)

Un pic diferit fat, a de ecuat, ia 4. Nu mai estimam m− 1parametri suplimentari, ci doar 2: o medie s, i o variant, a a γ00.

⇓

Distribut, ie normala a constantelor!

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 31 / 81

Modele ierarhice liniare Notat,ie

Nivelul 2

Continuam cu coeficient, ii:{β1j = γ10 + γ11Zj + u1j

β2j = γ20 + γ21Zj + u2j(7)

Zj poate diferi între ecuat, ii. Practic, o variabila masurata lanivelul 2 (e.g. PIB/capita) explica efectul5 unei variabile de lanivelul 1.

5Cel mai corect: variant,a efectului.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 32 / 81

Modele ierarhice liniare Notat,ie

Doua niveluri

Împreuna, avem6:

Yi = β0j + β1jX1j + β2jX2j + εij (8)β0j = γ00 + u0j

β1j = γ10 + γ11Zj + u1j

β2j = γ20 + γ21Zj + u2j

(9)

6Pastram doar 2 predictori la nivelul 1. Puteam avea, daca doream, unpredictor s, i pentru constanta de la nivelul 1.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 33 / 81

Modele ierarhice liniare Notat,ie

Forma desfas, urata

Yij = γ00 + u0j + (γ10 + γ11Zj + u1j )X1j + (γ20 + γ21Zj + u2j )X2j + rij

= γ00 + γ10X1j + γ20X2j + γ11ZjX1j + γ21ZjX2j︸ ︷︷ ︸Efecte fixe

+ u1jX1j + u2jX2j + rij + u0j︸ ︷︷ ︸Efecte aleatorii

Multe programe statistice cer aceasta forma (e.g. R, Stata, SPSS).

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 34 / 81

Modele ierarhice liniare Interpretare

Interpretare

Efecte fixe (fixed) – similare coeficient, ilor din regresia OLS.

γ20 = schimbarea observata în Yij atunci când X2j cres, te cu ounitate.

γ11 = schimbarea observata în efectul lui X1j atunci când Zj

cres, te cu o unitate.7

7În modele ierarhice, ea se numes, te “interact, iune inter-nivel” (cross-level).Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 35 / 81

Modele ierarhice liniare Interpretare

Interpretare

Efecte aleatorii (random) – practic, nu sunt efecte, ci variant,e aleefectelor fixe.

Efecte aleatorii + fixe = efecte mixte.8

8Modelele ierarhice se mai numesc s, i modele multinivel, modele cucoeficient, i aleatorii, modele mixte.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 36 / 81

Respiro empiric

Analize aplicate Regresie OLS

Analiza

Vom analiza predictorii satisfact, iei privind democrat, ia, folosinddatele ESS 2012.

Codul R s, i baza de date: https://manuelbosancianu.github.io/workshops/2014-07-Cluj

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 38 / 81

BulgariaKosovo

SloveniaRusia

PortugaliaSpania

SlovaciaCipru

EstoniaPolonia

Republica CehaIrlanda

Marea BritanieIslandaBelgiaIsrael

GermaniaOlanda

FinlandaSuedia

NorvegiaDanemarca

Elvetia

0 2 4 6 8 10

Satisfactie privind democratia

E. Vest

E. Centru−Est

Analize aplicate Regresie OLS

Modele OLSDanemarca Belgia Elvet,ia Estonia Slovacia Grecia

(Constanta) 4.06∗∗∗ 2.95∗∗∗ 6.50∗∗∗ 3.11∗∗∗ 3.48∗∗∗ 3.11∗∗∗

(0.30) (0.28) (0.26) (0.32) (0.47) (0.41)Vârsta (decenii) 0.03 0.04 −0.06∗ −0.04 0.02 −0.02

(0.03) (0.03) (0.03) (0.03) (0.05) (0.04)Barbat 0.19 0.17 0.24∗ −0.07 0.15 −0.02

(0.10) (0.09) (0.09) (0.11) (0.14) (0.12)Ani educat,ie 0.03∗∗ 0.08∗∗∗ −0.01 0.01 −0.03 −0.01

(0.01) (0.01) (0.01) (0.02) (0.03) (0.02)Venit (gospodarie) 0.02 0.03 0.03 0.09∗∗∗ 0.05 0.13∗∗∗

(0.02) (0.02) (0.02) (0.02) (0.03) (0.03)Religiozitate 0.02 0.09∗∗∗ 0.03∗ −0.05∗∗ 0.06∗∗ 0.06∗

(0.02) (0.01) (0.02) (0.02) (0.02) (0.02)Încredere 0.34∗∗∗ 0.20∗∗∗ 0.15∗∗∗ 0.29∗∗∗ 0.25∗∗∗ 0.25∗∗∗

(0.03) (0.02) (0.02) (0.02) (0.03) (0.03)

R2 0.12 0.11 0.06 0.11 0.07 0.10Adj. R2 0.12 0.10 0.05 0.11 0.07 0.09Num. obs. 1340 1633 1184 1813 1204 1356∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 40 / 81

Analize aplicate Regresie OLS

Modele OLS

Observam ca exista diferent,e între coeficient, ii obt, inut, i pees, antioane diferite, e.g. venit.

Sunt aceste diferent,e sistematice, i.e. explicate de o variabila lanivel de t,ara?

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 41 / 81

Analize aplicate Regresie OLS

Modele OLS – variabile discriminanteT, ara Coef. SE T, ara Coef. SE

(Constanta) 1.708 0.083 Polonia 1.43 0.077Vârsta (decenii) 0.002 0.007 Republica Ceha 1.686 0.078Barbat 0.116 0.024 Irlanda 1.928 0.072Educat,ie (ani) 0.002 0.003 Marea Britanie 2.037 0.073Venit (gospodarie) 0.068 0.005 Islanda 1.976 0.103Religiozitate 0.066 0.004 Belgia 2.291 0.073Încredere 0.216 0.005 Israel 2.325 0.074Kosovo 0.168 0.084 Germania 2.518 0.067Slovenia 0.24 0.087 Olanda 2.514 0.075Rusia 0.476 0.072 Finlanda 2.947 0.071Portugalia 0.905 0.086 Suedia 3.274 0.075Spania 0.525 0.076 Norvegia 3.413 0.077Slovacia 1.52 0.079 Danemarca 3.413 0.079Cipru 1.644 0.089 Elvet,ia 3.694 0.081Estonia 1.329 0.072

Categoria de referint, a: Bulgaria

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 42 / 81

Analize aplicate Regresie OLS

Modele OLS – corect, ie pentru SE

Variabila Fara corect, ie Corect, ie

(Constanta) 34.21 34.03Barbat 3.11 3.08Vârsta (decenii) 7.29 7.27Educat, ie (ani) 6.84 6.73Venit (gospodarie) 16.49 16.39Religiozitate 9.64 9.19Încredere 64.58 59.12

Comparat, ie modele cu/fara corect, ia Huber–White; sunt prezentatedoar valorile t.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 43 / 81

Analize aplicate Modele ierarhice

Modelul “nul”

Fara predictori, doar pentru a testa variabilitatea constantei.

{Yij = β0j + εij

β0j = γ00 + u0j(10)

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 44 / 81

Analize aplicate Modele ierarhice

Modele ierarhice

Model 1

(Constanta) 5.34∗∗∗

(0.27)

AIC 189716.72BIC 189742.71Log Likelihood −94855.36Deviant, a 189710.72Num. obs. 42685Num. grupuri: T, ara 23Variant, a: T, ara (Constanta) 1.72Variant, a: Reziduala 4.97∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 45 / 81

BelgiaBulgaria

CipruDanemarca

ElvetiaEstonia

FinlandaGermaniaIrlandaIslandaIsraelKosovo

Marea BritanieNorvegia

OlandaPolonia

PortugaliaRepublica Ceha

RusiaSlovaciaSlovenia

SpaniaSuedia

3 4 5 6 7

Variabilitatea constantei

OLS MLM

Vârsta (decenii) 0.02∗∗ 0.00(0.01) (0.01)

Barbat 0.19∗∗∗ 0.12∗∗∗

(0.03) (0.02)Ani educat,ie 0.03∗∗∗ 0.00

(0.00) (0.00)Venit (gospodarie) 0.08∗∗∗ 0.07∗∗∗

(0.01) (0.00)Religiozitate 0.04∗∗∗ 0.07∗∗∗

(0.00) (0.00)Încredere 0.35∗∗∗ 0.22∗∗∗

(0.01) (0.01)

R2 0.14Adj. R2 0.14Num. obs. 33174 33174AIC 144357.31BIC 144433.00Log Likelihood −72169.66Deviant, a 144339.31Num. grupuri: T, ara 23Variant, a: T, ara (Constanta) 1.22Variant, a: Reziduala 4.52∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Model 1 Model 2 Model 3

Venit (gospodarie) 0.07∗∗∗ 0.07∗∗∗ 0.06∗∗∗

(0.00) (0.00) (0.01)Religiozitate 0.07∗∗∗ 0.07∗∗∗ 0.07∗∗∗

(0.00) (0.00) (0.00)Încredere 0.22∗∗∗ 0.22∗∗∗ 0.22∗∗∗

(0.01) (0.01) (0.01)Inegalitate −0.12∗∗ −0.09∗ −0.06

(0.04) (0.04) (0.04)Postcomunism −1.19∗∗ −1.30∗∗∗

(0.37) (0.37)

AIC 131892.63 131886.22 131777.60BIC 131975.90 131977.82 131885.85Log Likelihood −65936.31 −65932.11 −65875.80Deviant, a 131872.63 131864.22 131751.60Num. obs. 30556 30556 30556Num. grupuri: T, ara 21 21 21Variant, a: T, ara (Constanta) 0.90 0.60 0.59Variant, a: T, ara Venit 0.00Variant, a: Reziduala 4.36 4.36 4.34∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Model 3 – doua efecte aleatorii

BelgiaBulgaria

CipruDanemarca

ElvetiaEstonia

FinlandaGermaniaIrlandaIslanda

Marea BritanieNorvegia

OlandaPolonia

PortugaliaRepublica Ceha

RusiaSlovaciaSlovenia

SpaniaSuedia

−0.1 0.0 0.1 0.2

Variabilitatea efectului venitului

Analize aplicate Modele ierarhice

Ultimul model

Interact, iune inter-nivel:β0j = γ00 + γ01 ∗ Postcomunism+ γ02 ∗ Inegalitate + u0j...β5j = γ50 + γ51 ∗ Inegalitate + u5j

(11)

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 50 / 81

Interactiune

Venit (gospodarie) 0.06∗∗∗

(0.01)Religiozitate 0.07∗∗∗

(0.00)Încredere 0.22∗∗∗

(0.01)Inegalitate −0.09∗

(0.04)Postcomunism −1.29∗∗∗

(0.38)Venit * Inegalitate −0.01∗

(0.00)

AIC 131785.75BIC 131902.33Log Likelihood −65878.88Deviant, a 131757.75Num. obs. 30556Num. grupuri: T, ara 21Variant, a: T, ara (Constanta) 0.67Variant, a: T, ara Venit 0.00Variant, a: Reziduala 4.34∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Interact, iune venit s, i inegalitate

−0.05

0.00

0.05

0.10

0.15

Mica Medie Mare

Inegalitatea de venit

Efe

ctu

l ve

nitu

lui

Înapoi la teorie ...

Decizia ICC

Când folosim HLM?

Cum luam decizia de a folosi un model ierarhic?

1. Teoretic: un argument în favoarea variabilitat, ii variabileidependente, sau un grafic precum cel prezentat anterior;

2. Statistic: o masura simpla a variabilitat, ii la cele 2 niveluri.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 54 / 81

Decizia ICC

ICC

Intraclass Correlation Coefficient (ICC) ≈ “coeficient decorelat, ie intra-grup”.

Cunoscut s, i ca Variance Partitioning Coefficient (VPC) ≈“coeficient de partit, ionare a variant,ei”.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 55 / 81

Decizia ICC

ICC

Pornim de la modelul nul:{Yij = β0j + εij

β0j = γ00 + u0j(12)

Daca var(u0j ) = τ20 iar var(rij ) = σ2...

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 56 / 81

Decizia ICC

ICC

ICC =τ20

τ20 + σ2 (13)

Proport, ia de variant, a de la nivelul 2 din variant,a totala aconstantelor.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 57 / 81

Decizia ICC

ICC

De fapt, o corelat, ie între 2 doua observat, ii din cadrul aceluias, igrup.

Cu cât e mai mare, cu atât mai bine: observat, iile din acelas, igrup sunt mai similare, iar grupurile sunt mai diferite între ele.

Prag ≈ 0.10 sau 0.15.9

9Modelul nostru are ICC ≈ 0.25.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 58 / 81

Indici de potrivire Indici

Indici

Echivalent funct, ional cu R2 din regresia OLS, des, i nu pot fiinterpretat, i în acelas, i fel

Produs, i de estimarea ML (maximum likelihood)10

10Traducere aproximativa: “verosimilitate maxima”.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 59 / 81

Indici de potrivire Indici

Indici

4 (practic, 3 important, i) indici: logLikelihood11, deviant,a, AIC,s, i BIC.

11Traducere aproximativa: “logaritmul verosimilitat, ii”.Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 60 / 81

Indici de potrivire logLikelihood

logLikelihood

Probabilitatea ca datele sa fi fost generate de parametrii estimat, ide model ∈ (0, 1].

Logaritmul acestei cantitat, i ∈ (−∞, 0].

Valori mai mari (apropiate de 0) denota o potrivire mai buna.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 61 / 81

Indici de potrivire logLikelihood

logLikelihood

Indice Model 1 Model 2 Model 3 Interact, iune

logLik -65936.31 -65932.11 -65875.8 -65878.88

Nu t, ine cont de complexitatea modelului!

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 62 / 81

Indici de potrivire Deviant,a

Deviant, a

Calculata cu formula −2 ∗ logLik .

Este un indice de nepotrivire: −2 ∗ logLik ∈ [0,∞).

Indice folosit pentru compararea modelelor12:Dev1 −Dev2 ∼ χ2.

12Cu grade de libertate = diferent,a dintre parametrii estimat, i de cele 2modele.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 63 / 81

Indici de potrivire Deviant,a

Deviant, a

Indice Model 1 Model 2 Model 3 Interact, iune

Deviant, a 131872.63 131864.22 131751.6 131757.75

Nu t, ine cont de complexitatea modelului!

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 64 / 81

Indici de potrivire AIC s, i BIC

AIC

Criteriul Informat, ional Akaike (Akaike Information Criterion).

AIC = −2 ∗ logLik + 2k , unde k este numarul de parametriestimat, i.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 65 / 81

Indici de potrivire AIC s, i BIC

AIC

Indice Model 1 Model 2 Model 3 Interact, iune

AIC 131892.63 131886.22 131777.6 131785.75

T, ine cont de complexitatea modelului!

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 66 / 81

Indici de potrivire AIC s, i BIC

BIC

Criteriul Informat, ional Bayesian (Bayesian Information Criterion).

BIC = −2 ∗ logLik + k ∗ ln(N), unde k este numarul deparametri estimat, i iar N este dimensiunea es, antionului.

Teoretic, poate fi folosit pentru compararea modelelor estimatepe es, antioane de marimi diferite.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 67 / 81

Indici de potrivire AIC s, i BIC

BIC

Indice Model 1 Model 2 Model 3 Interact, iune

BIC 131975.9 131977.82 131885.85 131902.33

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 68 / 81

Indici de potrivire AIC s, i BIC

Informat, ii suplimentare

O a cincea masura, numita R2 – vezi Snijders and Bosker (2011).

O sursa foarte buna s, i accesibila este Luke (2004).

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 69 / 81

Metode de estimare ML

Maximum Likelihood

2 varietat, i: FIML (full information ML) s, i REML (restricted ML).

FIML este mai folosita deoarece calculele sunt mai us, oare.13

În cele mai multe situat, ii, rezultatele sunt identice.

13Vezi Hox (2010, pp. 40–41) pentru situat, iile în care ar trebui folositefiecare.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 70 / 81

Metode de estimare GLS

Generalized Least Squares

“Metoda generalizata a patratelor celor mai mici”.

O ponderare este aplicata datelor, pentru a corecta problemaautocorelat, iei.

Nu este iterativa, precum ML, deci este mult mai rapida!

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 71 / 81

Metode de estimare GLS

Generalized Least Squares

Rezultatele obt, inute de catre ML s, i GLS tind sa fie similare pemasura ce es, antionul cres, te spre infinit.

Cu toate acestea, GLS tinde sa ofere erori standard put, in maiimprecise decât ML.14

14Trade-off: viteza sau precizie?Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 72 / 81

Dimensiunea es,antioanelor Nivelul 1

Nivelul 1

Modelele ierarhice sunt foarte puternice: estimarea decurge OKchiar s, i cu grupuri de dimensiuni inegale.

Ponderare a estimanzilor: βtotal , βgrupuri – ponderile sunt inversagradului de precizie a estimanzilor.15

5–10 observat, ii sunt acceptabile atât timp cât alte grupuri cont, inmai multe.

15Mai multe detalii în Steenbergen and Jones (2002).Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 73 / 81

Dimensiunea es,antioanelor Nivelul 2

Nivelul 2

Sursa celor mai multe probleme!

Cât de mare se poate, iar niciodata mai put, in de 15–20 degrupuri.

Afecteaza analizele de comportament politic, unde nu avemfoarte multe t, ari.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 74 / 81

3 niveluri

3 niveluri

Aceleas, i principii, des, i estimarea devine complexa.

Efecte aleatorii la diferite niveluri, plus 3 tipuri de interact, iuniinter-nivel posibile: 3–2, 3–1, 2–1.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 75 / 81

Finalul

DV: participare la vot

Vârsta (decenii) 0.33∗∗∗

(0.01)Ani educat,ie 0.09∗∗∗

(0.00)Venit (gospodarie) 0.12∗∗∗

(0.01)Religiozitate 0.03∗∗∗

(0.01)Inegalitate −0.05∗

(0.02)Postcomunism −0.63∗∗

(0.21)

AIC 28050.73BIC 28117.18Log Likelihood −14017.37Deviant, a 28034.73Num. obs. 29919Num. grupuri: T, ara 21Variant, a: T, ara (Constanta) 0.19Variant, a: Reziduala 1.00∗∗∗p < 0.001, ∗∗p < 0.01, ∗p < 0.05

Model ierarhic logistic

Încheiere Inter-clasificare

Inter-clasificare

Reforma în sanatate – unde trebuie alocat, i cu prioritate bani:spitale sau medici de familie?

Nu exista o ierarhie clara: medici trimit pacient, i la mai multespitale.

Alte exemple posibile: elevi care trec din clasa a 8-a într-a 9-a.

Manuel Bosancianu (CEU) Modele Ierarhice Liniare FSPAC 24.07.2104 78 / 81

Liceu 1

S1

Liceu 2

S2 S3 S4

E1 E2 E3 E4 E5 E6

N3:

N2:

N1:

E1E2

E4 E5 E6

Elevi, grupat, i în s, coli...

Mult,umesc pentru atent, ie!

Referint,eFreedman, D. A. (2006). On The So-Called “Huber Sandwich Estimator” and

“Robust Standard Errors”. The American Statistician, 60(4), 299–302.Hox, J. J. (2010). Multilevel Analysis: Techniques and Applications. New York:

Routledge.Huber, P. J. (1967). The Behavior of Maximum Likelihood Estimates Under

Nonstandard Conditions. In Proceedings of the Fifth Berkeley Symposiumon Mathematical Statistics and Probability, Vol. I (pp. 221–233). Berkeley,CA: University of California Press.

Luke, D. A. (2004). Multilevel Modeling. Thousand Oaks, CA: SagePublications.

Snijders, T. A. B., & Bosker, R. J. (2011). Multilevel Analysis: An Introduction toBasic and Advanced Multilevel Modeling. Thousand Oaks, CA: SagePublications.

Steenbergen, M. R., & Jones, B. S. (2002). Modeling Multilevel DataStructures. American Journal of Political Science, 46(1), 218–237.

White, H. (1980). A Heteroskedasticity–Consistent Covariance MatrixEstimator and a Direct Test for Heteroskedasticity. Econometrica, 48(4),817–838.