Meta-analizaOctombrie 2010 – Bogdan GRIGORIU

Scopul prezentariiÎnțelegerea scopului si a principiilor generale

ale acestor tipuri de studiiCapacitatea de a citi si interpreta rezultatele

unei meta-analizeEvaluarea critica a unui astfel de studiu

SavoirSavoir-faireFaire Savoir

ProblemaSpecificul științelor vieții (existenta unei variabilități

inter-individuale uneori f marcata = rezultate «statistice») impune necesitatea repetării «experimentelor» ≠ fizica

In multe situații obținerea unor dovezi clare privind utilitatea sau efectul unui factor/intervenție (in principal terapeutice) este dificila din cauza efectului modest sau existentei altor co-factori

Ideea aflata in spatele diferitelor tipuri de sinteze ale literaturii (si deci a meta-analizei) este de a analiza împreuna rezultatele mai multor proceduri experimentale similare si a formula unele concluzii comune

Tipuri de sinteze

Review

Systematic review

Meta-analiza

=Narative review

Pot fi combinate

Tipuri de sinteze ale literaturii (I)

Sinteza «simpla» = literature review = narative reviewImagine proprie a unui specialist asupra unei

probleme - Fara metoda, subiectiva

Reviewer -ul alege singur literatura considerata relevanta – uneori se rezuma doar la o opinie argumentata

Supusa bias-ului de publicare si citare

Sinteza «simpla »Utila pentru:

Aducerea la zi a unor cunoștințeEventual aprecierea unor dezvoltări posibile

ulterioare («speculatii»)Introducerea unui articol (« background »)

Dezavantaj => Bias = părere proprie (as good as the reviewer)Transmite de fapt un mesaj (argumentat) dorit de

reviewer

Tipuri de sinteze ale literaturii (II)Sinteza exhaustiva = systematic review

O singura întrebare – încearcă sa sintetizeze cunoașterea intr-un domeniu îngust

Afectate de heterogeneitatea epistemologicaIn general narativa – rezultate calitativePoate include o meta-analiazaSursa cea mai « buna » = Cochrane library

Meta-analiza

Ce aduce in plus meta-analizaExhaustiva (cel puțin in partea de căutare a

informațiilor)Selectarea studiilor in favoarea si in defavoarea ipotezei

de studiu

Riguroasa si reproductibilaMetodologie +++ (predefinita)Bazata pe rezultate ce nu au bias (de fapt cat mai redus)

Cuantificabila Luarea in calcul a problemelor statisticeDa o mai buna estimare a efectului

Istoricul meta-analizei

Prima meta-analiza moderna a fost făcuta de Gene Glass in 1976 pentru a dovedi ca afirmația făcuta de Eysenck in anii 50 privind ineficacitatea psihoterapiei este greșita

El analizează rezultatele a 375 de studii de psihoterapiei pentru a putea dovedi eficacitatea acestei metode de tratament

Exista studii anterioare similare începând cu 1904, apoi in anii ‘50 privind combinarea valorilor p ( Cochrane)

Conceptualizare matematica veche 1932 - Fisher 1954 - Cochrane (combinarea valorilor p) 1959 - Mantel et Haenszel

Medline 21 meta-analize in 1986 431 meta-analize in 1991 1 032 meta-analize in 2002

21

431

1032

0

200

400

600

800

1000

1200

1986 1991 1996 2002

Istoricul meta-analizei

Definitie/UtilitateEste o metoda statistica de combinare a rezultatelor

mai multor studii care se adresează unei probleme similare. Ea se realizează prin identificarea unui parametru comun ce definește efectul intervenției.

Rezultatele obținute constituie o estimare mai buna a efectului real decât cele care rezulta din studii unice.

In timp ce studiile «clasice» se concentrează asupra gradului de semnificație a rezultatelor (semnificativ/ non semnificativ) meta-analiza este orientata mai degrabă spre a vedea care este direcția si magnitudinea efectului

Principiile meta-analizeiStudiile « semnificative » adica pozitive nu pun probleme

Trebuie studiata reprezentativitatea esantionuluiAtentie la confounderi !!!!Date usor de « recoltat «  (usor de publicat , des citate)

40 citari/ an / 7 pe an pt non-S

Studiile « non semnificative » pun mai multe problemePot corespunde realitatii = nu exista efect/legaturaPoate fi vorba de lipsa de putere statistica

Esantilon prea micSunt mai dificil de publicat = Bias de publicare

Rezultatele S ET NS pun probleme de interpretare Tentatia este de a amesteca pur si simplu datele

Paradoxul lui Simpson Studiul 1 : risc de 30% in ambele brațe

n ev RiscTrt 1 60 18 18/60 = 0,3 Risc relativ RR=1Trt 2 120 36 36/120 = 0,3 Odss ratio OR=1

Studiul 2 : risc de 70% in ambele brațen ev Risc

Trt1 120 84 84/120=0,7 RR=1Trt 2 60 42 42/60=0,7 OR=1

Total 1+2 n ev Risc

Trt1 180 102 102/180=0,56 RR=0,76Trt 2 180 78 78/180=0,43 OR=0.58

Paradoxul lui Simpson II

18012060Total

5020Pas de complications

1.437040Complications

ORTémoins

CasEtude 1

16050110Total

4080Pas de complications

1.501030Complications

ORTémoins

CasEtude 2

170170Total

90100Pas de complications

0.79

8070Complications

ORTémoins

CasSomme des effectifs

•Amestecarea datelor nu corespunde realității din cauza heterogeneitatii si desechilibrelor aritmetice

Avantajele metanaliazei (I)Sintetizarea unei mase importante de informațieTestare statistica privind factorii «perturbatori» si

mărimea efectului in diverse studii Generalizare mai « buna »

O mai buna estimare a efectului real al intervențieiMai aproape de efectul in practica de zi cu zi

Posibilitatea de a evalua si explica diferența intre studii Realizarea unor analize de subgrupPutere statistica mai ridicata (permite uneori

generarea unei concluzii acolo unde studiile individuale nu au putut transa) Necesitate totuși de a confirma rezultatele printr-un

studiu de mari dimensiuni

Avantaje (II)Reconcilierea rezultatelor discordante Evaluarea comparativa a unui studiu fata de celelalte

(eterogeneitate /analiza sensibilității) Constatarea lipsei de date fiabile si a modului in care

studiile ulterioare ar trebui sa abordeze subiectul Poate uneori răspunde la întrebări care nu au fost

adresate in studiile individualeGăsirea unor elemente care sa explice eterogeneitatea

intre studii Foarte puțin util pentru efectele secundare (cele

rare) !!!!Stabilirea premiselor studiilor de confirmare

Probleme întâlnite in practica, legate de calitatea informației

Existenta unui risc statistic ( , a b) la nivelul fiecărui studiu

Selecția studiilor"Poluarea" data de studiile cu biasBias-ul de publicare

Existenta unui risc statisticAlfa (a)

= sa respingem ipoteza nula atunci când este adevărata = găsirea unei diferențe acolo unde ea nu exista = prin hazard tipic 0,05

Beta (b) Sa acceptam ipoteza nula atunci când ea este falsa = sa nu

găsim o diferența deși ea exista ; variaza de la studiu la studiu (≈0,2)

Cel mai important si pierdut din vedere in studiile clinice = lipsa de «putere statistica»

Interpretare dificila uneori pentru clasificarea ca a sau b!!!!!

Existenta unui risc statistic – exempluAngioplastia in IMA

N Mortalitate grup trat

Mortalitate grup control

p

Studiu 1 56 6.9% 5.2% NS

Studiu 2 100 6.0% 2.0% NS

Studiu 3 395 2.5% 6.5% NS

Studiu 4 52 4.3% 17.2% NS

Studiu 5 103 4.2% 3.5% NS

Studiu 6 301 1.9% 7.3% p<0.05

Interpretare:Negativista: lipsa reala a efectului – risc alfa la studiul pozitivPozitiva: Lipsa de putere statistica (risc beta )

Detecție posibila prin studii de sensibilitate/eterogeneitate

Existenta unui risc statisticDaca tratamentul nu are efect:

din 100 de studii 5 pot fi pozitive !!!! ( a = 0,05)

Daca tratamentul este eficace:Daca facem doar 5 studii atunci șansa (sau riscul)

de a găsi un studiu pozitiv este de 23 %; daca facem 20 studii șansa este de 64 %

p = 1 - (1- )N = 1 - 0.95N cu un de 0,05

Bias-ul de publicare

Meta-analizanegativa

Meta-analizapozitiva !

Studii facute Studii publicateStudii pozitive 5 5Studii negative 95 0

Este necesar sa cautam TOATE studiile realizateStudiile mari sunt mai frecvent publicateStudiile publicate in « limba locala » sunt mai frecvent negative

Bias de publicare (funel plot)

Selectia studiilorHipocolesterolemiantele, Ravnskov, BMJ 1992Numărul de citări/an depinde de rezultatul

studiuluiRezultat negativ (n=10) 7.4Rezultat pozitiv (n=14) 40Rezultat pozitiv, revista prestigioasa (n=8) 61

« Este mult mai interesant sa publici rezultate pozitive » (OR ≈3)

Studiile pozitive au o sansa mai mare de a fi publicate si deci analizate

"Poluarea" data de studiile cu bias paradigma GIGO

Garbage in

Garbage outSinteza

"Poluarea" data de studiile cu biasStudiile proaste fac sinteze proaste ( inclusiv

metaanalize)Existenta unui numar limitat de studii cu bias va

influenta rezultatele unei metatanalize insa exista un efect « tampon » al celorlalte studii.Detectie posibila prin studiul de eterogeneitate

Este necesara selectia TUTUROR studiilor ce indeplinesc un numar MINIM de criterii de calitate

Probleme ale meta-analizeiTipul de intrebare pusa este esentialDe exemplu: Mortalitatea cardiovasculara si

consumul de betacaroten

MA nu este o analiza «comuna» a datelor experimetale !!!!!

Din cauza eterogeneitatii populației incluse in diferitele studii rezultatele nu se pot «adiționa» = Paradoxul lui SimpsonPerele ≠ Mere = rezultate aberante

Paradoxul lui Simpson Studiul 1 : risc de 30% in ambele brațe

n ev RiscTrt 1 60 18 18/60 = 0,3 Risc relativ RR=1Trt 2 120 36 36/120 = 0,3 Odss ratio OR=1

Studiul 2 : risc de 70% in ambele brațen ev Risc

Trt1 120 84 84/120=0,7 RR=1Trt 2 60 42 42/60=0,7 OR=1

Total 1+2 n ev Risc

Trt1 180 102 102/180=0,56 RR=0,76Trt 2 180 78 78/180=0,43 OR=0.58

Ce face meta-analiza ??

Meta-analiza nu aduce împreuna rezultatele de la

diverse serii de pacienți ci combina EFECTUL

INTERVENTIEI la diverse serii de pacienți

Masurarea efectului unei interventiiIndici

Riscul relativOdds ratioDiferența de risc (reducerea riscului)Number needed to treat (NNT)"effect size"

Criteriile binareCele mai utilizate; de obicei frecventa

apariției unui eveniment considerat importantTrue endpointsSurogate endpoints

In grupul control = R0

In grupul tratat = R1

Tabel 2x2 pentru fiecare criteriu

Date necesare

Criteriu1

Criteriu1

Evenimentprezent

Evenimentprezent

Eveniment absent

Eveniment absent

Efectiv total (N)Efectiv

total (N)

GruptratatGruptratat ---- ---- ----

GrupcontrolGrup

control ---- ---- ----

TOTALTOTAL

Riscul RelativRR = RT / RC

Ev. Efectif RiscGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32

RR = 0.25 / 0.32 = 0.79

Reducerea relativa a risculuiRRR = 1 - 0.79 = 21%

Riscul relativ, interpretareRR < 1 (RT < RC)

Reducerea frecventei evenimentuluiefect benefic

RR > 1 (RT > RC)Creșterea frecventei evenimentuluiEfect deleter

RR = 1 (RT = RC)Efect este nul

Odds ratio (raportul de « sanse »)

Ev. Efectif RiscGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32

OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71

Odds ratio este o aproximare a riscului relativ

ORR R

R RT T

C C

/

/

1

1

Relatia intre RR si OR

OR este apropiat de RR doar daca riscul de baza este redus (<0.4)

1.0

0.0

0.2

0.4

0.6

0.8

0.00 0.25 0.50 0.75 1.00Risc in grupul control

Od

ds-

rati

o

RR=0.8

Diferenta de riscDR = RT - RC

Ev. Efectif RiscGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32

DR = 0.25 - 0.32 = -0.07 = -7%

Lipsa efectului DR = 0

Number needed to treat NNT-Numar necesar de tratat

NNT = Numarul de pacienti ce trebuie tratati pentru a evita UN eveniment

NNT = 1 / DR1 / 0.07 = 14

ImportantaSemnificatie clinica

LimitePersonalizare prea mare a beneficiului

Extensie = Number needed to harm (pt efecte secundare)

NNT – erori de interpretareTrebuie tratați 14 pacienți pentru a evita un

eveniment ≠ doar un pacient din 14 beneficiază de tratament

NNT = Valoare medieToți pacienții beneficiază câte puțin de

tratament In medie acest beneficiu este echivalent la un

eveniment evitat pentru NNT pacienți tratați

De ce mai multi descriptori ?RR DR NNT

4S 0.71 3.3% 30WOSCOPS 0.78 0.9% 112ISIS 2 0.77 2.8% 36

R0=50% R1=25% RR=0.5 DR=25%R0=1%R1=0.5% RR=0.5 DR=0.5%R0=10% R1=5% RR=0.5 DR=5%

Relatia intre RR si DR

Beneficiu absolut - relativBeneficiu absolut

Diferenta de risc Utilitate in sanatate publica Consecinta directa a tratamentului

Beneficiu relativRiscul relatif

Explica mai bine efectul si eficacitatea interventiei

Pertinenta clinica

Pertinenta clinica ≠ semnificatia statisticaDepinde de riscul de baza (natural)Importanta intervalului de incredere

RR = 0.70 [0.42; 0.98]RR = 0.70 [0.65; 0.75]

Cum se realizeaza o metaanaliza

Tipuri de meta-analizeIn privința tipului de studiuAnaliza efectului unei intervenții (« tratament »)Studiul unui factor de riscMeta-analize diagnostice

In funcție de datele utilizateMeta-analize ce includ rezultatele de la studiile

individualeMeta-analiza ce folosește datele originale de la

fiecare pacientAmbele tipuri de date (« meta-analize ierarhice)Meta-analize prospective

Cum facem o sinteza a literaturii ?Definirea problemeiIdentificarea si selectarea studiilor Analiza critica a studiilor

CalitateFactori perturbatoriRezultate Generalizabilitate

Colectarea informațiilorAnaliza si prezentarea rezultatelor

Structura “clasica” : background, obiective, metode, rezultate, discuții si concluzii

Interpretarea rezultatelorImbunatatirea si aducerea la zi a sintezeiPentru meta-analiza = selectarea parametrului prin care se

masoara efectul intervenției

Este meta-analiza « arma finala » ?

NICIODATACalitatea datelor introduse este esentiala (GIGO)

Bias-uri (selecție, experimentare/interpretare, publicare)Condițiile in care sunt realizate studiile si « întrebarea »

pusa in fiecare studiu esențialaNecesitatea de confirma metaanaliza printr-un studiu de

mari dimensiuni

MetodologieScop: Evitarea bias-urilorDefinirea unui proptocol

A priori (inainte de obtinerea datelor)Evita alegerile «  arbitrare » dictate de

rezultateDoua elemente imortante

Selectia exahaustiva a datelor din literatura (inclusiv cele nepublicate)

Selectia riguroasa a studiilor si clasificarea lor in functie de calitatea lor

Eroare aleatorie: redusa prin numarul de studii

Bias, eroare sistematica depinde de calitatea studiilor redus aprin rigoarea metodologica a MA

Efectul Estimat prin MA

=Efect real al interventiei

+Eroare

aleatorie+ Bias

Cum estimam efectul unei interventii ?

49

Modele matematiceFixed effect model – toate studiile provin din

aceeasi distributie statistica ( adica diferentele dintre ele sunt datorate hazardului – intervalul de incredere mai ingust

Random efect model – studiile provind din distributii statistice diferite – interval de incredere mai larg

Rezultatele statisticeEfectul comun al tratamentului

Media ponderata de inversul variantei Cu cat un studiu este mai precis cu atât

contribuția lui este mai mareCalculul intervalului de încredere

Daca un studiu este preponderent (ca efect) el poate masca celelalte studii = testarea « sensibilitații »

Testarea omogeneității (test de eterogeneitate)

Prezentarea rezultatelor - Forest plot

OR0 0.5 1 1.5 2

Studiu 1

Studiu 2

Studiu 3

Studiu 4

Studiu 5

Global

Omogenitate – EterogenitateOmogenitate

exista o parte fixa comunaEterogenitate

Cel putin un studiu nu are o parte fixa comuna cu cellelalte studii

Testele de eterogenitate este are o « putere » redusa (beta +++) (Q-Cochrane, Altman etc)

Daca testul este pozitiv tehnicile « simple » (fixed effect model) nu pot fi aplicate

Eterogenitate – omogenitate reprezentare grafica

0 0.5 1 1.5 2

Studiu 1Studiu 2Studiu 3Studiu 4Global

Originea eterogenieitatiiEterogenieitate empirica - este rezultatul

caracteristicilor diverse ale studiilor individuale

pacientitratamentDaca este prea mare meta-analiza nu are rost.

Eterogeneitate statistica Dimensunea efectului obtinut variaza mult de

la un studiu la altul

Rolul eterogeneitatiiNegativ

Impune un model matematic mai complexIpoteza distributiei gausiene a eterogeneitatii +/-

Rol informativCautarea surselor ce o genereaza in functie de

caracteristicile fiecarui studiu

Meta-analiza non semnificativaProbleme identice a studiilor negative (non

semnificative)

Calculul puterii à posteriori

Rezultatnon

semnificativ

Rezultatnon

semnificativ

Absenta effetuluiAbsenta effetului

Lipsa de puteresttatistica

Lipsa de puteresttatistica

?

Meta-analiza non semnificativaAnaliza intervalului de incredere

pertinenta clinica ?RR = 0.98 [0.96; 1.02]RR = 0.98 [0.45; 1.60]

0 0.5 1 1.5 2

NS

P<0.05

RR

Lectura critica

UtilitateSintetizarea unei mase importante de informațieTestare privind factorii si mărimea REALA al efectului

in diverse studii Generalizare mai « buna »

O mai buna estimare a efectului real al intervențieiMai aproape de efectul in practica de zi cu zi

Posibilitatea de a evalua si explica diferența intre studii Realizarea unor analize de subgrupPutere statistica mai ridicata (permite generarea unei

concluzii acolo unde studiile individuale nu au putut transa) Necesitate de a confirma rezultatele printr-un studiu de

mari dimensiuni

Reconcilierea rezultatelor discordante Evaluarea comparativa a unui studiu fata de celelalte

(eterogeneitate /analiza sensibilității) Constatarea lipsei de date fiabile si a modului in care

studiile ulterioare ar trebui sa abordeze subiectul Poate uneori răspunde la întrebări care nu au fost

adresate in studiile individualeGăsirea unor elemente care sa explice eterogeneitatea

intre studii Foarte puțin util pentru efectele secundare (cele

rare) !!!!Stabilirea premiselor studiilor de confirmare

Evaluarea unei meta-analizeEste bine definita întrebarea ?

Întrebare clara care sa justifice FIECARE studiu inclus in meta-analiza

Criteriiile de selectie a studiilor sunt pertinente ?Endpoint-ul evaluat de fiecare studiu; trebuie sa fie același

Strategia de culegere a datelor a fost exhaustiva si eficienta ?Bazele de date internaționale fie generale: MEDLINE, EMBASE,

BIOSIS, PASCAL… sau specifice: PsyLit, CancerLitReferințele articolelor deja publicate Baza de date CochraneRegistrele de studii cliniceRezumatele la congreseInterogarea liderilor de opinie Industria farmaceutica (data on file)Căutare manuala in revistele importante (greșeli de indexare ++)Succesul se definește prin numărul de studii nepublicate gasite

Evaluarea unei meta-analize (II)Calitatea metodologica a studiilor a fost evaluata ? Se evalueaza

RandomizareaControlul factorilor perturbatori (confounders)Absenta cazurilor pierdute din vedereAnaliza in « intentie de a trata »

Rol:Eliminarea studiilor care nu pot raspunde la

intrebarea pusa Eliminarea studiilor cu bias important Eliminarea publicatiiilor multiple

Se face o lista cu studiile excluse si cauza excluderii

Evaluarea unei meta-analize (III)3 categorii de calitate

Bune ð includeremedii ð analiza de sensibilitateInaceptabile ð excludere

Analiza statistica a fost facuta corect ? trei pasiEvaluarea efectului comunTest de asociere statisticaAnaliza de sensibilitate si testele de heterogeneitate

S-a realizat analiza de sensibilitate ?Primul pas : BuneAl doilea pas: bune + mediiCompararea rezultatelorExista studii « preponderente » care dau «singure » un

rezultat pozitiv ?

Evaluarea unei meta-analize (IV)Concluziile sunt in concordanta cu

rezultatele ?Recomandarile facute sunt in concordanta cu

rezultatele ?Care este pertinenta reprezentativitatea

rezultatelorInterventiile sunt ele inca utilizatereprezinta ele tratamentul standard ?

Care este pertinenta criteriilor de eficienta ?Sunt ele reprezentative clinicSunt criterii intermediare (surogate endpoints) ?

Evaluarea unei meta-analize (V)Parametrul cel mai util este folosit

Daca se folosește OR atunci riscul de baza este suficient de mic ?

Care este gradul de precizie al estimării efectuluiCare este intervalul de încredere ?

Magnitudinea efectului estimat este ea pertinenta clinic ?