EVALUAREA PERFORMANTELOR TESTELOR

Prof. dr. Doina Azoicai

Definitii utile

TEST : termenul care exprima procedeele de culegere a datelor (chestionare, gesturi clinice, examene complementare) privitoare la starea indivizilor

TEST DIAGNOSTIC: demonstrarea existenţei stării de boală sau demonstrarea abaterii de la normalitate (test diagnostic)

TEST DE DEPISTARE : identificarea într-o populaţie aparent sănătoasă a persoanelor cu risc crescut de a fi în mod real bolnave sau de a prezenta o abatere de la normalitate (test screening)

(OMS) : depistarea permite identificarea prezumtivă a unei boli necunoscute sau a unui factor de risc, cu ajutorul testelor, examinărilor sau altor investigaţii cu posibilitatea aplicării în populaţie.

În mod caracteristic, testul screening identifică într-o populaţie aparent în bună sănătate, persoanele probabil afectate de o boală, ceea ce face posibilă selecţia acestora pentru a fi supuse unor investigaţii suplimentare sau terapiei (preventia secundara)

Diferenţe între testul de depistare şi testul diagnostic (dupa P.Czernichow, J.Chaperon, 2001)

Tipul de test : criterii Depistare Diagnostic

Obiectivul vizat prezumtia certitudinea

Presoanele evaluate aparent in buna sanatate simptome sau semne

Categorii tinta grupuri persoane

Precizia mediocra buna

Invazivitatea testului inacceptabila posibila

Efectivul evaluat important limitat

Costuri in mod necesar reduse uneori importante

Rezultate pozitive rare frecvente

Decizia pentru tratament niciodata posibil

Tipuri de teste

Testele permit evaluari diferite in functie de natura examinarilor:

1. Calitative (ex. : imagistica medicala - radiografie, echografie, scanner;

citologie; raspunsurile la un chestionar etc)

*raspunsurile sunt – binare (dichotomice) : da/nu; prezent/absent

- sub forma unei scale nominale : necroza, fibroza - sub forma unei scale ordinale : germeni sensibili, intermendiar sensibili, rezistenti la antibiotice

2. Cantitative (ex: biochimice, hematologice, serologice masuratori ale TA, IMC …)

* rezultatele sunt variabile cantitative ; necesita definirea valorilor de referinta sau se accepta un “standard de aur” (gold standard) pentru separarea

situatiilor “normale” de cele “patologice”

Domenii de interes

CERCETARE : pentru gasirea unor noi tehnologii (inovatie) : extinderea

cunoasterii, validarea unui nou criteriu de referinta etc. (nu se

urmareste a fi repetabil din momentul in care a fost recunoscut ca

valid, reproductibil si acceptabil);

PARACTICA : pentru ameliorarea procedurilor existente intr-un anumit

context si la un moment dat ; primeaza considerentul practic si mai

putin valoarea teoretica a testului utilizat ( este prioritar ca testul sa

fie repetabil ceea ce obliga etalonari repetate )

Criterii de evaluare a testului

1.VALOAREA INFORMATIONALA A TESTULUI IN CERCETARE

Validitatea datelor culese

Fiabilitatea rezultatelor

2.VALOAREA INFORMATIONALA A TESTULUI IN PRACTICA

3. ALTE CRITERII DE EVALUARE

Acceptabilitate

Costuri

Utilitatea “operationala”

1.Valoarea informationala a testului in cercetare

Validitatea datelor culese :

* valoarea unui test trebuie stabilită pe baza unui număr mare de persoane investigate atât dintre cele sănătoase cât şi bolnave

* interpretările rezultatelor unui test şi a rezultatelor metodei de referinţă trebuie efectuate independent pentru a nu se subestima utilitatea testului

Definiţie:

Validitatea internă a unui test diagnostic este dată de performanţa acestuia în raport cu o metodă de referinţă (Gold standard) şi de performanta de selecţie a subiecţilor examinaţi la sfârşitul validării = capacitatea testului de a identifica boala

Validitatea externă a unui test este dată de capacitatea testului de a descrie situaţia reală a unei stări patologice în populaţia generală şi performanţa acestuia în condiţiile în care datele sunt deja colectate

ERORI

Selectia persoanelor examinate (bolnave/santoase )

ameliorare: in prealabil interpretarea statistica a rezultatelor pentru a stabili valorile eventual comparabile obtinute la diverse persoane care exprima absenta bolii de cele care traduc existenta bolii

Calitatile operatorului/observatorului care utilizeaza testul

( experienta, atentie, disponibilitate)

ameliorare : protocoale de examinare standardizate (lectura filmelor radiologice, a lamelor histo-patologice etc) sau utilizarea mai multor interpretari independente

Procedeele de masurare utilizate (chestionare – interogator ; examen clinic sau de laborator – etalonare, aparatura – calitati tehnice)

ameliorare : evaluarea calitatilor intrinseci

Fiabilitatea rezultatelor

Reproductibilitatea unui test este aptitudinea diversilor observatori de a

ajunge la acelasi concluzii in conditiile in care sunt confruntati cu rezultatele aceluiasi test realizat la aceleasi persoane

Teste calitative : reproductibilitatea este masurata prin calculul coeficientul de corelaţie Kappa

Teste cantitative : reproductibilitatea este masurata prin simpla legatura intre valorile celor 2 masuratori sau prin similaritatea dintre valorile medii ale celor 2 masuratori

2.Valoarea informationala a testului in practica

Masurarea experimentala a performantelor testului după criteriile:

Sensibilitate

Specificitate

Masurarea in situatia reala a performantelor testului după criteriile:

Valoare predictivă

Valoare globală (eficienţă)

Definiţii SENSIBILITATEA unei metode indică proporţia bolnavilor pe care

testul este în măsură să-i identifice din întreag efectivul ca urmare a rezultatelor pozitive ale testului

SPECIFICITATEA indică proporţia persoanelor sănătoase confirmate

ca fiind în afara stării de boală în urma înregistrării rezultatelor negative ale testului

VALOAREA PREDICTIVĂ A REZULTATELOR POZITIVE indică

proporţia rezultatelor valabile (adevarate) din ansamblul rezultatelor pozitive

VALOAREA PREDICTIVĂ A REZULTATELOR NEGATIVE indică

proporţia rezultatelor valabile (adevarate) din ansamblul rezulatelor negative

VALOAREA GLOBALĂ (EFICIENŢA) testului indică proporţia

rezultatelor valabile din ansamblul evaluărilor efectuate

INDICATORI DE APRECIERE

Bolnavi Sănătoşi TOTAL

TEST Rezultat pozitiv AP FP AP+FP

Rezultat negativ FN AN FN+AN

Total AP+FN FP+AN AP+FP+FN+AN

AP – rezultat adevărat pozitiv (rezultat pozitiv la persoane bolnave);

FP – rezultat fals pozitiv (rezultat pozitiv la persoane sănătoase)

FN – rezultat fals negativ (rezultat negativ la persoane bolnave);

AN – rezultat adevărat negativ (rezultat negativ la persoane sănătoase)

Se = AP/ AP+FN x 100

Sp = AN/ AN+FP x 100

VPP = AP/AP+FP x 100

VPN = AN/AN+FN x100

VG = AP+AN/ AP+FP+FN+AN x100

Ideal: sensibilitatea (Se), Specificitatea (Sp) şi Valoarea predictivă (VP) = 100%

Rationament : prin aplicarea testului distributia valorilor biologice numerice obtinute sunt

diferite de la un individ la altul deci este necesara

stabilirea unei valori de referinta care sa claseze subiectii in bolnavi si sanatosi deoarece

calitatea diagnostica a testului variaza in functie de nivelul de referinta ales

Teorema lui BAYES sec. XVIII – Bayes pune bazele matematice pentru calculul valorii predictive a

testelor diagnostice prin : estimarea mediei şanselor pentru judecarea corectă (deci a valorii predictive

a unui test) a unui fenomen dat (starea de sănătate sau de boală) pe baza validităţii testului utilizat (Se, Sp, probabilitatea unui rezultat FP şi FN) cât şi amploarea unui fenomen în condiţii date (prevalenţa unei boli sau prevalenţa stării de sănătate într-o populaţie)

utilitate: este posibil ca prin teorema lui Bayes să se determine

probabilitatea unui subiect la care testul a fost pozitiv să fie efectiv bolnav şi ca la un subiect cu testul negativ să fie în mod real sănătos

Cazul testelor cantitative

Distributia valoriilor masurate printre non-bolnavi (B--) Distributia valorilor masurate printre bolnavi (B+)

lipsa Se lipsa Sp

L = valoare de referinta

Daca se deplaseaza limita valorii L la dreapta, se diminua Se si se amelioreaza Sp.

Ex (după M.Jenicek et al):

Exemplul A

Test:Hb<12g%= anemie Anemici Sănătoşi

pozitiv 19 10 29

negativ 1 70 71

20 80 100

Se = (19/19+1) x100 = 95% ; Sp = (70/70+10 ) x 100= 88%

VPP = (19/19+10) x 100= 66% ; VPN = (70/70+1) x 100= 99%

VG = [(19+70) : (19 +10+1+70)]x 100 = 89%

Exemplul B

Test: Hb<10g% = anemie Anemici Sănătoşi

pozitiv 15 5 20

negativ 2 78 80

17 83 100

Se = (15/15 +2) x100 = 88% ; Sp = (78/78+5 ) x 100= 94%

VPP = (15/15+5) x 100= 75% ; VPN = (78/78+2) x 100= 98%

VG = [(15+78) : (15+5+2+78)]x 100 = 93%

Nivelul de referinta a testului diagnostic are ca rezultat compromisul dintre Se şi Sp = exprimat grafic prin curba ROC (Receiver Operator

Characteristic curve)

Utilitatea curbei ROC :

1. determinarea unui nivel de referinta optimal

2. compararea rezultatelor mai multor teste care pot avea, fiecare dintre ele alte nivele de referinta

Criteriile de alegere a testului diagnostic (postulatele lui Galen şi Gambio)

1. este de preferat un test sensibil dacă: boala este gravă; boala este tratabilă; rezultatele fals pozitive nu generează prejudicii psihologice sau economice

persoanelor examinate

2. este de preferat un test cât mai specific dacă: boala este gravă dar dificil de vindecat (sau chiar incurabilă); a şti că nu există boala este un element important atât din punct de vedere

psihologic cât şi din punct de vedere managerial (economic); rezultatele fals pozitive pot fi psihologic şi economic traumatizante pentru

persoanele examinate

3. este de preferat utilizarea rezultatelor pozitive ale unui test dacă acesta are o valoare predictivă crescută în situaţii în care tratamentul persoanelor cu diagnostic fals pozitiv ar avea consecinţe grave

4. este de preferat un test cu valoare globală crescută dacă:

boala este importantă dar tratabilă; rezultatele fals pozitive şi fals negative sunt traumatizante şi implică

producerea unor consecinţe grave asupra persoanelor examinate