TEMA 4

Proiectarea testului docimologic (etape/pai). Definiia itemului din perspectiva evalurii moderne. Tipologia itemilor. Itemii obiectivi: avantaje i dezavantaje n proiectare i n utilizare

1. Proiectarea testului (etape/pai)- etape - stabilirea scopului probei (diagnostic sau prognostic) determin structura i coninutul acesteia;- selectarea coninuturilor i a obiectivelor corespunztoare ntr-un tabel/matrice de specificaii (pe vertical coninuturile care vor fi evaluate, iar pe orizontal obiectivele corespunztoare, ierarhizate n acord cu o taxonomie domeniului cognnitiv);- formularea itemilor( cea mai laborioas etap); - elaborarea baremului de corectare sau a modalitii de calculare a scorurilor ;- aplicarea testului (pt. teste nestandardizate/ elaborate de profesor);pretestarea, revizuirea, reformulare i definitivare testului, n cazul testelor standardizate;aplicarea testului;

- trebuie nsoit de un manual de utilizare care s includ toate detaliile tehnice, precum i informaii complete privind administrarea i maniera de calculare a scorurilor.

Avantajele testului pedagogic/docimologic:

ofer posibilitatea msurrii mai exacte a performanelor n comparaie cu alte probe;posed nsuiri ale investigaiei experimentale:controlul condiiilor de aplicare, posibilitatea repetrii probei, tratarea statistic a datelor ;un grad sporit de obiectivitate n apreciere, prin standardizarea criteriilor de notare;prezint o tripl identitate: de coninut, condiii de aplicare i criterii de reuit;corespunde exigenelor de validitate i fidelitate.

Ca i alte forme i metode de evaluare, testele ndeplinesc mai multe funcii:cunoaterea nivelului de pregtire al subiecilor testai;evaluarea eficienei predrii, a demersului didactic ntreprins;identificarea i diagnosticarea dificultilor de nvare;

Limite:

este utilizat mai mult pentru verificri periodice i n foarte mic msur pentru verificri curente;lipsa de rigoare n elaborarea i administrarea unora dintre teste (nestandardizate);critica testelor normative pentru raportarea la rezultatele unui grup de referin, care nu ntotdeauna este potrivit (vezi situaia persoanelor din minoriti etnice, care vorbesc alt limb etc.);critica testelor standardizate care includ prea multe rspunsuri nchise (evalueaz mai degrab capacitatea de memorare a subiecilor);testele cu itemi de tip eseu sunt considerate prea subiective. - valoarea testelor depinde n mare msur de competena celor care le elaboreaz, de pregtirea celor care le aplic, calculeaz scorurile; - testul trebuie utilizat cu precauie, n condiiile respectrii tuturor etapelor i condiiilor de elaborare, administrare i calculare a scorurilor.

2. Definiia itemului din perspectiva evalurii moderne

Itemul poate fi definit ca unitate de msurare care include un stimul i o form prescriptiv de rspuns, fiind formulat cu intenia de a suscita un rspuns de la cel examinat, pe baza cruia se pot face inferene cu privire la nivelul achiziiilor acestuia ntr-o direcie sau alta (Osterlind, 1998; Downing i Haladyna, 2006).

itemul poate fi prezentat izolat sau n strns relaie cu ali itemi de acelai tip sau din tipologii diferite;

poate presupune alegerea sau elaborarea rspunsului, ntr-un timp strict determinat sau fr limit de timp.

3. Tipologia itemilor include: itemi obiectivi, semiobiectivi i subiectivi (Radu, 2000; Mndru, 2001; Moise, 2003; Cuco, 2007 etc.). Itemii obiectivi permit msurarea exact a rezultatelor i sunt utilizai mai ales n testele standardizate i pot fi:itemi cu alegere dual care solicit subiectului s aleag unul din cele dou posibiliti de rspuns de tipul: adevrat-fals, corect-greit, potrivit/nepotrivit;itemi cu alegere multipl care solicit alegerea unui rspuns dintr-o list de alternative;itemi de tip pereche sau de asociere care presupun stabilirea unei corespondene ntre dou liste de afirmaii sau concepte.

Itemii semiobiectivi:- itemi cu rspunsuri scurte;- itemi de completare ;- itemi structurai care se constituie dintr-un set de ntrebri care au n comun un element sau se refer la acelai fenomen, concept.

Itemii subiectivi solicit rspunsuri deschise, care n funcie de volumul i amploarea rspunsului ateptat pot avea caracter restrictiv sau extins: - itemii de tip rezolvare de probleme - itemii de tip eseu (structurat sau nestructurat).

n elaborarea unui test docimologic, trebuie avut n vedere complementaritatea i dificultatea gradat a tipurilor de itemi.

Itemii obiectivi:avantaje, limite, exigene de proiectare

Itemii obiectivi presupun ntotdeauna alegerea rspunsului/rspunsurilor corecte dintr-o list anterior elaborat pus la dispoziie celui examinat, fiind denumii i itemi cu rspuns datrspunsul corect este identic pentru toi cei examinai, iar evaluatorii corecteaz aceti itemi strict identic. a. Itemii cu rspuns dual :- se elaboreaz sub forma unor enunuri complete, pe care examinatul trebuie s le accepte sau s le resping;- testul este alctuit dintr-o instruciune pentru cel examinat, unul sau mai multe enunuri coninnd sarcina de rezolvat, nsoite de variantele de rspuns (DA-NU; Adevrat-Fals etc.);- n general, itemii cu rspuns dual conduc la evaluarea unor comportamente corespunztoare nivelelor taxonomice inferioare (cunoaterea i nelegerea);- pot fi utilizai n elaborarea testelor pentru majoritatea disciplinelor de nvmnt (ex. Anexa 1)

Avantaje ale itemilor cu rspuns dual:

Precizia i simplitatea sarcinilor de rezolvat cresc fidelitatea i obiectivitatea acestui tip de itemi.Permit evaluarea unui numr relativ mare de comportamente (se pot acoperi coninuturi extinse) ntr-un timp scurt, dat fiind faptul c rspunsurile sunt anterior formulte; Favorizeaz evaluarea unor comportamente asociate unor nivele taxonomice diferite (cunoatere, nelegere i, n condiii speciale, aplicare). Proiectarea lor este relativ simpl, rezultatele fiind uor de cuantificat

Dezvantaje ale itemilor cu rspuns dual:

Validitatea este relativ mic, datorit simplitii itemilor de acest tip, ceea ce conduce la orientarea spre nivelele taxonomice inferioare. Nu permit nuanri n evaluarea elevului, dat fiind caracterul fix i scurt al rspunsului, avnd valoare diagnostic redus (nu ofer evaluatorului informaii cu privire la raiunile pentru care examinatul a ales una sau alta dintre cele dou variante). Dac este comparat cu toate celelalte tipuri de itemi, se poate aprecia c permite cea mai mare probabilitatea de a ghici din partea celui examinat (50% anse).

Exigene de proiectare a itemilor cu rspuns dual

Evitarea adevrurile banale i inutile n situaia de utilizare a testului. Evitarea enunurile negative (mai ales cele care includ o dubl negaie).Evitarea formulrilor lungi i inexacte.Evitarea includerii n acelai enun a dou idei care nu se afl n relaie direct i pot dezorienta elevul. Lungimea enunurilor adevrate i false trebuie s fie aproximativ aceeai, pentru a nu ntinde elevului capacana de a ghici rspunsul corect, speculnd c enunul mai elaborat este adevrat. Numrul enunurilor adevrate i false trebuie s fie echilibrat pentru a evita generalizarea unei reguli pe care o poate considera c a desprins-o din rezolvarea itemilor anteriori (dac toate rspunsurile au fost false i acesta e tot fals).

b)Itemii de tip alegere multipl

- pot servi att la msurarea unor comportamente specifice nivelelor taxonomice inferioare, ct i a comportamentelor asocite cu analiza i evaluare;- acest tip de item este alctuit din dou elemente: tulpina (engl. stem), problema, sau premisa, formulat printr-o ntrebare direct sau printr-un enun incomplet;o serie de alternative de rspunsuri propuse examinatului, din care una este corect sau cea mai bun, iar celelalte au rolul de distractori, constituind obstacole ce trebuie depite de ctre examinai n alegerea rspunsului corect. - itemii de tip alegere multipl pot fi proiectai n dou variante (Moise, 2003):

Itemii cu rspuns corect presupun alegerea rspunsului corect care completeaz un enun, dintr-o list de alternativ pus la dispoziie elevului. Se aseamn cu itemii semiobiectivi tip rspuns scurt (de completare), singura diferen consttnd n faptul c elevul alege rspunsul, nu l elaboreaz el nsui. Itemii de acest tip se cantoneaz la nivelul cunoaterii din taxonomia domeniului cognitiv.

Itemii cu rspunsul cel mai bun sunt preferai pentru evaluarea pe nivele taxonomice mai nalte (analiz i evaluare). Mai multe dintre rspunsurile pe care elevul trebuie s le analizeze sunt acceptabile, dar n msur diferit, elevul trebuind s indice cea mai potrivit variant. (ANEXA 2).

Avantaje ale itemilor de tip alegere multipl

Pot fi utilizai att n evaluarea unor comportamente simple, de natur reproductiv, ct i n evaluarea unor comportamente complexe, specifice nivelelor taxonomice nalte.Pot acoperi coninuturi diverse, la un nivel de profunzime satisfctor.Proiectarea, administrarea i scorarea este relativ simpl. Dificulti n proiectare pot fi invocate doar n cazul itemilor cu alegere multipl de tip cel mai bun rspuns, care trebuie s fie atent conectat cu elementele de coninut corespunztoare.Indiferent de forma n care sunt utilizai, au eficien crescut, avnd n vedere volumul mare de coninuturi care poate fi evaluat ntr-o singur sesiune de evaluare.

Dezavantaje ale itemilor de tip alegere multipl

Faptul c rspunsurile sunt gata elaborate nu permite evaluarea capacitilor creative ale elevului, a capacitilor de organizare a informaiilor (sintez).

Itemii care solicit precizarea celui mai bun rspuns sunt dificil de proiectat distractorii trebuie s fie suficient de contrastani prin raport cu rspunsul corect, ns alternativele trebuie s fie totodat omogene.

Scorarea itemilor cu alegere multipl, n varianta rspunsul cel mai bun poate genera dezacorduri ntre evaluatori, n cazul n care exist mai mult de o variant de rspuns corect (Mndru, 2001).

Exigene de proiectare:

Tulpina itemului trebuie s fie formulat clar, complet i logic, evitndu-se impreciziile i ambiguitile.Distractorii trebuie s fie relativ omogeni, fr a se introduce alternative de rspuns fr nici o legtur cu problema ilustrat n enunu. Trebuie evitate redundanele verbale n prezentarea variantelor de rspuns, pentru a uura lectura i rezolvarea itemulului de ctre elev. Tulpina sau premisa trebuie s evite formulrile negative, care genereaz dificulti n interpretarea itemului de ctre elev.

Dac un test include mai muli itemi cu alegere multipl, poziia rspunsului corect trebuie s varieze, pentru a descuraja elevul s speculeze asupra locului alternativei care trebuie bifat.

Distratorii trebuie s constituie rspunsuri plauzibile, astfel nct s stimuleze elevul n analiza fiecrui posibil rspuns.

c) Itemii de asociere / tip pereche

- solicit elevului s stabileasc corespondena ntre dou seturi de concepte, date, informaii, plasate de regul n dou coloane diferite: - o prim coloan este destinat premiselor sau stimulilor, iar n a doua coloan sunt incluse rspunsurile;- premisele i rspunsurile pot fi perechi de evenimente i date, termeni i definiii, reguli i exemple, simboluri i concepte, autori i tiluri de cri, clasificri, principii i aplicaii, cauze i efecte, afirmaii teoretice i experimente etc. - exist i moduri alternative de prezentare a premiselor i a rspunsurilor, cu ajutorul hrilor, diagramelor, imaginilor, care s-l ajute pe elev n rezolvarea sarcinii.

Avantaje ale itemilor de tip asociere

Itemii de tip asociere pot fi considerai cei mai compleci dintre itemii obiectivi, fiind practic constituii dintr-o serie de itemi de alegere multipl. Posibilitatea ca elevul s ghiceasc rspunsul corect este redus prin elaborarea listei de rspunsuri, n aa fel nct s includ i distractori . Sunt relativ uor de proiectat i de administrat, fcnd posibil abordarea unei cantiti mari de comportamente n timp scurt.Pot viza deopotriv nivele taxonomice inferioare i superioare.

Dezavantaje ale itemilor de tip asociere sunt utilizai pentru a aprecia acurateea asimilrii informaiile de tip factual, dei se preteaz i n evaluarea comportamentelor asociate nelegerii, aplicrii i chiar analizei. Proiectarea itemilor poate fi dificil n cazul n care se vizeaz respectarea omogenitii premiselor i a alternativelor de rspuns. Exigene de proiectare a itemilor de asocierePremisele i alternativele de rspuns trebuie s acopere un spectru omogen (concepte similare), astfel nct elevul s nu poat asocia elementele din cele dou liste prin excluderea rspunsurile atipice, fr legtur logic cu celelalte. Se recomand ca numrul premiselor s fie inegal fa de rspunsurile propuse, cei mai muli recomandnd un numr mai mare al rspunsurilor, astfel nct s se evite relaionarea elementelor prin excludere.

Rspunsurile trebuie prezentate n acord cu o regul clar : fie n ordine cronologic, fie n ordine alfabetic. Descrierea sarcinii de rezolvat trebuie s fie clar, precizndu-se logica asocierilor pe care trebuie s le realizeze elevul. Trebuie precizat de cte ori poate fi utilizat un rspuns n realizarea asocierilor (sau, dup caz, de cte ori premisele pot fi utilizate n stabilirea relaiilor cu rspunsurilor).Numrul premiselor i a rspunsurilor trebuie s fie rezonabil n literatura romneasc recomandarea este de 4-5 premise, respectiv 5-6 rspunsuri. Se recomand ca ntreg corpul itemului s fie plasat pe o singur pagin, pentru a nu genera confuzii sau omisiuni.

Referine bibliograficeAnastasi, A. (1976) Psychological testing, ediia a IV-a, McMillan Poblishing Co., New YorkBest, J. W. (1977) Research in education, Prentice-Hall, Inc, New Jersey pp. 183-191Crocker, L. Algina, J. (1986) Introduction to classical and modern test theory, Holt, Rinehart and Winston Inc., OrlandoCuco, C. (2008) Teoria i metodologia evalurii, Editura Polirom, IaiDowning, S. M., Haladyna, T. M (eds) (2006) Handbook of Test Development, Routledge, LondonEvans, J.D. (1985) Invitation to psychological research, CBS College Publishing, New York pp. 74-82, 232-254Gall, M.D., Gall, J.P., Borg.W.R. (2007) Educational research: an introduction, 8th Edition, Pearson Education, Inc., Boston, pp.192-227Karmel, L.J., Karmel, M.O. (1978) Measurement and evaluation in the schools, ediia a II-a, McMillan Poblishing Co., New YorkMndru, M. (2001) Tipologia itemilor, n: Stoica (coord.), Evaluarea curent i examenele, Editura ProGnosis, Bucureti, pp.65-85Mason, E. J., Bramble, W. J. (1997) Research in Education and the Behavioral Sciences, Brown & Benchmark Publishers, Dubuque, USA

McMillan, James H. (1992) Educational Research. Fundamentals for the Consumer, HarperCollins Publishers Inc., New York pp. 114-120Moise, C. (2003) Teoria i practica evalurii, n Psihologie. Curs pentru nvmnt la Distan, Editura Universitii Al. I. Cuza, Iai, pp. 234-324Osterlind, S. J. (1998) Evaluation in Education and Human Services. Constructing test items: multiple-choice, constructed response, performance and other formats, 2nd edition, Kluwer Academic PublishersPopham, W. J. (2003) Test better, teach better. The instructional role of assessment, Association for Supervision and Curriculum DevelopmentRadu, I. T. (2000) Evaluarea n procesul didactic, E.D.P, Bucureti, pp. 233-253Stoica, A. (coord) (2001) Evaluarea curent i examenele, Editura ProGnosis, BucuretiAutor:Nicoleta Laura Popa, Universitatea Al. I. Cuza, Iai