constructie adaptare experimentare

7/30/2019 Constructie adaptare experimentare

1/43

UNIVERSITATEA ECOLOGIC BUCURETIFACULTATEA DE PSIHOLOGIE

Disciplina:Testare psihologic 1

Psihodiagnoza personalitii-Chestionarele

T4. Cerine , metode i strategii nconstruirea, adaptarea i experimentareaunui chestionar de personalitate

Lect. univ. dr.

Gheorghe Perea


2/43

Cuprins1.Cerine fundamentale n construirea i experimentarea unui

chestionar de personalitate

- limite i dificulti n msurarea personalitii princhestionare;

-avantajele i noile perspective ale msurrii(evalurii)personalitii cu ajutorul chestionarelor

- cerine i etape generale.2. Strategii i metode n costruirea chestionarelor de personalitate

- metoda intuitiv;

- metoda empiric;

- metoda analizei factoriale.


3/43

Cuprins3. Modaliti de construire a itemilor chestionarelor de personalitate

- strategii generale;- relaia item-trstur;

- caracteristici de suprafa ale itemilor;

- caracteristici semantice;

- caracterisitici psihometrice.4. Principii de baz n traducerea i adaptarea chestionarelor de

presonalitate

- 5 motive n favoarea adaptrii chestionarelor de personalitate;

- 13 pai n procesul de adaptare a chestionarelor depersonalitate;

- ghidul de adaptare a testelor realizat de Comisia Internaionalde Teste


4/43

1. Cerine fundamentale n construirea iexperimentarea unui chestionar de personalitate

1.1. limite i dificulti n msurarea personalitii prin chestionare;

1.2. avantaje i noi posibiliti;1.3.cerine i etape generale.


5/43

1.1. Limite i dificulti n msurareapersonalitii prin chestionare;

1 abordeaz dimensiuni i structuri globale ale personalitii(trsturile, tipurile, sistemul, profilul personalitii) posibil dea fi operaionalizate i scalate printr-un numr, de regul,mare de itemi (ntrebri, afirmaii) prin care subiectul se

autodescrie (i dezvluie indirect modul caracteristic de agndi, a simii a aciona n situaii tipice);

2 n comparaie cu testele de aptitudini, de preforman,chestionarele abordeaz indirect, dimensiunea de msuratprin autodescrierea subiectului evaluat, (n acest sens este o

prob subiectiv) iar validitatea lor depinde foarte mult demodul de construire a itemilor, de forma i coninutulacestora.


6/43

1.1. Limite i dificulti n msurareapersonalitii prin chestionare

3 constructele psihologice ( termenii de specialitate) n bazacrora sunt construite chestionarele de personalitate deriv din

teoriile i modelele psihologice ale personalitii care sunt ntr-ocontinu dezvoltare i aproximare a personalitii reale, n toatcomplexitatea i completitudinea ei pentru fiinauman, vie.


7/43


- Originea chestionarelor st probabil n necesitatea psihologuluide a realiza un interviu ct mai sistematizat al subiectului, ceea ce

implic supoziia c fiecare rspuns trebuie considerat/ponderatca indiciu al existenei/prezenei trsturii avute n vedere ( n

cazul interviului interpretarea rspunsului ia n consideraie ilimbajul nonverbal al subiectului);

- Problema dezirabilitiirspunsului de faad al subiectului (s aleag un rspuns dezirabil care s-l pun ntr-o lumin

favorabil n cadrul procesului de evaluare) reprezint una dintrecele mai mari limite ale chestionarului de personalitate.


8/43


- O problem care diminueaz capacitatea de predicie achestionarelor de personalitate privind performanaprofesionaln activiti de selecie a personalului, este faptul c unele dinchestionarele (inventarele) de personalitate des utilizate, sunt

elaborate de psihiatrii i psihologi clinicieni pentru populaiaspitalizat.

- Chestionarele cu scale clinice utilizate n selecia profesionalau un grad mai redus de validitate, iar rspunsurile dezirabilesunt mai evidente n acest context de evaluare.


9/43


- Evaluarea personalitii cu ajutorul chestionarelor (inventarelor) de personalitate ia mult timp de testare i

interpretare a profilelor de personalitate obinute ( n forma deaplicare creion-hrtie);

- Presupune o bun pregtire i experien a psihologuluipractician pentru interpretarea oricrui tip de profil.


10/43

1.2. Avantajele i noile perspective ale utilizriichestionarelor de personalitate

1. Accelereaz dezvoltarea teoriilor i modelelortrsturilor(factorilor),tipurilor i structurilorunidimensionale i multidimensinale ale personalitii;

2. Asigur fundamentarea psihologiei experimentale apersonalitii i validitii modelului psihometric nselecia profesional a personalului;

3. Chestionarele de personalitate au devenit metodacheie n cadrul orietrii metodologice a constructelorpsihologice n evaluarea personalitii (crete rolulpsihologului practician n activiti de selecie depersonal).


11/43

1.2. Avantajele i noile perspective ale utilizriichestionarelor de personalitate

4. Construcia de chestionare de personalitate care se adreseazpopulaiei generale, normale, a crescut valoareapsihodiagnostic i prognostic a acestor instrumente de

evaluare(CPI, NEO-PI-R);

5. Computerizarea aplicrii i interpretrii rezultatelor

chestionarelor de personalitate soluioneaz multe dinproblemele psihodiagnozei i prediciei profesionale, aleelaborrii profilelor psihologice;


12/43

Avantajele i noile perspective ale utilizriichestionarelor de personalitate

6. Permit n cea mai mare msur cuantificarea,standardizarea i aplicarea procedurilor statistice deprocesare i interpretare a rezultatelor evaluriipsihologice (analiza de corelaie, factorial,

clasterizarea, metoda de analiz latent-strutural,etc. );

7. Elaborarea scalelor interne de validare a

rspunsurilor la chestionare(a scalelor de minciun-L), precum i construcia special a itemilor, bazatpe analiza factorial, sunt trucuri care au crescutconsiderabil validitatea acestor instrumente.


13/43

1.3 Cerine i etape generale n construciachestionarelor de personalitate

1. Definirea constructului (conceptului) chestionarului, a

scalelor acestuia referitoare la dimensiunile, trsturile depersonalitate ce vor fi msurate (evaluatea);

2. Costruirea pentru fiecare scal a unui set de itemi, princare subiectul este ntrebat, provocat s se autodescrie nlegtur cu acele comportamente care sunt relevante pentrutrstura vizat, sau n legtur cu situaiile relevante pentruaceea trstur.


14/43

: 1.3 Cerine i etape generale n costrucia chestionarelor depersonalitate

Etapa I

Alegerea tipului de chestionar de personalitate ca set coerentde itemi, este n funcie de :

- definirea,obiectivului testrii (ce testm? Ceconstructe psihologice- dimensiuni, trsturi, factori de

personalitate evalum?);

- definirea domeniului de aplicare (de ce testm, n cescop: consiliere vocaional, expertiz clinic, judiciar,

psihoterapie, selecie i repartizare profesional? etc. ).


15/43

1.3 Cerine i etape generale n costruciachestionarelor de personalitate

Etapa I

Alte cerine legate de costruirea tipului necesar de chestionar

de personalitate, se raporteaz la :

- cunoaterea tipului de expectane ale subiecilor ce

urmeaz a fi testai ( motivaii, stri afective, atitudini,prejudeci, idiosincrazii) ce pot distorsiona comunicarea princhestionar;

- stabilirea numrului de itemi i adecvarea acestora, a

gradului de omogenitate/neomogenitate a lor, de caredepind calitile psihometrice ale chestionarului.


16/43


Etapa IIAplicarea experimental a primei variante a chestionarului pe celpuin 20 de subieci (Meili-1964).

Cerine:

1. -standardizarea corect a instructajului de aplicare;

2. -standardizarea tipului de rspuns (dihotonic, scal Likert);

3. - formularea unei scale de validare a chestionarului n raport cuatitudinea subiectului (supra/subdimensionarea unor simptome,

trsturi, situaii , atitudini de faad, gradul de dezirabilitate,disimulare, minciun, etc.);

4. - construirea unor exemple introductive.


17/43


Etapa II

Experimentarea primei variante a chestionarului privete i

validarea preliminar a itemilor prin care sunt clarificateumtoarele aspecte:

1. Nivelul de dificultate al itemilor;

2. Repartiia corect a rspunsurilor ( itemilor) semnificativi pe pediferite scale ( precizarea grilei de corecie);

3. Capacitatea de discriminare a itemilor pe diferite scale (legat de

omogenitatea i validitatea acestora);

4. Eliminarea itemilor neadecvai pe fiecare scal.


18/43


Etapa III

1. Alctuirea formei finale a chestionarului conform concluziilor cedecurg din etapele anterioare;

2. Standardizarea interpretrii chestionarului prin procesul deetalonare a sa;

3. Stabilirea calitilor lui metrice prin studierea diferitelor faeteale validitii acestuia ( de coninut, relative la criteriul exterior,

etc.) n contextul aplicativ dat;4. Continuarea cercetrilor privind calitile metrice i faetele

validitii chestionarului de personalitate, n comparaie cu alteinstrumente de acelai tip, alte domenii aplicative, etc..


19/43

2.Stategii i metode n construirea chestionarelor depersonalitate

2.1. Metoda intuitiv

- are la baz consistena intern- validitatea intern- ascalelor unui chestionar de personalitate, natura relaiei item-scor global al scalei, perceput sau verificat de autorul

chestionarului;- strategiile intuitive ale autorului stabilesc ce itemi, ceconinuturi sunt relevante pentru a traduce trstura

( scala) n comportamente relevante;

- la rigoare, se realizeaz o analiz statistic a itemilor uneiscale ( ponderea itemilor la testele de inteligen,coeficieniide corelaie biseriali dintre rspunsurile dihotomice i scorultotal al scalei n cazul chestionarelor de personalitate).


20/43

2.Stategii i metode n construirea chestionarelor depersonalitate

Metoda intuitiv prevede o abordare raional n 5 pai:1. Selecia intuitiv-raional a coninuturilor itemilor i a

setului iniial de itemi pe fiecare scal;

2. Administarea(aplicarea) variantei iniiale a chestionarului de

personalitate pe un lot de subieci( minimum 20);

3. Calcularea scorurilor totale pe fiecare scal a varianteiiniiale a chestionarului;

4. Calcularea corelaiei (validitii interne) dintre fiecare item iscorul global al scalei de apartenen;

5. Eliminarea itemilor avnd coeficieni de corelaie mici cuscorul global al scalei de apartenen


21/43

2. Strategii i metode n construirea chestionarelor depersonalitate

2.2 Metoda empiric

Are la baz strategia criteriului extern ( validitatea extern) i serealizeaz n 7 pai:

1. Se ansambleaz, pe baze raionale sau reunind itemi din diferitechestionare, un numr de scale cu itemii lor;

2. Se administreaz varianta iniial a chestionarului pe loturiextreme n privina rezultatelor la trsturile vizate dechestionar;

3. Determinarea pentru fiecare lot a frecvenei rspunsurilorDA/NU, Acord/Dezacord n rapot cu trsturile vizate;

4. Determinarea semnificaiei statistice a diferenelorobinute;


22/43


2.2 Metoda empiric5. Itemii care difereniaz semnificativ cele dou loturi la scalavizat sunt reinui pentru aceea scal;

6. Aceast scal se aplic din nou loturilor- criteriu iniiale;

7. Dac itemii analizai sunt satisfctori, scala va fi validat pe noiloturi(contravalidare);

8. Se obine o scal mai restrns ( prescurtat) i rafinat care va fidin nou validat dup o vreme (contravalidat dup o perioadde 3-5 ani).

Metoda empiric de confruntare cu un criteriu extern deperforman comportamental conduce la construirea unorchestionare de personalitate cu nalt valoare predictiv ndomeniul profesional, greu de trucat ( cu o validitate aparent,redus)


23/43


3. Metoda analizei factoriale

- Pune accent pe aprofundarea analizei criteriului intern,validitii interne, de coninut) care, odat ce descoper unfactor care apare ca dimensiune responsabil de variaia

semnificativ a comportamentului, permite elaborarea uneiscale pentru a defini psihologic i a evalua respectivul factor;

Marea majoritate a chestionarelor de personalitatecontemporane sunt construite pe baza analizei factoriale;

S-a depit structura factorial simpl, obinndu-se modelegeometrice de tip circumplex, care pot reda mai mult dincomplexitatea personalitii.


24/43

2.Strategii i metode n construirea chestionarelor depersonalitate

3. Metoda analizei factoriale n 5 pai1. Construirea pentru o scal, a unui set relativ mic de itemi, pe bazdeductiv,inferenial;

2. Se administreaz scala sau chestionarul iniial pe un numr mare

de subieci, testai n paralel cu scale, chestionare deja validateprivind trstura sau trsturile vizate;

3. Se procedeaz la calculul de intercorelaie a itemilor, matricea deintercorelaie fiind analizat factorial, rotat conform proceduriloralese n acest scop, obinndu-se clusterii responsabili decuantumul de variaii comportamentale al factorului;

4. Se determinncrcturafactorial a fiecrui item;

5. Se selecteaz itemii cu cea mai marencrcturfactorial.


25/43

4.Modaliti de construire a itemilor chestionarelor depersonalitate

- strategii generale, legate de limbaj ( vocabular curent,

persoanele a-I-a i a III-a, nivelurile psihologice implicate,etc.);

- relaia item trstur coninuturile psihologice (descrieride reacii, atribute ale trsturii, dorine i trebuine, faptebiografice, atitudini, reacii ale altora, itemi bizari);

- caracteristici de suprafa ale itemilor ( lungimea,complexitatea, formatul itemului)


26/43

4.Modaliti de construire a itemilor chestionarelor depersonalitate

- caracterisitici semantice ale itemilor(nivel de abstractizare,dezirabilitate social);

-caracteristici psihometrice (metodologia sistematic deconstruire i experimentare a chestionarului de personalitate,

aplicat la inventarele de tip Big Five tinde s devin etalonpentru oricare alt chestionar nou).


27/43

4. Principii de baz n traducerea i adaptareachestionarelor de presonalitate

4.1. -5 motive n favoarea traducerii i adaptriichestionarelor de personalitate;

4.2. -13 pai n procesul de adaptare a chestionarelor de

personalitate;

4.3. - Ghidul de adaptare a testelor realizat de Comisia

Internaional de teste.

PRINCIPII DE BAZ N TRADUCEREA I ADAPTAREA TESTELOR


28/43

PRINCIPII DE BAZ N TRADUCEREA I ADAPTAREA TESTELORPSIHOLOGICE

n literatur se contureaz cel puin 5 motive n favoarea adaptrii deteste:

1.Adaptarea testelor e considerabil mai ieftin i rapid fa deconstruirea unuia nou.

2.Cnd scopul adaptrii unui test este o evaluare, un studiutranscultural, adaptarea unui test este calea cea mai eficient de aproduce un test echivalent ntr-o alt limb.

3. Poate exista o lips de experien pentru dezvoltarea unui nou testntr-o alt limb.

4.Exist un soi de siguran asociat(validitate perceput, aparent) cuprivire la testele adaptate fa de cele noi construite, mai ales cndtestul original, adaptat e bine cunoscut(recunoscut).

5. Corectitudinea examinrilor adesea rezult din prezena unorversiuni n multiple limbi.

13 pasii care trebuie urmati in procesul de adaptare a


29/43

13 pasii care trebuie urmati in procesul de adaptare a

testelor(chestionarelor)

1.Sigurana c n limba i grupul cultural de interes exist

constructul echivalent(a fost difuzat prin crile i articolelepublicate i traduse n limba matern).

2. Decizia dac s se adapteze un test sau s se creeze unul nou.

3. Selectarea unor traductori nalt calificai, familiarizai cu teoriilepsihologice cele mai recente.

4.Traducerea i adaptarea testului.

5. Revizuirea versiunii adaptate a testului i realizarea obligatorie aunei recapitulri(revizuiri).

6. Realizai o mic recenzie a versiunii adaptate a testului.

13 pai care trebuie urmai n procesul de adaptare a


30/43

13pai care trebuie urmai n procesul de adaptare a

testelor(chestionarelor )

7.Realizai aciuni mai ample n privina adaptrii testului.

8. Alegerea unui design statistic n vederea conectrii celor douversiuni a testelor, sursa i int.

9. Dac se are n vedere studiul comparativ transcultural trebuie sexiste echivalena de limb a versiunilor testului.

10. Realizai validarea cercetrii.

11.ntocmirea documentelor i pregtirea unui manual pentruutilizatorii testului nou adaptat.

13 i t b i i l d d t


31/43

13pai care trebuie urmai n procesul de adaptare a

testelor(chestionarelor )

12. Pregtirea utilizatorilor

13. monitorizarea testului adaptat

Ghidul de adaptare a testelor


32/43

Ghidul de adaptare a testelor

realizat de

Comisia Internaional de Teste

Implementare i adaptare teste

Cei care se ocup de dezvoltarea, implementarea i publicareatestelor:

1.Ar trebui s se asigure c procesul de adaptare ia n calcul ntotalitate diferenele lingvistice i culturale.

2. Ar trebui s furnizeze dovada c limba folosit n instruciuni,itemi n sine, ca i n manual, este cea adecvat pentru toate

culturile, populaiile, limbile pentru care e destinat adaptareainstrumentului..


33/43


3. Ar trebui s fac dovada c alegerea tehnicii de

testare, formatul itemilor, regulile de testare iprocedeele folosite, sunt familiare populaiilorimplicate(subiecilor testai).

4. Ar trebui s fac dovada familiarizrii populaiilorimplicate cu coninutul itemilor.

5. Ar trebui s implementeze dovezi sistematice deraionament att lingvistic ct i psihologic pentru

mbuntirea acurateii procesului de adaptare icompilarea dovezilor de echivalen a tuturorversiunilor lingvistice.


34/43


6.Ar trebui s se asigure c datele colectate permit folosirea unortehnici statistice adecvate pentru stabilirea echivalenei

itemilor din versiunile lingvistice diferite ale instrumentului.7. Ar trebui s aplice tehnici statistice adecvate pentru stabilirea

echivalenei versiunilor i pentru identificarea componentelorproblematice sau aspectelor inadecvate ntr-una sau maimulte din populaiile int.

8. Ar trebui s furnizeze informaii privind evaluarea validitii ntoate populaiile int pentru care se dorete adaptareatestului.

9. Ar trebui s furnizeze probe statistice pentru echivalareantrebrilor n toate populaiile int.

10.ntrebrile nonechivalente nu trebuie folosite n realizareaunei scale comune i n compararea acestor populaii. Totuiele pot fi utile n sporirea validitii de coninut a scorurilorraportate pentru fiecare populaie separat.


35/43

Administrare

1. Cei care ntocmesc testele i le administreaz(aplic) ar trebui s

ncerce s anticipeze tipurile de probleme care pot apare i s iamsuri adecvate de remediere a acestora prin pregtirea unormateriale i instruciuni adecvate.

2. Cei care administreaz testul trebuie s fie foarte precii nprivina factorilor legai de materialele stimul, n privina

procedurilor de administrare i a modurilor de rspuns care potmodera validitatea rezultatelor.

3. Acele aspecte ale mediului care influeneaz administrareatestului ar trebui s fie similare pe ct posibil n ambelepopulaii.

4. Instruciunile de administrare a testului ar trebui ca att n limbasurs ct i n cea int s minimalizeze influenele unor sursenedorite de variaie din populaiile implicate.


36/43

Documentaie, interpretare scoruri.

Cnd un test e adaptat pentru uz ntr-o alt cultur, documentaiaschimbrii ar trebui furnizat nainte de dovada echivalenei.

Diferenele de scor ntre eantioanele de populaie crora li s-aadministrat testul, nu ar trebui luate de la nceput drept valori reale.Cercettorii au responsabilitatea de a fundamenta diferenele. (de avedea dac exist diferene reale) fa de alte studii, doveziempirice.

Comparaiile transculturale pot fi fcute doar la nivelul invarianeicare a fost stabilit pentru scala la al crei scor a fost raportat.

Autorul testului trebuie s dispun de informaii specifice i sfurnizeze aceste informaii pe ci n care contextele socioculturale iecologice ar putea afecta performanele la test i s sugerezefolosirea unor proceduri pentru luarea n calcul a acestor efecte lainterpretarea rezultatelor.

Bibliografie


37/43

Bibliografie

n limba romn:

1. ALBRECHT, Karl, (2007), Inteligena social, Nouatiin a succesului, traducere din lb. englez, ed.Curtea Veche, Bucureti

2. ALBU, Monica, (1998), Construirea i utilizareatestelor psihologice, Editura Clusium

3. BIRCH, Ann, HAYWARDS, Sheila, (1999), Difereneinterindividuale, trad. din lb. Englez, EdituraTehnic;

4. CONSTANTIN, Ticu, (2004), Evaluarea psihologic apersonalului, Polirom;

Bibliografie


38/43

Bibliografie

n limba romn:

5. CREU, Romeo, Zeno, (2005), Evaluarea personalitii, Metodelealternative , Polirom;6. DAFINOIU, Ion, (2002), Personalitatea, Metodele calitative de

abordare, Observaia i interviul, Polirom7. DEWEY, Sadka, (2007), Teste de personalitate prin alegerea

culorilor, Alegei-v culorile, schimbai-v viaa, trad. din lb.englez, Meteor Press8. GOLEMAN, Daniel, (2001), Inteligena emoional, traducere din

lb. Englez, Ed. Curtea Veche, Bucureti9. GOLEMAN, Daniel, (2004), Inteligena emoional cheia succesului

n via, Ed. ALLFA10. GOLEMAN, Daniel, (2007), Inteligena social, noua tiin arelaiilor umane, traducere din lb. englez, Editura Curtea Veche,Bucureti

Bibliografie n limba romn


39/43

Bibliografie n limba romn

13. MINULESCU, Mihaela, (1996), Chestionarele de personalitate n

evaluarea psihologic, GARELL PUBLISHING HOUSE, Bucureti14. ROCO, Mihaela, (2004), Creativitate i inteligen emoional,POLIROM

15. ROCA, Mariana, (1972), Metode de psihodiagnostic, EdituraDidactic i Pedagogic, Bucureti

16. SEGAL, Jeanne, (1997), Dezvoltarea inteligenei emoionale,Teora

17. STAN, Aurel, (2002), TESTUL PSIHOLOGIC,Evoluie, construcie,aplicaii, POLIROM

18. CHIOPU, Ursula, (2002), Introducere n psihodiagnostic,Editura Fundaiei HUMANITAS, Bucureti

Bibliografie


40/43

Bibliografie

n limba romn:

19. HAVRNEANU, Cornel, (2000), Cunoaterea

psihologic a persoanei, Posibiliti de utilizare acomputerului, Polirom

20. MATHEWS, Gerald, DEARY, Ian J.,WHITEMAN,

Marta C., (2005), Psihologia personalitii,Trsturi, cauze, consecine, trad. din lb. englez,Polirom

Bibliografie


41/43

Bibliografie

n alt limb :

1. BATAREV, A.B.,(1999), Testirovanie, asnovnoiinstrumentarii practiceskovo psihologhia, IzdatelstvoDELO, Moskva

2. BRIGGS MYERS, Isabel, (1993), Introduction to Type,

A description of the theory and applications of theMyers-Briggs Type Indicator, Consulting Psihologists,Press, Inc. 3803 E. Bayshore Road, Palo Alto CA94303

3. BODROV, B.A., MALKIN, V.B., POKROVSKI B.L.,

PACENKO D.I. (1984) Psihologhiceski otbor letcicov icosmonavtov, Tom 48, Izdatelistvo Nauka Moskva;

Bibliografie


42/43

Bibliografie

n alt limb :

4. EYSENCK, H.J., EYSENCK, B.G. Sybil, Manual of the EYSENCK,PERSONALITY questionaire (junior &adult) University ofLondon Press, LTD;

5. HIRSH, Sandra Krebs, KUMMEROW, Jean M. Introduction to

Type in Organizations, second edition;6. MARICIUK, B.L. BLUDOV, Ju.M., PLANTIENKO V.A., SEROVA,

L.K. (1984), Metodiki psihodiagnostiki v sporte, Proisvescenie,Moskva

7. MELNIKOV V.M., IAMPOLSKY L.T. (1985), Vvedenie v

experimentalnuiu psihologhiu licinostii, Proisvescenie,Moskva

Bibliografie


43/43

Bibliografie

n alt limb :

8. PLATONOV, K.K. (1986), Structura i razvitie licinostii, Nauka,Moskva;

9. POTKAY, Charles R., ALLEN Bem P., (1986) Personality: TheoryReserch, and Applications, Brooks/Cole Publishing CompanyMonterey, California

10. RISO, don Richard, (1995), Discovering Your Personality Type,The New Enneagram Questioaire, Hougton Miffin Company,Boston, New York

11. RISO, don Richard, (1990), Understanding the Enneagram,

The practical guide to personality Types, Houghton MiffinCompany, Boston

12. STOLIARENKO L.D., (2000), Osnov psihologhii practicum dleastudentov vuzov, Fenix, Rostov-na-Dony

constructie adaptare experimentare

Documents