rezumat teză de doctoratdoctorat.snspa.ro/wp-content/uploads/2016/09/rezumat_ro_ioana-borcan2.pdfau...
TRANSCRIPT
1
Rezumat teză de doctorat
Titlu: Implicaţii ale practicilor UE de evaluare. Analiza Noului Cadru de Concepte şi
Recomandări pentru Monitorizarea şi Evaluarea Politicii de Coeziune în Perspectiva
Financiară 2014-2020
Domeniu: Ştiinţe Politice – Relaţii Internaţionale
Autoare: Drd. Ioana Borcan
Conducător ştiinţific: Prof.univ.dr. Iordan Gh. Bărbulescu
Prin lucrarea de faţă mi-am propus să analizez practicile de evaluare recomandate la nivelul
Uniunii Europene şi posibilele implicaţii ale acestora asupra rezultatelor şi recomandărilor
formulate. Mai exact, prin intermediul său, am dorit construirea unui model de analiză a
asumpţiilor teoretice existente în spatele practicilor de evaluare, şi aplicarea acestuia evaluărilor
solicitate de către Comisia Europeană în privinţa Politicii de Coeziune din perspectiva
financiară 2007-2013, dar şi specificaţiilor din noul Ghid de concepte şi recomandări privind
monitorizarea şi evaluarea FEDR şi FC în perspectiva financiară 2014-2020.
Aici, ar putea fi ridicată întrebarea „de ce este relevant să cunoaştem şi să analizăm
asumpţiile teoretice din spatele practicilor de evaluare, în general, şi a celor recomandate la
nivelul Uniunii Europene, în particular?”. Prin includerea anumitor criterii în termenii de
referinţă, grupurile interesate (în cazul de faţă, Comisia Europeană, reprezentanţi ai
instituţiilor de la nivel naţional, regional şi local, organizaţii neguvernamentale,
reprezentanţi ai mediului privat, etc.) decid ce poate fi considerat ca fiind valoros sau
nu. Acest lucru se întâmplă şi în cazul ghidurilor furnizate de către Comisia Europeană,
atunci când recomandă prin intermediul acestora anumite practici şi direcţii de evaluare.
Astfel, atunci când Comisia recomandă în Ghidul de evaluare şi monitorizare al Fondului
European de Coeziune şi Fondului European de Dezvoltare Regională concentrarea pe
rezultate, înseamnă că acestea sunt considerate ca fiind mai importante de urmărit de către
evaluatori. Mai mult, în spatele acestei decizii se pot afla implicaţii multiple şi, de asemenea,
poate genera efecte diverse la nivelul statelor membre. De exemplu, de la o perspectivă
financiară la alta, practicile de evaluare recomandate în cazul Politicii de Coeziune au
înregistrat o serie de schimbări, pe care le abordez mai pe larg alături de motivele care au dus
la realizarea acestora în capitolul dedicat evoluţiei Politicii de Coeziune şi practicilor de
evaluarea aferente acesteia.
2
De ce am ales evaluările realizate în cazul Politicii de Coeziune şi nu aferente unei alte
politici europene? Fondul European de Dezvoltare Regională, care alături de Fondul de
Coeziune şi celelalte fonduri structurale se află la baza Politicii de Coeziune, a fost creat în
1975 cu scopul de a contrabalansa predominanţa politicii agricole comune şi de a combate
şomajul structural existent la acel moment în statele membre. Iar de atunci, acestea au tins să
fie extinse unui număr tot mai ridicat de domenii şi chiar să depăşească PAC din punct de
vedere al alocării financiare. Prin urmare, am ales această politică pe de-o parte, datorită
volumului ridicat de resurse alocate, dar şi datorită faptului că aceasta a ajuns să fie una
dintre politicile cele mai intens evaluate de la nivelul UE (Bachtler şi Wren, 2006). De altfel,
am putea spune că intensitatea cu care se realizează evaluări în acest caz, se datorează tocmai
procentului ridicat de resurse alocate. Resursele financiare investite în intervenţiile aferente
politicii de coeziune trebuiesc justificate şi legitimate în faţa cetăţenilor contibuabili. Iar
evaluarea reprezintă poate cel mai bun instrument capabil să indice raportul dintre resursele
cheltuite şi rezultatele obţinute.
Numai că, în opinia mea şi după cum au susţinut şi numeroşi teoreticieni din domeniu,
evaluarea poate furniza chiar mai multe beneficii, reflectate în funcţiile şi scopurile sale. De
exemplu, în Ghidul EVALSED elaborat de către Comisia Europeană sunt recunoscute
următoarele scopuri ale evaluării: responsabilitatea financiară (accountability), planificare/
eficienţă, îmbunătăţirea implementării, dobândirea de cunoaştere, şi întărirea capacităţii
administrative. Iar în capitolul 6, analizez pe larg aspectele ce ţin de şi implicaţiile scopurilor
evaluării, în special prin raportarea acestora la celelalte elemente ale modelului de analiză
construit. Pe de altă parte, toate cele 10 elemente ale modelului se află în relaţie de
interdependenţă, influenţându-se reciproc unele pe celelalte. Iar modul în care acestea sunt
combinate reprezintă un element de noutate adus de către lucrarea de faţă. Mai ales în
condiţiile în care aceasta urmăreşte să vadă în ce măsură abordarea teoretică din spatele
practicilor de evaluare sunt interconectate cu scopurile asumate de către evaluările aferente.
Subiectul abordat este analizat în cadrul a 9 capitole care includ atât referiri la stadiul
cercetărilor deja realizate în domeniu, cât şi o cercetare de birou şi o analiză a datelor
empirice colectate din rândul a 45 de evaluatori din România, dar şi de la nivel european şi
nivel internaţional. În capitolul 1 fac o introducere cu privire la subiectul lucrării şi expun o
serie de aspecte privind justificarea şi relevanţa temei alese, şi realizez o descriere a
metodologiei folosite în analiză. În cel de-al doilea capitol arăt cum anumite prezumţii
specifice teoriilor integrării, Europenizării şi neoinstituţionalismului istoric descriu relaţia
3
existentă între instituţiile UE, şi în special Comisia Europeană, şi teoriile despre
componentele programelor specifice Politicii de Coeziune. Pe de altă parte, demersul meu de
cercetare se fundamentează într-o anumită măsură pe ideea că aceste teorii sunt influenţate în
mod puternic de către instituţiile Uniunii Europene.
Ulterior, în capitolul 3, dedic atenţie celor mai frecvent întâlnite paradigme şi abordări din
evaluare (pozitivismul, realismul şi constructivismul), precum şi implicaţiilor avute de
alegerea uneia dintre acestea în ghidarea practicilor de evaluare. Însă, tot aici, am ales să
dedic un subcapitol separat şi abordării evaluării bazate pe teorie, întrucât sunt de părere că
toate evaluările ar trebui să analizeze teoria programului şi logica din spatele procesului de
implementare şi a rezultatelor obţinute. Prin utilizarea acestei abordări putem ştii mai bine ce
fel de intervenţii funcţionează şi cum, iar prin construirea unei viziuni sistemice cu privire la
programele implementate, putem câştiga mult mai multă cunoaştere, spre deosebire de
situaţia în care ne-am concentra exclusiv pe rezultate. Prin urmărirea pas cu pas a procesului
de implementare şi a relaţiilor de cauzalitate putem să îmbunătăţim performanţele şi modul
de implementare al unui program.
În capitolul 4, descriu şi analizez evoluţia în timp a politicii europene de coeziune, precum şi
orientările din evaluarea acesteia. Tot aici, descriu reţeaua actorilor implicaţi în procesul de
evaluare şi includ o serie de consideraţii cu privire la politica de coeziune în perioada de
programare 2014-2020 şi la noul cadru cu concepte şi recomandări privind evaluarea şi
monitorizarea acesteia. Toate acestea, pentru ca, în cel de-a cincilea capitol, să descriu şi să
analizez elementele noului model de analiză a practicticilor de evaluare, precum şi relaţiile
care se stabilesc între acestea.
Pentru construcţia modelului de analiză am pornit de la elementele modelului realizat de
către autorii Hoerner şi Stephenson (2011) – asumpţii epistemologice, metodologie, tipul de
abordare (de sus în jos sau de jos în sus/ abordare micro sau macro), implicarea grupurilor de
interese şi rolul evaluatorului, cărora le-am adăugat alte cinci dimensiuni de analiză pe care
le-am considerat ca fiind necesare în vederea realizării unei analize mai în profunzime a
asumpţiilor teoretice ce stau la baza practicilor de evaluare şi a implicaţiilor acestora –
ontologie, relaţiile de cauzalitate, atitudinea faţă de valori, scopul evaluării şi tipul de
învăţare. Astfel, în capitolul 5 am analizat pe rând fiecare element menţionat şi am descris
rolul acestora în modelul de analiză, din punct de vedere al informaţiilor pe care ni le pot
furniza despre practicile de evaluare.
4
Mai departe, am ales să dedic un capitol special scopurilor evaluării şi relaţiei acestora cu
tipul de învăţare, tocmai datorită rolului important pe care aceste două elemente le au în
contextul modelului de evaluare, dar şi pentru o expunere mai pe larg a raţiunilor existente în
spatele scopurilor enunţate de către Comisia Europeană în Ghidul EVALSED, şi pentru a
analiza mai în profunzime modul în care sistemul construit de către autorul Richard
Hummelbrunner (2015) se aplică în cazul de faţă. După care, arăt cum modelul de analiză
elaborat poate fi aplicat, prin analiza unui pachet de lucru din perspectiva financiară 2000-
2006 şi a altor 7 pachete de lucru din perspectiva financiară 2007-2013. În total, există 15
pachete de lucru formate din termeni de referinţă şi raport final de evaluare aferente
intervalului 2007-20131, însă la momentul realizării analizei nu erau toate disponibile pe
pagina de internet a Comisiei Europene. În secţiunea dedicată metodologiei am menţionat
mai multe despre criteriile pe baza cărora am ales cele 7 pachete de lucru în vederea analizei.
Iar pentru realizarea unei analize mai comprehensive, recomand continuarea cercetării prin
includerea tuturor pachetelor de lucru aferente perioadei.
În continuare, lucrarea include şi un capitol de analiză statistică şi analiză calitativă a
răspunsurilor obţinute în urma aplicării unui chestionar mai multor evaluatori de la nivel
naţional, european şi internaţional. Din cele 49 de răspunsuri obţinute, 45 au fost considerate
valide şi, drept urmare, au fost incluse în procesul de analiză. Menţionez că, printre
respondenţi, s-au aflat în special evaluatori din România şi din Spania, dar şi profesionişti de
la nivel internaţional, ale căror nume sunt bine-cunoscute în domeniu. Şi, după cum reiese,
din analiză, nivelul de experienţă al respondenţilor este preponderent unul ridicat. Identitatea
respondenţilor a fost anonimă, iar cei care doresc să consulte baza de date pe care a fost
fundamentată cercetarea îi pot scrie autoarei la următoarele adrese de e-mail:
[email protected]; [email protected].
În capitolul 9, sunt formulate o serie de concluzii rezultate în urma cercetării, precum şi o
serie de recomandări construite pe baza acestora din urmă.
Metodologie
Într-un articol din 2012, autorii Hoerner şi Stephenson publică rezultatele cercetării pe care
au realizat-o cu privire la perspectivele teoretice specifice evaluării de politici în cadrul UE.
1 A se vedea Anexa nr. 1 – Pachete de lucru Politica de Coeziune 2007-2013.
5
Mai specific, aceştia analizează 3 evaluări solicitate de către Comisia Europeană pe baza unui
model de analiză elaborat de către aceştia. Spre deosebire de aceştia, am ales să construiesc
un model mai elaborat, pe baza a 10 caracteristici (faţă de cele 5 caracteristici propuse de
către cei doi autori) pentru o analiză mai în profunzime a practicilor de evaluare la nivelul
UE. Cele 10 caracteristici (ontologie, epistemologie, metodologie, tip de abordare, relaţiile de
cauzalitate, implicarea grupurilor de interese, atitudinea faţă de valori, rolul evaluatorului,
scopul evaluării şi tipul de învăţare) sunt abordate pe larg în capitolul 5 referitor la modelul
de analiză a practicilor de evaluare dezvoltat şi aplicat în această teză.
Obiectiv general
- să analizez abordările teoretice specifice practicilor de evaluare de la nivelul UE.
Obiective specifice
- să analizez practicile de evaluare din cadrul UE cu privire la politica de coeziune în
perspectiva financiară 2007-2013, dar şi cu privire la implicaţiile avute de către
practicile propuse pentru 2014-2020;
- să analizez modul în care este perceput scopul evaluării la nivelul instituţiilor UE, în
cadrul altor organizaţii internaţionale şi din cadrul statelor membre, ce activează în
domeniul evaluării, precum şi din punct de vedere al evaluatorilor;
- să analizez perspectivele evaluatorilor cu privire la practicile de evaluare recomandate
de către CE.
Metode folosite:
consultarea literaturii de specialitate cu privire la următoarele subiecte:
neoinstituţionalism şi integrare europeană, abordările teoretice şi metodele folosite în
evaluarea Politicii de Coeziune, evaluarea bazată pe teorie, scopurile evaluării şi tipuri
de învăţare;
cercetare de birou – analiză de documente în cazul termenilor de referinţă şi
rapoartelor iniţiale sau finale de evaluare – aferente a 7 pachete de lucru (a se vedea
Anexa nr. 1 cu lista pachetelor de lucru analizate);
colectare de date primare prin metoda anchetei sociologice – instrument: grilă
chestionar;
6
analiză de date primare – analiză cantitativă şi calitativă a răspunsurilor obţinute în
urma aplicării instrumentului – scop: de explorare şi aprofundare a anumitor aspecte
urmărite prin intermediul celorlalte metode.
Limite
Pentru prima parte a cercetării, am aplicat modelul de analiză în cazul a 7 pachete de lucru
constând în: 6 dintre acestea – seturi de termeni de referinţă şi rapoarte finale de evaluare; iar
cel de-al şaptelea este alcătuit din documentul conţinând termenii de referinţă şi raportul
iniţial de evaluare, întrucât raportul final încă nu fusese publicat pe pagina de internet a
Comisiei (până la data de 30 august).
Chestionarul a fost trimis potenţialilor respondenţi în luna August 2016 şi în prima parte a
lunii Septembrie 2016. Data până la care am colectat răspunsuri este 9 septembrie. În acest
interval am primit 49 de răspunsuri, însă am fost nevoită să exclud 4 formulare de răspuns
datorită faptului că erau incomplete.
Limitări
În cazul raportului final de evaluare aferent pachetului de lucru nr. 8 – Eficienţă energetică,
nu am analizat şi documentele conţinând studiile de caz deoarece acestea nu erau publicate pe
pagina de internet a CE. În cazul celorlalte pachete de lucru, am analizat şi metodologia
aferentă acestora, acolo unde evaluarea includea respectiva metodă.
O altă limitare se datorează faptului că nu sunt membră a Societăţii Europene de Evaluare şi
nici a Asociaţiei Americane de Evaluare. Ambele ar fi putut fi de folos în vederea trimiterii
chestionarului către un număr mai ridicat de evaluatori de la nivel european şi internaţional.
Însă, datorită sumelor ridicate care ar fi fost necesare în vederea dobândirii calităţii de
membru, am ales să folosesc mai degrabă grupurile profesionale din domeniul evaluării de pe
platforma socială online LinkedIN. Mai jos, este descrisă mai pe larg metodologia folosită în
cazul anchetei sociologice, iar chestionarul propriu-zis poate fi consulta în Anexa nr.3.
Metodologie anchetă sociologică
Prin intermediul acestei anchete sociologice, doresc să aflu mai multe despre cum se
raportează evaluatorii faţă de termenii de referinţă, dar şi despre metodele de evaluare pe care
le preferă şi pe care le folosesc. O atenţie sporită o voi acorda scopurilor evaluării pe baza
cărora aceştia îşi ghidează activitatea. Iniţial, intenţionam să folosesc metoda interviului, însă
7
datorită faptului că exista posibilitatea ca un număr ridicat de respondenţi să se fi aflat deja în
perioada de concediu2 sau ca aceştia să fie mai reticenţi în a ne întâlni pentru realizarea
interviurilor, am decis transformarea grilei de interviu într-un chestionar. Iar pentru a putea
înregistra opinii şi perspective ale evaluatorilor vizavi de subiectele abordate, am ales să
folosesc modelul de scală dezvoltat de către cercetătorul Rensis Likert. Astfel, am ales să
folosesc modelul scalei Likert în cinci puncte după cum urmează: Acord total (1); Acord (2);
Neutru (3); Dezacord (4); Dezacord total (5).3 Avantajul utilizării acestui design de cercetare
constă în faptul că permite analiza calitativă de date colectate prin metode cantitative.
Link-ul pentru completarea chestionarului a fost trimis tuturor persoanelor care activeaza în
domeniul evaluării din baza de date de contact personale ale autoarei şi prin mesaj pe portalul
social Linkedin tuturor contactelor autoarei, care lucrează în domeniu. Mai mult, un anunţ
conţinând link-ul către formularul în cauză a fost publicat şi pe pagina de Linkedin a autoarei
şi pe paginile aferente mai multor grupuri profesionale din evaluare din cadrul aceleiaşi reţele
sociale profesionale4.
Întrebările folosite în cadrul chestionarului au fost grupate în domeniul următoarelor
dimensiuni de analiză:
Scopul evaluării
Q12: Care este scopul evaluării în opinia dumneavoastră? Variante de răspuns:
responsabilitatea financiară; luarea deciziilor; învăţarea şi dobândirea de cunoaştere;
îmbunătăţirea programelor; întărirea capacităţii administrative/ organizaţionale; altele (vă
rog, specificaţi).
Menţionez că, în acest caz, evaluatorii au putut opta pentru mai multe variante de răspuns, şi
că acestea din urmă s-au bazat pe cele cinci scopuri ale evaluării enunţate în Ghidul
EVALSED.
Tipul de metode/instrumente şi tehnici preferate/ utilizate de către evaluatori şi
motivele pentru care le-au folosit
2 Chestionarul a fost trimis respondenţilor în luna august 2016. 3 În engleză: Strongly agree (1); Agree (2); Neutral (3); Disagree (4); Strongly disagree (5). 4 De exemplu: American Evaluation Association (19 456 membri); Monitoring and
Evaluation Professionale (43 106 membri); Balkan Forum of Evaluators (228 membri).
8
Această dimensiune de analiză este adresată în mod direct prin întrebările Q14 şi Q15, şi
indirect de cele 9 subpuncte din Q165.
Q14: Ce metode folosiţi/ aţi folosit de obicei în procesul de evaluare?
Q15: Ce instrumente de colectare a datelor folosiţi/ aţi folosit în procesul de evaluare?
Iar Q16 urmăreşte să identifice motivaţiile din spatele utilizări anumitor metode de
evaluare sau tehnici şi instrumente de colectare a datelor.
Utilizarea evaluării
Q17: Dumneavoastră aţi fost cel/ cea responsabil/ă pentru diseminarea rezultatelor
evaluării?;
Q18: Dacă da, ce grupuri aţi vizat pentru diseminarea rezultatelor evaluării? Variante
de răspuns: decidenţi; solicitanţi ai evaluării/ clienţi; publicul larg; nu este cazul;
grupuri specifice (vă rog daţi exemple);
Şi cele 10 subpuncte din cadrul Q19, prin care este urmărită înregistrarea opiniilor
evaluatorilor vizavi de scopurile în care au fost utilizate rezultatele evaluării la nivel
naţional şi european.
Paradigme şi abordări teoretice preferate/ folosite
Q20: Consideraţi că activitatea dumneavoastră în domeniul evaluării este ghidată de
anumite paradigme şi abordări teoretice din domeniu?
Q21: Dacă da, vă rog să menţionaţi care sunt acestea şi câteva motive pentru care aţi
ales să le folosiţi.
Suplimentar, chestionarul urmăreşte să afle şi în ce măsură sunt evaluatori participanţi
familiarizaţi cu noul ghid de monitorizare şi evaluare a politicii de coeziune în perspectiva
financiară 2014-2020, dar şi cu metodele de evaluare de impact recomandate prin intermediul
acestuia: evaluarea de impact de tip contrafactual şi evaluarea de impact bazată pe teorie.
De asemenea, la începutul formularului sunt incluse şi o serie de întrebări care urmăresc
aflarea de date socio-demografice despre respondenţi, dar şi despre ţara de origine şi de
reşedinţă, despre sursele de informare ale acestora cu privire la domeniul evaluării, şi
apartenenţa acestora în cadrul anumitor organizaţii şi societăţi profesionale specifice. Astfel,
Q1-11 sunt după cum urmează:
5 A se vedea Anexa nr. 3: Grilă chestionar evaluator.
9
Q1: Domeniul de activitate (întrebare deschisă)6;
Q2: Nivelul experienţei în domeniul evaluării (0-3 ani; 3-5 ani; 5-10 ani; mai mult de
10 ani);
Q3: Vârsta (18-24; 25-34; 35-44; 45-54; 55-64; 65-74; 75 sau mai mult;
Q4: Gen (feminin sau masculin);
Q5: Ţara de origine (întrebare deschisă);
Q6: Ţara de reşedinţă (întrebare deschisă);
Q7: Nivel cel mai înalt de educaţie urmat (licenţă, master, doctorat, altul);
Q8: În ce domeniu de studiu aţi primit diploma pentru cel mai înalt nivel de studiu?
(întrebare deschisă);
Q9: Aţi participat la realizarea de evaluări la __? (nivel local, nivel naţional, nivel
european; nivel internaţional; toate variantele de răspuns);
Q10: Sunteţi membru/ membră a unei asociaţii din domeniul evaluării de la __?
(nivel naţional, nivel european, nivel internaţional, toate variantele de mai sus, nu sunt
înregistrat/ă în nicio asociaţie de profil.
Q11: Din ce surse vă informaţi despre ultimele evoluţii şi ştiri din domeniu? Variante
de răspuns: cărţi/ jurnale academice; grupuri de discuţii şi forumuri puse la dispoziţie
de asociaţiile din care fac parte; alte grupuri de discuţii şi forumuri; buletine
informative trimise de asociaţiile din care fac parte; cursuri de formare profesională;
altele (vă rog specificaţi).
Prin intermediul corelării răspunsurilor primite la întrebările Q5 şi Q6 cu răspunsurile
înregistrate cu privire la practicile şi paradigmele de evaluare preferate şi/sau folosite de către
respondenţi, intenţia a fost de a explora o serie de aspecte cu privire la scopurile evaluării
pentru care aceştia şi-au manifestat opţiunea şi scopurile evaluării urmărite în cadrul
organizaţiilor ce îşi desfăşoară activitatea în aceleaşi state ca şi respondenţii.
6 Aceasta funcţionează şi ca întrebare filtru, pentru a mă asigura că respondenţi activează în
domeniul evaluării sau alte domenii conexe.
10
Concluzii analiză răspunsuri anchetă sociologică
Scopuri
evaluare
responsabilitate
financiară
luare
decizii
întărirea
capac.admin.
îmbunătăţirea
politicilor/progr.
cunoaştere/
învăţare
Nivel naţ CE naţ CE naţ CE naţ CE naţ CE
Procent
acord &
acord total
30.8 66.6 41.6 38.5 25 46.2 50 61.6 66.7
Procent
dezacord &
dezacord
total
23.1 16.7 25 30.8 33.3 23.1 25 7.7 25
Neutru 46.2 16.7 33.3 30.8 41.7 30.8 25 30.8 8.3
Tabel nr.1: Scopurile evaluării
Dacă ar fi să realizăm câte un top al scopurilor evaluării la nivel naţional şi la nivel de
evaluări solicitate de către CE, vom obţine următoarele rezultate. În cazul evaluărilor
realizate la nivel naţional ordinea importanţei este următoarea: dobândirea de cunoaştere şi
învăţare; îmbunătăţirea politicilor şi programelor; întărirea capacităţii administrative/
organizaţionale; şi, pe ultimul loc, responsabilitatea financiară. Iar în cazul evaluărilor
solicitate de către CE, topul ar fi după cum urmează: dobândirea de cunoaştere şi învăţare
(66.7%); responsabilitatea financiară urmează îndeaproape (66.6%); îmbunătăţirea politicilor
şi programelor (50%); luarea deciziilor (41.6%); iar întărirea capacităţii administrative se
poziţionează pe ultimul loc (25%), aflându-se chiar la o distanţă procentuală mare faţă de
scopurile dinainte.
Astfel, în ambele cazuri dobândirea de cunoaştere şi învăţarea reprezintă cel mai important
scop de urmat prin evaluare. De altfel, şi îmbunătăţirea programelor şi politicilor reprezintă
un scop important din punct de vedere al tuturor evaluatorilor chestionaţi. Însă o diferenţă
notabilă între cele două categorii se remarcă în privinţa scopului privind responsabilitatea
financiară (accountability). În timp ce 66.6% dintre evaluatorii care au participat la evaluări
solicitate de CE declară că acestea din urmă urmăresc asigurarea responsabilităţii financiare,
doar 30.8% dintre cei care au participat la evaluări derulate la nivel naţional sunt de acord că
acest scop este urmărit în cadrul respectivelor evaluări.
Pe de altă parte, scopul care a înregistrat cele mai ridicate procente de dezacord la ambele
niveluri – naţional şi european (30.8%, respectiv 33.3%), este cel referitor la întărirea
capacităţii administrative/ organizaţionale. Orientarea mai scăzută a evaluărilor solicitate de
11
CE pe acest scop reiese, de altfel, şi din analiza termenilor de referinţă şi rapoartelor de
evaluare ex-post pentru programele implementate în perspectiva financiară 2007-2013. În
cadrul respectivelor documente, acest scop nu a fost asumat în mod explicit, ci, după cum am
concluzionat în analiză, reiese din anumite activităţi presupuse de procesul de evaluare, cum
ar fi sesiunile de consultare a AM-urilor şi a reprezentanţilor CE cu privire la rezultatele
evaluării.
Pentru a analiza mai în profunzime motivele care stau în spatele anumitor diferenţe
înregistrate, de exemplu, cum se întâmplă şi în cazul scopului privind responsabilitatea
financiară, recomand realizarea şi de interviuri în profunzime cu evaluatorii şi aplicarea unui
chestionar unui număr mai ridicat de respondenţi, pentru un grad mai ridicat de
reprezentativitate.
Pe de altă parte, pentru a afla ce tipuri de metode sunt indicate de către evaluatorii
respondenţi ca fiind utilizate cel mai mult, am realizat o analiză a răspunsurilor acestora
oferite la Q14. Iar pentru a putea realiza şi o analiză statistică acestora am optat pentru o
codificare a răspunsurilor primite în funcţie de următoarele categorii: a) metode cantitative;
b) metode mixte + metode cantitative; c) metode mixte; d) metode mixte + metode calitative;
e) metode calitative. Astfel, variantele de răspuns iau oarecum forma unei scale de tip Likert,
în care limitele sunt reprezentate de metodele cantitative, pe de o parte, şi metodele calitative,
în cealaltă parte, iar metodele mixte reprezintă centrul scalei.
Un exemplu al modului în care am realizat codificarea răspunsurilor deschise primite este:
atunci când un respondent a spus că preferă utilizarea atât de metode calitative, cât şi
cantitative, am încadrat răspunsul său la varianta c), metode mixte. Iar în cazul variantelor de
răspuns de tipul b) metode mixte + metode cantitative, şi d) metode mixte + metode
calitative, am inclus formulările care făceau referire în mod explicit la metode mixte de
evaluare, dar care includeau în plus şi menţiuni cu privire la metode calitative sau cantitative.
Cantitativ Calitativ Mixte
Mixte +
calitative
Mixte +
cantitative
e
12
Tabelul nr.2: Codificare răspunsuri Q14 – Tipuri de metode de evaluare utilizate
preponderent
Figura nr.1: Codificare răspunsuri Q14 – Tipuri de metode de evaluare utilizate preponderent
Din tabelul şi figura de mai sus se poate observa predominanţa metodelor calitative şi a celor
mixte de evaluare. 39.5% dintre răspunsuri au putut fi încadrate la varianta e) de răspuns
(metode calitative), 23.7% la varianta d) metode mixte + metode calitative. Despre 31.6%
dintre respondenţi s-a putut considera că preferă metode mixte. Iar cei care au optat pentru
varianta metodelor cantitative reprezintă un procent de doar 5.3%.
13
În capitolul 8, am realizat însă şi o analiză pe rând a răspunsurilor oferite referitor la scopurile
evaluării de către cei care au optat pentru o variantă sau alta de răspuns cu privire la metodele
de evaluare folosite.
m.calitative şi m.mixte +
m.calitative
m.cantitative şi m.mixte +
m.cantitative
Da Nu Da Nu
Responsabilitate
financiară
50% 50% 57.1% 42.9%
Luarea
deciziilor
79.2% 20.8% 92.9% 7.1%
Dobândirea de
cunoaştere
79.2% 20.8% 57.1% 42.9%
Îmbunătăţirea
programelor
79.2% 20.8% 92.9% 7.1
Întărirea
capacităţii
administrative
54.2% 20.8% 42.9% 57.1%
Tabelul nr.3: Scopurile evaluări şi tipul de metode folosite preponderent
Din tabelul de mai sus, putem observa diferenţele existente între cele două categorii grupate
de respondenţi – cei care au optat pentru metode cantitative şi metode mixte + metode
cantitative; şi cei care au ales fie metode calitative doar, fie metode mixte + metode calitative.
Prima categorie menţionată include 14 respondenţi, în timp ce cea de-a doua include cu 10
mai mulţi, 24 de respondenţi. În acest caz, ipoteza mea era că evaluările bazate preponderent
pe metodologii cantitative sunt realizate în special cu scopul de a asigura responsabilitatea
financiară, sau în vederea luării de decizii. Iar în situaţia opusă, se află evaluările bazate
preponderent pe metodologii calitative care urmăresc în special dobândirea de cunoaştere şi
învăţarea.
Astfel, uitându-ne la tabelul de mai sus, putem observa că această ipoteză se verifică doar
într-o anumită măsură. 57.1% din respondenţii care folosesc preponderent metode cantitative
sprijină scopul privind responsabilitatea financiară. Însă acest procent este doar cu puţin mai
mare faţă de cele 50 de procente din cazul respondenţilor care folosesc preponderent metode
calitative. Mai mult, 92.9% respondenţi din prima categorie sprijină scopul luării de decizii,
14
comparativ cu cei 79.2% de respondenţi din cea de-a doua categorie. Atunci când este vorba
de scopul privind dobândirea de cunoaştere şi învăţare prin evaluare, 79.2% dintre
respondenţii care preferă utilizarea de metode calitative l-au sprijinit, în timp ce doar 57.1%
din cealaltă categorie au optat pentru acesta. Pe de altă parte, procentele înregistrate în cazul
scopului de îmbunătăţire a programelor au arătat că acest scop poate fi corelat puţin mai mult
cu metodologiile de tip cantitativ, spre deosebire de cele calitative (92.9% dintre respondenţi
faţă de 79.2% în cea de-a doua categorie). Iar în ceea ce priveşte scopul referitor la întărirea
capacităţii administrative/ organizaţionale, răspunsurile obţinute sunt împărţite. Procentul
respondenţilor care au optat pentru folosirea preponderentă de metode calitative şi care,
totodată, sprijină acest scop este mai mare decât în cazul respondenţilor care au optat pentru
folosirea de metode cantitative. Chiar şi aşa, aici trebuie atrasă atenţia asupra faptului că, în
toate cazurile analizate, datorită numărului redus de respondenţi, nu putem generaliza sau
extrapola concluziile la care am ajuns.
Consideraţii finale
Analiza de faţă poate fi continuată prin aplicarea modelului de analiză tuturor pachetelor de
lucru aferente perioadei financiare 2007-2013. Autorii Hoerner şi Stephenson au aplicat
modelul lor de analiză în cazul practicilor de evaluare aferente perioadei 2000-2006 şi au
ajuns la concluzia că paradigma predominantă în respectiva perioadă este cea pozitivistă. Iar
în urma aplicării modelului extins pe care l-am construit în cadrul acestei lucrări asupra celor
7 pachete de lucru analizate am constatat o predominanţă a paradigmei realiste, spre
deosebire de cazul rezultatele obţinute de către cei doi autori menţionaţi anterior. Astfel,
putem spune că se remarcă o evoluţie în privinţa practicilor de evaluare recomandate de către
Comisia Europeană de la o abordare teoretică de tip pozitivist la una de tip realist. Iar aici,
reamintesc faptul că paradigmei realiste din evaluare îi sunt specifice utilizarea de metode
mixte de evaluare, un accent crescut acordat relaţiilor de cauzalitate şi elementelor ce ţin de
context, implicarea unui număr mai ridicat de grupuri de interese spre deosebire de cazul
paradigmei pozitiviste (însă unora dintre acestea li se acordă mai multă importanţă,
perspectivele lor având mai mare greutate), şi evaluatori care deconstruiesc mecanismele
existente în spatele programelor/ politicii.
Nr.crt. Evaluare Descriere Tip abordare
teoretică din evaluare
1. Evaluare intermediară
Program URBAN 2002
Abordare pozitivistă
15
2. Pachetul de lucru nr. 0 Evaluarea calităţii şi
a colectării datelor
Abordare pozitivistă
3. Pachetul de lucru nr. 2 Sprijin pentru IMM-
uri
Abordare realistă
4. Pachetul de lucru nr. 4 Sprijin acordat
marilor întreprinderi
Abordare realistă
5. Pachetul de lucru nr. 6 Mediu
Abordare realistă
6. Pachetul de lucru nr. 8 Eficienţă energetică
în clădirile publice şi
cele rezidenţiale
Abordare pozitivistă
în anumite cazuri,
combinată cu o
abordare realistă
7. Pachetul de lucru nr. 10 Evaluare ex-post a
dezvoltării urbane şi
infrastructurilor
sociale
Abordare pozitivistă
8. Pachetul de lucru nr. 12
Sisteme de livrare Abordare realistă
Tabel nr.4: Concluzii – abordări teoretice în evaluare
Învăţarea şi dobândirea de cunoaştere nu sunt urmărite ca scop în sine, ci reprezintă mai
degrabă un mijloc prin intermediul căruia pot fi îmbunătăţite performanţele programelor
viitoare.
Majoritatea evaluărilor analizate aveau potenţialul de a contribui la întărirea capacităţii
administrative, însă acest scop nu este urmărit de către autorii TOR în mod explicit. Prin
participarea la seminar a reprezentanţilor din partea AM-urilor şi a Comisiei, evaluarea poate
contribui la întărirea relaţiilor interinstituţionale prin încurajarea comunicării şi confruntarea
perspectivelor acestora, precum si la o mai bună înţelegere a ce funcţionează, cum, şi pentru
cine poate contribui în mod implicit şi la dezvoltarea capacităţii reţelelor de implementare a
programelor.
Pentru un grad mai ridicat de certitudine, însă, recomand aplicarea modelului de analiză în
cazul tuturor pachetelor de lucru existente pe pagina de internet a Comisiei Europene. Acelaşi
lucru este valabil şi în cazul analizei răspunsurilor obţinute prin aplicarea chestionarului.
Eşantionul de respondenţi (45 de răspunsuri valide) nu este suficient pentru a putea trage
concluzii generale cu privire la întreaga comunitate de evaluatori, fie aceasta de la nivel
european sau internaţional. Pe de altă parte, exerciţiul este extrem de util în vederea realizării
unei analize aprofundate a practicilor de evaluare preferate de către evaluatori, precum şi a
motivelor din spatele alegerilor făcute de către aceştia din urmă.
Anexa nr. 2: Grila de analiză propusă
Nr. crt. Descriptori Întrebări Pozitivism Realism
Autori: Pawson şi Tilley,
Constructivism
Autori: Stake, Guba şi Lincoln
1. Ontologie
(viziunea
asupra
realităţii)
Care este natura
realităţii? Poate fi aceasta
cunoscută?
Cum este percepută
realitatea de către
evaluator? (obiectivă/
subiectivă)
Realism naiv
Pozitiviştii susţin existenţa unei
singure realităţi, care poate fi
cunoscută prin intermediul
demersurilor ştiinţifice.
Există o realitate care poate fi
cunoscută şi care este determinată
de legi naturale şi mecanisme
imuabile Prin cercetare se poate
ajunge la rezultate despre
„adevărata” stare a lucrurilor. (Guba
şi Lincon, 1994, p.109) – existenţa
unei realităţi obiective
Realitate complexă1
Este recunoscută importanţa
contextului socio-economic şi a
factorilor determinanţi
Perspectivă sistemică –
programele fac parte din sisteme
sociale mai largi
Nu există o singură realitate, ci mai
multe realităţi, care derivă din sistemele
subiective de credinţe ale indivizilor.
(Christie şi Alkin, 2013, p.17)
Realitate subiectivă şi relativă
Acceptă existenţa mai multor realităţi
sociale (tot atâtea câti indivizi/ grupuri
interesate sunt implicaţi/e) care uneori
pot fi aflate chiar şi în conflict (Guba şi
Lincoln, 1994, p. 111)
2. Epistemologie
(natura
cunoaşterii)
Care este natura
cunoaşterii?
Poate fi cunoscută
realitatea?
Cunoaşterea constă în ipoteze
verificabile care pot fi privite ca
fapte şi legi potenţiale. (Guba şi
Lincon, 1994, p.113)
Teoriile pe care este
fundamentat un program trebuie
disecate şi analizate. (Pawson şi
Tilley, 2004)
Cunoştinţele şi descoperirile noi pot fi
înţelese doar prin prisma experienţelor,
credinţelor şi modurile de înţelegere a
lumii ale fiecărei persoane (Christie şi
Alkin, 2013, p.17)
1 Programele nu pot fi pe deplin izolate sau menţinute constante. În cazul acestora pot interfera evenimente neanticipate, schimbarea politică, schimbări de personal, interacţiuni
din cadrul programului sau între programe, nivelul de învăţare al practicienilor, prezenţa în media, imperativele organizaţionale, inovaţiile din performanţa managementului şi
altele. Astfel de externalităţi au întotdeauna un impact asupra programelor, ceea ce presupune că nu vor fi niciodată implementate la fel. Pe altă parte, realismul merge mai
departe în înţelegerea naturii schimbătoare a programelor, acestea din urmă fiind privite ca fiind chiar auto-transformatoare.
Intervenţiile de succes pot schimba condiţiile/ contextul care le-au făcut să funcţioneze în primă instanţă. Realiştii privesc programele ca fiind un set de interacţiuni sociale
plasat în mijlocul unei realităţi sociale complexe. (Pawson şi Tilley, 2004)
Putem ajunge la adevăr
prin intermediul
cercetării?
Rezultatele evaluării pot
fi considerate ca fiind
obiective/ subiective?
Există un adevăr
absolut?
În procesul de cercetare, cel care
încearcă să cunoască şi obiectul
cunoaşterii sunt interconectate. Pentru a
putea determina obiectul cunoaşterii,
cercetătorul construieşte o realitate care
se bazează şi se fundamentează pe
context şi experienţe. Acest lucru este în
contradicţie cu percepţia pozitivistă în
care se consideră că cercetătorul şi
obiectul cercetării sunt independente.
(Christie şi Alkin, 2013, p.17)
Natura cunoaşterii:
cunoaşterea constă în acele construcţii cu
privire la care există un consens relativ
(sau cel puţin o anumită mişcare spre un
consens) în rândul celor consideraţi
competenţi să interpreteze conţinutul
construcţiei. De asemenea, pot exista şi
„cunoaşteri multiple” atunci când există
viziuni diferite în rândul actorilor
competenţi. Aceste construcţii de
cunoaştere sunt supuse în permanenţă
unui proces de revizuire, fiind generate
schimbări când sunt juxtapuse altor
construcţii într-un context dialectic.
(Guba şi Lincon, 1994, p.113)
Pe scurt, atingerea unui consens pe baza
mai multor construcţii individuale
3. Metodologie Ce tip de metode sunt
folosite preponderent –
calitative sau
cantitative? (sau – Este
recomandat un anumit
tip de metode? Şi dacă
da, de care? – pentru
cazul documentelor
ghid)
Cum sunt colectate
datele? – Prin metode
calitative sau
cantitative? Dar în cazul
analizei?
Preponderent metode cantitative
Folosirea frecventă a
experimentului
Metode cantitative şi calitative
Folosirea de metode cantitative
sau calitative (în mod special,
studiile de caz) depinde de
specificul programului, de
context şi de necesarul de
evaluare. (Hoerner şi
Stephenson, 2012, p.706)
Preponderent calitative
Exemplu: studii de caz
Colectarea datelor: focus grup,
interviuri, povestea vieţii, etc.
4. Relaţiile de
cauzalitate
Evaluatorul poate
identifica legăturile de
cauzalitate existente în
cadrul programului
evaluat?
Relaţiile dintre cauze şi efecte pot fi
determinate şi analizate prin
intermediul cercetărilor ştiinţifice
Importanţă crescută acordată
relaţiilor de cauzalitate
Sunt folosite metode specifice
evaluări bazate pe teorie şi teorii
ale schimbării
Constructiviştii sunt de părere că este
imposibil de identificat relaţiile cauză-
efect, deoarece relaţiile sunt
interdependente, elementele analizate
influenţându-se reciproc tot timpul şi
simultan. (Christie şi Alkin, 2013, p.17)
5. Atitudinea
faţă de valori
Care este atitudinea faţă
de valori a evaluatorului/
autorilor TOR?
Le recunoaşte influenţa
asupra programului
şi/sau asupra
contextului?
Încearcă acesta să le
integreze în procesul de
Valorile sunt excluse.
Faptele şi valorile nu trebuie
separate, ambele fiind la fel de
importante pentru programele
implementate (Hoerner şi
Stephenson, 2012, p.706)
Valorile au un rol important în procesul
de evaluare.
Procesul de cercetare este influenţat de
valori şi, prin urmare, viziunile
părtinitoare/ prejudecăţile ar trebui
recunoscute. (Christie şi Alkin, 2013,
p.17)
evaluare? Şi dacă da, în
ce măsură?
6. Tip de
abordare: de
sus în jos sau
de jos în sus
Ce fel de analize sunt
derulate – la scară largă
(meta) sau studii
aprofundate la scară mai
mică?
Există un set de întrebări
stabilit la nivel central
de către evaluatori / cei
care au solicitat
evaluarea? Sau
întrebările sunt
fundamentate la nivel
local/ de bază?
Rezultatele evaluării pot
fi considerate
generalizabile?
Sau este recunoscută
importanţa contextului
socio-economic şi a
factorilor determinanţi?
Prezenţa unei logici
deductive/ inductive
De sus în jos
(la nivel macro, accent pe
generalizări, iar cazurile particulare
sunt lăsate deoparte) (Hoerner şi
Stephenson, 2012, p.706)
De sus în jos/ de jos în sus (nivel
macro/micro) (Hoerner şi
Stephenson, 2012, p.706)
De jos în sus (nivel micro, ia în calcul
specificităţile locale şi regionale,
posibilităţi reduse de a generaliza)
(Hoerner şi Stephenson, 2012, p.706)
Logică inductivă, în care cazurile
particulare servesc pentru formularea de
principii mai generale. (Christie şi Alkin,
2013, p.17)
Relevanţa la nivel local este considerată
ca fiind prioritară în faţă
generalizabilităţii. (Christie şi Alkin,
2013, p.17)
Concepţii similare celor din relativism.
7. Implicarea
grupurilor de
interes
În ce măsură sunt
implicate grupurile de
interes?
Este implicat un număr
ridicat sau redus de
grupuri de interes?
Care este gradul de
reprezentativitate al
grupurilor de interese
implicate? – A facilitat
evaluatorul participarea
grupurilor de interese
mai puţin vocale? În ce
etape ale procesului de
evaluare au fost
implicate grupuri de
interese şi de la ce nivel?
Metodele de evaluare/
cercetare folosite sunt
orientate către
implicarea actorilor
interesaţi?
Doar în mod pasiv ca actori
economici
Obiect al analizei (Hoerner şi
Stephenson, 2011, p.706)
Implicarea unui număr ridicat de
grupuri interesate.
Evaluatorii şi grupurile de
interese au o relaţie de tipul
profesor-elev
Sugestiile grupurilor de interese
reprezintă o parte importantă din
raportul de evaluare. (Hoerner şi
Stephenson, 2012, p.706)
Sunt implicate chiar şi grupurile de
interese care nu doresc să participe sau
care nu sunt conştiente de implicarea lor.
(Hoerner şi Stephenson, 2012, p.706)
Evaluatorul încearcă să implice toate
grupurile afectate de programul evaluat,
şi să se asigure că sunt reprezentate
inclusiv grupurile mai puţin vocale.
8. Rolul
evaluatorului
Cum sunt evaluatorii
conceptualizaţi?
Sunt percepuţi ca fiind
neutri sau mai degrabă
Actor dezinteresat (Guba şi Lincoln,
1994, p. 115)
Evaluatorul deconstruieşte
mecanismele existente în spatele
programelor/ politicii şi le
analizează pe baza teoriilor
Evaluatorul ca „participant pasionat”
implicat în mod activ în facilitarea
reconstrucţiei „multivoce” a
construcţiilor proprii şi ale celorlalţi
participanţi. Schimbarea este facilitată pe
ca un factor independent
în procesul de evaluare?
schimbării, însă nu este
implicat în mod activ.
măsură ce se formează respectivele
reconstrucţii, iar indivizii sunt stimulaţi
să acţioneze conform lor. (Lincoln, 1991
apud. Guba şi Lincoln, 1994, p.115)
Evaluatorul ca orchestrator şi facilitator
al procesului de cercetare, responsabil de
asigurarea reprezentării tuturor actorilor
afectaţi de către program
9. Scopul
evaluării –
atitudinea faţă
de rezultate,
obiective,
procesul de
implementare,
rolul evaluării
în procesul de
învăţare
În ce moment este
realizată evaluarea? –
ex-ante, intermediară,
ex-post?
Căror elemente din
procesul de înfăptuire a
politicilor şi programelor
li se acordă mai multă
importanţă conform
scopului evaluării în
cauză? (rezultate,
obiective, procesul de
implementare)
În ce măsură este
integrat în procesul de
evaluare rolul evaluării
ca facilitator al învăţării?
Concentrare pe rezultatele obţinute
şi pe raportarea acestora la
rezultatele aşteptate
Evaluare bazată pe teoria
programului
Accent pe procesul de
implementare2 („Ce
funcţionează, pentru cine, în ce
circumstanţe, în ce privinţe şi
cum?”) – Evaluarea este
responsabilă pentru testarea
teoriilor din spatele
programelor, despre cum acestea
ar trebui să funcţioneze.
Evaluarea este văzută ca
facilitator al învăţării – aceasta
urmăreşte să testeze teoriile unui
program în scopul rafinării
acestora
Accent crescut pus pe evaluare ca
instrument de învăţare.
2 Evaluarea realistă se foloseşte de 4 concepte cheie interconectate pentru explicarea şi înţelegerea programelor: mecanism, context, model de rezultate, şi configurarea
modelului context-mecanism-rezultate. (Pawson şi Tilley, 2004)
Care este scopul final al
evaluării derulate?
În ce privinţă se doreşte
utilizarea rezultatelor
acesteia?
Acest tip de evaluare face dificil
într-o anumită măsură procesul
de luare a deciziilor de către
decidenţii politici, deoarece îi
sunt specifice nuanţele (realitate
complexă)
10. Tipul de
învăţare
Învăţare într-o singură buclă Toate tipurile de învăţare Toate tipurile de învăţare
Anexa nr. 3: Grilă chestionar evaluatori
Evaluation scope and uses
Thank you for participating in my survey. Your feedback is very important.
1. Fields of work:
2. Level of experience in evaluation:
0-3 years;
3-5 years;
5-10 years;
more than 10 years.
3. What is your age?
18 to 24
25 to 34
35 to 44
45 to 54
55 to 64
65 to 74
75 or older
4. What is your gender?
Female
Male
5. Country of origin:
6. Country of residence:
7. What is the highest level of education you have completed?
Undergraduate school;
Graduate school;
Ph.D.
Other (please specify)
8. In which field of study have you received your highest degree?
9. Have you attended in evaluation at:
local level;
national level;
European level;
international level;
all of the above.
10. Are you a member of an evaluation association:
at national level;
at European level;
at international level;
all of the above;
I am not registered in any association of that kind.
11. Where from do you get informed regarding the latest developments and news from the field?
from books / academic journals;
from discussion groups and forums provided by the association I belong to;
from other discussion groups and forums;
from newsletters provided by the association/s I belong to;
from professional courses and training;
Other (please specify)
12. What is the scope of evaluation in your opinion?
accountability;
decision-making;
acquisition of knowledge and learning;
program improvement;
building administrative/ organizational capacity;
Other (please specify):
13. Have you attended in any evaluations requested by the European Commission?
Yes;
No.
14. What methods did / do you usually use in evaluation?
15. What instruments for data collection have you been / are you using in evaluation?
16. Please agree or disagree with the following statements:
Strongly agree Agree Neutral Disagree Strongly disagree N/A
I have used
thosemethods bec
ause they
weresuggested/
requested in the
terms of reference
(TOR).
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). Strongly
agree
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). Agree
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). Neutral
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). Disagree
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). Strongly
disagree
I have used
those methods bec
ause they
were suggested/
requested in the
terms of reference
(TOR). N/A
I have used
thoseinstruments
and
techniques becaus
e they
weresuggested/
requested in the
terms of reference
(TOR).
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). Strongly
agree
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). Agree
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). Neutral
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). Disagree
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). Strongly
disagree
I have used
those instruments
and
techniques becaus
e they
were suggested/
requested in the
terms of reference
(TOR). N/A
Strongly agree Agree Neutral Disagree Strongly disagree N/A
I have used
thosemethods bec
ause they
seemedappropriat
e for the context
and specific of the
program/ policy at
case.
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Strongly
agree
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Agree
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Neutral
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Disagree
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Strongly
disagree
I have used
those methods bec
ause they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. N/A
I have used
thoseinstruments
and
techniques becaus
e they
seemedappropriat
e for the context
and specific of the
program/ policy at
case.
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Strongly
agree
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Agree
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Neutral
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Disagree
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. Strongly
disagree
I have used
those instruments
and
techniques becaus
e they
seemed appropriat
e for the context
and specific of the
program/ policy at
case. N/A
The TOR for the
evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
The TOR for
the evaluations
commissioned by
the European
Commission are
offering me
freedom of choice
when it comes to
building evaluation
Strongly agree Agree Neutral Disagree Strongly disagree N/A
designs and
choosing
evaluation
methods.
designs and
choosing
evaluation
methods. Strongly
agree
designs and
choosing
evaluation
methods. Agree
designs and
choosing
evaluation
methods. Neutral
designs and
choosing
evaluation
methods. Disagree
designs and
choosing
evaluation
methods. Strongly
disagree
designs and
choosing
evaluation
methods. N/A
The TOR for the
evaluations
commissionedby o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods.
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. Strongly
agree
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. Agree
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. Neutral
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. Disagree
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. Strongly
disagree
The TOR for
the evaluations
commissioned by o
ther
organizations are
offering me
freedom of choice
when it comes to
building evaluation
designs and
choosing
evaluation
methods. N/A
I have found
myself in
situations in which
I thought
necessary
otherevaluation
methods than the
ones specified in
the TOR.
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. Strongly
agree
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. Agree
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. Neutral
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. Disagree
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. Strongly
disagree
I have found
myself in situations
in which I thought
necessary
other evaluation
methods than the
ones specified in
the TOR. N/A
Strongly agree Agree Neutral Disagree Strongly disagree N/A
I have found
myself in
situations in which
I thought
necessary other
evaluationinstrum
ents and
techniques than
the ones specified
in the TOR.
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the
TOR. Strongly
agree
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the TOR. Agree
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the
TOR. Neutral
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the
TOR. Disagree
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the
TOR. Strongly
disagree
I have found
myself in situations
in which I thought
necessary other
evaluation instrum
ents and
techniques than
the ones specified
in the TOR. N/A
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods.
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. Strongly
agree
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. Agree
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. Neutral
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. Disagree
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. Strongly
disagree
I have taken
actions (e.g. by
speaking with the
clients or other) in
order to be able to
use other
evaluation
methods. N/A
17. Were you the one responsible for disseminating evaluation results in some cases?
Yes;
No.
18. If yes, what groups did you target for disseminating evaluation results?
decision-makers;
evaluation commissioners/ clients;
the large public;
I was not responsible for disseminating evaluation results;
not the case;
Specific groups (please give examples):
19. Please agree or disagree with the following statements:
Strongly agree Agree Neutral Disagree Strongly disagree N/A
I believe that the
results for the
evaluations I have
undertaken
atnational
level are being
used
foraccountability
purposes.
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. Agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. Neutral
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. Disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used
for accountability
purposes. N/A
I believe that the
results for the
evaluations I have
undertaken
atnational
level are being
used fordecision-
making.
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. Agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. Neutral
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. Disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for decision-
making. N/A
Strongly agree Agree Neutral Disagree Strongly disagree N/A
I believe that the
results for the
evaluations I have
undertaken
atnational
level are being
used forbuilding
administrative
capacity.
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. Agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. Neutral
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. Disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for building
administrative
capacity. N/A
I believe that the
results for the
evaluations I have
undertaken at
national level are
being used
forimproving
policies and
programs.
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. Strongl
y agree
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. Agree
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. Neutral
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. Disagre
e
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. Strongl
y disagree
I believe that
the results for the
evaluations I have
undertaken at
national level are
being used
for improving
policies and
programs. N/A
I believe that the
results for the
evaluations I have
undertaken
atnational
level are being
used foracquiring
knowledge and
for learning.
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
learning. Agree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
learning. Neutral
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
learning. Disagree
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
I believe that
the results for the
evaluations I have
undertaken
at national
level are being
used for acquiring
knowledge and for
learning. N/A
Strongly agree Agree Neutral Disagree Strongly disagree N/A
learning. Strongly
agree
learning. Strongly
disagree
I believe that the
results for the
evaluations I have
undertaken and
commissioned by
theEuropean
Commission are
being used
foraccountability
purposes.
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. Agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. Neutral
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. Disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being used
for accountability
purposes. N/A
I believe that the
results for the
evaluations I have
undertaken and
commissioned by
theEuropean
Commission are
being utilized
fordecision-
making.
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. Agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. Neutral
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. Disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for decision-
making. N/A
I believe that the
results for the
evaluations I have
undertaken and
commissioned by
I believe that
the results for the
evaluations I have
undertaken and
I believe that
the results for the
evaluations I have
undertaken and
I believe that
the results for the
evaluations I have
undertaken and
I believe that
the results for the
evaluations I have
undertaken and
I believe that
the results for the
evaluations I have
undertaken and
I believe that
the results for the
evaluations I have
undertaken and
Strongly agree Agree Neutral Disagree Strongly disagree N/A
theEuropean
Commission are
being utilized
forbuilding
administrative/
organizational
capacity.
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. Strongly
agree
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. Agree
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. Neutral
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. Disagree
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. Strongly
disagree
commissioned by
the European
Commission are
being utilized
for building
administrative/
organizational
capacity. N/A
I believe that the
results for the
evaluations I have
undertaken and
commissioned by
theEuropean
Commission are
being utilized
forimproving
programs and
policies.
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. Strongly
agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. Agree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. Neutral
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. Disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. Strongly
disagree
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
for improving
programs and
policies. N/A
I believe that the
results for the
evaluations I have
undertaken and
commissioned by
theEuropean
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
I believe that
the results for the
evaluations I have
undertaken and
commissioned by
the European
Commission are
being utilized
Strongly agree Agree Neutral Disagree Strongly disagree N/A
foracquiring kno
wledge and for
learning.
for acquiring kno
wledge and for
learning. Strongly
agree
for acquiring kno
wledge and for
learning. Agree
for acquiring kno
wledge and for
learning. Neutral
for acquiring kno
wledge and for
learning. Disagree
for acquiring kno
wledge and for
learning. Strongly
disagree
for acquiring kno
wledge and for
learning. N/A
20. Do you consider that your activity in evaluation is being guided by certain paradigms and theoretical approaches from the field?
Yes;
No.
21. If yes, please mention what those are and state some of the reasons why you chose them?
22. Are you familiar with the specifications of the new guide of the European Commission for evaluation and monitoring of the European
Cohesion Policy in the 2014-2020 programming period?
Yes;
No.
23. Have you ever participated in counterfactual impact evaluations?
Yes;
No.
24. If yes, please mention shortly what are the advantages of that type of evaluation.
25. If yes, please mention shortly what are the disadvantages of that type of evaluation.
26. If yes, why did you use this type of evaluation?
because it was demanded through the TOR;
because it was suggested/ demanded by the client;
because it was considered to be adequate by the evaluation team;
because I considered it to be adequate;
Other (please specify):
27. Have you ever attended in theory-based impact evaluations?
Yes;
No.
28. If yes, please mention shortly what are the advantages of that type of evaluation?
29. If yes, please mention shortly what are the disadvantages of that type of evaluation?
30. If yes, why did you use this type of evaluation?
because it was demanded through the TOR;
because it was suggested/ demanded by the client;
because it was considered to be adequate by the evaluation team;
because I considered it to be adequate;
Other (please specify):
31. Any suggestions or comments for the author of this survey?
Thank you very much for taking the time to fill in this survey!