evaluarea programelor În sectorul public

8/18/2019 Evaluarea Programelor În Sectorul Public

1/9

Evaluarea programe lor în sectorul public

Evaluarea de programe tratează o serie de aspecte de ansamblu a evoluţiei domeniului

evaluării în România, în contextul dezvoltării paradigmei Noului Management Public. Atât procesul de pre-aderare, evoluţiile care au urmat aderării la Uniunea Europeană, cât şi

tendinţa instituţiilor publice spre un sistem de bugetare pe bază de programe, a început să

producă în ultimii ani efecte pozitive asupra dezvoltării evaluării de programe la nivel

instituţional, care au culminat cu înfiinţarea Unităţii Centrale de Evaluare în cadrul

Ministerului Finanţelor Publice şi cu lansarea Strategiei Naţionale de Evaluare.

La baza Evaluării de programe ca domeniu de activitate în administraţia publică stau o serie

de reglementări, mai ales cele provenite dinspre Comisia Europeană şi care au în vederea

realizarea sistematică de evaluări pentru proiectele finanţăte sau co-finanţate din fonduri

comunitare.

Printre principalele teme, Evaluarea de programe propune:

Un scurt istoric al evaluării de programe

Definirea principalelor concepte

Tipuri şi sisteme de evaluare

Metode de cercetare utilizate în evaluare

Evaluarea impactului social

Sisteme de indicatori

Concluzii. Relevanţa Evaluării de programe în contextul Administraţiei publice dinRomânia

1. Un scurt istoric al evaluării de programe

Istoricul evaluării se referă la contextul în care a apărut necesitatea evaluării de programe

şi a sistemului de bugetare pe bază de programe. „Evaluarea a debutat ca un domeniu practic

şi a devenit o disciplină recunoscută a cercetării ştiinţifice începând din anii 1960.” (Gârboan,

2006: 15) Mai exact, momentul istoric relevant pentru utilizarea masivă a evaluării poate fi

precizat în 1965, care a însemnat startul masiv în Statele Unite a unor programe destinate

combaterii sărăciei (War on Pover ty – război împotriva sărăciei, denumirea generală a setului

de programe) (Şandor, 2005: 73). Evaluarea de programe face distincţia între politică,

program şi proiect – toate acestea reprezentând materii prime ale evaluării.


2/9

2. Definirea principalelor concepte

Definirea evaluării programelor este făcută din diferite perspective şi se pune accentul pe

diferenţa între evaluare, monitorizare şi audit. În opinia unuia dintre autorii clasici în

domeniul evaluării, Michael Quinn Patton, evaluarea este colectarea sistematică de informaţii

despre activităţile, caracteristicile şi rezultatele programelor pentru a fi utilizate de anumite

personane cu scopul de a reduce nesiguranţele, pentru a spori eficacitatea şi a lua deciziile

oportune în legătură cu programele respective (Patton, 1986). Conform unor surse mai

recente, evaluarea proiectelor şi programelor în administraţia publică este o etapă specifică,

extr em de utilă în planificarea şi managementul proiectelor, o tehnică de cercetare şi un

instrument pentru realizarea politicilor publice, utilizat cu succes de către responsabili de

managementul instituţiilor şi al organizatiilor, de coordonarea proiectelor şi a programelor

derulate din fonduri publice sau private (Gârboan, 2007a: 135). Evaluarea este realizată de

regulă pornind de la sisteme de indicatori şi criterii de evaluare, agreate în literatura de

specialitate.

3. Tipuri şi sisteme de evaluare

Principalele tipuri de evaluare dezbătute în literatura de specialitate sunt: evaluarea

formativă, evaluarea sumativă, evaluarea reactivă şi prestabilită, cea ex -ante, concomitentă şi

ex- post, etc. Avantajele şi dezavantajele sistemului centralizat şi ale celui descentralizat de

evaluare reprezintă o problemă extrem de importantă în România, mai ales în contextul

implementării Strategiei Naţionale de Evaluare. „În timp ce o centralizare excesivă imprimă

lipsă de flexibilitate şi induce lipsa discreţiei administrative, descentralizarea poate atrage

după sine lipsa coerenţei, utilizarea deficitară a metodologiei, etc. Din acest motiv se optează

de cele mai multe ori pentru o soluţie intermediară: nici centralizare, dar nici descentralizare

excesivă” (Gârboan, 2006:40)

În cadrul evaluării de programe, distincţia între tipuri de evaluare, metode de evaluare şi

tehnici de evaluare este foarte importantă. Metodele, ca şi tipurile de evaluare, se selectează în

funcţie de o serie de variabile precum: priorităţile strategice şi de cele ale părţilor implicate,

de caracteristicile programului, stadiul de implementare al programului, de datele disponibile,

de stadiul evaluării, etc. Tendinţa pe plan internaţional este de a utiliza concomitent mai multe

modele de evaluare. Studiile şi rapoartele de evaluare trebuie să răspundă atât unor întrebări privind procesul, cât şi unor întrebări privind rezultatele; interesează în acelaşi timp efectele


3/9

economice şi cele de impact social. Mai ales în cazul proiectelor finanţate din bani pub lici,

tendinţa este de a utiliza modelele de evaluare care se concentrează nu numai pe rezultate, ci

şi pe efectele asupra beneficiarilor direcţi ai proiectelor (cetăţenii).

4. Metode de cercetare utilizate în evaluare

În evaluarea de programe sunt utilizate atât metodele cantitative de cercetare, cât şi cele

calitative. Paradigma multi-metodă este, de asemenea, frecvent utilizată. Totodată, în acest

capitol sunt discutate probleme legate de eşantionare şi probleme legate de managementul

datelor. “Un anumit grad de cuantificare este necesar în toate studiile de evaluare pentru a

aprecia succesul intervenţiilor şi amploarea efectelor adverse. În acelaşi timp, metodele

calitative de cercetare sunt extrem de utile în rafinarea instrumentelor de cercetare şi în

aprofundarea informaţiei colectate.” (Gârboan, 2007b: 34) Selectarea metodelor de cercetare

care urmează a fi utilizate într -un studiu de evaluare se face în funcţie de o serie de indicatori

cum ar fi: tipul programului, numărul beneficiarilor şi dispersia lor geografică, nivelul de

finanţare al evaluării, etc.

5. Evaluarea impactului social al programelor

Unul dintre principalele tipuri de evaluare este evaluarea impactului social al programelor.

“Având în vedere ţinta ultimă a deciziilor publice – omul -, în mod firesc, analizele de impact

specifice domeniului public vor avea un design inspirat din metodologia specifică ştiinţelor

socio-umane. ... La fel cum rezultatele analizelor în aceste domenii fundamentează o anumită

decizie (implementarea pe scară largă a schimbării, necesitatea unor corecţii aduse strategiei

de schimbare, modificarea tratamentului sau menţinerea sa, etc.), rezultatele analizelor de

impact în sectorul public pot sta la baza deciziilor de modificare a unui proiect de lege, de

modificare a unor hotărâri sau a unor proiecte, de extindere a aplicării acestora sau de încetarea implementării lor” (Gârboan, 2004: 34). Pentru impactul social s-a dezvoltat o metodologie

variată, în funcţie de contextul socio-economic, cultural şi organizaţional în funcţie de natura

intervenţiei, de variabilele care prezintă interes, în funcţie de bugetul disponibil, de

capacitatea de cercetare şi de o serie de alţi factori.

Metodologia de evaluare a impactului social constă într -o serie de etape care se constituie, de

regulă, într -un model. Principalele etape unui model de evaluare a impactului social se referăla:


4/9

obiectivele studiului de impact social,

concluzii ale unor evaluări anterioare,

un sistem de indicatori pentru măsurarea impactului social,

metodele de cercetare utilizate în evaluarea impactului social al programului, colectarea datelor necesare,

interpretarea datelor,

precizarea tipului de impact (direct şi indirect, pozitiv şi negativ),

un plan de integr are a rezultatelor evaluării impactului social.

6.

Sistemele de indicatoriSistemele de indicatori reprezintă o altă temă majoră în evaluarea de programe. Astfel, există

diferite sisteme de indicatori. Printre cel mai frecvent folosiţi sunt: indicatorii de eficienţă,

indicatorii de eficacitate, indicatorii de performanţă, indicatorii de relevanţă, indicatorii de

sustenabilitate, indicatorii de impact net, indicatorii programului şi indicatorii de context,

indicatorii de resurse, indicatorii de output, indicatorii de rezultat şi indicatorii de impact.

Comisia Europeană propune o clasificare complexă a indicatorilor (Comisia Europeană,

1995). Dintre criteriile propuse în această clasificare, cele mai relevante sunt:

După informaţiile vizate:

a. Indicatori de context

b. Indicatori ai programului

În funcţie de etapele specifice din desfăşurarea programului:

a. Indicatori de resurse

b. Indicatori de output

c. Indicatori de rezultat

d. Indicatori de impact

După principalele criterii de evaluare, indicatorii se împart în:

a. Indicatori de eficienţă

b. Indicatori de eficacitate

c. Indicatori de performanţă


5/9

d. Indicatori de relevanţă

e. Indicatori de sustenabilitate

f. Indicatori de impact net

În continuare, vom prezenta câteva exemple concrete de indicatori din categoriile menţionate

anterior:

În cazul unui program de reconversie profesională, adresat şomerilor şi având ca obiectiv

principal organizarea de cursuri de specializare în domeniul construcţiilor de imobile pot fi

relevante următoarele categorii de indicatori:

Tipul

indicatorilor

Exemple de indicatori

1.indicatori

de resurse

Resurse umane:

Angajaţi temporari în echipa de implementare a proiectului

(număr angajaţi x umăr luni de activitate)

Numărul institutiilor implicate în acordarea de asistenţă

beneficiarilor

Numărul de consultanţi mobilizaţi pentru a acorda consultanţă

beneficiarilor

Resurse financiare:

Rata de absorbţie a bugetului (% din fondurile alocate)

% din buget destinat măsurilor de protectie a mediului

% din buget alocat acţiunilor de promovare a sectorului deservicii

% din buget alocat publicităţii proiectului

2. Indicatori

de output

Nivelul implementării:

numărul obiectivelor îndeplinite/ % din obiective

respectarea calendarului (%)

numărul de şomeri instruiţi


6/9

Atragrea şi selecţia beneficiarilor

% din beneficiari care aparţin grupurilor prioritare (şomeri de

lungă durată, persoane cu grad redus de şcolarizare)

% din beneficiari proveniţi din zone dezavantajate

Servicii finanţate prin program:

Numărul şomerilor care au beneficiat de training

Numărul de ore de training furnizate

Numărul orelor de consiliere furnizate (dacă este cazul)

3. Indicatori

de rezultat

Satisfacţia beneficiarilor

Numărul beneficiarilor multumiţi şi foarte mulţumiti de training şi

% din totalul beneficiarilor

Utilizarea cunoştintelor dobândite

Numărul beneficiarilor angajaţi în firme de construcţii de imobile

4. Indicatori

de impact

Succesul pe termen lung

Rata angajării (%din beneficiari care au reuşit să se angajeze în

domeniu) la un an după finalizarea cursului

Perspectiva beneficiarilor

Valoarea adăugată ( e.g. venitul beneficiarilor în euro/an/angajat)

la un an după finalizarea cursului.

Sursa: Raluca Gârboan, (2007c) METODE DE CERCETARE UTILIZATE ÎN EVALUARE , Revista

Transilvanã de Ştiinţe Administrative, 1 (19)/2007, pp. 34-42

Pentru un program de construcţie a unei autostrăzi, pot fi măsuraţi următorii indicatori:

1.indicatori

de eficacitate

Numărul de kilometri construiţi

Vilumul traficului de marfă şi persoane

Creşterea vitezei de deplasare

2. Indicatori

de eficienţă

Costul unui km de autostradă

Costul pentru un beneficiar

3. Indicatori

Gradul de acoperire a nevoilor (%)


7/9

de relevanţă

4. Indicatori

de

sustenabilitate

Costul intreţinerii raportat la venitul din taxa percepută pentru

tranzit.

5. Indicatori

de impact net

Creşterea costului proprietătilor imobiliare din zonă

Creşterea/ dezvoltarea serviciilor

Creşterea ocupării forţei de muncă

Creşterea poluării (aer, apă, sol)

Sursa: Raluca Gârboan, (2007c) METODE DE CERCETARE UTILIZATE ÎN EVALUARE , Revista

Transilvanã de Ştiinţe Administrative, 1 (19)/2007, pp. 34-42

Alături de aceşti indicatori, în funcţie de situaţiile concrete, pot fi relevanţi şi mulţi alţii. Un

sistem complex de indicatori asigură o măsurare cât mai exactă a succesului proiectelor sau

programelor evaluate.

7. Concluzii. Relevanţa Evaluării de programe în contextul Administraţiei publicedin România

În prezent, administraţia publică din România pune bazele unei culturi şi ale unei

capacităţi coerente de evaluare. Aceste eforturi au început odată cu înfiinţarea UnitătiiCentrale de Evaluare (actualmente ACIS) şi cu lansarea Strategiei Naţionale de Evaluare în

2006.

Conform unor serii de cercetări realizate (Malan, 2004, Curley, Perianu 2006, Gârboan,

2007d) instituţiile publice din România nu beneficiază încă de o capacitate de evaluare

dezvoltată însă există cu certitudine o promisiune în acest sens. La nivelul administraţiei

publice româneşti, dezvoltarea unei culturişi aunei capacităţi de evaluare impune realizarea

câtorva schimbări la nivel legislativ, instituţional şi la nivelul resurselor umane. Modificările

necesare la nivel legislativ se referă, printre altele, la: instituirea obligativităţii ca instituţiile

administraţiei publice româneşti să realizeze evaluări sistematice şi pentru activităţile

operaţionale, şi nu doar pentru cele realizate în cadrul programelor finanţate de către Uniunea

Europeană.

La nivel instituţional, ar trebui construită şi dezvoltată capacitatea de evaluare internă, în

funcţie de specificul fiecărei instituţii. Crearea capacităţii interne de evaluare impune

respectarea a două condiţii: asigurarea infrastructurii şi specializarea resursei umane în


8/9

domeniul evaluării. Actualmente există un număr foarte redus de specialişti în evaluarea de

programe. Majoritatea contractelor de evaluare licitate sunt realizate încă prin expertiză

străină. Prin urmare, pregătirea de specialişti în domeniul evaluării reprezinmtă una dintre

prioritătile strategice în vederea fundamentării unei capacităti de evaluare solide la nivelul

administraţiei publice din România.

O altă arie a administraţiei publice, în care evaluarea de programe îşi găseşte o

aplicabilitate extinsă este procesul de luare a deciziilor .La nivel internaţional, evaluarea este

utilizată la scară largă in managementul public (Results-Based Management and Results-

Based Reporting) (Antonie, 2011). Succesul reformei administraţiei publice este condiţionat

de dezvoltarea capacitătii şi a culturii de evaluare. Astfel pot fi evitate o serie de decizii şi

activităti cu consecinţe nedorite sau pierderi financiare semnificative. Actualmente,administraţia publică din România traversează o perioadă importantă şi necesară de schimbare

a mentalităţii în privinţă evaluării de programe: se face trecerea de la evaluarea - control cu

riscul unor sancţiunila evaluarea ca proces constructiv de îmbunătăţire permanentă a

managementului administratiei publice.

Bibliografie

1. Antonie, Raluca (2011): THE ROLE OF PROGRAM EVALUATION IN THE

DECISION-MAKING PROCESS, Transylvanian Review of Administrative Sciences,

33 E/2011, pp. 23-29

2. Curley, Hilary, Eugen Perianu (2006): Assessment of the Evaluation Culture in

Romania,

http://static.anaf.ro/static/10/Mfp/evaluare/Assessment_Romanian_Eval_CultureEN.p

df (accessed on February, the 07 th , 2012).

3. European Commission (1995): “Common Guidelines for Monitoring and Evaluation”,

Luxembourg: OPOCE

4. Gârboan, Raluca (2004): ANALIZA DE IMPACT ÎN SECTORUL PUBLIC , Revista

Transilvană de Ştiinţe Administrative, 1(10), 2004, pp. 34-38

5. Gârboan, Raluca (2006): Metode utilizate în evaluarea programelor: analiza

impactului social, Editura Accent, Cluj Napoca, 2006, 202 pg


9/9

6. Gârboan, Raluca (2007a): EVALUAREA PROGRAMELOR, Transylvanian Review of

Administrative Sciences, 1(19)/2007, pp. 134-144

7. Gârboan, Raluca (2007b): METODE DE CERCETARE UTILIZATE ÎN EVALUARE ,

Revista Transilvanã de Ştiinţe Administrative, 2 (20)/2007, pp. 33-51

8. Gârboan, Raluca (2007c): INDICATORI UTILIZAŢI ÎN EVALUARE ŞI

MONITORIZARE: INDICATORII SOCIALI, Revista Transilvanã de Ştiinţe

Administrative, 1 (19)/2007, pp. 34-42

9. Gârboan, Raluca (2007d): EVALUATION CULTURE AND CAPACITY IN

ROMANIAN PUBLIC INSTITUTIONS AT REGIONAL AND LOCAL LEVEL,

Transylvanian Review of Administrative Sciences, 21 E/2007, pp. 47-60

10. Malan, Jack (2004): Benchmarking Evaluation Capacity in the New Member States,

Centre for Strategy and Evaluation Services.

11. Patton, Michael Quinn (1986): Utilization-focused evaluation, ediţia a doua, Newbury

Park, CA, SAGE Publications,

12. Şandor, Sorin Dan (2005): Analiză şi Cercetare în Administraţia Publică, Ed. Accent,

Cluj-Napoca

evaluarea programelor În sectorul public

Documents