Dezvoltarea capacităților pentru bugetare bazată pe performanță în Moldova

Bugetarea bazată pe performanţă

-monitorizare şi evaluare

Instruire extinsă pentu APC

Mai 2013

Obiectivele traininguluiObiectivele trainingului

• De a înțelege rolul procesului de evaluare a performanțelor şi monitorizării performanței programei bugetare

• De a obține cunoștințele corespunzătoare în vederea aplicării în practică a acestora

2

Conținutul sesiunii de trainingConținutul sesiunii de training

• Scurtă introducere în procesul de monitorizare, evaluare și deosebirile dintre aceste două procese

• Metodologia și tehnicile de monitorizare a performanței

• Raportul de performanţă

3

Scurtă introducere în procesul de monitorizare și evaluare

Monitorizare si evaluare

Faza finală a ciclului BBP

Relaţia dintre planificare și monitorizare

Planificarea fără monitorizare este inutilă și monitorizarea fără planificare – lipsită de sens

Planificarea stabilește cursul, iar monitorizarea asigură ca lucrurile să evalueze în direcția corectă

5

Ce reprezintă monitorizarea?Ce reprezintă monitorizarea?

• Evaluare de rutină a activităților în desfășurare

• Colectarea sistematică de date pentru indicatori specifici

• Instrument de corectare a devierilor în implementarea programului

• Instrument de gestiune a programului care furnizează informații pentru evaluare

Cuvânt latin „monere“ = „a avertiza“Cuvânt latin „monere“ = „a avertiza“

6

De ce să monitorizăm?De ce să monitorizăm?

• Pentru a analiza progresul în raport obiectivele stabilite

• Pentru a identifica eventuale abateri de la planurile stabilite

• Pentru a corecta rapid devierile în cadrul implementării programului

• Pentru a furniza informatii (input) pentru evaluare

7

Caracteristicile principale ale procesului Caracteristicile principale ale procesului de monitorizarede monitorizare

• Proces continuu

• Proces dinamic

• Orientat spre viitor

• Proces corectiv

• Este o funcție atotcuprinzătoare

• Consolidează gândirea și vigilența permanentă

8

Poziția în cadrul matricei logice a Poziția în cadrul matricei logice a ProgramuluiProgramului

Indicator de rezultate

Indicator de eficiență

Indicator de produse (output)

Monitorizarea performanțelor

Trebuie stabilit cel puțin un indicator pentru fiecare obiectiv

9

Ce reprezintă evaluarea?Ce reprezintă evaluarea?

Instrument de măsurare a succesului impactului programului

De ce să evaluăm?De ce să evaluăm?• Pentru a furniza informații în vederea stabilirii

priorităților politicilor• Pentru a imbunătăţi alocarea resurselor• Pentru a spori calitatea intervențiilor• Pentru a raporta cu privire la realizări (altfel

spus, responsabilitate)10

Când să punem în aplicare evaluareaCând să punem în aplicare evaluarea??• Înainte de lansarea proiectului (evaluarea ex-ante)• La mijlocul proiectului• La sfârșitul proiectului• Peste un anumit timp după finalizarea proiectului

(evaluarea ex-post pentru identificarea impactului)• În orice moment în care apare un rezultat neașteptat

care necesită o investigație ulterioară• Dacă într-o perioadă îndelungată de timp nu există

îmbunătățiri, iar motivul este incert

11

12

Ce controlămCe controlăm Ce influențăm în mod directCe influențăm în mod direct Ce influențăm în mod indirectCe influențăm în mod indirect

Efecte

MonitorizareMonitorizare

Estimarea progresului implementării în scopuri manageriale

EvaluareEvaluare

Analiza rezultatelor și impactului la nivel de destinatar 13

Monitorizarea – tehnici şi metodologie

14

Evoluția tehnicilor de monitorizareEvoluția tehnicilor de monitorizare

1. Sistemul Monitorizare și Evaluare (M&E) bazat pe ieșiri (output) • Sistem M&E “classic” sau “de implementare”• Se concentrează pe PRODUSEȘE proiectului

(OUTPUTS) • Răspunde la întrebări de genul “aceasta a

fost realizat” • Au fost mobilizate intrările (input)?• Au fost obținute produsele (output)

scontate?• Au fost întreprinse și finalizate activitățile

stabilite?

15

Evoluția tehnicilor de monitorizareEvoluția tehnicilor de monitorizare

2. Sistem M&E bazat pe rezultate• Se concentrează pe REZULTATELE

proiectului• Furnizează factorilor de decizie informații

referitoare la reușita sau eșecul proiectului„Produsele au fost obținute. Ce reprezintă acest fapt?“

• Ajută la identificarea răspunsurilor următoarelor întrebări• Care este scopul programului?• A fost realizat acest scop?• Cum poate fi ilustrată realizarea

scopului?

16

Procesul de monitorizareProcesul de monitorizare

17

Cine va monitorizaCine va monitoriza? ?

APC=Autoritate Publică Centrală

18

Ce va fi monitorizat?Ce va fi monitorizat?

• Indicatori de performanţă selectați cu precizie – cheia succesului pentru monitorizarea performanțelor

• Urmează a fi realizată în strânsă dependență cu definirea adecvată a scopului și obiectivelor

• Indicatorii se stabilesc pentru toate nivelele: produse (output), rezultate și de asemenea eficienţă

19

Ce va fi monitorizat?Ce va fi monitorizat?

• Indicatori de produse (output) – o sarcină relativ ușoară (măsurarea tradițională a serviciilor realizate)

• Indicatorii de rezultate trebuie să răspundă la întrebările:– Cum vor fi percepute succesele sau realizările? – Suntem în direcția realizării rezultatelor scontate?

20

Domeniul de aplicare aDomeniul de aplicare a monitorizării monitorizării

Estimarea eficacității generale– Modul în care acțiunile întreprinse (spre exemplu: activitățile)

au fost eficiente în raport cu realizarea obiectivelor– Compararea valorilor reale cu valorile planificate a

indicatorilor de performanță– Compararea rezultatelor obținute cu cele planificate

Formularea propunerilor şi luarea deciziilor în vederea soluționării problemelor identificate

21

• Ilustrați toate datele oficiale disponibile aferente subiectului programului (învățământ public, învățământ liceal și gimnazial)

– Date statistice cantitative– Analize calitative

• Afișați seriile cronologice ( dinamica)• Identificați tendințele, modificări de tendințe• Încercați să explicați contextul, relaţia și interdependențele • Identificați problemele de bază şi cauzele• Formulați recomandări şi soluţii

Regula nr. Regula nr. 22Începeți cu analiza situațieiÎncepeți cu analiza situațieiRegula nr. Regula nr. 22Începeți cu analiza situațieiÎncepeți cu analiza situației

22

Regula nrRegula nr.1.1Considerați indicatorii de monitorizare de la Considerați indicatorii de monitorizare de la bun bun începutînceput

Acțiunile persoanelor interesate – beneficiarilor sau celor ce participă în procesul activităților

– Studenții, profesorii, părinții, managerii învățământului gimnazial și liceal

Sentimentul proprietății este la fel important

Întrebări în identificarea corespunzătoare a beneficiarilor– Cine sunt participanţii de bază implicaţi în program?– Cum pot fi ele clasificate? (spre ex.: ONG-uri, grupuri de interes)

Convocarea beneficiarilor, prezentarea rezultatelor analizei situației

Elaborarea unei liste a problemelor și necesităților informaționale ale beneficiarilor– Metode: brainstorming, interviuri structurate, chestionare– Metode avansate: Vizualizare, Arborele problemei

Regula nrRegula nr.. 33Colaborați cu diverse părți implicate, considerați Colaborați cu diverse părți implicate, considerați necesitățile acestora de informațiinecesitățile acestora de informații

Regula nrRegula nr.. 33Colaborați cu diverse părți implicate, considerați Colaborați cu diverse părți implicate, considerați necesitățile acestora de informațiinecesitățile acestora de informații

23

• Responsabilitatea finală de proiect îi revine managerului de program. • Programul nu trebuie văzut prin prisma „listei de dorințe“ a persoanelor

interesate, ci trebuie să contribuie la creșterea calității servicilor• Sortarea şi ştergerea informațiilor, evitarea duplicităţii datelor• Reformularea preocupărilor identificate de către persoanele interesate

în afirmații potențiale de îmbunătățire a rezultatelor– Permite identificarea a priori a direcției și destinației– Afirmațiile pozitive ajută la obținerea consensului politic, a unei mai mari

legitimități – Fiecare afirmație trebuie să se refere la un singur rezultat, acest fapt fiind

crucial în stabilirea indicatorilor– Folosește doar problemele existente, nu eventuale, imaginare sau viitoare

Regula nrRegula nr.. 44Operați cu informația furnizată de părțile implicateOperați cu informația furnizată de părțile implicateRegula nrRegula nr.. 44Operați cu informația furnizată de părțile implicateOperați cu informația furnizată de părțile implicate

24

Ipotezele logice sunt foarte importanteIpotezele logice sunt foarte importante

IMPACT

REZULTATE IPOTEZE*

produse (OUTPUT)

APOI

IPOTEZE*

ACTIVITĂȚI

DACĂ

IPOTEZE*

ȘI

Etapa I: Etapa III: Etapa II:

25

Regula nrRegula nr.. 5. 5. Utilizați matricea logică pentru Utilizați matricea logică pentru monitorizarea indicatorilormonitorizarea indicatorilorRegula nrRegula nr.. 5. 5. Utilizați matricea logică pentru Utilizați matricea logică pentru monitorizarea indicatorilormonitorizarea indicatorilor

Rețineți! Scopul monitorizării rezidă de asemenea în efectuarea corectărilor în activități și posibile obiective,

indicatori, atunci când sunt depistate ca fiind greșit setate. Cu toate acestea, scopul trebuie să rămână valabil și neschimbat pe tot parcursul implementării programului/ sub-programului

Deplasarea necesităților informaționale în ierarhia Deplasarea necesităților informaționale în ierarhia obiectivelorobiectivelor

26

În decizia cu privire la informația ce urmează a În decizia cu privire la informația ce urmează a și monitorizată și evaluată, țineți cont de:și monitorizată și evaluată, țineți cont de:

Includeți informație operațională suficientă pentru a stabili dacă resursele sunt utilizate optimal și calitatea operațiunilor este bună – Planificarea și urmărirea activităților – Management financiar– Gestiunea echipamentului– Managementul resurselor umane– Managementul contractelor

Identificați informația care să explice progresul

Identificați impacturile involuntare pozitive și negative în vederea întreprinderii acțiunilor de ajustare necesare

27

Planificarea aspectelor esențiale ale Planificarea aspectelor esențiale ale procesului de colectare a datelorprocesului de colectare a datelor Elementele esențiale ale planului de regulă includ:•Definiții detaliate pentru fiecare indicator,•Sursa și metoda de colectare a datelor,•Frecvența și graficul colectării de date,•Identificarea celor responsabili pentru colectarea, analiza și raportarea datelor.

28

Metode de colectare a datelor • Recensăminte și sondaje,• Statistici naționale• Studii elaborate de partenerii de dezvoltare• Chestionare• Interviuri• Examinare documentară

Pot fi surse interne si externe29

Cum gestionăm problema deficitului de Cum gestionăm problema deficitului de informații?informații?

• Căutați indicatori de alternativă (atunci când datele nu sunt disponibile sau au un cost mult prea mare)– Spre ex.: măsurarea reducerii bunăstării prin prisma numărului

bunurilor de lux (automobile, iphone)

• Indicatorii furnizaţi de organizaţii internaţionale reprezintă o soluție în acest sens– Obiective PNUD de dezvoltare umană durabilă (WDI);– Indicele de stabilitate financiară al FMI – Indicele de democrație al Freedomhouse – Indicele Corupției al Transparency International– Indicele democrației al Economic Intelligence Unit – Indicele competitivității globale al Forumului Economic Global, – Indicatori de dezvoltare rurală Handbook, etc. 30

Raportul de monitorizare (de performanţă)

31

Măsurarea Performanței Programelor Guvernului

A defini

A măsura

A raporta

32

Rapoartele de performanţă trebuie să le ofere managerilor de program o privire de ansamblu coerentă privind statutul actual de implementare a

programului și să-i ghideze în activitățile de evaluare a programului

Sistemul de raportare trebuie să ilustreze așteptările, rezultatele de facto și să explice diferența dintre acestea

Managerii de program au nevoie de informații detaliate privind situația inițială, situația finală, rezultate și eficacitate

Raportarea

33

Caracteristicile unui raport de performanţă

• Descrie structura, scopul și obiectivele programului.

• Prezintă tendințele perioadelor anterioare.

• Prezintă o varietate de indicatori-cheie de performanță pentru fiecare obiectiv major.

• Face o comparație între obiectivele stabilite și rezultatele de facto.

• Scoate în evidență divergențele.

• Explică într-o formă narativă cauzele acestor divergențe.

• Prezintă măsurile de ameliorare sau rectificare ce urmează a fi întreprinse.

201120102009 2012 2013 20142008 34

Informația narativ-explicativă furnizată împreună cu rapoartele de performanţă

•face o comparație dintre perfomanța atinsă, pe de o parte și obiectivele stabilite, cheltuielile suportate, pe de altă parte

•explică• cauzele divergențelor, • factorii care afectează divergențele (inclusiv modificările

limitelor de alocare) și lacunele privind calitatea datelor. •propune măsuri de ameliorare•prezintă eventualele obstacole în calea spre ameliorare

35

Unele aspecte care necesită atenție în cadrul raportului de performanță

Ce informații contextuale contribuie la înțelegerea datelor?

Datele sunt clare?

Informația prezentată în raport este clară?

Informația conținută în raport este prezentată conform principiului comparativ?

Informația conținută în raport este suficientă pentru ca cititorul să poată înțelege următoarele aspecte:

• contextul mai larg, în care se încadrează activitățile programului, inclusiv acei factori care influențează situația inițială, situația finală, rezultatele;

• nivelul performanței atinse și factorii care au influențat performanța dată;

• acțiunile întreprinse în urma informației raportate, îndeosebi în cazul în care s-a înregistrat în mod neașteptat o performanță înaltă sau scăzută?

36

Rapoartele de performanță sunt întocmite:

•Semianual – focusat pe indicatorii de produs si de eficienţă•Anual – accent pe indicatorii de rezultat

PERIOADELE DE RAPORTARE

37

Program 6 DrumuriSubprogram 6.2 Reconstrucția drumurilor Scop: Asigurarea practicabilității drumurilor și stabilizarea condiției tehnice a acestora

Exemplu: Raportul de monitorizare a performanţei pe termen mediu pentru administrația regională, Bratislava, 30 iunie 2011

38

Responsabili de raportare

• Coordonarea rapoartelor de performanţă legate de program sau subprogram - managerul de program

• Colectarea și analiza datelor primare – observatori în cadrul instituțiilor bugetare

• Rapoarte semi-anuale și anuale de performanță - coordonator de monitorizare la ministerele de resort

• Examinarea rapoartelor pentru a se asigura că resursele alocate au fost utilizate eficient - Ministerul Finanțelor

39