r1 ”mecanism de monitorizare și evaluare de...

R1 ” Mecanism de monitorizare și evaluare de

impact”, R1.1. ”Metodologii de evaluare de impact

proiectate și testate”

iulie 2019

PROIECT:

"Dezvoltarea capacităţii administrative a M.C.I. de implementare

a unor acţiuni stabilite în Strategia Naţională de Cercetare, Dezvoltare

tehnologică şi Inovare, 2014-2020 - SIPOCA 27"

Contract nr. 21 / 03.08.2016 / Act adițional nr. 6/03.05.2018

SCOP SI REZULTAT

R1 - ”Mecanism de monitorizare și evaluare de impact” - R1.1. ”Metodologii de evaluare de impact proiectate și testate”

SISTEM DE MONITORIZARE:

Lista și catalog de indicatori de

context, input, output, out

come și de impact – în

responsabilitatea INCSMPS;

Colectarea și procesarea datelor se va

face de către autoritățile de

implementare programe care au

responsabilitate cu specializarea

inteligentă, la nivelul fiecărui instrument

de finanțare/nivel de domeniu și de

obiectiv. Se vor concretiza într-un raport

de progres.

Procesul de descoperire antreprenorială,

în responsabilitatea UEFISCDI, furnizează

informații privind evoluția / schimbare a

celor 4 domenii de specializare

inteligentă stabilite.

SISTEM DE EVALUARE DE IMPACT

INCSMPS a avut de realizat următoarele:

proiectarea, testarea si validarea a două categorii de

metodologii de impact:

cinci metodologii de evaluare de impact, din care:

4 pentru cele 4 domenii de specializare

inteligentă (1. bioeconomie, 2. tehnologia

informației și a comunicațiilor, spațiu și

securitate, 3. Energie, mediu și schimbări

climatice și 4. Eco-nanotehnologii și materiale

avansate);

una pe domeniul de prioritate publică Sănătate;

6-a metodologie de evaluare la nivel național a

impactului agregat al SNCDI 2020.

Implementarea metodologiilor la mid term, rezultând studii

de evaluare de impact pe cele 5 domenii și studiul la nivel

național al impactului agregat al SNCDI 2020.

IPOTEZE ALE EVALUĂRII DE IMPACT LA MID-TERM Evaluarea de impact s-a făcut numai pentru PNCDI III, instrumentul principal de implementare a SNCDI 2020;

A fost măsurat impactul net, adică contribuția efectivă a intervențiilor PNCDI III asupra obiectivelor generale ale SNCDI 2020;

Evaluările de impact ale celorlalte instrumente de implementare strategică în domeniul CDI (POC; POCU, PODR etc.) sunt în responsabilitatea autorităților de implementare a acestor programe, și nu pot fi folosite la evaluarea mid term pentru că nu sunt realizate;

Aplicarea metodologiilor de impact s-a realizat pe baza unor informații și date colectate prin mecanismul de monitorizare, aflat în practică la momentul evaluării, pe care îl are în administrare instituția care implementează intervențiile Planului Național (UEFISCDI).

Alături de aceste informații au fost necesare date statistice de context, oferite de Sistemul Național de Statistică și date colectate la momentul evaluării de la beneficiarii finanțării și de la cei din grupurile de control, prin instrumente de colectare specifice (anchete pe bază de chestionar, interviuri și focus grupuri) elaborate de INCSMPS.

Metodologiile au fost adaptate pentru aplicarea lor la ”mid-term”, rezultatele oferite se referă doar la instrumentele/ proiectele finanțate în această perioadă și finalizate, numai cele din cadrul Programului P2, care se referă la obiectivul OG1 al Strategiei cu referire directă la contribuția Specializărilor inteligente la creșterea competitivității prin inovare

Metodele de evaluare de impact utilizate sunt un mix de metode de tip cantitativ-calitativ:

- Cantitative: metode microeconometrice contrafactuale, metode de agregare pe baza de cost eficacitate și metode macro-econometrice, etc.

- Calitative: interviuri , focus grupuri și studii de caz.

Remarcă:

Aceste rezultate deși parțiale, oferă însă o bună imagine asupra probabilității de a se atinge obiectivele/rezultatele preconizate, dar este însă necesar să fie interpretate ținând cont de ipotezele și limitările precizate.

OBIECTIVE GENERALE ȘI SPECIFICE ALE SNCDI 2020 ȘI INSTRUMENTE ALE PNCDI III

Obiective generale

OG1. Creşterea competitivităţii economiei româneşti prin inovare.

OG2. Creşterea contribuţiei româneşti la progresul cunoaşterii de frontieră.

OG3. Creşterea rolului ştiinţei în societate

3. Obiective specifice

OS1. Crearea unui mediu stimulativ pentru iniţiativa sectorului privat

OS2. Susţinerea specializării inteligente,

OS3. Concentrarea unei părţi importante a activităţilor CDIpe probleme societale,

OS4. Susţinerea aspiraţiei către excelenţă în cercetarea la frontieracunoaşteri

Obiective specifice transversale

OS5. Atingerea până în 2020 a masei criticede cercetători

OS6. Dezvoltarea unor organizaţii de cercetare performante,

CONTEXTUL IMPLEMENTĂRII SNCDI 2020 ȘI A PNCDI III

FINANȚAREA IMPLEMENTĂRII – PLANIFICAT - REALIZAT

2016 2017 2018 2019(p) 2020(p) 2021(p)

PIB (prețuri curente)-

mil. lei635459,4 668590,1 712587,8 765135,4 856726,6 944220,2

GBERD –Fond publice

alocate CDI (% din PIB) –

planificat –prețuri

curente*)

0,57 0,63 0,73 0,83 0,97 1

GERD cheltuieli totale

CDI CA % PIB, realizat 0,45 0,58 0,62 0,68 0,75

GBERD –Fond publice

alocate CDI (% din PIB)-

realizat-prețuri

curente**)

0,38 0,30 0,27 0,28 0,26 0,19

Fonduri alocate M.C.I.,

% din PIB –realizat –

prețuri curente***)

0,28 0,21 0,20 0,20 0,22 0,16

Fonduri alocate PNCDI

III- , %PIB prețuri

curente –realizat****)

0,10 0,09 0,08 0,08 0,09

(p) –prognoză

*) date din SNCDI 2020

**) date calculate pe baza datelor din bugetele naționale consolidate

***) date calculate pe baza datelor execuției bugetului a M.C.I., publicată pe situl: www

****) date calculate pe baza datelor execuției bugetului M.C.I., publicată pe situl www

CONTEXTUL NAȚIONAL

Implementarea SNCDI III s-a realizat într-un context economic favorabil, de creștere economică

susținută

Deficit bugetar în 2018 la 3% din PIB (față de 2,9% în 2014 și 2,7% în 2016), acesta fiind cu 2,4 puncte

procentuale mai mare față de media UE în 2018

Datoria publică s-a redus, ajungând în anul 2018 la 35,1%

Piața muncii mai puțin favorizantă - șomaj mic ( rata șomajului BIM 5% ); deficite mari de ofertă,

migrație mare, spor natural negativ

Sursa: Economic Research Division, Federal Reserve

Bank of St. Louis https://alfred.stlouisfed.org

REZULTATELE SISTEMULUI NAȚIONAL DE INOVARE

ROMÂNIA ESTE UN INOVATOR MODEST

Sursa: European Innovation

Scoreboard 2019

PROGRESUL ÎN IMPLEMENTARE

Distribuția proiectelor depuse pe domenii de specializare

inteligentă

Denumire

instrument Total

D1

Bioeconomie

D2 TIC,

spațiu,

securitate

D3 -

Energie,

mediu

shimbari

climatice

D4 – Eco

nano

tehnologii

si

materiale

avansate

D5

Sănătate

D6

Patrimoniu,

identitate

culturala

BG 463 113 100 98 73 66 13

PED 2074 361 353 426 507 360 67

PTE 217 35 59 38 59 24 2

Cecuri

inovare

2017 323 147 57 54 40 20 5

TOTAL 3077 656 569 616 679 470 87

Distribuția proiectelor eligibile pe domenii de specializare inteligentă

Denumire

instrument Total

D1

Bioeconomie

D2

TIC, spațiu,

securitate

D3

Energie,

mediu

schimbări

climatice

D4

Eco-nano

tehnologii si

materiale

avansate

D5

Sănătate

D6

Patrimoniu

identitate

culturala

BG 453 111 98 96 71 64 13

PED 2064 358 351 423 506 359 67

PTE 208 34 57 35 57 23 2

Cecuri

inovare

2017 304 138 53 50 38 20 5

TOTAL 3029 641 559 604 672 466 87

% Proiecte eligibile

în total proiecte depuse

Denumire

instrumentTotal

D1

Bioeconomie

D2

TIC,

spațiu,

securitate

D3

Energie,

mediu

schimbări

climatice

D4

Eco-nano

tehnologii

si

materiale

avansate

D5

Sănătate

D6

Patrimoniu,

identitate

culturala

BG 97,8 98,2 98,0 98,0 97,3 97,0 100,0

PED 99,5 99,2 99,4 99,3 99,8 99,7 100,0

PTE 95,9 97,1 96,6 92,1 96,6 95,8 100,0

Cecuri

inovare 201794,1 93,9 93,0 92,6 95,0 100,0 100,0

PROGRESUL ÎN IMPLEMENTARE

continuare

Distribuția proiectelor finanțate pe domenii de specializare inteligentă

Denumire

instrument

TotalD1 Bioeconomie

D2 TIC, spațiu,

securitate

D3 - Energie,

mediu schimbări

climatice

D4 - Econano

tehnologii si

materiale

avansate

D5 Sănătate

D6 Patrimoniu,

identitate

culturala

BG 126 33 27 24 20 19 3

PED 252 48 59 44 48 46 7

PTE 57 12 15 11 15 3 1

Cecuri

inovare 2017147 54 33 29 21 6 4

TOTAL 582 147 134 108 104 74 15

% finanțate în proiecte eligibile

Denumire

instrument

Total D1 Bioeconomie

D2 TiC, spațiu,

securitateD3 - Energie,

mediu schimbări

climatice

D4 - Econano

tehnologii si

materiale

avansate

D5

Sănătate

D6 Patrimoniu,

identitate culturală

BG27.8 29.7 27.6 25.0 28.2 29.7 23.1

PED 12.2 13.4 16.8 10.4 9.5 12.8 10.4

PTE 27.4 35.3 26.3 31.4 26.3 13.0 50.0

Cecuri inovare

2017

48.4 39.1 62.3 58.0 55.3 30.0 80.0

EVALUAREA DE IMPACT –

ABORDAREA CANTITATIVĂ

REZULTATELE EVALUĂRII DE IMPACT

Întrebările de evaluare urmărite în metodologia de evaluare de impact pe domenii:

1.Care este progresul ce poate fi observat la nivelul domeniului de specializare inteligentă / prioritate publică din perspectiva rezultatelor așteptate, de la momentul adoptării intervenției?

2.În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este mai important?

3.Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context?

4.Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?

5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine?

6. Ce factori au influențat progresul la nivelul domeniului de specializare inteligentă?


Mixul de metode cantitativ - calitativ

Imaginea sintetică a abordărilor metodologice pentru evaluarea de impact se prezintă astfel:


Datele utilizate în evaluarea de impact la nivelul domeniilor:Tip date Sursa date Întrebare de

evaluare

Metodă de evaluare a impactului/ Metodă

de analiză

Date administrative privind implementarea

PNCDI III

UEFISCDI I1, I4 Analiza datelor administrative

Date administrative privind implementarea

POC

AM POC I1, I4 Analiza datelor administrative

Microdate privind indicatorii de rezultat

obținuți de beneficiarii instrumentelor de

finanțare

UEFISCDI I1, I2 Analiza datelor – profil beneficiari și analiză

ezultate obținute

Analiza de rețea

Date primare colectate prin anchetă

sociologică în întreprinderi (de la beneficiari,

respectiv non-beneficiari pentru grupurile de

control)

Date colectate

prin anchetă

I2, I3, I4 Metode de evaluare contrafactuală a

impactului

Analiza cost-eficacitate

Date primare colectate prin anchetă

sociologică în organizațiile de cercetare

beneficiare

Date colectate

prin anchetă

I1, I4 Analiza rezultatelor

Analiza factorilor care au contribuit la

efectele obținute

Microdate secundare privind întreprinderile

beneficiare și non-beneficiare ale intervențiilor

ONRC I2, I3 Metode de evaluare contrafactuală a

impactului

Date macroeconomice privind contextul

implementării

INS, EUROSTAT I1 Analiza datelor

Date primare colectate prin interviuri în rândul

beneficiarilor

Date colectate

prin interviuri

I2, I3, I4, I5,

I6

Interviul individual pentru stabilirea lanțului

causal

Studii de caz

Analiza bunelor practici

Date colectate prin focus-grup I4, I5, I6 Focus-grupuri

Analiza bunelor practice


1. Coordonate metodologice ale metodelor contrafactuale

Metoda evaluării contrafactuale de impact permite cuantificarea măsurii și a

direcției legăturii în care un anumit instrument de finanțare produce efectul

dorit.

Scenariul contrafactual permite estimarea a ce s-ar fi întâmplat în absența

intervenției. Prin intermediul construcției a două grupuri de unități similare în

caracteristici observabile, cu diferența că unitățile grupului de tratament au avut

acces la intervenție, în timp ce unitățile grupului de control nu au beneficiat de

tratament, se va putea măsura impactul net al intervenției.

Principalele metode de evaluare contrafactuală sunt:

Metoda Propensity Score Matching (PSM)

Metoda diferenței-în-diferențe (DID)

Metoda regresiei discontinue (RD)

Modelul Heckman de regresie în doi pași (RH)


Selecția instrumentelor de finanțare pentru evaluarea contrafactuală:

In cadrul evaluării mid-term au fost identificate următoarele instrumente de finanțare

din cadrul PNCDI III pentru aplicarea metodelor contrafactuale:

Proiect Bridge Gant - Transfer de cunoaștere la agentul economic (BG)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare

Cecuri de inovare (CI)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare

Transfer la operatorul economic (PET) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare

Proiect experimental demonstrativ (PED)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare

Limitări metodologice:

Disponibilitatea datelor:

numărul limitat de proiecte finanțate și finalizate până la momentul evaluării de

impact al intervențiilor;

limitările procesului de colectare a datelor;

limitarea numărului instrumentelor de finanțare pentru care ar fi posibilă

aplicarea tehnicilor contrafactuale.

Grad diferit de generalitate al impactului estimat al instrumentului de finanțare in

funcție de metoda contrafactuală aplicată.



2. Coordonate metodologice privind analiza cost-eficacitate

Pentru integrarea rezultatelor cantitative produse de evaluările de impact realizate la

nivelul instrumentelor de finanțare propunem o analiză de tip cost-eficacitate, ce

permite compararea instrumentelor de finanțare cu obiective similare.

Etapele analizei de tip cost-eficacitate:

Etapa 1. Identificarea programelor care au obiective comune

Etapa 2. Stabilirea costurilor totale ale fiecărei intervenții

Etapa 3. Măsurarea impactului fiecărei intervenții

Etapa 4. Calcularea raportului cost-eficacitate si ierarhizarea instrumentelor relevante

PRINCIPALELE REZULTATE

ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR

DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA

Întrebările de evaluare la care a răspuns abordarea cantitativă:

I1. Care este progresul ce poate fi observat la nivelul domeniului de specializare

inteligentă din perspectiva rezultatelor așteptate, de la momentul adoptării

intervenției?

I2. În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce

poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este

mai important?

I3. Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în

ce context?

I4. Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?

I5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine?

Informații privind colectarea datelor prin anchete față în față în rândul întreprinderilor:




Tip

cercetare

Populația pentru

aplicarea sondajelor

Metode de

construire a

eșantionului

Metode de

organizare

a

sondajelor

Categorie

grup și

metoda ECI

vizată

Cercetare

statistică

exhaustivă

Întreprinderi care au

beneficiat de finanțare și

întreprinderi care au

aplicat, dar nu au obținut

finanțare în cadrul

intervențiilor PNCDI III

Exhaustiv Chestionar

față în față

Grup tratament

(beneficiari)

Grup control

(non-

beneficiari)

(RD, DID)

Cercetare

statistică

prin

anchetă

socilogică

Întreprinderi active care nu

au beneficiat de finanțare

PNCDI III – pe baza

datelor de la Reg. Com

Eșantion

probabilist

stratificat

Chestionar

față în față

Grup control

(PSM, RD,

DID)

Cercetare

statistică

prin

anchetă

sociologică

Organizații de cercetare

care au beneficiat de

finanțare PNCDI III prin

Programul 2 - Proiect

experimental demonstrativ

Exhaustiv Chestionar

față în față

n/a

Principalele dimensiuni/ variabilele de

interes pentru culegerea datelor în rândul

întreprinderilor: coordonate ale activității de cercetare

sursa finanțărilor cheltuielilor de CDI: fonduri publice

naționale, fonduri externe, fonduri private

rezultate obținute din activitatea de cercetare

(publicații, produse/ tehnologii/ servicii, etc.)

colaborări cu organizații de cercetare/ universități

participări la competiții pentru accesarea de fonduri

destinate cercetării

venituri din vânzarea de produse de CDI proprii

nivelul si evoluția cifrei de afaceri, a activelor, a

datoriilor

nivelul și evoluția numărul mediu anual de salariați

și a personalului (echivalent) direct implicat in CDI

nivelul si evoluția cheltuielilor de CDI

achiziția de produse de CDI de la terți, etc.




Distribuția pe programe și instrumente de finanțare a firmelor finanțate prin PNCDI

III care au răspuns la chestionarele aplicate :

Program/

acțiune

Instrument de

finanțare

Nr. firme

investigate

TOTAL

Nr. firme

investigate

Bioeconomie

Nr. firme

investigate

TIC

Nr. firme

investigate

Energie

Nr. firme

investigate

Eco-nano-

tehnologii

Nr. firme

investigate

Sănătate

PNCDI III

Program 2.

Creșterea

competitivită

ții economiei

românești

prin CDI

Cecuri de inovare

(CI)94 36 21 19 15 3

Bridge Grant (BG)63 17 20 15 10 7

Transfer la

operatorul

economic (PTE)

36 10 13 7 10 3

Proiect

experimental

demonstrativ (PED)

17 3 4 5 4 2

TOTAL FIRME INVESTIGATE 210 66 58 46 39 15

Întrucât anumite firme au beneficiat de finanțări multiple în cadrul Programului 2 PNCDI III și pe

domenii distincte, se obține un total de 224 de cazuri, pe baza unui eșantion de 192 firme distincte.

Grupul de control de firme care nu au beneficiat de finanțare prin PNCDI III a fost constituit din 1650

de firme, dintre care 342 aplicante nefinanțate la Programul 2 din cadrul PNCDI III și 1308

neaplicante.




Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate

publică din perspectiva rezultatelor așteptate:

Instrument de finantare Nr. proiecte depuseNr. proiecte

finantate

Suma finantata

(mil.lei)

BG 463 126 55.7

CI 323 147 7.3

PTE 217 57 113.0

PED 2074 252 138.1

BG1.

Bioeconomie

2.

TIC3. Energie

4. Eco-nano-

tehnologii

5.

SănătateTOTAL

Nr. proiecte finantate 33 27 24 20 19 126

Sume finantate (mil. lei) 14.4 12.0 10.9 8.7 8.4 55.7

Brevete 8 1 4 0 2 15

Produse-tehnologii 7 16 1 32 2 58

Articole ISI si BDI 56 29 40 14 35 190

CI1.

Bioeconomie

2.

TIC3. Energie

4. Eco-nano-

tehnologii

5.

SănătateTOTAL



Brevete 23 4 15 7 1 53




Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate

publică din perspectiva rezultatelor așteptate:

PTE1.

Bioeconomie

2.

TIC3. Energie

4. Eco-nano-

tehnologii

5.

SănătateTOTAL



Brevete 3 0 2 3 0 8



PED1.

Bioeconomie

2.

TIC3. Energie

4. Eco-nano-

tehnologii

5.

SănătateTOTAL



Brevete 2 2 2 10 3 19



POC Axa 11.

Bioeconomie

2.

TIC3. Energie

4. Eco-nano-

tehnologii

5.

SănătateTOTAL


Sume finantate (mil.

lei) 7.6 162.3 17.7 29.8 41.7 259

Brevete 2 8 1 4 1 16

Total echipamente de

CD 0 55 10 0 19 84




Măsura în care progresul observat poate fi atribuit intervenției

Tabel. Rezultatele impactului net global măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH

Instrument de

finanțare

OG1 OG2

Produse/ Tehnologii/

Metode/ Servicii noi

sau semnificativ

îmbunătăţite

realizate

Brevete solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii

ştiinţifice public-

private

Colaborări în

scopul obținerii de

servicii sau

produse de CD

Ritmul de

creștere al

cifrei de

afaceri

Publicaţii

ştiinţifice

internaționale

BG 0,88 0,04 0,41-0,52 0,51-0,56 0.67

CI 0,9 – 1,14 0,38 0,39-0,66 2,52

PTE 1,85 0,68 1,22 0,41-0,79 0,71 1,12

PED 1.07 0,66-1,08

Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)

Instrument de

finanțare

OG1 OG2



sau semnificativ

îmbunătăţite realizate

Brevete solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii


private

Colaborări în

scopul obținerii

de servicii sau

produse de CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționaleCostul finanțării

(mil. lei)

BG63,3 1391,5 119,7 104,0 83,1 55,7

CI7,1 18,9 13,9 2,9 7,3

PTE61,1 166,2 92,6 188,3 159,1 100,9 113,0

PED 125,1 153,8 133,8




Măsura în care progresul observat poate fi atribuit intervenției - Bioeconomie

Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH


Instrument

de finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete

solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii

ştiinţifice

public-private

Colaborări în

scopul

obținerii de

servicii sau

produse de

CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționale

Costul

finanțării

aferent

domeniului

Bioeconomie

(mil. lei)

BG 10,3 12,3 29,7 7,4 14,4

CI 2,2 3,3 5,2 2,7

PTE 10,8 12,1 10,8 38,5 21,5

Instrument

de finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete

solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii

ştiinţifice

public-private

Colaborări în

scopul

obținerii de

servicii sau

produse de

CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționale

BG 0,96-1,82 0,43-1,91 0,33-0,64 1,01-2,90

CI 1,21 0,79-0,84 0,46-0,57

PTE 2 1,78 2 0,56




Măsura în care progresul observat poate fi atribuit intervenției - TIC



Instrument de

finanțare

OG1 OG2



sau semnificativ


Brevete

solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii


private

Colaborări în

scopul obținerii

de servicii sau

produse de CD

Ritmul de creștere

al cifrei de afaceri

Publicaţii ştiinţifice

internaționale

Costul finanțării

(mil. lei)

BG 17,65 17,91 12,0

CI 1,12 2,42 2,05 1,6

PTE 100,32 43,80 59,81 81,84 31,1

Instrument de

finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii


private

Colaborări în

scopul obținerii

de servicii sau

produse de CD

Ritmul de creștere

al cifrei de afaceri

Publicaţii ştiinţifice

internaționale

BG 0,43-0,93 0,67

CI 1,31-1,54 0,57-0,75 0,78

PTE 0,31 0,71 0,49-0,55 0,38




Măsura în care progresul observat poate fi atribuit intervenției - Energie



Instrument de

finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii

ştiinţifice

public-private

Colaborări în

scopul obținerii

de servicii sau

produse de CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționale

Costul

finanțării (mil.

lei)

BG 18,8 18,8 10,9

CI 2,5 1,8 0,5 1,4

Instrument

de finanțare

OG1 OG2



sau semnificativ


Brevete

solicitate/

obținute la

nivel naţional

şi

internaţional

Co-publicaţii

ştiinţifice

public-

private

Colaborări în

scopul obținerii

de servicii sau

produse de

CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționale

BG 0,58 0,58

CI 0,57 0,71-0,87 2,94




Măsura în care progresul observat poate fi atribuit intervenției – Eco-nano-tehnologii



Instrument de

finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete

solicitate/

obținute la

nivel naţional

şi

internaţional

Co-publicaţii

ştiinţifice

public-private

Colaborări în

scopul

obținerii de

servicii sau

produse de

CD

Ritmul de

creștere al

cifrei de

afaceri

Publicaţii

ştiinţifice

internaționale

Costul finanțării

(mil. lei)

BG17,3 8,7

CI0,7 1,7 1,0

PTE85,8 12,7 30,5

Instrument

de finanțare

OG1 OG2

Produse/

Tehnologii/

Metode/ Servicii

noi sau

semnificativ

îmbunătăţite

realizate

Brevete

solicitate/

obținute la nivel

naţional şi

internaţional

Co-publicaţii

ştiinţifice

public-private

Colaborări în

scopul

obținerii de

servicii sau

produse de

CD

Ritmul de

creștere al cifrei

de afaceri

Publicaţii

ştiinţifice

internaționale

BG 0,5

CI 1,46 0,62

PTE 0,33-0,38 2,39




Analiza rețelei de parteneriate pentru proiectele derulate prin Programul 2

Fig. Rețeaua PTE

Se distinge: Universitatea Politehnică din București (U10)

Fig. Rețeaua PEDSe disting: Universitatea București (U11) și

Universitatea Politehnică București (U25).

Fig. Rețeaua BG

Se disting: Universitatea Politehnica din București-U25, Universitatea

Tehnică din Cluj-Napoca-U29 și Universitatea București-U13

Fig. Rețeaua CI

Se distinge: Universitatea de științe agricole

și Medicină veterinară Cluj-Napoca (U13)




Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?”

Tabel. Rezultate obținute din anchetele în rândul firmelor, respectiv organizațiilor de cercetare

ASPECTE POZITIVE ASPECTE NEGATIVE

FIRME • Modul de redactare a pachetului de

informații (clar formulat, fără informații

redundante, cu informații bine structurate)

• Procesul de contractare

Durata evaluării

ORGANIZAȚII

DE CERCETARE

Modul de redactare a pachetului de informații

(clar formulat, fără informații redundante, cu

informații bine structurate)

Procesul de contractare

Comunicarea cu reprezentanții instituției

finanțatoare

Calitatea monitorizării proiectului

• Durata evaluării

• Calitatea evaluării (criterii de evaluare

adecvate, transparența evaluării, calitatea

comentariilor evaluatorilor, etc.)

• Predictibilitatea finanțării

• Birocrația asociată implementării proiectului

(birocrația asociată raportărilor tehnice și

financiare, birocrația asociată proceselor de

achiziție, etc.)

REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL

Metodele propuse pentru evaluarea impactului SNCDI 2014-2020

Metoda propusă Nivel de evaluare a impactului

Național Domeniu de

specializare

inteligentă (+prioritate

publică Sănătate)

Instrument de

finanțare

1 Metodă de evaluare contrafactuală - Diferență-

în-diferență (DID)X

X

2 Metodă de evaluare contrafactuală – Propensity

score matching (PSM)X

X

3 Metodă de evaluare contrafactuală – Regresia

discontinuă (RD)X

X

4 Modele Heckman de regresie în doi pași X X

5 Analiza cost-eficacitate X X

6 Interviul individual pentru stabilirea lanțului

cauzal

X

7 Studii de caz X X

8 Focus grupuri X X

9 Modele logice pentru evaluarea efectelor de

spillover

X

10 Analiza multicriterială X

11 Analiza bunelor practici X X

12 Model macroeconomic Input-Output X

13 Analiza rețelelor de colaborare X

14 Integrare rezultate de la nivelul

Instrumentelor de finanțare

X X

15 Integrare rezultate de la nivelul domeniilor de

specializare inteligentă

X

16 Analiza indicatorilor de rezultat X X X

17 Analiza evoluției indicatorilor țintă ai SNCDI X


Datele care au stat la baza evaluării impactului SNCDI 2014-2020 de impact

Tip date Sursa date Metodă de evaluare a impactului/ Metodă de

analiză

Date administrative privind implementarea PNCDI III UEFISCDI Analiza datelor administrative

Date administrative privind implementarea POC AM POC Analiza datelor administrative

Date statistice din Conturile naționale cu privire la

fluxurile dintre activitățile economice (input-output)

INS Modelul input-output

Date statistice cu privire la indicatorii țintă ai SNCDI INS, Eurostat Analiza progresului în raport cu țintele

Microdate privind indicatorii de rezultat obținuți de

beneficiarii instrumentelor de finanțare

UEFISCDI Analiza datelor – profil beneficiari și analiză

ezultate obținute

Analiza de rețea

Date primare colectate prin anchetă sociologică în

întreprinderi (de la beneficiari, respectiv non-

beneficiari pentru grupurile de control)

Date colectate prin

anchetă

Metode de evaluare contrafactuală a impactului

Analiza cost-eficacitate

Date primare colectate prin anchetă sociologică în

organizațiile de cercetare beneficiare

Date colectate prin

anchetă

Analiza rezultatelor

Analiza factorilor care au contribuit la efectele

obținute

Microdate secundare privind întreprinderile

beneficiare și non-beneficiare ale intervențiilor

ONRC Metode de evaluare contrafactuală a impactului

Date macroeconomice privind contextul implementării INS, EUROSTAT Analiza datelor

Date primare colectate prin interviuri în rândul

beneficiarilor

Date colectate prin

interviuri

Interviul individual pentru stabilirea lanțului causal

Studii de caz

Analiza bunelor practici

Date colectate prin focus-grup Focus-grupuri

Analiza bunelor practice


Contribuția SNCDI 2014-2020 la evoluția PIB-ului

S-au estimat efectele directe, indirecte și induse pe care activitatea de CD și cheltuielile pentru

CD prin SNCDI le-au produs asupra formării PIB.

Pentru estimarea acestor efecte s-a utilizat modelul statistic dezvoltat de V. Leontief care pe baza

relațiilor inter-sectoriale în cadrul unei economii, descrie modul în care o unitate de output (ieșire)

dintr-un anumit sector poate deveni input (intrare) într-un alt sector, prin estimarea unor

multiplicatori.

Natura contribuției (%) Programe 2015 2016 2017 2018TOTAL

2015-2018

Contributia directa

TOTAL PNCDI3 +

NUCLEU+POC

0.05 0.52 0.18 0.09 0.21

Contributia directa+indirecta

TOTAL PNCDI3 +

NUCLEU+POC

0.06 0.64 0.22 0.11 0.25

Contributia

directa+indirecta+indusa

TOTAL PNCDI3 +

NUCLEU+POC

0.07 0.81 0.27 0.14 0.32




Concluziile desprinse din analiza cantitativă

În urma analizei contrafactuale de impact la nivelul domeniilor de specializare inteligentă/

prioritate publică, se constată, în general, efecte pozitive, dar modeste, ce pot fi atribuite

instrumentelor de finanțare analizate asupra indicatorilor de impact.

Totuși, pentru anumiți indicatori și anumite instrumente de finanțare, impactul estimat s-a

dovedit a fi mai important la nivel de domeniu de specializare inteligentă/ prioritate publică

decât per total domenii.

Cu toate acestea, semnalăm faptul că dimensiunea redusă a eșantioanelor de întreprinderi

finanțate investigate prin anchetă statistică a limitat gradul de aplicabilitate a tehnicilor

contrafactuale de impact, care să poată permite estimarea unor efecte nete statistic

semnificative.

În acest sens, spre exemplu, amintim faptul că în cazul domeniului Sănătate sau respectiv în

cazul instrumentului de finanțare PED nu au putut fi estimate efectele nete ale intervenției, ca

urmare a numărului redus de observații colectate.

O altă problemă semnalată de echipa de evaluare vizează procesul dificil de selectare și de

contactare a beneficiarilor intervențiilor, cauzate de lipsa informațiilor cu privire la datele de

contact ale acestora.

EVALUAREA DE IMPACT -

ABORDAREA CALITATIVĂ

Obiectivele abordării calitative

1. Investigarea efectelor instrumentelor de finanțare

2. Identificarea factorilor care au influențat rezultatele instrumentelor de

finanțare, inclusiv factorii contextuali

3. Identificarea mecanismelor instituționale care au frânat sau care au facilitat

atingerea rezultatelor intervențiilor

4. Identificarea efectelor neintenționate pozitive și negative ale intervențiilor

5. Identificarea unor recomandări de îmbunătățire a instrumentelor de finanțare

Metode utilizate

Focus grup – 5 focus grupuri, câte unul pentru fiecare domeniu de specializare inteligentă

5-11 participanți dintre beneficiari (universități, institute de CDI, firme)

Interviuri cu reprezentanți ai instituțiilor responsabile cu implementarea și monitorizarea PNCDI III și POC

5 interviuri UEFISCDI

4 interviuri MCI

Studiu de caz asupra proiectelor de cercetare – 50 de proiecte finalizate finanțate prin PNCDI III și POC

Avantajele metodelor:

oferă informații complementare abordării cantitative, care pot susține construirea explicațiilor

culeg de informații cu privire la context

permit explorarea altor efecte

Limitele metodei:

Număr relativ scăzut de proiecte care pot fi studiate (metodă costisitoare)

Selecția cazurilor (se face pe baza considerentelor teoretice, dar și practice – accesibilitatea proiectelor)

Metode utilizate

Studiu de caz asupra proiectelor finanțate (finalizate)

S-au în vedere unități de analiză multiple: organizații (instituții coordonatoare, organizații

partenere) și cercetători

Tehnici utilizate pentru colectarea datelor sunt următoarele:

Interviuri semi-structurate cu reprezentanți ai organizațiilor coordonatoare / instituțiilor

gazdă

Interviuri semi-structurate cu directori de proiect și responsabili științifici ai partenerilor

Analiza surselor administrative de date: rapoarte de activitate ale organizațiilor care au

implementat proiectul de cercetare, documente organizaționale, informații privind proiectul

de cercetare.

Au fost studiați factori de influență: 1) caracteristici ale organizațiilor, 2) caracteristici ale

instrumentelor de finanțare și 3) condiții de context

Distribuția studiilor de caz pe programe,

instrumente de finanțare și domenii

Program Sub-program/acțiune Instrument de finanțare Nr. proiecte

PNCDI

III

Program 2. Creșterea

competitivității economiei

românești prin CDI

Proiect experimental

demonstrativ (PED)

12

Cecuri de inovare (CI) 5

Bridge Grant (BG) 9

Transfer la operatorul

economic (PTE)

9

Program 3. Cooperare

europeană și internațională

Proiecte mobilități RO-MD 4

Proiecte Eurostars 1

Program 4. Cercetare

fundamentala si de frontiera

ERC-LIKE 1

POC Acțiunea 1.1.1. A. Investiții pentru

departamentele de CD

ale întreprinderilor

1

Acțiune 1.2.1. C. Întreprinderi inovatoare

de tip start-up și spin-off

3

Acțiune 1.2.1. D. Întreprinderi nou-

înființate inovatoare

5

TOTAL STUDII DE CAZ 50

Bioeconomie; 8

TIC, spațiu și securitate ; 11

Energie, mediu și schimbări climatice; 11

Eco-nano-tehnologii și

materiale avansate; 8

Sănătate; 11

alta; 1

Efecte la nivelul organizațiilor și cercetătorilor

Cele mai importante beneficii:

obținerea de noi cunoștințe

creșterea vizibilității prin publicații internaționale

atragerea unor tineri cercetători

obținerea unor rezultate de CD (materializate prin cereri de brevete)

deschiderea unor noi direcții de cercetare și colaborare

dezvoltarea infrastructurii de CD (cu precădere prin POC)

Transferul în mediul economic

Durata redusă a proiectelor – dificultăți în realizarea transferului

Provocarea rămâne trecerea la producția de scară și promovarea produselor care rămân în sarcina mediului economic

”E foarte greu cu agenţii economici în România. Ei sunt mai degrabă interesaţi de beneficii materiale imediate, ştiţi? Ori acest tip de proiecte vizează beneficii pe termen lung, prin implementarea rezultatelor cercetării.” (Interviu Director de proiect)

Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor

de finanțare?

Puncte TARI:

Tipul parteneriatelor finanțate prin diferitele instrumente a fost considerat adecvat și cuprinzător

Complementaritatea expertizei partenerilor – a permis cercetări interdisciplinare

Colaborarea cu reprezentanții instituțiilor care asigură implementarea programelor a fost apreciată favorabil

Puncte SLABE

Discontinuități în finanțarea proiectelor, mai ales în prima parte a anului

Dificultăți pentru organizațiile fără venituri proprii

Realizarea cheltuielilor absolut necesare

Evaluarea proiectelor:

Durata prea lungă a evaluării

Imposibilitatea contestării

Criterii de evaluare neclare, aplicate neunitar

Lipsa specialiștilor pe unele sub-domenii evaluate

Disonanțe între punctaje și comentariile de justificare

Comentarii vagi, nespecifice

Timpul prea lung de la depunerea propunerii până la implementarea proiectului (modificarea condițiilor)

Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor

de finanțare?

Puncte SLABE

Durata prea scurtă a proiectelor în raport cu timpul necesar atingerii obiectivelor,

dezvoltării produselor și realizării testelor specifice

Probleme deosebite s-au înregistrat în cadrul proiectelor cu aplicație în sectorul

medical și agricol (Bioeconomie, Sănătate)

Inadecvarea unor indicatori de rezultat solicitați de proiect la durata proiectului și la

specificul instrumentului de finanțare

Atragerea tinerilor cercetători a fost afectată de faptul că procedurile de recrutare și

angajare în organizațiile de cercetare necesită o perioadă de timp care influențează

negativ desfășurarea proiectului

Lipsa de flexibilitate în ceea ce privește modificarea salariilor, creșterea numărului de

cercetători pe parcursul proiectului, modificarea timpului de lucru alocat posturilor sau

comasarea unor poziții

În ce măsură și cum ar fi putut lucrurile

fi făcute mai bine?

Pregătirea cercetătorilor pentru elaborarea propunerilor de proiecte

Îmbunătățirea calității pachetelor de competiție, clarificarea condițiilor de depunere și

implementare a proiectelor

Reducerea birocrației asociată depunerii proiectelor

Simplificarea procedurilor birocratice asociate achizițiilor și a riscurilor de nerambursare

a cheltuielilor

Simplificarea procedurilor de recrutare și angajare în proiecte

Mărirea perioadei în care se poate face raportarea finală, astfel încât să poată fi

raportate și articolele care sunt acceptate și publicate după finalizarea proiectului

Îmbunătățirea procesului de înregistrare a rezultatelor în Registrul rezultatelor; în

prezent, acesta nu răspunde obiectivelor sale și nu oferă o evidență adecvată.

”Reducerea numărului de declaraţii pentru etapa de aplicaţie. Semnam declaraţii. Du-teacolo, dincolo, aleargă fiecare partener să îşi semneze declaraţiile. La contractare semnezidin nou declaraţiile” (Interviu Director de proiect)

Ce factori au influențat progresul la nivelul

domeniilor de specializare inteligentă ?

Factori externi organizațiilor- Nivelul general scăzut al finanțării pentru cercetare

- Lipsa de continuitate a competițiilor de proiecte la nivel național, perioade

lungi de timp în care nu a existat oportunitatea de a aplica pentru finanțare

- Acces redus la sursele de finanțare internaționale din cauza lipsei de

vizibilitate a organizațiilor românești

- Gradul de dezvoltare a eco-sistemului de cercetare la nivel local/regional

Factori interni organizațiilor- Pierderi de personal, pe fondul discontinuităților din finanțare

- Criteriile de promovare favorizează publicațiile în defavoarea transferului,ceea ce a inhibat activitatea de transfer tehnologic

- Infrastructura de cercetare învechită

Concluzii

Există intenția și interesul ca cercetările derulate în proiecte să fie continuate pentru a fi atins un nivel TLR superior

Continuarea cercetărilor este frânată de lipsa oportunităților de finanțare

Accesarea unor alte surse de finanțare care să permită continuarea cercetărilor a fost extrem de dificilă pentru că nu au mai existat competiții naționale în domeniu

Acces redus la finanțările externe ca urmare a finanțărilor reduse de la nivel național

Activitatea echipelor de cercetare a fost afectată de lipsa continuității surselor de finanțare și dificultatea de a susține activitatea profesională exclusiv din proiecte

Atragerea tinerilor cercetători (masteranzi, doctoranzi) s-a realizat în multe cazuri doar pe perioadă determinată, angajarea lor neputând fi susținută după finalizarea proiectelor

Domeniile de specializare inteligentă prezintă un potențial foarte mare, însă, deocamdată, transferul tehnologic nu este facil în România deoarece numărul de producători este extrem de mic

Transferul în mediul economic ar fi mai bine sprijinit dacă și agenții economici ar primi sprijin financiar consistent în acest sens

Recomandări

Creșterea nivelului general de finanțare a activităților de cercetare

Dezvoltarea unui cadru de finanțare multi-anuală, conștientizat ca nevoie a mediului de cercetare de multă vreme și neimplementat până în prezent

O mai bună conectare a cercetării la mediul economic - Facilitarea unor întâlniri între instituțiile de cercetare și mediul economic pe durata pregătirii aplicațiilor pentru competiții

Reducerea duratei de evaluare a proiectelor și îmbunătățirea modalității de organizare a evaluării

Creșterea duratei maxime de implementare a proiectelor pentru a permite atingerea nivelului de TLR propus și asigurarea unor mai bune premise pentru transferul rezultatelor de CD

Asigurarea predictibilității competițiilor și a continuității oportunitățilorde fiananțare

Mulțumim pentru atenție !

r1 ”mecanism de monitorizare și evaluare de...

Documents