MASURAREA SI EVALUAREA CALITATII DATELOR STATISTICE2009

CUPRINS1. Despre calitate2. Conceptele Eurostat privind calitatea in statistica3. Metode de masurare si raportare a calitatii 4. Instrumente de evaluare a calitatii

1. DESPRE CALITATE1.1 Ce trebuie stiut despre calitate1.2. Costul calitatii datelor1.3. Exemple clasice de erori1.4. O scurta istorie a calitatii1.5. Definitia calitatii in general si ISO 1.6. Calitatea in statistica

1.1 Ce trebuie stiut despre calitateDesi calitatea nu poate fi definita cu exactitate, Dvs. stiti ce este. R RirsigCalitatea vorbeste mai mult decat cantitatea SenecaImbunatatirea calitatii este un proces care nu se termina niciodataGunoi bagi, gunoi scoti.

Not everything that can be COUNTED COUNTS! Not everything that COUNTS CAN BE COUNTED! A. EINSTEINNu tot ceea ce se evalueaza este valoros!Nu tot ceea ce este valoros se evalueaza!5

orice activitate umana dominata de tendinta spre calitate superioara; monumentele Egiptului Antic; produsele de artizanat si ale mestesugarilor. MASING (GERMANIA- DGQ) Calitatea prezenta in permanentade-a lungul istoriei4

1.2.Costul calitatii datelorErorile ale preturilor de vanzare au condus la un dezavantaj al clientilor din SUA de circa 2,5 mil $ pe an. 80 % din erori s-au datorat scanarii incorecte a codului de bare.In 2004, in medie 7 % din expedierile postale nu au fost operate din cauza adreselor gresite.In 1992, Departamentul de trezorerie al SUA nu a putut emite 100.000 de CEC-uri de incasari datorita adreselor gresite.

1.3.Data Quality Exampleerrorsmistypingsvariationsmissing valuesmissing values

No.

ISBN

Title

Name

Year

Pages

1

0-201-54329-X

An introduction to database systems

Date

1997

839

2

0-201-54329-X

An introduction to database systems

Date

1995

839

...

...

9

An introduction to spatial database systems

Gueting

1994

13

10

An introduction to spatial database systems

Gting

1994

13

...

...

26

0-210-14456-5

An introduction to database systems

Date

1977

536

27

0-201-14456-5

An Introduction to Database Systems

Date

1977

...

...

30

An introduction to database systems

Date

1.4. O scurta istorie a calitatii Fenomenul calitatii isi are radacinele in secolul 13 cand a fost elaborat modelul maiestriei (craftsmanship model). Sistemul industrial pune accent pe inspectia produselor, startul este dat de Great Britain la 1750, fenomen care se amplifica in cadrul Industrial Revolution, inainte de 1800. Inainte de secolul 20th, manufacturierii incep sa includa calitatea proceselor industriale in practicile calitatii. Walter Shewhart (1922) elaboreaza Statistical process control techniques. World War II (1939-1945), calitatea devine o componenta critica a efortului de razboi: Gloantele fabricate intr-o tara, de exemplu, trebuiau sa functioneze consistent in carabinele utilizate de alti. Data Quality Control: in Statistical Offices incepe din 1930 in Business incepe din 1990

Source: www.asq.org

(P. Garrona si T. Luige)3 paradigme fundamentale in managementul calitatii in secolul 20: Fordism ... limitare la verificarea calitii produsului final; Post- Fordism satisfacerea clientilor = factor de calitate TQM ... implicarea salariailor; sistem informaional eficient; satisfacerea necesitilor utilizatorilor

6

1.5. Definitia calitatii in generalW. Werz (1915): Calitatea reflecta abilitatea unui obiect de a intampina un scopNorma ISO: Potrivit pentru utilizare conform obiectivelor stabiliteIndustrie: Calitatea este conformitatea cu cerintele stabilite prin documentatia tehnicaComputer Science: Potrivire pentru utilizare in contextul satisfacerii unui scop

Definitii ISO (1)ISO (Organizaia Internaional pentru Standardizare) a preluat aceste concepte n anul 1979, propunand n 1986 o definiie standardizat a calitii, iar n 1987 la rapoarte privind atestarea calitii.Astfel, ISO 8402 din 1986 definete calitatea ca fiind ansamblu proprietilor i caracteristicilor unui produs sau a unui serviciu care-i confer capacitatea de a satisface nevoile exprimate i implicite .Aceast definiie are avantajul generalizrii, deoarece ea nu apare ca fiind specific unui sector de activitate anume.

Definitii ISO (2)Norma ISO 9001 - ofer un model pentru asigurarea calitii n conceperea, dezvoltarea, producia, instalarea i prestaiile asigurate- viziune foarte larg privind calitatea, deoarece toate componentele activitii ntreprinderii sunt luate n considerare. Norma ISO 9002 - exclude aspectele de concepie i dezvoltare. - se axeaza pe calitatea procesului de producie i n special pe capacitatea ntreprinderii de a-l ine sub control. -calitatea procesului contribuie la calitatea produsului

Definitii ISO (3)Norma ISO 9003 - un model pentru asigurarea calitii supuse controlului i testrii finale- limitare la un aspect al calitii produsului final, ce poate fi perceput printr-o analiz izolat (prin controale) fr a lua n consideraie felul n care a fost obinut. Nu reiese deloc c procesul de producie este el nsui de calitate.- este insuficient pentru produsul statistic!- este adesea dificil s se evalueze calitatea statisticii numai la simpla vedere a unui produs statistic, cum ar fi buletin, breviar, etc.- dac nu dispunem de elemente de comparare, de indicatori suplimentari (despre planul de sondaj, despre non-rspunsuri) avem puine elemente pentru aprecierea calitii statisticii.

1.6. Necesitatea calitatii in statistica oficiala Probleme legate de calitatea datelor (Indicele Preturilor de Consum (SUA, Elvetia), Statistici de intreprindere pe termen scurt (Eurostat), etc.)

Presiunea utilizatorilor externi si a altor actori implicati de a putea beneficia de experienta sectorului privat

Necesitatea de a davaloare banilor cu resurse din ce in ce mai reduse

Intentia de a perfectiona Sistemul Statistic European8

Calitatea in statistica

concept nou preluat din domeniul economic;Precursori: Suedia, Italia, Olanda, Finlanda, Germania, Canada, SUA;Campania: ofensiv pentru calitate in statistica in toate statele membre, statele candidate, alte tari ale lumii si in toate organizatiile internationale. Abordarea TQM n statistica oficial vizeaz procesele de producie, diseminare si utilizare a datelor sub aspectul mbuntirii permanente i lurii n considerare a necesitilor prezente i viitoare ale utilizatorului cumulate ntr-un sistem integrat TQM9

1990 Managementul Total al Calitatii

Conceptul se refera nu numai la produs, ci la ansamblul organizatiei, ADICA LA:Proiectarea produsului, managementul procesului de productie, conditiile de munca, managementul resurselor umane, etc.

38

TQM - Managementul Total al CalitatiiConcentrarea asupra clientuluiAbordare procesuala: activitati si resurse derulate in proceseConducere angajataParticiparea tuturor: oamenii, esenta organizatieiDecizii bazate pe faptePerfectionare continuaMunca in echipaUtilizarea de instrumente ale calitatii39

Concentrarea asupra clientului

Calitatea este vizibila pentru clientIdentificarea diferitilor clientiStabilirea cerintelor acestoraDialog si urmarireClienti externi si interniCultura statistica

40

Conducere activa si angajata

Conducere pe baza unor exempleCrearea mediului corespunzator muncii de calitateFurnizarea resurselor necesareParticipare si sprijin vizibilAngajamente pe termen lung

42

Participarea tuturor

Fiecare dintre noi o za dintr-un lantImplicareParticipare activa/angajament RezultateFiecare are o cunoastere proprie ce contribuie la ansambluResponsabilitate - imputernicire

43

Decizii bazate pe fapte

Mai corecteMai obiectivePosibilitatea intelegerii si evaluarii

44

Perfectionare continuaIntotdeauna exista o modalitate de a obtine o mai buna calitate la un pret mai mic

Deschiderea unor noi posibilitatiSchimbarea cerintelor si realitatiiPasi mari pasi miciEvaluare si perfectionareInstrumente ale calitatiiPlanificare realizare verificare actiune45

Abordarea conceptului de calitate in statistica

Pentru INS, contextul este caracterizat prin: INS: agentie specializata a administratiei publice; unii utilizatori sunt interni; input-uri: date primare de la intreprinderi/ gospodarii/ persoane fizice; procesele de productie inseamna transformarea datelor primare in agregate; produsele obtinute: statistici sau servicii statistice

Calitatea diferite definitii, abordari diferite- - utilizator- repondent- responsabil de ancheta statistica- responsabil de productia statistica- responsabil cu stabilirea politicilor

Exista 2 notiuni fundamentale in domeniul calitatii:

1. stapinarea calitatii obiectiv intern de imbunatatire a produselor statistice i de cretere a productivitii

2. asigurarea calitatii - garaniile de calitate a produsului statistic sunt cerute de ctre clieni

2. CONCEPTELE EUROSTAT PRIVIND CALITATEA IN STATISTICA2.1. SSE - Sistemul Statistic European2.2. Initiativele SSE privind calitatea2.3 EUROSTAT si calitatea2.4. Componentele calitatii in statistica2.5. Cadrul metodologic al EUROSTAT2.6. Indicatorii standard de calitate

2.1. Valori ale SSEConcentrarea asupra utilizatorului

Perfectionare continua

Angajament pentru calitatea produselor

Accesibilitatea informatiilor

Parteneriat in cadrul SSE si dincolo de acesta

Respectarea nevoilor furnizorilor de date99

Valori ale SSE (continuare)Angajamentul conducerii

Managementul sistematic al calitatii

Procese efective si eficiente

Satisfactia si dezvoltarea personalului

100

2.2. Initiativele SSE in legatura cu calitateLEG Leadership Experts Group, 1999Declaratia calitatii a SSE.principii si viziuni pentru SSEOrganizarea de conferinte pentru calitate (Q2001 la Stockholm, Mainz).Cele 22 de Recomandari privind CalitateaCodul de bune practici in statistica (2005): 15 principii cheie ref. la mediul institutional, procesele statistice si produsele statisticeRegulamentul 223/2009: legea statistica

Declaratia de calitate (1)* Misiunea SSE (cuprins n Declaraia asupra calitii) prevede: Noi furnizm UE i lumii informaii de nalt calitate asupra economiei i societii la nivel european, naional i regional i punem la dispoziie informaii pentru oricare scopuri decizionale, cercetri i dezbateri publice.

12

Declaratia de calitate (2)* Viziunea SSE: SSE va fi un leader mondial n servicii de informaii statistice i cel mai important furnizor de informaii pentru UE i statele membre. Bazndu-se pe principiile i metodele tiintifice, SSE va oferi i mbunti continuu programul statisticii europene armonizate ce constituie o baza eseniala pentru procesele democratice i progresul societii.

RECOMADARILE LEG-uluiRec. nr. 1: Fiecare INS trebuie sa produca Raportele de calitate in concordanta cu dimensiunile si subdimensiunile SSERec. nr. 2: Comensurarea fiecarei dimensiuni si subdimensiuni a calitatii SSE trebuie continuu sa fie imbunatatita Rec. nr. 15: Un checklist generic trebuie sa fie dezvoltat printr-un program simplu de autoevaluare destinat responsabililor de anchete care fac parte din SSE - DESAPRec. nr. 22: Este necesar de a se stabili un Grup de Implementare al LEG care sa coordoneze activitatiile recomandate de Comitetul Coordonator

2.3. Eurostat si calitatea in statistica

Eurostat defineste calitatea in statistic plecand de la norma ISO 8402 din 1986 i anume ansamblu proprietilor i caracteristicilor unui produs sau a unui serviciu care-i confera capacitatea de a satisface nevoile exprimate si implicite

produsul statistic trebuie s fie potrivit scopului.

2.4. Componentele calitatiiin statistica (Y. Franchet, 1998)Calitatea in statistica este definita prin 6 componente: 1. Acurateea 2. Relevana 3. Oportunitatea i Punctualitatea 4. Accesibilitatea i claritatea 5. Comparabilitatea 6. Coerena

Acurateea este legat de conceptul de eroare i reprezint gradul de apropiere dintre valoarea final reinut (dup colectare, editare, imputare, estimare, etc.) i valoarea real, dar necunoscut. Diferena dintre cele dou valori reprezint eroarea. Acurateea este un concept relativ, nu unul absolut, dar este fundamental pentru calitatea statisticii.

Relevana reprezint msura n care nevoile utilizatorilor sunt ndeplinite n mod adecvat.

Se apreciaz relevana produsului statistic pentru utilizatori, msura n care statisticile furnizate satisfac cerinele utilizatorilor. Una din principalele cheie ale managementului calitii este orientarea statisticii oficiale ctre utilizatori.

Clasificarea utilizatorilor

Utilizatori trebuie cunoscuti, descrisi, clasificati si intervievatiUtilizatori sunt clasificati generic in 6 categorii: Institutii multinationale, nationale, regionale, judeteneActori sociali: asociatii profesionale, patronale, sindicateMedia: internationala sau nationala, interesata atat pentru date cat si pentru analize si comentarii, este principalul canal de diseminare a informatiilor catre publicCercetatori si studentii necesita statistici, analize, servicii ad-hoc, acces la date specificeIntreprinderi (agenti economici)- fie pentru propriile studii de piata sau pentru faptul ca ei ofera servicii de consultanta in sectorul informational Utilizatori interni din INS

Evaluarea cerintelor utilizatorilorPentru a evalua daca cerintele utilizatorilor sunt satisfacute trebuie folosit orice mijloc disponibilCel mai eficient mijloc il constituie ancheta de satisfactie a utilizatorilor, care poate fi focalizata pe un produs specific sau pe set larg de informatii disponibile, cum ar fi conturile nationale sau statistica agriculturiiPrin interogarea utilizatorilor se pot clasifica produsele si serviciile statistice pe o scala a calitatii de la 1 la 5- se poate masura care aspecte ale calitatii sunt cele mai importante pentru ei

Mai putin expresiva, este metoda feedbackul de la utilizatori prin atasarea unui formular la publicatii

Utilizatori

Statistica oficiala trebuie orientata catre utilizatoriProblema complexaStatistica= bun publicGrupe de utilizatori la nivel de produsConsilii ale utilizatorilorAlte modalitati: reactii via Internet, intalniri ad hoc cu institutele importante si Acorduri de Asistenta pentru principalii clienti33

Utilizatori

Intelegerea nevoilor utilizatorilor si realizarea a tot ce este posibil pentru satisfacerea acestora!

34

Oportunitatea i Punctualitatea Oportunitatea - perioada de timp dintre data furnizrii datelor statistice ctre utilizatori i data (perioada) de referin

Punctualitatea - perioada de timp dintre data real de furnizare a datelor ctre utilizatori i data de furnizare programat (regsit n catalogul publicaiilor).

Accesibilitatea i claritatea Accesibilitatea - se refer la condiiile fizice n care utilizatorii pot obine datele (de unde pot obine datele, cum pot comanda datele, timpul de livrare al datelor, etc.)

Claritatea - se refer la modul n care sunt furnizate informaii despre date (metadate). Cifrele statistice trebuie s fie insotite de metadate adecvate, astfel nct utilizatorul s le poat nelege i interpreta corect

Comparabilitatea reprezint impactul produs de diferenele dintre conceptele i definiiile statistice, cand se compar datele statistice din diferite zone geografice, domenii non-geografice sau perioade de referin.

Comparaiile se refer la:

Comparaii n timp: posibile rupturi n seriile de timp i informaii asupra perioadei de referin cnd au intervenit aceste rupturi, descrieri ale diferenelor n concepte ntre dou perioade de referin, aprecieri cantitative ale efectelor schimbrilor;Comparaii geografice: diferene ntre practicile naionale i standardele Eurostat;Comparabilitatea ntre domenii: compararea statisticilor pe domenii, definite adesea conform unor clasificri sau nomenclatoare, ex: compararea omajului n industrie i comer, dou domenii definite conform CAEN.

Coerenta

Caz particular al comparabilitatii

Coerenta statisticilor reprezinta posibilitatea combinarii acestora in diverse moduri si pentru diverse utilizari

Statistici similare provenite din surse diferite trebuie identificate, iar diferentele trebuie explicate, cuantificate

28

Coerenta (continuare)

Trebuie prevenita intelegerea eronata de catre utilizatori, in special atunci cand se poate presupune ca anumite statistici vor fi utilizate impreuna

29

Echilibrul intrecomponentele calitatiiRelatii pozitive: ---Relevanta/celelalte componente ale calitatii; ---Acuratetea/ comparabilitatea si coerenta

Relatii negative (compromisuri) ---Oportunitate si precizie---Relevanta/comparabilitate in timp---Comparabilitate geografica/ comparabilitate in timp30

Care este cea mai importanta componenta a calitatii?

32

2.5. Cadrul metodologic al EUROSTATCadrul metodologic dezvoltat de Eurostat consta in:Definirea calitatii prin cele 6 componenteIndicatorii Standard de Calitate RSC - Raportul Standard al Calitatii Proiectul DESAP pentru evaluarea calitatii Glosarul Termenilor CalitatiiBarometrul calitatii

Indicatori standard de calitate (1)Obiective: sa masoare si sa urmareasca in timp calitatea datelor produse de statisticaCaracteristici - Sa fie reprezentativi, usor de produs si de intelesSa fie aplicabili la datele obtinute din anchete statistice, din sursele administrative sau alte surseSa fie aplicabili atat la datelor produse de INS, cat si la cele produse de Eurostat Sa aiba la baza aceeasi terminologie agreata, algoritmi, variabile, domenii statistice, niveluri de analiza 2 seturi:- indicatori orientati spre producator - orientati catre utilizatori

Indicatori standard de calitate (2)Clasificarea indicatorilor: ptr. fiecare din cele 2 seturi, 2 tipuri de indicatori---de performanta (se masoara nivelul calitatii dimensiunii avute in vedere)---de monitorizare (indicatori de management, ce se refera la calitatea rapoartelor de calitate)

Relevanta (1)Indicatori determinati in conditii specifice ale fiecarui produs statistic;Calculul indicatorilor presupune clarificarea aspectelor:---care sunt categoriile de utilizatori; cate dintre ele trebuie luate in considerare ptr. calculul indicatorilor;---daca informatia furnizata este importanta ptr. utilizatori

R1 Numar si proportia produselor statistice ptr. care se masoara satisfactia utilizatorilor.Usor de calculat, daca ar exista ancheta privind satisfactia utilizatorilor

Relevanta (2)R2. procentul produselor statistice pe care INS le considera utile pentru utilizatori

Indicator de monitorizare, orientat catre producator---ptr. calculul sau este necesara o clasificare a utilizatorilor si a nevoilor lor

Acuratetea

Indicatorii compilati ptr. monitorizarea erorilor de acoperire, erorilor bazei de sondaj si erorilor de imputareEvaluarea calitatii- dificila ptr. datele din surse administrative ptr. ca reflecta cerntele administratiei publice ca utilizator principal

Acuratetea

A1: numarul si proportia produselor statistice ce furnizeaza informatia pentru non-raspunsuri

- indicator de monitorizare- orientat spre producator

Acuratetea(2)A2. Numarul si proportia produselor statistice ce furnizeaza informatii despre erorile independente de esantionare (excluzand non raspunsul) Indicator de monitorizare, orientat spre producatorPtr. calculul sau se vor lua in considerare erorile bazei de sondaj, cele de culegere si procesare a datelor

Acuratetea - (3)A3 Rata datelor lipsa Indicator de monitorizareOrientat catre producator

Acuratetea (4)A4. Evaluarea calitativa a acuratetei globale Indicator de performantaOrientat catre producatorCalculul sau se bazeaza pe informatia furnizata pentru toti indicatorii de acuratete orientati catre producatori, amintiti pana acum.

Oportunitatea si punctualitatea Oportunitatea informatiilor reflecta intervalul de timp care a trecut intre data livrarii si perioada de referinta a evenimentului sau fenomenului descris (Eurostat)Punctualitatea se refera la timpul scurs intre data livrarii a datelor si cea previzionata, de exemplu avand in vedere datele anuntate in comunicatele oficiale, cele prevazute in reglementari sau cele convenite intre parteneri. (Eurostat)

Oportunitate si punctualitateT1 Timpul mediu dintre momentul obtinerii rezultatelor finale si cel al furnizarii publicatieiIndicator de monitorizareAr trebui examinat impreuna cu timpul mediu scurs intre perioada de referinta si data publicarii si cu timpul mediu scurs intre momentul publicarii si termenul prevazut in grafic

Oportunitate si Punctualitatea T2.Numarul si proportia statisticilor transmise la timp organizatiilor internationale- indicator de monitorizare;-ilustreaza cauzele pentru care publicatiile sau rezultatele nu au fost transmise la timp.T3. Proportia publicatiilor realizate la timp- indicator de monitorizare si de performanta, orientat catre utilizator si producator

Accesibilitatea si Claritatea Accesibilitatea se refera la conditiile fizice in care utilizatorii pot obtine date: Unde sa mearga, cum sa comande, timpul de furnizare, politica de pret, conditii de marketing convenabile (copyright), disponibilitatea micro sau macro datelor, diferite formaturi de prezentare (hartie, fisiere, CD, Internet), etc.Claritatea se refera la mediu informativ al datelor daca datele sunt insotite de metadate,sunt datele ilustrate cu grafice si harti, daca sunt disponibile informatii despre calitatea datelor (incluzand limitari in utilizare..) si,se poate astepta la o asistenta suplimentara din parte INS-ului.

Indicatorii pentru AccesibilitateAC1 Modalitati folosite si numarul acestora pentru diseminarea statisticilor Indicator de monitorizare,Orientat spre producator.Publicatii pe hartie (anuale, buletinele lunare, informatiile rapide, comunicate de presa, alte tematici)dischete CD-ROMsBaze de date de referinta

Comparabilitatea (1)masurarea impactului diferentelor in conceptele si definitiile statistice aplicate cand sunt comparate statisticile intre zone geografice, domenii non-geografice, sau perioade de referinta peste timp. Lipsa de comparabilitate se datoreste urmatoarelor cauze:diferente conceptualediferente in metode

Comparabilitatea (2)Diferentele potentiale intre concepte:caracteristici statistice (ex cifra de afaceri)masurari statistice (ex media, total)unitati statistice (raportare din esantion)populatia unitatilor care prezinta interes (populatia tinta)populatia anchetataperioada de referinta (data sau perioada)domeniile de studiu / subpopulatiaclasificarile si stadardeleDiferente potentiale in metode:procedurile de esantionareinstrumentele de colectare a datelor metodele de procesare a datelorprocedurile de estimare folosite proceduri de ajustare folosite (ex adjustari sezoniere, imputari)

Indicatorii pentru Comparabilitate (1) C1. Numarul si proportia produselor statistice ce au indicat schimbari in concepte si/sau metode de masurare intervenite in timp, care furnizeaza estimari cantitative ale efectelor acestor schimbariIndicator de monitorizare, necesar ptr. comparatii in timp

Indicatorii pentru Comparabilitate (2)C2 Numarul si proportia produselor statistice ce au indicat diferente intre concepte sau/ si metode de masurare fata de normele europene si furnizeaza estimari cantitative ale efectelor acestor schimbari Indicator de monitorizareMasoara comparabilitatea geografica

Indicatorii pentru Comparabilitatea (3)C3 Diferentele privind comparabilitatea in timpIndicator de performanta

C4. Diferentele privind comparabilitatea intre domeniiIndicator de performantaIa in considerare diferentele intre conceptele si metodele de masurare, cat si intre metadatele folosite in productia de statistici ptr. doua sau mai multe domenii de interes (de ex. ABF si AFM);

C5. Gradul de armonizare al indicatorilorCalculul ia in considerare:- numarul si proportia produselor statistice ce au indicat diferente intre concepte sau/ si metode de masurare fata de normele europene si furnizeaza estimari cantitative ale efectelor acestor diferente;- metadatele furnizate pentru explicarea metodologiei folosite, conceptele si detaliile de masurare, metodele de detectare a erorilor, clasificarile folosite.

Indicatorii pentru CoerentaCoerenta este impartita in urmatoarele sub-componente:--- intre statistici provizorii si finale;--- intre statistici anuale si pe termen scurt;--- intre statisticile unui domeniu socio-economic si conturile nationale.CH1. Numarul si proportia produselor statistice ce ofera informatii descriptive si cantitative despre coerenta cu statisticile din alte domenii- indicator de performanta, orientat spre producatorCH2. Evaluarea calitativa a coerentei intre statisticile publicate la nivel natinoal si publicatiile Eurostat

CONCLUZII PRIVIND IND. STANDARD

Se studiaza elaborarea unui indicator complex pentru evaluarea calitatii globale (Barometru al caltatii)

3. METODE DE MASURARE SI RAPORTARE A CALITATII Masurarea calitatii

Rapoartele de calitate

3.1. Masurarea calitatiiMasurarea calitatii datelor nu este o treaba usoaraEvaluare interna, condusa de o comisie de evaluareEste necesar un set standard de indicatori ce se refera la dimensiunile calitatiiEvaluare externa pe baza opiniilor utilizatorilor de date obtinute prin anchete

Raportarea calitatiiMasurarea si raportarea calitatii se realizeaza prin Rapoartele de calitateIn unele tari exista regula ca fiecare ancheta trebuie insotita de un raport de calitateEurostat a dezvoltat Raport Standard de Calitate

UTILITATEA RAPOARTELOR DE CALITATEPtr. evaluarea calitatii informatiilor obtinute dintr-o ancheta sunt avute in vedere toate activitatile implicate in procesul de realizare a anchetei respective: planificarea; selectia esantionului; culegerea datelor; controlul logic si efectuarea corectiilor, analiza si publicarea datelor

Utilizarea Rapoartelor de calitate la nivel european:Pentru imbunatatirea calitatii anchetelorPentru a face comparatii intre anchetePentru construirea unor indicatori de calitate care sa fie diseminatiInformatii pentru utilizatoriInstrument pentru imbunatatirea proceselor de productieParte a sistemului de documentare a procesului de productie

3.1 Masurarea calitatii - LEGISLATIA UE PRIVIND RAPOARTELE DE CALITATEComm. Reg. 452/00 si Counc. Reg 530/1999 privind castigurile si costul fortei de muncaComm. Reg 28/04 si EC Reg 1177/03 privind veniturile si conditiile de viataRegulamentul provizoriu privind Balanta de PlatiCounc. Reg 577/98 privind Ancheta Fortei de MuncaComm. Reg 1618/99 privind statisticile structuraleCounc. Reg. 1165/98 privind statisticile pe termen scurt

2.4. RAPORTUL STANDARD DE CALITATE (RSC)Documentatia Eurostat care trebuie studiata pentru a putea intocmi un RSC : Definitiile, Indicatori Standard de Calitate, Glosarul de Termeni, Ghidul Cum se face un Raport de calitate

Nu se pot stabili indicatori de calitate ce se pot adapta la orice ancheta statistica (anchetele au scopuri diferite; esantion si metodologie de esantionare specifice/ etapele dezvoltarii anchetelor difera de la o tara la alta)

INS va stabili o lista cu indicatori comuni aplicabili la orice ancheta; ulterior functie de necesitati se pot adauga sau elimina indicatori

Un RSC ptr. Producator si unul ptr. Utilizator

DE CE RSC ORIENTAT PE PRODUCATOR ?Profesionisti vor sa afle si sa inteleaga detaliile tehnicePersonalul nou angajat trebuie sa invete metodologia ancheteiPentru domeniile specificate de Regulamentele Comisiei se cer rapoarte de calitateIn prezent, standardele UE sunt focalizate pe rapoartele orientate pe producator

DE CE RSC ORIENTAT PE UTILIZATOR ?Declaratiile de calitate - parte integranta pentru orice bun sau serviciu intr-o societate modernaO economie eficienta cere o comunicare eficienta intre utilizatori si producatoriUtilizatorii trebuie sa fie informati in ce limite pot utiliza dateleMarjele de eroare sunt importante sa fie cunoscute pentru a lua decizii rationaleRapoartele de calitate faciliteaza ca utilizatorii sa-si exprime mai usor cerintele lor, intr-un mod mult mai precis, pentru urmatoarea runda de anchete

RAPORTUL STANDARD DE CALITATECe trebuie raportat intr-un Raport standard de calitate despre:..?

RelevantaDescrierea i clasificarea utilizatorilor: au fost identificati utilizatorii principali?

Descrierea cerintelor utilizatorilor: au fost identificate cerintele utilizatorilor datelor statistice obtinute prin ancheta? Cat de multumiti sunt utilizatorii de acest set de informatii?

AcurateteChestionarul: sunt bine definite obiectivele anchetei? Sunt clar definite intrebarile? A fost testata claritatea intrebarilor? A fost testata validitatea intrebarilor?Acoperire: daca este o ancheta pe baza de esantion, ce baza de sondaj a fost folosita ptr. selectia esantionului? Cat de completa este baza de sondaj? Daca baza de sondaj a necesitat completare, completarea a fost inainte de selectia esantionului?Esantionare: sunt utilizatorii informati in detaliu despre metoda de esantionare? Care este fractiunea de sondaj? A fost esantionul reprezentativ?Culegerea datelor: ce metoda de culegere a datelor a fost folosita? (interviuri directe/ chestionare prin posta); a fost efectuat un test pilot? Exista un manual al anchetei? a fost realizat instructajul operatorilor de interviu? Este evaluata performanta tuturor operatorilor de interviu cel putin o data la 2 ani? care este timpul mediu de completare a unui chestionar?ce metode au fost folosite ptr. a reduce erorile de raspuns a repondentilor? ce metode au fost folosite pentru a minimiza numarul si rata non-raspunsurilor

Acuratete

Procesarea datelor: exista un orar fixat pentru fiecare etapa a procesarii datelor? a fost fiecare chestionar verificat in ce priveste inregistrarea datelor? Ce metoda de introducere a datelor se foloseste? Ce metode sunt folosite pentru a minimiza erorile de procesare a datelor? Cum este monitorizata procesarea datelor? Ce actiuni se intreprind pentru a proteja confidentialitatea informatiilor obtinute in urma anchetei?

Analiza: ce sistem de ponderare este utilizat pentru obtinerea estimatiilor? In cazul seriilor cronologice, datele se ajusteaza prin metoda ajustarii sezoniere? Erorile de esantionare sunt disponibile? Datele cu privire la erorile prin non-raspuns sunt disponibile pe tipuri de eroare? Ce metoda de imputare este folosita pentru tratarea non-raspunsurilor? Exista proceduri scrise privind editarea si imputarea datelor, realizarea estimatiilor si a verificarilor incrucisate? Exista discrepante intre rezultatele acestei anchete si cele ale altor anchete conduse de INS ce au produs rezultate similare? Dar conduse de alte agentii? Daca da, de ce? Care este discrepanta dintre datele preliminare si cele finale?

Operativitate (oportunitate)Termenul de operativitate contine mai multe intelesuri: punctualitate, periodicitate si rapiditate

Operativitate: care este intervalul de timp dintre sfarsitul anchetei si aparitia datelor? Fixati termenul publicarii pentru aparitia rezultatelor? Care este intervalul de timp dintre sfarsitul anchetei si diseminarea rezultatelor? Atunci cand datele sunt amendate, baza de date statistice este revizuita cu promptitudine?Punctualitate: sunt utilizatorii informati cu privire la data aaritiei rezultatleor? Este data actuala de aparitie a rezultatelor apropiata de data propusa?

ACCESIBILITATESe refera la masura in care la masura in care indicatorii statistici sunt disponibili pentru utilizatori intr-un mod specific si usor.Modul de diseminare a datelor: datele prelucrate exista sub forma unei baze de date statistice? Datele sunt publicate in ziare? Datele apar in publicarii lunare? Datele sunt disponibile pe CD ROM sau pe discheta? Exista o forma bruta, neprelucrata a datelor?Procurarea datelor: datele pot fi cumparate on-line? Exista informatii cu privire la publicariile si locurile de unde se pot procura?Claritatea: scopul si obiectivele anchetei, definitiile termenilor, continutul chestionarului si alte informatii generale cu privire la ancheta sunt disponibile? Utilizatorii sunt informati despre numele si numarul de telefon al persoanei de contact pentru orice nelamurire privind folosirea datelor statistice? Analiza rezultatelor anchetei exista in forma scrisa? Sunt folosite diagrame si grafice clare pentru o mai buna intelegere a rezultatelor anchetei de catre utilizatori? Raportul descrie rezutlatele de asemenea maniera incat sa poata preveni orice neitelegere cu privire la datele statistice?

EficientaIndicatorii de eficienta masoara cu cat se vor reduce costurile si cu cat se vor reduce eforturile repondentilor pentru a obtine aceleasi efecte

Resurse folosite: care este costul total pentru a organiza aceasta ancheta?

Solicitarea repondentilor: care este timpul total estimat pentru culegerea datelor? Care este timpul de raspuns estimat/ pe repondent?

Rezultate: care este venitul anual obtinut din vanzarea datelor statistice? Care este numarul de vizitatori ce au solicitat datele statistice existente in baza de date?

ComparabilitateComparabilitatea in timp: in cazul a doua serii cronologice consecutive ptr. care se folosesc concepte si metode diferite de masurare a datelor statistice, sunt informati utilizatorii cu privire la acest lucru?

Comparabilitatea in spatiu: utilizatorii sunt informati daca exista diferente intre conceptele statistice folosite de INS si cele ale altor agentii statistice internationale?

4. INSTRUMENTE DE EVALUARE A CALITATII Definirea evaluarii calitatii Instrumente utilizate Proiectul european DESAP barometrul calitatii, cu obiectivele:Masurarea evolutiei calitatii datelor intre domenii si peste timp;Identificare bune practici si puncte slabe;Furnizare de informatii pentru un management performant;* Data Quality Assessment Framework (FMI)

Evaluarea calitatiiEvalurea ne raspunde la intrebarea Unde ne aflam acum si unde vrem sa ajungem ?Scopul final este posibilitatea de invata si de a imbunatati activitatea

Instrumente pentru evaluarea calitatiiAuto-evaluarea: conform modelului EFQM, msurnd chiar tu situaia prezent;Autoinstruirea: nvaarea din experiena, cunotinele i greelile altora;Ancheta de percepere a personalului: msurarea la angajai a motivaiei i profesionalismului;Ancheta satisfaciei utilizatorilor: msurarea satisfacerii utilizatorilor principali;Indicatorii de performan: compararea performanelor prezente, trecute sau cu alii i monitorizarea proceselor;Indicatori de calitate a produsului: rapoartele de calitate evideniaz calitatea unui anumit produs, indicatorii de calitate permit comparaia ntre obiectivele int i realizri;Auditul: evaluarea calitii proceselor i rezultatelor;

Sinteza instrumentelor de auto-evaluareMasuri complementare sau primi pasi care trebuie facuti inainte

DESAP Development of a self assessment programme este un program generic simplu de autoevaluare destinat responsabililor de anchete (generic, in sensul ca se aplica la toate colectarile individuale de microdate statistice, fara a tine seama de subiectul sau metodologia anchetei respective)

baza legala o constituie recomandarea nr. 15 a LEG: Un checklist generic trebuie sa fie dezvoltat printr-un program simplu de autoevaluare destinat responsabililor de anchete care fac parte din SSE

este aliniat complet la criteriile de calitate, croit pentru productia statistica si are ca scop sa ajute responsabili de anchete sa evalueze calitate si sa dezvolte anchetele care sunt sub responsabilitatea lor

OBIECTIVELE DESAPuluiinstrument de evaluare: folosit pentru masurarea globala a calitatii anchetei si a gradului de acoperire a componentelor de calitate ale SSEasista responsabilul anchetei pentru aprecierea fundamentala a riscurilor potentiale ale problemelor de calitatefurnizeaza un mijloc simplu de comparare a nivelului atins al calitatii peste timp si intre domeniifurnizeaza un suport pentru alocarea resurselor in interiorul unui oficiu de statistica sau pentru instruirea personalului nou angajat

ARHITECTURA DESAP- orientat pe proces

Structura DESAP pe elemente componente (1)I. Decizia de iniiere a unei anchete statistice Analiza cerinelor utilizatorilorObiectivele ancheteiII. Proiectarea ancheteiConceptele ancheteiProiectarea eantionului (pentru anchetele selective)Dezvoltarea i testarea instrumentelor de msurIII. Colectarea datelorSursele de date Desfurarea i instruirea intervievatorilorReducerea nonrspunsurilor Organizarea activitii n terenIV. Captarea i procesarea datelorCaptarea datelorProcedurile de editare Procedurile de imputare

Structura DESAP pe elemente componente (2)V. Analiza datelor i calitatea produselor Relevana Accuratea Operativitatea i Punctualitatea Comparabilitatea Coerena Analiza DatelorControlul confidenialitii datelor VI. Documentaia i diseminarea Metadate metodologice Strategii de diseminare Administrarea datelorVII. Ciclu de mbuntiriAdaptabilitatea / flexibilitatea Expertizarea n domenii relevanteManagementul calitii

Tipologia intrebarilorPentru acoperirea varietatii functiilor checklistului s-au conceput si integrat in chestionar 3 tipuri de intrebari:intrebari cu categorii numeroase de raspunsuri (de imbunatatire)intrebari de evaluareintrebari deschise

Tipuri de intrebariIntrebari cu raspunsuri multiplerezuma esenta inventarierii masurilor de imbunatatire a calitatii datelor luate in interiorul INS-ului fac ca timpul consumat de completare a chestionarului sa fie scurt pentru ca responsabilul anchetei are posibilitatea sa bifeze un raspuns care este propice anchetei Intrebari deschisese pot stimula idei posibile de imbunatatire a procesului de productie bazat pe anchete statisticeexista pagini separate unde se pot inscrie idei pentru posibilile imbunatatiri

Tipuri de intrebariIntrebari de evaluare

intrebarile din aceasta categorie sunt supratiparite cu o culoare speciala (cu un fond albastru inchis si o bara pe margine de culoare albastru intens) pentru a facilita evaluarea

rezultatele raspunsurilor pot fi reprezentate grafic, diagrama care rezulta in final da profilul calitatii anchetei respective

DIAGRAMA DE EVALUARE

Se extrage pagina cu indicatorii cheie ai diagramei si se aseaza in fata atunci cand se completeaza raspunsurile la checklist;Atunci cand intalnesti o intrebare de evaluare se copiaza valoare raspunsului in diagrama;Raspunsurile la intrebarile de evaluare sunt numerotate si gasiti numarul echivalent in diagrama;Marcati cu o cruce in diagrama numerele corespunzatoare raspunsurilor dvs. la intrebarile respective. Daca o intrebare nu este relevanta pentru ancheta dvs puteti sari peste intrebarea respectiva.Cand ati completat toate intrebarile, uniti valorile marcate cu o cruce printr-o linie continuaAria care este in exteriorul liniei reflecta non-calitatea anchetei respectiveCum se deseneaza diagrama de evaluare a calitatii anchetei statistice

In loc de incheiereInvatati sa aplicati aceste concepte in activitatea dumneavoastra! Cooperati cu colegii!Folositi experienta celorlalti!Raspundeti la intrebarea: este necesar un departament de calitate in BNS ?Va multumim pentru participare!

110

Eurostat, in ultima perioada a realizat o serie de activitati pentru dezvoltarea unor metode si instrumente comune pentru raportarea calitatii statisticilor produse in SSE. Liniile de baza pentru raportarea calitatii statisticilor sunt descriese in Raportul Standard de Calitate, ce furnizeaza texte explicative in concordanta cu cele 6 componente ale calitatii descrise in Definitia Calitatii(relevanta, acuratete, oportunitate si punctualitate, accesibilitate si claritate, comparabilitate coerenta). Acesta este insotit de manualul comprehensiv Cum sa faci un Raport de calitate, continand bunele practici pentru raportarea calitatii. Mai recent, a fost dezvoltat un set de Indicators Standard de Quality , in scopul imbunatatirii disponibilitatii informatiei cantitative a calitatii in rapoartele standard de calitate si facilitarea comparatiilor intre tari si domenii. Profilele de calitate , un alt concept al calitatii a fost implementat cu succes pentru informarea utilizatorilor despre principalele caracteristici ale indicatorilor statistici. .

.