tezĂ de doctorat rezumat contribuții la...

Nistor Sorin Contribuții la prelucrarea, analiza și reprezentarea datelor geodezice

_______________________________________________________________________________________

UNIVERSITATEA TEHNICĂ DE CONSTRUCŢII BUCUREŞTI

Facultatea de Geodezie

TEZĂ DE DOCTORAT

REZUMAT

Contribuții la prelucrarea, analiza și

reprezentarea datelor geodezice

Conducător ştiințific

prof. univ. dr. ing. Johan NEUNER

Doctorand

ing. Sorin NISTOR

BUCUREŞTI

2013


_______________________________________________________________________________________


_______________________________________________________________________________________

CUPRINS

CAPITOLUL 1. INTRODUCERE ……………………………………………………5

1.1 PREZENTAREA EVOLUȚIEI MODELELOR MATEMATICE DE PRELUCRARE

A DATELOR GEODEZICE…………………………………………………………………...5

1.2 MOTIVAȚIE …………………………………………………………………………...7

1.3 GENERALITĂȚI…………………………………………………………………………..8

1.4 CLASIFICAREA MĂSURĂTORILOR ȘI A ERORILOR DE MĂSURARE………..9

1.4.1 Clasificarea măsurătorilor………………………………………………………………9

1.4.2 Clasificarea erorilor de măsurare……………………………………………………...11

1.5 ACURATEȚEA ȘI PRECIZIA……………………………………………………….14

1.6 PRELUCRAREA OBSERVAȚIILOR DIRECTE……………………………………15

1.7 PRELUCRAREA OBSERVAȚIILOR INDIRECTE…………………………………18

1.7.1 Compensarea măsurătorilor (determinărilor, observaţiilor) indirecte - Estimarea

parametrilor în cazul modelului Gauss – Markov……………………………………………18

1.7.2 Tratarea matriceală a măsurătorilor indirecte…………………………………………21

1.7.3 Compensarea rețelelor libere………………………………………………………….26

CAPITOLUL 2. NOȚIUNI DE STATISTICĂ ȘI TEORIA ERORILOR………………35

2.1 GENERALITĂȚI……………………………………………………………………..35

2.2 VARIABILE ALEATOARE ȘI FUNCȚII DE REPARTIȚIE……………………….40

2.2.1 Variabile aleatoare…………………………………………………………………….40

2.2.2 Repartiţii utilizate în studiul erorilor de măsurare…………………………………….42

2.3 ESTIMATORI ȘI METODE DE ESTIMARE A PARAMETRILOR UNEI

REPARTIȚII………………………………………………………………………………….48

2.3.1 Generalități……………………………………………………………………………48

2.3.2 Estimarea punctuală a parametrilor unei legi de repartiție. Metoda verosimilității

maxime………………………………………………………………………………………..49

CAPITOLUL 3. NECESITATEA INTEGRĂRII TESTELOR STATISTICE ÎN

DIFERITELE FAZE DE ANALIZĂ ȘI VALIDARE A DATELOR GEODEZICE…...52

3.1 GENERALITĂȚI……………………………………………………………………..52

3.2 CLASIFICAREA TESTELOR STATISTICE………….…………………………….53

3.3 ALEGEREA CORECTĂ A TESTULUI STATISTIC………………………………..54

3.4 ALGORITM DE VERIFICARE A IPOTEZELOR STATISTICE…………………...57

3.5 TIPURI DE ERORI ÎN TESTAREA IPOTEZELOR………………………………...58

3.6 PUTEREA TESTULUI……………………………………………………………….59

CAPITOLUL 4. IMPORTANȚA APLICĂRII DIFERITELOR TESTE

STATISTICE ÎN CADRUL PROCESULUI DE ANALIZĂ, REPREZENTARE ȘI

VALIDARE A DATELOR GEODEZICE………………………………………………60

4.1 DETECTAREA ERORILOR EXTERNE DIN CADRUL OBSERVAȚIILOR……..60

4.1.1 Data snooping…………………………………………………………………………60

4.1.2 Criteriul Tau” τ ”……………………………………………………………………...62

4.2 TESTE STATISTICE UTILIZATE ÎN MĂSURĂTORI GEODEZICE……………..63

4.2.1 Testul z………………………………………………………………………………...63

4.2.2 Testul t (Student)……………………………………………………………………...64

4.2.3 Testul F (Fisher-Snedecor)……………………………………………………………64

4.2.4 Testul χ2 (hi pătrat)…………………………………………………………………...64

4.2.5 Testul Kolmogorov-Smirnov………………………………………………………….65

4.3 ELIPSA ERORILOR………………………………………………………………….66

CAPITOLUL 5. ELEMENTE DE STATISTICĂ ROBUSTĂ………………………..73

5.1 NECESITATEA UNEI ANALIZE STATISTICE ROBUSTE……………………….74

5.2 ERORILE EXTERNE………………………………………………………………...76


_______________________________________________________________________________________

5.3 DOGMA NORMALITĂȚII…………………………………………………………..76

5.4 MODELUL COMPENSĂRII ROBUSTE ÎN GEODEZIE…………………………..77

5.5 INDICATORI AI TENDINȚEI CENTRALE………………………………………...78

5.5.1 Media aritmetică………………………………………………………………………78

5.5.2 Media trunchiată………………………………………………………………………79

5.5.3 Modulul sau Valoarea dominantă……………………………………………………..79

5.5.4 Mediana……………………………………………………………………………….80

5.5.5 Diferențe intre media aritmetică și mediana………………………………….……….81

5.6 VARIABILITATEA STATISTICĂ…………………………………………………..83

5.6.1 Dispersia (varianţa)……………………………………………………………………83

5.6.2 Abaterea absolută a medianei…………………………………………………………83

5.6.3 Distanța interquantilă (IQR)…………………………………………………………..84

5.7 MĂSURI ALE ROBUSTEȚII………………………………………………………..86

5.7.1 Funcția de influență…………………………………………………………………...88

5.7.2 Punctul de colaps……………………………………………………………………...89

5.8 INTERVALE DE CONFIDENȚĂ ROBUSTE ȘI TESTE…………………………...90

5.8.1 Intervale de confidență………………………………………………………………..90

5.8.2 Teste…………………………………………………………………………………...91

5.9 ABORDĂRI ALE STATISTICII CLASICE ȘI ROBUSTE………………………….92

5.10 MODELUL STOHASTIC AL COMPENSĂRII ROBUSTE………………………...93

5.11 ERORI EXTERNE……………………………………………………………………93

5.12 MODELUL FUNCȚIONAL AL COMPENSĂRII ROBUSTE………………………95

CAPITOLUL 6. ESTIMATORI ROBUȘTI……………………………………………96

6.1 CLASE DE METODE ROBUSTE…………………………………………………...96

6.2 TIPURI DE ESTIMATORI ROBUȘTI………………………………………………96

6.2.1 Metoda Daneza……………………………………………………………………….96

6.2.2 Estimatorul Huber – M……………………………………………………………….97

6.2.3 Estimatorul MM………………………………………………………………………97

6.2.4 Estimatorul IGGIII……………………………………………………………………98

6.2.5 Estimatorul R …………………………………………………………………………98

6.2.6 Estimatorul S …………………………………………………………………………98

6.2.7 Norma L1……………………………………………………………………………..98

6.2.8 Norma L2……………………………………………………………………………..99

CAPITOLUL 7. APLICAȚIE PRACTICĂ…………………………………………..100

CAPITOLUL 8. CONSIDERAȚII FINALE……………………………………….....112

8.1 CONCLUZII…………………………………………………………………………112

8.2 CONTRIBUȚIILE AUTORULUI…………………………………………………...114

8.3 DIRECȚII DE CERCETARE………………………………………………………..115

BIBLIOGRAFIE…………………………………………………………………………116

LISTA FIGURILOR……………………………………………………………………..119

ANEXA 1 ……………………………………………………………………...120

ANEXA 2 ……………………………………………………………………..135


_______________________________________________________________________________________

CAPITOLUL 1. INTRODUCERE

1.1 PREZENTAREA EVOLUȚIEI MODELELOR MATEMATICE DE PRELUCRARE A

DATELOR GEODEZICE

Prelucrarea măsurătorilor geodezice s-a dezvoltat şi perfecţionat continuu în ultimele

decenii, în special prin utilizarea şi adaptarea procedeelor cunoscute în statistică, în general, în

estimarea parametrilor. Istoria modelelor de prelucrare nu are un început clar definit, însă

apariția acesteia este strâns legată de evoluția omului și de procesele matematice.

Gauss a publicat metoda celor mai mici pătrate abia in 1809, când a apărut în volumul

doi al operei sale pe tema mecanicii cerești, „Theoria Motus Corporum Coelestium in

sectionibus conicis solem ambientium”. In 1829, Gauss a putut să afirme că apropierea dintre

metoda celor mai mici pătrate și analiza de regresie este optimă în sensul că, într-un model

liniar în care erorile sunt necorelate, au media zero și dispersii egale, cele mai bune

estimatoare liniare nedeplasate ale coeficienților sunt estimatoarele bazate pe metoda celor

mai mici pătrate. Rezultatul este cunoscut drept modelul Gauss-Markov.

1.2 MOTIVAȚIE

Nici o observație nu este exactă, de unde tragem concluzia că toate observațiile conțin

erori. Această afirmație este fundamentală și acceptată universal. Parametrii trebuie să fie

estimați dacă anumite fenomene, proceduri sau evenimente sunt observate, cu scopul de a

trage concluzii despre dezvoltarea viitoare a evenimentelor observate.

Observațiile pentru estimarea parametrilor reprezintă rezultatele unor experimente

aleatoare. Dacă revenim la prima afirmație iar prezența erorilor în cadrul măsurătorilor este

inevitabilă atunci estimatorul folosit trebuie să poată conlucra cu acestea. Această conlucrare

se poate face în două moduri: fie folosim teste statistice, fie folosim teoria robustă. Deducția

statistică se bazează doar pe o parte din observații.

Abordarea robustă pentru modelarea statistică și analiza datelor are ca obiectiv aflarea

unor metode care obțin estimări fiabile ale parametrilor, teste asociate și nivele de încredere,

nu numai atunci când datele se supun distribuției normale dar și atunci când apar supoziții

aproximative.

1.3 GENERALITĂȚI

Dintre principiile generale de bază, pe care le respectă orice prelucrare a măsurătorilor

geodezice trebuie menţionat, principiul care poate fi apreciat ca fundamental: precizia finală a

unei mărimi considerate sau a lucrării în ansamblul ei, este determinată în procesul de

măsurare şi nu în cel de calcul. Cu alte cuvinte, din măsurători imprecise nu pot rezulta

mărimi în care utilizatorul să poată avea încredere deplină.

1.4 CLASIFICAREA MĂSURĂTORILOR ȘI A ERORILOR DE MĂSURARE

1.4.1 Clasificarea măsurătorilor

1. După modul de determinare a mărimii care ne interesează

2. În funcţie de condiţiile de măsurare

3. În funcţie de necesitate

4. În funcţie de gradul de dependenţă dintre măsurători

1.4.2 Clasificarea erorilor de măsurare

1. În funcţie de valoarea de referinţă

2. În funcţie de modul de acţionare

3. În raport de mărimea lor:

4. În raport de modalitatea de exprimare a acestora

5. În raport de sursa generatoare

1.5 ACURATEȚEA ȘI PRECIZIA

Acurateţea reprezintă abaterea valorii măsurate de la valoarea adevărată a mărimii măsurate.

Precizia reprezintă o măsură a dispersiei valorilor mărimii măsurate obţinute în procesul de

măsurare.


_______________________________________________________________________________________

1.6 PRELUCRAREA OBSERVAȚIILOR DIRECTE

Cazul măsurătorilor directe de aceeaşi precizie

Cazul măsurătorilor directe de precizii diferite (măsurători ponderate)

1.7 PRELUCRAREA OBSERVAȚIILOR INDIRECTE

În cadrul prelucrării măsurătorilor geodezice s-au dezvoltat, în decursul unei îndelungate

perioade de timp (aproape două secole), mai multe categorii de metode de rezolvare a

problemelor din ce în ce mai complexe care au intervenit în domeniul ştiinţei cunoscută sub

denumirea de geodezie.

1.7.1 Compensarea măsurătorilor (determinărilor, observaţiilor) indirecte -

Estimarea parametrilor în cazul modelului Gauss – Markov

Mărimile care ne interesează (în cazul nostru parametri) sunt determinate în funcţie de

alte mărimi măsurate direct, între acestea existând anumite dependenţe funcţionale.

Considerăm că au fost determinate direct n mărimi 0iM şi ne propunem să determinăm h

necunoscute hXXX ,,........., 21 (parametri). Orice compensare cuprinde un model funcţional şi

un model stochastic (statistic).

Modelul funcţional (Dependenţa funcţională dintre mărimile măsurate şi parametri) va avea

forma:

nixxxFM hii ,1,,...,, 21

(1.9)

Modelul stochastic: Proprietăţile statistice ale măsurătorilor 0iM sunt conţinute în

matricea de varianţă – covarianţă a măsurătorilor:

nnnn

n

n

M i

...................

.....................................................

.............

.............

21

22212

11211

0

1.7.2 Tratarea matriceală a măsurătorilor indirecte

a. Măsurători de aceeaşi precizie

b. Măsurători de precizii diferite

1.7.3 Compensarea rețelelor libere

Pentru a încadra o reţea într-un anumit sistem de coordonate este necesar să cunoaştem

un număr minim de date iniţiale (coordonate, orientări, distanţe etc., funcţie de natura

reţelei).

Dacă elementele iniţiale lipsesc în totalitate sau parţial reţeaua geodezică respectivă

poartă denumirea de reţea liberă. Numărul de elemente lipsă va constitui defectul în datele

geodezice de referință notat cu d.

Pentru rezolvarea sistemului normal în cazul reţelelor libere se folosesc mai multe

metode:

a) Metoda Mittermayer

b) Metoda factorizării

c) Metoda ecuaţiilor de condiţie între parametri

d) Metoda substituţiei

CAPITOLUL 2. NOȚIUNI DE STATISTICĂ ȘI TEORIA ERORILOR

2.1 GENERALITĂȚI

Statistica se ocupă cu strângerea, descrierea și analizarea datelor în vederea extragerii

unor concluzii pe baza acestora. În esența ei, statistica operează cu numere care descriu

realitatea.


_______________________________________________________________________________________

Pentru a caracteriza elementele populaţiei se utilizează o serie de indicatori cantitativi

şi calitativi. Trei sunt caracteristicile distribuțiilor care sunt evaluate cu ajutorul indicatorilor

sintetici: tendința centrală, variabilitatea (împrăștierea) si forma distribuției. Pentru fiecare din

aceste caracteristici se utilizează anumiți indicatori specifici:

Indicatori ai tendinței centrale: valori tipice, reprezentative, care descriu distribuția în întregul

ei;

Indicatori ai variabilității: valori care descriu caracteristica de împrăștiere a distribuției;

Indicatori ai formei distribuției: valori care se referă la forma curbei de reprezentare grafică a

distribuției, prin comparație cu o curbă normală (oblicitate, aplatizare).

2.2 VARIABILE ALEATOARE ȘI FUNCȚII DE REPARTIȚIE

2.2.1 Variabile aleatoare

Variabila aleatoare este una din noţiunile fundamentale ale teoriei probabilităţilor şi a

statisticii matematice. În cadrul unei măsurători experimentale se constată că între valorile

numerice măsurate există diferenţe chiar dacă condiţiile rămân neschimbate.

Dacă ne referim la o singură măsurătoare, variabila aleatoare (sau variabilă

stochastică) este mărimea care poate lua o valoare necunoscută aprioric, sau o mărime ale

cărei valori depind de întâmplare (de şansă).

Funcții de repartiție

discrete continue

binomiala (cu întoarcere) normala (Gauss - Laplace)

hipergeometrica (fără întoarcere) Student

Poisson Fischer

2.2.2 Repartiţii utilizate în studiul erorilor de măsurare

I. Distribuţia normală

Pe baza acestor observaţii luate drept axiome a fost dedusă legea de distribuţie normală,

care stă la baza metodelor de prelucrare a datelor de măsurare.

II. Distribuţia t (Student)

- matematic reprezintă raportul dintre eroarea măsurătorii i şi suma erorilor măsurătorilor.

III. Distribuţia χ2 (hi pătrat sau chi pătrat)

- matematic aceasta reprezintă suma erorilor măsurătorilor până la valoarea xi IV. Distribuția F ( Fischer - Snedecor )

- matematic reprezintă raportul dintre două dispersii de sondaj dintr-o populație

2.3 ESTIMATORI ȘI METODE DE ESTIMARE A PARAMETRILOR UNEI

REPARTIȚII

2.3.1 Generalități

Estimația reprezintă operaţia de determinare a parametrilor statistici în scopul

cunoaşterii:

• parametrilor necunoscuți;

• determinării legii de repartiție care caracterizează repartiția în frecvență.

Se numeşte estimator orice entitate a cărei valoare poate fi utilizată drept valoare (de

regulă aproximativă) pentru o altă entitate. Valoarea estimatorului se zice că este o estimaţie.

S-a stabilit astfel un interval numit “interval de încredere” care are proprietatea de a

conţine adevărata valoare a parametrului, cu o probabilitate P. Metode de estimare ce oferă

tehnici de găsire a estimatorilor pentru parametrii populaţiei totale:

1. metoda momentelor;

2. metoda verosimilităţii maxime;

3. metodele Bayesiene.


_______________________________________________________________________________________

2.3.2 Estimarea punctuală a parametrilor unei legi de repartiție. Metoda

verosimilității maxime

Metoda verosimilității maxime este o metodă ce oferă posibilitatea de a găsi estimatorii

pentru parametrii populației. Dacă legea de repartiţie a unei populaţii este cunoscută şi funcţia

densităţii de probabilitate depinde de anumiţi parametri necunoscuţi, aceştia pot fi

estimaţi cu ajutorul metodei verosimilităţii maxime. Estimatorii respectivi se numesc

estimatori de verosimilitate maximă şi sunt estimatori punctuali.

CAPITOLUL 3. NECESITATEA INTEGRĂRII TESTELOR STATISTICE ÎN

DIFERITELE FAZE DE ANALIZĂ ȘI VALIDARE A DATELOR

GEODEZICE

3.1 GENERALITĂȚI

Atunci când o investigaţie de tip statistic se efectuează pe un eşantion, orice rezultat

obţinut are o valoare relativă, în sensul că datele respective nu numai că nu coincid cu cele

referitoare la populaţie, dar nici măcar nu se poate şti cu certitudine care este diferenţa dintre

cele două genuri de date, de vreme ce starea populaţiei este, de regulă, necunoscută. Teoria

matematică a probabilităţilor oferă însă proceduri pentru evaluarea rezultatelor studiilor

selective, permițând o estimare, în termeni de probabilitate, a marjei maxime de eroare ce se

poate comite prin utilizarea mărimilor din eşantion în locul celor care caracterizează

populaţia.

3.2 CLASIFICARE TESTELOR STATISTICE

Astfel, testele statistice se clasifică după scopul lor in:

Testele de comparare a unor parametri ai unor populații

Testele de omogenitate sau de independenta

Testele de concordant - pentru verificarea normalităţii

Testele de comparare se împart la rândul lor in doua categorii fundamentale:

Teste parametrice

Teste neparametrice

3.3 ALEGEREA CORECTĂ A TESTULUI STATISTIC

Alegerea testului adecvat se face, pe de o parte, în funcţie de datele pe care vrem să le

colectăm (tipurile de variabile), iar pe de alta în funcţie de scopul nostru. Alegerea cea mai

dificilă este în cazul variabilelor numerice (atunci când datele noastre reprezintă rezultatele

unor măsurători), deoarece putem alege între două familii de teste, cele parametrice şi cele

neparametrice.

3.4 ALGORITM DE VERIFICARE A IPOTEZELOR STATISTICE

Verificarea ipotezelor statistice presupune respectarea următorului algoritm:

Verificarea premiselor.

Stabilirea ipotezei nule (H0).

Alegerea testului statistic potrivit şi stabilirea regiunii critice.

Calcularea valorii testului conform statisticii acestuia.

Luarea deciziei.

3.5 TIPURI DE ERORI ÎN TESTAREA IPOTEZELOR

La admiterea sau respingerea unei ipoteze statistice se pot face două tipuri de erori.

Respingerea ipotezei H0 când aceasta este adevărată se numeşte eroare de tip I.

Probabilitatea unei asemenea erori se notează cu α.

Acceptarea ipotezei H0 când de fapt este falsă sau respingerea ipotezei alternative când este

adevărată se numeşte eroare de tipul II şi are o probabilitate β. Eroarea de tipul II este

dependentă de alegerea nivelului de semnificaţie α şi de ipoteza HA formulată.


_______________________________________________________________________________________

3.6 PUTEREA TESTULUI

Prin funcţia de putere a unui test statistic, notată cu Π(W,θ) se înţelege probabilitatea

respingerii ipotezei H0 în funcţie de θ. Respingerea ipotezei H0 se face atunci când vectorul de

selecţie x aparţine submulţimii W a spaţiului de selecţie

CAPITOLUL 4. IMPORTANȚA APLICĂRII DIFERITELOR TESTE

STATISTICE ÎN CADRUL PROCESULUI DE ANALIZĂ, REPREZENTARE

ȘI VALIDARE A DATELOR GEODEZICE

4.1 DETECTAREA ERORILOR EXTERNE DIN CADRUL OBSERVAȚIILOR

4.1.1 Data snooping

Eroarea standardizată este calculată folosind elementele de pe diagonala principală a

matricei astfel:

(4.1 )

Unde este eroarea standardizată, este abaterea calculată iar elementele de pe

diagonala principală a matricii . Folosind matricea , abaterea standard a corecțiilor

fiind . Astfel dacă numitorul ecuației ( 1 ) este înmulțit cu o statistică ” t ” este

definită. Dacă eroarea este mai mare decât valorile conținute în tabel, atunci observația care

intră in test este considerată eronată. Statistica de testare pentru acest test este ipoteza:

(4.2)

Criteriul de respingere este reprezentat de liniile verticale din Figura 4.1

Figura 4.1 Criterii de acceptarea sau respingere

4.1.2 Criteriul Tau” ”

Data snooping se bazează pe ecuația (4.2) fiind o statistică ” t ”. Totuși când o eroare

grosolană este prezentă în setul de date atât cât și sunt afectate de erorile grosolane.

Astfel, Alan J. Pope a afirmat că în ecuația (4.2) va fi o statistică ” ” unde valoarea critică ”

” este calculată astfel:

(4.5)

4.2 TESTE STATISTICE UTILIZATE ÎN MĂSURĂTORI GEODEZICE

4.2.1 Testul z.

Se aplică în cazul eşantioanelor mari (n > 60), pentru testarea semnificaţiei diferenţei

dintre două valori, dintre care cel puţin una este obţinută pe eşantion.

4.2.2 Testul t (Student)

Se foloseşte pentru aceleaşi scopuri ca şi testul z, numai că se aplică la eşantioane

mici, unde distribuţia valorilor de eşantionare nu mai urmează o lege normală.

4.2.3 Testul F (Fisher-Snedecor)

Se utilizează pentru a testa dacă variaţia unei variabile este mai mare într-o populaţie

decât în alta, comparaţia fiind făcută folosind două eşantioane mici, câte unul din fiecare

populaţie.

4.2.4 Testul χ2 (hi pătrat)

Este un test de concordanţă, neparametrică, folosit pentru a testa gradul de

„apropiere" dintre o distribuţie empirică şi una teoretică.


_______________________________________________________________________________________

4.2.5 Testul Kolmogorov-Smirnov

Acest test este din multe puncte de vedere mai bun decât testul χ2 . El se aplica bine si

pentru eșantioane mici ( n 25 ). Daca pentru testul χ2

, trebuie sa grupam datele, pentru testul

K-S nu este nevoie decât sa calculam funcția de repartiție empirica asociata selecției

efectuate.

4.3 ELIPSA ERORILOR

La compensarea observaţiilor din reţelele planimetrice, prin metoda determinărilor

indirecte (denumită şi modelul Gauss – Markov sau estimarea parametrilor), se determină atât

coordonatele punctelor noi cât şi erorile medii pătratice ale acestora.

CAPITOLUL 5. ELEMENTE DE STATISTICĂ ROBUSTĂ

S-a realizat faptul că observațiile nu se supun întotdeauna presupunerilor clasice și

metoda celor mai mici pătrate nu este întotdeauna metoda optimă.

Există două metode fundamentale diferite de estimare a parametrilor și care nu se

supun distribuției normale. Prima este așa numita diagnosticarea erorilor externe – metoda

care încearcă să identifice care observații sunt corecte sau nu. Observațiile incorecte sunt

scoase din setul de date și se aplică metoda celor mai mici pătrate.

Ce-a de-a doua metodă este aplicarea tehnicii robuste care adoptă estimatori care sunt

total sau parțial afectați de erorile externe. Această tehnică a fost dezvoltată să opună

rezistență maximă influenței erorilor grosolane și sistematice. Ambele tehnici au același scop,

dar abordările sunt diferite, în sensul în care metoda de lucru se desfășoară în sensuri opuse –

figura5.1.

Figura 5.1 Diagnosticarea erorilor externe și tehnica robustă

5.1 NECESITATEA UNEI ANALIZE STATISTICE ROBUSTE

Toate metodele statistice se bazează explicit sau implicit pe un anumit număr de

presupuneri. Aceste presupuneri în general vizează formalizarea a cea ce cunoaște un

statistician despre analiza datelor sau probleme de modelare statistică cu care se confruntă, iar

în același timp să facă modelul rezultat ”flexibil”din punct de vedere computațional și

teoretic. Cu toate acestea în general se înțelege faptul că modelul rezultat reprezintă

simplificări ale realității iar validitatea lui este în cel mai bun caz aproximativ.

Cel mai des model formalizat folosit este acela în care se acceptă presupunerea că

datele sunt distribuite normal.

5.2 ERORILE EXTERNE

Foarte des în procesul de compensare se folosește proprietatea de distribuție normală a

erorilor. Statistica clasică obține rezultate sub ipoteza că acest model este adevărat, dar în

realitate această ipoteză nu întotdeauna are loc.

Aceste ”erori externe” pot să apară ca și erori externe sau sunt considerate ca fiind

”contaminare ascunsă” care de regulă nici nu pot fi detectate. Din acest motiv distribuția

normală devine doar o aproximare a modelului.

5.3 DOGMA NORMALITĂȚII


_______________________________________________________________________________________

Dogma normalității este aceea în care erorile din cadrul măsurătorilor ar trebui să fie

distribuite în conformitate cu legile normalității – reprezintă conceptul care este cel mai

răspândit printre utilizatorii metodei celor mai mici pătrate.

5.4 MODELUL COMPENSĂRII ROBUSTE ÎN GEODEZIE

În geodezie și în evaluarea datelor în general, se face compromisul că aceste observații

se supun distribuției normale. Această premisă este adevărată dacă observațiile nu sunt

afectate de erorile sistematice, dar nici de cele externe. Se fac eforturi mari de către geodezi

ca aceștia să poată oferi date – observații – cât mai bune (date precise care se supun

distribuției normale).

5.5 INDICATORI AI TENDINȚEI CENTRALE

În funcţie de modelul de determinare indicatorii tendinţei centrale sunt de 2 feluri:

indicatorii medii de control:

media aritmetică

media geometrică

media armonică

indicatorii medii de poziţie:

modulul

mediana

Indicatorii fundamentali ai tendinţei centrale sunt :

media aritmetică

modulul

mediana

5.5.1 Diferențe intre media aritmetică și mediană

În figura 5.2 este prezentat modul în care este afectată media aritmetică și mediana de

prezența erorilor externe – „outliers”.

Figura 5.2 Influența erorii asupra mediei aritmetice și respectiv medianei

Putem observa ce influență poate avea o singură eroare aberantă asupra mediei

aritmetice și asupra abaterii standard. De aceea putem afirma faptul că o singură eroare

externa are o influență nelimitată asupra celor două statistici clasice.

Astfel s-a ajuns la o altă abordare: de ce să folosim media aritmetică și abaterea

standard? Poate există alte posibilități mai bune?

5.6 VARIABILITATEA STATISTICĂ

5.6.1 Dispersia (varianţa)

Este un parametru care caracterizează gradul de împrăştiere a valorilor individuale în

jurul mediei.

5.6.2 Abaterea absolută a medianei

O metodă foarte veche de estimare a ”mijlocului” unui set de date este mediana. Așa

cum mediana este o alternativă robustă la media aritmetică, așa și abaterea standard are o

alternativă robustă numită abaterea absolută a medianei.

Atunci se pune întrebarea: de ce nu folosim întotdeauna mediana și abaterea absolută

a medianei?

2 4 2.5 4.5 2.9 3.2 4.8 3.7 3.8 4.2


_______________________________________________________________________________________

5.6.3 Distanța interquantilă (IQR)

Distanța sau domeniul interquantil este diferența dintre quantila superioară și quantila

inferioară. Este o statistică robustă având un punct de colaps de 25% și de aceea este preferată

în loc de domeniu total.

5.7 MĂSURI ALE ROBUSTEȚII

În timp ce abordarea clasică a statisticii are ca obiectiv estimatorii care au proprietăți

de dorit, cum ar fi un model specific, iar metodele robuste – vorbind în linii mari – dezvoltă

estimatori care au o „comportare” bună într-un model „apropiat”.

În figura 5.3 avem diagrama sensibilității medianei, mediei trunchiată la 25%,

estimatorul M-Huber folosind atât SD cât și MADN ca estimatori ai dispersiei cât și

estimatorul M bipătrat MADN ca dispersie.

Figura 5.3 Diagrama sensibilității Figura 5.4 Curbe de sensibilitate ale estimatorilor

de dispersiei

În figura 5.4 este prezentată curba de sensibilitate a abaterii standard(SD) , împreună

cu abaterea standard a mediei normalizate MD, abaterea standard a medianei(MAD) și

distanța interquantilă (IQR). SD și MD au curbe de sensibilitate nemărginite, pe când MAD și

IQR sunt mărginite.

5.7.1 Funcția de influență

Funcția de influență (FI) a unui estimator este o versiune asimptotică a unei curbe de

sensibilitate. Este o aproximare a comportării lui când media conține o fracțiune mică a

erorii aberante. Este definit ca:

5.7.2 Punctul de colaps

În mare, punctul de colaps – PC – al unui estimator al parametrului este cea mai

mare cantitatea de contaminare (proporție de puncte atipice) pe care datele ar putea să le

conțină în așa fel încât să ne ofere anume informații despre - despre distribuția punctelor

„tipice”.

Putem concluziona că valoarea maximă a punctului de colaps este de 0.5 sau 50%. Un

exemplu de astfel de estimator este mediana care are punctul de colaps de 0.5. Media

trunchiată „x %” are un punct de colaps de „x %” pentru nivelul ales de „x”. De asemenea se

poate concluziona faptul că media aritmetică are un punct de colaps de 0 – deoarece este

nevoie de o singură eroare aberantă care să influențeze major rezultatele. Statisticile care au

puncte de colaps înalte sunt numite statistici rezistente.

5.8 INTERVALE DE CONFIDENȚĂ ROBUSTE ȘI TESTE

5.8.1 Intervale de confidență

Din moment ce erorile aberante afectează atât media aritmetică ” ” cât și abaterea

standard ”s”, intervalul de confidență pentru bazat pe dogma normalității poate să

fie nesigur. Erorile externe poate să ”deplaseze” media și să ”deformeze”abaterea standard.


_______________________________________________________________________________________

5.8.2 Teste

Se parc că mulți statisticieni au impresia că testul ”t” este suficient de robust, că nu

este nici un motiv de grijă când folosim un astfel de test. Din nou, această impresie, fără nici o

îndoială, a apărut din faptul că – este o consecință a teoriei limitei centrale – este suficient

pentru ca datele să aibă varianța finită pentru statistica clasică ”t” - (1) – să fie aproximativ

N(0,1) în eșantioane mari. Aceasta înseamnă că în eșantioane mari rata de producere a eroarii

de Tipul 1 cu un nivel este de fapt pentru testarea ipotezei nule pentru valoarea .

5.9 ABORDĂRI ALE STATISTICII CLASICE ȘI ROBUSTE

5.10 MODELUL STOHASTIC AL COMPENSĂRII ROBUSTE

5.11 ERORI EXTERNE

Erorile grosolane sau erorile externe în geodezie pot fi clasificate în două grupe:

a) Erori externe în cadrul observațiilor. Erori grosolane în cadrul observațiilor pot apărea ca

rezultat al lipsei zecimalelor, vizare incorectă, erori sistematice ale instrumentelor, etc.

b) Erori externe în cadrul coeficienților din matricea de design A, cunoscuți de asemenea sub

numele de puncte de influență.

5.12 MODELUL FUNCȚIONAL AL COMPENSĂRII ROBUSTE

CAPITOLUL 6. ESTIMATORI ROBUȘTI

6.1 CLASE DE METODE ROBUSTE

Sunt aproape le fel de mulți estimatori robuști precum sunt și testele de găsire a erorilor

aberante. Este foarte important să măsurăm cât sunt de eficace pentru a putea face o

comparație. Scopul principal al procedurilor robuste este să ofere rezultate bune chiar și în

prezența erorilor aberante.

6.2 TIPURI DE ESTIMATORI ROBUȘTI

6.2.1 Metoda Daneza

6.2.2 Estimatorul Huber – M

6.2.3 Estimatorul MM

6.2.4 Estimatorul IGGIII

6.2.5 Estimatorul R

6.2.6 Estimatorul S

6.2.7 Norma L1

6.2.8 Norma L2

CAPITOLUL 7. APLICAȚIE PRACTICĂ

În geodezie cea mai utilizată cât și cea mai cunoscută metodă pentru estimarea

parametrilor este metoda celor mai mici pătrate.

Scopul acestei lucrări este să evidențieze cât de practici și pragmatici sunt estimatorii

robuști. De asemenea prin această aplicație dorim să răspundem la întrebări de genul: Toate

datele sunt unanime în transmiterea mesajului sau există diferite părți care ne relatează povești

diferite? În acest caz ce ne spune majoritatea datelor? Minoritatea cum se comportă și de ce?

Care este influența minorității asupra rezultatului final? Este această minoritate crucială

pentru modelul de estimare sau pentru rezultatele finale? Trebuie să le acordăm o atenție

specială acestor date atipice?

În cadrul aplicației practice s-a măsurat o rețea constituită din 13 puncte în care s-au

efectuat măsurători suplimentare pentru o redundanță mărită. Pentru determinarea rețelei s-au

folosit următorii estimatori:

Estimatorul Gauss-Markov – programul HANNA – pentru detectarea erorilor externe s-a

folosit metoda Data-Snooping

Estimatorul Gauss-Markov –pentru detectarea erorilor externe s-a folosit testul τ – Alan J.

Pope

Estimator robust M

Estimator robust MM

Rețeaua este constituită din 13 puncte –figura 7.1


_______________________________________________________________________________________

Figura 7.1 Rețeaua geodezică Figura 7.2 Distanța Cook

Pentru a verifica influența pe care o are asupra regresiei fiecare valoare individuală, cât

și pentru identificarea erorilor externe am folosit distanța COOK – metoda celor mai mici

pătrate – Figura 7.2.

Din figură se poate observa faptul că o măsurătoare reprezintă eroare externă.

Pentru a verifica influența pe care o are asupra metodelor robuste fiecare valoare

individuală, cât și pentru identificarea erorilor externe am folosit distanța Mahalanobis –

Figura 7.3.

Figura 7.3 Distanța Mahalanobis

După cum se poate observa estimatorul M observă o posibilă eroare externă pe când

estimatorul robust MM observă 3 puncte care au o influență semnificativă cât și faptul că sunt

posibile erori externe.

În figura 7.4 este prezentată estimarea densității de probabilitate a erorilor atât pentru

estimatorul robust M cât și pentru estimatorul robust MM.


_______________________________________________________________________________________

Figura 7.4 Estimarea densității de probabilitate a erorilor Figura 7.5 Estimarea densității de probabilitate

a erorilor - prezența erorii

Estimarea densității în cazul erorilor obținute prin estimatorul robust MM este foarte

compactă și centrată pe zero în zona centrală. De asemenea în cadrul estimatorului robust MM

sunt expuse două curbe distincte, fapt ce indică prezența erorilor externe – figura 7.5.

Se continuă analiza datelor cu graficul – Diagrama erorilor – figura 7.6.

Figura 7.6 Diagrama erorilor Figura 7.7 Diagrama erorilor - influența

erorii externe

Linia punctată reprezintă intervalul de 95%.Din diagrama quantilelor distribuite

normal se poate observa că în cazul estimatorului M nu rezultă nici o singură eroare externă.

În cazul procedurii robuste MM se pot observa erorile externe – cele mai evidente fiind linia

66 și 9.

Din figura 7.7 se poate observa de asemenea că estimatorul robust MM detectează

eroarea externă din linia 66 și posibil linia 9 pe când estimatorul robust M nu detectează

prezența nici unei erori externe.

În cadrul figurii 7.8 este prezentată diagrama erorilor standardizate vs distanța robustă.


_______________________________________________________________________________________

Figura 7.8 Diagrama erorilor standardizate Figura 7.9 Diagrama erorilor

standardizate - influența erorilor externe

Punctele din afara liniilor orizontale sunt considerate erori externe iar punctele din

dreapta liniei verticale sunt considerate puncte de influență.

Această figură vine să explice problema “ mascării ” erorilor externe din metoda celor

mai mici pătrate – adică influența erorilor externe asupra metodei celor mai mici pătrate sau în

cazul estimatorului M produce distorsionarea estimatorul în așa măsură încât în cadrul acestei

procedurii nu pot fi detectate erorile externe. De asemenea din figură se poate observa că

procedura robustă MM nu prezintă astfel de probleme.

Figura 7.10 Analiza erorilor standardizate în timp

Din figură 7.10 reiese că estimatorul M nu reușește să găsească nici o eroare externă,

pe când metoda robustă MM reușește să găsească eroarea externă – linia 66.

În figura 7.11, figura 7.12 sunt prezentate corecțiile pentru distanțe cât și pentru

direcții obținute în programul HANNA folosind testul Baarda. Valorile corecțiilor pentru

distanțe sunt exprimate în zecimi de milimetri iar pentru direcții în zecimi de secundă și sunt

pe axa verticală iar pe axa orizontală numărul liniei din cadrul măsurătorilor.


_______________________________________________________________________________________

Figura 7.11 Testul Baarda - corecțiile distanțelor Figura 7.12 Testul Baarda - corecțiile

direcțiilor

În figurile 7.13 și 7.14 sunt prezentate rezultatele obținute în secvența de calcul cu

ajutorul testului τ al lui Alan J. Pope atât pentru distanțe cât și pentru direcții. Valorile

corecțiilor pentru distanțe sunt exprimate în zecime de milimetri iar pentru direcții în zecimi

de secundă și sunt pe axa verticală iar pe axa orizontală numărul liniei din cadrul

măsurătorilor.

Figura 7.13 Testul Tau - corecțiile distanțelor Figura 7.14 Testul tau - corecțiile direcțiilor

Pentru detectarea erorilor externe au fost folosiți atât estimatorii robuști cât și testele

cele mai recomandate: testul lui Baarda și testul τ a lui Alan J. Pope. Dar problema acestor

teste constă în faptul că ele sunt „sensibile” la modul de ponderare a observațiilor precum și la

faptul că, deși se folosește normalizarea erorilor, aceasta poate tolera maxim 10% prezența

erorilor externe înainte “de a ceda”[15].

CAPITOLUL 8. CONSIDERAȚII FINALE

8.1 CONCLUZII

Algoritmii de prelucrare prezintă o importanță deosebită pentru practica măsurătorilor

terestre, datorită volumului impresionant de observații ce trebuie executate, prelucrate și

compensate în vederea obținerii celor mai probabile valori, ca și pentru evaluarea cât mai

corectă și mai completă a preciziei de determinare a coordonatelor.

Cu ajutorul testelor statistice se vor putea lua decizii cu privire la înlăturarea sau chiar

refacerea anumitor observații. Dar dacă aceste erori nu sunt înlăturate din cadrul observațiilor

acestea nu vor mai putea respecta regula metodei celor mai mici pătrate – suma pătratelor

corecțiilor nu va mai fi minimă – aceasta fiind o regulă a compensării rețelelor geodezice.

A se reține faptul că teste statistice sunt linii îndrumătoare privind compensarea.

Cel mai des folosit model formalizat este acela în care se acceptă presupunerea că

erorile sunt distribuite normal. Această supoziție a fost prezentă în statistică de două secole și

a fost cadru de lucru pentru toate metodele clasice: regresie, analiza varianței și analiza

multivariată. Au fost încercări pentru a justifica ipoteza normalității cu argumente teoretice

cum ar fi teoria limitei centrale.

-80

-60

-40

-20

0

20

1 7 13 19 25 31 37 43 49 55 61 67

Co

rect

ii

Serie masuratori

Distante

-50

0

50

100

1 6 11 16 21 26 31 36 41 46 51 56 61 66

Co

rect

ii

Serie masuratori

Directii

-80

-60

-40

-20

0

20

1 7 13 19 25 31 37 43 49 55 61 67

Co

rect

ii

Serie masuratori

Distante

-40

-20

0

20

40

60

80

1 6 11 16 21 26 31 36 41 46 51 56 61 66

Co

rect

ii

Seria masuratori

Directii


_______________________________________________________________________________________

Abordarea robustă pentru modelarea statistică și analiza datelor are ca obiectiv aflarea

unor metode care obțin estimări fiabile ale parametrilor, teste asociate și nivele de încredere,

nu numai atunci când datele se supun distribuției normale dar și atunci când apar supoziții

aproximative. Putem spune ca analiza robusta este o unealtă foarte puternică pentru reducerea

influenței erorilor externe.

8.2 CONTRIBUȚIILE AUTORULUI

În primă fază autorul și-a propus o documentare teoretică intensă care să creeze un

număr de întrebări pertinente la care a considerat că literatura de specialitate nu poate oferi

îndeajuns de multe explicații și răspunsuri.

În urma aprofundării teoretice s-a ajuns la concluzia că metoda celor mai mici pătrate

este funcțională la parametri optimi atunci când sunt eliminate toate erorile externe

O altă contribuție semnificativă a fost tratarea materialelor teoretice cu privire la

estimatorii robuști. Tratarea acestui subiect este o noutate deoarece la ora actuală nu există

material privind tratarea acestor estimatori robuști în limba română, introducerea unor noi

termeni precum și concepții noi privind prelucrarea, analiza și reprezentarea datelor. De

asemenea s-a demonstrat faptul că nu este stric necesar să punem condiția de distribuție

normală pentru a efectua estimările necesare unei rețele geodezice.

Autorul vine să demonstreze faptul că metoda robustă nu ascunde erorile externe ci din

potrivă opusul este adevărat deoarece, erorile externe sunt reprezentate și în grafice ca fiind

„departe” de datele care au influența majoră asupra estimării finale din cadrul procedeului

robust.

Contribuția majoră o constituie tratarea unei rețele geodezice cu ajutorul unui algoritm

pe baza estimatorilor robuști dezvoltat de autor în mediu de programare matematică și

comparația rezultatelor obținute cu un program dezvoltat pe baza metodei celor mai mici

pătrate care conține algoritmi de căutare a erorilor externe.

Aceste rezultate vin să infirme o ipoteză redutabilă și anume că observațiile geodezice

suspecte dintr-o rețea nu trebuie eliminate precum prevede metoda celor mai mici pătrate ci

doar influența lor trebuie ținută sub control. Observațiile suspecte vor fi păstrate în procesul

de calcul dar influența pe care o prezintă în cadrul procesului de calcul va fi în măsura în care

să nu afecteze estimările finale.

Rezultatele obținute vin să confirme faptul că robust nu înseamnă doar puternic ci de

asemenea rezistent, invulnerabil la prezența erorilor externe, fapt ce duce la rezultate de

încredere chiar dacă nu sunt respectate ipotezele clasice.

8.3 DIRECȚII DE CERCETARE

Afirmația „toată lumea vrea să știe unde este cât mai exact” face ca subiectul

prelucrarea, analiza și reprezentarea datelor să fie unul a cărui direcție de cercetare să nu

aparțină doar celor din domeniul geodeziei ci și altor domenii conexe. Identificarea,

dezvoltarea unor noi concepte și algoritmi moderni care să satisfacă cerințele tot mai

compacte ale geodeziei.

Prin tratarea acestui subiect s-a demonstrat că și atunci când datele nu se supun distribuției

normale iar în cadrul rețelei există erori externe, estimările finale pot fi făcute cu încredere

dacă se folosesc procedee îndeajuns de rezistente la aceste probleme. Datorita avansului

domeniului matematic cât și dezvoltării tehnologiei sunt necesare cercetări suplimentare

privind stabilitatea cât și puterea de a conlucra cu erorile externe.

BIBLIOGRAFIE SELECTIVĂ

[1] Baarda W. - Statistical Concepts in Geodesy, Publication on Geodesy, New series

Delft/Netherlands 2(5): 97.

[2] Barnett V., Lewis T., Outliers in Statistical Data. John Wiley, 1994

[3] Caspary W, Anmerkungen zum robusten Schatzen. Allgemeine Vermessungs-nachrichten,

1996


_______________________________________________________________________________________

[4] Charles D. Ghilani, Paul R. Wolf, Adjustment Computations fifth edition

[5] Constantin Pop, Nicoleta Gillich Vilhelm, Ion Praisach, Elemente de teoria probabilităților și

statistică matematică

[6] Constantin Săvulescu, Bazele prelucrării măsurătorilor geodezice, Măsurători Terestre

Fundamentale Volumul II

[7] David J. Olive, Applied Robust Statistics

[8] Dumitru Ghițău, Prelucrarea măsurătorilor geodezice, Topoexim București 2009

[9] Entela Kanani, Robust Estimators for Geodetic Transformation and GIS

[10] Fotescu Nicolae, Teoria erorilor de măsurare și metoda celor mai mici pătrate,

Institutul de Construcții București 1978

[11] Francis W. O. Aduol, Robust Geodetic Parameter Estimation under Least Squares

through Weighting on the Basis of the Mean Square Error

[12] Frank Hampel,Elvezio M. Ronchetti, Peter J. Rousseeuw, Werner A. Stahel, Robust

Statistics – The Approch Based on Influence Functions,2005

[13] Fridolin Wicki, Robust estimator for the Adjustment of Geodetic Networks

[14] Hans Werner, Automatic Gross Error Detection by Robust Estimators

[15] Hansjorg Kutterer, Statistical hypothesis tests in case of imprecise data

[16] Ingo Neumann, Hansjorg Kutterer, The probability of type I and type II errors in

imprecise hypothesis testing

[17] Ingo Neumann, Hansjorg Kutterer, The probability of type I and type II errors in

imprecise hypothesis testing with an application to geodetic deformation analysis

[18] Ingo Neumann, Hansjorg Kutterer, Congruence Tests and Outlier Detection in

Deformation Analysis with Respect to Observation Imprecision, 12 Fig Symposium, Baden

2006

[19] Ingo Neumann, Hansjorg Kutterer, Steffen Schon, Outlier Detection in Geodetic

Applications with Respect to Observation Imprecision,

[20] Ioan Placințeanu, Teoria erorilor de măsurare și metoda celor mai mici pătrate,

Editura Tehnică București 1957

[21] José Luis Berne Valero, Sergio Baselga Moreno, Robust estimation in geodetic

networks

[22] Karl-Rudolf Koch, Parameter Estimation and Hypothesis Testing in Linear Models

[23] Kok J. - On Data Snooping and Multiple Outlier Testing. NOAA Technical Report

NOS NGS 30. National Oceanic and Atmospheric Administration, Rockville, MD.

[24] M. Berber, P. J. Dare, P. Vanícek, M. R. Craymer, On the Application of Robustness

Analysis to Geodetic Networks

[25] Nathan L. Knight and Jinling Wang, A Comparison of Outlier Detection Procedures

and Robust Estimation Methods in GPS Positioning

[26] Peter J. Huber, Elvezio M. Ronchetti, Robust Statistics Second Edition

[27] Peter J. Rousseeuw, Annick M. Leroy, Robust Regression and Outlier Detection

[28] Pope AJ. - The statistics of residuals and the outlier detection of outliers. NOAA

Technical Reports, NOS 65, NGS 1, Rockville, Maryland/USA, p. 256

[29] Ricardo Maronna, Doug Martin and Victor Yahai, Robust Statistics Theory And

Methods

[30] Sebahattin Bekta and Yasemin Sisman, The comparison of L1 and L2-norm

minimization methods

[31] Silvia Gašincová and Juraj Gašinec, Adjustment of positional geodetic networks by

unconventional Estimations

[32] Silvia Gasincova, Juraj Gasinec, Gabriel Weiss, Slavomir Labant, Application of

Robust Estimation Methods for the Analysis of Outlier Measurements

[33] S-Plus, Guide to Statistics, Vol.1, Vol.2

[34] Teunissen PJG, Amiri-Simkooei AR, Least-squares variance component estimation,

Journal of Geodesy.

[35] TukeyJ.W, A survey of Sampling drom Contaminated Distribution, 1962

[36] Yohai,V.J. and Zamar, R.H., Robust nonparametric inference for the median,2004

http://www.google.ro/search?hl=ro&tbo=p&tbm=bks&q=inauthor:%22Karl-Rudolf+Koch%22

tezĂ de doctorat rezumat contribuții la...

Documents