REFERAT

ORACLE DATA INTEGRATOR

Badescu ViorelGrupa 1068

Oracle Data Integrator acopera cea mai mare parte din nevoile de integrare in cadrul companiilor ce trebuie sa integreze rapid volume mari de date obtinute din diverse surse. Produsul simplifica procesul de transferare si transformare a datelor intre sisteme diferite, in timp real si in mod sincron sau asincron in functie de necesitate.

Design-ul modular si inovativ, posibilitatea de conectare la toate tipurile de baze de date, depozitele de date si aplicatii analitice si bazate pe arhitectura SOA face ca produsul sa sporeasca semnificativ productivitatea utilizatorului.

Oracle Data Integrator (ODI) este o unealta E-LT folosita pentru migrare de date cu o viteza mare intre sisteme.

Bazata pe arhitectura E-LT unica (Extract – Load Transform), ODI nu doar garanteaza cel mai inalt nivel posibil de performanta a executarii transformarii datelor si a proceselor de validare dar, din punct de vedere al costurilor, este cea mai eficienta solutie disponibila in acest moment. ODI ofera o infrastructura unificata ce organizeaza, eficientizeaza, simplifica si fluidizeaza datele si proiectele de integrare a aplicatiilor.

Arhitectura E-LT oferta:- Integrare activa, deci ofera o integrare a datelor mai cuprinzatoare si care

evolueaza continuu;- Design-ul imbunatatese productivitatea utilizatorului;- Modulele de cunostinte ofera modularitate, flexibilitate si extensibilitate.

Functionalitati ale ODI:- suporta toate transformarile si controlul datelor preluate din diverse surse- efectueaza join-uri complexe intre tabele, agregari si calcule diverse;- verifica integritatea datelor in timp ce acestea sunt procesate- proiecteaza si implementeaza o infrastructura de integrare rapida si usoara

fara a fi nevoie de programatori pentru acest lucru;- ofera metadate puternice si diverse grafice de dependenta, referinte

incrucisate si rapoarte de analiza;- implementeaza automat capturarea datelor modificate in sistemul sursa;- acceseaza si integreaza toate sistemele de baze de date, ERP si CRM,

sisteme B2B, fisiere, arhive si surse de date in format XML;- integreaza SOA si permite folosirea diverselor servicii;- genereaza cod nativ pentru motoarele de baze de date distribuite si

coordoneaza activitatea lor;- executa in totalitate procesul de integrare, de la transformarea si transferul

datelor pana la detectarea si raportarea erorilor ODI permite extragerea si incarcarea datelor in sisteme Oracle, Sybase, MS SQL Server,

MySQL, LDAP, DB2, PostgreSQL, Netezza.De asemenea, se poate conecta la orice sursa de date ce suporta JDBC, chiar cu

posibilitatea folosirii serverului Oracle BI ca sursa de date.Oracle Data Integrator este o platforma cuprinzatoare de integrare care acopera cele mai

mari cerinte de integrare, de la volume mari de date pana la integrarea SOA.

Figura 1: Interfata ODI Designer

ODI se adreseaza nevoilor multiple pentru integrarea de date:- integrarea depozitelor de date si BI – transformarea si incarcarea volumelor

mari de date si realizarea de analize asupra acestor date;- SOA – prin apelarea serviciilor externe de integrare a datelor- Master Data Management(MDM) - ofera o infrastructura globala de

sincronizare a datelor pentru clientii care isi construiesc hub-uri proprii de date sau care vor sa integreze solutii de analiza ca Google Analytics;

- Migrarea datelor – prin furnizarea unei mai mari sarcini de incarcare a datelor istorice de la sistemele existente catre cele noi.

ETL – Extract, Transform, LoadInstrumentele traditionale ETL opereaza prin extragerea prima data a datelor din diferite

surse, transformarea datelor in conformitate cu anumite cerinte si apoi incarcarea acestora in depozitul de date sau pe un server de integrare. Intreaga operatie ETL este realizata in acest caz de un server dedicat. Motorul ETL realizeaza transformarile rand cu rand, putand astfel sa apara foarte usor un blocaj in procesul general. In plus, datele trebuie mutate de doua ori. Odata intre sursele de date si serverul unde se realizeaza procesele ETL si apoi intre acest server si depozitul de date sau locul unde vor fi pastrate datele rezultate.

Pentru a realiza aceste operatii un instrument ETL ar putea fi utilizat in unul din urmatoarele trei moduri.

- sa incarce tabelele in memorie: intregul tabel este preluat din serverul tinta si incarcat in memoria motorului. Potrivirea sau alaturarea datelor cu inregistrarile de la sursa se realizeaza in memorie inainte ca datele transformate ce au rezultat, sa fie scrise inapoi pe serverul sursa. Daca tabelul este mai mare, operatia va necesita un volum mare de memorie si un timp mai indelungat pentru a descarca datele si a le reindexa in motor.

- Sa prelucreze “rand cu rand” tabelele: pentru fiecare rand, motorul ETL trimite o intrebare catre tabelul situat pe serverul tinta. Intrebarea va returna un singur rand care se potriveste cu randul curent al fluxului. Daca tabelul contine spre exemplu 500.000 randuri, procesul ETL va trimite 500.000 de intrebari. Acest lucru va afecta rapiditatea procesului de integrare a datelor si va ingreuna operatiunile sistemului tinta.

- Folosirea codificarii manuale in procesul ETL: se foloseste procesul ETL numai pentru a incarca datele de la sursa in serverul RDBMS si se scrie manual codul SQL pentru a alatura aceste date tabelului tinta. Astfel apare intrebarea: de ce sa cumperi o aplicatie ETL care necesita codificare manuala pe serverul tinta, stiind ca vei pierde toate beneficiile managementului metadatelor si dezvoltarea productivitatii? Din nefericire, asta este ce ajung sa faca multi utilizatori dupa ce observa degradarea de zece ori mai mare a performantei procesului de integrare.

E-LT – Extract , Load , TransformArhitectura E-LT inglobeaza in aceeasi solutie cele mai bune aspecte preluate din codarea

manuala si abordarea ETL. Modificarile arhitecturii E-LT fata de arhitectura ETL constau in modul in care se realizeaza operatiile si in faptul ca nu mai este necesar un server dedicat pentru realizarea acestor operatii. In esenta, E-LT muta procesul de transformare a datelor pe un SGBD si schimba ordinea operatiunilor: extrage datele din tabelele sursa, incarca aceste date pe serverul destinatie si apoi transforma aceste date utilizand scripturi salvate pe serverele de SGBD relationale.

Figura 2: ETL vs E-LT

Spre deosebire de arhitectura ETL, datele nu mai trebuie incarcate pe un server special pentru transformare, ci ajung direct in baza de date tinta, urmand ca aici sa fie aplicate transformarile necesare. Aceasta metoda reduce traficul de retea necesar.

Prelucrarea nu va fi efectuata rand-cu-rand, fiind necesara o singura interogare ce utilizeaza join-uri pentru a parcurge toate inregistrarile din baza de date.

Fara a fi nevoie de un server dedicat pentru transormarea datelor, costurile pentru hardware si software scad semnificativ, ceea ce face ca procesul bazat pe arhitectura E-LT sa fie mult mai mici. Avand in vedere ca arhitectura E-LT foloseste orice SGBD relational pentru a executa taskurile si pentru a stoca in acelasi timp datele pentru integrare, costul scade dramatic.

Beneficii ETL vs beneficii E-LTETL:

- Poate echilibra / partaja volumul de lucru cu RDBMS- Poate efectua operatiuni mai complexe in diagrame de flux unic (harti de

date)- Se poate scala cu hardware-ul separat- Se poate ocupa de partitionarea si paralelismul independent de modelul de date,

baza de date si arhitecturii model de date sursa- Poate prelucra datele in mod in-stream, asa cum se transfera de la sursa catre tinta- Nu necesita o co-locatie a seturilor de date- Pot rula pe hardware SMP(symmetric multiprocessing) sau MPP(massively

parallel processing)

E-LT:- Foloseste motorul hardware al RDBMS pentru scalabilitate- Pastreaza tot timpul datele in RDBMS- Este paralelizat conform setului de date iar Input/Output-ul disk-ului este in

general optimizat la nivel de motor pentru un transfer mai rapid- Scaleaza atata timp cat hardware-ul si motorul RDBMS permit acest lucru- Pot ajunge la rate de 3x sau 4x pe platforme RDBMS optimizate pentru

MPP(massively parallel processing)Un avantaj major al folosirii produselor ODI in cadrul organizatiilor este reducerea

costurilor de dezvoltare cu aproximativ 30%, imbunatatirea vitezei de gestionare a datelor cu 50% si reducerea timpului de executie a activitatilor cu cel putin 70%.

ArhitecturaArhitectura ODI este organizata in jurul unui depozit modular, care este accesat in model

client-server de componente ca ODI Studio sau Agenti de executie care sunt scrisi complet in cod Java. Arhitectura include deasemenea o aplicatii web-based, consola ODI, care permite utilizatorilor sa acceseze informatii prin intermediul interfetei web si o extensie pentru Oracle Fusion Middleware Control Console.

ODI Studio pune la dispozitia utilizatorului patru navigatoare grafice pentru lucru: Designer, Operator, Topology si Security. ODI Studio ofera un mod usor de utilizare cu interfete grafice si poate fi instalat pe diverse platforme cum ar fi: Microsoft Windows, Linux si MAC OS.

Figura 3: Conectarea navigatorilor ODI la depozitul modular

La rulare, agentii ODI coordoneaza executia scenariilor ODI. Ei returneaza codul stocat in depozitele ODI, se conecteaza la diverse surse si destinatii si realizeaza procesul de integrare. Exista doua tipuri de agenti ODI:

- Agenti de sine statatori(Standalone Agents) care poti fi instalati pe masina sursa sau destinatie si care necesita existenta unei masini virtuale JAVA.

- Agenti Java EE care sunt instalati pe un server Oracle WebLogic si care pot beneficia de caracteristicile serverului de aplicatii, cum ar fi gruparea pentru cerintele de disponibilitate ridicata.

Fiind bazati pe arhitectura E-LT, agentii ODI realizeaza transformari foarte rar. Ei decat returneaza codul din depozitele ODI si solicita serverelor de baze de date sa execute scripturi pentru transformarea datelor. Cand executia este finalizata, agentii actualizeaza executiile realizate in depozitul modular si apoi raporteaza erorile. Utilizatorii pot vedea rezultatele executiei din navigatorul Operator, din consola ODI sau din Oracle Fusion Middleware Control Console.

Figura 4: Coordonarea agentilor Standalone

Modulele de cunostinteModulele de cunostinte ODI descriu cum se implementeaza procesele de integrare.

Fiecare tip de modul de cunostinte face referire la o sarcina de integrare specifica:- preluarea metadatelor din sistemele eterogene- manipularea CDC(Changed Data Capture) pe un anumit sistem- incarcarea datelor de pe un sistem pe altul folosind metode optimizate- integrarea datelor pe un server destinatie folosind strategii specifice(insert/update si

modificarea dimensiunilor)- controlul integritatii datelor in fluxul de date- expunerea datelor sub forma de servicii

Aceste module de cunostinte acopera o gama larga de tehnologii si tehnici. Ele contin codul ce va fi executat pe diverse servere din infrastructura pentru transformarea datelor.

Figura 5: Arhitectura modulelor de cunostinte ODI

Figura 6: Exemple de module de cunostinte pentro ODI

ODI pune la dispozitie module de cunostinte (Knowledge Modules - KM) pentru preluarea datelor din Oracle OLAP. Exista doua tipuri de module de cunostinte OLAP:

- RKM (Reverse KM) Oracle OLAP(Jython) – pentru preluarea tabelelor, vederilor, coloanelor, cheilor primare si externe din baze de date Oracle, care sunt utilizate de cuburi de date MOLAP sau ROLAP. Acest KM pune la dispozitie optiuni de logare pentru utilizatori.

- IKM Oracle AW Incremental Update – folosit ca metoda de incarcare a datelor in mod incremental

Oracle Data Integrator este pre-instalat in urmatoarele sisteme oferite de Oracle:- Oracle BI Enterprise Edition Suite Plus – ca sursa de date- Oracle BI Intelligece Applications- Oracle Hyperion Planning- Oracle Hyperion Financial Management- Oracle Hyperion Essbase – export de date pe coloane (ASO) folosind limbajul de

interogare pentru BD OLAP - MDX (MultiDimensional eXpressions )ODI poate fi conectat la multiple surse de date fiind folosit driverul JDBC.Oracle a implementat si ODIAAH(ODI Application Adapter for Hadoop) care permite urmatoarele :

- incarcarea datelor in Hadoop din fisiere locale si HDFS(Hadoop Distributed File System)- realizarea de validari si transformari in Hadoop- incarcarea datelor procesate de Hadoop in Oracle pentru o reprocesare si generarea de

rapoarte

Beneficii ODI

● Arhitectura E-LT prezinta diverse motoare RDBMS pentru a procesa si a transforma informatiile, pentru a optimiza performanta, scalabilitatea si pentru a scadea costul total al solutiei. ● Transforma Integrarea Activa in realitate, punând la dispozitie toate componentele cheie necesare pentru depozitarea în timp real a datelor si hub-uri de date operationale, si prin conectarea la Suita Oracle SOA pentru o integrare cuprinzatoare. ● Designul declarativ reduce timpul de implementare izolând regulile de business cu privire la fluxul datelor si accelerând procesul de mentenanta. ● Modulele de knowledge aduc modularitate, flexibilitate si extensibilitate la toate nivelele procesului de integrare.

Costuri

Costurile tehnologiilor de integrare oferite de Oracle sunt prezentate in imaginea de mai jos. Preturile sunt afisate la data de 15.03.2013 si sunt exprimatte in dolari americani.

Figura 6: Preturi ODI

Pozitie pe piataPentru al patrulea an consecutiv, Gartner, a incadrat Oracle in cadranul liderilor pietei de

produse informatice pentru integrarea datelor.

Figura 7: Cadranul magic pentru instrumente de integrare a datelor (Gartner)

In raportul realizat de compania Gartner, primul loc in cadrul producatorilor de produse de integrare a datelor este ocupat de compania Informatica cu produsul Informatica Platform ce include componente ca: PowerCenter, PowerExchange, Data Services , Data Replication, Ultra Messaging si Cloud Data Integration. Compania are un numar de aproximativ 5000 utilizatori. Locul doi este detinut de compania IBM cu produsul IBM InfoSphere Information Server Enterprise Edition, avand un numar de aproximativ 9400 utilizatori.Locul trei ii revine companiei SAP care ofera produse ca: Data Integrator, Data Services, NetWeaver Process Integration, Sybase Replication Server si Data Services OnDemand unui numar de cel putin 10000 de utilizatori.Compania Oracle ocupa locul patru in cadranul liderilor cu produse ca Oracle Data Integrator, Oracle Data Service Integrator, Oracle GoldenGate si Oracle Warehouse Builder, produse ce sunt utilizate de un numar mai mare de 3500 de utilizatori.Chiar daca este incadrata de Gartner in cadranul Challengers, compania Microsoft are un potential urias, produsele SQL Server Integration Services si BizTalk Server fiind utilizate de un numar mult mai mare de 12000.

Concluzii

Prin valorificarea bazelor de date existente si expertiza acestora, Oracle Data Integrator asigura o eficienta de neegalat si costuri mai mici de proprietate. Prin reducerea traficului in retea si transformarea datelor in baza de date care contine tabela, arhitectura E-LT ofera cea mai mare performanta posibila.

Bibliografie

www.oracle.com/technetwork/middleware/data-integrator/overview/oracledi-architecture-1-129425.pdf

http://www.oracle.com/us/corporate/pricing/technology-price-list-070617.pdf

http://www.oracle.com/us/corporate/press/1896087?goback=.gde_140609_member_203311206

http://www.gartner.com/technology/reprints.do?id=1-1CYG9N1&ct=121127&st=sb

http://ebookbrowse.com/oracle-data-integrator-technical-overview-wp-pdf-d244244661

http://www.oracle.com/us/products/middleware/data-integration/odi-ee-11g-ds-168065.pdf

http://www.oracle.com/webfolder/technetwork/tutorials/tutorial/bda/ODIAAH_selfstudy/player.html