tehnologii grid - users.utcluj.rousers.utcluj.ro/~sebestyen/gridtraining/tehnologii grid.pdf ·...
TRANSCRIPT
Tehnologii GRID
Anca HanganUniversitatea Tehnica din Cluj-Napoca
GRID Regional Training, Cluj-Napoca 2
Cuprins
Partea ICondorOGSA-DAI
Partea IIGlobusgLite
GRID Regional Training, Cluj-Napoca 3
3 generatii de middleware
Prima generatie: Mai buna utilizare a puterii de calcul si a resurselor accesibile prin reteaua de comunicatie Ex: Condor
A doua generatie: Resurse distribuite geograficDomenii de administrare distincteOrganizatii virtualeSecuritateEx: Globus (GT2, GT3)
A treia generatie: Orientat inspre serviciiEx: Globus (GT4), OGSA-DAI, gLite
Condor
GRID Regional Training, Cluj-Napoca 5
Introducere
Condor: sistem de procesare distribuita care ruleaza pe sistemele de calcul conectate in reteaPrima generatie de middleware pentru GridSisteme grid actuale: componentamiddleware pentru managementul resurselor
GRID Regional Training, Cluj-Napoca 6
Infrastructura
GRID Regional Training, Cluj-Napoca 7
Principiu de functionare
Condor:Ia programele lansate de utilizatoriGaseste resursele potrivite pentru executiaacestoraExecuta programele pe resursele potrivite
Programe si resurse descrise prin ClassAds(fisiere de tip Atribut = Expresie)
GRID Regional Training, Cluj-Napoca 8
ClassAds
Resurse: descriere a caracteristicilorSistem de operare: LinuxMemorie: 1GBExecutie procese: numai intre orele 16:00 si 20:00
Programe utilizator: descrierea preferintelor pentruexecutie
Sistem de operare: WindowsMasina Virtuala JavaMemorie: minim 512 MB
GRID Regional Training, Cluj-Napoca 9
Procese Condor
condor_master – porneste toate celelalte proceseCondor si deserveste comenzile de administrare
condor_collector – colecteaza informatie despreresurse
condor_negotiator – potriveste programele lansatede utilizatori cu resursele capabile sa le execute
GRID Regional Training, Cluj-Napoca 10
Procese Condor (2)
condor_schedd – responsabil pentru mentinereaunei cozi de asteptare pentru programele care urmeaza a fi executate si trimiterea acestora spreexecutie pe resursele disponibile
condor_startd – responsabil pentru managementulresursei (calculatorului)
condor_starter – responsabil pentru managementulexecutiei programelor
GRID Regional Training, Cluj-Napoca 11
Procese Condor - distributie
GRID Regional Training, Cluj-Napoca 12
Potrivire programe - resurse
http://www.cs.wisc.edu/condor
GRID Regional Training, Cluj-Napoca 13
Potrivire programe – resurse (2)
http://www.cs.wisc.edu/condor
GRID Regional Training, Cluj-Napoca 14
Potrivire programe – resurse (3)
http://www.cs.wisc.edu/condor
GRID Regional Training, Cluj-Napoca 15
Potrivire programe – resurse (4)
http://www.cs.wisc.edu/condor
GRID Regional Training, Cluj-Napoca 16
Executie program
http://www.cs.wisc.edu/condor
GRID Regional Training, Cluj-Napoca 17
Facilitati
Sisteme de operare: Linux, WindowsPrograme: C, Java, MPI, scripturi executabileCheckpointing, LoggingTransfer de fisiereApeluri sistem de la distanta (Linux)Procesare de workflow-uri (DAGMan)
Mai mult despre utilizarea Condor: Hands-on Vineri, ora 9:00, sala 36
OGSA-DAI
GRID Regional Training, Cluj-Napoca 20
Ce este OGSA-DAI?
Framework extensibilAcces prin servicii webExecuta workflow-uri centrate pe dateImplica resurse de date eterogeneScop: acces la date, integrarea, transformarea silivrarea datelorProcesarea datelor in locul in care sunt stocateConstruirea de servicii de date specifice aplicatiilorGridProiect Globus
GRID Regional Training, Cluj-Napoca 21
Partajarea resurselor
OGSA-DAI partajare de date structurate
www.omi.ac.uk
GRID Regional Training, Cluj-Napoca 22
Acces la resurse
Manipularea datelor (ex: tabele, colectii, elemente) prinintermediul serviciilor webClientii pot obtine schema datelorClientii pot transmite interogari in limbaje specifice de interogare: SQL, XPath, etc.
www.omi.ac.uk
GRID Regional Training, Cluj-Napoca 23
OGSA-DAI
AvantajeSe inscrie in tendinele actuale de Grid construit pe bazaserviciilor webServiciile web nu depind de un anumit limbaj de programareAcces la date neprelucrate, acces la schema datelorInterogari in limbaje specifice
DezavantajeTimp mai mare de executie datorita SOAPInca un nivel intre client si dateDatele nu sunt transmise in format binar (mai eficient)
GRID Regional Training, Cluj-Napoca 24
Workflow-uri
Cererile sunt inlantuiri de activitatiActivitate = operatie pe un set de dateActivitatile sunt implementate ca sicomponenteActivitatile instalate pe serverDatele sunt transmise de la o activitate la alta(streaming)
GRID Regional Training, Cluj-Napoca 25
Activitati
Executia unei interogari SQLArhivarea anumitor dateAflarea listei fisierelor dintr-un directorExecutia unei transformari XSL pe un document XMLLivrarea datelor la un server FTP
GRID Regional Training, Cluj-Napoca 26
Workflow de activitati - exemplu
Tee
ReadFromFile
DeliverToFTP
[byte[ ] ]
[byte[ ] ]
[byte[ ] ]
URL
filename
filename
DeliverToSMTP
from subject[to]www.omi.ac.uk
GRID Regional Training, Cluj-Napoca 27
Integrare de date – exemplu (1)
www.omi.ac.uk
GRID Regional Training, Cluj-Napoca 28
Integrare de date – exemplu (2)
www.omi.ac.uk
Intrebari?
Partea II
GlobusgLite
Globus
GRID Regional Training, Cluj-Napoca 32
Ce este Globus?
Colectie de solutii la probleme care apar in cadrul aplicatiilor distribuite colaborativeSoftware pentru infrastructura Grid
Acces la resurse pe baza de serviciiAbstractii si mecanisme uniforme
Unelte pentru construirea de aplicatii GridOpen sourceStandarde deschise
GRID Regional Training, Cluj-Napoca 33
Globus - standard
Site-urile locale au propriile lor politici, software instalat (eterogene)
Sisteme de management si monitorizareProtocoale
Globus unifica prin impunerea de standardeServicii webAbstractii si interfete comune
GRID Regional Training, Cluj-Napoca 34
Globus
–
componente
de infrastructura
Furnizeaza componente de baza pentruconstruirea de functionalitati Grid (nufurnizeaza solutii complete)Reutilizarea componentelorCompatibilitate cu alte sisteme GridInfrastructura de bazaServiciile de nivel inalt depind de specificulfiecarei aplicatii – nu sunt oferite de Globus
GRID Regional Training, Cluj-Napoca 35
Tehnologii adresate
Infrastructura pentru construirea de servicii(Core runtime)Securitate (aplica politici uniforme)Managementul executieiManagement de dateMonitorizare
GRID Regional Training, Cluj-Napoca 36
Proiecte Globus
dev.globus.org
GRID Regional Training, Cluj-Napoca 37
Executia de programe
Executie pe resurse aflate la distantaAutorizarea delegata proceselor (utilizatorul se autentifica o singura data)
User
Resurse
Globus
GRID Regional Training, Cluj-Napoca 38
Securitate
Grid Security Infrastructure (GSI)Set de standarde IETF
Autentificare: certificate digitale X.509GridMap
Mapeaza certificatele la conturi locale de accesDelegare:
Certificate Proxy (MyProxy)Single Sign-on
Managementul organizatiilor virtualeVOMSCertificat Proxy + Lista de atribute cu roluri si capabilitati
GRID Regional Training, Cluj-Napoca 39
Managementul datelor
Replicarea datelorToleranta la defecteReducerea timpului de acces (se utilizeaza copiacea mai apropiata)
Transferul datelor intre noduriGridFTPReliable File Transfer (RFT)
Localizarea datelorReplica Location Service (RLS)
GRID Regional Training, Cluj-Napoca 40
GridFTP
Protocol de inalta performanta pentrutransferul unui volum mare de dateCanale paralele pentru transferul datelorServiciu care poate fi apelat pentru transfer de date intre doua noduri din GridAPI pentru integrarea functionalitatii in aplicatii
GRID Regional Training, Cluj-Napoca 41
Reliable File Transfer (RFT)
Serviciu pentru cereri de transfer de fisiereCheckpointingRepornire in caz de erori
Permite clientilor sa depuna in coada de asteptare o cerere de transfer si apoi sa se deconecteze (nu este necesar sa se asteptefinalizarea transferului)Permite monitorizarea starii transferului
GRID Regional Training, Cluj-Napoca 42
GRAM
Serviciu pentru lansarea si controlul programelorTransfer automat de fisiere (GridFTP si RFT)Management I/OMecanisme de securitateMecanisme de monitorizare a starii programelor
Nu este echivalent cu Condor sau alte sisteme de procesare distribuitaGRAM transfera programele pentru a fi executate cu Condor (sau alt sistem de procesare)
gLite
GRID Regional Training, Cluj-Napoca 44
Ce este gLite?
Middleware pentru Grid, bazat pe servicii web
Dezvoltat in cadrul proiectului europeanEGEE
Combina arhitecturile Globus si Condor
GRID Regional Training, Cluj-Napoca 45
Structura gLite
Aplicatii: au acces atat la serviciile de nivel inalt cat sila middleware-ul de bazaServicii de nivel inalt: faciliteaza construireainfrastructurii
Managementul executieiManagementul datelorWorkflow-uri
Middleware de bazaSecuritateElemente de procesare, elemente de stocare a datelorInformare si monitorizare
GRID Regional Training, Cluj-Napoca 46
Sistemul de securitate
Autentificare: certificate digitale X.509Certificate proxy cu valabilitate scurta
Includ atribute suplimentate in functie de VO (VOMS)Server MyProxy
Delegare de certificate proxySingle Sign-onBazat pe sistemul de securitate Globus
GRID Regional Training, Cluj-Napoca 47
Sistemul de informatii
Colectare de informatii despre resurseMonitorizare si publicare de informatiiDoua arhitecturi:
Berkeley DB Information Index (BDII)Adoptat de LCGEvolutie a sistemului Globus Meta Directory System (MDS)
Relational Grid Monitoring Architecture (R-GMA)Implementare a Grid Monitoring Architecture (standard OGF)Implementare bazata pe servicii web
Utilizatorii interogheaza sistemul de informatiiStarea resurselor din Grid
GRID Regional Training, Cluj-Napoca 48
Modelul
de date al sistemului
de informatii
Bazat pe schema Grid Laboratory Uniform Environment (GLUE)Descrie informatia legata de resurse stocatain sistemul de informatiiMapata pe:
LDAPXMLClassAd (Condor)
GRID Regional Training, Cluj-Napoca 49
Managementul datelor
Sisteme de stocare a fisierelorCataloage de fisiere si de metadate
LFC (LCG File Catalog)Localizarea fisierelor pe elementele de stocareLocalizare replici
Serviciu de transfer de fisiereGridFTPHTTP
GRID Regional Training, Cluj-Napoca 50
Executia programelor
Workload Management System (WMS)Distributia si managementul task-urilor in GridManagementul datelorMonitorizare
Program WMS WM (ex: Condor)
Element de procesare
GRID Regional Training, Cluj-Napoca 51
Workflow-uri
DAG - grafuri acicliceColectii de programe independentePrograme parametrizateDescrise prin scripturi JDLAvantaje:
Autentificare si autorizare o singura dataPartajarea acelorasi fisiere intre programe
GRID Regional Training, Cluj-Napoca 52
Aplicatii
gLibrarySistem de management al documentelormultimedia pe Grid
gMODServiciu Grid Movie on DemandUtilizatorul alege un film, care ii este transmis in timp real
Intrebari?