Grundlagen des Grid Computing - Institute for Computer Architecture

Grundlagen des Grid Computing
Standardisierung
ICA
Joh. Kepler Universität Linz
Standardisierung
• Viele Middleware-Toolkits
– Globus ...
– Unicore
– GLite ...
• Viele Implementierungen
• Interoperability?
• Standards sind (extrem) wichtig
– vergleiche Internet
Grundlagen des Grid Computing
2
Standardisierung
• Problem: Standardisierung gleichzeitig /
nach der Implementierung
• Einerseits gut: Es werden funktionierende
Standards geschaffen
• Andererseits: Viele Implementierungen
halten sich nicht an den zugehörenden (und
oft danach entwickelten) Standard.
Grundlagen des Grid Computing
3
Standardisierung
• Aktueller Stand:
Standards entwickeln sich parallel zu
Implementierungen
• Konvergenz ist absehbar (WSRF, andere
Grid-Standards)
• Standardisierung ist auch viel Politik und
Lobbying-Arbeit
Grundlagen des Grid Computing
4
Grid Standardisierung
• Standards Body:
Open Grid Forum (OGF)
http://www.ogf.org
• Ist für Grid Standardisierungen zuständig
• Entwicklung des OGF:
Entstand durch Zusammenführung von Global Grid Forum
(GGF) und Enterprise Grid Alliance (EGA)
• Entwicklung von Standards basiert meist auf „Best
Practices“
• Bindet Forscher und Wirtschaft ein
Grundlagen des Grid Computing
5
Open Grid Forum
• Die Arbeit des OGF geschieht in Working
Groups die von der Community selbst
eingerichtet werden
• „Grass Roots“ Participation Model
• Kommerzielle und wissenschaftliche
Anwender, Forscher/Entwickler nehmen teil
• OGF Events als Treffen 3x jährlich
(weltweit)
Grundlagen des Grid Computing
6
OGF Struktur
Data
Compute
Enterprise
Architecture
Security
Applications
Management
e-Science
Standards
Infrastructure
Grundlagen des Grid Computing
7
OGF Standardisierungsprozess
• Verschiedene Arten von Dokumenten
• Art des Dokuments beschreibt Status des
Standards
– Vgl. IETF RFCs (RFC 2026)
– OGF Dokumente folgen vergleichbaren
Konventionen
Grundlagen des Grid Computing
8
OGF Dokumentarten
• Grid Working Drafts (GWD)
–
–
–
–
Interne Arbeitsgrundlage einer Arbeitsgruppe
Kein Konsensus notwendig
Werden nicht (offiziell) publiziert
Dienen als Basis für Kommentare
• Grid Forum Documents (GFD)
– Beschreiben verschiedene Stufen des
Standardisierungsprozesses
– Erfordern Konsensus
– Werden publiziert
Grundlagen des Grid Computing
9
Grid Forum Documents
• Informational Documents
– Beschreibt für die Community interessante Konzepte
• Experimental Documents
– Beschreibt Ergebnisse von Versuchen,
Implementierungen, ...
• Community Practice Documents
– Beschreibt weit verbreitete und anerkannte Verfahren
• Recommendation Documents
– Beschreibt eine technische Spezifikation oder ihre
Anwendung
Grundlagen des Grid Computing
10
Standardisierungsablauf
• Informational & Experimental Documents
– Grid Working Draft
• Sollte schon ziemlich „stabil“ sein
– Wird als GFD Kandidat eingereicht
• Überprüfung (formaler) Anforderungen
• Kommentare werden gesammelt (30 Tage)
– Reaktion auf Kommentare
• Eventuell neue Kommentare bei substantiellen Änderungen
– Eventuelle Kommentare der OGF Steering Group
– Publikation als OGF Dokument
Grundlagen des Grid Computing
11
Standardisierungsablauf
• Community Practice Documents
– Wird als GFD Kandidat eingereicht
• Überprüfung (formaler) Anforderungen
• OGF Steering Group Review (15 Tage)
• Kommentare werden gesammelt (60 Tage)
– Reaktion auf Kommentare
• Eventuell neue Kommentare bei substantiellen Änderungen
– OGF Steering Group Review
– Editor Review
– Publikation als OGF Dokument
Grundlagen des Grid Computing
12
Standardisierungsablauf
• Zuerst Proposed Recommendation (Analog zu „Proposed
Standard“ im Internetbereich)
–
–
–
–
–
Überprüfung (formaler) Anforderungen
Area Director Review
OGF Steering Group Review (15 Tage)
Kommentare werden gesammelt (60 Tage)
Reaktion auf Kommentare
• Eventuell neue Kommentare bei substantiellen Änderungen
– OGF Steering Group Review
– Editor Review
– Publikation als OGF Dokument
Grundlagen des Grid Computing
13
Standardisierungsablauf
• Grid Recomendation
– 6 Monate als Proposed Recommendation
– Expertenreview (Praxiserfahrungen)
– Überprüfung der notwendigen
Vorraussetzungen
– Öffentliche Ankündigung
– Review durch entsprechendes OGF Council
– Republication
Grundlagen des Grid Computing
14
Beispiele für OGF Standards
• Scheduling (über heterogene (Middleware)Plattformen)
• Beschreibung von und Zugriff auf verteilte
Datenbanken
• Installation und Konfiguration von
verteilten Anwendungen
• API für Grid-Anwendungsentwicklung
Grundlagen des Grid Computing
15
Beispiel eines Standards:
GridFTP
• GridFTP (Proposed Recommendation): GFD.20
• Erweiterungen des FTP-Protokolls zur
Handhabung von großen Datenmengen
– Striped Transfer: Parallele Übertragung über meherere
Verbindungen
– Extended Retrieve / Store: Daten werden vor der
Übertragung reduziert
– Setzen der TCP Buffer Size (automatisch / manuell)
– Authentifizierung des Datenkanals
Grundlagen des Grid Computing
16
Beispiel eines Standards:
JSDL
• Job Submission Description Language
(Recommendation): GFD 136
• Wichtig für die einheitliche Beschreibung
von Jobanforderungen
– Interoperability zwischen verschiedenen
Middleware-Typen
• Vokabular und XML Schema wird definiert
Grundlagen des Grid Computing
17
Beispiel eines Standards:
SAGA
• A Simple API for Grid Applications (Proposed
Recomendation): GFD.90
• High-Level API
• Gemeinsame Schnittstelle für Applikationsprogrammierer
– Zugriff auf oft benötigte Dienste soll vereinfacht werden
– Keine speziellen Implikationen / Anforderungen an ausführende
Middleware
• Kann mehrere verschiedene Grid-Middlewarearten
verwenden
Grundlagen des Grid Computing
18