Betriebserfahrungen und Ausblick

GPFS
- Betriebserfahrungen und Ausblick -
AK-SYS Bommerholz 2006
Dipl.-Physiker Stefan Ost
Leiter der Abteilung „Rechner und Betriebssysteme“
Zentrum für Informationsverarbeitung
Westfälische Wilhelms-Universität Münster
Übersicht
•
•
•
•
•
Versionskonfusion
Erfahrungsbericht: GPFS 1.3 für Linux
Aktuell: GPFS 2.3
Ausblick: GPFS für einen Mail-Cluster?!
Alternativen?
Versionskonfusion
•
•
•
•
•
•
•
•
•
•
•
1998 GPFS V1.1 AIX (RS/6000 SP Switch)
1999 GPFS V1.3 AIX (RS/6000 SP)
2000 GPFS V1.4 AIX (HACMP, SSA-Disks)
2001 GPFS V1.1 Linux (Cluster 1300)
2001 GPFS V1.5 AIX (HACMP, FC-Disks)
2002 GPFS V2.1 AIX
12/2002 GPFS V1.3 Linux (Cluster 1350, CSM-Support)
12/2003 GPFS V2.2 AIX, Linux (Intel, pSeries)
3Q 2004 GPFS inter operability AIX and Linux
12/2004 GPFS V2.3 AIX, Linux (Intel, pSeries)
Aktuell: V2.3.0.10
GPFS für Linux 1.3
•
•
•
•
•
•
Seit 3 Jahren im Einsatz (Linux-Cluster)
RedHat 7.3, 2.4 Kernel mit proprietären Erweiterungen
Kommunikation über Myrinet
Erfahrung: Positiv, aber nicht ohne Probleme
Problemlos: TSM, Nutzer- und Gruppen-Platzquoten
Ausfallsicherheit: Take-Over und Give-Back
funktionieren wirklich
GPFS Cluster Models
•
•
•
•
•
Dedicated NSD server(s) Model
Direct Disk Attached Model
Mixed Model: NSD und Direct Disk
Joined Model: AIX und Linux
Cross-Cluster Model: auch in WANs
NSD-Model
Probleme (GPFS 1.3)
• Alle GPFS-Knoten bilden das Quorum
– RSCT ist vorausgesetzt
– Langsamer GPFS-Start und -Stopp
• Myrinet was anfangs nicht stabil
– Austausch aller HBAs und Linecards
• GPFS ist nicht stabil bei instabilen Netz!
Probleme (GPFS 1.3)
• Bei überbeanspruchten Speicher
–
–
–
–
mmfsd waren autistisch und wurden ständig neu erzeugt
Knoten stürzte ab
Eigentliche Verursacher wurde vom Linux nicht entfernt
Vermutliche Ursache: mmap-Patch des 2.4 kernels
• Ursache und Wirkung von Problemen zeitlich getrennt
–
–
–
–
Probleme wurden erst nach Tagen virulent
Erschwert die Diagnose
fsck ist dein Freund
Zu alter MicroCode der FAStT-200HA
GPFS V2.3
• Was ist aus unserer Sicht nützlich?
–
–
–
–
Nur Server bilden Quoren
RSCT wird nicht mehr benötigt
mmap-Patch unnötig (2.6 kernel)
Breitere HW-Unterstützung
• Robust gegen Server-Ausfall (getestet)
• GB-Ethernet statt Myrinet
• Wurde letzte Woche installiert und ist jetzt produktiv
GPFS im Mail-Cluster?!
•
•
•
•
•
•
Teil der DFS-Migration
GPFS skaliert mit der Anzahl der Server (Striping)
Mailbox-Format: mbox
Mailbox-Format ist praktisch unveränderbar
Mailbox-Zugriff: smtp, POP3, IMAP, perMail
Frage: Eignet sich ein ehemaliges multimediaFilesystem für Mailboxen?
• Antwort: Das hängt von den Mailbox-Größen ab
Messung der Mailboxgröße
<=500 MB
Messung der Mailboxgröße
<=100 MB
Messung der Mailboxgröße
<=1 MB
GPFS im Mail-Cluster?!
•
•
•
•
•
•
53000 Mailboxen
Durchschnittlich Größe: 2.4 MB
Etwa 20% der Mail-Accounts werden weitergeleitet.
Deshalb gibt es viele leere oder fast leere Mailboxen.
„Effektive“ (>5KB) durchschnittliche Größe: 3.3 MB
Nutzerquoten sollen erhöht werden, was die
Mailboxgröße tendenziell erhöht.
Mail-Cluster-Konfiguration
GPFS im Mail-Cluster?!
•
•
•
•
•
Test-Installation im Mai
Eingehende Mail ist frei von Viren und SPAM
Konfiguration ist skalierbar: SAN, Server, Ethernet
Etablierte SMTP-Benchmarks?
Test-Szenario
– 50000 Nutzer
– Eingehend: 1-2 Mails unterschiedlicher Größe pro Sekunde
– Ausgehend: 3 POP3-Requests pro Sekunde
Alternativen?
• NFS-V3: Vor 10 Jahren aus guten Gründen abgelöst.
• NFS-V4: Noch nicht fertig.
• AFS: Neben psychologische Problemen (man geht nicht
gerne zurück) fehlt POSIX-konformes File-Locking.
• SAMBA: Gute Frage. Nächste Frage.
• ….