itanium 9000

Enterprise Computing
Prof. Dr.-Ing. Wilhelm G. Spruth
WS 2011/12
Teil 3
Mainframe Hardware
Mainframe Alternativen
IBM System z, z/OS
Hersteller
Name
Microprocessor
Betriebssystem
Fujitsu / Sun
Sunfire, M9000
Sparc
Solaris
HP
Superdome
Itanium
HP-UX
IBM
System p
PowerPC
AIX
Mehrere Hersteller (Dell, HP, IBM, Unisys, andere) stellen große Konfigurationen mit x86
und Windows/Linux her.
Die Firma Unisys produziert in kleinen Stückzahlen Großrechner, mit dem OS2200
Betriebssystem , welches auf die UNIVAC 1100/2200-Serie zurückgeht, sowie Rechner mit
dem Master Control Program (MCP) Betriebssystem, welches auf die Burroughs-B5000Produktlinie zurückgeht.
Hewlett Packard Betriebssysteme
Die Firma Hewlett Packard (HP) vertreibt neben dem hauseigenen HP-UX (Unix) mehrere
weitere Betriebssysteme, die zum Teil aus der Übernahme mehrerer anderer Computer
Firmen stammen:
• MPE/iX ist eine HP-eigene entwicklung, die 2010 eingestellt wurde.
• Tru64 UNIX wurde von der Firma digital Equipment entwickelt und läuft auf “Alpha”
Microprozessoren. Es wird nicht weiterentwickelt, und HP stellt die Unterstützung Ende
2012 ein.
• HP NonStop stammt von der Firma Tandem Computers und läuft auf Itanium
Microprozessoren.
• Das Virtual Memory System (VMS) Betriebssystem wurde von der Firma Digital
Equipment Corporation (DEC) entwickelt und läuft ebenfalls auf Itanium
Microprozessoren. Microsoft benutzte VMS als Basis für die entwicklung von Windows
2000.
Viele Hardware Produkte der Firma HP unterstützen Windows und Linux.
Hardware für betriebswirtschaftliche Großrechner
Die meisten Implementierungen von betriebswirtschaftlichen Großrechnern verwenden die
gleichen oder ähnlichen Technologien, wie sie auch für Arbeitsplatzrechner oder kleine
Server eingesetzt werden. Dies hat den Vorteil, die Entwicklungskosten auf eine größere
Stückzahl verteilen zu können. Es hat den Nachteil, dass die verwendeten Komponenten
(Commodity Parts) nicht für den Einsatz in einem betriebswirtschaftlichen Großrechner
optimiert wurden. Zwei Beispiele sind:
• Zuverlässigkeit und Verfügbarkeit richtet sich nach ökonomischen Kriterien , die für
den PC Bereich etabliert werden. Durch zusätzliche Einrichtungen versucht man
Verbesserungen zu erreichen, die dann aber ins Geld gehen.
• Ein/Ausgabe (I/O) Einrichtungen sind z.B. für den Ansschluss von 5 Plattenspeichern
optimiert, nicht aber für 5 000 oder 50 000 Plattenspeicher
Dennoch sind betriebswirtschaftlichen Großrechner alles andere als billig, wie das
folgende Beispiel eines führenden Herstellers, der Firma Sun, zeigt:
Das kleinste Modell der Sun 25k Serie hatte 4 „System Boards“ mit je 4 Dual Core SPARC
CPUs, oder insgesamt 16 CPUs. Spätere Modelle benutzten Quad Core CPU Chips. Die
System Boards (auch als Prozessor Boards bezeichnet) sind eine evolutionäre
Weiterentwicklung der Sun 15k und Sun 10k Serie.
4x4
Hauptspeicher
DIMMS
(Dual Inline
Memory
Module)
4 Multicore
Sparc Chips
+ Kühler
4 I/O Adapter Cards
Sun E 10 000 System Board
HewlettPackard
Superdome
Cell Board
4 Multicore
Itanium
Chips
Hauptspeicher
2 x 16 DIMMs
6 I/O Adapter Cards
Plattenspeicher
Fibre Channel SCSI
I/O Adapter
Cards
PCIe Bus
System Board
Cell Board
PCIe Card
I/O Cage
Sun Fire, Superdome Konfiguration
PCIe Cards in getrenntem I/O Cage mit PCIe Steckplätzen.
Multi-Chip Module eines z9 Rechners
z9 Multi Chip
Module (MCM)
PU 2
PU 1
6 quad core CPU
chips (labeled PU) for
a total of 24CPUs
PU 0
S00
S10
SC 0
SC 1
S01
S11
PU 3
PU 4
PU 5
2 L4 cache chips
labeled SC
4 EPROM chips
labeled S00, S01, S10
und S11. Sie dienen
derPersonalisierung
(characterization)
jedes einzelnen
MCMs.
z 196 Multi Chip Module (MCM)
Das MCM besteht aus einem 96 x 96 mm großem Multilagen-Glas-Keramik-Träger mit 103
Verdrahtungslagen.
Layout des z 196 CPU Chips
Jedes CPU chip hat 1.4 Milliarden (109) Transistoren. 23,5 x 21,8 mm.
1134 Signal Anschlüsse, 8093 Power Anschlüsse (C4)
z196 Microprozessor CPU
Each core is a superscalar, out of order processor with these characteristics:
•
•
•
•
•
•
•
•
•
•
•
~1000 instructions
211 complex instructions cracked into multiple internal operations
246 of the most complex z/Architecture instructions are implemented via microcode
Six execution units
2 fixed point (integer), 2 load/store, 1 binary floating point, 1 decimal floating point
Up to three instructions decoded per cycle
Up to five instructions/operations executed per cycle
Execution can occur out of (program) order
Memory address generation and memory accesses can occur out of (program) order
Special circuitry to make execution and memory accesses appear in order to software
Each core has 3 private caches
64KB 1st level cache for instructions, 128KB 1st level cache of data
1.5MB L2 cache containing both instructions and data
Hauptspeicher
Hauptspeicher
L4
L3
L2
z10 Mainframe
L3
L2
L1
L1
CPU
CPU
z196 Mainframe
Mainframe Cache Hierarchien
Heutige Mainframes haben eine drei- oder vier-stufige Cache Hierarchie.
z196
Cache Hierarchy
CPU Chip
CPU Chip
CPU Chip
CPU Chip
CPU Chip
CPU Chip
Vier oder acht Cores pro Chip ?
Embedded DRAM (eDRAM)
Designed for on-die use with CPUs, eDRAM is nearly as fast as the SRAM currently used
for on-die CPU caches, but uses far less processor real estate—about half as much in
some cases.
Zusätzliche
Eigenschaften des
z9 CPU Chips
Recovery Unit
Wenn eine Maschinen-befehlswiederholung nicht erfolgreich ist (z.B. ein permanenter
Fehler existiert), wird ein Relocation Process gestartet. Dieser bewirkt, dass die
Prozessausführung auf einem anderen CPU Core fortgesetzt wird. Das ist möglich, weil die
R.Unit in jedem Augeblick den vollständigen Architekturstatus der CPU in ihrer R-Unit
zwischenspeichert, wobei diese Zwischenspeicherung wiederum über Hamming
Fehlerkorrekturcodes abgesichert ist.
L4 Cache (SC) Chip
24,4 x 19,6 mm, 1,5 Milliarden (109) Transistoren,
1 Milliarde dynamische Speicherzellen, Cache Controller, 96 MByte/Chip.
z9 MCM
z196 MCM
2 (z9) bzw. 4 (z196) Cores/CPU Chip, 40 (z9) bzw. 196 (z196) MByte Shared Cache.
Modell z9, Juli 2005
Modell z10, Februar 2008
Modell z196, Juli 2010
z9 Multi-Chip Module
Multichip Module (MCM) benutzen die
Multilagen Ceramic (MLC)
Technologie. Ein MLC Module ihat
etwa 100 Verdrahrungslagen und ist
wenige mm dick. Gezeigt ist das
Einpassen eines z9 MCM in eine
Halterung.
Das MCM wird zusammen mit
Hauptspeicher DIMMs und
zusätzlichen Cards auf ein Printed
Circuit Board aufgelötet.
Die MLC Module Technology hat sich
seit 1987 evolutionär weiter
entwickelt. Weniger und dafür
größere Chips. Die Anzahl der
Transistoren/Chip wuchs um etwa
einen Faktor 106 .
Die Rückseite des Multichip Modules Modules
System z196
Multichip
Module
Kontaktstifte durch 7356
Kontaktpunkte (Lands)
ersetzt.
96 x 96 mm MLC Modul,
103 Verdrahtungslagen.
1800 W max. Power
Thermal Conduction Module
Ein Thermal Conduction Module (TCM) ist eine Baugruppe, welche ein Multilayer Ceramic
(MLC) Multichip Module (MCM) enthält, und die für die Energieabfuhr (Kühlung)
erforderliche Hardware enthält.
Besonders kurze Signallaufzeit zwischen den Chips eines MCM.
z196 TCM hat eine Kühlleistung von 1,8 KWatt.
Mainframe Multichip Multilayer Ceramic Module mit 121 Chip Sites aus den 80er Jahren
MCM Module
mit 133 Chips pro
Module.
Thermal Conduction Module (TCM)
1987 TCM, 133 Chips/MCM, 704 circuits/chip. Multiple Modulespro single CPU.
Multilayer Ceramic Technologie
Querschnitt durch ein MCM
Die 103 Verdrahtungsebenen des z196 Multilayer Ceramic Technologie (MLC) Multichip
Modules ermöglichen effektive Verbindungen der CPU und Cache Chips.
In dem 96 x 96 mm-Modul sind Leiterbahnen mit einer gesamten Länge von mehr als 500
Meter untergebracht.
Eine sehr ähnliche Packungstechnologie hat sich in der Hochfrequenztechnik bewährt.
Die Glas-Keramik-Technologie steht im Gegensatz zu den normalerweise in Printed Circuit
Boards (PCB) verwendeten organischen Materialien und Wirebond Peripheral InterconnectVerfahren mit Lead Frame- oder Pin Grid Array (PGA)-Verbindungen. Diese haben
schmalbandige induktive Diskontinuitäten (Drähte, Pins, Leads) und lange Netze mit
erhöhter Laufzeitverzögerung.
MLC Literatur
[ BUR ] W. G. Burger, C. W. Weigel: Multi-Layer Ceramics Manufacturing. IBM Journal of Research and Development,
Volume: 27 No.1,
Jan. 1983, p. 11 - 19
[ KAT ] G. A. Katopis et al. : MCM technology and design for the S/390 G5 system. IBM Journal of Research and
Development, Vol. 43, Nos. 5/6, 1999, p. 621.
A. J. Blodgett, D. R. Barbour: Thermal Conduction Module: A High-Performance Multilayer Ceramic Package.
Volume 26, Number 1, 1982, Page 30.
Thermal
Conduction
Module
Aluminium-Kühlstempel,
Konus Radius:
mehrere 100 Meter.
Die Wärmeleitfähigkeit von
Helium ist größer als die
jeder anderen bekannten
Substanz.
TCM Wärmeübergang
Der 1995 von Intel herausgebrachte Pentium Pro Microprozessor verwendete ein 387 Pin
Multi Layer Ceramic (MLC) Multi Chip Module (MCM) und hatte eine überdurchschnittliche
Leistung.
Cache Struktur eines z 196 Multichip Modules
z 196 Multichip Module hat
sechs CPU Chips (CP0
..CP5) sowie zwei L4 Cache
Chips.
Jedes CPU Chip ist mit
beiden L4 Cache Chips
direkt verbunden Außerdem
sind die CPU Chips direkt
mit den Hauptspeicher
DIMMs verbunden.
Ein z 196 System kann 4 als
Books bezeichnete
Baugruppen enthalten.
Jedes Book beinhaltet ein
Multichip Module.
Die L4 Cache Chips aller
Books sind miteinander
(FCB) verbunden und bilden
einen gemeinsam genutzten
Cache.
z196 Multichip Module
Alle Books sind in einer Punkt zu Punkt Topologie miteinander verbunden.
Daten Transfer zwischen den Books über L4 (z196) bzw. L2 (z9) Cache
L4 (z196) bzw. L2 (z9) Cache wird von allen CPUs aller Books gemeinsam genutzt.
NUMA Cache (Non Uniform Memory Architecture)
MCM
MCM
MCM
MCM
Die vier L4 Caches der Books mit je 24 CPU Cores sind mittels einer Punkt zu Punkt
Topologie direkt miteinander verbunden. Direkter Datenaustausch zwischen den vier L4
Caches.
Alle 4 x 24 = 96 Cores greifen auf die L4 Caches aller Books direkt zu.
In den Mainframe Rechnern erfolgt der Datentransfer zwischen Plattenspeicher und Cache.
Damit sind wesentlich höhere Datenraten möglich.
Book
8 Fanout
Card
Anschüsse
2 pro
Fanout Card
single
Book
FSP
Flexible
Service Processor
STP
server time protocol
Alle Books (besonders deren Distributed Converter Assembly Stromversorgungen, DCAs),
alle I/O Cages und zwei redundat ausgelegte Stromversorgungen beinhalten eine Flexible
Support Processor (FSP) Card, die über ein Ethernet Kabel mit dem Support Element
(einem Thinkpad Laptop) verbunden sind.
Hardware System Area
HSA
Hauptspeicher
• Minimal Configuration 32 GByte
• Maximal Configuration . 3 056 GByte
3 056 + 16 = 3 072
256 x 4 x 3 = 3 072
Zusätzlich enthält jeder Mainframe Rechner einen als HSA (Hardware System Area)
bezeichneten Speicherbereich, der in dem gleichen physischen Speicher wie der
Hauptspeicher untergebracht ist.
Die HSA ist für den Programmierer nicht zugänglich und enthält „Firmware“ Code und
zugehörige Daten.
Firmware ist Code, der mit der Hardware ausgeliefert wird, und Betriebssystem unabhängig
arbeitet. Beispiele für Firmware Code:
• Diagnostics
• Hardware Fehler-Behandlung
• PR/SM Hypervisor
System Frame
Infiniband
Struktur eines z9, z10 oder z196 Mainframe Systems.
Bis zu 28 I/O Adapter Cards pro I/O Cage, für Verbindungen zu Plattenspeichern,
Magnetbändern und anderen I/O Geräten.
Ein System z Rechner besteht
aus 2 meinstens nebeneinander
aufgestellten Rahmen, (Z Frame“
und A Frame)“
Z Frame
A Frame
Ein System z Rechner hat ein Minimum von 1 Book und ein Maximum von 4 Books.
Ein minimales System hat nur ein A Frame und einen einzigen I/O Cage. Das z Frame hat
Platz für 2 weitere I/O Cages.
Ein Support Element (regulärer Thinkpad Laptop) steuert das System
Geöffneter z196 Rechner (ohne Türen).
Alle I/O Geräte, besonders auch Plattenspeicher, sind in getrennten Gehäusen
untergebracht.
Z Frame und A Frame eines älteren z990 Mainframe.
Ein z9 Modell sieht nur geringfügig anders aus.
Ein fast leerer I/O Cage mit 5 gesteckten I/O Adapter Cards
Gezeigt ist ein Entwicklungsingenieur, wie er gerade ein Book aus einem z9 Rechner entfernt.
Plattenspeichereinheit
Enterprise Storage Server
Mainframe
Glasfaserkabel
z Frame + A Frame
Magnetbandeinheit
Roboter
I/O Einheiten, besonders auch für Plattenspeicher, befinden sich grundsätzlich in externen
Gehäusen. Eine Mainframe Konfiguration besteht mindestens aus dem Mainframe selbst
und einer externen Plattenspeichereinheit.
I/O Einheiten werden über Glasfaserkabel mit dem Mainframe verbunden. Die
Datenübertragung erfolgt mittels der FICON Version des Fibre Channel Protokolls. Fibre
Channel wird auch von Unix Großrechnern für den Anschluss von Plattenspeichern und
anderen I/O Geräten benutzt.
FICON
Adapter Card
4 Glasfaser
Anschlüsse
Mainframe Earthquake Test
Die hohe Verfügbarkeit der Mainframes beruht auf einer sehr großen Anzahl einzelner
Maßnahmen und Eigenschaften der Hardware, Software oder einer Kombination von
beiden.
Ein Beispiel ist der „Erdbebentest“. Gefordert ist, dass bei einem Erdbeben mit dem Wert
9,0 auf der Richterskala der Mainframe Rechner dies ungestört überlebt, und dass
spezifisch alle Software unbeeinträchtigt und ohne Absturz, (während des Bebens und
hinterher) weiterläuft.
Das Video
http://www.informatik.uni-leipzig.de/cs/Literature/esiisup/earthquake.html
zeigt einen „Erdbebentest“, durchgeführt in der IBM Fabrik in Poughkeepsie, N.Y. Während
des Testes laufen z/OS und alle anderen Subsysteme und Anwendungsprogramme
ungestört weiter.