BITKOM Leitfaden Betriebssicheres Rechenzentrum

Transcrição

BITKOM Leitfaden Betriebssicheres Rechenzentrum
Leitfaden
Betriebssicheres Rechenzentrum
Leitfaden Version 3
„„ Impressum
Herausgeber:
BITKOM
Bundesverband Informationswirtschaft,
Telekommunikation und neue Medien e. V.
Albrechtstraße 10 A
10117 Berlin-Mitte
Tel.: 030.27576-0
Fax: 030.27576-400
[email protected]
www.bitkom.org
Ansprechpartner:
Holger Skurk (BITKOM e.V.)
Tel.: 030.27576-250
[email protected]
Copyright:
BITKOM 2013
Redaktion:
Holger Skurk (BITKOM)
Grafik/Layout:
Design Bureau kokliko / Christine Holzmann
Titelbild:
Alejandro Mendoza, istockphoto.com
Diese Publikation stellt eine allgemeine unverbindliche Information dar. Die Inhalte spiegeln die Auffassung im BITKOM
zum Zeitpunkt der Veröffentlichung wider. Obwohl die Informationen mit größtmöglicher Sorgfalt erstellt wurden, besteht
kein Anspruch auf sachliche Richtigkeit, Vollständigkeit und/oder Aktualität, insbesondere kann diese Publikation nicht den
besonderen Umständen des Einzelfalles Rechnung tragen. Eine Verwendung liegt daher in der eigenen Verantwortung des
Lesers. Jegliche Haftung wird ausgeschlossen. Alle Rechte, auch der auszugsweisen Vervielfältigung, liegen beim BITKOM.
Leitfaden Betriebssicheres Rechenzentrum
Leitfaden
Betriebssicheres Rechenzentrum
Leitfaden Version 3
Inhaltsverzeichnis
1Einleitung 
2 Verfügbarkeit eines Rechenzentrums 
3.1 ISO 27001 / ISO 27002:2008 
3 Einfluss von Sicherheitsstandards auf die Gestaltung von Rechenzentren 
3.2ITIL 
3.3 Sarbanes Oxley Act und SAS 70 
3.4 Bewertung der Standards 
4 Basis der IT-Infrastruktur: Das Rack 
4.1Serverschrank 
4.1.1 Standard-Serverschrank (Rack)
4.1.2 Sicherer Serverschrank
4.1.3 Inventarisierung im Serverschrank
4.2Netzwerktechnik 
4.3 Betriebssicheres Rechenzentrum 
5.1 Energieversorgungsunternehmen (EVU) – Stromverteilung und Einspeisung ins Unternehmen 
5.1.1Ausgangssituation
5.1.2 Funktionsweise der Infrastruktur
5Energieversorgung 
5.1.3 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
5.2 Stromverteilung im Unternehmen 
5.2.1Ausgangssituation
5.2.2Funktionsweise der Infrastruktur
5.2.3 Intelligente Steckdosenleisten
5.2.4Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
5.2.5 Schutzmaßnahmen und Hochverfügbarkeit
5.3 Unterbrechungsfreie Stromversorgung (USV) 
5.3.1Ausgangssituation
5.3.2 Technologien von USV-Systemen
5.3.3Funktionsweise 5.3.4Grundsätzlicher Aufbau statischer USV-Anlagen
5.3.5USV-Redundanz
5.3.6Elektronischer Bypass/Handbypass- Serviceumgehung
5.3.7Energiespeicher 5.3.8Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
5.3.9Besonderheiten
5.4Notstrom 
5.4.1 Stromerzeugungsaggregate für die Ersatzstromversorgung (Notstrom) bei Netzausfall
5.4.2Notstromversorgungen
5.4.3Auslegung der Notstromanlage
5.4.4Empfohlene Notstromversorgung in Abhängigkeit zu den zulässigen Ausfallzeiten
2
7
8
11
11
12
13
13
14
14
14
15
16
16
17
18
18
18
18
19
20
20
20
21
21
21
23
23
23
24
25
26
26
27
27
28
29
29
30
30
31
Leitfaden Betriebssicheres Rechenzentrum
5.5Wartung/Instandhaltung 
5.5.1 Wartung/Service USV-Anlagen
5.5.2 Wartung/Service/Probeläufe Netzersatzanlage
5.5.3 Wartung / Prüfung Elektroinstallation
6Klimatisierung 
6.1Anforderungen 
6.1.1 Einhaltung von ITK-Betriebsbedingungen
6.1.2 Einzusetzende Klimatechnik
6.1.3Redundanz
6.1.4Energieeffizienz 6.1.5Skalierbarkeit
6.1.6Servicekonzept
6.2Umluftklimatisierung 
6.2.1Raumkühlung 6.2.2Reihenkühlung
6.2.3Schrankkühlung 6.3 Kälteerzeugung 
6.3.1 Indirekte Freie Kühlung
6.3.2Direkte Freie Kühlung 6.3.3 Klimatisierungssysteme ohne Freie Kühlung
6.3.4Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
6.4Fazit
7Brandschutz 
7.1 Technischer Brandschutz 
7.1.1 Funktionsweise der Infrastruktur
7.1.2 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
7.2 Baulicher Brandschutz 
7.2.1Schutzziele
7.2.2 Funktionsweise und Raumanforderungen
7.2.3 Empfohlene Ausstattung bei unterschiedlichen Ausfallzeiten
7.3 Vorbeugende und organisatorische Brandschutzmaßnahmen 
8 Flächenkonzeption und Sicherheitszonen für Rechenzentren 
9Verkabelung 
9.1Ausgangssituation 
9.2 Normative Grundlagen 
9.3Qualität/Komponenten-/Systemauswahl 
9.4Struktur 
9.5 Redundanz und Sicherheit 
9.6Installation 
9.7 Dokumentation und Beschriftung 
35
35
35
35
36
36
36
36
37
37
37
37
38
38
39
40
40
41
42
42
43
43
4 4
4 4
4 4
46
47
48
48
49
49
51
53
53
53
53
54
55
56
56
3
10 Die Zertifizierung eines betriebssicheren Rechenzentrums 
10.1Einführung 
10.2 Zertifizierungsmöglichkeiten für Rechenzentren 
10.3 Der Zertifizierungsprozess 
10.4Die Vorteile einer Zertifizierung 
10.5 Die Wahl des richtigen Zertifizierungspartners 
11Anhang 
12Glossar 
13Danksagung 
4
57
57
57
58
59
59
61
63
64
Leitfaden Betriebssicheres Rechenzentrum
Verzeichnis der Abbildungen
Abbildung 1: Häufigkeit von Netzstörungen bezogen auf deren durchschnittliche Dauer 
Abbildung 2: Redundanzen beim Einsatz von USV-Lösungen 
Abbildung 3: Netzersatzanlage im Gebäude 
Abbildung 4: Netzersatzanlage im Container 
Abbildung 5: Netzüberwachung/Netzumschaltung 
Abbildung 6: Raumklimatisierung über den Doppelboden mit Kaltgang-/Warmgangbildung 
Abbildung 7: Raumklimatisierung über den Doppelboden und Einhausung der Kaltgänge 
Abbildung 8: Klimatisierung mit Klimageräten in den Rackreihen Warmgangeinhausung/
Kaltgangeinhausung 
Abbildung 9: Schrankkühlung mit wassergekühltem Rack 
Abbildung 10: Indirekte Freie Kühlung 
Abbildung 11: Direkte Freie Kühlung 
Abbildung 12: Sicherzeitszonen im Rechenzentrum 
Abbildung 13: Schematische EN Verkabelungsstruktur nach DIN EN 50173-5 
Abbildung 14: Bereichsverteilungsverkabelung (Cu und LWLmit Bereichsverteiler (BV) und
Server-/Strorageschränken mit Geräteanschluss (GA) 
Abbildung 15: Hauptverteilungsverkabelung (LWL) mit Hauptverteiler (HV) und Anschluss an die
Bereichsverteilungsverkabelung (Cu und LWL) mit Bereichsverteiler (BV) und
Server-/Storageschränken mit Geräteanschluss (GA) 
23
26
33
33
34
38
39
40
40
41
41
52
54
55
55
Verzeichnis der Tabellen
Tabelle 1: Historisches Beispiel für Verfügbarkeitsklassen
Tabelle 2: Verfügbarkeitsklassen nach BSI
Tabelle 3: EVU Einspeisung
Tabelle 4: Übersicht der Leistungsklassen
Tabelle 5: Verteilung
Tabelle 6: Arten von Netzstörungen und die passenden USV-Lösungen nach EN62040-3
Tabelle 7: USV
Tabelle 8: Notstrom
Tabelle 9: Daueremissionsrichtwerte für Emissionsorte außerhalb von Gebäuden
Tabelle 10: Klimatisierung
Tabelle 11: Technischer Brandschutz
Tabelle 12: Baulicher Brandschutz
Tabelle 13: Funktionsbereiche eines Rechenzentrums
8
9
19
20
22
24
28
31
32
43
47
49
52
5
6
Leitfaden Betriebssicheres Rechenzentrum
1Einleitung
Der BITKOM Arbeitskreis »Betriebssicheres Rechenzentrum« hat diesen Leitfaden mit der Intention entwickelt,
die Planung, Ausführung und den Betrieb von IT-Infrastrukturen für unternehmenswichtige Anwendungen in
Rechenzentren und anderen IT-Umgebungen übersichtlich und kompetent darzustellen. So ist nicht nur die Auswahl von IT-Geräten zu berücksichtigen, auch das Layout
und die Ausführung des Rechenzentrums und der daraus
resultierenden Anforderungen an:
„„ Bauart und Baugröße
„„ elektrische Leistung
„„ Wärmeabführung
„„ Verkabelung
„„ Sicherheit und Verfügbarkeit
„„ Flexibilität und Energieeffizienz
„„ Anschaffungs- und Betriebskosten
sind entscheidende Faktoren.
Der vorliegende Leitfaden bietet eine aktuelle Hilfestellung für die Planung und Implementierung eines Rechenzentrums sowie IT-Umgebungen in mittleren und kleinen
Unternehmen. Damit ergänzt er existierende Standards
und Vorschriften, die als Unterstützung herangezogen
werden können. Diese sind in ihren Forderungen oft sehr
allgemein gehalten, der Leitfaden geht daher weiter und
gibt konkrete Hinweise für die Gestaltung eines Rechenzentrums. Er ergänzt die Matrix»Planungshilfe Betriebssicheres Rechenzentrum«, die wie der Leitfaden selbst auf
der BITKOM-Webseite zum kostenfreien Download zur
Verfügung steht.
Die Inhalte der Matrix sind in Auszügen auch in den
Unterkapiteln des Leitfadens dargestellt.
Der vorliegende Leitfaden und die Planungshilfe ersetzen
allerdings keinesfalls eine fachkundige Beratung und
Unterstützung durch erfahrende Berater, Fachplaner und
Ingenieurbüros.
7
2Verfügbarkeit eines Rechenzentrums
Die fortschreitende Entwicklung und Integration der
Redundanzen in der Klima- und Stromversorgung, dop-
Informationstechnologie in allen Geschäftsbereichen
pelte Einspeisungen und unterbrechungsfreie Wartungen
bedeutet, dass sich heutzutage kein noch so kleines
der Systeme haben sich als Standard für hochverfügbare
Unternehmen einen Ausfall derselben leisten kann.
IT-Infrastrukturen etabliert.
Noch vor wenigen Jahren konnten viele Unternehmen mit
einem, auch mehrstündigen, Ausfall ihrer IT-Infrastruktur
Bevor jedoch die mit der Planung und der Auslegung der
»überleben«, heute steigt die Zahl derer, für die eine
technischen Komponenten für die angestrebte Verfüg-
kontinuierliche Verfügbarkeit der IT unverzichtbar ist,
barkeit begonnen wird, sind zusätzliche Betrachtungen
stark an.
hinsichtlich der Risikobewertung und der Standortwahl
unumgänglich. Hierzu zählen insbesondere die möglichen
Bei der Erstellung und Erweiterung oder auch Überprü-
Arealrisiken, welche geographisch (Luftverkehr, Hochwas-
fung eines IT-Konzeptes ist heute von entscheidender
ser etc.), politisch (Kriege, Konfliktherde, Terror etc). und
Bedeutung, wie die Erforderlichkeit der Verfügbarkeit der
in Form der nachbarlichen Beziehungen (Betriebsstätten
IT-Infrastruktur des Unternehmens eingeschätzt wird. Die
wie Tankstellen, Chemiekalienlager etc.) Einfluss auf die
sich daraus ergebende Grundsatzfrage lautet:
Wahrscheinlichkeit eines potentiellen Ausfalls haben
können. Weiterhin sollten auch potentielle deliktische
Angriffe von eigenen oder ehemaligen Mitarbeitern des
»Wie hoch sind die maximalen tolerierbaren
Unternehmens und externer Personen in die Gesamtbe-
Ausfallzeiten der IT des Unternehmens?«
trachtung einfließen.
Eine Forderung nach hoher Verfügbarkeit beinhaltet
Als Konsequenz aus den wachsenden Anforderungen
jedoch nicht nur die Auseinandersetzung mit technischen
an die Verfügbarkeit einer IT-Infrastruktur erhöhen sich
Lösungsmöglichkeiten, sondern verlangt vom Betreiber
nicht nur die Anforderungen an die IT-Systeme selbst,
auch Ansätze und Ausführungen für eine umfassende
sondern vor allem an eine kontinuierliche Sicherstel-
organisatorische Struktur. Dazu zählt z. B. die Bereithal-
lung der Umgebungsbedingungen und der Versorgung.
tung von geschultem Servicepersonal, von Ersatzteilen
Tier-Klassen
Einführung
Erklärung
Tier I
60er Jahre
einfacher Stromversorgungspfad, einfache Kälteversorgung, keine redundanten
Komponenten, 99,671 % Verfügbarkeit
Tier II
70er Jahre
einfacher Stromversorgungspfad, einfache Kälteversorgung, redundante
Komponenten, 99,741 % Verfügbarkeit
Tier III
Ende der
80er Jahre
mehrere Pfade vorhanden, aber nur eine aktiv, redundante Komponenten
Wartung ohne Unterbrechung möglich, 99,982 % Verfügbarkeit
Tier IV
1994
mehrere aktive Strom- u. Kaltwasserverteilungspfade, redundante Komponenten
fehlertolerant, 99,995 % Verfügbarkeit
Tabelle 1: Historisches Beispiel für Verfügbarkeitsklassen (nach: Uptime Institute, USA), Quelle: US Uptime Institut: Industry Standards Tier Classification
8
Leitfaden Betriebssicheres Rechenzentrum
oder der Abschluss eines Wartungsvertrages. Hinzu kom-
Verfügbarkeitsklassen wie in nachfolgender Tabelle
men auch genaue Instruktionen über das Verhalten im
»Verfügbarkeitsklassen nach dem BSI HV-Kompendium«
Fehler- oder Notfall. Weiterhin muss eine solche Struktur
aufgeführt. Damit ist die Verfügbarkeitsklasse eines
auch eine schnelle, exakte und zielgerichtete Kommu-
Dienstes ein Maß für seine Qualität hinsichtlich der
nikation und eine nachvollziehbare Protokollierung der
Dimension Verfügbarkeit mit der Einheit Stunde/Jahr.
Ereignisse ermöglichen.
Ein System wird als verfügbar bezeichnet, wenn es in der
Der Begriff »Verfügbarkeit« bezeichnet die Wahrschein-
Lage ist, die Aufgaben zu erfüllen, für die es vorgesehen
lichkeit, dass ein System zu einem gegebenen Zeitpunkt
ist. Die Verfügbarkeit wird in Prozent angegeben und
tatsächlich wie geplant benutzt werden kann. Damit ist
berechnet sich als 1 minus das Verhältnis aus fehlerbe-
Verfügbarkeit ein quantitativ fassbares und bestimm-
dingter Stillstandszeit (= Ausfallzeit) und Gesamtzeit
bares Maß. Man unterscheidet zwischen qualitativen
eines Systems.
Verfügbarkeitsklasse
Bezeichnung
Kumulierte, wahrscheinliche Ausfallzeit pro Jahr
Auswirkung
VK
0 ~95%
keine Anforderungen
an die
Verfügbarkeit
ca. 2-3 Wochen
Hinsichtlich der Verfügbarkeit sind keine Maßnahmen zu treffen. Die Realisierung des IT-Grundschutzes für die anderen Grundwerte wirkt sich förderlich
auf die Verfügbarkeit aus.
VK
1 99,0%
normale
Verfügbarkeit
Weniger als 90 Std.
Hinsichtlich der Verfügbarkeit erfüllt die einfache
Anwendung des IT-Grundschutzes (BSI 100-1 und BSI
100-2) die Anforderungen
VK
2 99,9%
hohe
Verfügbarkeit
Weniger als 9 Std.
Die einfache Anwendung des IT-Grundschutzes ist
zu ergänzen durch die Realisierung der für hohen
Verfügbarkeitsbedarf empfohlenen Bausteine,
z. B. die Bausteine B 1.3 Notfallvorsorge, B 1.8
Behandlung von Sicherheitsvorfällen und die
Anwendung der Risikoanalyse auf der Basis von
IT-Grundschutz (BSI 100-3).
VK
3 99,99%
sehr hohe
Verfügbarkeit
Unter 1 Std.
Realisierung der nach IT-Grundschutz für ausgewählte Objekte empfohlenen Maßnahmen mit
besonderem Einfluss auf den Grundwert Verfügbarkeit, z. B. die Maßnahme M 1.28 USV im Serverraum oder M 1.56 Sekundär-Energieversorgung im
Rechenzentrum, ergänzt durch HV-Maßnahmen aus
dem HV-Kompendium
VK
4 99,999%
höchste
Verfügbarkeit
ca. 5 Min.
IT-Grundschutz ergänzt durch Modellierung nach
dem HV-Kompendium.
IT-Grundschutz als Basis wird zunehmend durch
HV-Maßnahmen ersetzt und ergänzt.
VK
5 100%
disastertolerant
-
Modellierung nach dem HV-Kompendium.
IT-Grundschutz dient weiterhin als Basis für die vorstehenden Bereiche sowie die anderen Schutzwerte
Integrität und Vertraulichkeit.
Tabelle 2: Verfügbarkeitsklassen nach BSI
9
Berechnet man mit der obigen Formel die Verfügbarkeit
im Zeitraum eines Jahres, so bedeutet eine Verfügbarkeit
von 99,99% beispielsweise eine Stillstandszeit von 52,6
Minuten.
„„ 99 % * 87,66 Stunden/Jahr
„„ 99,9 % * 8,76 Stunden/Jahr
Verfügbarkeit
=
(in Prozent)
(
1.
Ausfallzeit
Produktionszeit +
Ausfallzeit
)
=
100
„„ 99,99 % * 52,6 Minuten/Jahr
„„ 99,999 % * 5,26 Minuten/Jahr
„„ 99,9999 % * 0,5265 Minuten/Jahr
Das Bundesamt für Sicherheit in der Informationstechnik
hat folgende Verfügbarkeitsklassen definiert: s. Tabelle 2,
S.9.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat ein Bewertungssystem für Rechenzentren
VAIR (Verfügbarkeitsanalyse der Infrastruktur in Rechenzentren) entwickelt. Unter www.vair-check.de können
RZ-Betreiber anonym und kostenlos die Daten der
Infrastruktur Ihres Rechenzentrums eingeben und die
Ausfallsicherheit des Rechenzentrums überprüfen.
10
Leitfaden Betriebssicheres Rechenzentrum
3Einfluss von Sicherheitsstandards auf die Gestaltung
von Rechenzentren
Eine große Anzahl von Sicherheitsstandards kommt
„„ 3.1 ISO 27001 / ISO 27002:2008
bei der Planung und Gestaltung von Rechenzentren zur
Anwendung. Sie stellen einerseits eine Hilfestellung für
Die seit Oktober 2005 geltende Normenreihe ISO/IEC
den Verantwortlichen dar, definieren andererseits aber
27001 dient dem Schutz von Informationen als Geschäfts-
auch Anforderungen.
werte vor Bedrohungen. Sie gewinnt an Bedeutung, da
sie die Basis schafft, um Unternehmen in die Lage zu
Auf der Ebene der physischen Infrastruktur eines Rechen-
versetzen, Anforderungen dritter Instanzen zu genügen.
zentrums werden die baulichen Aspekte, die technischen
Das sind beispielsweise gesetzliche Anforderungen (wie
Versorgungssysteme (Elektro/Kälte) und die Sicherheits-
KonTraG, HGB sowie GoB, GoBS, GDPdU, BDSG, TMG, TKG,
systeme (Brandmelde- und Brandlöschanlage, Einbruch-
StGB), vertragliche Anforderungen (z. B. von Kunden)
meldeanlage, Zutrittskontrollanlage) auf ihre Eignung
oder sonstige Anforderungen. Die Norm ersetzt die bisher
und ihren ordnungsgemäßen Einsatz hin überprüft. Eine
bekannte britische Standardnorm BS 7799-2, die im
nationale oder internationale Norm gibt es für diesen
Februar 2006 zurückgezogen wurde.
Themenkomplex noch nicht. Im deutschsprachigen Raum
existieren zurzeit Prüfkataloge unterschiedlicher Zerti-
In der betriebswirtschaftlichen Fachsprache wird der
fizierungsstellen mit einer mehr (wie z. B. der TSI Prüf-
Begriff Compliance verwendet, um die Einhaltung von
katalog vom TÜV) oder minder großen Abdeckung von
Gesetzen und Richtlinien, aber auch freiwilligen Kodizes
Anforderungen an die physische Infrastruktur.
in Unternehmen zu bezeichnen.
Die wichtigsten Normen auf der organisatorischen
Die ISO/IEC 27001 unterstützt das Aufsetzen eines Pro-
Ebene wie z. B. ISMS (Information Security Management
zesses für den Aufbau und das Betreiben eines Sicher-
Systems) sowie ITIL (IT Infrastructure Library) und der
heits-Management-Systems. Dieser Prozess der stetigen
Sarbanes-Oxley-Act werden hier vorgestellt.
Verbesserung arbeitet in den vier bekannten Schritten:
»Plan, Do, Check, Act«, wie dies auch von der ISO 9001
(Qualitätsmanagement) her bekannt ist.
Eine wesentliche Hilfe wird auch durch die vom BSI (Bundesamt für Sicherheit in der Informationstechnik) seit
vielen Jahren fortentwickelten Grundschutz-Handbücher
(Leitfäden und Kataloge) nach »ISO 27001, basierend
auf IT-Grundschutz« geboten. Die Bausteine in den
Katalogen sind sehr wertvoll bei der Umsetzung eines
Informationssicherheits-Managementsystems.
In der Planungsphase des Prozesses (PLAN-Phase) wird
das ISMS geplant. Vor allem werden hier der Anwendungsbereich und Grenzen des ISMS festgelegt und dann
von Management freigegeben. Hier wird unter anderem
eine Risikoanalyse durchgeführt. Diese ermittelt, welche
11
Systeme und Applikationen in Bezug auf die Aufrecht-
„„ 3.2 ITIL
erhaltung des Geschäftsbetriebes eines Unternehmens
von Bedeutung sind und wie hoch die Abhängigkeit von
Eine wichtige Größe bei der Planung und dem Betrieb
entsprechenden Systemen und Applikationen ist. Abge-
eines »Betriebssicheren Rechenzentrums« ist das »IT-
leitet aus den Ergebnissen werden Aussagen über den
Service-Management«. Seit Ende der 80er Jahre gibt es
Schutzbedarf getroffen und der Verfügbarkeitsanspruch
Best Practice Empfehlungen für IT-Service Management,
an entsprechende Systeme und Applikationen ermittelt.
als die Central Computer and Telecommunications Agency
der britischen Regierung (früher CCTA, heute OGC) die ers-
Die Implementierungsphase (DO-Phase) beinhaltet
ten Elemente der IT-Infrastructure Libary (ITIL) veröffent-
konkrete Maßnahmen zur Risikominimierung und Risi-
lichte. Die schriftlich niedergelegten Richtlinien reichen
koerkennungmittels eines Risikobehandlungsplanes. Die
von detaillierten Ratschlägen zu einzelnen Prozessen
ISO 27002:2008 (früher 17799) gibt als »Leitfaden für das
innerhalb der ITIL über Verfahrensregeln bis zur jetzt neu
Informationssicherheits-Management« wertvolle Hin-
erschienenen Norm ISO 20000 (früher BS 15000).
weise für die Erfüllung der in der ISO 27001 aufgeführten
»Controls/Maßnahmen«. Sie ist praktisch die Anleitung
Bei bestehenden Rechenzentren orientieren sich Kunden
zur Umsetzung der ISO 27001. Hier werden unter dem
auch an einem Service-Management-System nach ITIL.
Punkt 9 »Physische und umgebungsbezogene Sicherheit«
Dienstleistungsrechenzentren sehen sich des Öfteren
auch die Maßnahmen und Umsetzungsvorschläge für
mit Ausschreibungen konfrontiert, die im teilnehmenden
Räume und Infrastrukturen benannt. Zertifizierungen
Unternehmen ITIL voraussetzen. Zwei Kernbereiche sind
erfolgen nur auf Grund der ISO 27001 bzw. nach BSI ISO
dabei immer enthalten:
27001, basierend auf IT-Grundschutz.
„„ Service-Support
Im Rahmen eines regelmäßigen Monitorings und
„„ Service-Delivery
periodisch stattfindender Audits (CHECK-Phase) wer-
Das Regelwerk ist auf alle IT-Organisationen in allen
den implementierte Maßnahmen regelmäßig über-
Unternehmen – gleich welcher Größe – anwendbar.
prüft, um Verbesserungspotentiale abzuleiten (zum
Beispiel Monitoring-Mechanismen des Brandschutzes,
Zur schnellen Übersicht, welche Prozesse im Rechenzen-
Brandschutztests).
trum vorhanden sind und mit welchen Kennzahlen diese
überwacht werden könnten, hat der Arbeitskreis einen
12
In der vierten Phase (ACT-Phase) werden die Maßnahmen
Leitfaden »Prozesse und KPI in Rechenzentren« entwi-
umgesetzt, die im Vorfeld als Verbesserungen definiert
ckelt, der unter www.bitkom.org/rechenzentren zum
wurden.
Download zur Verfügung steht.
Leitfaden Betriebssicheres Rechenzentrum
„„ 3.3 Sarbanes Oxley Act und SAS 70
Auf internationaler Ebene wurden mögliche Konflikte des
Sarbanes-Oxley Acts mit nationalen Vorschriften disku-
Der seit Juli 2002 geltende Sarbanes Oxley Act (SOX) ist
tiert. Eine Lösung der Konflikte ist derzeit noch weitest-
ein US-Gesetz zur Verbesserung der Transparenz von
gehend ungeklärt. Es ist aber ein »Euro-SOX« in Arbeit.
Unternehmensberichterstattungen und wurde als Folge
Ausserdem ist das IDW (Institut der Wirtschaftsprüfer)
der Bilanzskandale von Unternehmen wie Enron oder
dabei, seine Vorgaben für die Prüfungsanforderungen an
Worldcom erlassen. Das Gesetz hat nicht nur Auswirkun-
Cobit 4.1 zu orientieren.
gen auf Finanzdaten, sondern fordert auch die Sicherheit
im IT-Bereich.
„„ 3.4 Bewertung der Standards
Das Gesetz gilt zunächst für alle an amerikanischen Börsen notierten Unternehmen. Aber in der Folge auch für
Die dargestellten Standards werden häufig von Kun-
Nicht-US Unternehmen, die jedoch eine an einer amerika-
den, Zertifizierungsgesellschaften, Wirtschaftsprüfern
nischen Börse notierte Mutter- oder Tochtergesellschaft
und anderen Institutionen überprüft. Man kann darü-
haben.
ber streiten, ob durch Sarbanes Oxley und SAS 70 ein
Rechenzentrum betriebssicherer wird – die in der ISO/
Im Rahmen des Sarbanes-Oxley Acts müssen Unter-
IEC 27002:2008 und ISO/IEC 27001:2005 enthaltenen
nehmensprozesse beschrieben, definiert und interne
allgemeinen Forderungen nach Maßnahmen zur Verbes-
Kontrollverfahren festgelegt werden, die das Risiko eines
serung der Sicherheit sind aber durchweg berechtigt und
falschen Bilanzausweises minimieren sollen. Die Prüfung
sinnvoll. ITIL und ISO 20000 sichern und verbessern die
von Unternehmen durch zugelassene Wirtschaftsprüfer
Prozesse im Bereich von Rechenzentren nachweislich. Bei
erfolgt dabei nach der »SAS 70« Frageliste. Diese wiede-
Öffentlichen Auftraggebern wird oft die Zertifizierung
rum basiert im Wesentlichen auf dem Regelwerk »Cobit
nach BSI verlangt – hier ist allerdings der Aufwand für
4.1« der ISACA (USA). Hat ein Unternehmen, für welches
Dokumentation und Betrieb des ISMS sehr hoch. Besser
SOX als Forderung zutrifft, zum Beispiel einzelne Sys-
ist die Kombination von ISO 27001 mit Anlehnung an
teme oder gar die gesamte IT ausgelagert (Outsourcing),
IT-Grundschutz (wo sinnvoll), also nicht die Zertifizierung
schlägt die SAS-70-Frageliste auch auf den entsprechen-
durch das BSI, Bonn.
den Provider durch, die Verantwortung bleibt immer
beim jeweiligen Auftraggeber. In diesem Fall besteht
die Möglichkeit, dass Wirtschaftsprüfer des Kunden im
Service-Rechenzentrum nach SAS 70 prüfen oder das
Rechenzentrum selbst die Prüfung durchführen lässt. Der
Bericht des Wirtschaftsprüfers darf nicht älter als sechs
Monate ab Zeitpunkt des Jahresabschlusses des Kunden
sein. Deshalb müssen SOX-Prüfungen im Wesentlichen
zweimal jährlich durchgeführt werden, was einen sehr
hohen Aufwand bedeutet.
13
4Basis der IT-Infrastruktur: Das Rack
Ob separates Rechenzentrum oder einzelner Server-
Racks in Einhausungen dar. Bei der Planung von Racks
schrank: Die Basis für eine sichere Unterbringung der
und deren Aufstellung im Rechenzentrum ist eine ausrei-
IT-Systeme bildet immer das einzelne Rack. Dabei spricht
chende Entwärmung der Komponenten erforderlich. In
man im Wesentlichen von Serverracks, Netzwerkracks
einem Rack oder einer Rackreihe ist der für die erforderli-
oder Stromversorgungs- und Stromverteilungsracks.
che Entwärmung entsprechende Luftvolumenstrom und
eine ausreichend niedrige Temperatur (als Temperaturdif-
Da die IT-Systeme in den meisten Unternehmen aus
ferenz zur gewünschten maximalen Betriebstemperatur
(weltweit) genormten 482,6mm (19«)1-Komponenten
der Komponenten), welche den Betrieb der Komponenten
bestehen, bieten skalierbare und flexible Rack-Systeme in
im gewünschten Temperaturbereich ermöglicht, aus-
dieser Bauweise die beste Wahl beim Aufbau einer tragfä-
zulegen. Die Kontrolle und Regelung der Luftfeuchtig-
higen IT-Infrastruktur. Sie gewährleistet das passgenaue
keit innerhalb eines sicheren Bereiches unterhalb der
Zusammenspiel von System- und Supportkomponenten
Taupunktgrenze, ist ebenfalls Voraussetzung für einen
wie Stromversorgung, Klimatisierung und Monitoring.
störungsfreien Betrieb.
Ob ein Unternehmen seine IT-Systeme in einem eigenen
Rechenzentrum oder als Stand-alone-Lösung in einzelnen
Auch auf ein einfach zu integrierendes Stromverteilungs-
Serverschränken unterbringt, hängt von den Anforderun-
System sollte geachtet werden, denn letztlich ist die
gen an die IT und den baulichen Voraussetzungen ab. Für
Stromversorgung die Voraussetzung für eine verfügbare
beides gelten aber z. B. gleiche Brandschutz- und weitere
IT. Eine abgesicherte Niederspannungs-Unterverteilung
Sicherheitsnormen, denn sie sollen die ITK-Systeme und –
sollte ebenfalls vorhanden sein, wie auch ein flexibles
noch wichtiger – kritische Unternehmensdaten in ihrem
Stromverteilungssystem im Rack selbst, das sowohl aus
Inneren schützen.
dem Versorgungsnetz als auch mit einer unterbrechungsfreien Stromversorgung (USV) gespeist werden kann.
„„ 4.1 Serverschrank
Moderne Lösungen bringen hier mehr als 88kW in ein
Rack. Möglich wird dies durch vier unabhängige, dreiphasige Strom-Einspeisungen, die eine sichere Stromversor-
4.1.1 Standard-Serverschrank (Rack)
gung auch bei steigenden Anforderungen garantieren.
Der moderne Serverschrank, kurz Rack genannt, sollte
Mit steigender Serverleistung und Packungsdichte im
möglichst variabel aufgebaut sein und sich jederzeit
Rack sind die Anforderungen an das Belüftungskonzept
durch flexible Modifikationsmöglichkeiten an zukünftige
wie perforierte Türen mit über 80% freier Belüftungsflä-
Anforderungen des IT-Equipments anpassen lassen. Der
che und die konsequente Abschottung zwischen Warm-
stufenweise Aufbau , der modulare Ausbau, vom Schrank
und Kaltbereichen im Rack enorm gestiegen. Weitere
zur Schrankreihe, vom einzelnen Gang zur ganzen Raum-
leistungssteigernde, energetisch optimierte Lösungen
architektur, sichert den Wert aktueller Investitionen.
können durch Kalt- bzw. Warmgangeinhausungskonzepte, die zur Racklösung gehören, umgesetzt werden. Bei
Multifunktionaler Innenausbau, hohe Tragkraft, auf das
extremen Verlustleistungen im Rack sind wassergekühlte
Rack abgestimmte Klimatisierungskonzepte stellen die
Lösungen in Form von Luft-/Wasserwärmetauschern
herausragenden Anforderungen an Schranksysteme und
unumgänglich.
1
14
Aus Gründen des Sprach- und Leseflusses wird das genormte 482,6mm-System im Folgenden 19«-System genannt. Die ebenfalls im Folgenden anzutreffende Bezeichnung Höheneinheit (HE) entspricht einer Höhe von 44,45mm (1,75«).
Leitfaden Betriebssicheres Rechenzentrum
Beides, Stromabsicherung und Klimatisierung, lassen sich
– sind folgende Eigenschaften für die durchgängige
durch in die Infrastruktur integrierbare Sensoren überwa-
Sicherheit und Verfügbarkeit der Systeme notwendig:
chen. Diese Fühler registrieren z. B. die Feuchtigkeit, die
Temperatur, aber auch die Leistungsaufnahme der Server.
Ein modernes, sensorenbasiertes Überwachungssystem
„„ gleich bleibende Temperatur und Luftfeuchtigkeit
durch eine Präzisions-Klimatisierung
übernimmt möglicherweise auch die Zugangssteuerung
und weitere Parameter gleich mit.
„„ ausreichend sichere Stromversorgung durch unterbrechungsfreie Stromversorgung (USV) und gegebenen-
Entscheidend für das Gelingen eines systemübergreifen-
falls zusätzlicher, externer Notstromversorgung
den Monitorings auf Racksebene ist die Einbeziehung
der Server und der Infrastrukturen in die Überwachung
„„ Schutz gegen Fremdzugriff durch zugriffsgeschützte
sowie eine einfach zu handhabende Bus-Verkabelung der
Verschluss-Systeme, netzwerküberwachten Rackzu-
Sensoren selbst.
gang, oder gar die biometrische Datenerfassung
Ein wichtiger Punkt bei allen Rack-Lösungen ist das
Thema Stabilität. Durch die hohe Packungsdichte moder-
„„ eine ausreichende Brandvorsorge, -detektion und
-reaktion
ner Server-Systeme und Speicherlösungen werden je
nach Einsatzfall Server-Racks mit bis zu 1.500 kg Tragkraft
„„ die Einbindung der Module bzw. der Architektur in ein
benötigt. Dementsprechend müssen auch Geräteböden,
zentrales Monitoring- und Management-System.
Gleitschienen und Snap-In Funktionen für hohe Lasten
ausgelegt sein. Bis zu 100 kg pro Boden oder 150 kg für
Gegebenenfalls ist der Doppelboden zu verstärken. Ein
spezielle Aufnahmeschienen können hier zum Tragen
weiteres wichtiges Thema sind die Möglichkeiten der
kommen.
Kabeleinführung und der internen Kabelführung. Immer
größere Datenmengen bei immer schnelleren Netzen
Die Kabelführung von Strom- und Datenkabeln sollte zur
in Verbindung mit einer Verkabelung auf Kupferbasis
Vermeidung von gegenseitiger Beeinflussung getrennt
machen empfindlich für Störeinstrahlung. Strom- und
voneinander erfolgen. Dies gilt besonders bei sehr vielen
Datenleitungen sollten daher möglichst getrennt
kupferbasierten Kabeln im Schrank.
voneinander in den sicheren Serverschrank eingeführt
4.1.2 Sicherer Serverschrank
werden.Bei der Rackauswahl sollte daher unbedingt auf
ausreichende Möglichkeiten der Kabelführung geachtet
werden.
Ein sicherer Serverschrank sollte möglichst modular aufgebaut sein. Er ermöglicht dem Unternehmen angemes-
Soll eine dreiphasige Stromabsicherung zum Einsatz
sene Sicherheit bei überschaubaren Kosten. Ein modularer
kommen, besteht die Möglichkeit, die Leistungsaufnahme
Schrank kann bei Bedarf ab- oder umgebaut werden und
mittels Motorschutzschaltern zu begrenzen, so dass
an anderer Stelle eingesetzt werden. Auch bei einem
eine tatsächliche Abnahme von theoretischen 88kW pro
Umzug hat ein solch flexibles System Vorteile bei der
Rack verhindert wird. Bei einphasiger Stromabsicherung
Standortwahl, beim Transport und der Neuaufstellung.
könnte sich eine Leistungsbegrenzung mittels Messgeräten und Schwellwerten einstellen.
Die Modularität hat ebenso eine Bedeutung für die Erweiterung bei Einhausungslösungen oder Klimatisierungs-
Für Ordnung und Übersicht sorgt eine Strukturierung
konzepten. Bei der Planung eines sicheren Serverschran-
innerhalb der Verkabelung. Eine hohe Flexibilität inner-
kes – wie auch für ein betriebssicheres Rechenzentrum
halb der Kabelführung und die konsequente Einteilung in
Funktionsstränge sind hierfür Voraussetzung.
15
Freiflächen (ungenutze Höheneinheiten) sollten mittels
„„ 4.2 Netzwerktechnik
Blechen verschlossen werden, damit die Kaltluft möglichst nur an den zu kühlenden Komponenten vorbeige-
Zu einer vollständigen Betrachtung von Rechenzentren
führt wird.
unter Sicherheitsaspekten gehört neben den Servern
4.1.3 Inventarisierung im Serverschrank
auch das Thema Netzwerktechnik. Viele Unternehmen
haben bereits ihre Telefonanlagen auf Voice over IP (VoIP)
umgestellt. Virtualisierte Clients sind der nächste Schritt.
In Rechenzentren – besonders ab einer bestimmten Größe
Damit werden immer mehr geschäftskritische Basis-
– ist es schwer, den Überblick über die vorhandenen
dienste über die Datenleitungen abgewickelt, die mit
Hardware-Komponenten zu behalten. Zwar ist es heute
Power over Ethernet (PoE) auch die Stromversorgung der
möglich, mit jedem intelligenten IT-Device zu kommuni-
Endgeräte übernehmen. Mit der wachsenden Bedeutung
zieren, aber die physische Zuordnung zum Rack und der
der Netzwerktechnik für einen störungsfreien Geschäfts-
entsprechenden Höheneinheit ist problematisch. Auch die
betrieb steigen auch hier die Sicherheitsanforderungen.
Gerätestruktur in den einzelnen Schränken mit Servern,
Lüftern, USV, etc. ist häufig nicht transparent. Vor diesem
Wie bei den Servern bildet auch bei der Netzwerktechnik
Hintergrund gestaltet sich die Inventarisierung und
das Rack die Grundlage der Unterbringung. Da die aktiven
stetige Aktualisierung der Daten über die Verteilung der
Komponenten ebenfalls in 19“ ausgeführt sind, basieren
Komponenten im Rechenzentrum aufwendig und meist
Netzwerkschränke in der Regel auf der gleichen Plattform.
auch zeitraubend. In vielen Fällen wird die vorhandene,
Auch was Stabilität, sowie Brandschutz und Zugangskont-
manuell erfasste Dokumentation nicht auf Richtigkeit
rolle angeht, herrschen hier vergleichbare Anforderungen.
überprüft. Eine korrekte Dokumentation ist aber notwen-
Da die im Gebäude verbaute Netzwerkinfrastruktur aber
dig, um gerade im Fehlerfall Entscheidungen treffen zu
in der Regel für mehr als 10 Jahre angelegt ist, empfiehlt
können.
es sich, bei der Anschaffung der Netzwerkschränke langfristig zu planen und auf Flexibilität beim Zubehör zu ach-
Ein weiteres Problem ist die »Halbwertszeit« der erho-
ten. So lassen sich auch zukünftige Entwicklungen sicher
benen Informationen: Die Erfassung und Aktualisierung
abdecken. Denn beim Innenausbau bestehen deutliche
stellt immer eine Momentaufnahme des RZ-Inventars dar.
Unterschiede zwischen den Racks.
Eine effiziente Rackbelegung und transparente Komponentenadministration bedürfen jedoch ständig aktueller
Durch das häufige Umstecken an den Anschlussstellen
und somit verlässlicher Daten.
der Netzwerkkomponenten, den sogenannten Ports, müssen die Kabel in den Netzwerkschränken deutlich häufiger
Um immer auf aktuelle Inventurdaten zurückgreifen zu
neu verlegt werden als das in Serverschränken der Fall
können, gibt es moderne Inventarisierungssysteme direkt
ist. Diese auch MACs (Moves, Adds, Changes) genannten
im Rack, um die Komponentenbestückung der 19“-Ebene
Änderungen und die steigende Portdichte lassen dem
komplett berührungslos zu erfassen.
Kabelmanagement besondere Bedeutung zukommen.
Das beginnt bei den Dachblechen und Sockeln. Einfaches
Die Darstellungen der Rackkonfigurationen stehen zum
Einführen an diesen Stellen erleichtert die Nachrüstung
einen visuell auf einer Webseite des zugehörigen Überwa-
und sorgt für kurze Kabelwege. Rangierkanäle und Füh-
chungssystems zu Verfügung, oder werden als Daten-
rungspaneele schaffen eine saubere Feinverteilung im
paket komplett an ein zentrales Managementsystem
Rack. Dabei sollte gerade beim Kabelmanagement auf die
übergeben.
Stabilität der Komponenten Wert gelegt werden. Denn
moderne stromführende Netzwerkkabel sind deutlich
schwerer und steifer als ihre Cat-5-Vorgänger.
16
Leitfaden Betriebssicheres Rechenzentrum
Ein Thema, das bei Netzwerkschränken derzeit an Bedeu-
dicht abschließendes Decke-Wand-Boden-System zum
tung gewinnt ist die Klimatisierung. Switches und Router
Schutz gegen eindringenden Rauch oder Wasser und
werden leistungsfähiger und produzieren mehr Abwärme.
eine mehrstufige Brandfrühesterkennung mit multiplen
Daher ist auch hier auf die Ausbaumöglichkeiten zu ach-
Ansaugstellen, auch im Doppelboden. Hinzu kommen die
ten. Das Spektrum reicht von passiver Klimatisierung über
entsprechend dimensionierte autarke Löschanlage mit
Dachbleche, Entlüftungsaufsätze oder doppelwandige
Überdruck- und Klimaschiebern, die personenbezogene
Gehäuse über Lüfter bis hin zu Dachkühlgeräten.
Zutrittskontrolle mittels Kartenleser oder biometrischen
Methoden und eine Überwachung der Peripherie des
„„ 4.3 Betriebssicheres Rechenzentrum
Rechenzentrums durch LAN-Videotechnik.
Für den flexiblen Ausbau von Rechenzentren ist es von
Neben den oben bereits genannten, grundsätzlichen
Vorteil, mit Planern und Lieferanten zusammenzuar-
Anforderungen an ein betriebssicheres Rechenzentrum
beiten, die eine langfristige Verfügbarkeit der Produkte
(BRZ), gibt es bei den baulichen Maßnahmen noch viele
sicherstellen können.
Projektdetails zu klären.
Als Erstes sollte eine genaue Risiko- und Schwachstellenanalyse im Unternehmen erarbeitet werden, die mögliche Gefahren für die IT-Systeme aufzeigt. Das betrifft
die Zuständigkeit für die Planung und den Bau eines
Rechenzentrums, die Zugangsberechtigungen bis hin zu
regelmäßigen Sicherheitsüberprüfungen durch unabhängige Auditoren.
In die Planung, den Bau und den Betrieb eines Rechenzentrums sind verschiedene Verantwortliche eingebunden.
Neben IT-Fachleuten sind das auch Gebäudespezialisten
wie Architekten, Bauingenieure sowie Fachplaner für
Klima, Energie oder Gefahrenabwehr, die Organisationsabteilung und nicht zuletzt die Geschäftsführung.
Die physikalischen Anforderungen an ein Rechenzentrum
bestehen nicht nur aus den reinen IT-Themen wie Anzahl
und Typ der einzusetzenden Server, Netzwerk- und Speichergeräte, sondern auch aus der Gefahrenvermeidung
und -abwehr.
Zur möglichen Ausstattung des Rechenzentrums gehört
ein modularer (weil erweiter-/ veränderbar), feuerfester, möglichst zertifizierter Sicherheitsraum. Auch der
Einsatz einer stabilen, mehrschichtigen Feuerschutztür
mit gleichen Schutzwertigkeiten wie der Sicherheitsraum ist Pflicht. Stand der Technik sind heute auch
andere Gewerke wie beispielsweise ein hermetisch
17
5Energieversorgung
„„ 5.1 Energieversorgungsunternehmen
(EVU) – Stromverteilung und Einspeisung
ins Unternehmen
5.1.1 Ausgangssituation
Eine entscheidende Bedeutung beim Betreiben von
Serverschränken oder ganzen Rechenzentren kommt der
Mögliche Ursachen für eine Unterbrechung der Stromversorgung können sein:
„„ technische Fehler in den Geräten (zum Beispiel Servern und deren Komponenten)
„„ technische Fehler in der Stromverteilung (zum Beispiel Leitungen, Unterverteilungen)
Stromversorgung zu.
„„ Fehler in den Stromersatzlösungen (zum Beispiel
Die Kette der Stromversorgung beginnt bei den Kraft-
Netzersatzanlagen auch Notstromdiesel genannt,
werken der EVU, die den Strom aus diversen Primärener-
batteriegepufferte unterbrechungsfreie Stromversor-
gieformen erzeugen. Vom Stromerzeuger wird der Strom
gungsanlagen (USV-Anlagen))
mittels Leitungen über Hochspannungsmasten zu den
Mittelspannungsstationen transportiert. Von den Mittelspannungsstationen wird der Strom oft über Erdkabel bis
„„ prozessbedingte Fehler (zum Beispiel Fehler in der
Konzeption der Stromversorgung, logistische Fehler)
zu den Transformatorstationen der verschiedenen Mittelspannungsebenen (10, 20 oder 30 kV) geführt. Transfor-
Für den Bau von Rechenzentren existieren keine vorge-
matorstationen befinden sich oft in größeren Gebäuden
fertigten Stromversorgungslösungen aus der Schublade.
sowie am Straßenrand auf speziell dafür eingerichteten
Es gibt jedoch einige Prinzipien für die Stromversorgung,
Grundstücken.
die individuell anzupassen sind. Die Herausforderung für
den Planer besteht darin, diese Prinzipien auf den Kunden,
Große Rechenzentren mit mehreren 1.000 Quadratme-
seine Wünsche und Bedürfnisse und nicht zuletzt auch
tern Rechenzentrumsfläche haben vielfach zwei Einspei-
auf sein Budget hin umzusetzen.
sungen auf der Mittelspannungsebene, so dass eine volle
Redundanz – also die mehrfache Auslegung zur Erhöhung
5.1.2 Funktionsweise der Infrastruktur
der Verfügbarkeit - sogar bis zu den Kraftwerken besteht.
Bei der Stromversorgung sind verschiedene VerkehrsBeispiele aus der Vergangenheit zeigen, wie dramatisch
wege der Leitungsnetze zu beachten. Es gibt so genannte
Situationen eskalieren können, wenn die Stromver-
Stich- und Ringleitungen. Es ist darauf zu achten, dass die
sorgung länger ausfällt und keine Stromersatzlösung
Anbindung des Gebäudes über eine Ringleitung erfolgt.
vorhanden ist. Die allgemeine Stromversorgung kann in
Diese ist an mind. zwei Mittelspannungsverteilungen
großen Gebieten für mehrere Tage zum Erliegen kommen.
angeschlossen, so dass auch bei einem Ausfall einer Seite
Anhand solcher Schadensmeldungen ist leicht verständ-
die Stromversorgung noch gesichert ist. Die Mittelspan-
lich, wie notwendig gerade in unternehmenskritischen
nung wird in den Trafostationen auf 400 V herunter
Bereichen, zum Beispiel der IT, eine autarke Stromversor-
transformiert und mittels Kabel oder Stromschienen über
gung ist.
die Niederspannungshauptverteilung und Normalnetzverteilung ins Rechenzentrum geleitet. Die NormalnetzUnterverteilung versorgt auch die unterbrechungsfreien
Stromversorgungsanlagen (USV) mit Strom.
18
Leitfaden Betriebssicheres Rechenzentrum
5.1.3 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
stark begrenzt. Sie ist abhängig von der Anzahl der vorhandenen Batterien und der zu erbringenden Leistung.
Ein Ausfall von mehr als 30 Minuten kann im Allgemeinen
Der Ausgang der USV Anlagen wird über die USV-Unter-
mit einer USV nicht überbrückt werden. In diesem Falle
verteilungen geführt und von dort aus zu den einzelnen
sollte automatisch eine funktionierende Rechner-Shut-
Serverschränken. Dafür sind z. B. im Doppelfußboden
down-Routine eingeleitet werden, die Benachrichtigun-
Abzweigdosen oder Abgangskästen vorgesehen. Von den
gen absetzt, Daten speichert, Applikationen schließt und
Abzweigungen beziehungsweise den Abgangskästen
letztendlich die Rechner ordnungsgemäß herunterfährt.
erfolgt die Versorgung mittels weiterer Leitungen bis zu
Bei der Planung ist also besonders darauf zu achten, dass
den Netzteilen (NT) der Server im Schrank. Bei nur einer
die Überbrückungszeit der USV Anlage größer ist als die
USV Anlage werden die Netzteile A und B gemeinsam ver-
Zeit, die für den Transport und Anschaltung einer mobilen
sorgt, bei zwei USV Anlagen jeweils getrennt. Das steigert
NEA anfällt. Bei obiger Konstellation werden in der Regel
die Verfügbarkeit durch eine 2 x N Versorgung.
Batterien eingesetzt.
Die Kategorie A ist zurzeit in vielen Betrieben des
Die Kategorie B bietet ein höheres Sicherheitspotential.
Mittelstandes realisiert, oftmals sogar ohne Einspeise-
Hier erfolgt die Stromversorgung bereits ab der Nieder-
möglichkeit für eine mobile Netzersatzanlage (NEA).
spannungshauptverteilung in redundanter Ausführung
Diese Variante stellt bei genauer Betrachtung jedoch
mit einer zweiten USV. Fällt ein Versorgungsweg hinter
keine wirkliche Sicherheit dar und vertraut lediglich den
der Niederspannungshauptverteilung aus, wird automa-
Stromversorgern. Immer wieder hört man die Aussage,
tisch über den zweiten, redundanten Weg versorgt. Fällt
» …. es wird schon nichts passieren. Bisher ist auch noch
die Mittelspannungseinspeisung aus, ist die Stromver-
nie etwas passiert … «. Fällt jedoch nur ein Glied aus
sorgung immer noch über die mobile Netzersatzanlage
der Versorgungskette aus, ist sofort die gesamte EVU-
sichergestellt.
Einspeisung unterbrochen und die Stromversorgung
Bei der Kategorie C kommt zusätzlich zur zweiten USV
Überbrückungszeit einer USV-Anlage ist in aller Regel
eine zweite USV-Unterverteilung hinzu. Hierdurch ist
EVU Einspeisung
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
zulässige RZ
Ausfallzeit
RZ Kategorie
muss über die USV Anlage vorgenommen werden. Die
A
Standard
12 h
B
Redundante Einspeisungen
1h
C
Redundante Einspeisungen
10 min
D
Redundante Einspeisungen von verschiedenen Umspannwerken
< 1 min
Tabelle 3: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« – EVU Einspeisung
19
bereits eine redundante Versorgung von den USV-Anlagen
Alle Elektroverteilungen müssen mit einer Eingangsab-
bis zu den Netzgeräten der Server möglich.
sicherung versehen sein. Die Größe und Ausführung der
Elektroverteilung richtet sich nach der zu verteilenden
Die Kategorie D ist das »non plus ultra«. Es existiert
Leistung, der gewünschten Anzahl von Stromkreisen und
nicht nur eine zusätzliche Redundanz über eine zweite
der Leistung pro Stromkreis. Siehe dazu untenstehende
Netzersatzanlage, sondern auch noch eine zusätzliche
Tabelle:
Einspeisung aus einer weiteren unabhängigen Mittelspannungsstation. Allerdings muss dazu fast immer die
zweite Kabelzuführung von einer anderen Mittelspannungsstation seitens des jeweiligen Energieversorger erst
hergestellt werden. Das bedeutet, dass eventuell mehrere
Kilometer Kabel neu zum Standort des Rechenzentrums
verlegt werden müssen, was sehr kostenintensiv ist und
bereits bei der Kalkulation berücksichtigt werden sollte.
Unabdingbar zum Erhalt der Verfügbarkeit ist die
Instandhaltung, das heißt, die regelmäßige Prüfung und
Übersicht der Leistungsklassen:
Phasen
Max.
Stromstärke
Max.
Leistung
1
16 A
3,6 kW
1
32 A
7,2 kW
3
16 A
11 kW
3
32 A
22 kW
Wartung der kompletten Infrastruktur durch qualifiziertes Personal sowie die Beachtung der Vorgaben und
Tabelle 4: Übersicht der Leistungsklassen
Richtlinien zum Betrieb der Anlagen.
(Weitere Kombinationen mit zwei Phasen sind ebenfalls
„„ 5.2 Stromverteilung im Unternehmen
5.2.1 Ausgangssituation
möglich, sind in Deutschland aber nicht gebräuchlich).
Idealerweise erfolgt die Absicherung innerhalb der Stromleiste selektiv, d.h. die Ausgänge werden nicht von einer
Gesamtsicherung sondern von mehreren Sicherungen
Über die Elektroverteilungen werden die Leistungen des
entweder einzeln, oder in Gruppenschaltung überwacht.
Normalnetzes, des Generators und der USV an die zu
Dadurch wird im Fehlerfall nicht die gesamte Stromleiste,
versorgenden Geräte, Anlagen und Beleuchtung weiter
sondern lediglich der betroffene Ausgang oder die jewei-
geleitet. Um eine höhere Verfügbarkeit zu gewährleisten,
lige Gruppe vom Netz getrennt. Die Sicherungen können
können auch zwei Elektroverteilungen eingesetzt werden.
sowohl als Schmelzsicherung als auch als Leitungs-
5.2.2 Funktionsweise der Infrastruktur
schutzschalter ausgeführt werden. Der typische Aufbau
in einem Schrank erfolgt normalerweise durch zwei
getrennte Stromleisten, die einen redundanten Betrieb
Bei der Elektroverteilung versorgt das Normalnetz die
der IT-Systeme ermöglichen.
Gebäudeinfrastruktur inklusive Aufzügen, Beleuchtung
– außer Sicherheitsbeleuchtungsanlagen nach VDE0108
Moderne Geräte zur Energieverteilung (PDU) verfügen
– Kompressoren in DX-Klimaanlagen (DX= direct expan-
zusätzlich über Mess- oder Schaltfunktionen sowie
sion) und Kaltwassersätzen sowie weitere Installationen.
einen Netzwerkanschluss für ein erweitertes Energiema-
Bei einem Netzausfall kommt es zu einer Unterbrechung
nagement. Zusätzlich bieten diverse Modelle noch eine
dieser Stromversorgung, bis ein vorhandener Generator
Umgebungsüberwachung mit diversen Sensoren, z. B. für
startet und durch einen automatischen Umschalter die
Temperatur- und Luftfeuchtigkeitsmessung.
Versorgung wiederherstellt.
20
Leitfaden Betriebssicheres Rechenzentrum
Da in Rechenzentren die meisten IT-Geräte in
SNMP-Überwachungs- und Managementoptionen
19“-Schränke eingebaut werden, ergibt sich die Frage, wo
sowie eine Benutzerverwaltung, die garantiert, dass nur
die Elektroverteilung positioniert werden soll und wie
autorisiertes Personal die Steckdosenleiste konfiguriert.
die Stromversorgung an die 19“-Schränke herangeführt
Diese modularen Systeme ermöglichen eine Grundaus-
werden. Elektroverteilungen gibt es als Wandeinbau- und
stattung der Racks durch eine vertikale Trägerschiene mit
Aufputzversionen sowie als separate Schränke und als
dreiphasiger Einspeisung. In diese Schiene können die ver-
in einen 19“-Schrank integrierte Ausführungen. Oft wird
schiedenen Einsteckmodule einfach eingerastet werden.
die Stromversorgung im Doppelboden geführt, der aber
Das reduziert den Verkabelungs- und Montageaufwand
gleichzeitig auch als Kaltluftführung genutzt wird. Die
maßgeblich.
Luftführung kann dann beeinträchtigt und der Zugang
zur Stromversorgung erschwert werden. Alternativ
Schließlich gibt es, z. B. für Hosting-Unternehmen, die eine
können die Stromverteilungssysteme an der Decke oder
hohe Genauigkeit der Energiekostenverteilung pro Server
den Wänden geführt werden, was eine Einführung von
(in einem Rack) darstellen müssen, seit kurzem amtlich
oben in den 19“-Schrank erfordert. Integrierte Elekt-
geeichte Steckdosenmodule. Auch für die Elektro-Unter-
roverteilungen bieten den Vorteil, bereits nahe an der
verteilung sind solche geeichten Messgeräte verfügbar.
Verwendungsstelle zu stehen und so auf kurzem Wege
die 19“-Schränke zu erreichen. Eine Kabelführung auf dem
Dach der 19“-Schränke ist möglich, soweit eine getrennte
5.2.4 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
Verlegung von Strom- und Datenkabeln vorgesehen wird.
Redundanzbildung hängt von der Anzahl der Netzteile in
Ein besonderes Augenmerk ist auf die Stromverteiler-
den IT-Geräten ab. Eine gute Voraussetzung für eine hohe
leisten in den Schränken zu legen. Durch die moderne
Verfügbarkeit sind zwei Netzteile pro Gerät, die redun-
kompakte Bauweise der Geräte können heutzutage viele
dant ausgelegt sind. Bei Ausfall eines Netzteils ist dann
Systeme in einen Schrank eingebaut werden. Im Extrem-
das verbleibende in der Lage, das IT-Gerät normal weiter
fall kann ein Schrank mit beispielsweise 42 Höheneinhei-
zu versorgen. Diese zwei Netzteile pro Gerät sollten über
ten (HE), mit 42 Servern a‘ 1 HE und je zwei Netzteilen pro
zwei getrennte Stromverteilerleisten an zwei getrennten
Server eingesetzt werden. Dafür müssen dann insgesamt
Stromkreisen von der Elektroverteilung versorgt werden.
84 Steckdosen zur Verfügung gestellt werden.
Eine weitere Steigerung der Verfügbarkeit lässt sich durch
5.2.3 Intelligente Steckdosenleisten
die Verwendung von zwei getrennten Elektroverteilungen
erreichen, die von zwei getrennten USV-Anlagen über
zwei getrennte Transformatoren und zwei getrennte
Beim Management auf Rackebene zählen besonders
Übersichtlichkeit, Ordnung und einfache Handhabung.
Idealerweise verfügen die in einem Rechenzentrum
eingesetzten Steckdosenleisten über unterschiedliche,
Generatoren versorgt werden.
5.2.5 Schutzmaßnahmen und
Hochverfügbarkeit
komfortabel austauschbare Einsteckmodule, beispielsweise für länderspezifische Systeme. In diesem Fall
In Rechenzentren werden höchste Verfügbarkeitsanforde-
haben auch international arbeitende Organisationen die
rungen gestellt. Entsprechend ist die Energieversorgung
Option, in all ihren Niederlassungen dieselben Steckdo-
nachhaltig sicherzustellen. Geradezu selbstverständlich
senleistentypen zu verwenden ohne für den Umbau der
ist die Forderung, dass die Stromversorgung des Rechen-
Systeme jeweils Fachpersonal einsetzen zu müssen. Bei
zentrums selbst und aller Bereiche im gleichen Gebäude,
aktuellen Steckdosenleisten lassen sich die Module im
zu denen Datenkabel laufen, als TN-S System2 ausgeführt
laufenden Betrieb austauschen. Solche High-End-Systeme
sein muss. Ein EMV-gerechter Aufbau des Potentialaus-
verfügen in der Regel auch über HTTP- beziehungsweise
gleiches ist zwingend erforderlich. Um einen optimalen
21
RZ Kategorie
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
zulässige RZ
Ausfallzeit
Verteilung
A
Standard, Anbindung der Server über USV- und Normalnetz empfehlenswert
12 h
B
Redundante Ausführung (A und B)
1h
C
Redundante Ausführung (A und B)
10 min
D
Redundante Ausführung (A und B)
< 1 min
Tabelle 5: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« – Verteilung
Potentialausgleich zu erreichen, ist die getrennte Ver-
Beim Personenschutz gibt es neue Anforderungen für den
wendung eines funktionstechnischen PE (FPE) und eines
zusätzlichen Schutz für Endstromkreise mit Steckdosen.
sicherheitstechnischen PE (PE) sinnvoll. Unbedingt nötig
Seit dem 01.06.2007 gilt die DIN VDE 0100-410:2007-06
für den sicheren Betrieb ist eine permanente Selbstüber-
-Schutz gegen elektrischen Schlag- für neu zu errichtende
wachung eines »sauberen« TN-S Systems (z. B. mit einer
Anlagen. Änderungen und Erweiterungen von bestehen-
Differenzstrom-Überwachung, RCM) und die Aufschal-
den Anlagen sind nach dieser Norm auszuführen.
tung der Meldungen an eine ständig besetzte Stelle,
z. B. an die Leitzentrale. Die Elektrofachkraft erkennt dann
Diese Norm schreibt für alle Steckdosen in Wechsel-
über entsprechende Meldungen den Handlungsbedarf
spannungssystemen den zusätzlichen Schutz durch
und kann durch gezielte Servicemaßnahmen Schäden
Fehlerstrom-Schutzeinrichtungen (RCDs) vor, wenn die
vermeiden.
Benutzung von Laien und zur allgemeinen Verwendung bestimmt ist. Es muss sichergestellt sein, dass
Auch für den Leitungsschutz müssen alle Elektrovertei-
das sofortige Beheben von Fehlern/Schäden durch eine
lungen mit einer Eingangsabsicherung versehen sein.
Elektrofachkraft, auch an den angeschlossenen elekt-
Die Größe und Ausführung der Elektroverteilung richtet
rischen Geräten/Verbrauchsmitteln/Betriebsmitteln,
sich nach der zu verteilenden Leistung, der gewünschten
gegeben ist. Dies erfordert ein permanentes Monitoring-
Anzahl von Stromkreisen und der Leistung pro Stromkreis
system und organisatorische Maßnahmen zur schnellen
(siehe S.20, Tabelle 4: Übersicht der Leistungsklassen).
Fehlerbehebung.
Ein besonders schwieriges Thema ist die so genannte.
»Selektive Sicherungsauslegung«, die es ermöglicht
Eine permanente Differenzstrom-Überwachung (RCM)
auch bei einem Kurz- oder Erdschluss eines IT-Gerätes in
erfüllt die aktuelle Schutzmaßnahmennorm und bietet
einem Schrank diesen sicher abzutrennen, ohne weitere
zusätzlich einen erhöhten Brandschutz, auch ohne
Schränke und IT-Geräte in Mitleidenschaft zu ziehen.
Abschaltung durch ein RCD.
2 separate Neutralleiter und Schutzleiter vom Transformator bis zu den Verbrauchsmitteln
22
Leitfaden Betriebssicheres Rechenzentrum
„„ 5.3 Unterbrechungsfreie Stromversorgung
(USV)
miteinander verbundenen Zellen spricht man von einer
Sekundärbatterie oder auch nur von einer wieder-aufladbaren Batterie. Bei Netzausfall wird die Energie des Spei-
5.3.1 Ausgangssituation
chers über einen statischen Umformer (Wechselrichter)
am Ausgang der USV-Anlage für die kritischen Verbrau-
Nicht nur ein längerer Komplettausfall, sondern schon
cher bereitgestellt. Die Überbrückungszeit wird durch
einfache Spannungsschwankungen oder Kurzausfälle
die Last und die Kapazität der Akkumulatoren bestimmt.
im Stromnetz können reichen, um Hard- oder Software
Typische Überbrückungszeiten liegen im Bereich von 10
zu schädigen oder so zu stören, dass schwere Fehler in
bis maximal 30 Minuten.
den IT-Prozessen auftreten. Unregelmäßigkeiten im Netz
sind zwar selten, aber durchaus häufiger, als gemeinhin
Die zweite Technologie ist die dynamische USV-Anlage
angenommen.
mit und ohne Hubkolbenverbrennungsmotor. Als
Energiespeicher dient je nach Bauform ein kinetischer
Um die möglichen negativen Folgen solcher kurzer Strom-
Massenspeicher oder ebenfalls eine Akkumulatorenan-
ausfälle zu vermeiden, werden USV- Systeme eingesetzt.
lage. Die dynamische USV-Anlage stellt die Energie des
Sie filtern Störungen, wie Spannungsstöße oder Span-
Speichers über einen rotierenden Umformer (Generator)
nungseinbrüche und überbrücken Unterbrechungen im
am Ausgang der USV-Anlage für die kritischen Verbrau-
Netz. Dadurch werden Übertragungsfehler, Rechnerab-
cher zur Verfügung. Bei einem kinetischen Speicher ist
stürze und Datenverluste reduziert.
die Überbrückungszeit von der Last der IT-Geräte und der
kinetischen Energie des Speichers (Masse und Geschwin-
5.3.2 Technologien von USV-Systemen
digkeit) abhängig. Sie bewegt sich im Sekundenbereich.
Für USV- Systeme werden verschiedene Technologien
Die dynamische USV-Anlage mit Verbrennungsmotor
angewendet. Die am häufigsten eingesetzte ist die der
vereint eine USV- Anlage und eine Netzersatzanlage und
statischen USV- Anlage. Als Energiespeicher kommen wie-
kann somit auch Netzausfälle über einen längeren Zeit-
deraufladbare (Sekundär-) Zellen (Akkumulatoren) zum
raum überbrücken.
Einsatz. Bei einer Verschaltung aus zwei oder mehreren
80%
70
60
Hier lauern die meisten Gefahren:
im Bereich bis zu 1 Sekunde
50
Weniger häufige Netzausfälle
40
30
20
10
0
0-10 ms
10-20 ms
Dauer von Netzausfällen
20 ms - 1s
1s - 1h
> 1h
Abbildung 1: Häufigkeit von Netzstörungen bezogen auf deren durchschnittliche Dauer
23
5.3.3 Funktionsweise
Für den Einsatz in Rechenzentren sollten grundsätzlich
statische USV- Anlagen mit der Klassifizierung »VFI« nach
Statische USV-Typen werden in drei Kategorien aufge-
EN64040-3 bzw. Diesel USV- Anlagen nach DIN 6280-12
teilt. In der europäischen Norm EN62040-3 werden die
eingesetzt werden.
Klassifizierung und die zugehörigen Bestimmungsmethoden für statische USV-Systeme definiert und beschrieben.
Statische USV-Anlagen nach dieser Klassifizierung sind im
Man unterscheidet dabei mehrere Netzstörungsarten (s.
Leistungsbereich von 10 kVA bis 1600 kVA verfügbar und
Tabelle 6 unten)
können je nach Fabrikat bis zu einer Leistung von 4800
kVA parallel geschaltet werden.
Dynamische USV-Anlagen mit und ohne Verbrennungsmotoren unterliegen der DIN 6280-12.
Diesel-USV- Anlagen sind in einer Leistung von 200 bis
1750 kVA verfügbar. Sie können den Nieder- und Mittelspannungsbereich abdecken. Sie sind vielfach parallel
schaltbar.
Netzstörungen
Zeit
EN 62040-3
USV-Lösung
Ableiter-Lösung
1. Netzausfälle
> 10 ms
VFD
Voltage + Frequency
Dependent
Klassifizierung 3
passiver StandbyBetrieb (Offline)
-
2. Spannungsschwankungen
> 16 ms
-
3. Spannungsspitzen
4 ... 16 ms
-
4. Unterspannungen
kontinuierlich
5. Überspannungen
kontinuierlich
6. Spannungsstöße
(Surge)
< 4 ms
7. Blitzeinwirkungen
sporadisch
8. Spannungsverzerrung (Burst)
periodisch
-
9. Spannungsoberschwingungen
kontinuierlich
-
10. Frequenzenschwankungen
sporadisch
-
VI *)
Voltage Independent
Klassifizierung 2
Line-InteractiveBetrieb
-
-
VFI
Voltage + Frequency
Independent
Klassifizierung
Double Conversion
Betrieb (Online)
Deltawandler
-
Blitz und Überspannungsschutz IEC
60364-5-534
Tabelle 6: Arten von Netzstörungen und die passenden USV-Lösungen nach EN62040-3 (Ref.: »Unterbrechungsfreie Stromversorgung European Guide«;
Hsgr. ZVEI 2004
24
Leitfaden Betriebssicheres Rechenzentrum
5.3.4 Grundsätzlicher Aufbau statischer
USV-Anlagen
Der Leistungsbereich von Modularblockanlagen reicht – je
Einzelblockanlagen beinhalten alle für die Funktion der
Sonderlösungen, wie ein zentraler elektronischer Bypass
Anlage erforderlichen Komponenten wie
oder eine Zentralbatterie für mehrere USV-Blöcke, werden
nach Hersteller – von ca. 10 kVA bis zu ca. 900 kVA.
nicht mehr betrachtet. Diese Sonderlösungen schränken
„„ Gleichrichter
die Redundanz ein und führen zu einem »Single Point of
„„ eigener Batteriezwischenkreis mit Batterie
Failure«.
„„ Wechselrichter
„„ elektronischer Bypass
Einschubmodulare USV-Anlagen beinhalten wie Einzel-
„„ eventuell Mechanischer Bypass
blockanlagen alle für die Funktion erforderlichen Komponenten (siehe oben). Die Funktion gleicht dem des Modu-
Diese Anlagen sind als eigenständige Einheit voll funk-
larblocksystems. Die einzelnen aktiven Komponenten
tionsfähig. Die Batterie kann bei kleineren Leistungen
(Gleich-, Wechselrichter, elektronischer Bypass, als Einheit
und kurzen Überbrückungszeiten in der Anlage integriert
oder als separate Module, zum Teil auch Batteriesätze,)
sein und bei größeren Leistungen und längerer Über-
sind jedoch in Modulbauweise gefertigt und können nach
brückungszeit in externen Batterieschränken oder auf
Bedarf ergänzt werden, ohne vorhandene Installationen
Batteriegestellen untergebracht sein. Die Absicherung
ändern zu müssen. Die Systemschränke dieser Anlagen
der Batterieanlage erfolgt über spezielle DC-Sicherungen
sind bereits vorgerüstet auf einen definierten Endaus-
oder Leistungsschalter.
bau. Alle für die möglichen Erweiterungen erforderlichen
Schnittstellen sind bereits vorgerüstet und ohne Umbau
Der Leistungsbereich von Einzelblockanlagen reicht von
nutzbar.
ca. 300 VA bis zu ca. 900 kVA.
Dementsprechend muss die Installation vor und hinter
Modularblockanlagen beinhalten alle Komponenten einer
der USV-Anlage auch auf die Leistung des Endausbaus
Einzelblockanlage und zusätzlich eine Schnittstelle zur
ausgelegt sein.
Kommunikation mit einem Modularblock des gleichen
Typs.
In der Praxis gibt es zwei Hauptgründe für den Einsatz
dieser Anlagen:
Jede dieser Anlagen ist als eigenständige Einheit voll
funktionsfähig und entspricht der einer Einzelblockan-
Diese Anlagen werden hauptsächlich eingesetzt, um
lage. Durch die Schnittstelle zur Kommunikation können
innerhalb eines Systemschrankes eine N+1 Redundanz zu
Modularblockanlagen zur Bildung einer Redundanz bzw.
schaffen. Bei Modularblockanlagen kann, um eine Redun-
zur Leistungserhöhung parallel geschaltet werden. Alle
danz zu gewährleisten, ein erheblich größeren Platzbe-
erforderlichen Parameter zum synchronen Betrieb der
darf und eine größere Investition erforderlich sein.
Wechselrichter und des elektronischen Bypasses werden
über diese Schnittstelle zwischen den parallel geschalte-
Beispiele:
ten Anlagen ausgetauscht. Je nach Hersteller können bis
zu 10 Modularblockanlagen parallel geschaltet werden.
„„ Verbraucherleistung: 64 kW
Bei der Parallelschaltung von Modularblockanlagen zur
Leistungserhöhung ist zwingend ein externer mechanischer Bypass sowie ein Kuppelschalter zur Trennung
„„ Modulare Anlage: 5 x 16 kW = 64 kW + 16 kW = 1
Anlagenschrank
des gesamten USV-Systems von den Verbrauchern
erforderlich.
25
„„ Modularblockanlage: 2 x 64 kW = 64 kW + 64 kW = 2
5.3.5 USV-Redundanz
Anlagenschränke
Folgende Redundanzen werden beim Einsatz von USV„„ Modularblockanlage: 3 x 32 kW = 64 kW + 32 kW = 3
Anlagen angewendet.
Anlagenschränke
Häufig wird im Rechenzentrum/Serverraum mit einer
N
100%
geringen Leistung gestartet. Die projektierte Endleistung
günstiger Arbeitspunkt (hoher Wirkungsgrad) durch
N+1
100%
50%
100%
Anpassung auf die Verbraucherleistung gewährleistet
50%
werden, ohne die Installation ändern zu müssen oder in
50%
Betrieb befindliche Anlagen abzuschalten. Die höheren
Kosten für diese Anlagen werden durch die Energieeinsparung in der Regel nach wenigen Jahren ausgeglichen.
Diese Anlagen sind mit Modulgrößen von ca. 4 kVA bis
N+1
50%
2(N+1)
50%
zu 200 kVA verfügbar und können - je nach eingesetzten
Anlagen können teilweise noch parallel geschaltet wersinnvoll ist. Mit steigender Anzahl von parallel geschalteten Modulen verringert sich die MTBF.
50%
50%
50%
50%
Modulen - bis 1600 KVA ausgebaut werden. Auch diese
den, was bei den meisten Anwendungsfällen jedoch nicht
100%
100%
wird in der Regel erst Jahre nach der Erstinstallation
erreicht. Mit einer einschubmodularen Anlage kann ein
2N
Abbildung 2: Redundanzen beim Einsatz von USV-Lösungen
5.3.6 Elektronischer Bypass/
Handbypass- Serviceumgehung
Je nach Hersteller werden unterschiedliche Philosophien
vertreten. Einige Hersteller benutzen für alle USV-Module
Der elektronische Bypass hat die Aufgabe, die Verbraucher
eine zentrale Batterieanlage, andere haben die Möglich-
unterbrechungsfrei vom Netz auf den Wechselrichter der
keit, jedes Modul mit einer eigenen, von den anderen
USV- Anlage (sichere Schiene) und zurück zu schalten. Bei
Modulen unabhängigen, Batterieanlage zu betreiben.
Fehlern im Wechselrichterbetrieb oder bei großen Über-
Bei einer Erweiterung einer Zentralbatterieanlage nach
lasten schaltet der elektronische Bypass die Verbraucher
mehreren Jahren kann es auf Grund unterschiedlicher
unterbrechungsfrei auf das Netz zurück. Der elektronische
Innenwiderstände zu ungleichmäßigen Ladungen / Ent-
Bypass kann je nach Ausführung in der USV- Anlage integ-
ladungen und damit zu verkürzten Überbrückungszeiten
riert (Einzelblock und Modularblock) aber auch als exter-
sowie zu einer verringerten Gebrauchsdauer kommen.
nes Bauteil (Parallelblock mit externem elektronischem
Außerdem stellt eine zentrale Batterieanlage einen »Sin-
Bypass) ausgeführt werden. Zur Bildung einer Redundanz
gle Point of Failure« dar.
(N+1) kann auch ein weiterer elektronischer Bypass parallel geschaltet werden.
Auch bei dem elektronischen Bypass setzen einige
26
Hersteller auf einen zentralen elektronischen Bypass für
Jede USV- Anlage sollte über einen Handbypass bzw.
alle Module und andere Hersteller auf einen dezentralen
eine Serviceumgehung verfügen. Über den Handbypass
Bypass je USV-Modul. Hier verhält es sich ähnlich wie bei
kann die USV- Anlage zu Wartungs- und Servicearbeiten
der Zentralbatterie. Die Verfügbarkeit wird durch den
spannungsfrei geschaltet werden. Ist der Handbypass
»Single Point of Failure« verringert.
in der Anlage integriert, liegt an den Eingangs- und
Leitfaden Betriebssicheres Rechenzentrum
Ausgangsklemmen der USV- Anlage auch im Bypass-
„„ 12 Jahre und länger – Longlife
betrieb Spannung an. Die Anlage kann nicht ohne
Abschaltung der Verbraucher getauscht werden. Beim
Um einen sicheren Betrieb der Stromversorgung zu
Einsatz eines externen Handbypasses bzw. einer Service-
gewährleisten, muss die Batterieanlage regelmäßig
umgehung kann die USV- Anlage ohne Abschaltung der
geprüft und vor dem Ende der Gebrauchsdauer ersetzt
Verbraucher getauscht werden. Bei einer Parallelschal-
werden. Weiterhin muss beachtet werden, dass die Batte-
tung von Modularblöcken oder Parallelblöcken ist der
rie während der Nutzungsdauer an Kapazität verliert. Eine
Handbypass bzw. die Serviceumgehung grundsätzlich auf
Auslegung auf sehr kurze Überbrückungszeiten birgt die
die maximale Verbraucherlast auszulegen.
Gefahr, dass die bereits gealterte Anlage die geforderte
5.3.7 Energiespeicher
Leistung nicht mehr zur Verfügung stellen kann und die
USV-Anlage abschaltet. In sicherheitsrelevanten Bereichen ist eine Überdimensionierung (Faktor 1,25) gefordert,
Kinetische Energiespeicher werden fast ausschließlich
damit am Ende der Gebrauchsdauer noch immer eine
durch die Hersteller der USV-Anlagen ausgelegt bzw.
ausreichend hohe Kapazität zur Verfügung steht.
dimensioniert. Die erzielbaren Überbrückungszeiten
liegen im Bereich von Sekunden, so dass sich der Einsatz-
Wenn bei dem USV-System auf Redundanz verzichtet
bereich auf Diesel-USV-Anlagen bzw. in Verbindung mit
wird, sollte jedoch das Batteriesystem mindestens in zwei
schnell startenden Netzersatzanlagen beschränkt.
Strängen aufgebaut werden. Die erzielbare Überbrückungszeit eines Stranges ist nur ein Teil der geplanten
Zu den elektrochemischen Speichern, die in Verbindung
Überbrückungszeit. Damit wird erreicht, dass zumindest
mit USV-Anlagen eingesetzt werden, gehören Blei- und
die Netzausfälle bis zu wenigen Sekunden abgesichert
Nickelcadmiumbatterien. Der Einsatz von Lithium-Ionen-
sind. Für hochverfügbare Rechenzentren ist das jedoch
Batterien hat sich noch nicht durchgesetzt. Nickelcad-
kein geeignetes Mittel.
miumakkumulatoren sind relativ unempfindlich gegen
der Umweltbelastung umstritten.
5.3.8 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
Der am häufigsten eingesetzte Energiespeicher in USV-
Wichtigste Auslegungsfaktoren eines USV-Systems sind
Systemen ist die Bleibatterie. Bleibatterien sind stark tem-
der elektrische Leistungsbedarf der angeschlossenen
peraturempfindlich. Niedrige Temperaturen verringern die
kritischen Verbraucher und die Aufstellungsgegebenhei-
Batteriekapazität und somit die Überbrückungszeit bzw.
ten. Für die Überbrückung von Netzausfällen muss ein
die Leistung, hohe Temperaturen verringern die Lebens-
Energiespeicher wie z. B. ein Batteriesystem (Schrank oder
dauer (auch: Gebrauchsdauer). Die optimale Umgebungs-
Gestell mit Trenn- und Sicherungseinrichtungen) oder ein
temperatur beträgt 20°C.
Schwungmassenspeicher (Flywheel) passend zur Strom-
erhöhte Umgebungstemperaturen, sind jedoch auf Grund
versorgungsumgebung geplant werden. Darüber hinaus
Je nach Technologie, Materialeinsatz und weiterer Fak-
spielen das Redundanzkonzept und die Möglichkeiten der
toren ergeben sich unterschiedliche Gebrauchsdauern
Ein- und Ausgangsversorgung eine wichtige Rolle.
von Batterieanlagen. Gemäß Eurobat bezieht sich die
Gebrauchsdauer auf eine Umgebung von 20°C und Labor-
Für den Aufbau des USV-Systems kann aus einer gan-
bedingungen. Folgende Gebrauchsdauern sind spezifiziert
zen Reihe unterschiedlicher Konzepte gewählt werden. Kleinere, einzelne USV-Geräte setzt man gern zur
„„ 3 – 5 Jahre – Standard Commercial
Absicherung weniger Server und IT-Speichersysteme
„„ 6 – 9 Jahre – General Purpose
ein. Unterschieden werden kann zwischen USV-Schrank
„„ 10 – 12 Jahre – High Performance
oder Towergerät mit integrierter Batterie oder externem
27
Batteriepack sowie einer Rackvariante für den Einbau im
Kühlwasserpumpen oder auch Kühlaggregate/Kom-
19“-Schrank. Größere USV-Systeme als Einzelblock- oder
pressoren über eine USV- Anlage zu versorgen. Anstelle
Parallelanlagen, zumeist mit externen Batterieschränken,
von Kühlaggregaten/Kompressoren kann auch über
Batteriegestellen oder Schwungmassenspeicheranlagen,
einen Speicher die benötigte Energiemenge zur Kühlung
werden meist in eigenen Betriebsräumen aufgestellt und
während der Überbrückungszeit zur Verfügung gestellt
betrieben. Hierbei bietet ein modernes wassergekühltes
werden. Erfolgt bei hohen Leistungsdichten keine Küh-
USV-System eine kostengünstige und effiziente, direkte
lung, kommt es zur Überhitzung und Abschaltung der
USV-Klimatisierung ohne besondere Raumklimatisierung.
IT- Geräte, ohne dass die ausgelegte Überbrückungszeit
Weitere Vorteile der USV-eigenen Betriebsräume sind
für einen eventuell geplanten Shutdown genutzt werden
Vermeidung von dicken Stromkabeln in Rechnerräumen,
kann.
sowie der Einbringung von Batterien als Brandlast in den
5.3.9 Besonderheiten
Rechnerraum. Die modularen USV-Systeme verbinden
Servicefreundlichkeit und die schnelle Anpassungsmöglichkeit auf sich häufig ändernde Maximalleistungsanfor-
Wichtige Projektierungsmerkmale für Dimensionierung
derungen. Allerdings sollte die Anzahl der eingesetzten
und Installation eines USV-Systems sind:
Module beachtet werden, da die Verfügbarkeit mit zuneh„„ Ausgangs-Nennleistung bei gefordertem Lastleis-
mender Komplexität der Anlage abnimmt. Beim Einsatz
tungsfaktor (heute mind. 0,95)
von USV-Systemen in Serverschränken oder als eigenes
USV-Rack in gemeinsamen Räumen mit IT-Equipment
„„ Anschlussgrößen wie Eingangs- und Ausgangs-/-
muss bei den Alarm- und Brandschutzeinrichtungen die
Spannung, -Frequenz
zusätzliche Brandlast durch die Akkus berücksichtigt
werden.
„„ Ströme, Leiterquerschnitte und Anschlussmöglichkeiten für Ein- und Ausgänge der USV
Je nach Energiedichte und gewählter Überbrü-
A
USV
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
Standard, mind. 10 Minuten Überbrückungszeit (inkl. Ventilation), Minimaldauer abhängig von der kontrollierten
Shutdownzeit der Server
Standard, mind. 10 Minuten
Überbrückungszeit, Minimaldauer
abhängig von der kontrollierten Shutdownzeit der Server
12 h
B
Redundant (N+1), mind. 10 Minuten Überbrückungszeit
1h
C
Redundant (2N), mind. 10 Minuten Überbrückungszeit
10 min
D
Redundant 2 (N+1), mind. 10 Minuten Überbrückungszeit
< 1 min
Tabelle 7: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« – USV
28
zulässige RZ
Ausfallzeit
RZ Kategorie
ckungszeit kann es erforderlich sein, Lüftungsgeräte,
Leitfaden Betriebssicheres Rechenzentrum
„„ Wirkungsgrad und Verlustleistung für die unter-
„„ die Beachtung des Eingangs-Leistungsfaktors für die
schiedlichen Lastverhältnisse während typischer
Dimensionierung eines Notstromaggregats. Dabei
Betriebszyklen (z. B. Tag/Nacht, Werktag/Wochen-
sollte der Betrieb über USV-Leistungselektronik und
ende), Beachtung der Energieeffizienzen
der Betrieb über den Bypass beachtet werden
„„ Angaben zur Absicherung der USV für die verschiedenen Betriebsmodi
„„ der Einfluss des USV-Ausgangsleistungsfaktors auf
die Möglichkeiten moderne Schaltnetzteile auch bei
voller Beanspruchung zu versorgen
„„ Rückwirkungen auf den Netzeingang und EingangsLeistungsfaktor. Allerdings müssen auch die Rückwirkungen der angeschlossenen Last bei Bypassbetrieb
„„ die Leistungsbeschränkung bei Betrieb in großen
Höhen
der USV berücksichtigt werden
„„ die Effizienz über einen typischen Betriebszyklus
„„ verfügbare Überbrückungszeit einer Batterieanlage,
bzw. Schwungmassenspeichers, bei tatsächlicher Last
„„ maximal verfügbare Überbrückungszeit einer
(Auslastungsschwankungen) zu berücksichtigen, um
realistische Betriebskostenabschätzungen zu erhalten
Der Preis einer USV hängt ab von Ausstattungsdetails
Batterieanlage, bzw. Schwungmassenspeichers, bei
wie Filter, Transformatoren, Lüfter, elektronischem Bypass,
Nennlast
integrierter oder externer Handumgehung, unterschiedlichen Schaltungskonzepten. Eine Preiskalkulation von
„„ Angaben zum Energiespeicher und zum Lade-/
Entladeverhalten
Best-practice-Lösungen ist für USV-Systeme sehr komplex
und erfordert eine aufwändige Analyse der Gegebenheiten, Randbedingungen, Abhängigkeiten und die Berück-
„„ zulässige Umgebungsparameter wie Betriebstem-
sichtigung einer Vielzahl von Einzelparametern.
peratur und Luftfeuchtigkeit; realisierter Schutzgrad;
Anforderungen an Brandschutz und Klimatisierung
„„ Geräuschentwicklung
„„ Schutz zur elektromagnetischen Verträglichkeit (EMV)
„„ 5.4 Notstrom
5.4.1 Stromerzeugungsaggregate für die
Ersatzstromversorgung (Notstrom) bei
Netzausfall
„„ Abmessungen und Gewichte
Eine störungsfreie Versorgung mit elektrischer Energie
Eine genaue Analyse der einzelnen Merkmale kann
wird durch Stromlieferanten nicht jederzeit und an jedem
nicht Ziel des Leitfadens sein, da die Gegebenheiten bei
Standort gewährleistet und in ihren Standardverträgen
der RZ-Stromversorgung stets eine detaillierte Planung
schließen die Energieversorgungsunternehmen jegliche
erforderlich machen. Einige Abhängigkeiten seien hier
Haftung aus. Kurze Unterbrechungen oder lang anhal-
exemplarisch erwähnt:
tende Stromausfälle müssen deshalb durch Notstromanlagen überbrückt werden, um den Betrieb eines Rechen-
„„ die Bedeutung der angeschlossenen Batterie/
Schwungmassenspeicher für die Überbrückungszeit
zentrums mit den dazugehörigen technischen Anlagen
wie Klima, Strom und Sicherheit aufrecht zu halten.
bei Netzausfall, wenn ein Notstromaggregat verfügbar ist
29
Zulässige Ausfallzeiten haben bei der Planung von Not-
Dieselmotor, Schwungrad, elektrischer Maschine und
stromanlagen höchste Priorität. Entsprechend werden
entsprechenden Kupplungen.
Notstromaggregate in verschiedenen Gruppen unterteilt:
Bereitschaftsaggregate werden immer dann benötigt,
„„ Aggregate ohne geforderte Lastübernahmezeit. Die
wenn eine Unterbrechungszeit, wie sie durch den Einsatz
Anlagen werden manuell in Betrieb gesetzt. Diese
einfacher Ersatzstromaggregate verursacht würde, für die
Anlagen sind für einen automatischen Betrieb im
sichere Weiterführung des Betriebsablaufs beim Verbrau-
Rechenzentrumsbereich ungeeignet.
cher nicht vertretbar wäre.
„„ Aggregate für eine zu fordernde Lastübernahmezeit.
Am häufigsten kommen die – an zweiter Stelle genann-
Dabei handelt es sich um eine Unterbrechung, die
ten – Anlagen mit einer zu fordernden Lastübernahme-
kleiner als 15 Sekunden sein muss, bis das Aggregat
zeit im Rechenzentrum zum Einsatz. Die nachfolgenden
nach automatischer Inbetriebsetzung die Versorgung
Ausführungen beziehen sich auf diese Anlagen
übernimmt. Eine DIN-Norm regelt die Anforderungen für Stromerzeugungsaggregate mit Verbren-
5.4.3 Auslegung der Notstromanlage
nungsmotoren für Sicherheitsstromversorgungen
in Krankenhäusern und in baulichen Anlagen für Men-
Für die Auslegung der Aggregatleistung sind folgende
schenansammlungen. Diese Norm sollte auch als Min-
Faktoren bestimmend:
destanforderungen für Stromerzeugungsaggregate
im Bereich von Rechenzentren angesehen werden.
„„ Aggregate mit Kurzunterbrechung als Schaltbereit-
„„ Summe der angeschlossenen Verbraucher
„„ Gleichzeitigkeitsfaktor
schaftsaggregate. Dabei geht es um eine Unterbrechungsdauer, die kleiner als eine Sekunde sein soll.
Diese Anlagen werden in Rechenzentren nicht mehr
„„ Einschaltströme und der Einschalt- cos phi der
Verbraucher
eingesetzt, da eine Unterbrechungsdauer von weniger
als eine Sekunde nicht erforderlich ist.
„„ Netzrückwirkungen der Verbraucher (Gleichrichtertechnologie der USV-Anlagen bzw.
„„ Aggregate für unterbrechungsfreie Stromversorgung
Frequenzumformer)
als Diesel-USV-Anlagen. Hierbei erfolgt die Lastübernahme bei Netzausfall ohne Unterbrechung.
„„ zulässiges dynamisches Verhalten
5.4.2 Notstromversorgungen
„„ Reserve für Erweiterungen
In den beiden letzten Fällen sind Sonderausführun-
„„ Zuschlag für abweichende Umgebungsbedingungen
gen von Stromerzeugungsaggregaten notwendig, die
als Bereitschaftsaggregat mit einem Energiespeicher
Verbraucherleistung
versehen sind. Dieser muss fortlaufend gespeist werden.
Bei der Addition der Verbraucherleistung ist darauf zu
Mit den dafür entstehenden Betriebskosten bezahlt der
achten, dass Scheinleistung und Wirkleistung anzugeben
Verbraucher seine erhöhte Versorgungssicherheit.
sind.
Für Bereitschaftsaggregate gibt es verschiedene Aus-
Gleichzeitigkeitsfaktor
führungsversionen in der Kombination zwischen
Die Aggregatleistung ist bei Rechenzentren mit dem
Gleichzeitigkeitsfaktor 1 auszulegen, da sommers wie
30
Leitfaden Betriebssicheres Rechenzentrum
winters alle Verbraucher den Betrieb des Rechenzentrums
Umgebungsbedingungen
aufrechterhalten müssen.
Die Motorbezugstemperatur liegt gemäß DIN 6271 bei 27°
C. Handelt es sich um höhere Betriebstemperaturen, muss
Einschaltverhalten
der Motor größer dimensioniert werden. Die Reduktions-
Das Anlauf- und Einschaltverhalten von Elektromoto-
faktoren der Motoren sind zu erfragen.
ren, Transformatoren, großen Beleuchtungsanlagen mit
Glühlampen beeinflussen die Aggregatleistung. Bei Asynchronmotoren kann die Scheinleistung die bis zu 6-fache,
die Wirkleistung die 2-3-fache Nennleistung erreichen.
5.4.4 Empfohlene Notstromversorgung
in Abhängigkeit zu den zulässigen
Ausfallzeiten
Die Möglichkeit einer zeitlich gestaffelten Zuschaltung
kann die erforderliche Aggregatleistung deutlich verrin-
Es besteht die Möglichkeit, Leihaggregate von den jewei-
gern. Alle verfügbaren Maßnahmen zur Begrenzung der
ligen Energieversorgungsunternehmen zu beziehen, die
Anlaufleistung sollten ausgeschöpft werden.
über einen Außenanschluss bei Wartungen und Reparaturen die Notstromversorgung gewährleisten. Für unvorher-
Dynamisches Verhalten
gesehene Stromausfälle sind Leihaggregate keine Lösung,
Das dynamische Verhalten des Aggregats bei voller
da nicht sichergestellt ist, dass zum entsprechenden
Lastzuschaltung und bei zu erwartenden Lastwechseln
Zeitpunkt Leihgeräte überhaupt zur Verfügung stehen.
im Betrieb ist auf die zulässigen Werte der Verbraucher
eine Überdimensionierung von Motor, Generator oder
Raumplanung/Detailplanung für
Notstromaggregate
beider erfordern.
Für die Raumplanung/Detailplanung sind folgende
abzustimmen. Die Erfüllung der geforderten Werte kann
Notstrom
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
zulässige RZ
Ausfallzeit
RZ Kategorie
Punkte zu berücksichtigen:
A
optional
12 h
B
Verfügbarkeit in 15 Sekunden, Brennstoffvorrat: 24 Stunden
1h
C
Redundant, Verfügbarkeit in 15 Sekunden, Brennstoffvorrat: 72 Stunden
10 min
D
Notstromaggregat pro Versorgungspfad, optional redundant, Verfügbarkeit in 15
Sekunden, Brennstoffvorrat mind. 72 Stunden, Betankungsmanagement, optinal
Kraftstoffreinigungsanlage
< 1 min
Tabelle 8: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« - Notstrom
31
„„ einzuhaltende Vorschriften (DIN VDE, VDS, WHG, TA
Lärm, TA Luft, VAws, TRbF, VDN…)
Funktion der Anlage sowie der Betriebssicherheit und
dem Umweltschutz. Von den genehmigenden Behörden
können auch noch weitere Auflagen und Forderungen
„„ grundsätzlicher Aggregataufbau / Aggregataus-
erhoben werden. Grundsätzlich sollte der Dialog mit den
führung (stationäres Einbau-, Container- oder
Behörden schon frühzeitig während der Planungsphase
Haubenaggregat)
gesucht werden.
„„ Auslegung der Tankanlage (Tagestank und
Vorratstank)
Eine besondere Bedeutung hat der Lärmschutz. Nachstehend aufgeführt sind Daueremissionsrichtwerte für
Emissionsorte außerhalb von Gebäuden.
„„ Auslegung der Abgasanlage
„„ Motorkühlung (Vorbaukühler, Tischkühler und Einsatz
von Wärmetauschern)
„„ Notstromsteuerung/Schaltanlagen
„„ Immissionsschutz
Grundsätzliche Raumanforderungen
Der Raum für die Aufstellung eines Notstromaggregates ist ein elektrotechnischer Betriebsraum. Er ist in F90
Qualität zu schützen und stellt einen eigenen Brandabschnitt dar. Zur Zuführung der Kühl- und Verbrennungsluft sowie zur Abführung der erwärmten Kühlluft sind
entsprechende Lüftungsöffnungen vorzusehen. Diese
Öffnungen müssen direkt nach außen führen. Auf Grund
Industriegebiet
70 dB(A)
Gewerbegebiet
tags 65 dB(A)
nachts 50 dB(A)
Kern-, Dorf- und
Mischgebiete
tags 60 dB(A)
nachts 45 dB(A)
Wohn- und
Kleinsiedlungsgebiete
tags 55 dB(A)
nachts 40 dB(A)
Reine
Wohngebiete
tags 50 dB(A)
nachts 35 dB(A)
Kurgebiete
für Krankenhäuser /
Pflegeanstalten
tags 45 dB(A)
nachts 35 dB(A)
der erforderlichen Lüftungsquerschnitte sind Räume ohne
Außenwände ungeeignet. Gegebenenfalls müssen Lüftungskanäle in F90 Qualität geschaffen werden die direkt
Tabelle 9: Daueremissionsrichtwerte für Emissionsorte außerhalb von
Gebäuden
nach außen führen. Zur Vermeidung von Luftkurzschlüssen dürfen Zu- und Abluftöffnung nicht unmittelbar
Beurteilt wird der Restschallpegel in einer entsprechen-
nebeneinander angeordnet werden. Der Aggregatraum
den Entfernung, nicht am Emissionsort.
muss gegen Hochwasser und zum Umweltschutz als
Auffangwanne ausgebildet sein mit einer umlaufenden
Grundsätzlicher Aggregateaufbau/Ausführung
Schwelle von 10 cm mit 3-fach ölfestem Anstrich. Diese
Bei Aggregataufbau /Ausführung gibt es drei Möglich-
Wanne muss auf Leckage überwacht werden. Die Raum-
keiten. Bei einem Einbauaggregat wird die komplette
größe muss einen Fluchtweg von 1m Breite zulassen, die
Anlage im Gebäude installiert. Schnittstellen nach außen
Raumtüren sind mindestens in T30 Qualität mit einem
stellen die Zu- und Abluftöffnungen, die Abgasanlage und
Panikschloss auszuführen.
eventuell ein außen liegender Tischkühler dar. In dieser
Ausführung sind Leistungen im Bereich von weinigen
32
Einzuhaltende Vorschriften
kVA bis weit in den MVA Bereich möglich. Ein Container-
Die aufgeführten Vorschriften und Gesetze dienen
aggregat kommt häufig zum Einsatz, wenn im Gebäude
einerseits zur Sicherstellung der ordnungsgemäßen
nur ungenügende Platzverhältnisse vorhanden sind
Leitfaden Betriebssicheres Rechenzentrum
oder andere Umstände gegen den Einsatz im Gebäude
in der platzsparenden Ausführung. Ein Nachteil ist die
sprechen. Wie bei einem stationären Einbauaggregat sind
nicht ganz einfache Zugänglichkeit aller Anlagenteile im
Leistungen im Bereich von weinigen kVA bis weit in den
Wartungs- oder Störungsfall. Die folgenden Abbildungen
MVA Bereich möglich. Als dritte Ausführung gibt es Hau-
zeigen Netzersatzanlagen im Gebäude und im Container.
benaggregate. Ihr Einsatz erfolgt meistens bei Leistungen
von wenigen kVA bis zu einigen hundert kVA. Vorteil liegt
Auslegung Tankanlage
Grundvoraussetzung für die Bestimmung der Tankgröße
ist die erforderliche Betriebszeit sowie die Leistung der
Anlage. Eine Kraftstoffmenge unter 5000 Liter kann im
Abgassystem
Aggregateraum gelagert werden. Werden mehr als 5000
Liter benötigt ist ein separater Lagerraum in F90 Qualität
Schaltanlage
bzw. ein Tank für die oberirdische Lagerung außerhalb des
Gebäudes oder ein Erdtank vorzusehen. Der Tagestank
wird als einwandiger Tank mit Auffangwanne ausgeführt. Er ist so zu montieren, dass ein statischer Druck am
Einspritzsystem des Motors anliegt. Der Lagertank ist als
doppelwandiger Tank auszuführen bzw. ist der Lagerraum
als Auffangwanne für den gesamten Inhalt auszubilden.
Abluftstrecke Machinensatz Batterien Zuluftstrecke
Abbildung 3: Netzersatzanlage im Gebäude
Sind zwischen dem Tagestank und dem Vorratstank Kraftstoffleitungen vorgesehen, die nicht auf der kompletten
Länge eingesehen werden können, so sind diese doppelwandig auszuführen. Die doppelwandigen Leitungen, die
Auffangwannen sowie Hülle bei doppelwandigen Tanks
sind auf Leckage zu überwachen.
Durch den vermehrten Einsatz von Biokraftstoffen kann
es vorkommen, dass Pilze und Mikroorganismen den
Kraftstoff in seiner Zusammensetzung verändern und
unbrauchbar machen. Ein Totalausfall der Stromversorgung ist nicht unwahrscheinlich. Durch geeignete
Kraftstofffiltersysteme können diese Pilze und Mikroorganismen zum größten Teil entfernt werden und es besteht
die Möglichkeit, die Qualität des Dieselkraftstoffes über
einen längeren Zeitraum stabil zu halten. Positiv auf die
Lagerfähigkeit von Kraftstoffen wirkt sich eine gleichmäßig niedrige Temperatur ohne große jahreszeitliche
Schwankungen aus, wie sie bei Vorratstankanlagen im
Erdreich anzutreffen sind.
Grundsätzlich ist zu beachten, dass nur ein vom Motorhersteller spezifizierter Kraftstoff eingesetzt werden
darf. Die meisten Hersteller beziehen sich auf die EN 590.
Heizöl erfüllt die Forderung der EN 590 in der Regel nicht.
Abbildung 4: Netzersatzanlage im Container
33
Auslegung Abgasanlage
Kraftstoffpumpen, Magnetventile, Leckagesonden,
Die Nennweite der Abgasanlage richtet sich nach der
Rohrbegleitheizungen, Kühlwasservorwärmung, Star-
Nennleistung des Notstromaggregates, der geplanten
terbatterieladung, Steuerbatterieladung usw.
Rohrleitungslänge, der Anzahl und Art der Richtungsänderungen sowie der geforderten Schalldämpfung. Abgasanlagen von Notstromaggregaten sind Drucksysteme und
„„ Verwaltung der erforderlichen Netz- und Generatorkuppelschalter für den automatischen Betrieb
erreichen Temperaturen von bis zu 500°C. Sie sind so zu
dämmen, dass jegliche Gefahr für Personen und Sach-
„„ Ladung und Überwachung der Batterie
werte ausgeschlossen ist.
Beim Leistungsteil gibt es folgende Möglichkeiten:
Auslegung Motorkühlung
Bis zu einem Leistungsbereich von ca. 1150 kVA ist eine
Motorkühlung mittels Vorbaukühler möglich. Das
„„ Netz- und Generatorschalter befinden sich in der
Notstromsteuerung
bedeutet, dass die komplette Kühlluft durch den Aggregateraum geführt werden muss. Ab einer Leistung von ca.
„„ Der Netzschalter befindet sich in der Niederspan-
800 kVA besteht die Möglichkeit, einen Teil der Motor-
nungshauptverteilung, der Generatorschalter in der
wärme über einen Tischkühler abzuführen. In diesem Fall
Notstromsteuerung.
verringert sich die Kühlluftmenge, die durch den Aggregateraum geführt werden muss. Ist der Höhenunterschied
„„ Der Netz- und der Generatorschalter befindet sich
zwischen Dieselmotor und Tischkühler größer 10 m, ist
in der Niederspannungshauptverteilung, die Über-
der Einsatz eines Wärmetauschers zur Verringerung des
wachung des Generatornetzes erfolgt über externe
Druckes auf den Kühlkreislauf des Motors erforderlich.
Spannungsabgriffe, der Generatorschutz wird über
Sternpunktwandler realisiert.
Auslegung Notstromsteuerung/Schaltanlagen
Jedes Aggregat verfügt mindestens über eine Notstrom-
Ein beispielhaftes Versorgungsschema sieht wie folgt aus:
steuerung. Die Notstromsteuerung übernimmt folgende
Aufgaben:
„„ Überwachung des Versorgungsnetzes unter Berücksichtigung der zulässigen Toleranzen
„„ Kommunikation mit dem Motormanagement/
Motorregler
„„ Start und Stillsetzung des Dieselmotors
„„ Überwachung des Generatornetzes unter Berücksichtigung der zulässigen Toleranzen
„„ Überwachung der Motorparameter und Regelung der
erforderlichen Parameter
„„ Verwaltung und Steuerung der erforderlichen Hilfsantriebe (Motorjalousien, Zu- und Abluftventilatoren,
34
Abbildung 5: Netzüberwachung / Netzumschaltung
Leitfaden Betriebssicheres Rechenzentrum
„„ 5.5Wartung/Instandhaltung
5.5.1 Wartung/Service USV-Anlagen
erreicht werden. Als Last kann, wenn vorhanden, ein fest
installierter Widerstand dienen, der im Notstromfall die
zu versorgenden Verbraucher oder das vorhandene Netz
mittels Netzparallelbetrieb versorgt. Letzteres bedarf
Grundvoraussetzung für die Aufrechterhaltung der
allerdings der Zustimmung und Abnahme seitens des
ordnungsgemäßen Funktion ist die Wartung gemäß den
Energieversorgungsunternehmens.
Vorgaben des Herstellers durch dafür vom Hersteller
autorisiertes Fachpersonal. Verschleißteile müssen gemäß
Wie auch bei der USV-Anlage sollte die personelle und
Herstellerangaben vor Ablauf Ihrer Gebrauchsdauer
zeitliche Verfügbarkeit von entsprechendem Fachpersonal
erneuert werden.
zur Beseitigung von Störungen berücksichtigt werden.
Auf Grund der häufig eingesetzten, wartungsfrei ver-
5.5.3 Wartung / Prüfung Elektroinstallation
schlossenen Bleibatterien wird auf deren Wartung ein
nicht so großes Augenmerk gelegt. Die Bezeichnung
Entsprechend den gültigen Vorschriften (VDE 0105) sowie
»wartungsfrei« bezieht sich jedoch auf das Innere der
der Vorschriften der Berufsgenossenschaft müssen elek-
Batterie. Das bedeutet, dass kein destilliertes Wasser
trische Anlagen in regelmäßigen Abständen geprüft und
aufgefüllt werden muss. Jedoch müssen sämtliche
gewartet werden. Dafür sind die Anlagen ggf. spannungs-
Verbindungen und die Polschrauben auf das entspre-
frei zu schalten und entsprechende wiederkehrende Mes-
chende Drehmoment geprüft werden. Die Spannungen
sungen und Prüfungen durchzuführen. Ggf. sollte eine
der einzelnen Batterien sind in Ladeerhaltung und in der
A/B-Versorgung bereits bei der Planung der Infrastruktur
Entladephase aufzunehmen und zu protokollieren. Nur
in Erwägung gezogen werden. Somit besteht die Möglich-
anhand dieser Daten kann der Zustand der Batterie beur-
keit der entsprechenden Freischaltung und Prüfung.
teilt/bewertet werden. Ebenso wichtig ist die regelmäßige Reinigung der Batterieanlage, um Kriechströme bzw.
Kurzschlüsse zu vermeiden.
Ein nicht zu vernachlässigender Sicherheitsaspekt im
Störungsfall ist die personelle und zeitliche Verfügbarkeit
von entsprechendem Fachpersonal zur Beseitigung von
Störungen.
5.5.2 Wartung/Service/Probeläufe
Netzersatzanlage
Grundvoraussetzung für die Aufrechterhaltung der
ordnungsgemäßen Funktion einer Netzersatzanlage ist
deren Wartung gemäß den Vorgaben des Herstellers
durch dafür vom Hersteller autorisiertes Fachpersonal
sowie die monatlichen Probeläufe. Diese monatlichen
Probeläufe müssen zur Sicherstellung der ordnungsgemäßen Funktion mit 50% der Nennlast mindestens
eine Stunde dauern und können bei entsprechender
Einweisung auch durch den Betreiber selbst durchgeführt
werden. Die Betriebstemperatur der Anlage muss dabei
35
6Klimatisierung
„„ 6.1 Anforderungen
im klassischen EDV Rechenzentrum eingeführte Doppelboden zeigt sich allerdings den heutigen teils extrem
Die Klimatisierung von ITK-Systemen ist ein wesentliches
hohen Anforderungen zum Teil nicht mehr gewachsen.
Kriterium für deren Verfügbarkeit und Betriebssicherheit.
Für diese hohen Wärmelasten wurde in den vergangenen
Die steigende Integration und Packungsdichte bei Prozes-
Jahren die Doppelbodenklimatisierung optimiert und
soren und ITK-Systemen verursacht Abwärmemengen,
darüber hinaus verschiedene sogenannte High-Density-
die noch vor wenigen Jahren auf so begrenztem Raum
Klimalösungen entwickelt.
unvorstellbar waren. Dieser Trend wird sich auch zukünftig weiter fortsetzen.
6.1.1 Einhaltung von ITKBetriebsbedingungen
Nachdem über Jahrzehnte eine Kälteleistung von 1 bis 3
kW pro 19“-Schrank ausreichend war, hat sich im vergan-
Die Anforderungen für die Klimatisierung von EDV-Räu-
genen Jahrzehnt die Wärmelast pro Rack stark erhöht.
men lagen in der Vergangenheit bei einer Raumtempera-
Moderne IT-Geräte können in einem 19«-Schrank mit 42
tur von ca. 21°C ± 1K und etwa 50% ± 5% relative Feuchte
Höheneinheiten über 30 kW elektrische Leistung aufneh-
(r.F.). Da heute Racks überwiegend entsprechend dem
men und somit auch über 30 kW Wärme abgeben. Ein
Kaltgang/Warmgang-Prinzip aufgestellt werden, trifft
weiterer Anstieg ist durch die weiter steigende Leistungs-
man heute keine Raumtemperaturanforderungen im
fähigkeit bei sinkender Baugröße absehbar.
herkömmlichen Sinne mehr an. Man spricht daher heute
nicht mehr von einer Raumtemperatur, sondern von
Die wichtigste Anforderung an das Klimasystem ist
Zuluft- und Abluftbedingungen.
die Funktion »Kühlen«: Jedes Kilowatt (kW) elektrische
Leistung, das von ITK-Geräten aufgenommen wird, wird
Die für die Klimatisierung wesentlichen Anforderungen
als Wärme wieder freigesetzt. Diese Wärme muss aus
betreffen die Zulufttemperatur, die Ablufttemperatur ist
dem ITK Equipment, dem Schrank, dem Raum und dem
für den sicheren Betrieb der ITK-Systeme nicht relevant.
Gebäude abgeführt werden, um die Betriebstemperatu-
Der empfohlene Bereich für Zuluftbedingungen im Kalt-
ren konstant zu halten. Da praktisch alle derzeit einge-
gang ist heute sehr weit gefasst und liegt bei 18 bis 27°C
setzte ITK-Systeme luftgekühlt sind, besteht die Aufgabe
Temperatur sowie einer Feuchte zwischen 5,5°C Taupunkt
darin ausreichende Mengen kalter Luft bereitzustellen
und max. 60% r.F / 15°C Taupunkt (gem. ASHRAE TC9.9 –
und die entsprechenden Mengen erwärmter Luft abzu-
2011). Der kurzfristig erlaubte Bereich ist noch wesentlich
führen. Weitere Funktionen der Klimasysteme sind »Fil-
weiter gefasst.
tern«, »Nachheizen«, »Befeuchten« und »Entfeuchten«
der Luft, um die Anforderungen an die Lufttemperaturen
6.1.2 Einzusetzende Klimatechnik
und Luftfeuchtigkeit erfüllen zu können
Die optimalen Bedingungen im Hinblick auf Temperatur
36
Im Markt sind unterschiedliche Klimatisierungslösungen,
und relative Luftfeuchte lassen sich nur mit Umluft-
je nach Wärmeleistung des ITK Equipments – also der zu
klimageräten, sogenannten Präzisionsklimageräten,
erwartenden Abwärme – verfügbar. Nach Messungen und
erreichen. Nur diese Systeme sind auf durchgehenden
Erfahrungen aus der Praxis lassen sich bis zu etwa 8 kW
24/7-Betrieb ausgelegt und setzen die eingesetzte
Verlustleistung in einem Rack oder Gehäuse noch mit der
Energie effizient ein, d.h. in erster Linie für die Kühlung
klassischen Doppelbodenklimatisierung beherrschen, wie
der Rückluft (Temperaturabsenkung = sensible Kühlung).
sie in fast allen Rechenzentren nach wie vor existiert. Der
Eine weitere Anforderung an die Klimatechnik stellt der
Leitfaden Betriebssicheres Rechenzentrum
ganzjährige Betrieb dar. Die Außeneinheiten müssen die
Energiekosten, die den wesentlichen Teil der Betriebskos-
Wärme ganzjährig bei den am Standort zu erwartenden
ten darstellen, in der Regel über den Investitionskosten
Außentemperaturen abführen. Als Auslegungsparameter
und stellen somit das wesentliche Entscheidungskrite-
ist hier die maximal am Standort zu erwartende Außen-
rium dar.
temperatur anzusetzen.
Um die Energiekosten zu minimieren, sind einige GrundIm Gegensatz dazu stehen Komfortklimageräte für Wohn-
prinzipien zu beachten:
und Büroräume, wie z. B. Split- oder Multisplitklimageräte,
die einen großen Teil der eingesetzten Energie perma-
„„ optimierte Betriebsbedingungen (möglichst hohe
nent für die Entfeuchtung der Umluft einsetzen (Absen-
Temperaturen für die Zuluft und somit auch für den
kung der Luftfeuchtigkeit = latente Kühlung). Dadurch
Kaltwasser-/Kühlwasserkreislauf)
kommt es zu kritischen Raumbedingungen, aber auch zu
erheblich höheren Betriebskosten. Daher ist ein Einsatz in
„„ Nutzung von direkter oder indirekter Freier Kühlung
Rechenzentren und ITK Räumen von Komfortklimageräten nicht wirtschaftlich.
6.1.3 Redundanz
Alle technischen Systeme können ausfallen – auch
Klimageräte. Aufgrund der zahlreichen elektromecha-
„„ energieeffiziente Geräte und Komponenten ( Lüfter
mit EC-Antrieben, leistungsgeregelte Kompressoren
mit hohem COP, …)
„„ Dimensionierung und möglichst modulare Ausführung der Teilsysteme (Umluftklima, Kälteerzeugung)
nischen Komponenten in Klimatisierungssystemen
ist daher stets mit einer Ausfallwahrscheinlichkeit zu
rechnen. Aus diesem Grund werden je nach Verfügbar-
„„ integrierte Regelung aller Teilsysteme, dynamisch der
schwankenden ITK-Last automatisch nachregelnd
keitsanforderung in den meisten Teilsystemen ein oder
mehrere zusätzliche, redundante Geräte installiert als
Mehrkosten bei der Investition werden sich aufgrund der
nach Wärmelastaufkommen mindestens notwendig
deutlich reduzierten Betriebskosten in einem kurz- bis
sind. Diese Redundanzgeräte stellen bei Ausfällen die
mittelfristigen Zeitraum amortisieren.
Erzeugung der Kälteleistung sicher und realisieren somit
die geforderte Verfügbarkeit. Bei einem Geräteausfall ist
6.1.5 Skalierbarkeit
die volle Redundanz im Klimasystem nicht mehr vorhanden und korrektive Maßnahmen (Reparaturen) müssen
In vielen Rechenzentren wird der maximale Endausbau
umgehend eingeleitet werden, um die Voraussetzungen
der ITK-Systeme erst nach mehreren Jahren erreicht.
für sicheren Betrieb wiederherzustellen.
Daher muss das Klimatisierungssystem entsprechend
6.1.4 Energieeffizienz
skalierbar sein, als mitwachsende Lösung aus modularen
Einheiten. Weiterhin müssen die Teilsysteme in einem
weiten Bereich der schwankenden ITK-Last möglichst
Vor dem Hintergrund der stark steigenden Energiekosten
stufenlos nachgeregelt werden können. Ein solches
ist bereits in der Planungsphase der Energieeffizienz des
Klimasystem kann dann auch in Teillast mit einem guten
Klimatisierungssystems besondere Bedeutung zuzuord-
Wirkungsgrad und hoher Effizienz betrieben werden.
nen. Im Rahmen einer Gesamtkostenbetrachtung ist die
Summe aus Investitionskosten für die Neuanlage und die
6.1.6 Servicekonzept
zu erwartenden Betriebs- und Wartungskosten über die
gesamte Laufzeit zu ermitteln und zu bewerten. Bei einer
In den Klimatisierungssystemen werden zum einen
Laufzeit des Klimasystems von 10 bis 15 Jahren liegen die
Verschleißteile, wie z. B. Filtermatten, Dampfzylinder
37
verwendet aber auch viele mechanisch bewegte Kom-
„„ 6.2 Umluftklimatisierung
ponenten eingesetzt. Daher sind in regelmäßigen
Abständen präventive Wartungszyklen vorzusehen. Die
Der überwiegende Teil der heute eingesetzten ITK-Sys-
Leistungen werden unter anderem in der DIN31051 und
teme ist luftgekühlt, daher muss die Wärmelast zunächst
der VDMA 24186 beschrieben. Aber auch die einschlägi-
mit dem Medium Luft abgeführt werden. Dies geschieht
gen Verordnungen zum Betrieb von Kälteanlagen sind
klassisch mit Umluftklimageräten auf Raumebene. Bei
zu beachten, da der Gesetzgeber dem Anlagenbetreiber
höheren Wärmelasten reicht allerdings der schlechte
turnusgemäße Dichtigkeitsprüfungen und Anlagenlogbü-
Wärmeträger Luft auf Raumebene nicht mehr aus. Dann
cher verbindlich vorschreibt.
müssen bessere Trägermedien wie z. B. Wasser oder Kältemittel näher an die Wärmelasten herangeführt werden,
Abhängig vom individuellen Verfügbarkeitsanspruch an
d.h. bis in die Schrankreihe oder zum Teil sogar bis in den
die Klimatisierung, gibt es abgestimmte Servicevertrags-
Schrank. Auf diesem Wege ist gewährleistet, dass die
formen. Die Verträge unterscheiden sich hinsichtlich des
hohen Wärmelasten in nächster Nähe an die Klimasys-
Leistungsumfanges:
teme übertragen werden und nicht über lange Luftwege
transportiert werden müssen.
„„ Instandsetzungsvertrag
„„tritt nach einem Ausfall oder einem Fehler ein und
6.2.1 Raumkühlung
stellt die Betriebsfähigkeit der Anlage durch nachgelagerte korrektive Serviceleistungen wieder her
Die Versorgung mit kalter Zuluft und der Abtransport
der warmen Abluft erfolgt über Umluftklimageräte, die
„„ Wartungsvertrag
„„regelmäßige Leistung, die die Verfügbarkeit
i. d. R. an den Stirnseiten der Serverräume (im Raum oder
außerhalb in einer Klimaspange) platziert werden. Die
der Anlage durch präventive Serviceleistungen
Zuluft wird über einen Doppelboden im Raum verteilt
sicherstellt
und die Abluft meist frei im Raum zu den Umluftklimageräten zurückgeführt. In den Umluftklimageräten findet
„„ Instandhaltungsvertrag
„„Kombination aus Instandsetzung und War-
dann der Wärmeübergang auf ein anderes Trägermedium
statt (Kühlwasser oder Kältemittel). In der Regel wird dem
tung, dieser vereint präventive und korrektive
ITK-Raum ein kleiner Anteil Außenluft zugeführt, zum
Serviceleistungen
Luftaustausch und zur Aufrechterhaltung der Luftqualität.
„„ Vollunterhaltungsvertrag
„„vereint Instandhaltung und bietet eine Budgetsi-
Die Schränke mit den ITK-Systemen werden dabei
inzwischen fast durchgängig in der sogenannten
cherheit durch gleichbleibende Kosten während
der Vertragslaufzeit
Diese Verträge lassen sich zum Teil auch mit einem 24/7
Notdienst kombinieren und sichern vor Ort Antrittszeiten vertraglich zu. Auf diesem Wege kann sichergestellt
werden, dass korrektive Maßnahmen umgehend durch
Fachpersonal eingeleitet werden und die Verfügbarkeit
der Anlage schnellstmöglich wieder vollständig hergestellt wird.
Abbildung 6: Raumklimatisierung über den Doppelboden mit Kaltgang-/
Warmgangbildung
38
Leitfaden Betriebssicheres Rechenzentrum
Warmgang-Kaltgang-Anordnung aufgestellt, d.h. »Front-
Temperaturschichtung mehr und keine erhöh-
to-Front« und »Back-to-Back«. Damit wird verhindert,
ten Ausfälle von ITK-Systemen in den oberen
dass ITK-Systeme in einem Schrank mit warmer Abluft aus
Schrankbereichen
einem anderen Schrank versorgt und damit unzureichend
klimatisiert werden. Diese Anordnung ist eine wesentliche Voraussetzung für eine effiziente Klimatisierung.
„„ die Energieeffizienz der Klimasysteme wird wesentlich verbessert
In solchen klassischen Systemen findet allerdings häufig
Eine vollständige Einhausung besteht aus mehreren
eine mehr oder weniger starke Vermischung von Zu- und
Komponenten:
Abluft statt. Dadurch erreichen Umluftklimageräte eine
Ablufttemperatur, die oft nur wenige Kelvin höher ist als
„„ einer vollständigen Abschottung in den Schränken
die Zulufttemperatur. Daraus resultieren große Luftvolumenströme für den Abtransport der Wärmelast und
die Kühlleistung der Umluftklimageräte wird erheblich
„„ einer Einhausung der Gänge, sei es als Kaltgang- oder
als Warmgangeinhausung
reduziert.
„„ einer Abdichtung des Doppelbodens, es sind keine
Vor einigen Jahren wurden daher Abschottungen (soge-
Öffnungen im Warmbereich (Warmgang und unter
nannte Einhausungen) zwischen kalten und warmen
den Schränken) erlaubt
Bereichen im Raum eingeführt, die diese Nachteile beheben und einen Luftkurzschluss (Vermischung von Zu- und
In dieser Anordnung ist der Luftstrom gewissermaßen
Abluft) unterbinden.
gezwungen auf dem Weg vom Doppelboden zurück
zum Klimagerät die Wärme aus den ITK Komponenten
aufzunehmen.
6.2.2Reihenkühlung
Sobald eine gewisse Wärmedichte im Raum überschritten
wird, reicht Luft als Wärmeträgermedium nicht mehr
aus, um den Abtransport auf langen Wegen bis zu den
Umluftklimageräten zu bewerkstelligen. Die benötigten
Luftmengen lassen sich nicht mehr mit einem vertretbaren technischen Aufwand beherrschen. Die notwendige
Abbildung 7: Raumklimatisierung über den Doppelboden und Einhausung
der Kaltgänge
Doppelbodenhöhe für derart hohe Wärmelasten kann in
Diese Abschottungen haben mehrere Vorteile:
Daher werden in diesen Fällen Klimageräte in die Schrank-
den meisten ITK Räumen baulich nicht realisiert werden.
reihen/Rackreihen integriert, entweder für die gesamte
„„ die Temperaturdifferenz zwischen Zu- und Abluft wird
Wärmelast dimensioniert oder als zusätzliche Geräte
stark erhöht, dadurch die Leistungsfähigkeit einer
zu bestehenden Umluftgeräten. Der Wärmeübergang
bestehenden Klimatisierungslösung entsprechend
von Luft auf Wasser oder Kältemittel findet damit näher
verbessert
an den Wärmelasten statt und daher ist es nicht mehr
erforderlich die gesamte Kühlluft durch den Doppelboden
„„ die Schränke werden über die gesamte Höhe mit
zu führen.
gleicher Zulufttemperatur versorgt, es gibt keine
39
Abbildung 9: Schrankkühlung mit wassergekühltem Rack
„„ 6.3 Kälteerzeugung
Umluftklimasysteme unterscheiden sich hinsichtlich
Ihres Aufbaus erheblich und das jeweils einzusetzende
System muss u.a. den zu erwartenden Wärmelasten, den
klimatischen Außenbedingungen und den baulichen
Abbildung 8: Klimatisierung mit Klimageräten in den Rackreihen
Warmgangeinhausung/Kaltgangeinhausung
Möglichkeiten des ITK Raums Rechnung tragen. In den
vorangegangenen Kapiteln ist die zur Verfügungstellung
des Luftstroms beschrieben worden, im Weiteren soll nun
Bei entsprechend ausgeführter Luftführung vor den
auf die notwendige Abkühlung des Luftstroms eingegan-
Serverracks kann die skizzierte Einhausung auch entfallen.
gen werden.
6.2.3Schrankkühlung
Effiziente Klimatisierungssysteme reduzieren durch den
Einsatz der Freien Kühlung die Betriebszeiten der Kälteer-
Bei Wärmelasten von mehr als 25 kW pro Rack muss eine
zeugung auf ein Minimum und tragen damit erheblich
direkte Kühlung der Racks vorgenommen werden. Diese
zum energieeffizienten Betrieb der Klimatisierung bei. Die
direkte Kühlung wird durch in unmittelbarer Nähe der
Systeme können in Ausführungen mit Indirekter Freier
Server angebrachte Wärmetauscher realisiert. In der Regel
Kühlung, mit Direkter Freier Kühlung und ohne Freie Küh-
handelt es sich um kaltwassergekühlte Wärmetauscher,
lung eingeteilt werden.
die entweder unter oder neben den 19« Einbauten angeordnet sind. Auf diesem Weg lassen sich bis zu 40kW und
Indirekte Freie Kühlung
mehr pro Rack abführen.
Die Indirekte Freie Kühlung zeichnet sich durch die Trennung der Luftströme im ITK Raum und dem Außenluftvo-
Im Bereich der Racks ist dafür eine Kaltwasser-Infrastruk-
lumenstrom aus. Die Übertragung der Wärmelast erfolgt
tur vorzusehen. Wassergekühlte Racks sichern für den
vom Luftstrom im ITK Raum über das Umluftklimagerät
jeweiligen Serverschrank klimatische Bedingungen und
auf einen Wasser/Glykol Wärmeträger, die Wärme wird im
sind somit autark in Bezug auf die Raumklimatisierung.
außen aufgestellten Rückkühler an die Außenluft übertragen. Die Indirekte Freie Kühlung kommt insbesondere
In Bestandsgebäuden mit niedriger Geschoßhöhe stellen
für intolerante Anforderungen an Zulufttemperatur und
wassergekühlte Serverracks eine gute Möglichkeit dar,
relativer Zuluftfeuchtigkeit zum Tragen.
auch ohne den Einsatz eines Doppelbodens hohe Wärmelasten sicher abzuführen.
40
Leitfaden Betriebssicheres Rechenzentrum
Wärmelast von bis ca. 500kW zur Anwendung. In den
Klimageräten sind Kältekreisläufe verbaut, die bei hohen
Außentemperaturen die Kälteerzeugung sicher stellen.
Bei niedrigen Außentemperaturen zirkuliert lediglich ein
Wasser/Glykolgemisch zwischen dem Freikühlwärmetauscher im Umluftklimaschrank und dem außen aufgestellten Rückkühlwerk, diese Betriebsweise trägt zu einer
erheblichen Betriebsstundenreduzierung der Kälteerzeugung und somit zur Energieeffizienz des Systems bei. Eine
höhere Außentemperatur bedingt das Zuschalten des
Kältekreislaufes, bei sehr hohen Außentemperaturen wird
Abbildung 10: Indirekte Freie Kühlung
die energieintensive Kälteerzeugung über Kälteverdichter
ausschließlich betrieben.
Direkte Freie Kühlung
Die Direkte Freie Kühlung ist durch die hohen Außen-
Mitentscheidend für die Energieeffizienz der Indirekten
luftvolumenströme in den ITK Raum charakterisiert.
Freien Kühlung sind die Auslegungsparameter für die
Die Wärme wird direkt von der eingeleiteten Außenluft
Gesamtanlage. Ein höheres zulässiges Temperaturniveau
aufgenommen und aus dem ITK Raum abgeführt. Der
im ITK Raum bedingt längere Betriebszeiten der Freien
Wärmeträger Wasser/Glykol ist nicht zwischengeschaltet,
Kühlung und trägt erheblich zu Energieeffizienz bei. Die
daher spricht man bei diesem System von der Direkten
Betriebsweise der Freien Kühlung ist über einen möglichst
Freien Kühlung. Die Direkte Freie Kühlung kommt insbe-
langen Zeitraum sicherzustellen und bis zu einer mög-
sondere für tolerante Anforderungen an Zulufttempera-
lichst hohen Außentemperatur zu realisieren.
tur und relativer Zuluftfeuchtigkeit zum Einsatz.
Die Kälteerzeugung ist bei diesen Systemen im Umluftklimaschrank integriert und somit im oder in der Nähe des
ITK-Raums angeordnet.
Indirekte Freie Kühlung mit Kälteerzeugung über
Kaltwassererzeuger
Die Kälteerzeugung ist in Kaltwassererzeugern integriert,
die i.d.R. im Außenbereich installiert sind. Im Gebäude
zirkuliert ein Wasser/Glykolgemisch. Im kaltwassergekühlten Umluftschrank wird die Wärme aus der Rückluft
an das kalte Wasser/Glykolgemisch übergeben. Das
Abbildung 11: Direkte Freie Kühlung
6.3.1 Indirekte Freie Kühlung
erwärmte Wasser/Glykolgemisch wird im Kaltwassererzeuger wieder abgekühlt und gelangt wieder zum
Umluftklimaschrank.
Für die Funktion der Indirekten Freien Kühlung wird auch
Indirekte Freie Kühlung mit Kälteerzeugung in den
Umluftklimageräten
hier ein zusätzliches Freikühlregister eingesetzt, dies
Die indirekte freie Kühlung mit Kälteerzeugung in den
separat als Rückkühler zur Ausführung.
kommt am Kaltwassererzeuger im Außenbereich oder
Umluftklimageräten kommt für Rechenzentren mit einer
41
Bei niedrigen Außentemperaturen zirkuliert das Wasser/
Bei niedrigen Außentemperaturen wird ein Teil der
Glykolgemisch zwischen den kaltwassergekühlten Kli-
erwärmten Abluft mit der kalten Außenluft gemischt,
mageräten und dem Freikühlungsregister. Dabei wird die
um die vorgegebenen Zuluftkonditionen einzuhalten. Bei
Wärme der Umluft im Klimagerät aufgenommen und am
hohen Außentemperaturen schaltet die Anlage in den
Freikühlungsregister im Außenbereich wieder abgegeben.
Umluftbetrieb und die Kälteerzeugung über Kältekreis-
Bei hohen Außentemperaturen wird das Wasser/Glykol-
läufe ist in Funktion.
gemisch über die Kälteerzeugung im Kaltwassererzeuger
abgekühlt.
Die Raumluftfeuchte ist bei diesen Systemen von untergeordneter Rolle und variiert über das Jahr hinweg von ca.
Die weiteren Rahmenbedingungen zur Erzielung der
min. 15-20 % r.F. bis max. 80-85% r.F. Ein engeres Toleranz-
maximalen Energieeffizienz sind unter dem vorange-
feld für die Feuchte würde zu erheblichen Betriebskosten
gangenen Punkt 6.3.2.1 beschrieben und gelten auch für
für die Be- und Entfeuchtung führen.
die Indirekte Freie Kühlung mit Kälteerzeugung über
Kaltwassererzeuger.
Auch bei der Direkten Freien Kühlung sind Betriebsbedingungen mitentscheidend für die Energieeffizienz des
Die Kälteerzeugung ist in den i.d.R. außen aufgestellten
Systems. Eine möglichst hohe Zulufttemperatur im Kalt-
Kaltwassersätzen integriert. Dieses System findet eher für
gang begünstigt lange Freikühlzeiträume und trägt somit
mittlere bis große ITK Räume Anwendung.
unmittelbar zur Energieeffizienz bei.
6.3.2 Direkte Freie Kühlung
6.3.3 Klimatisierungssysteme ohne Freie
Kühlung
Die Direkte Freie Kühlung wird seit vielen Jahren für kleinere Telekommunikationseinrichtungen eingesetzt. Die
In Systemen ohne Freikühlungsfunktion ist der Betrieb
hier verwendeten TK Systeme stellten im Hinblick auf die
der energieintensiven Kälteerzeugung über Kältekreis-
einzuhaltende Luftfeuchtigkeit keine hohen Anforderun-
läufe ganzjährig erforderlich. Diese Systeme verursachen
gen. Die derzeitigen Toleranzgrenzen für Luftfeuchtigkeit
deutlich höhere Betriebskosten und kommen insbe-
(siehe 6.1.1) ermöglichen den Einsatz der Direkten Freien
sondere bei einer Neuanlagenkonzeption nur noch in
Kühlung heute auch im Rechenzentrum und somit für
Ausnahmefällen zum Zuge.
größere ITK Räume.
Ferner ist bei kleineren Bestandsanlagen, die in der
In den Klimageräten sind Kältekreisläufe verbaut, die
Vergangenheit teilweise noch mit Komfortklimaanlagen
bei hohen Außentemperaturen die Kälteerzeugung oder
ausgestattet wurden, zu prüfen, ob nicht eine Direkte
bei störenden Umwelteinflüssen die Kälteerzeugung
Freie Kühlung nachgerüstet werden kann.
sicherstellen.
Die Außenluft gelangt über eine mehrstufige und großflächig ausgeführte Luftfiltereinheit in den ITK Raum.
Die Luft wird vor die ITK Systeme geführt und nimmt
die Wärme direkt auf. Die erwärmte Abluft entweicht
dem Raum über entsprechende Abluftkanäle. Abhängig
von den Entfernungen im Gebäude und den möglichen
Luftkanalquerschnitten sind zusätzliche Ventilatoren
vorzusehen.
42
Leitfaden Betriebssicheres Rechenzentrum
6.3.4 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
A
Klimatisierung notwendig,
Redundanz optional
Klimatisierung notwendig,
Redundanz notwendig,
USV-Unterstützung
Präzisionskühlung, Redundanz, Kalt-WarmgangTrennung, ggfs. USV
Unterstützung
12 h
B
Klimatisierung notwendig,
Redundanz notwendig
Klimatisierung notwendig,
Redundanz notwendig,
USV-Unterstützung
Präzisionskühlung,
Redundanz, Kalt-Warmgang-Trennung, USV
Unterstützung
1h
C
Klimatisierung notwendig,
Redundanz notwendig,
USV Unterstützung
Klimatisierung notwendig,
Redundanz notwendig,
USV Unterstützung
Präzisionskühlung, Geräte
und Rohrleitungen redundant, Kalt-Warmgang-Trennung, USV Unterstützung
10 min
Klimatisierung notwendig,
komplette Redundanz notwendig, USV Unterstützung
Präzisionskühlung, Geräte
und Rohrleitungen redundant, Kalt-WarmgangTrennung, USV Unterstützung, Notkühlfunktionen
über ein zusätzliches
Klimasystem
< 1 min
D
Klimatisierung notwendig,
komplette Redundanz notwendig, USV Unterstützung
zulässige RZ
Ausfallzeit
RZ Kategorie
Klimatisierung
Tabelle 10: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« - Klimatisierung
„„ 6.4 Fazit
Die technischen Lösungen für eine energieeffiziente und
Hohe Anforderungen an die Verfügbarkeit der Klimati-
betriebsichere Klimatisierung sind vielfältig und müs-
sierung führen zwangsläufig zu einer aufwendigeren
sen vor dem Hintergrund der ITK Anforderungen, den
technischen Lösung und zu höheren Investitionskosten,
baulichen Gegebenheiten und wirtschaftlichen Faktoren
wo hingegen sich höhere Investitionskosten für eine
individuell im Rahmen eines Projektes und einer Fachpla-
energieeffiziente Klimatisierung auch zukünftig aufgrund
nung ausgelotet werden.
der zu erwartenden Energiekostenerhöhung in immer
kürzeren Betrachtungszeiträumen amortisieren werden.
Hierin spielen auch die Aspekte der Skalierbarkeit, also
des Mitwachsens der Klimasysteme mit den ITK Anforderungen, und die zukünftigen Veränderungen der ITK
Systemen eine große Rolle.
43
7Brandschutz
»Es entspricht der Lebenserfahrung, dass mit der Ent-
mit gasförmigen Medien » anerkannter Stand der
stehung eines Brandes praktisch jederzeit gerechnet
Technik«.
werden muss. Der Umstand, dass in vielen Gebäuden
jahrzehntelang kein Brand ausbricht, beweist nicht, dass
7.1.1 Funktionsweise der Infrastruktur
keine Gefahr besteht, sondern stellt für die Betroffenen
einen Glücksfall dar, mit dessen Ende jederzeit gerechnet
Rauchmelder
werden muss.« Dieser Feststellung eines Oberverwal-
Für die Branderkennung in Rechenzentren werden
tungsgerichts (OVG NRW vom 22.07.2002 - 7 B 508/01)
hauptsächlich Rauchmelder eingesetzt, die nach dem
bereits aus dem Jahre 1987 ist auch heute noch nichts
Streulichtprinzip arbeiten. Die Streuung eines Lichtstrahls
hinzuzufügen. Daher ist ein zuverlässiger und wirksamer
an Rauchpartikeln in der optischen Kammer des Rauch-
Brandschutz eine unabdingbare Voraussetzung für den
melders stellt dabei das Maß für die Rauchdichte dar.
sicheren Betrieb des Rechenzentrums.
Dieses Funktionsprinzip findet sowohl in konventionellen,
punktförmigen Rauchmeldern (O-Melder, Punktmel-
Das Löschmittel Wasser allerdings ist im Rechenzent-
der) wie auch in hochsensiblen Rauchansaugsystemen
rum in den meisten Fällen fehl am Platz. Die Fachfirmen
(Ansaugrauchmelder, Aktivmelder) Anwendung. Der in
der Branche bieten heute für jede Bedarfssituation im
früheren Jahren oftmals eingesetzte Ionisationsmelder
Rechenzentrum geeignete Brandschutzlösungen an. Bei
(I-Melder) ist hingegen fast gänzlich vom europäischen
Neubau oder nachträglicher Absicherung von Rechenzen-
Markt verschwunden.
tren ist eine genaue Planung und Auslegung der Anlagen
wichtig. Bei Bestandsrechenzentren mit CO2-Anlagen in
Ob punktförmige Rauchmelder oder ein Rauchansaugsys-
bedienten Bereichen sollte umgehend auf alternative,
tem besser geeignet sind, hängt vom Einsatzbereich ab. In
für das Personal sichere, Gaslöschtechnik umgerüstet
Bereichen ohne spezielle Detektionsanforderungen, z. B.
werden.
in Büroräumen, sind in der Regel punktförmige Rauchmelder ausreichend.
„„ 7.1 Technischer Brandschutz
In klimatisierten Räumen oder Bereichen mit hohen
Decken, erreichen punktförmige Rauchmelder schnell
44
Feuer, Rauch und aggressive Rauchgase stellen für
ihre Grenzen. Warmluftpolster oder eine starke Klima-
Rechenzentren eine latente Gefahr dar. Für die Sicherheit
luftströmung verhindert, dass Rauch in ausreichendem
ist eine den Anforderungen entsprechende Branderken-
Maße schnell genug an die punktförmigen Rauchmel-
nung in Verbindung mit Löschtechnik notwendig. Eine
der gelangt. Zur frühzeitigen Branderkennung emp-
Alternative stellt die Sauerstoffreduzierung (Brandver-
fiehlt sich dann die Verwendung von hochsensiblen
meidung) dar.
Rauchansaugsystemen.
Ungeeignet für Rechenzentren sind Schaum-, oder
Erfolgt die Ansteuerung der automatischen Löschanlage
Pulverlöschsysteme. Diese bekämpfen zwar erfolgreich
im Rechenzentrum durch punktförmige Rauchmel-
einen Brand, zerstören oder schädigen aber gleichzeitig
der müssen diese zur Vermeidung von Fehlalarmen in
z. B. empfindliche Server oder Netzteile. Unter Umstän-
sogenannter Zweimelderabhängigkeit installiert werden.
den wäre dieser Schaden dann höher als der eigentliche
Spricht ein punktförmiger Rauchmelder der Raumüber-
Brandschaden. In Rechenzentren sind deshalb automati-
wachung an wird ein interner Alarm ausgelöst und erst
sche Löschanlagen oder Sauerstoffreduzierungsanlagen
wenn zusätzlich ein zweiter punktförmiger Rauchmelder
Leitfaden Betriebssicheres Rechenzentrum
anspricht erfolgt die Ansteuerung der automatischen
einzelner klimatisierter IT-Einrichtungen Vorteile. Hierbei
Löschanlagen.
werden Luftproben z. B. direkt in den IT-Schränken aus
dem Luftstrom der Klimatisierung entnommen. Diese
Für den Schutz einzelner klimatisierter IT-Einrichtungen
Systeme für den integrierten Schutz von IT-Einrichtungen
innerhalb des Rechenzentrums weist der Verband der
sind heutzutage modular aufgebaut und bieten z. B.
Sachversicherer (VdS) darauf hin, dass eine Brandfrüher-
Branderkennung und Löschung in einem kompakten 19«
kennung mit punktförmigen Rauchmeldern mindestens
Einschub. Alternativ kann auch eine externe Löscheinheit
erschwert oder sogar unmöglich ist.
angesteuert werden.
Ein Brand an stromführenden Bauteilen in Schränken
Löschanlagen
kann durch Schmor-, Schwel- und Glimmbrände jederzeit
Wirksamkeit und Zuverlässigkeit von Löschanlagen für
entstehen. Gründe sind z. B. Überlastung von Bauteilen
Rechenzentren werden durch risikogerechte Projektierung
oder defekte Kontakte. Ein Schwelbrand einer Platine
und fachgerechte Planung, Ausführung sowie Wartung
führt, wenn er nicht rechtzeitig erkannt wird, zu Ver-
bestimmt. Löschgase finden bevorzugt Verwendung,
rußung und unter Umständen Korrosion anderer, vom
denn sie sind elektrisch nicht leitfähig, hinterlassen keine
Schwelbrand nicht betroffenen Bauteile. Hinzu kommt,
Rückstände und der Betrieb der IT-Einrichtungen kann
dass in den klimatisierten Schränken die frühzeitige
auch bei ausgelöster Löschanlage aufrecht erhalten
Raucherkennung durch hohe Luftwechselraten der Klima-
werden.
tisierung erschwert ist. Entstehender Rauch wird sofort
verdünnt und ist dann von Rauchmeldern in der Entste-
Grundsätzlich muss bei der Planung einer Löschanlage
hungsphase kaum zu detektieren.
mit gasförmigen Löschmitteln auch eine Raumdruckentlastung berücksichtigt werden, um den entstehenden
Für den Schutz einzelner klimatisierter IT-Einrichtungen
kurzzeitigen Druckanstieg oder -abfall abzuleiten. Die
innerhalb des Rechenzentrums sind hochsensible Rauch-
erforderliche Öffnungsfläche zur Druckentlastung sowie
ansaugsystemen zuverlässig und bieten die Möglichkeit
die Raumdichtigkeit im Hinblick auf die Haltezeit der
der frühzeitigen und auf die einzelne IT-Einrichtung
Löschgaskonzentration werden mittels eines Prüfverfah-
begrenzte Maßnahme.
rens (Door-Fan-Prüfmethode) bestimmt. Die minimale
Haltezeit der Löschkonzentration sollte mindestens 10
Eine neue Herausforderung für den Brandschutz in
Minuten betragen.
Rechenzentren stellen geschlossene Serverschränke dar,
die über ein integriertes Kühlsystem verfügen und im
Grundsätzlich werden Gaslöschsysteme für Rechenzen-
Umluftbetrieb arbeiten. Schmor-, Schwel- und Glimm-
tren in Anlagen mit Inertgase und Anlagen mit halo-
brände können dann von außen praktisch nicht mehr
genierten Kohlenwasserstoffen (chemische Löschgase)
detektiert werden, da entstehender Rauch nur in sehr
unterteilt.
kleiner Menge nach außen dringt. Ebenso kann gasförmiges Löschmittel von außen nicht in diese Schränke
Inertgase
eindringen.
Der Löscheffekt der Inertgase beruht auf Reduzierung des
Sauerstoffsanteils in der Luft.
Für derartige Serverschränke sollten kompakte Branddetektions- und Löschsysteme eingesetzt werden, die z. B. in
Die Flutung mit Inertgasen erfolgt innerhalb von 120
Form eines 19«-Einschubs integriert werden.
Sekunden. Dadurch mischt sich die Raumluft mit dem
Inertgas und es entsteht eine sauerstoffarme Atmosphäre.
Wie auch bei der Brandfrüherkennung klimatisierter
Der Sauerstoffanteil der Raumluft wird dabei so weit
IT-Räume, haben Rauchansaugsysteme zur Überwachung
abgesenkt, dass ein Verbrennungsprozess gestoppt wird.
45
„„ Argon (Ar)
Argon gehört zur Gruppe der Edelgase, ist chemisch
Konzentration beträgt bei chemischen Gasen nur 10
Sekunden.
sehr stabil und geht mit keinem anderen Element
eine chemische Verbindung ein. Argon wird kos-
„„ Sauerstoffreduzierungsanlagen
tengünstig aus der Umgebungsluft gewonnen und
Eine Sauerstoffreduzierungsanlage (Brandvermei-
wird neben der Verwendung als Feuerlöschmittel in
dungssystem) schafft in einem Rechenzentrum durch
vielen anderen technischen Prozessen eingesetzt (z.
Einleiten von Stickstoff eine permanent sauerstoff-
B. Schutzgas beim Schweißen). Argon ist nicht giftig
arme Atmosphäre. Dadurch kann die Entstehung
und schwerer als Luft. Bei einer für die Löschung
eines offenen Feuers ausgeschlossen werden. Die
erforderlichen Argon-Konzentration können Personen
dauerhafte Sauerstoffreduktion wird durch sehr
durch Sauerstoffmangel gefährdet werden. Deshalb,
präzise Steuerungen eines Stickstoffvorrats oder eines
aber auch wegen der Gefährdung durch Brandgase,
Stickstofferzeugers ununterbrochen aufrechterhalten.
werden Räume erst nach Ablauf einer Voralarmzeit
Bei einem für die Brandvermeidung erforderlichen
mit Argon geflutet, so dass Personen ungefährdet den
reduzierten Sauerstoffgehalt bleiben die geschützten
Bereich verlassen können.
Rechenzentrumsbereiche für Personen mit entsprechender ärztlicher Untersuchung begehbar.
„„ Stickstoff (N2)
Stickstoff ist in der Atmosphäre (mit 78%) enthalten.
Es wird wie Argon aus der Umgebungsluft gewon-
7.1.2 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
nen und vielfältig verwendet. Es ist ein Inertgas und
geht erst bei sehr hohen Temperaturen mit anderen
Rechenzentren
Elementen eine chemische Verbindung ein. Stickstoff
Liegen die tolerierbaren Ausfallzeiten bei maximal 24
ist farb-, geruch- und geschmacklos, nicht giftig und
Stunden ist eine sensible Branderkennung im Rechenzen-
leichter als Luft. Bei einer für die Löschung erforder-
trum ausreichend. Bei höheren Verfügbarkeitsanforderun-
lichen Stickstoff-Konzentration können Personen
gen an das Rechenzentrum ist zusätzliche eine automa-
durch Sauerstoffmangel gefährdet werden. Deshalb,
tische Löschanlage mit einem gasförmigen Löschmittel
aber auch wegen der Gefährdung durch Brandgase,
oder ein Sauerstoffreduzierungssystem sinnvoll.
werden Räume erst nach Ablauf einer Voralarmzeit
mit Stickstoff geflutet, so dass Personen ungefährdet
Die wesentlichen Merkmale für die Auswahl einer auto-
den Bereich verlassen können.
matischen Löschanlage mit gasförmigen Löschmitteln,
einer Sauerstoffreduzierungsanlage oder einer Kombina-
„„ Chemische Löschgase: HFC227ea, Handelsname z. B.
tion aus beiden Systemen sind z. B.
FM-200 und FK-5-1-12, Handelsname Novec 1230
Die Löschwirkung der chemischen Löschgase beruht
„„ Anforderungen an die Verfügbarkeit des Rechen-
auf einer Wärmeabsorption in der Flamme. Vorteil der
zentrums. Je höher der Verfügbarkeitsanspruch
chemischen Löschgase ist eine hohe Löscheffektivität
umso sinnvoller sind Sauerstoffreduzierungs-
bei geringer Konzentration. Damit verbunden ist der
anlage oder eine innovative Kombination aus
im Vergleich mit den Inertgasen deutlich geringerer
Lösch- Sauerstoffreduzierungsanlage
Platzbedarf für die Aufstellung von Löschmittelfla-
46
schen. Unter Umständen können die Flaschen, z. B. bei
„„ Anforderungen an die Zugänglichkeit für unterneh-
einer Nachrüstung, auch unmittelbar in dem zu schüt-
mensinterne und externe Personen. Bei sehr hohen
zenden Rechenzentrumsbereich aufgestellt werden.
Anforderungen an die Zugänglichkeit, besonders
Die Flutungszeit bis zum Erreichen der löschfähigen
bei wechselnden Personen, sind automatische
Leitfaden Betriebssicheres Rechenzentrum
Löschanlagen gut geeignet, da eine einfache Unwei-
Rauchgase. «Weiches Herunterfahren« bedeutet aber
sung für das Betreten geschützter Bereiche ausrei-
keinesfalls die sofortige Abschaltung der Stromzu-
chend ist.
fuhr. Hierbei wird nach der frühen Branddetektion ein
Abschaltmanagement aktiviert, welches die Daten auf
„„ Bauliche Voraussetzungen zur Druckentlastung oder
Gasdichtigkeit der Raumumfassung
nicht geschädigte IT-Einheiten umleitet. Das endgültige
Abschalten der Stromzufuhr erfolgt erst nach Abschluss
des Datentransfers.
Serverschränke
Eine kompakte, integrierte Einheit mit Branderkennung
detektiert eine Brandentstehung bereits in der frühen
„„ 7.2 Baulicher Brandschutz
Phase. Dies schafft einen Zeitvorteil für organisatorische Maßnahmen (z. B. automatische Alarm SMS, Pager
Ziel des baulichen Brandschutzes ist das Retten von
etc.) und das Einleiten automatischer Maßnahmen, z. B.
Menschenleben. Das erfordert höchste Qualität für Mate-
«weiches Herunterfahren« der IT-Systeme, Datenausla-
rial und Verarbeitung sowie eine strikte Einhaltung der
gerung, selektive Abschaltung oder gezielte Löschung der
Vorschriften und Richtlinien.
Netzwerk- und Serverschränke.
Die Grundlagen des baulichen Brandschutzes sind in
den Bauordnungen der Länder, den Vorschriften über
ten im Brandfall die zuverlässigste Alternative gegen
brandschutztechnische Einrichtungen, Brandschutzkon-
ein weiteres Ausbreiten eines Brandes bzw. aggressiver
zepte, Brandwände und Rettungswege festgehalten. Das
Technischer Brandschutz
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
zulässige RZ
Ausfallzeit
RZ Kategorie
Abgeschaltete und stromlose IT-Einheiten gewährleis-
A
Überwachungseinheit mit
Brandfrüherkennung
und Löschtechnik (mit passiver
Löschmittelreserve)
Brandmeldeanlage, Überwachungseinheit
mit Brandfrühesterkennung und
eigenständiger Löschtechnik (mit passiver
Löschmittelreserve) oder Sauerstoffreduzierungssystem (Brandvermeidungssystem)
12 h
B
Überwachungseinheit mit Brandfrüherkennung und Löschtechnik (mit passiver
Löschmittelreserve)
Brandmeldeanlage, Überwachungseinheit
mit Brandfrühesterkennung und eigenständiger Löschtechnik (mit passiver Löschmittelreserve) oder Sauerstoffreduzierungssystem (Brandvermeidungssystem)
1h
C
Brandmeldeanlage, Überwachungseinheit mit Brandfrühesterkennung und eigenständiger Löschtechnik (Brandlöschanlage) oder Sauerstoffreduzierungssystem (Brandvermeidungssystem) in redundanter Ausführung
10 min
D
Brandmeldeanlage, Überwachungseinheit mit Brandfrühesterkennung und eigenständiger Löschtechnik (Brandlöschanlage) oder Sauerstoffreduzierungssystem (Brandvermeidungssystem) in redundanter Ausführung
< 1 min
Tabelle 11 aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« – Technischer Brandschutz
47
Brandverhalten von Baustoffen und Bauteilen regelt die
Wände, Böden und Decken müssen mindestens nach Feu-
DIN 4102, allerdings ohne jede Berücksichtigung der not-
erwiderstandsklasse F90 ausgebildet werden. Türen sind
wendigen Schutzziele, gerade für IT-Rechenzentren
mindestens in T90 -Ausführung zu planen, das heißt, dass
Türen 90 Minuten Feuer widerstehen. Auch ein Schutz
Zu beachten sind die Feuerwiderstandsdauern tragender
gegen Rauchgas und Spritzwasser ist unabdingbar.
Bauteile, der Brandschutz in den Elektroinstallationen
sowie bei versorgungstechnischen Anlagen. Zu klären
Kabel- und Installationskanäle vom und zum Rechenzent-
sind bei der Planung eines Rechenzentrums auch die
rum sind wirksam zu schützen. Dabei können Kabelkanäle
feuerwehrtechnischen Möglichkeiten bezogen auf
mit Funktionserhalt nach E30 oder gar E90 gesichert
Feuerwiderstandsdauer und Rettungswege. Dabei sind
werden. Installationskanäle sind nach I30 oder I90 und
Feuerwehraufzüge und Sicherheitstreppenhäuser zu
selbstständige Lüftungskanäle nach L90 auszubilden.
berücksichtigen. Für ein Rechenzentrum gelten außerdem
Werden elektrische Leitungen durch feuerbeständige
betriebsspezifische Brandschutzverordnungen.
Decken und Wände geführt, müssen die Durchführungen
ebenfalls feuerbeständig und rauchgasfest verschlossen,
Brandbekämpfung, Löschmittel und Entrauchung sind
das heißt abgeschottet werden. Diese Abschottungen
ebenfalls Teil der Planungen. Sie betreffen tragbare
können unter Umständen auch mittels Brandschutzkis-
Feuerlöscher, eine eventuell erforderliche Löschmittel-
sen vorgenommen werden.
Rückhaltung u.a.
7.2.1 Schutzziele
Kabeltrassen stellen im Brandfalle ein sehr hohes Risiko
dar und sollten wasser- und feuchtigkeitsbeständig
beschichtet oder ausgeführt sein. Sie verhindern damit als
Bei der Planung eines Rechenzentrums sind vor allem die
Dämmschichtbildner recht sicher die Brandausbreitung
Schutzziele zu definieren. In der Planungsphase ist zu klä-
entlang der Kabel. Die Kabel selbst sollten aus brandhem-
ren, ob die Vorschriften, Richtlinien und Schutzziele selbst
mendem Material bestehen, das zudem keine aggressiven
umgesetzt werden können. Der Einsatz erfahrener Planer
Rauchgase (z. B. PCV-freie Isolierungen) bildet.
ist zu empfehlen, da baulicher und technischer Brandschutz mit den Erfordernissen eines unterbrechungsfreien
Feuer breitet sich auch schnell und unkontrollierbar über
Rechenzentrumsbetriebes in Einklang gebracht werden
entflammbare (oder gar brennbare) Rohre aus, die an
müssen. Nachträgliche Ein- und Umbauten verschlingen
Decken und Wänden geführt sind. Schutz bieten Rohrab-
immense Summen oder führen zu einer eklatanten Erhö-
schottungen oder feuerfeste Funktionserhaltlösungen als
hung der Versicherungsprämien im Bereich Feuer- und
feuerbeständige und rauchgasdichte Barrieren.
Elektronik-Versicherung.
7.2.2 Funktionsweise und
Raumanforderungen
Nur eine reine Bauteileprüfung ist allerdings für komplexe und betriebssichere Rechenzentren keinesfalls
ausreichend. Die zu errichtenden Räume oder modularen
Sicherheitszellen müssen im Falle einer Hochverfügbar-
48
Bauteile werden nach ihrem Brandverhalten in Feuerwi-
keitslösung unbedingt einer europäisch genormten Sys-
derstandsklassen eingeteilt. Die Feuerwiderstandsdau-
temprüfung nach EN 1047-2 unterzogen werden, ebenso
erangaben belaufen sich meist auf 30, 60, 90 und 120
wie die Gewerke der Decken-Wand- und Boden-Wand-
Minuten. F 30 heißt z. B., dass beim Brandversuch bis zum
Verbindung, der Kabeleinführung, der Überdruckablei-
Feuerdurchschlag mindestens 30 Minuten vergangen
tung oder des Türbereiches. Diese aktuelle Europa-Norm
sind, bevor die Wand nicht mehr standhält. Die bauauf-
für die bauliche Rechenzentrums-Infrastruktur legt
sichtliche Bezeichnung für die Klasse F 60 ist »feuerhem-
sowohl die Stärke als auch die Zeitdauer von genau defi-
mend«, für F 90 »feuerbeständig«.
nierten Belastungen fest. Der Anwender hat damit über
Leitfaden Betriebssicheres Rechenzentrum
RZ Kategorie
Serverschrank
Serverschrank
Rechenzentrum /
Serverraum
bis zu 7 kW
ab 7 kW bis zu 40 kW
500 bis zu 2500 Watt/qm
zulässige RZ
Ausfallzeit
Baulicher Brandschutz
A
Wände, Böden, Decke, Feuerwiderstandsklasse mind. F90, Schutz gegen Rauchgas
und Spritzwasser, mind. T90-Türen, Kabelschotts in gleicher Schutzwertigkeit
Wände, Böden, Decke, Feuerwiderstandsklasse mind. F90, Schutz gegen Rauchgas
und Wasser für 30 min, mind. T90-Türen,
Kabelschotts in gleicher Schutzwertigkeit
12 h
B
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach
Europanorm EN 1047-2, Kabelschotts in
gleicher Schutzwertigkeit, Schutz gegen
Rauchgas und Spritzwasser für 60 min
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach Europanorm EN 1047-2, Kabelschotts in gleicher
Schutzwertigkeit, Schutz gegen Rauchgas
und Spritzwasser für 60 min
1h
C
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach
Europanorm EN 1047-2, Kabelschotts in
gleicher Schutzwertigkeit, Schutz gegen
Rauchgas und Spritzwasser für 60 min
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach
Europanorm EN 1047-2, Kabelschotts in
gleicher Schutzwertigkeit, Schutz gegen
Rauchgas und Spritzwasser für 60 min
10 min
D
Systemprüfung des baulichen Brandschutzes Wände, Böden, Decke, Türen: nach Europanorm EN 1047-2, Kabelschotts in gleicher Schutzwertigkeit, Schutz gegen Rauchgas und
Spritzwasser für 60 min
< 1 min
Tabelle 12: aus BITKOM-Matrix »Planungshilfe betriebssicheres Rechenzentrum« – Baulicher Brandschutz
das vom VDMA erteilte ECB-S Zertifikat die Sicherheit,
dass sein gesamtes System und nicht nur eine einzelne
„„ Anfertigen der Lastenhefte für die Einzelgewerke der
Ausschreibung
Wand oder die Tür feuerbeständig ist.
7.2.3 Empfohlene Ausstattung bei
unterschiedlichen Ausfallzeiten
„„ Sammeln der einlaufenden Angebote, Vergleichen,
Auswerten
„„ Erstellen eines Vergabe-Vorschlages für die
Besonderheiten
Entscheider
Folgende Projektierungsmerkmale sollten beachtet
werden:
„„ Festlegung der Schutzziele unter Beachtung der speziellen Anforderungen der IT-Infrastruktur
„„ Festlegung der baulichen Gegebenheiten
„„ Planung der Bauausführung – möglichst durch professionellen Planer
49
„„ 7.3 Vorbeugende und organisatorische
Brandschutzmaßnahmen
Nachfolgendes sollte bei der Planung und dem Betrieb
von Rechenzentren berücksichtigt werden:
Der vorbeugende Brandschutz in der Bundesrepublik
„„ Notfallabschaltplan
Deutschland liegt im internationalen Vergleich auf
„„ IT-Wiederanlaufplan
hohem Niveau. Trotz des mittlerweile erreichten Sicher-
„„ Brandschutzordnung
heitsstandards zeigen die Erfahrungen der letzten Jahre,
„„ Feuerwehrplan
dass das menschliche Verhalten im Brandfall über Eintritt,
„„ Brandschutzplan
Auswirkung und Ausmaß eines Brandes entscheidet
„„ Rettungswegeplan, Betriebsanweisungen
(Human Factor).
„„ Beschilderung / Kennzeichnung
„„ Vermeidung unnötiger Brandlasten
Vorbeugende und organisatorische Brandschutzmaß-
„„ Rauchverbot
nahmen werden häufig vernachlässigt. Dabei können
„„ Nahrungsmittelverbot
bei richtigen Verhalten der Beteiligten und durch eine
optimierte Brandschutzorganisation die Auswirkungen
eines Brandes gravierend begrenzt werden.
„„ Erlaubnisscheine:
„„Feuergefährliche Arbeiten
„„Einweisung von Fremdfirmen
Wird eine betriebliche Brandschutzorganisation etabliert, ist sie Führungsaufgabe und soll die Motivation der
„„ Werkschutz
Mitarbeiter fördern, sich aktiv an der Brandverhütung zu
„„ Besucherregelung
beteiligen. Bei dem Aufbau der Brandschutzorganisation
„„ Schulungen
müssen den Mitarbeitern die brandschutztechnischen
Zusammenhänge aufgezeigt und erklärt werden. Die
Bei allen Planungen sind nicht nur die aktuellen Gege-
organisatorischen Regelungen zum Brandschutz sollten
benheiten, sondern auch die absehbaren zukünftigen
in die betrieblichen Abläufe integriert werden. Nur moti-
Entwicklungen zu berücksichtigen.
vierte, informierte und eingebundene Mitarbeiter können
einen aktiven Beitrag zur Minimierung des Brandrisikos
leisten.
Die organisatorischen Brandschutzmaßnahmen ergänzen bei bestehenden Gebäuden und Anlagen die bereits
vorhandenen, vorbeugenden baulichen und anlagentechnischen Brandschutzmaßnahmen.
Bei einem Neubau dient der organisatorische Brandschutz dazu, bereits in der Planungsphase das bauliche
und anlagentechnische Schutzkonzept mitzugestalten.
50
Leitfaden Betriebssicheres Rechenzentrum
8Flächenkonzeption und Sicherheitszonen für
Rechenzentren
Sicherheit der Informationstechnik ist ein weit gefasster
Begriff, der sowohl die logische Sicherheit der Daten, die
„„ Rechenzentrum als separater, eigenständiger
Funktionsbereich
physische Sicherheit der Systeme und die organisatorische
Sicherheit der Prozesse beinhaltet. Ziel eines umfassenden
„„ Schutz vor Sabotage durch »geschützte« Lage
Sicherheitskonzeptes ist es, alle Bereiche zu betrachten,
Risiken frühzeitig zu erkennen, zu bewerten und Maßnah-
„„ Einschätzung des Gefahrenpotentials aufgrund der
men zu ergreifen, so dass die Wettbewerbsfähigkeit eines
gesellschaftlichen Stellung des Unternehmens
Unternehmens am Markt nicht gefährdet ist.
Werden alle Risikofaktoren und die unternehmensspeBetrachtet man die IT-Infrastruktur und die unterschied-
zifischen Rahmenbedingungen berücksichtigt, können
lichen Funktionsbereiche der IT, können mit einer durch-
bei der Konzeption der IT-Infrastruktur bereits im Vorfeld
dachten Konzeption wesentliche Sicherheitsrisiken der
Gefahren ausgeschlossen sowie Aufwände und Kosten
physischen Sicherheit reduziert oder sogar ausgeschlos-
vermieden werden.
sen werden. Entscheidende Rollen spielen einerseits die
Standorte der IT-Bereiche und andererseits die räumliche
Aufbau eines Rechenzentrums
Zuordnung der unterschiedlichen Funktionen zueinander.
Bei der Konzeption und Planung eines Rechenzentrums
werden die unterschiedlichen Funktionsbereiche ent-
Standort der IT-Bereiche
sprechend ihres Anspruches an die Sicherheit und ihrer
Die Konzeption einer IT-Infrastruktur und somit auch die
Wertigkeit für den Funktionserhalt der Informationstech-
Standortauswahl eines Rechenzentrums basieren auf
nik angeordnet.
dem jeweiligen Datensicherungskonzept eines Unternehmens, das die Verfügbarkeitsanforderungen und unter-
Die unterschiedlichen Funktionsbereiche lassen sich wie
nehmenspolitische Ausrichtung widerspiegelt.
in Tabelle 13 auf S. 52 einteilen.
Bei Betrachtung der physischen Sicherheit eines Standor-
Anordnung der Sicherheitszonen
tes sollten folgende Kriterien berücksichtigt werden:
Stellt man die unterschiedlichen Sicherheitszonen schematisch dar, ergibt sich beispielhaft das in Abbildung 12
„„ geringes Gefährdungspotential durch benachbarte
gezeigte Bild: Der IT-Bereich (rot) befindet sich im Inneren
Nutzungen, angrenzende Gebäudebereiche oder
und wird durch die angrenzenden Zonen 3 und 4 (gelb/
Funktionen
blau) geschützt. Die Sicherheitszonen 1 und 2 (weiß/grün)
bilden die Außenschicht. Die einzelnen Sicherheitszonen
„„ Vermeiden von Risiken durch Medien-, Versorgungs-
werden durch Sicherheitslinien getrennt.
leitungen, Erschütterungen, Chemikalien, die eine
Beeinträchtigung der physischen Sicherheit der IT-
Die Sicherheitslinien stellen den überwachten und gesi-
Systeme darstellen
cherten Übergang zwischen den Zonen dar und werden
entsprechend den Sicherheitsanforderungen des Unter-
„„ Vermeiden möglicher Gefahren durch Elementar-
nehmens ausgebildet.
risiken (Wasser, Sturm, Blitzeinschlag, Erdbeben) Abschätzung regionaler Besonderheiten
51
SicherheitsZonen
Funktion
1
2
3
4
5
Kennzeichnung
(Beispiel)
Um mögliche Sabotage zu vermeiden, bietet sich die
Grundstück
weiß
Zutrittsmöglichkeiten zu sensiblen Bereichen an. So erhält
Halböffentlicher
Bereich, angrenzende Büroflächen
grün
Operating-Bereiche, Nebenräume
der IT
gelb
Technische Anlagen zum Betrieb
der IT
blau
IT- und Netzwerkinfrastruktur
rot
52
zum Beispiel ein Wartungstechniker für die Klimaanlagen
oder USV nur den Zutritt zu den Technischen Bereichen
(blau) und nicht zum IT-Bereich (rot) des Unternehmens.
Um die Sicherheit der IT-Infrastruktur zu gewährleisten,
sind die Standorte der unterschiedlichen Funktionsbereiche und die Einteilung der Sicherheitszonen oder
Sicherheitslinien wichtig. Es kann jedoch nur im Gesamtkontext eines umfassenden Sicherheitskonzeptes, das alle
Bereiche der IT-Sicherheit betrachtet, eine kontinuierliche
Tabelle 13: Funktionsbereiche eines Rechenzentrums
Abbildung 12: Sicherzeitszonen im Rechenzentrum
Trennung der Funktionsbereiche durch eingeschränkte
IT-Verfügbarkeit realisiert werden.
Leitfaden Betriebssicheres Rechenzentrum
9Verkabelung
„„ 9.1 Ausgangssituation
Die Strukturierung von IT-Verkabelungen sowie deren
sorgfältige und vorausschauende Planung sind daher
Die primäre und originäre Aufgabe von Rechenzentren
grundlegende Aufgaben eines Rechenzentrumsbetrei-
ist der Betrieb von IT-Anwendungen auf Mainframes
bers. Auch gesetzliche Grundlagen wie Basel II oder SOX
und Servern sowie die Datenhaltung und Sicherung auf
fordern eine durchgehend stringente Transparenz.
Speichersystemen.
Aus Sicht der IT ist die entscheidende Anforderung die
„„ 9.2 Normative Grundlagen
Verfügbarkeit, also die möglichst unterbrechungsfreie
Betriebsfähigkeit der in der Regel unternehmenskriti-
Eine dem aktuellen Stand der Technik entsprechende
schen IT-Anwendungen. Typischerweise gehören dazu
Verkabelung nach DIN EN 50173-5 (VDE 0800-173-5) ist
ERP-Systeme, Produktionsanwendungen in Industrieun-
durch die Forderung nach bzw. die Festschreibung einer
ternehmen, Datenbanken, Büroanwendungen und deren
strukturierten, anwendungsneutralen IT-Verkabelung
Betriebssysteme, aber auch der Zugang zu Provider-Netz-
charakterisiert. Diese Norm spricht zudem eindeutige
werken (MAN, WAN) und zum Internet.
Empfehlungen aus, die IT-Verkabelung redundant auszulegen, um die Betriebssicherheit eines Rechenzentrums
Für die IT gilt das ISO-OSI 7 Schichten-Referenzmodell,
auf hohem Niveau sicherzustellen.
welches die Anwendung als oberste Schicht definiert
und als unterste, den sog. ersten Layer (Schicht), die zum
Die Planung, Installation und Abnahme der IT-Verkabe-
Datentransport notwendige physikalische Infrastruktur,
lung von Rechenzentren wird in der Normenreihe DIN EN
die IT-Verkabelung und die Datentransportgeräte wie z. B.
50174 (VDE 0800-174) beschrieben. Wesentliche Inhalte
Layer 1 Switches.
sind z. B. der Qualitätsplan, Sicherheitsabstände, die
Abstände von Kupfer-IT-Verkabelungen zu anderen elekt-
Für die Verfügbarkeit, also die Betriebssicherheit von
rischen Quellen zur Vermeidung von elektromagnetischen
IT-Anwendungen in einem Rechenzentrum ist daher
Störungen sowie die Dokumentation und Abnahme des
dessen IT-Verkabelung elementar: Ohne funktionierende
gesamten Rechenzentrums. Für den Potentialausgleich in
IT-Verkabelung können IT-Geräte wie Server, Switches und
Gebäuden mit informationstechnischen Anlagen ist DIN
Speicher nicht miteinander kommunizieren und Daten
EN 50310 (VDE 0800-2-310) einzuhalten.
austauschen, diese Daten nicht verarbeiten, vorhalten
oder sichern.
Häufig sind IT-Verkabelungen jedoch historisch gewach-
„„ 9.3 Qualität/Komponenten-/
Systemauswahl
sen und können den heutigen Anforderungen wie
Aufgrund der maximal hohen Verfügbarkeitsansprüche
„„ hohe Kanaldichten
und der permanent steigenden Übertragungsdatenraten
„„ hohe Übertragungsgeschwindigkeiten
sind die Qualitätsanforderungen an die IT-Verkabelungs-
„„ unterbrechungsfreie Hardwareänderungen
komponenten für Rechenzentren vielfach höher als an
„„ Serviceunterstützung
die in LANs eingesetzten Produkte. Bereits im sehr frühen
„„ Lüftungsaspekten
Planungsstadium sollte der Qualitätsgedanke bei der Auswahl der Systeme berücksichtigt werden, um Leistungs-
nur schwer genügen.
anforderungen bei
53
„„ Kabeldesign bei Kupfer und LWL
Auf die Auswahl der Lieferanten der IT-Verkabelung sollte
ebenfalls mit ausreichender Priorität geachtet werden.
„„ Bandbreiten bei Kupfersystemen und LWL-Kabeln
Die Hauptanforderung an einen verlässlichen Lieferanten
ist neben der Qualität der Verkabelungskomponenten
„„ Einfüge- und Rückflußdämpfungsbudgets bei LWL
auch das Rechenzentrums-Fachwissen, die Erfahrung in
der Rechenzentrums-IT-Verkabelung und die nachhaltige
„„ EMV-Festigkeit bei Kupfersystemen
Lieferleistung. Idealerweise sollte der Lieferant auch ganzheitliche Planungs-, Installations- und Service-Dienstleis-
„„ Updatefähigkeit auf nächst höhere
tungen anbieten.
Geschwindigkeitsklassen
„„ 9.4 Struktur
„„ 19“ Schrankdesign
Rechenzentren sind die Nervenzentralen der Unter-
zu genügen.
nehmen. Sie unterliegen daher ständigen VerändeDie IT-Verkabelungskomponenten können sowohl bei LWL
rungen, getrieben durch die kurzen Lebenszyklen der
als auch bei Kupfer werkskonfektionierte betriebsfertige
aktiven Komponenten. Um nicht mit jedem neuen
Systeme für sog. »Plug-and-Play Installationen« sein.
Gerät grundlegende bzw. tiefgreifende Änderungen an
der IT-Verkabelung durchführen zu müssen, empfiehlt
Vorkonfektionierte Systeme haben die höchstmögliche
sich eine übersichtliche und transparente, vom jeweils
und reproduzierbare Qualität und daher sehr gute Über-
aktuellen »Gerätepark« entkoppelte, physikalische
tragungseigenschaften und eine hohe Betriebssicherheit.
IT-Verkabelungsinfrastruktur.
Aufgrund der hohen Anforderungen an die Verfügbarkeit
sind im Kupferbereich nur geschirmte Systeme einzuset-
Diese sollte die jeweiligen Geräte-Standorte mit einer
zen. In DIN EN 50173-5 (VDE 0800-173-5) wird mindestens
einheitlichen und durchgängigen IT-Verkabelungsstruktur
eine Kupferverkabelung der Klasse EA gefordert.
verbinden.
Büro
Schnittstelle zum externen Netz
Telekom Raum
Hauptverteiler
Bereichsverteiler
Bereichsverteiler
Bereichsverteiler
Geräteanschluss
Geräteanschluss
Lokaler
Verteilerpunkt
Geräteanschluss
Data Center...
Backbone Verkablung
Horizontalverkablung
Abbildung 13: Schematische EN Verkabelungsstruktur nach DIN EN 50173-5
54
Leitfaden Betriebssicheres Rechenzentrum
In DIN EN 50173-5 (VDE 0800-173-5) [bzw. ISO/IEC 24764]
Besonderes Augenmerk ist dabei auf Bereiche mit hoher
wird diese festinstallierte Geräteverkabelung in die
Packungsdichte zu legen.
Segmente Bereichs-Hauptverteilungs- und Bereichsverteilungsverkabelung, an deren Ende die GA (Gerä-
Auf diese Art werden die mit einem Gerätetausch ver-
teanschluss) genannte Schnittstelle liegt, aufgeteilt. Die
bundenen Umverkabelungen sowohl vom finanziellen als
aktiven Geräte werden durch möglichst kurze, gerätespe-
auch vom zeitlichen Umfang auf ein Minimum reduziert
zifische Anschlusskabel über die GA-Schnittstelle an die
- und das unter vollständigem Erhalt der definierten
dadurch »geräteneutrale« Bereichsverteilungsverkabe-
Struktur.
lung angebunden. Damit muss beim Gerätetausch, der
oftmals mit dem Wechsel des Steckgesichts am Gerät
Die Bereichsverteilungsverkabelung sollte, wo erfor-
verbunden ist, nur das anschlussspezifische Kabel ausge-
derlich, in Kupfer und LWL ausgeführt werden, damit
tauscht werden – ohne in die Bereichsverteilungsverkabe-
verschiedene Geräte angeschlossen werden können. Die
lung eingreifen oder diese rückbauen zu müssen.
Hauptverteilungsverkabelung sollte in LWL und Kupfer
redundant ausgeführt werden.
In den GA-Schnittstellen sollten für die jeweiligen
Packungsdichteanforderungen der anzuschließenden
Geräte geeignete Stecksysteme gewählt werden. Die
Normen DIN EN 50173-5 (bzw. ISO/IEC 24764) benennen
entsprechende Stecksysteme.
„„ 9.5 Redundanz und Sicherheit
Die Anforderung der Hochverfügbarkeit bedingt die redAbbildung 14: Bereichsverteilungsverkabelung (Cu und LWLmit Bereichsverteiler (BV) und Server-/Strorageschränken mit Geräteanschluss (GA)
undante Auslegung von Verbindungen und Komponenten: So muss Hardware im laufenden Betrieb getauscht
werden können und beim Ausfall einer Leitung muss ein
Alternativweg die Applikation unterbrechungsfrei übernehmen können.
Daher ist es elementar, dass eine entsprechende gesamtheitliche IT-Verkabelungsplattform unter Berücksichtigung von Biegeradien, Sicherung der Performance
sowie schneller und zuverlässiger Montage während des
Betriebes vorgesehen wird.
Die Verfügbarkeit von Anwendungen kann durch den
Einsatz von werkseitig vorkonfektionierten IT-Verkabelungssystemen gesteigert werden. Damit reduziert sich
der Aufenthalt von Installationspersonal im Sicherheits-
Abbildung 15: Hauptverteilungsverkabelung (LWL) mit Hauptverteiler (HV)
und Anschluss an die Bereichsverteilungsverkabelung (Cu und LWL) mit
Bereichsverteiler (BV) und Server-/Storageschränken mit Geräteanschluss
(GA)
bereich des Rechenzentrums auf ein Minimum sowohl bei
der Erstinstallation als auch bei eventuellen Hardwareänderungen und bedeutet einen zusätzlichen Zugewinn bei
55
der Betriebssicherheit. Außerdem sollte darauf geachtet
und in Betrieb genommen werden können - gleiches gilt
werden, dass alle Produkte im Rahmen eines Qualitäts-
auch für Änderungen der Hardware.
managements geprüft und dokumentiert werden.
Für die Verbindung von Rechenzentren untereinander,
„„ 9.7 Dokumentation und Beschriftung
z. B. redundante Rechenzentren, Backup-Rechenzentren,
oder auch nur die einfache Auslagerung und Sicherung
Ein wesentliches Mittel zur einfachen Administration der
von Daten an einen anderen Standort, ist die Anbindung
IT-Verkabelung sowie zur sicheren Planung von Umbau-
an und die Sicherheit von MAN und WAN Provider-Netz-
ten bzw. Erweiterungen ist eine akribisch aktuell gehal-
werken (Datentransportdienste oder sog. »dark fiber«),
tene Dokumentation. Hier gibt es von »individuellen«
oder eigene LWL-Kabelstrecken von immenser Wichtigkeit
Excel-Listen bis hin zu ausgereiften softwarebasierten
für die Betriebssicherheit und Verfügbarkeit und ist wie
Dokumentationstools eine große Vielfalt an Möglichkei-
die rechenzentrumsinterne IT-Verkabelung redundant
ten. Wesentliche Anforderungen an die sogen. Systemver-
auszulegen.
waltung und Dokumentation nennt DIN EN 50174-1 (VDE
0800-174-1). Wichtig ist, dass die Dokumentation immer
„„ 9.6 Installation
auf dem aktuellsten Stand ist und der real installierten
IT-Verkabelung entspricht. Die Auswahl des Tools ist dem
Anwender überlassen.
Für einen sicheren und zuverlässigen Betrieb von LWLIT-Verkabelung im Rechenzentrum, ganz besonders bei
Eng verbunden mit der Dokumentation ist die eindeutige
deren Installation und bei Patcharbeiten, müssen die
und – auch unter eingeschränkten Lichtverhältnissen -
durchführenden Techniker auf die Spezifikation der Sys-
leicht lesbare Beschriftung der Kabel. Auch hier gibt es
teme geschult sein. Bei der Auswahl des 19« Server bzw.
zahlreiche Systeme von Identifikationsmöglichkeiten, z. B.
-IT-Verkabelungsschrankes und unter Bezug auf Kapitel
von Kabelfähnchen mit austauschbaren Etiketten bis hin
»4.1.2 Sicherer Serverschrank« ist aus Verkabelungssicht
zu Barcode-basierten Etikettenlabels. Welche Ausfüh-
zu empfehlen, mind. 800 mm breite Schranksysteme
rungsform gewählt wird, hängt von individuellen Anfor-
einzusetzen. Sie ermöglichen die Installation eines
derungen an. Entscheidend ist, dass die Nomenklatur
gesamtheitlichen Kabelmanagements in vertikaler und
unternehmenseinheitlich gestaltet ist. Es empfiehlt sich
horizontaler Ausrichtung. Die Schranktiefe ergibt sich
zur Sicherstellung einer eindeutigen Kabelbeschriftung,
in der Regel durch die zu installierenden passiven und
die Daten zentral zu verwalten.
aktiven Komponenten. Für passive Verteiler haben sich
ebenfalls mind. 800 mm tiefe Schranksysteme bewährt.
Für den Einbau aktiver Komponenten empfehlen sich
1000 bis 1200 mm tiefe Schranksysteme. DIN EN 50174-2
(VDE 0800-174-2) enthält hierzu detaillierte Anforderungen und Empfehlungen.
Der bereits unter dem Sicherheitsgedanken mögliche Vorteil von werkskonfektionierten IT-Verkabelungssystemen
zeigt sich bei der Installation in Form von Zeitersparnis.
Zu erwähnen ist, dass bei deren Einsatz bei Erweiterungen der Rechenzentrumskapazität durch Zuwachs
von IT-Geräten, diese Geräte und somit die eigentlichen
IT-Anwendungen, schnellstmöglich miteinander verkabelt
56
Leitfaden Betriebssicheres Rechenzentrum
10 Die Zertifizierung eines betriebssicheren
Rechenzentrums
„„ 10.1 Einführung
Markt haben. Ein weiterer Faktor der Akzeptanz ist der
Zertifizierungspartner. Er sollte auf dem Prüfgebiet den
Das betriebssichere Rechenzentrum vereint auf der Inf-
Sachverstand aufbieten können, die Zertifizierungspro-
rastrukturebene unterschiedliche Ingenieursdisziplinen,
zesse definiert und zugänglich gemacht haben und eine
wie z. B. Elektrotechnik, Mechanik, Bauingenieurwesen,
Akkreditierung als Zertifizierungsstelle aufweisen.
Brandschutz, Sicherheitstechnik, etc. Auf der Ebene der ITTechnik kommen nahezu alle Facetten der Informatik zum
Aufgrund der Komplexität des »Systems Rechenzent-
Einsatz und auf der organisatorischen Ebene finden sich
rum« gibt es unterschiedliche Ansätze für eine Zertifizie-
diverse Managementmethoden zur Überwachung und
rung, die Teilbereiche oder ausgewählte Eigenschaften
Steuerung der Prozesse.
eines Rechenzentrums prüfen und bestätigen. Zu den
unterschiedlichen Normen wird auf den Punkt 3 dieser
Bei der Fragestellung der Sicherheit eines Rechenzen-
Broschüre verwiesen.
trums im Sinne der Verfügbarkeit, Vertraulichkeit und
Integrität der Daten, haben sich Zertifizierungsverfahren
auf Basis von Normen und Prüfkatalogen auf folgenden
drei Bereichen etabliert:
„„ 10.2 Zertifizierungsmöglichkeiten für
Rechenzentren
„„ physische Infrastruktur
Auf der Ebene der physischen Infrastruktur eines Rechen-
„„ Informationstechnik
zentrums werden die baulichen Aspekte, die technischen
„„ organisatorische Abläufe
Versorgungssysteme (Elektro/Kälte) und die Sicherheitssysteme (Brandmelde- und Brandlöschanlage, Einbruch-
Die Zertifizierung ist ein Vorgang, bei dem ein unpartei-
meldeanlage, Zutrittskontrollanlage) auf ihre Eignung
ischer Dritter aufzeigt, dass angemessenes Vertrauen
und ihren ordnungsgemäßen Einsatz hin überprüft. Als
besteht, dass ein Produkt, ein System, eine Dienstleis-
Industriestandard für die Zertifizierung der Rechenzen-
tung oder ein Prozess in Übereinstimmung mit einer
trumsinfrastruktur hat sich der speziell darauf abge-
bestimmten nationalen und/oder internationalen Norm
stimmte TSI-Prüfkatalog vom TÜV etabliert. Die Reihe
oder einem normativen Dokument steht. Der Begriff
der Europäischen Normen EN 50600 (teilweise noch
»Norm« wird in der DIN EN 45020 wie folgt beschrieben:
in Entwicklung) legt Anforderungen für die technische
Ein Dokument, das mit Konsens erstellt und von einer
Infrastruktur von Rechenzentren und der darin betriebe-
anerkannten Institution angenommen wurde und das für
nen Anlagen fest. Es wird erwartet, dass der TSI-Katalog in
die allgemeine und wiederkehrende Anwendung, Regeln,
Zukunft diese Anforderungen abdecken wird.
Leitlinien oder Merkmale für Tätigkeiten oder deren
Ergebnisse festlegt.
Auf der Ebene der Informationstechnik findet eine
Zertifizierung in der Regel im Produktumfeld statt und
Wenn keine Norm existiert, hängt die Akzeptanz des
somit bei den Herstellern von IT-Systemen (Hardware
Zertifikats besonders von dem normativen Dokument
und Software). Hier hat sich seit Ende der 1990er Jahre
ab, inwieweit es aus der Feder von Sachverständigen
die ISO15408 – auch bekannt als Common Criteria –
stammt, es einen Konsens anderer Fachgruppen zu den
etabliert. Diese internationale Norm definiert umfang-
Vorgaben gibt und welche Verbreitung die Vorgaben im
reiche Anforderungen an die Sicherheitsfunktionen
57
und –mechanismen und macht Vorgaben an die
organisatorischen Ablauf (wie Terminplan und Umfang)
Untersuchungsmethodik.
und zu den Kosten.
Auf der Ebene der organisatorischen Abläufe gibt es eine
Der Zertifizierungsauftrag
Reihe von Zertifizierungsmöglichkeiten. Es handelt sich
Mit der Beauftragung verpflichtet sich das auftragge-
hierbei um die Zertifizierung des Sicherheitsmanage-
bende Unternehmen der Zertifizierungsstelle die erfor-
mentsystems (ISO27001 - ISMS) oder der Bewertung typi-
derliche Dokumentation zur Verfügung zu stellen. Alter-
scher Rechenzentrumsbetriebsprozesse (ISO20000 – ITIL)
nativ kann unter Umständen die Dokumentation auch vor
oder eine Überprüfung der Maßnahmen zur Aufrechter-
Ort geprüft werden. Sofern das Unternehmen es wünscht,
haltung des Geschäftsbetriebs (BS25999 – Business Con-
kann zusätzlich ein Voraudit durchgeführt werden.
tinuity). Auch Wirtschaftsprüferorganisationen bieten auf
Basis eigener Anforderungskataloge wie z. B. SAS70 oder
Durchführung des Voraudits
IDW951 Prüfleistungen an. Das Arbeitsergebnis und die
Ziel des Voraudits ist es, zu prüfen, ob die grundsätzlichen
Vorgehensweise haben einen etwas anderen Stellenwert,
Voraussetzungen für die Zertifizierung vorliegen. Es wird
da kein Zertifikat vergeben wird und in der Regel das Vier-
ermittelt, ob das Zertifizierungsaudit zum geplanten Ter-
Augen-Prinzip (Prüfinstitution und Zertifizierungsstelle)
min mit Aussicht auf Erfolg durchgeführt werden kann.
nicht zur Anwendung kommt.
Die Untersuchung im Rahmen des Voraudits beinhaltet
„„ 10.3 Der Zertifizierungsprozess
eine Sichtung und erste Bewertung der Unterlagen.
Grundsätzlich beinhaltet das Voraudit eine stichprobenartige Prüfung und erhebt keinen Anspruch auf
Ist das Rechenzentrum in Betrieb und sind die techni-
Vollständigkeit.
schen Konzepte und/oder die organisatorischen Abläufe
und Regelungen dokumentiert und im Unternehmen
Das Zertifizierungsverfahren
wirksam eingeführt, kann es durch ein unabhängiges,
Die Auditoren überprüfen beim Zertifizierungsaudit,
neutrales und zur Zertifizierung berechtigtes (akkredi-
ob die dokumentierten technischen Konzepte bzw. die
tiertes) Unternehmen zertifiziert werden. Die Institution
Verfahren und Abläufe den Anforderungen des zugrun-
prüft zunächst die Dokumentation und danach das
deliegenden Regelwerkes erfüllen und ob die technischen
System vor Ort. Der Prüfer (Auditor) verfügt über die
Installationen und die im Unternehmen definierten
erforderlichen Qualifikationen und Berufserfahrung. Ein
Prozesse und Vereinbarungen mit der Dokumentation
positives Ergebnis führt zu einem Zertifikat, welches in
übereinstimmen. Das Verfahren ist in der Regel dreistufig,
der Regel 2-3 Jahre gültig ist.
beginnend mit dem Durcharbeiten der bereitgestellten
Unterlagen und erster Begutachtung in Bezug auf das
Der Ablauf einer Zertifizierung vollzieht sich nach einem
Regelwerk, gefolgt von der Überprüfung vor Ort in Form
festen Muster, wobei es leichte Variationen in Abhängig-
eines Audits und Sichtung der technischen Realisierungen
keit von dem Prüfprogramm gibt.
und abschließend mit dem eigentlichen Zertifizierungsprozess, bei dem das in einem Bewertungsbericht festge-
Der Wahl der Zertifizierungsstelle sollte ein Informations-
haltene Ergebnis der Zertifizierungsstelle vorgelegt wird.
gespräch vorausgehen.
Auf dieser Grundlage entscheidet das Zertifizierungsgre-
Das Informationsgespräch
mium der Zertifizierungsstelle, ob ein Zertifikat erteilt
Inhalt des Informationsgespräches sind grundsätzli-
wird.
che Fragen zur Zertifizierung und Auditierung, zum
58
Leitfaden Betriebssicheres Rechenzentrum
Das Überwachungsaudit
„„ Neukundengewinnung als Türöffner für neue Märkte
Während der Gültigkeitsdauer des Zertifikates können
abhängig vom Zertifizierungsverfahren jährliche Überwa-
„„ Stärkung der Wettbewerbsfähigkeit
chungsaudits stattfinden.
„„ Schwachstellen beseitigen (Fehlervermeidung)
Inhalte der Überwachungsaudits ist die stichprobenartige
Überprüfung ob:
„„ Stärkung des Vertrauens interessierter Parteien in die
Wirksamkeit und Effizienz der Organisation
„„ die Feststellung(en) aus dem vorangegangenen Audit
behoben ist/sind,
„„ organisatorische Änderungen im Unternehmen
vorliegen,
„„ Verbesserung des Rankings und der Kreditwürdigkeit
„„ Reduktion des Aufwands für den Nachweis der
Qualitätsfähigkeit
„„ sich das Zertifizierungsobjekt geändert hat,
„„ Internationale Anerkennung und Akzeptanz
„„ das Zertifikat und das Zertifizierungslogo korrekt
„„ Möglichkeiten der Einordnung der Verfügbarkeitsei-
verwendet werden,
„„ aktuelle Änderungen relevanter Normen, Gesetze und
Vorschriften berücksichtigt wurden,
„„ das Zertifizierungsobjekt weiterhin die Anforderun-
genschaften eines Rechenzentrums
„„ Nachweis, ein Rechenzentrum nach Stand der Technik
zu betreiben
„„ Nachweis für überwachende Institutionen
gen erfüllt.
Wurden die Überwachungsaudits erfolgreich abgeschlossen, findet bei den Zertifizierungen nach zwei oder drei
„„ 10.5 Die Wahl des richtigen
Zertifizierungspartners
Jahren in einem neuen Verfahren die erneute vollständige
Überprüfung statt, bzw. bei den TSI-Zertifizierungen im
Die Wahl des richtigen Zertifizierungspartners ist ent-
Wesentlichen die Überprüfung von Änderungen seit der
scheidend für den Erfolg des Verfahrens. Wie bei jeder
letzten Zertifizierung.
Dienstleistung gibt es eine preisliche Bandbreite. Daher
ist es ratsam, mehrere Angebote einzuholen.
Die Rezertifizierung
Bei den Managementsystemen wird nach drei Jahren eine
Unter Umständen kann auch die internationale Ausrich-
Rezertifizierung vorgenommen. Bei den TSI-Zertifizie-
tung der Zertifizierungsstelle ein entscheidender Kosten-
rungen erfolgt kein Überwachungsaudit, dafür wird eine
faktor sein, wenn z. B. Standorte des Unternehmens im
Rezertifizierung bereits nach zwei Jahren durchgeführt.
Ausland in das Verfahren aufgenommen werden sollen.
„„ 10.4 Die Vorteile einer Zertifizierung
Die Qualifikation der Auditoren ist zwischen den akkreditierten Zertifizierungsstellen auf ähnlich hohem
Niveau, da die Zulassung der Auditoren seitens der
Das Zertifikat ist ein neutraler Nachweis über die Einhal-
Zertifizierungsstellen vorgegeben und von dem Akkredi-
tung der Prüfanforderungen (Norm/Industriestandard)
tierer überwacht wird. Dennoch sollte beachtet werden,
und kann folgende Vorteile bieten:
dass je nach Themenfokus (physische Infrastruktur,
59
Informationstechnik, organisatorische Abläufe) unterschiedliche Zertifizierungsverfahren mit unterschiedlicher
Prüftiefe zur Anwendung kommen und sich hier auch
Unterschiede bei der Auditorenzusammenstellung zeigen.
Daher kann keine allgemeingültige Aussage zum richtigen Zertifizierungspartner gemacht werden. Richtig
gewählt ist ein Zertifizierungspartner, wenn er die mit
der Zertifizierung verfolgten Ziele bestmöglich unterstützt und den richtigen Anwendungsbereich (physisch,
informationstechnisch, organisatorisch) abdeckt. Insofern
können auch die Referenzen der Zertifizierungsstelle wie
auch ihre Akkreditierung und Anerkennung durch Dritte
ein wichtiger Anhaltspunkt sein.
Auf den Internetseiten der Akkreditierer können für
bestimmte Normen zugelassene Prüfgesellschaften abgefragt werden, siehe hierzu http://www.dakks.de.
60
Leitfaden Betriebssicheres Rechenzentrum
11 Anhang
„„ Auswahl wichtiger Vorschriften und Regelwerke:
DIN 6280, Teil 1-15
Stromerzeugungsaggregate mit Hubkolben-Verbrennungsmotoren
T1 Allgemeine Begriffe
T2 Leistungsauslegung und Leistungsschilder
T3
Betriebsgrenzwerte für das Motor-, Generator- und Aggregatverhalten
T4
Drehzahlregelung und Drehzahlverhalten der Hubkolben Verbrennungsmotoren, Begriffe
T5
Betriebsverhalten von Synchrongeneratoren für den Aggregatbetrieb
T6 Betriebsverhalten von Asynchrongeneratoren für den Aggregatbetrieb
T7 Schalt- und Steuereinrichtungen für den Aggregatbetrieb
T8 Betriebsverhalten im Aggregatbetrieb, Begriffe
T9 Abnahmeprüfung
T10
Stromerzeugungsaggregate kleiner Leistung, Anforderungen und Prüfung
T11 Messung und Beurteilung mechanischer Schwingungen an Stromerzeugungsaggregaten mit
Hubkolben-Verbrennungsmotor
T12 Stromerzeugungsaggregate – unterbrechungsfreie Stromversorgung – dynamische USV-Anlagen
mit und ohne Hubkolben-Verbrennungsmotor
T13
Stromerzeugungsaggregate – Stromerzeugungsaggregate mit Hubkolben-Verbrennungsmotoren
für Sicherheitsstromversorgung in Krankenhäusern und in baulichen Anlagen für
Menschenansammlungen
T14
Blockheizkraftwerke (BHKW) mit Hubkolben-Verbrennungsmotoren – Grundlagen, Anforderungen,
Komponenten und Ausführungen
T15
Blockheizkraftwerke (BHKW) mit Hubkolben-Verbrennungsmotoren – Prüfungen
ISO 8528
Reciprocating internal combustion engine driven alternating current generating sets
„„ Bundesimmissionsschutzgesetz:
4.
Verordnung zur Durchführung des BimSchG, Verordnung über genehmigungspflichtige Anlagen
9.
Verordnung zur Durchführung des BimSchG, Grundsätze des Genehmigungsverfahrens
TA
Luft Technische Anleitung zur Reinhaltung der Luft
TA
Lärm Technische Anleitung zum Schutz gegen Lärm
DIN EN 50173-5
Informationstechnik – Anwendungsneutrale Kommunikationskabelanlagen –
(VDE 0800-173-5)
Teil 5: Rechenzentren
DIN EN 50174-1
Informationstechnik – Installation von Kommunikationsverkabelung –
(VDE 0800-174-1)
Teil 1: Installationsspezifikation und Qualitätssicherung, Informationstechnik
DIN EN 50174-2
Informationstechnik – Installation von Kommunikationsverkabelung –
(VDE 0800-174-2)
Teil 2: Installationsplanung und Installationspraktiken in Gebäuden
61
DIN EN 50310
Anwendung von Maßnahmen für Erdung und Potentialausgleich in Gebäuden
(VDE 0800-2-310)
mit Einrichtungen der Informationstechnik
DIN EN 50600-1
Informationstechnik – Einrichtungen und Infrastrukturen von Rechenzentren –
(VDE 0801-1)
Teil 1: Allgemeine Konzepte
E DIN EN 50600-2-1
Informationstechnik – Einrichtungen und Infrastrukturen von Rechenzentren –
(VDE 0801-2-1)
Teil 2: Gebäudekonstruktion
E DIN EN 50600-2-2
Informationstechnik – Einrichtungen und Infrastrukturen von Rechenzentren –
(VDE 0801-2-2)
Teil 2-2: Stromversorgung
DIN VDE 0100-551
Errichten von Niederspannungsanlagen – Teil 5-55: Auswahl und Errichtung elektrischer
(VDE 0551)
Betriebsmittel – Andere Betriebsmittel – Abschnitt 551: Niederspannungsstromer-
zeugungseinrichtungen
DIN VDE 0100-560
Errichten von Niederspannungsanlagen – Teil 5-56: Auswahl und Errichtung elektrischer
(VDE 0560)
Betriebsmittel – Einrichtungen für Sicherheitszwecke
DIN VDE 0100-710
Errichten von Niederspannungsanlagen – Anforderungen für Betriebsstätten, Räume und
Anlagen
(VDE 0710)
besonderer Art – Teil 710: Medizinisch genutzte Räume
DIN VDE 0100-718
Errichten von Niederspannungsanlagen – Anforderungen für Betriebsstätten, Räume und
Anlagen
(VDE 0718)
besonderer Art – Teil 718: Bauliche Anlagen für Menschenansammlungen
EVU
Anschlussbedingungen der EVU
VDEWRichtlinien Notstromaggregate
VDEW
Parallelbetrieb mit dem Niederspannungsnetz
EltBauVO
Elektrobauverordnung
VDS
Vorschriften des Verbandes der Sachversicherer
WHGWasserhaushaltsgesetz
Mineralölsteuergesetz
(Betrieb stationärer Anlagen mit Heizöl)
DIN 31051Instandhaltung
62
Leitfaden Betriebssicheres Rechenzentrum
12 Glossar
„„ 19“-Schrank
Rack mit cirka 40 HE, Gesamthöhe cirka 2 Meter Einbau-
„„ NEA
Netzersatzanlage (meist als Notstromdiesel)
breite 483 mm, Einbauhöhe wird in Höheneinheiten (HE)
gemessen, 1 HE = 44,45 mm
„„ Parallelbetrieb
zwei oder mehr Einrichtungen, die gemeinsam die
„„ CW
Chilled Water; Klimaanlagen mit Kaltwasser
„„ Datencenter
Serverraum und/oder Rechenzentrum
Versorgung von angeschlossenen Verbrauchern
durchführen
„„ Präzisionsklimaanlage
Klimaanlage, die sowohl die Temperatur als auch die
Luftfeuchtigkeit konstant halten kann. Die Parameter
„„ DX
Direct eXpansion; Klimaanlagen mit Kältemittel
der Luft an den Einlassöffnungen der IT-Geräte sollten
zwischen 22 und 27°C und zwischen 40 und 60% rF
liegen.
„„ Elektroverteilung
auch NSHV (Niederspannungshauptverteilung) oder
PDU (Power Distribution Unit)
„„ Redundant
mehrfach ausgelegt zur Erhöhung der Verfügbarkeit
(Fehlertoleranz)
„„ Emission
von einem Gerät ausgehende, auf die Umwelt einwirkende Einflüsse
„„ EMV
Elektromagnetische Verträglichkeit
„„ Skalierbar
schrittweise an den Bedarf anpassbar
„„ USV
unterbrechungsfreie Stromversorgung
„„ EVU
Energieversorgungsunternehmen
„„ Immission
von der Umwelt ausgehende, auf einen bestimmten Ort
einwirkende Einflüsse
„„ IT
Information Technology (früher EDV = elektronische
Datenverarbeitung)
„„ Modular
Aufbau eines Systems aus mehreren Modulen
(Baugruppen)
63
13 Danksagung
Der vorliegende Leitfaden »Betriebssicheres Rechenzent-
„„ Achim Pfleiderer,
rum« entstand in Abstimmung mit dem BITKOM Arbeits-
Stulz GmbH
kreis » Rechenzentrum & IT-Infrastruktur«.
„„ Dr. Jörg Richter
Wir bedanken uns ganz herzlich bei allen Mitgliedern
I.T.E.N.O.S GmbH
des Arbeitskreises für die wertvollen Diskussionen und
Anregungen sowie besonders für die Mitwirkung von:
„„ Harry Schnabel
Schnabel Consult GmbH
„„ Harald Becker
Rosenberger-OSI GmbH & Co. OHG
„„ Christian Schneider
Siemens AG
„„ Dr. Gerald Berg
Rosenberger-OSI GmbH & Co. OHG
„„ Michael Schumacher
Schneider Electric GmbH
„„ Klaus Clasen
Notstromtechnik Clasen GmbH
„„ Peter Wäsch
SCHÄFER Ausstattungs-Systeme GmbH
„„ Peter Clauss
Wagner Group GmbH
„„ Thomas H. Wegmann
DKE Deutsche Kommission Elektrotechnik Elelktronik
„„ Joachim Faulhaber
Informationstechnik im DIN und VDE
TÜV Informationstechnik GmbH
„„ Manfred Willnecker
„„ Helmut Göhl
Emerson Network Power Systems EMEA
O2 GmbH
„„ Ralph Wölpert
„„ Christian Leu
Rittal GmbH & Co. KG
Minimax GmbH & Co. KG
„„ Ingo Zimmermann
„„ Matthias Lohmann
TÜV Secure
„„ Wilhelm Lorz
Atos IT-Solutions and Services GmbH
„„ Helmut Muhm
Dipl.-Ing. W. Bender GmbH & Co.KG
„„ Torsten Ped
Notstromtechnik Clasen GmbH
64
AXA
Leitfaden Betriebssicheres Rechenzentrum
An früheren Versionen wirkten weiterhin mit:
„„ Karlheinz Volkert
Orange Business Germany GmbH)
„„ Silvia Bader
DEKRA certification GmbH
„„ Judith Wagener
Bull GmbH
„„ Aykut Güven
DEKRA certification GmbH
„„ Eckhard Wolf
AEG Power Supply Systems GmbH
„„ Frank Hauser
Server Technology International)
Unseren ganz besonderen Dank richten wir an Harry
Schnabel, langjähriger Vorsitzender des BITKOM Arbeits-
„„ Dieter Henze
kreises Rechenzentrum & IT-Infrastruktur.
Rittal GmbH & Co. KG
Informationen zu den Themen, Aktivitäten und Mit­
„„ Dr. Siegbert Hopf
Masterguard GmbH
gliedern des Arbeitskreises erhalten Sie im Internet unter:
www.bitkom.org/rechenzentren
„„ Peter Koch
Emerson Network Power Systems EMEA
„„ Knut Krabbes
QMK IT-Security+Quality
„„ Stephan Lang
Weiss Klimatechnik GmbH
„„ Ingo Lojewski
Emerson Network Power GmbH
„„ Hans-Jürgen Niethammer
Tyco Electronics AMP GmbH
„„ Thorsten Punke
Tyco Electronics AMP GmbH
„„ Zeynep Sakalli
euromicron solutions GmbH
„„ Dr. Sandra Schulz
Giesecke & Devrient GmbH
„„ Jürgen Strate
IBM Deutschland GmbH
65
Der Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.V. vertritt mehr als 2.000
Unternehmen, davon über 1.200 Direktmitglieder mit etwa 140 Milliarden Euro Umsatz und 700.000 Beschäftig­
ten. Hierzu gehören fast alle Global Player sowie 800 leistungsstarke Mittelständler und zahlreiche gründer­
geführte, kreative Unternehmen. Mitglieder sind Anbieter von Software und IT-Services, Telekommunikations- und
Internetdiensten, Hersteller von Hardware und Consumer Electronics sowie Unternehmen der digitalen Medien
und der Netzwirtschaft. Der BITKOM setzt sich insbesondere für eine Modernisierung des Bildungs­systems, eine
innovative Wirtschaftspolitik und eine zukunftsorientierte Netzpolitik ein.
Bundesverband Informationswirtschaft,
Telekommunikation und neue Medien e. V.
Albrechtstraße 10 A
10117 Berlin-Mitte
Tel.: 030.27576-0
Fax: 030.27576-400
[email protected]
www.bitkom.org