Zusammenfassung
Medizinische Forschung braucht leistungsfähige IT. Gemeinsam mit NTT DATA hat Helmholtz Munich seine HPC-Infrastruktur mit 360 GPUs in das Colocation-Rechenzentrum „NTT Global Data Centers Munich 2“ verlagert und so die Grundlage für effizientes Scientific Computing der nächsten Generation geschaffen – wirtschaftlicher und deutlich nachhaltiger als zuvor im eigenen Rechenzentrum.
Herausforderung
Zukunftssichere Rechenzentrumsstrategie für biomedizinische Forschung
Moderne biomedizinische Forschung ist ohne High Performance Computing (HPC) kaum noch denkbar. Am Helmholtz Institut in München hat die Verarbeitung wissenschaftlicher Daten auf eigener Infrastruktur höchste Priorität. Cloud-Ressourcen kommen nur punktuell zum Einsatz, etwa wenn zusätzliche Rechenleistung über nationale Systeme, wie das Hochleistungsrechenzentrum in Jülich, benötigt wird. Mit dem zunehmenden Einsatz KI-gestützter Verfahren und datenintensiver Anwendungen steigt kontinuierlich der Bedarf an skalierbarer Rechenleistung. In der Praxis bedeutet das: Klassische CPU-basierte Systeme müssen eng mit GPU-beschleunigtem Computing zusammenspielen. Entsprechend wurde vor Ort ein leistungsstarker HPC-Cluster aufgebaut.
Das bestehende Rechenzentrum stieß jedoch an seine Grenzen. Weder die verfügbare Fläche noch die Energieversorgung und Kühlung konnten mit den steigenden Anforderungen Schritt halten. Insbesondere GPUs mit ihrer hohen Leistungsdichte erfordern deutlich mehr elektrische Kapazität pro Rack und erzeugen erheblich mehr Abwärme als klassische CPU-Systeme. Ein effizienter und nachhaltiger Betrieb war unter diesen Bedingungen nicht mehr gewährleistet. Gleichzeitig bestand die klare Anforderung, die Infrastruktur perspektivisch auf Flüssigkühlung umzustellen. Interne Wirtschaftlichkeitsanalysen zeigten, dass ein Umzug in ein Colocation-Rechenzentrum die sinnvollste Option ist. Vor diesem Hintergrund suchte die IT von Helmholtz Munich nach einem erfahrenen Partner, der sowohl die aktuellen Herausforderungen als auch zukünftige Anforderungen zuverlässig adressieren kann.
Mit insgesamt 300 HPC-Servern, davon 100 mit 360 GPUs, zählen wir zu den leistungsstärksten IT-Clustern weltweit. NTT Global Data Centers stellt uns eine hochperformante, effiziente und zukunftssichere Rechenzentrumsinfrastruktur zur Verfügung. Durch gemeinsame Projekte profitieren wir insbesondere von ihrer umfangreichen Expertise in Rechenzentrumsdesign und Flüssigkühlung. Ausschlaggebend waren zudem der konsequente Einsatz nachhaltiger Energie sowie die Nähe zum Standort Munich 2.”
Lösung
Colocation schafft eine skalierbare und nachhaltige HPC-Infrastruktur
Im Rahmen eines langfristigen Transformationsprojekts zur Modernisierung der IT-Infrastruktur prüfte Helmholtz Munich verschiedene Optionen und entschied sich für eine weitere strategische Zusammenarbeit innerhalb der NTT Group. Das neue Rechenzentrum befindet sich heute im Colocation-Standort Munich 2 von NTT Global Data Centers, nur rund zehn Kilometer vom Institut entfernt.
Als führende Forschungseinrichtung im Bereich der biomedizinischen Wissenschaften untersucht Helmholtz Munich unter anderem, wie sich Umweltfaktoren wie der Klimawandel auf die menschliche Gesundheit auswirken. Entsprechend war Umweltverträglichkeit ein zentrales Kriterium bei der Auswahl des Colocation-Anbieters. Der Standort Munich 2 zeichnet sich durch ein innovatives Kühlungskonzept aus: Natürlich kühles Grundwasser aus dem Alpenvorland wird zur energieeffizienten Kühlung genutzt. In Kombination mit dem ausschließlichen Einsatz erneuerbarer Energien erfüllt das Rechenzentrum zentrale Anforderungen an einen nachhaltigen IT-Betrieb.
Die Migration erfolgte schrittweise. Zunächst wurden 15 Server im Colocation-Rechenzentrum installiert, um den Betrieb unter realen Bedingungen zu testen. Anschließend wurden 300 bestehende HPC-Server sowie rund 400 weitere Systeme und Speichereinheiten in drei Phasen verlagert. Der Transport der Speichersysteme wurde durch den jeweiligen Hersteller durchgeführt. Zwei dedizierte, redundant ausgelegte Leitungen verbinden Helmholtz Munich mit dem neuen Standort und gewährleisten hohe Bandbreite sowie Ausfallsicherheit.
Aktuell werden sowohl CPU- als auch GPU-Systeme über eine klassische Luft-Wasser-Kühlung betrieben. Perspektivisch ist jedoch der Übergang zur direkten Flüssigkühlung der HPC-Racks geplant. NTT Global Data Centers betreibt bereits eines der weltweit größten flüssigkeitsgekühlten Rechenzentren in Utah, USA. Seit Jahren werden die Rechenzentren so konzipiert, dass eine Nachrüstung von Flüssigkeitskühlung jederzeit möglich ist. Die Kühlinfrastruktur ist dabei strikt von den Colocation-Bereichen der Kunden getrennt und architektonisch darauf ausgelegt, Flüssigkeitskühlsysteme direkt zu integrieren.
Spitzenforschung erfordert heute eine leistungsfähige IT-Infrastruktur. Den HPC-Cluster im eigenen Rechenzentrum zu betreiben, war für uns keine tragfähige Option mehr. Als wir 2021 eine neue Infrastruktur geplant haben, haben wir sie auf die Anforderungen des Jahres 2030 ausgelegt. Wir gehen aber davon aus, diese bereits 2026 zu erreichen, also ganze vier Jahre früher als erwartet. Die Leistungssprünge bei GPUs sind enorm, gleichzeitig steigen kontinuierlich die Anforderungen an die Sicherheit. Unsere Erfahrung bestätigt die Entscheidung: Um mit dieser Entwicklung Schritt zu halten, braucht es einen leistungsstarken Colocation-Partner.“
Ergebnis
Starke Partnerschaft für innovatives und zuverlässiges High Performance Computing
Noch vor wenigen Jahren wurden sämtliche IT-Aufgaben bei Helmholtz Munich dezentral von den Forschungsteams selbst übernommen. Inzwischen hat sich die IT-Organisation zu einem zentralen Enabler entwickelt, der den Betrieb der komplexen Infrastruktur steuert und Forschende gezielt entlastet. So können sich die Teams vollständig auf ihre wissenschaftliche Arbeit konzentrieren. Heute greifen 600 bis 700 Nutzer:innen in rund 500 parallel laufenden Projekten auf die Rechenkapazitäten zu. Durch den Umzug in das Colocation-Rechenzentrum von NTT Global Data Centers konnte Helmholtz Munich Effizienz und Flexibilität deutlich steigern.
Zusätzliche Rechenleistung lässt sich kurzfristig bereitstellen, wodurch sich Durchlaufzeiten verkürzen – ein entscheidender Vorteil für zeitkritische Forschungsprojekte.
Unter Anleitung der Experten von NTT GDC können neue Kühlungsoptionen evaluiert und umgesetzt werden. So lassen sich aktuelle wie auch zukünftige Anforderungen zuverlässig erfüllen - eine entscheidende Voraussetzung, um die Spitzenposition in der Life-Science-Forschung zu behaupten.
Im operativen Alltag bringt die Zusammenarbeit spürbare Entlastung: Zusätzliche Services wie individuelle Reportings oder kleinere Anpassungen an der Infrastruktur vor Ort reduzieren den Aufwand für das interne IT-Team.
Die partnerschaftliche Zusammenarbeit mit NTT GDC zahlt sich bereits aus. Während viele Forschungseinrichtungen den Aufbau und Betrieb eigener HPC-Umgebungen scheuen, zeigt Helmholtz Munich, dass sich leistungsfähige und zukunftssichere HPC-Infrastrukturen im Colocation-Modell erfolgreich realisieren lassen.