Da KI und High-Power-Computing die Rack-Lasten auf 30 kW oder sogar 100 kW in modernen Clustern treiben, stößt die herkömmliche Luftkühlung bei etwa 20 kW an ihre Grenzen. Unkontrollierte Temperaturen verschwenden nicht nur Energie und erhöhen den PUE-Wert, sie verkürzen auch die Lebensdauer der Chips, erzwingen Verlangsamungen und belasten sowohl die Leistung als auch das Budget. Durch die Verwendung von Flüssigkeiten mit hervorragender Wärmeaufnahme und -übertragung senkt die Flüssigkeitskühlung den PUE-Wert auf 1,1-1,2, reduziert den Energieverbrauch um 20-30% und entwickelt sich schnell zu einem Muss für moderne Rechenzentren.
Aber welche Arten der Flüssigkeitskühlung gibt es? Und warum sind sie in puncto Leistung, Kosten und Zuverlässigkeit besser als Luftlösungen? In den folgenden sechs Abschnitten finden Sie Antworten auf diese Fragen sowie praktische Tipps für die Einführung und einen Ausblick auf den Markt - ein umfassender Leitfaden für die Ära der Flüssigkeitskühlung.
"Flüssigkühlung" ist nicht nur eine Sache - es ist ein Spektrum, das von Warmwassertüren bis zu vollständig eingetauchten "Bademaschinen" reicht.
Es gibt vier Haupttypen: Kühlplatten, einphasige Tauchkühlung, zweiphasige Tauchkühlung und direkte Spankühlung. Kühlplatten sind führend, da sie sich bewährt haben und in 90% vielen Projekten eingesetzt werden.
Kühlplatten sind die Hauptstütze, aber Tauch- und Strahlkühlung sind der Schlüssel für extreme Hochleistungsszenarien.
Die Kühlung mit Kühlplatten hat sich aufgrund ihrer krisensicheren Stabilität, ihres günstigen Preises und ihrer einfachen Nachrüstbarkeit zu einem beliebten Mittel für Rechenzentren entwickelt.
Bei einem 30-kW-Rack liegen die Investitionskosten für Kühlplatten bei etwa 21.000 RMB/IT kW und die monatlichen Betriebskosten bei nur 685 RMB/IT kW - weniger als bei Luftkühlung oder Tauchkühlung.
Kühlplatten aus Kupfer oder Aluminium, die mit Rillen oder Mikrokanälen versehen sind, liefern etwa 25 W/cm²-K. Da das Kühlmittel nie mit der Elektronik in Berührung kommt, ist eine Nachrüstung problemlos möglich - es müssen lediglich eine CDU und einige Rohrleitungen hinzugefügt werden. Die ASHRAE Datacom Series, der EU-Verhaltenskodex und das US DOE geben alle Spezifikationen für die Wasserreinheit und -temperatur von Kühlplatten vor. Und in der realen Welt? Als Equinix seine A100-GPUs von Luft- auf Kühlplattenkühlung umstellte, sank der PUE-Wert von 1,6 auf 1,15, wobei 30% Strom eingespart und die Dichte pro Rack auf 30 kW verdoppelt wurde.
Wenn die GPUs 800 W oder sogar 1 kW pro Stück leisten, kommen selbst Kühlplatten ins Schwitzen.
Einphasige Immersion kühlt problemlos 1-kW-GPUs. Zweiphasen-Tauchkühlung und Jet-Kühlung heben die Grenzen für die Wärmebehandlung noch weiter an (über 300 W/cm²-K).
Bei der Eintauchkühlung werden die Server vollständig in dielektrische Flüssigkeit getaucht, wodurch der "Luftspalt" herkömmlicher Designs entfällt. Hypertecs Bottom-Flow-GPU-Racks in Kombination mit kundenspezifischen Radiatoren kühlen 1000-W-GPUs effizient und ohne Unterbrechung. Die Zwei-Phasen-Tauchkühlung nutzt die Vorteile des Phasenwechsels, um große Gewinne zu erzielen, hat aber mit den Kosten für Kältemittel und der Sicherheit zu kämpfen. Die Jet-Kühlung, bei der die Chips mit einem Kühlmittelnebel besprüht werden, bietet die höchstmögliche theoretische Wärmeabfuhr, wird aber aufgrund der Komplexität nur in der Forschung eingesetzt. Gegenwärtig werden diese Technologien in begrenztem Umfang in der KI-Forschung und -Entwicklung sowie im Verteidigungsbereich eingesetzt, werden aber durch den Preis und das Fehlen ausgereifter Normen von einer breiteren Anwendung abgehalten.
Jedes Projekt steht und fällt mit drei Fragen: Was wird es kosten? Wie schnell amortisiert es sich? Wird es wirklich sparen?
Für ein typisches 30-kW-Rack liegen die TCO für Kühlplatten bei nur 1.057 RMB/IT-kW-Monat und schlagen die Luftkühlung um 14%. Die einphasige Tauchkühlung ist zwar teurer, liegt aber bei den Gesamtkosten etwa gleichauf mit der Luftkühlung.
Die Kosten für die Kühlplatten entfallen hauptsächlich auf die Platten, Rohre und die CDU - etwa 60% der Gesamtkosten. Laufende Kosten entstehen durch Pumpen und Wasseraufbereitung. Einphasiges Eintauchen wird teuer (31.000 RMB/IT kW) wegen der Flüssigkeiten und der speziellen Tanks. Luft scheint billig zu sein, aber der Betrieb mit all den zusätzlichen Wechselstromkosten bedeutet, dass sich die Flüssigkühlung innerhalb von zwei Jahren amortisiert. Nach Angaben von NVIDIA könnte die Umstellung aller CPU-Server auf GPUs und Flüssigkeitskühlung über eine Billion kWh pro Jahr einsparen - das ist $100 Milliarden wert.
Flüssigkeitskühlung spart Energie, aber ein einziges Leck kann alles zunichte machen.
Befolgen Sie diese sieben eisernen Regeln - ASHRAE-Wasserqualität, CDN-Redundanz mit zwei Kreisläufen, vierteljährliche Druckkontrollen, stabile Kühlmittel, Standard-Racks, Wachstumsplanung für 30-100 kW und AI-Wärmekontrolle - für ein risikofreies System
ASHRAE rät zu Wasserkreisläufen unter 100 µS/cm; in Europa wird ein Kühlmittel von 20-45°C empfohlen. Verwenden Sie EPDM/FKM-Dichtungen für Kühlplatten und führen Sie saisonale (1 bar) Lufttests durch; achten Sie auf den Flüssigkeitsstand und die chemische Stabilität in Eintauchsystemen. Das US DOE empfiehlt einen Wärmeaustausch zwischen dem Gebäude und den technischen Kühlkreisläufen. Die intelligenten Rohrleitungen von Hypertec reduzieren die erforderlichen Überprüfungen von monatlich auf vierteljährlich. Im besten Fall kann eine Verbindung zu einer DCIM-Plattform hergestellt werden, um durch maschinelles Lernen Pumpengeschwindigkeiten und Ventile einzustellen und so den PUE-Wert noch weiter zu senken.
Manchmal sprechen die Märkte lauter als die Spezifikationen.
Bis 2028 wird die Kühlung durch Kühlplatten für 25% CPU-Server (135 Milliarden RMB) und 55% GPU-Server (>500 Milliarden RMB) prognostiziert.
Weltweit werden voraussichtlich über 36 Millionen CPU-Server (durchschnittlich 290 W) und 15 Millionen GPU-Server (durchschnittlich 1800 W) ausgeliefert. Die Flüssigkeitskühlung mit Kühlplatten kostet nur 3.400 RMB/kW, verglichen mit 9.600 RMB für die Tauchkühlung. In China decken große Unternehmen wie Yingwei Tech und Inspur die gesamte Wertschöpfungskette ab; in Übersee dominieren CoolIT und Asetek den High-End-Einsatz. Ein Blick in die Zukunft: Aluminiumkühlplatten und Kunststoffrohre senken die Kosten um 15%; Nanofluide könnten die Wärmeübertragung erhöhen, müssen aber noch Stabilität und Kosten beweisen. Mikrokanalkühlung für Chips könnte 300 W/cm² überschreiten, ist aber noch nicht auf dem Markt. KI-gestützte Steuerungen und Edge-Center bedeuten noch mehr Wachstum.
Wenn ein Techniker im Live-Einsatz nicht überzeugen kann, ist er nur ein Slide-Deck.
Die flüssigkeitsgekühlten Grafikprozessoren A100 und H100 von NVIDIA haben die PUE von 1,6 auf 1,15 gesenkt, die Rechendichte verdoppelt und werden in Equinix-Rechenzentren massenhaft eingesetzt.
Das A100 verwendet Kupferkühlplatten mit Mikrokanälen, um 70% Hotspots zu kühlen; das H100 bietet eine Direktkühlung mit geschlossenem Kreislauf für weniger Wassernachfüllungen. Sie unterstützen PCIe, SXM und OAM und können in ASUS- und Foxconn-Racks eingesetzt werden - spezielle Gehäuse sind nicht erforderlich. Mit 30% Energieeinsparung behauptet NVIDIA, dass eine weltweite Umstellung auf flüssigkeitsgekühlte Grafikprozessoren mehr als eine Billion kWh pro Jahr einsparen könnte: so viel wie Frankreich in einem Jahr verbraucht. Equinix-Pilotprojekte beweisen, dass die Rack-Dichte von 15 kW auf 30 kW ansteigen kann, mit genügend Kühlungsspielraum für AI-Setups mit 100 kW/Rack.
In der heutigen Welt mit hoher Leistungsdichte und niedrigem PUE-Wert ist die Flüssigkeitskühlung kein Luxus, sondern eine Notwendigkeit. Kühlplatten sind aus gutem Grund in 90% Racks zu finden; Tauch- und Jet-Kühlung setzen sich nun auch bei den leistungshungrigsten Anwendungen durch. Mit robusten Sicherheits-, Wartungs- und KI-gestützten Steuerungen wird Ihre Anlage für den nächsten Sprung bereit sein. Bis 2028 wird der Markt für Flüssigkeitskühlung ein Volumen von 600 Milliarden RMB erreichen, wobei Mikrokanäle und Nanofluide die nächsten großen Schritte sein werden. Wenn Sie Ihre sieben Implementierungsregeln, vier globalen Standards und die Akteure der Branche kennen, werden Sie das Rennen um die kühlsten (und heißesten!) Rechner anführen.
Im Folgenden finden Sie einige wichtige Begriffe aus dem Bereich der Flüssigkeitskühlung, die Ihnen helfen, die Technologie zu verstehen: