Refroidissement par immersion vs. Refroidissement direct des puces : ce que cela signifie pour vos spécifications de tuyauterie

Introduction : La décision qui arrive trop tard

La plupart des ingénieurs de centres de données choisissent leur technologie de refroidissement - immersion ou direct-sur-puce - en fonction des objectifs de densité des racks et du budget d'investissement. La spécification de la tuyauterie intervient plus tard, souvent traitée comme un détail d'exécution plutôt que comme un facteur de conception. Ce séquençage est une erreur.

Le système fluide que vous construisez autour de l’architecture de refroidissement que vous avez choisie n’est pas interchangeable. Une spécification de tuyauterie écrite pour le refroidissement à plaque froide direct-à-puce (D2C)-échouera - littéralement et opérationnellement - si elle est adaptée à une immersion monophasée-, et vice versa. Avec des densités de rack GPU dépassant désormais régulièrement 50 kW et des charges de travail d'IA poussant vers 100 kW par rack, il n'est plus facultatif de définir correctement les spécifications des tuyaux dès la phase de conception schématique. Une seule fuite dans un système D2C peut détruire un rack entier de 400 000 $ de matériel GPU en quelques secondes.

Ce guide est destiné aux ingénieurs en mécanique et en plomberie qui ont déjà pris (ou sont en train de prendre) la décision d'une architecture de refroidissement et qui doivent traduire ce choix en une spécification de tuyauterie défendable et conforme à l'ASHRAE-.

 

 

Support GPU CDU pour centre de données à refroidissement liquide direct sur puce

 

1. Deux architectures, deux logiques de boucle fluide complètement différentes

Avant de toucher à une nomenclature de canalisations, comprenez que le refroidissement par immersion et le D2C fonctionnent selon des principes hydrauliques fondamentalement différents.

Direct-vers-puce (D2C)fait circuler le liquide - généralement de l'eau déminéralisée ou un mélange d'eau-glycol - à travers des plaques froides montées directement sur les processeurs, les GPU et les ASIC. La chaleur est absorbée à la surface des copeaux et transportée vers une unité de distribution de liquide de refroidissement (CDU), qui l'échange avec le système d'eau de l'installation. Le résultat est un réseau dense et sous pression de tuyaux-de petit diamètre, de collecteurs, de raccords à déconnexion rapide-et de plaques froides, qui doivent tous fonctionner simultanément en équilibre hydraulique.

Refroidissement par immersion monophasé-submerge des cartes de serveur entières dans un fluide diélectrique - généralement un hydrocarbure synthétique ou un fluide technique - à l'intérieur d'un réservoir. La chaleur est transférée de tous les composants au fluide, qui est ensuite pompé à travers un échangeur de chaleur externe. Le réseau de canalisations externes est minime : essentiellement deux connexions par réservoir (alimentation et retour) menant à une CDU ou à une boucle de refroidissement de l'installation.

La différence architecturale est frappante : D2C répartit le défi hydraulique sur des dizaines de points de connexion par rack ; l'immersion le consolide en une boucle externe simple-à basse pression. Tout en aval de votre spécification de tuyauterie découle de cette distinction.

 

2. Sélection des matériaux de canalisation : là où ASHRAE fixe les limites

ASHRAE TC 9.9 et TC 9.6 sont explicites sur la compatibilité des matériaux. Pour les boucles de refroidissement à base d'eau D2C-, les directives interdisent le zinc, l'aluminium et le laiton contenant plus de 15 % de zinc -, qui accélèrent tous la corrosion galvanique en présence d'eau traitée. En termes pratiques, cela exclut les raccords standard en laiton jaune et les tuyaux en acier galvanisé qui restent courants dans les systèmes hydroniques CVC.

Pour la boucle Technology Cooling System (TCS) - la boucle secondaire desservant directement les plaques froides -Acier inoxydable 304 ou 316est la spécification standard. La boucle TCS utilise généralement de l'eau désionisée ou hautement traitée, qui est en réalité plus agressive contre la corrosion que l'eau municipale car elle n'a presque aucun pouvoir tampon. Une vanne d'isolement sur chaque rack, adaptée à la pression de fonctionnement du système et fabriquée en acier inoxydable 316, est requise à la fois pour l'entretien de routine et pour l'isolation des fuites d'urgence.

Pour le refroidissement par immersion, le défi matériel est entièrement différent. Le fluide diélectrique est chimiquement inerte vis-à-vis de la plupart des métaux, mais il attaque de manière agressive les élastomères - les joints EPDM standard et Buna-N utilisés dans les applications CVC gonfleront et se dégraderont dans les mois suivant un contact avec des fluides diélectriques à base d'hydrocarbures-. Le matériau de la tuyauterie lui-même (acier inoxydable, acier au carbone) est généralement compatible, mais chaque joint, joint torique et connexion flexible dans la boucle externe doit être spécifié comme étant du PTFE ou un matériau fluoropolymère adapté au fluide spécifique utilisé.

 

3. Dimensionnement des tuyaux, vitesse d'écoulement et chute de pression

ASHRAE TC 9.6 définit une vitesse maximale du fluide de2,1 m/s pour les diamètres de tuyaux supérieurs à 3 poucespour éviter l'érosion au niveau des raccords et des coudes. En dessous de 3 pouces, la limite pratique est plus proche de 1,5 à 1,8 m/s avant que le bruit et le risque d’érosion n’augmentent de manière inacceptable. Ces limites s'appliquent aux deux architectures de refroidissement mais créent des résultats de dimensionnement très différents.

Dans les systèmes D2C, le débit est dicté par la charge thermique de chaque plaque froide. À mesure que le TDP (Thermal Design Power) de la puce augmente, - les GPU H100 modernes fonctionnent à 700 W de TDP, avec les-accélérateurs de nouvelle génération projetés à 1 000 W+ -, la demande de débit par plaque froide augmente proportionnellement. Un rack de 50 kW avec refroidissement D2C peut nécessiter 8 à 12 litres par minute de liquide de refroidissement au niveau du collecteur du rack, répartis sur 8 à 16 plaques froides individuelles. Cela nécessite un équilibrage hydraulique minutieux : les plaques froides en parallèle doivent partager le flux de manière équitable, sinon les copeaux les plus chauds - généralement ceux à l'extrémité de la branche du collecteur - seront privés de capacité de refroidissement.

Dans les systèmes à immersion, la boucle de tuyau externe transporte la charge thermique complète du réservoir, mais à une vitesse et une pression beaucoup plus faibles, car le mécanisme d'entraînement à l'intérieur du réservoir est la convection et le pompage à faible-vitesse, et non un débit forcé à haute-pression. Un réservoir d'immersion de 250 kW ne nécessite généralement que 20 à 30 litres par minute via la boucle externe de l'échangeur de chaleur, à des pressions du système dépassant rarement 2 à 3 bars.

La décision de routage aérien ou souterrain affecte également le dimensionnement. Les directives de l'ASHRAE indiquent que les conduites souterraines doivent tenir compte de l'épaisseur de l'isolation et du jeu de croisement des tuyaux -, ajoutant 50 mm au diamètre du tuyau lorsque la prise en compte de l'enveloppe isolante est une erreur de planification courante qui crée des conflits de coordination avec les dispositions de carreaux de sol surélevés-.

 

4. Vannes d'isolement, crépines et contrôle des fuites : les détails des spécifications qui protègent la disponibilité

C’est là que les spécifications de tuyauterie déterminent directement la résilience opérationnelle et que la plupart des documents de spécifications sont rédigés.

Pour les systèmes D2C, chaque rack doit être équipé d'une vanne d'isolement sur les branches d'alimentation et de retour, permettant d'isoler et de vidanger un seul rack à des fins de maintenance sans arrêter les racks adjacents. Le type de vanne préféré pour cette application est unRobinet à bille fileté 3 piècesen acier inoxydable 304 ou 316. La conception du corps en trois-pièces est ici essentielle : contrairement aux vannes en une-pièce ou en deux-pièces, elle peut être démontée sur place - sans couper le tuyau ni retirer le corps de la vanne de la conduite - pour remplacer les joints ou nettoyer le siège. Dans un environnement de centre de données actif où la réduction des temps d'arrêt des racks est primordiale, cette -maintenance en ligne constitue un avantage opérationnel significatif, et non un luxe de spécification.

En amont de chaque collecteur de rack, un filtre en Y en acier inoxydable est requis pour protéger les micro-canaux de la plaque froide de la contamination particulaire. Les géométries de plaques froides pour les GPU hautes-performances utilisent des largeurs de canal aussi étroites que 0,5 à 1,0 mm ; une particule de 200 microns peut bloquer partiellement un canal et créer un point chaud localisé que la surveillance thermique risque de ne pas détecter avant le début de la limitation des copeaux. Spécifiez des crépines avec un maillage de 50 microns ou plus fin sur la boucle TCS, conformément aux directives de qualité de l'eau ASHRAE TC 9.9.

Sur le pied de retour, un clapet anti-retour en acier inoxydable empêche le flux inverse à travers l'échangeur thermique CDU lorsqu'un rack est isolé ou qu'une pompe déclenche - un événement de reflux qui peut introduire du fluide chaud dans le collecteur d'alimentation et élever la température du liquide de refroidissement sur toute la rangée avant que les commandes ne répondent.

Pour les connexions du serveur-au-collecteur, spécifiez des raccords à déconnexion rapide-à coupure sèche-avec un déversement maximal autorisé de 1 centimètre cube par cycle de déconnexion, conformément aux normes de connexion OCP (Open Compute Project). Les segments de tuyaux flexibles au niveau de ces connexions doivent être fixés avec des colliers supplémentaires à des intervalles de 150 mm pour éviter la chute de pression induite par l'affaissement-et la contrainte sur les filetages des raccords.

Pour systèmes immergés, la spécification d'isolation est plus simple mais pas triviale. Chaque réservoir nécessite des vannes d'isolement d'alimentation et de retour dimensionnées pour le débit complet du réservoir, ainsi qu'un port d'échantillonnage pour la surveillance de la qualité du fluide. Spécifiez les connexions de la boucle externe dans un matériau compatible avec le fluide diélectrique spécifique - confirmez la compatibilité par écrit avec le fournisseur de fluide avant de finaliser les spécifications, car les formulations de fluides propriétaires varient.

Le câble de détection de fuite doit être acheminé sur toute la longueur de tous les parcours de tuyauterie d'alimentation D2C, positionné au point accessible le plus bas de chaque chemin de tuyaux ou chemin de câbles. Pour les systèmes à immersion, des détecteurs de fuites à capteur ponctuel à chaque base de réservoir et au niveau du CDU sont suffisants, étant donné que les connexions de tuyaux externes sont peu nombreuses et très visibles.

 

 

Robinet à tournant sphérique fileté Leadtek 3 pièces

 

5. Une liste de contrôle pratique des spécifications avant de procéder à la construction

Avant que vos spécifications de tuyauterie ne quittent l'équipe d'ingénierie, vérifiez les éléments suivants par rapport à l'architecture de refroidissement que vous avez choisie :

Conformité matérielle: Tous les métaux en contact avec le produit sont confirmés exempts d'alliages de zinc et d'aluminium (D2C) ; tous les élastomères sont confirmés compatibles avec la chimie des fluides diélectriques (immersion)

Contrôle de vitesse: Maximum 2,1 m/s sur les tuyaux d'un diamètre supérieur ou égal à 3", selon ASHRAE TC 9.6

Vannes d'isolement : Un robinet à bille fileté 3 pièces par rack, alimentation et retour, avec maintenance en ligne-(D2C)

Évaluation du filtre: Maille inférieure ou égale à 50 microns sur alimentation TCS, en amont de chaque collecteur de rack (D2C)

Emplacement du clapet anti-retour: branche de retour CDU, chaque branche de retour de rack (D2C)

Spécification de déconnexion rapide- : Rupture à sec-, déversement inférieur ou égal à 1 cc, conforme à l'OCP-(D2C)

Détection de fuite: Câble continu sur tous les parcours d'alimentation (D2C) ; capteurs ponctuels à la base du réservoir et au CDU (immersion)

Dégagement au sol: Diamètre extérieur du tuyau plus isolation plus jeu de croisement de 50 mm confirmé dans le modèle de plancher vide

Plan de traitement de l'eau : programme chimique spécifique au site- lancé avant le remplissage du système, avec protocole de surveillance continue spécifié

 

Conclusion : Spécifiez le système de canalisations pour qu'il corresponde à l'architecture de refroidissement, et non l'inverse.

La décision en matière de technologie de refroidissement et les spécifications de tuyauterie ne sont pas des étapes séquentielles - : il s'agit d'une seule décision d'ingénierie intégrée. Le choix entre le refroidissement par immersion et D2C détermine la logique hydraulique, les contraintes matérielles, la stratégie d'isolation et le profil de risque de fuite de l'ensemble de votre système fluide. Essayer d'adapter une spécification générique de tuyau hydronique CVC à l'une ou l'autre architecture produira un système qui sera sous-performant sur le plan opérationnel et créera une exposition inutile à la maintenance.

Impliquez vos spécifications de tuyauterie lors de la conception schématique, parallèlement à la sélection de l'architecture de refroidissement. Utilisez ASHRAE TC 9.6 et TC 9.9 comme cadre de conformité de base et vérifiez chaque sélection de matériaux par rapport à la chimie réelle du fluide dans votre système - et non à une hypothèse générique « eau ». Les 30 minutes consacrées à l'obtention du type de vanne d'isolement et du maillage du filtre dès la phase de spécification permettront d'économiser considérablement plus de 30 minutes sur les temps d'arrêt futurs.

 

FAQ

Q : Puis-je utiliser des tuyaux en acier au carbone CVC standard pour une boucle de refroidissement-directe-des copeaux ?

L'acier au carbone est utilisé dans les boucles d'eau glacée côté installation (FWS), mais il n'est pas approprié pour la boucle du système de refroidissement technologique (TCS) qui dessert directement les plaques froides. La boucle TCS fait circuler de l'eau hautement purifiée à faible teneur en ions, qui est plus corrosive pour l'acier au carbone que l'eau CVC traitée. Spécifiez l’acier inoxydable 304 ou 316 pour tous les tuyaux et raccords à boucle TCS.

Q : Pourquoi le fabricant de mon CDU spécifie-t-il une taille de raccordement de tuyau différente de celle de mon fournisseur de plaques froides ?

Les CDU et les plaques froides proviennent souvent de différents fabricants et sont conçus selon différentes hypothèses de résistance à l'écoulement interne. L'inadéquation des tailles de connexion est un problème d'équilibrage hydraulique : si le CDU s'attend à 10 L/min à 2 bars et que les plaques froides nécessitent collectivement 14 L/min pour maintenir les températures de jonction des puces, aucune des spécifications du fournisseur n'est fausse - la conception du système ne les a pas réconciliées. Un modèle hydraulique de la boucle TCS complète, de la sortie CDU à chaque plaque froide et inversement, doit être réalisé avant de finaliser tout dimensionnement de connexion.

Q : À quelle fréquence les crépines Y doivent-elles être nettoyées sur une boucle de refroidissement D2C ?

Au cours des 90 premiers jours de fonctionnement, inspectez mensuellement les paniers-crépines. - les nouveaux systèmes de tuyauterie rejettent des particules à mesure que les revêtements des tuyaux durcissent et que les raccords se déposent. Après la période de rodage-, une inspection trimestrielle est généralement suffisante pour les systèmes-en boucle fermée avec surveillance continue de la qualité de l'eau. Si votre CDU intègre un capteur de pression différentielle à travers la crépine, réglez une alarme à 0,3 bar delta-P comme référence du panier propre-.

Q : La tuyauterie de refroidissement par immersion est-elle plus simple à spécifier que le D2C ?

Le réseau de canalisations externes pour le refroidissement par immersion est nettement plus simple : - moins de points de connexion, une pression plus faible et pas de distribution par collecteur-au niveau du rack. Cependant, la spécification du matériau est plus complexe car la compatibilité des fluides diélectriques doit être vérifiée pour chaque élastomère, joint et connecteur flexible du système. Le mode de défaillance lié à une mauvaise compatibilité des matériaux dans un système à immersion est lent et difficile à détecter : dégradation du joint sur 12 à 18 mois, suivie d'une perte et d'une contamination progressives du fluide, plutôt que de la fuite immédiate et visible que produisent les systèmes D2C.

Q : Quelle est la hauteur minimale de vide dans le sol requise pour que les tuyaux de refroidissement D2C passent sous un plancher surélevé ?

Les directives ASHRAE ne fixent pas de minimum universel, car cela dépend du diamètre des tuyaux, des spécifications d'isolation et du fait que les tuyaux se croisent. Une règle de planification pratique consiste à prévoir le plus grand diamètre extérieur du tuyau, plus 75 mm d'isolation de tous les côtés, plus 50 mm d'espace libre au-dessus pour les tuyaux de croisement, plus 25 mm en dessous pour les supports. Pour une conduite d'alimentation de 4- pouces avec une isolation de 25 mm, cela donne un vide au sol minimum d'environ 300 mm - plus grand que le vide de 250 mm courant dans les anciens centres de données à plancher surélevé, ce qui constitue une contrainte de rénovation qui mérite d'être identifiée dès le début.