침수 냉각 대. 직접-To-칩 냉각: 배관 사양에 미치는 영향

서론: 너무 늦게 일어나는 결정

대부분의 데이터 센터 엔지니어는 랙 밀도 목표와 자본 예산에 따라 냉각 기술을 - 침수 또는 직접--칩-으로 선택합니다. 배관 사양은 나중에 나오며 설계 드라이버가 아닌 실행 세부 사항으로 처리되는 경우가 많습니다. 그 순서는 실수입니다.

선택한 냉각 아키텍처를 기반으로 구축한 유체 시스템은 상호 교환이 불가능합니다. 직접-칩(D2C) 냉간-플레이트 냉각용으로 작성된 배관 사양은 단상 침수로 개조할 경우 -문자 그대로 및 작동상 -실패하며 그 반대의 경우도 마찬가지입니다. 이제 GPU 랙 밀도가 일상적으로 50kW를 초과하고 AI 워크로드가 랙당 100kW를 향해 나아가는 상황에서 회로도 설계 단계에서 파이프 사양을 올바르게 설정하는 것은 더 이상 선택 사항이 아닙니다. D2C 시스템의 단일 누출로 인해 GPU 하드웨어의 전체 랙 $400,000가 단 몇 초만에 중단될 수 있습니다.

이 가이드는 이미 냉각 아키텍처를 결정했거나 결정하고 있으며 해당 선택을 방어 가능한 ASHRAE-호환 배관 사양으로 변환해야 하는 기계 및 배관 엔지니어를 위해 작성되었습니다.

 

 

칩 액체 냉각 데이터 센터 GPU 랙 CDU에 직접 연결

 

1. 두 가지 아키텍처, 완전히 다른 두 가지 유체 루프 로직

파이프 일정을 다루기 전에 침수 냉각과 D2C가 근본적으로 다른 유압 원리로 작동한다는 점을 이해하십시오.

칩으로-직접-(D2C)액체 - 일반적으로 탈이온수 또는 물-글리콜 혼합물-을 CPU, GPU 및 ASIC에 직접 장착된 냉각판을 통해 순환시킵니다. 열은 칩 표면에서 흡수되어 CDU(냉각수 분배 장치)로 운반되어 시설 용수 시스템과 교환됩니다. 그 결과, 작은-직경의 파이프, 매니폴드, 신속 분리 피팅 및 냉각판으로 구성된 조밀하고 가압된 네트워크가 형성되었으며, 이 모든 것이 동시에 유압 균형에서 작동해야 합니다.

단상-침수 냉각전체 서버 보드를 탱크 내부의 유전체 유체(- 일반적으로 합성 탄화수소 또는 가공 유체-)에 담급니다. 열은 모든 구성 요소에서 유체로 전달된 다음 외부 열 교환기를 통해 펌핑됩니다. 외부 파이프 네트워크는 최소입니다. 기본적으로 CDU 또는 시설 냉각 루프로 연결되는 탱크당 2개의 연결(공급 및 회수)입니다.

아키텍처상의 차이점은 뚜렷합니다. D2C는 랙당 수십 개의 연결 지점에 걸쳐 유압 문제를 분산합니다. 담그면 이를 간단한 저압-외부 루프로 통합합니다. 배관 사양의 모든 다운스트림은 이러한 구별에서 비롯됩니다.

 

2. 파이프 재료 선택: ASHRAE가 경계를 설정하는 곳

ASHRAE TC 9.9 및 TC 9.6은 재료 호환성을 명시합니다. D2C 수성- 기반 냉각 루프의 경우 지침에서는 처리된 물이 있을 때 갈바닉 부식을 가속화하는 15% 이상의 아연을 함유한 아연, 알루미늄 및 황동을 금지합니다.- 실용적인 측면에서 이는 HVAC 순환수식 시스템에서 일반적으로 사용되는 표준 노란색 황동 피팅과 아연 도금 강철 파이프를 배제합니다.

기술 냉각 시스템(TCS) 루프의 경우 - 냉각판을 직접 제공하는 보조 루프 -304 또는 316 스테인레스 스틸표준사양 입니다. TCS 루프는 일반적으로 탈이온수 또는 고도로 처리된 물을 사용하는데, 이는 완충 용량이 거의 없기 때문에 실제로 생활용수보다 부식에 더 공격적입니다. 시스템의 작동 압력에 맞게 등급이 지정되고 316 스테인리스로 제조된 각 랙의 격리 밸브는 일상적인 유지 관리 및 비상 누출 격리를 위해 필요합니다.

침수 냉각의 경우 재료 문제가 완전히 달라집니다. 유전체 유체는 대부분의 금속에 대해 화학적으로 불활성이지만 엘라스토머 - 표준 EPDM을 공격적으로 공격하며 HVAC 응용 분야에 사용되는 Buna-N 개스킷은 탄화수소- 기반 유전체 유체와 접촉한 지 몇 달 내에 부풀어오르고 성능이 저하됩니다. 배관 재료 자체(스테인리스, 탄소강)는 일반적으로 호환되지만 모든 개스킷, O-링 및 외부 루프의 유연한 연결은 사용 중인 특정 유체에 맞는 PTFE 또는 불소중합체 재료로 지정되어야 합니다.

 

3. 파이프 크기, 유속 및 압력 강하

ASHRAE TC 9.6은 최대 유체 속도를 다음과 같이 설정합니다.3인치보다 큰 파이프 직경의 경우 2.1m/s피팅과 굽힘 부분의 침식을 방지합니다. 3인치 미만에서는 소음 및 침식 위험이 허용할 수 없을 정도로 증가하기 전 실제 한계는 1.5~1.8m/s에 더 가깝습니다. 이러한 제한은 두 냉각 아키텍처 모두에 적용되지만 크기 조정 결과는 매우 다릅니다.

D2C 시스템에서 유량은 각 냉각판의 열 부하에 따라 결정됩니다. 칩 TDP(열 설계 전력)가 증가함에 따라 - 최신 H100 GPU는 700W TDP에서 작동하며, -1,000W로 예상되는 차세대 가속기+ -에서 냉각판당 흐름 수요도 그에 비례하여 증가합니다. D2C 냉각 기능을 갖춘 50kW 랙에는 8~16개의 개별 냉각판에 분산된 랙 매니폴드에 분당 8~12리터의 냉각수가 필요할 수 있습니다. 이로 인해 신중한 유압 밸런싱이 필요합니다. 병렬 냉각판은 흐름을 공평하게 공유해야 합니다. 그렇지 않으면 가장 뜨거운 칩(- 일반적으로 매니폴드 분기 끝에 있는 칩-)에 냉각 용량이 부족하게 됩니다.

침수 시스템에서 외부 파이프 루프는 전체 탱크 열 부하를 전달하지만 탱크 내부의 구동 메커니즘은 강제 고압 흐름이 아닌 대류 및 저{0}}펌프이기 때문에 속도와 압력이 훨씬 낮습니다. 250kW 침수 탱크는 일반적으로 외부 열 교환기 루프를 통해 분당 20~30리터만 필요하며 시스템 압력은 2~3bar를 거의 초과하지 않습니다.

오버헤드와 바닥 아래 라우팅 결정도 크기 조정에 영향을 미칩니다. ASHRAE 지침에 따르면 바닥 아래 파이프는 단열재 두께와 파이프 교차 간격을 고려해야 합니다. - 단열 랩을 고려할 때 파이프 직경에 50mm를 추가하는 것은 돌출된 바닥 타일 레이아웃과 조정 충돌을 일으키는 일반적인 계획 오류입니다.-

 

4. 차단 밸브, 스트레이너 및 누출 제어: 가동 시간을 보호하는 사양 세부 사항

배관 사양이 운영 탄력성을 직접 결정하는 곳이자 대부분의 사양 문서가 작성되는 곳입니다.

D2C 시스템의 경우, 각 랙에는 공급 및 반환 레그 모두에 격리 밸브가 있어야 하며, 이를 통해 인접한 랙을 종료하지 않고도 단일 랙을 격리하고 유지 관리를 위해 배수할 수 있습니다. 이 용도에 선호되는 밸브 유형은 다음과 같습니다.3피스 스레드 볼 밸브304 또는 316 스테인레스 스틸. 여기서는 3개{3}}본체 설계가 중요합니다. 1개-개 또는 2개-개 밸브와는 달리 씰을 교체하거나 시트를 청소하기 위해 파이프를 절단하거나 라인에서 밸브 본체를 제거-하지 않고도 제자리에서 분해-할 수 있습니다.- 랙 가동 중지 시간 최소화가 가장 중요한 라이브 데이터 센터 환경에서 이러한 인라인 서비스 가능성은-사양의 사치가 아니라 의미 있는 운영 이점입니다.

각 랙 매니폴드의 업스트림에는 냉각판 마이크로{0}}채널을 미립자 오염으로부터 보호하기 위해 스테인리스 스틸 Y 스트레이너가 필요합니다. 고성능 GPU용 냉각판 형상은 0.5~1.0mm의 좁은 채널 폭을 사용합니다. 200미크론 입자는 채널을 부분적으로 차단하고 칩 조절이 시작될 때까지 열 모니터링이 포착되지 않을 수 있는 국부적인 핫스팟을 생성할 수 있습니다. ASHRAE TC 9.9 수질 지침에 따라 TCS 루프에 메쉬 등급이 50미크론 이상인 여과기를 지정하십시오.

리턴 레그의 스테인레스 스틸 체크 밸브는 랙이 분리되거나 펌프가 작동할 때 CDU 열 교환기를 통한 역류를 방지합니다. - 공급 헤더에 따뜻한 유체가 유입되고 제어 장치가 응답하기 전에 전체 행의 냉각수 온도를 높일 수 있는 역류 이벤트가 발생합니다.

서버-에서-매니폴드 연결의 경우 OCP(Open Compute Project) 연결 표준에 따라 연결 해제 주기당 최대 허용 유출량이 1입방센티미터인 건식-빠른 중단-연결 해제 피팅을 지정합니다. 이러한 연결부의 유연한 호스 세그먼트는 처짐-으로 인한 압력 강하 및 피팅 스레드의 응력을 방지하기 위해 150mm 간격으로 추가 클램프로 고정해야 합니다.

침수 시스템용, 격리 사양은 더 간단하지만 사소하지는 않습니다. 각 탱크에는 전체 탱크 흐름에 맞는 크기의 공급 및 회수 차단 밸브와 유체 품질 모니터링을 위한 샘플 포트가 필요합니다. 특정 유전체 유체와 호환되는 재료로 외부 루프 연결을 지정합니다. - 독점 유체 공식이 다양하므로 사양을 확정하기 전에 서면으로 유체 공급업체와 호환성을 확인합니다.

누출 감지 케이블은 모든 D2C 공급 배관의 전체 길이를 따라 배선되어야 하며 각 파이프 트레이 또는 케이블 트레이의 접근 가능한 가장 낮은 지점에 위치해야 합니다. 침수 시스템의 경우 외부 파이프 연결이 적고 가시성이 높다는 점을 고려하면 각 탱크 베이스와 CDU에 있는 포인트-센서 누출 감지기로 충분합니다.-

 

 

Leadtek 3피스 스레드 볼 밸브

 

5. 건설을 위해 발행하기 전 실제 사양 체크리스트

배관 사양이 엔지니어링 팀에 전달되기 전에 선택한 냉각 아키텍처와 비교하여 다음 사항을 확인하세요.

자재 규정 준수: 모든 접액 금속에는 아연 및 알루미늄 합금(D2C)이 없음이 확인되었습니다. 모든 엘라스토머는 유전체 유체 화학(침수)과 호환되는 것으로 확인되었습니다.

속도 확인: ASHRAE TC 9.6에 따라 직경이 3" 이상인 파이프에서 최대 2.1m/s

격리 밸브: 랙당 3피스 나사형 볼 밸브 1개, 공급 및 반환,-라인 서비스 용이성(D2C)

스트레이너 등급: TCS 공급 장치의 50미크론 이하 메시, 각 랙 매니폴드(D2C)의 업스트림

체크 밸브 배치: CDU 리턴 레그, 각 랙 리턴 분기(D2C)

빠른-연결 해제 사양: 건식-파괴, 1cc 이하 유출, OCP-준수(D2C)

누출 감지: 모든 공급 경로에 연속 케이블(D2C); 탱크 베이스 및 CDU의 포인트 센서(침수)

바닥 정리: 바닥 보이드 모델에서 파이프 외경 + 단열재 + 50mm 교차 간격 확인

수처리 계획: 시스템 채우기 전에 현장{0}}특정 화학 프로그램이 실행되고 지속적인 모니터링 프로토콜이 지정됩니다.

 

결론: 반대 방향이 아닌 냉각 아키텍처에 맞게 파이프 시스템을 지정하십시오.

냉각 기술 결정과 배관 사양은 순차적인 단계가 아니며 - 단일 통합 엔지니어링 결정입니다. 침수와 D2C 냉각 사이의 선택에 따라 전체 유체 시스템의 유압 논리, 재료 제약, 격리 전략 및 누출 위험 프로필이 설정됩니다. 일반적인 HVAC 순환수 파이프 사양을 두 아키텍처 중 하나에 적용하려고 하면 운영 성능이 저하되고 불필요한 유지 관리 노출이 발생하는 시스템이 생성됩니다.

냉각 아키텍처 선택과 함께 회로도 설계 시 배관 사양을 고려하세요. ASHRAE TC 9.6 및 TC 9.9를 기준 준수 프레임워크로 사용하고 일반적인 "물" 가정이 아닌 시스템 -의 실제 유체 화학에 대해 모든 재료 선택을 확인하십시오. 사양 단계에서 차단 밸브 유형과 스트레이너 메시 등급을 파악하는 데 30분을 투자하면 향후 가동 중단 시간을 30분 이상 크게 절약할 수 있습니다.

 

FAQ

질문: 직접-칩 냉각 루프에-표준 HVAC 탄소강 파이프를 사용할 수 있나요?

탄소강은 FWS(시설측) 냉수 루프에 사용되지만 냉각판을 직접 제공하는 TCS(기술 냉각 시스템) 루프에는 적합하지 않습니다. TCS 루프는 처리된 HVAC 용수보다 탄소강에 더 부식성이 있는 이온 함량이 낮은 고도로 정제된 물을 사용합니다. 모든 TCS 루프 배관 및 부속품에 대해 304 또는 316 스테인리스강을 지정하십시오.

Q: CDU 제조업체가 냉각판 공급업체와 다른 파이프 연결 크기를 지정하는 이유는 무엇입니까?

CDU와 냉각판은 종종 서로 다른 제조업체에서 공급되며 서로 다른 내부 유동 저항 가정에 맞게 설계됩니다. 연결 크기 불일치는 유압식 균형 문제입니다. CDU가 2bar에서 10L/min을 예상하고 냉각판이 칩 접합 온도를 유지하기 위해 전체적으로 14L/min을 필요로 한다면 공급업체의 사양이 잘못된 것이 아닙니다. - 시스템 설계가 이를 조정하지 않은 것입니다. 연결 크기를 결정하기 전에 CDU 배출구에서 각 냉각판 및 후면까지 전체 TCS 루프의 유압 모델을 완료해야 합니다.

Q: D2C 냉각 루프에서 Y 스트레이너를 얼마나 자주 청소해야 합니까?

작동 후 처음 90일 동안 매월 - 새 배관 시스템에서 스트레이너 바스켓을 검사하여 파이프 코팅이 경화되고 피팅이 고정됨에 따라 미립자를 배출합니다. 중단 기간 이후에는-수질 모니터링이 계속되는 폐쇄형 루프 시스템의 경우 일반적으로 분기별 검사로 충분합니다. CDU에 스트레이너 전체에 차압 센서가 통합되어 있는 경우 깨끗한 바구니 기준으로 0.3bar 델타-P에서 알람을 설정하세요.-

Q: 침수 냉각 배관은 D2C보다 지정하기가 더 간단합니까?

침수 냉각을 위한 외부 파이프 네트워크는 훨씬 더 간단하고 - 연결 지점이 적고 압력이 낮으며 랙 수준의 매니폴드 분배가 없습니다.- 그러나 시스템의 모든 엘라스토머, 개스킷 및 유연한 커넥터에 대해 유전체 유체 호환성을 확인해야 하기 때문에 재료 사양이 더 복잡합니다. 침지 시스템에서 재료 호환성이 잘못되는 실패 모드는 느리고 감지하기 어렵습니다. 즉, D2C 시스템에서 발생하는 즉각적이고 눈에 띄는 누출 사건이 아니라 12~18개월에 걸쳐 씰 성능이 저하되고 이어서 점진적인 유체 손실 및 오염이 발생합니다.

Q: 이중 바닥 아래로 연결되는 D2C 냉각 파이프에 필요한 최소 바닥 보이드 높이는 얼마입니까?

ASHRAE 지침은 파이프 직경, 단열재 사양 및 파이프 교차 여부에 따라 달라지므로 보편적인 최소값을 설정하지 않습니다. 실용적인 계획 규칙은 배관에서 가장 큰 파이프 OD, 모든 측면의 단열재 75mm, 교차 파이프의 경우 위쪽 50mm, 지지대 아래쪽의 25mm를 허용하는 것입니다. 단열재가 25mm인 4-인치 공급 메인의 경우 이는 기존 이중 바닥 데이터 센터에서 일반적으로 사용되는 250mm 공극보다 약 300mm - 더 큰 최소 바닥 공극을 생성하며 이는 조기에 식별할 가치가 있는 개조 제약 조건입니다.