|
面向HPC的服務器整機柜液冷解決方案
今天給大家分享一些液冷的知識，和一個面向英特爾高性能計算平臺的整機柜液冷解決方案，我們剛剛與合作伙伴完成聯合驗證測試并整理成交鑰匙解決方案，分享有需要液冷整機柜需求的小伙伴。
在數字化創新浪潮下，為了支撐快速發展的計算密集型應用，數據中心基礎設施逐漸向大規模、高密度的發展方向發展，冷卻成為數據中心不得不重視的問題。在此背景下，液冷技術憑借更高的冷卻效率、更低的運行成本、更小的占地面積、更高的可靠性以及更低的噪聲，成為重要的發展趨勢。
能效指標PUE是什么意思？
PUE = Power Usage Effectiveness，用來評價數據中心能源效率的指標，數據中心總能耗 / IT負載消耗的能源的比值。
PUE = 數據中心總能耗/IT設備能耗，其中數據中心總能耗包括IT設備能耗和制冷、配電等系統的能耗，一般來說值大于1，越接近1表明非IT設備耗能越少，即能效水平越好。
為什么需要液冷？
大數據和云計算的時代，計算密度越來越大，拿數據中心舉例，隨著算力越來越強，數據中心的能效指標也越來越重要。更高的功率密度，計算密度的提高帶來更高的熱密度，散熱成為計算機發展的瓶頸之一。更節能的冷卻技術，計算技術的發展從性能轉向了效率，關注與能耗和排放，綠色數據中心成為發展趨勢。
液冷的類型：
液冷主要有兩種類型，按照冷卻液體與設備之間的接觸方式來看，一種叫做直接接觸型液冷，一種叫做間接接觸型液冷。間接接觸型液冷的一個典型應用是冷板式液冷。將需要散熱的設備固定在一塊冷板上，而液體在通過冷板的時候將設備的熱量帶走，以達到散熱的目的。
以DSG的支持液冷的服務器為例，
從上圖可以看到，除了傳統風冷的風扇散熱以外，還添加了冷管。冷管主要為高TDP的CPU散熱，機箱內部的硬盤，內存等部件，還是靠機箱中的風扇來散熱。
這種液冷方式對用戶既有機房或數據中心的改動較小，噪音低，能效高和成本可控。對于那些較高熱密度的數據中心散熱比較合適。PRC前三的CSP客戶，百度，阿里和騰訊，均有冷板式液冷服務器的部署。
進出水管如下圖所示：
直接接觸型液冷的一個典型應用是浸沒式液冷，浸沒式液冷通常將服務器等需要散熱的IT設備完全浸沒在冷卻液中。依靠液體的循環流動帶走熱量。一般來說是將服務器放在特殊設計的容器中。冷卻液在將熱量帶走以后會被氣化，再通過其他裝置冷卻后循環利用。這種方式由于冷卻液和設備充分接觸，所以散熱效率更高，再加上沒有風扇，所以比冷板式液冷的噪音更低。
浸沒式散熱優勢明顯，能極大提升能源使用效率，較適合新建數據中心。但是也有一些限制，需要搭配能支持浸沒式液冷的配件，還有服務器的質保和更換配置等問題。雖然制冷效果較好，但由于需要直接將冷卻液和發熱器件接觸，數據中心設備改造的動作更大，因此浸沒式更適合新建數據中心。阿里巴巴已經在其北京冬奧云數據中心進行浸沒式液冷的規模化部署。
液冷需要在服務器之外投資散熱設備，改建數據中心，早用在一些HPC領域。現在由于更高的散熱效率，對建筑物的依賴度更低，以及靜音安全的特點，那些對場地，電力要求較高的數據中心也會采用液冷技術。除了傳統的大規模數據中心以外，隨著邊緣計算時代的來臨，未來的邊緣計算數據中心也會有大概20%采用液冷技術。
液冷的液體到底是什么？
所謂的液冷，并不是指水，一般來說主要是高比熱容的液體。
水：成本也低的冷卻液。但由于水并非絕緣體，所以只能應用于間接接觸型液冷。除此以外，安全防護十分重要，一旦發生泄漏，對服務器等IT設備的損害很大。
礦物油：成本比水高一些，性價比高。單相礦物油無毒無味不易揮發。粘性較高，可能在設備表面形成殘留。另外，雖然燃點較高，但是在某些特定條件下有安全隱患。
氟化液：成本高。這種液體大的特點是絕緣，且不燃。在數據中心液冷技術中是安全的一種，也是目前應用廣泛的。
近剛剛和合作伙伴CoolTera（一家致力于高性能計算和數據中心的先進冷卻系統的技術開發、產品制造和應用服務的合作伙伴）完成了整機柜液冷的聯合驗證測試，先分享幾張圖片：
整機柜遠景圖：
整機柜后視圖：
打開機柜的樣子，機柜門這么厚是因為里面是散熱水管：
一共有三個版本，第一個方案是基于S9200WK 48核心處理器的1536個物理核心的1.4米機柜方案（BGA封裝），參考如下：
第二個方案是基于S9200WK 56核心處理器的1792個物理核心的1.4米機柜方案（BGA封裝），參考如下：
第三個方案是基于Xeon 處理器的四子星液冷解決方案（LGA封裝），參考如下：
控制面板長這個樣子：
為了突破傳統風冷的限制，液冷技術由于具有更高的效率和更低的能耗，已經用作了眾多數據中心的液冷方案。液冷技術可以提供更高的換熱效率，冷卻液溫度的提高，帶來機房PUE降低。
|
3180038393
