《ODCC:2023冷板液冷標準化及技術優化白皮書(115頁).pdf》由會員分享,可在線閱讀,更多相關《ODCC:2023冷板液冷標準化及技術優化白皮書(115頁).pdf(115頁珍藏版)》請在三個皮匠報告上搜索。
1、1冷板液冷標準化及技術優化白皮書ODCC-2023-02004編號 ODCC-2023-02004冷板液冷標準化及技術優化白皮書開放數據中心委員會2023-09 發布I冷板液冷標準化及技術優化白皮書ODCC-2023-02004版權聲明版權聲明ODCC(開放數據中心委員會)發布的各項成果,受著作權法保護,編制單位共同享有著作權。轉載、摘編或利用其它方式使用 ODCC 成果中的文字或者觀點的,應注明來源:“開放數據中心委員會 ODCC”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為,ODCC 及有關單位將追究其法律責任,感謝各單位的配合與支持。II冷板液
2、冷標準化及技術優化白皮書ODCC-2023-02004編寫組編寫組項目經理:項目經理:王舜北京秦淮數據有限公司工作組長:工作組長:李代程百度在線網絡技術(北京)有限公司貢獻專家:貢獻專家:張炳華北京秦淮數據有限公司王長旺廣州高瀾創新科技有限公司耿曼廣州高瀾創新科技有限公司崔旭靜北京奕信通科技有限公司李曉峰北京奕信通科技有限公司劉凱艷曙光數據基礎設施創新技術(北京)股份有限公司徐欣曙光數據基礎設施創新技術(北京)股份有限公司李金波浪潮電子信息產業股份有限公司韓玉普洛斯普瑞數據科技(上海)有限公司金超強普洛斯普瑞數據科技(上海)有限公司陳聰北京三快云計算有限公司李瑞雅北京秦淮數據有限公司劉永彬北京
3、秦淮數據有限公司馮臣北京秦淮數據有限公司劉帆中興通訊股份有限公司翁建剛中興通訊股份有限公司李新起深圳市英維克科技股份有限公司黃強深圳市英維克科技股份有限公司王宏彬丹佛斯(中國)投資有限公司III冷板液冷標準化及技術優化白皮書ODCC-2023-02004李慧勇新華三技術有限公司陳立波新華三技術有限公司魏芳偉科華數據股份有限公司沈嘉輝科華數據股份有限公司董玉山中航光電科技股份有限公司楊占喜Colder Product Company李潔中國信息通信研究院郭亮中國信息通信研究院吳美希中國信息通信研究院阮迪中國信息通信研究院IV冷板液冷標準化及技術優化白皮書ODCC-2023-02004前前 言言本
4、規范由開放數據中心標準推進委員會發布。2015 年,OpenAI 成立,通過 GPT(Generative Pre-trainedTransformer)算法,在 2018 年 6 月推出了 GPT-1(1.2 億參數),在 2019 年 11 月增加了訓練的數據量后推出了 GPT-2(15 億參數),在 2020 年 6 月推出了 GPT-3(1750 億參數)。隨著數據參數的加大發現差異很小,后加入人工反饋強化學習來提升對話質量,在 2022年 3 月推出了 GPT-3.5;對話優化后,在 2022 年 11 月就推出了ChatGPT。月活人數突破 1 億僅用時兩個月。2023 年 2 月
5、 7 日微軟將 ChatGPT 引入到搜索引擎 Bing 正式發布。除了微軟,谷歌、Meta、百度、騰訊、阿里巴巴紛紛入局進軍生成式 AI。生成式 AI 模型需求的暴漲,使得對芯片的需求從 CPU+加速器轉變為以 GPU 主導的大規模并行計算。未來,在單芯片性能之上,智算中心能夠通過算力的生產-調度-聚合-釋放,支持 AI 產業化發展?,F階段,單 CPU 熱設計功耗為 150200W,最高可達 350W;單 GPU 熱設計功耗為300400W,最高可達 700W。與此同時,服務器功耗從傳統服務器的 1kW 增加到 AI 服務器的 6.510kW??諝饫鋮s解決成本和難度大幅上升,英偉達、英特爾等
6、芯片公司已經開始將冷卻的方式轉向液冷。液冷是指通過液體代替空氣冷卻芯片,根據液體與芯片是否接觸可以分為直接液冷和間接液冷。直接液冷包括浸沒液冷和噴淋液冷,浸沒液冷又分為單相浸沒和兩相浸沒。而間接液冷主要是冷板液冷。早在 20 世紀 60 年代,IBM 就推出了用冷板液冷冷卻的計算V冷板液冷標準化及技術優化白皮書ODCC-2023-02004機產品。直到 21 世紀初,美國 GRC(Green Revolution Cooling)公司推出了單相浸沒冷卻解決方案。2017 年,廣東合一推出了噴淋式液冷。2019 年曙光完成全球首個大規模刀片式浸沒兩相液冷商業應用項目。2021 年,微軟發布了箱體
7、式兩相浸沒液冷方案。而冷板液冷作為歷史最悠久,技術最為成熟,生態系統最為豐富的液冷解決方案,它的爆發已經到來!本白皮書傾注了作者大量的時間和精力,其成文也仰仗各參編老師撰寫并參與討論,其次,本文得到程軍先生、王鋒先生、何智強先生和袁達人先生提供的產品資料,在此對上人員做出的貢獻表示由衷的感謝。此外,本文很多化工類專有名詞的解釋均得益于ChatGPT,令人充分感受到科技的便利和 AI 的潛力。最后,作者盡量用實物照片為讀者生動呈現相關技術和產品,希望通過本白皮書促進冷板液冷技術快速迭代優化,為讀者在冷板液冷的實踐和決策提供有價值的信息和建議。由于時間倉促,水平所限,錯誤和不足之處在所難免,歡迎各
8、位讀者批評指正。如有意見或建議請聯系 。VI冷板液冷標準化及技術優化白皮書ODCC-2023-02004目目 錄錄版權聲明.I編寫組.II前 言.IV冷板液冷標準化及技術優化白皮書.1一、概述.1二、術語、定義和縮略語.1三、冷板液冷介紹.8(一)冷板液冷技術介紹.81.冷板液冷發展歷程.82.冷板液冷技術原理.103.冷板液冷技術特點.124.冷板液冷關鍵技術.15(二)常用產品器件介紹.161.冷板組件.172.快速接頭 QDC.203.軟管.244.機柜工藝冷媒供回歧管 RCM.255.冷量分配單元 CDU.266.環路工藝冷媒供回歧管 LCM.297.冷源.308.工藝冷媒.34(三)
9、冷板液冷發展面臨的主要挑戰.40VII冷板液冷標準化及技術優化白皮書ODCC-2023-020041.水質.402.泄漏.423.冗余路由.444.高成本.445.建設周期長.456.能耗問題.457.冷源水耗.46四、工程標準化及設計要求.46(一)標準化現狀及需求.461.標準化現狀.462.標準化需求.48(二)工程標準化設計要求.501.二次側管路.502.功能要求.54(三)典型案例介紹.551.江蘇某大數據產業園項目.552.廈門某智算中心.573.山西某大規模冷板液冷數據中心.584.廣州科云數據中心.59五、接液材料研究.60(一)傳統材料.61(二)國外推薦材料.611.金屬
10、與金屬合金類.612.合成橡膠、塑料和其它材料類.63VIII冷板液冷標準化及技術優化白皮書ODCC-2023-02004(三)國內常用非金屬材料.651.管路及接頭材料.652.密封件材料.69(四)新材料管路設計制造及測試方法.721.設計原則.722.管路制造.743.測試.74(五)其它行業領域冷板液冷新材料應用.761.直流輸電領域.762.靜止無功補償裝置 SVC 冷卻領域.773.儲能領域.78(六)數據中心新材料應用案例.811.國內數據中心案例.812.國外數據中心案例.83六、冷板液冷新技術展望.89(一)負壓冷板液冷技術.891.技術背景介紹.892.負壓 CDU 技術原
11、理.893.負壓液冷系統方案技術亮點.924.應用案例.94(二)相變冷板冷卻技術.971.重力熱管方案.972.動力熱管方案.98(三)冷板液冷氣-液混合技術.98IX冷板液冷標準化及技術優化白皮書ODCC-2023-020041.風冷 CDU.992.氣-液組合末端.1023.氣-液同源冷源.102參考文獻.1051冷板液冷標準化及技術優化白皮書ODCC-2023-02004冷板液冷標準化及技術優化白皮書冷板液冷標準化及技術優化白皮書一、一、概述概述隨著AI時代的到來,冷板液冷技術作為一種解決高算力發熱的冷卻方式,已經成為行業最熱門的話題之一,得到越來越廣泛的關注。本文將分四個部分進行展開
12、:第一部分:對冷板液冷技術進行介紹,從發展歷程、技術特點、關鍵技術、器件組成等方面逐一介紹,并指出其發展面臨的主要挑戰。第二部分:對冷板液冷的工程標準化進行分析,從標準化的現狀,到標準化的需求,并指出設計和功能要求,最后分享一些典型數據中心案例。第三部分:通過接液材料的詳細描述,為讀者呈現除傳統材料外,其他行業領域和國內外數據中心對新材料的應用情況分享。第四部分:對近幾年冷板液冷出現的新技術進行介紹和展望。二、二、術語、定義和縮略語術語、定義和縮略語AFLASAsahi Glass Fluoroelastomer的簡寫。它是由日本旭硝子株式會社(Asahi Glass Co.,Ltd.)開發的
13、一種特殊的氟橡膠材料,學名是聚四氟乙烯-聚丙烯共聚物,它具有優異的耐化學性、耐高溫性、耐油性和耐候性,常用于制造密封件。CDA銅發展協會(Copper Development Association)。CDU冷量分配單元(Coolant Distribution Unit)用于實現液冷系統的二次側冷卻環路驅動、穩壓和自動配流,同時實現一二次2冷板液冷標準化及技術優化白皮書ODCC-2023-02004側循環系統熱量交換、物理隔離等功能的單元。CLF制冷負載系數(Cooling Load Factor),一般定義為數據中心制冷設備耗電與IT設備耗電的比值。本文提到的冷板液冷CLF指的是冷板液冷系
14、統的耗電與對應液冷部分IT設備耗電的比值。CPU中央處理器(Central Processing Unit),它是服務器的核心組件之一。CPVC氯化聚氯乙烯(Chlorinated Polyvinyl Chloride),是一種特殊的塑料材料,是PVC經過氯化處理而制成的。它具有出色的阻燃性能和耐化學腐蝕性能,廣泛應用于管道系統、化工設備、火災噴淋系統、電力線路絕緣和建筑材料等領域。CRAC計算機房空調器(Computer Room Air Conditioner),其主要是指帶壓縮機的蒸汽壓縮制冷循環系統,通過制冷劑蒸發將機房空氣熱量帶到室外的空調。CRAH計算機房空氣處理器(Compute
15、r Room Air Handler),其主要是指通過冷凍水將機房空氣熱量帶走的冷凍水末端空調。CSPE氯磺化聚乙烯(Chlorosulfonated Polyethylene),也被稱為海普隆Hypalon。它是一種通過將聚乙烯與氯和硫進行反應而制得的合成橡膠,其特性包括耐候性、耐輻射、抗化學腐蝕和電絕緣性能。DCLC直接接觸式液體冷卻(Direct Contact Liquid Cooling),DCLCTM被CoolIT公司注冊,特指冷板液冷的間接式液冷,直接接觸指的是冷板(而非工藝冷媒)與CPU等發熱源的直接接觸。EPDM三元乙丙橡膠(Ethylene Propylene Diene
16、Monomer),是一種合成橡膠。EPR乙烯丙烯橡膠(Ethylene Propylene Rubber),是一種合成橡膠。ETP它是由乙烯(Ethylene)、四氟乙烯(Tetrafluoroethylene)和丙烯(Propylene)通過共聚反應制得的共聚物,ETP型氟橡膠是一種高性能的氟橡膠材料,具有出色的化學穩定性、耐熱性和耐油性。FEP聚全氟乙丙烯(Fluorinated Ethylene Propylene),是一種熱塑性聚合物,由四氟乙烯和含氟單體(如四氟乙烯醚)共聚3冷板液冷標準化及技術優化白皮書ODCC-2023-02004而成。它具有類似于PTFE的出色耐化學腐蝕性、低摩
17、擦系數和優異的耐高溫性能。相比于PTFE,FEP具有更低的熔融溫度,更容易地加工成各種形狀。FKM含 氟 彈 性 橡 膠(Fluoroelastomer),也 稱 氟 碳 橡 膠(Fluorocarbon Rubber),是一種特殊的橡膠材料,具有出色的耐化學腐蝕性能和高溫穩定性。FWS設施水系統(Facilities Water System),冷源與CDU之間的水系統,即一次側冷凍或冷卻水系統。GFGF型氟橡膠是由氟化碳單體聚合而成,添加了玻璃纖維(GlassFiber)增強劑的氟橡膠材料,玻璃纖維的添加可以增強氟橡膠的強度和剛度,提高其耐磨損性和耐沖擊性。GPU圖形處理器(Graphic
18、s Processing Unit),是一種專門用于處理圖形和圖像的處理器。與CPU相比,GPU在圖形處理方面有著更強大的計算和并行處理能力。HDPE高密度聚乙烯(High Density Polyethylene),是一種常見的塑料材料。HNBR氫化丁晴橡膠(Hydrogenated Nitrile Butadiene Rubber),是一種耐油性較高的橡膠材料,通過氫化處理增加了耐熱性和抗臭氧性能,被廣泛應用于涉及高溫、高壓和化學腐蝕環境下的密封和橡膠制品。LCM環路工藝冷媒供回歧管(Loop Coolant Manifold)用于向環路內各支路分配工藝冷媒的裝置。MFI熔融指數(Melt
19、 Flow Index),指熱塑性塑料在一定溫度和壓力下,熔體在 10 分鐘時間內通過測試器的小孔所流出的熔料重量,單位是以克/10 分鐘表示。MFR熔體質量流動速率(Melt-mass Flow Rate),指熱塑性樹脂材料分子平均尺寸和流動性能的一項指標。NBR丁晴橡膠(Nitrile Butadiene Rubber),是一種常見的合成橡膠材料。OCP開放計算項目(Open Computer Project),它是由 Facebook(更名為 Meta)在 2011 年發起的,旨在通過共享設計和創新來構建高效、節能的數據中心設備和硬件基礎架構。目前,OCP4冷板液冷標準化及技術優化白皮書
20、ODCC-2023-02004同 ODCC、OPEN19 并稱為全球三大開放計算組織。PA聚酰胺塑料(Polyamide),具有良好的綜合性能,包括力學性能、耐熱性、耐磨損性、耐化學藥品性和自潤滑性,且摩擦系數低,有一定的阻燃性,易于加工。PE聚乙烯(Polyethylene),是一種常見的塑料材料。PEEK聚醚醚酮(Polyether Ether Ketone),是一種高性能工程塑料,具有極高的熱穩定性、耐化學腐蝕性和機械強度。PEX交聯聚乙烯(Cross-Linked Polyethylene),由聚乙烯分子經過交聯處理生成,交聯可以提高材料的強度、耐熱性和耐化學腐蝕性,是一種常用的供水管
21、道材料。PFA聚全氟丙烯(Perfluoro Alkoxy),是一種氟塑料,屬于全氟聚合物的一種類型。它具有出色的化學穩定性、高溫耐性、電絕緣性和耐腐蝕性。它具有與 PTFE 類似的特性,但其可加工性更好,通過熱塑性加工方法(如注塑或擠出)加工成管材、薄膜、塊材和各種形狀的制品。PFPE全氟聚醚(Perfluoropolyether),是一種特殊的氟化合物材料,具有出色的化學穩定性、熱穩定性和潤滑性能。PMVE全氟甲基乙烯基醚(Perfluoromethylvinylether),是一種全氟聚合物,具有出色的化學穩定性、高溫穩定性和電氣絕緣性能。PP聚丙烯(Polypropylene),是一種
22、常見的熱塑性聚合物。PPH均聚聚丙烯(Polypropylene Homopolymer),相比 PPR,具有更高的剛性和強度,廣泛用于各種工業和建筑材料。PPO聚苯氧化物(Polyphenylene Oxide),是一種高性能工程塑料。它具有優異的耐熱性、電絕緣性、機械性能和化學穩定性。PPR無規共聚聚丙烯(Polypropylene Random),相比 PVC,具有更高的耐熱性和耐化學腐蝕性能,廣泛用于家庭水管系統。PPS聚苯硫醚(Polyphenylene Sulfide),是一種高性能工程塑料。它具有優異的耐熱性、耐化學腐蝕性、機械強度和電絕緣性能。5冷板液冷標準化及技術優化白皮書O
23、DCC-2023-02004PPSU聚苯砜(Polyphenylsulfone),一種無定形的熱塑性工程塑料,具有高度透明性、高水解穩定性,是所有高性能熱塑性塑膠中最牢固的材料之一。該材料兼具強大的機械特性與耐熱和耐化學性,因此非常適于通常負載較高和需接觸化學品的各種要求嚴苛的應用。PSU聚砜(Polysulfone),是一種特定的高性能工程塑料,它具有高溫穩定性、機械強度、耐化學腐蝕性、電絕緣性和耐磨性等特殊性能。PTFE聚 四 氟 乙 烯(Polytetrafluoroethylene),也 稱 為 特 氟 龍TeflonTM,具有強抗腐蝕性,可以耐受包括王水在內的強酸強堿溶液;低摩擦系數
24、,可用于軸承、墊片和密封環等高摩擦部件;電絕緣性,可作為電纜絕緣材料。PUE能源利用效率(Power Usage Effectiveness),是數據中心最重要的評價指標之一,定義為數據中心總耗電與 IT 設備耗電之比。PVC聚氯乙烯(Polyvinyl Chloride),是一種普遍使用的塑料,可以用于管道、電纜、地板、窗框等,但其耐高溫性能較差,會釋放出揮發性化合物危害人類健康。PVDF聚偏二氟乙烯(Polyvinylidene Fluoride),相比 PTEF,其剛性、硬度、電絕緣性、抗蠕變性能尤為突出,是最強韌的氟材料。QDC快速接頭(Quick Disconnect Couplin
25、g),包括自鎖式快速接頭(手插和盲插)、球閥式快速接頭。RCM機柜工藝冷媒供回歧管(Rack Coolant Manifold)用于向機柜內各液冷冷板分配工藝冷媒的裝置。SFN二次側流體管路(Secondary Fluid Networks),加拿大液冷廠商CoolIT的命名方式,同LCM。SUSSUS是日本JIS(日本工業標準)中使用的不銹鋼材料標準的簡稱。在過去,日本的不銹鋼材料常常使用SUS作為牌號的前綴,例如SUS304代表符合JIS G4303標準的304不銹鋼。SVC靜止無功補償裝置(Static Var Compensator),由電容器及各種電抗元件構成與系統并聯并向系統供應或
26、從系統吸收無功功率的裝置。6冷板液冷標準化及技術優化白皮書ODCC-2023-02004TCS工藝冷媒系統(Technolgy Cooling System),冷板組件與CDU之間的系統,即二次側系統。TDP熱設計功率(Thermal Design Power),是處理器或顯卡等計算機硬件熱設計的一個主要參數。TDP是指處理器或其他硬件在滿負荷工作情況下的最大熱量產生值,代表了CPU或其他實際使用時的預計功耗極限,是散熱器的設計和選擇的重要參考依據。TFE四氟乙烯(Tetrafluoroethylene),是一種無色、無味且具有高度穩定性的氣體。UHMWPE超 高 分 子 量 聚 乙 烯(Ul
27、tra-HighMolecularWeightPolyethylene),是一種特殊類型的聚乙烯,其分子量非常高,通常達到數百萬至數千萬克/摩爾。它具有許多優異的性能:高強度、高耐磨性、低摩擦系數、優異的耐化學性、良好的電絕緣性和優異的高溫性能。UNS統一編號系統(Unified Numbering System),它是一種用于材料和金屬標準化命名的編碼系統。它由SAE(Society ofAutomotiveEngineers)、ASTM(AmericanSocietyforTesting andMaterials)和 ASME(AmericanSocietyofMechanical Eng
28、ineers)等多個工程組織共同制定和管理的,不受國籍、材料種類、制造方式、化學成分等因素限制的開放式系統,在全球廣泛應用。它由一個字母和五個數字組成,字母表示材料類型,數字表示材料化學成分、機械性能等相關參數,便于跨國貿易。WUE用水效率(Water Usage Effectiveness),是數據中心重要的評價指標之一,定義為數據中心總用水量與IT設備耗電量之比,單位為L/kWh??諝饫鋮sAir Cooling,與液冷相對應,以空氣為冷卻介質,通過CRAC或CRAH設備將機房內的空氣降溫至1830左右的冷空氣,將服務器產生的熱量轉移的過程。業內常被稱為“風冷”。液冷Liquid Cooli
29、ng或Direct Liquid Cooling,液體冷卻的簡稱,以液體為冷卻介質,通過CDU設備將進入服務器的工藝冷媒液體降溫至1745左右,將服務器產生的熱量全部或部分轉移的過程。根據工藝冷媒是否與服務器接觸分為直接液冷和間接液冷兩大類。直接液冷的液體一般是不導電的油類或者氟化物;間接液冷的液體一般是去離子水,醇類溶液,還有氟化物。7冷板液冷標準化及技術優化白皮書ODCC-2023-02004氣液比空氣冷卻和液體冷卻混合布置的機房或者機柜,空氣冷卻和液冷功率(或發熱量)的大致設計比例,一般指冷板液冷服務器。業內常被稱為“風液比”。風冷風 冷 冷 卻(AirCooled)或 風 冷 冷 凝(
30、AirCooledCondensation)的簡稱,一般指冷卻介質向空氣尤其室外空氣轉移熱量的過程。水冷水冷冷凝(Water Cooled Condensation)的簡稱,一般指冷卻介質通過冷卻水轉移熱量的過程。一次側Primary Side,是指在間接熱交換過程中,提供熱量或冷量的一側。在液冷領域,以CDU的板式換熱器為界限,冷源側為一次側。二次側Secondary Side,是指在間接熱交換過程中,熱量或冷量傳遞給待調節區域的一側。在液冷領域,以CDU的板式換熱器為界限,服務器側為二次側。工藝冷媒系統Technology Cooling System,簡稱TCS,是指用于冷卻和保持電子設
31、備運行溫度在可接受范圍內的系統。該系統即為二次側所在系統,工藝冷媒即二次側冷卻液。逼近溫度ApproachTemperature或MinimumDifferentialTemperature,是指二次側供液溫度與一次側進水溫度之差。微模塊模塊化數據中心的簡稱,Modular Data Center(MDC),是指完全按照模塊化設計思路搭建的可快速部署的數據中心模型,數據中心內部由多個完全相同的微模塊(Micro Module)組成;微模塊則是以若干機架為基本單位,包含制冷模塊、供配電模塊及網絡、布線、監控在內的獨立的運行單元,全部組件可在工廠預制,并可靈活拆卸,快速組裝。接液材料接液材料是指其
32、表面與工藝冷媒直接接觸的材料,必須和工藝冷媒具備兼容性,以將冷卻回路中潛在的腐蝕風險和泄漏風險降至最低。8冷板液冷標準化及技術優化白皮書ODCC-2023-02004三、三、冷板液冷介紹冷板液冷介紹(一)(一)冷板液冷技術介紹冷板液冷技術介紹1.1.冷板液冷發展歷程冷板液冷發展歷程雖然液冷這個技術名詞是近代才出現的,但是液冷或者說用水降溫這種生活方式,卻是與人類發展史緊密相伴的。用水降溫是動物與生俱來的本領,人類還進一步利用液冷原理建造自然水冷建筑“含涼殿”。液冷技術并非從數據中心行業發展應用起來的,其最初的應用是在機械加工行業,也就是18世紀第一次工業革命發明的機械加工設備,使用水和油作為金
33、屬加工液進行降溫。之后,19世紀第二次工業革命將人類社會帶入電氣時代,尼古拉特斯拉首次將液冷應用于變壓器冷卻。20世紀開始進入電子時代,隨著科技的進步和制作工藝的發展,高性能、高功率的電子元器件的冷卻要求不斷提高,就需要選擇效率更高的液冷技術,理論上沸騰的熱水可以帶走的極限熱量是2MW/cm2。1944年美國人高格勒提出熱管換熱器概念,它是一種不附加任何動力,可以使冷凝的液體依靠吸液芯克服重力再回到上方,達到熱量從一個地點傳動到另一個地點目的的傳熱器件。經過熱管技術的演進,閉合管路的冷板始于航天設備的應用,冷板的叫法據說來自20世紀60年代的美國阿波羅登月計劃,登月設備中液冷已經廣泛應用于高精
34、度電子器件的冷卻。19冷板液冷標準化及技術優化白皮書ODCC-2023-02004液冷技術首次在計算機上得到正式使用是在1951年,人類歷史上第一臺商用電子計算機UNIVAC I采用了水冷裝置。之后的幾十年,液冷技術的發展應用是曲折的,主要跟計算機性能需求和芯片技術發展緊密相關。1966年,IBM推出了System360大型計算機,這款計算機是當時運算速度最快、性能最強的機器,主要用于科學應用領域的高速數據處理(比如太空探索、亞原子物理學、全球氣候預測等)。為確保該大型機在高速運算中不會發生過熱宕機,IBM首度開發了用水冷卻的液冷系統。但在隨后的幾十年,由于在較低熱負荷時空氣冷卻成本更低、安裝
35、部署更為簡單,液冷技術并未被重視。直到20世紀80年代,計算機性能飛速提升,為了滿足散熱的需要,空氣冷卻和液冷融合的氣液混合系統開始出現,甚至有一段時間多種芯片級液冷技術得到深度應用并走向成熟。20世紀90年代,晶體管新技術的應用,推動著大型計算機和超級計算機芯片的功耗和熱量斷崖式下跌,散熱又重新回到空氣冷卻的模式。21世紀初,隨著數據中心應用規模的快速提升,液冷技術又一次步入發展的快車道。2008年,IBM對外發布基于Power6處理器的液冷超級計算機節點Power575,其在微處理器模塊上使用了冷板液冷,使服務器工作溫度降低了至少20。Power575液冷系統通過采用模塊化的設計和快速連接
36、接頭的應用,尤其在系統側和設備側采用全流量互鎖式快接,可以實現快速簡單的連接和斷開。國內隨著信息技術賦能千行百業,數據中心能耗和芯片散熱問題也得到重視,國家和地方出臺了一系列數據中心能效水平限值要10冷板液冷標準化及技術優化白皮書ODCC-2023-02004求,如國家工信部規定新建大型、超大型數據中心PUE不超過1.3。液冷技術在國內有了迅速成長壯大的土壤,國內如曙光、華為、浪潮、聯想、新華三和中興通訊等代表性廠商已經紛紛推出了系列液冷產品。中科曙光最早于2015年推出國內首款標準化量產的冷板液冷服務器,同年,中科院大氣物理研究所的“地球數值模擬裝置原型系統”率先使用冷板液冷服務器,大大提高
37、散熱效率,也成為國內液冷服務器大規模使用的第一個公開案例,該系統并于2017年上榜當年全球高性能計算機(HPC)TOP500榜單。冷板液冷因對現有服務器芯片組件及附屬部件改動量較小,可操作性更強,成為目前國內成熟度最高、應用最廣泛的液冷散熱方案。隨著國內主流服務器廠商紛紛推出冷板液冷服務器產品,液冷技術開始逐步走向成熟并開始批量化、規?;褂?。2.2.冷板液冷技術原理冷板液冷技術原理傳統空氣冷卻方式以空氣為介質進行散熱,通過送入低溫空氣、經與電子器件進行熱交換后,將其熱量帶走。液冷方式則以液體為介質進行散熱,只需提供中溫液體即可滿足元器件散熱需求,比空氣冷卻方式散熱效率更高,也更加節能(如圖3
38、-1所示)。11冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 3-1 空氣冷卻及液冷工作原理冷板液冷技術是目前最為成熟、應用最為廣泛的液冷散熱方式。冷板液冷技術是指通過冷板(通常為銅、鋁等導熱金屬構成的封閉腔體)將發熱器件的熱量間接傳遞給在封閉的循環管路中的冷卻液體,通過冷卻液體將熱量帶走的冷卻形式2。冷板液冷技術利用工藝冷媒作為中間熱量傳輸的媒介,將熱量由熱區傳遞到遠端后再進行冷卻。在該技術中,工藝冷媒與被冷卻對象分離,工藝冷媒不與電子器件直接接觸,而是通過冷板等高效熱傳導部件將冷卻對象的熱量傳遞到工藝冷媒中,因此冷板液冷技術又稱為間接液冷技術。冷板液冷技術相較于傳統空氣冷
39、卻技術,不需改變現有服務器的形態,使用、維護等方面與現有服務器也較為接近。冷板液冷系統工作原理如圖3-2所示,冷板液冷是將服務器內的主要散熱元器件CPU、GPU、內存等產生的熱量通過與冷板內的液體進行熱交換并帶出服務器,這一部分的熱量占服務器總熱量的50%-80%,剩余少部分的熱量采用空氣冷卻,通過空氣與服務器進行熱交換。冷板液冷系統中的二次側的中高溫液體帶走服務器的熱量,流經CDU,傳遞給一12冷板液冷標準化及技術優化白皮書ODCC-2023-02004次側冷卻水,并通過冷源設備將熱量傳遞到室外空氣,這一過程中的主要動力裝置為循環水泵以及冷源設備的風機。圖3-2 冷板液冷系統原理示意圖3.3
40、.冷板液冷技術特點冷板液冷技術特點冷板液冷方案一般具備以下特點:(1)高效散熱:液體的體積比熱容是空氣的1000-3500倍,意味著冷卻液體可以吸收大量熱量而不會顯著升高溫度;液體的對流換熱系數是空氣的10-40倍,同等空間情況液冷的冷卻能力遠高于空氣;由液冷冷板套件替代CPU原散熱套件,通過工藝冷媒在冷板中的強制對流,有效地將熱量從設備中快速地帶走,散熱效率得到大幅提升。(2)高TDP方案:當CPU芯片TDP超過350W時,冷板液冷成為少數的解決方案(圖3-3)。13冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖3-3 TDP變化與冷卻方式的演進3(3)精確制冷:冷板套件直達
41、服務器內部,實現更為高效的部件級精確制冷,CPU核溫低至65左右,使元器件在更穩定更合適的溫度下工作,可靠性更高。(4)支持高功率部署:冷板液冷技術散熱效率更高,可支持單機柜功率高達60kW的部署需求,同時降低占地成本。(5)兼容性優:在不改變目前服務器主板的情況下即可實現,拆卸簡單,安裝方便。相比其他液冷技術,對機房的要求較低,與現有機房的兼容性優。冷板液冷可實現液冷微模塊的形式,可實現與現有空氣冷卻服務器的兼容使用。在系統上,相比其他液冷技術,空氣冷卻改造液冷更為方便,可參見本文第六章第(三)節第1小節。(6)維護簡便:服務器與機柜的連接采用快速接頭,服務器上下架可實現冷卻系統在線插拔,不
42、影響其他服務器正常運行。另外,保留了原有服務器的形態及維護方式,不影響客戶使用習慣。(7)生態更成熟:冷板液冷是液冷技術中應用最早,也是最為成熟的技術,同時,其產業鏈生態更成熟。14冷板液冷標準化及技術優化白皮書ODCC-2023-02004(8)支持定制:可根據特定的電子元件,考慮組件的尺寸、形狀和散熱要求,可優化工藝冷媒通過冷板的流動路徑、增加翅片等手段以降低熱阻(圖3-4)。圖3-4 某強化對流換熱定制開發冷板CFD分析(9)支持超頻:由于服務器的運行溫度更低,可允許服務器超頻運行,提升服務器算力挖潛。(10)更加節能:整個冷卻系統采用中高溫水作為冷卻介質,不同于靠低溫水或空氣進行散熱,
43、從而大大降低了冷卻系統能耗,可充分利用自然冷源,冷板液冷CLF可低至0.1以下,比傳統空氣冷卻機房節能20%以上。(11)支持余熱回收:一次側回水溫度約為38-45,雖屬于低品位余熱,但考慮到數據中心規模體量巨大,其產生的余熱量可觀且穩定、持續。因此可依據余熱利用場景靈活選擇設置,如辦公及生活供暖、泳池加熱、設施農業溫室供熱等方式就近消納余熱資源。(12)冷媒易獲得:相比其它液冷技術,冷板液冷通常采用乙二醇或丙二醇等水基溶液作為工藝冷媒,具有容易獲取的優點。15冷板液冷標準化及技術優化白皮書ODCC-2023-020044.4.冷板液冷關鍵技術冷板液冷關鍵技術冷板液冷技術的關鍵技術包括以下幾點
44、:(1)冷板設計:冷板的設計對冷卻系統至關重要。冷板必須與電子元器件保持良好的熱接觸,這樣熱量才能快速有效地從元器件傳遞到冷板。冷板流道通過機械加工、鏟齒、擠壓、鍛壓等工藝加工,密封采用攪拌摩擦焊、真空釬焊、氣體保護焊等工藝焊接,需要具有良好的密封性。此外,冷板內通道流量大小、水阻和布局方式對散熱效果起著至關重要的作用。(2)工藝冷媒的選擇和水質管理:冷板液冷系統中使用的液體冷卻劑通常是去離子水、乙二醇或丙二醇等水基溶液。去離子水會添加適當的藥劑來抑制細菌滋生并減緩金屬腐蝕。工藝冷媒須慎重選擇,以保證與接液材料的兼容性。工藝冷媒必須具有良好的比熱容、流動特性和低粘度,以確保有效的熱傳遞。同時,
45、需要對水基的工藝冷媒進行定期的水質監測和分析。近兩年,陸續出現了氟化物代替水基溶液作為工藝冷媒進行冷卻,詳見本文6.2。除6.2外,本文其它章節所涉及工藝冷媒均基于水基溶液進行設計和介紹,特此說明。(3)RCM設計:RCM的流量分配設計將直接影響各支路流量,如何確保最不利的環路水流量仍然充足,需要進行相關設計考慮。(4)二次側泵和LCM設計:用于循環工藝冷媒的二次側泵設計必須確保LCM每個接口足夠的流量和壓力。二次側泵必須支持長期可16冷板液冷標準化及技術優化白皮書ODCC-2023-02004靠連續運行,且噪音小。LCM的設計必須能夠最大限度地減少壓降并確保通過冷板和熱交換器的高效流動。(5
46、)二次側系統可靠性測試:二次側系統的長期穩定可靠直接影響服務器的穩定運行,因此,需要考慮魯棒性設計和安全測試等。(6)冷源設計:冷源設計必須能夠將電子元件產生的熱量全部散入室外空氣,并提供穩定的一次側進水溫度。需根據設計進水溫度、當地氣候水源條件、冗余要求、周邊熱回收設施等要素合理設計冷源。(7)冷卻水水質管理:一次側作為散熱源側,其水質管理至關重要。不恰當的水質管理會導致水流堵塞,將直接影響系統是否可以正常工作。冷卻水水質管理除了泥沙沖洗,定期除垢除菌外,還需要考慮不同管道材質之間是否會因電勢差而造成電化學腐蝕問題。(8)控制系統設計:控制系統負責監控和調節工藝冷媒溫度和流量,以確保最佳的冷
47、卻性能??刂葡到y可以包括溫度傳感器、流量計和其他監測和控制組件,以確保系統在安全范圍內運行。特別要注意的是,需要考慮防凝露和漏液監測設計,控制系統還可以包括用于監控系統性能并在出現任何問題時提供告警。(二)(二)常用產品器件介紹常用產品器件介紹冷板液冷系統一般由二次側冷卻環路和一次側冷卻環路構成,其中,二次側冷卻環路是通過工藝冷媒循環將發熱元件產生的熱量導出的冷卻環路;一次側冷卻環路是通過工藝冷媒將二次側冷卻環17冷板液冷標準化及技術優化白皮書ODCC-2023-02004路導出的熱量傳遞至室外環境或通過熱回收系統回收利用的冷卻環路。二次側冷卻環路由冷板組件、CDU和連接系統(包括RCM、QD
48、C、LCM等)等構成;一次側冷卻環路由冷源和一次側回路等構成,二次側冷卻環路與一次側冷卻環路在CDU處進行換熱。圖3-5給出了各部件位于液冷系統的位置示意。圖 3-5 冷板液冷系統構成示意圖1.1.冷板組件冷板組件基本組成基本組成冷板組件由冷板、配套管路、扣具、轉接頭、快速接頭QDC、漏液檢測裝置等主要零部件構成,圖3-6給出了冷板組件的構成示意,圖3-7展示了冷板和冷板組件的實物照片。18冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖3-6 冷板組件構成示意圖圖3-7 冷板&冷板組件實物照片其中,各冷板組件描述如下:(1)冷板:以工藝冷媒為媒介,實現熱量交換的緊湊型換熱部件,
49、與設備配套管路、QDC、CDU、RCM、LCM等形成二次側冷卻環路,并最終將處理器熱量傳遞至室外。(2)設備配套管路:用于冷板與冷板或液體快速接頭之間互連保障流通的部件。(3)扣具:為冷板與處理器貼合提供鎖緊力的專用鎖緊零部件。(4)轉接頭:在冷板系統中起到連接作用的零部件。19冷板液冷標準化及技術優化白皮書ODCC-2023-02004材質材質冷板組件的接液材料要與工藝冷媒保持良好的兼容性,數據中心設備冷板組件材質一般如表3-1所示:表 3-1 不同部件的材料冷板組件名稱常用材料說明冷板散熱模塊:紫銅固定模塊:鋁散熱模塊為接液材料;一體式冷板不區分散熱模塊和固定模塊。管路橡膠:EPDM 等塑
50、料:PTFE、FEP 等接液材料,橡膠管路和轉接頭連接時需通過卡箍或卡環或壓接等方式增加連接可靠性??劬呓饘?、塑料等非接液材料轉接頭紫銅、不銹鋼等接液材料,材料類型需和冷板散熱模塊保持一致??焖俳宇^不銹鋼等接液材料關鍵設計指標參考關鍵設計指標參考表3-2以Intel EGS CPU的冷板設計為例,對冷板組件關鍵設計參數進行說明。表中參數不作為所有冷板組件的參考限值。表 3-2 設計參數關鍵設計項設計參數描述說明冷板內部流道小功率器件冷板可直接采用機加工流道、金屬管嵌管等方案大功率器件(一般為散熱模塊為接液材料;一體式冷板不區分散熱模塊和固定模塊20冷板液冷標準化及技術優化白皮書ODCC-202
51、3-02004100W)冷板一般采用鏟齒工藝,齒厚一般為 0.11.0mm,齒 間 隙 一 般 為210 倍過濾精度。例如,二次側過濾為 50m,齒間隙一般為 0.10.5mm冷板內部流速冷板內部流道內、管路內部流速1.5m/s可以根據該流速計算出不同管徑下的最大流量額定流量滿足芯片散熱要求基礎上,流量越小越有優勢,以下數據供參考:Intel EGS CPU 單冷板組件額定流量為 0.7L/min冷板所需流量小,單臺CDU 能承擔的節點更多,更節能冷板熱阻冷板熱阻是芯片表面溫度與二次側供液溫度差值后,與芯片功耗的比值。滿足芯片散熱即可,以下數據供參考:Intel EGS CPU 標準冷板組件
52、的熱 阻為 0.033/W0.7L/min冷板流阻冷板流阻是冷板流體流動時前后壓差值。Intel EGS CPU 單冷板組件的流阻為1.6kPa0.7L/min2.2.快速接頭快速接頭 QDCQDC為方便服務器或機柜的安裝和維護,宜在服務器的冷板組件和RCM,或 RCM 和 LCM 使用 QDC 連接,根據上述安裝位置的不同,分為自鎖式快速接頭和球閥式快速接頭??焖俳宇^應具備可實現的快速21冷板液冷標準化及技術優化白皮書ODCC-2023-02004連接和斷開功能,方便帶壓連接和斷開,可實現單人單手操作。宜盡量降低流阻,節約二次側泵的能耗。自鎖式快速接頭自鎖式快速接頭自鎖式快速接頭(圖 3-8
53、)具備流體截斷功能的插拔組件,由插頭與插座組成。自鎖式快速接頭通常用于冷板組件和 RCM 的連接(圖 3-9),一般規格為 1/8 寸1/2 寸,可實現液冷系統帶液插拔維護功能。當插頭和插座連接時,流體接通;當插頭和插座斷開時,彈簧自復位確保供液中斷,工藝冷媒不會溢出到系統外,以避免頻繁工藝冷媒補液,污染甚至危及服務器。此接頭需提供如圖 3-10 流量-壓降曲線,在 OCP 標準中,性能參數如下表 3-3,表中的 Cv 值,定義如下:Cv 值表示的是元件對介質的流通能力,即:流量系數,Cv 值越高在相同流量下流阻越低。計算公式 Cv=Q*(/P)0.5,Q 為流量,為流體密度,P 為壓降。圖
54、3-8 自鎖式快速接頭22冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 3-9 服務器冷板組件與 RCM 之間快速接頭連接圖 3-10 自鎖式快速接頭流量-壓降曲線(供參考)表 3-3 UQD 快速接頭 OCP 技術標準參數UQD02UQD04UQD06UQD08主體尺寸/in1/81/43/81/2標稱流量直徑/mm2.85.56.38.9最大工作壓力/bar6.96.96.96.9最小爆破壓力20.720.720.720.723冷板液冷標準化及技術優化白皮書ODCC-2023-02004/bar流量/Lmin-12.16.411.417.8最大溢出量/mL0.0200.0
55、250.0350.070最小 Cv 值0.250.801.602.50工作溫度/1765176517651765貯存溫度/-4075-4075-4075-4075球閥式快速接頭球閥式快速接頭球閥式快速接頭自帶球閥,可手動調節球閥通斷的快速接頭,常用于 RCM 與 LCM 的連接處。此類接頭最經典案例是丹佛斯 FD83(圖 3-11),接頭規格為 1 寸、2 寸兩種,它的特點是:(1)左右兩半接頭完全相同,避免安裝錯誤。(2)銷鎖設計:左右接頭耦合前,閥芯不能開啟;閥芯閉合前,左右接頭無法斷開。避免意外打開導致泄漏。(3)帶壓通斷:可以實現熱連接、斷開和在線流體通斷。(4)多種尾端:多種接口方式
56、,可以直接連接軟管和硬管。圖 3-11 FD83 接頭24冷板液冷標準化及技術優化白皮書ODCC-2023-02004FD83 接頭的流量-壓降曲線見圖 3-12,相關技術參數見表 3-4。圖 3-12 FD83 接頭流量-壓降曲線(供參考)表 3-4 FD83 接頭技術參數接頭規格最高工作壓力/bar最低爆破壓力/bar額定流量/Lmin-1Cv 值1 寸1020189302 寸10208001273.3.軟管軟管軟管為撓性連接,可實現位移、長度伸縮補償、緩沖、耐震功能,軟管連接包括機柜級軟管和服務器級軟管,機柜級軟管作用是連接 RCM 和 LCM,服務器級軟管作用是連接 RCM 與冷板。軟
57、管根據連接端口型式,需要在管端安裝軟管接頭、快速接頭等配件以適配連接要求。25冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 3-13 軟管示意軟管材料:應滿足與工藝冷媒兼容,常用材料如 EPDM,服務器級軟管除了采用 EPDM 外,還有使用 PTFE、FEP。軟管壓力:軟管建議滿足工作壓力不小于 5bar。工作溫度:1575貯存溫度:-4075管體顏色:為便于供液管路和回液管路的區分,建議采用不同顏色。此外,根據實際設計,考慮相關阻燃的要求。4.4.機柜機柜工藝冷媒工藝冷媒供回歧管供回歧管 RCMRCMRCM安裝于液冷機柜內部,具備分液、集液和排氣等功能的部件。RCM一般由排
58、氣閥、分支管路和主管路等組成。分支管路的軟管端部26冷板液冷標準化及技術優化白皮書ODCC-2023-02004安裝有QDC,實現與服務器內冷板組件的連接。主管路接口位于上端或下端,是工藝冷媒供回液冷機柜的接口,與LCM通過軟管連接。RCM設計要求如下:(1)通常采用 304 以上方鋼,20 個分支管路以上的 RCM,建議尺寸 3030mm 或 4040mm。(2)主路上限流量下的壓損建議不超過 5kPa。(3)作為分集液器,應保證流量均勻,各分支管路的最大流量與最小流量之差建議不超過 10%。(4)設計壓力建議不小于 1.0MPa。圖 3-14 RCM5.5.冷量分配單元冷量分配單元 CDU
59、CDUCDU的作用是將進入服務器冷板組件的工藝冷媒與冷源側的冷卻水進行隔離,并將冷卻后的工藝冷媒分配給不同服務器的冷板的冷卻設備。因此,CDU最主要的部件為液-液換熱的板式換熱器,其次是用于工藝冷媒循環輸送的二次側泵,再次是配置工藝冷媒系統(即二次側)所需的調節、定壓、補水、排氣等裝置,包括電動球27冷板液冷標準化及技術優化白皮書ODCC-2023-02004閥、定壓罐、補水箱/袋、自動排氣閥等,然后是冷卻水系統(即一次側)所需的裝置,監測相關溫度、壓力、流量、漏液的傳感器,以及相關的電器控制器件。圖 3-15 CDU 內部器件示意CDU根據布置方式不同,分為機架式CDU和柜式CDU,見圖3-
60、16;如果一次側冷卻方式用空氣散熱代替冷卻水散熱,即液-液換熱器改為空-液換熱器,即為風冷CDU,其介紹詳見本文第六章第(三)節第1小節,原理圖見圖3-17。機架式CDU柜式CDU圖 3-16 CDU 不同型式示意28冷板液冷標準化及技術優化白皮書ODCC-2023-02004a)CDUb)風冷 CDU圖 3-17 不同一次側散熱方式示意圖目前,CDU 的規格設計五花八門,根據工藝冷媒或冷卻水中是否有醇以及醇含量,一次側和二次側溫差,以及供液溫度條件,都會對制冷量有較大的影響。如 CoolIT 和 Nortek 等國外品牌一般會提供類似圖 3-18 的計算曲線用于確認制冷量,但是曲線也是各不相
61、同:圖 3-18 a)表示二次側采用 25%丙二醇溶液,流量為 400L/min情況下,一次側在不同進水溫度和流量下,不同逼近溫度(Approach Temperature)下對應的制冷量(Heat Load),比如,二次側 37供液,400L/min 流量的 25%丙二醇溶液,一次側 27進水,360L/min 的冷卻水,該設備的制冷量為 650kW。圖 3-18 b)是在一次側和二次側流量均為 360L/min 條件下,一次側液體的不同含醇量在不同逼近溫度(Minimum DifferentialTemperature)下對應的制冷量(Percentage of Full Duty)。此外
62、,還需要提供一次側壓降-流量曲線以及二次側泵不同轉速下的壓頭-流量曲線等。29冷板液冷標準化及技術優化白皮書ODCC-2023-02004a)b)圖 3-18 國外 CDU 制冷量查詢曲線6.6.環路環路工藝冷媒工藝冷媒供回歧管供回歧管 LCMLCMLCM一般安裝于數據中心地板底部,有時也會安裝于機柜頂部,具備分液、集液和排氣等功能。LCM一般由排氣閥、分支管路、主管路、閥件等組成。LCM將從CDU冷卻的工藝冷媒,通過分支軟管輸送到RCM處,實物照片見圖3-19。圖3-19 LCM現場照片LCM的系統架構:LCM管路一般采用環狀管網,用于提供供液管網的可靠性,在考慮CDU并機組環的臺數時,應考
63、慮故障域的大小,是否與業務的可靠性需求匹配。圖3-20展示CDU不入列情況下,CDU30冷板液冷標準化及技術優化白皮書ODCC-2023-020041+1和2+1并機組環的架構型式,圖3-21展示CDU入列情況下,不同布局下LCM環管或者備份雙管路布局型式。圖 3-20 CDU 不入列 LCM 布置架構方案示意圖3-21 CDU入列LCM布置架構方案示意7.7.冷源冷源根據工藝冷媒供液溫度需求,CDU的換熱能力,確定一次側冷卻水進水溫度,根據此進水溫度,結合當地的氣候和水資源條件,選擇合適的冷源方式,冷源可采用機械制冷或者自然冷卻。機械制冷系統包括風冷冷凍水系統和水冷冷凍水系統,可提供1218
64、的中溫冷凍水。在室外條件允許的情況下,可直接采用自然冷卻供冷。自然冷卻系統可選用開式冷卻塔、閉式冷卻塔和干冷器等,可提供30以上的冷卻水9。31冷板液冷標準化及技術優化白皮書ODCC-2023-02004機械制冷機械制冷(1)風冷冷凍水系統風冷冷凍水系統主要由風冷冷水機組、冷凍水泵及配套設施組成,其液態制冷劑在其蒸發器盤管內直接蒸發為氣態,實現對盤管外的冷凍水吸熱制冷,并通過風冷冷凝的方式將氣態制冷劑冷卻為液態。(2)水冷冷凍水系統水冷冷凍水系統主要由水冷冷水機組、冷凍水泵、冷卻水泵、冷卻塔及板式換熱器等組成,其液態制冷劑在蒸發器盤管內直接蒸發為氣態,實現對盤管外的冷凍水吸熱制冷,并通過水冷冷
65、凝的方式將氣態制冷劑冷卻為液態。自然冷卻自然冷卻(1)開式冷卻塔開式冷卻塔經過將循環冷卻水直接噴淋到冷卻塔填料上,同時由風機帶動冷卻塔內氣流流動,通過室外空氣與冷卻水之間的熱質交換冷卻循環水,冷卻后的循環水在冷卻塔底部出水。開式冷卻塔一般需要增設可拆卸的板式換熱器隔離使用,否則易因水質問題導致CDU內不可拆卸的焊接式板式換熱器臟堵。開式冷卻塔的具體形式見圖3-22:32冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖3-22 開式冷卻塔示意圖(2)閉式冷卻塔閉式冷卻塔是將管式換熱器置于塔內,通過室外流通的空氣、噴淋水與管內的循環冷卻水進行熱交換而實現向大氣散熱的設備。閉式冷卻塔由
66、內循環和外循環兩個系統組成,其內循環通過與被冷卻設備連接,構成一個封閉式系統,將系統熱量帶到冷卻塔,即內循環水通過換熱盤管將熱量傳遞到大氣中;外循環由循環噴淋泵、布水系統、集水盤及管路組成,外循環水不與內循環水相接觸,只是通過冷卻塔內的換熱器吸收內循環水的熱量,然后通過和空氣直接接觸來散熱。閉式冷卻塔的具體形式見圖3-23:33冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖3-23 閉式冷卻塔示意圖(3)干冷器干冷器通過室外空氣來冷卻換熱器盤管內的冷卻水,從而降低冷卻水的溫度,達到冷卻的目的。根據室外條件,可選擇性增加噴淋設備強化冷卻。干冷器中的冷卻水通常使用乙二醇溶液來防凍,
67、需要根據項目地冬季極端溫度選取溶液濃度。干冷器的具體形式見圖3-24:圖3-24 干冷器示意圖34冷板液冷標準化及技術優化白皮書ODCC-2023-02004由于一次側進水溫度的不同,所選擇的室外冷源也會有所不同,即冷源的搭配形式有所不同。一次側進水溫度大致可分為五個等級,見表3-5。表3-5 不同一次側進水溫度等級下的冷源配置710液冷水溫等級一側進水溫度冷源配置W1717冷水機組,輔以水經濟器(板式換熱器)W2727W3232冷卻塔或干冷器,輔以冷水機組或區域熱回收系統W4040W4545冷卻塔或干冷器,輔以區域熱回收系統W+45注:最低供水溫度不低于2。8.8.工藝冷媒工藝冷媒冷板液冷的
68、工藝冷媒主要選擇純水液和配方液,純水液主要為去離子水,配方液主要為乙二醇或丙二醇溶液。此外,工藝冷媒需要添加抑菌劑和緩釋劑,不同工藝冷媒之間不可以混用。去離子水具有良好的導熱性能,超低電導率、制備工藝成熟,無毒安全,但需要注意對工藝冷媒的維護。去離子水的冰點為 0,在運輸、儲存、短時停機、業務量較少、服務器已安裝未運行等情況下,需要考慮防凍問題。35冷板液冷標準化及技術優化白皮書ODCC-2023-02004對于配方液而言,具備高導電率,泄漏可能導致 IT 設備短路。乙二醇或丙二醇具有一定的毒性。目前,華為、曙光以 25%乙二醇溶液為主,浪潮、新華三以 25%丙二醇溶液為主,其中,濃度 25%
69、并非定值。配方液濃度的高低會影響工質流動的快慢,散熱的大小。當濃度過低時,無法起到防凍作用及抑制微生物的作用。當濃度在20%以上時,乙二醇溶液和丙二醇溶液對微生物可起到一定的抑制作用。具體項目采用的濃度大小需根據項目地點的氣象參數和防凍要求即可4。表 3-6 不同工藝冷媒的物性參數(40,101kPa)對比4工藝冷媒去離子水25%乙二醇25%丙二醇工藝冷媒行標要求沸點/100.0103.8101.2冰點/0.0-12.2-10.0導熱系數/(W/m)0.630.510.49比熱容/(kJ/kg)4.1743.7433.96密度/(kg/m3)99210271014運動粘度/(mm2/s)0.6
70、5901.16581.3852在最低使用溫度下液體運動粘度50mm2/s導電性混 合 雜 質 后導電混合雜質后導電混合雜質后導電初始液體電導率300s/cm毒性無有 一 定 毒性,乙二醇原溶液口服有 一 定 毒性,丙二醇原溶液口服液體允許接觸濃度100ppm;使 用36冷板液冷標準化及技術優化白皮書ODCC-2023-02004致死量1.6g/kg致死量22g/kg液體要求無皮膚接觸,無眼接觸刺激,無細 胞 變 異 影響,對水生毒害無影響腐蝕性弱 腐 蝕 性,需加緩蝕劑弱腐蝕性,需加緩蝕劑弱腐蝕性,需加緩蝕劑環保性環 保,直 接排放需加水稀釋后排放到污水管道需加水稀釋后排放到污水管道臭氧破壞潛
71、能ODP=0設備兼容性維 持 工 質 運行 環 境,來抑 制 管 路 材料 中 的 腐 蝕和 微 生 物 的滋 長,同 時也 配 有 添 加劑(緩 蝕 和殺菌)通過添加劑(緩蝕劑和殺菌)有效抑制管路中材料腐蝕和細菌的滋長通過添加劑(緩蝕劑和殺菌)有效抑制管路中材料腐蝕和細菌的滋長產業鏈及成本去 離 子 水 制備 工 藝 及 產業鏈較成熟與汽車防凍液共用產業鏈,大量應用,產業鏈成熟、成本低多 用 于 食品、飲料等有低毒性要求 的 產 業鏈,應用范圍小,成本高冷板液冷用工藝冷媒 pH 宜穩定在弱堿性,以防止在冷板內部、管壁形成生物粘膜,有效防菌。具體的工藝冷媒檢測項目及參數推薦見表 3-7。表 3
72、-7 取樣監測項目和參數推薦值關鍵水質參數單位數值pH(25)/8.09.537冷板液冷標準化及技術優化白皮書ODCC-2023-02004濁度NTU5電導率(25)s/cm20(去離子水)1500(緩蝕劑)微生物CFUs/mL100銅及銅離子ppm0.2鐵及鐵離子ppm0.1鋅及鋅離子ppm0.1鋁及鋁離子ppm0.1氯離子ppm10硫化物ppm1硫酸鹽ppm10總硬度(以 CaCO3計)ppm20總懸浮固體ppm3冷板液冷用工藝冷媒測試方法參考見表 3-8。表 3-8 工藝冷媒測試內容及方法監控內容測試方法外觀通過目測法觀察工藝冷媒的外觀情況。pH利用玻璃電極法測定水溶液的 pH 值。具體
73、方法為:在某一特定溫度下(如 25),先將電極浸泡到標準緩沖溶液進行校準,然后用水沖洗電極,用待測液體洗滌后,將電極插入待測液體讀出 PH 值。也可選用在線式 PH 計進行實時監測系統中水溶液的 pH 值變化。在線式 pH 計帶有溫度傳感器,可自動進行溫度補償。酸值利用顏色指示劑法或者電位滴定法測定絕緣液體的酸值。38冷板液冷標準化及技術優化白皮書ODCC-2023-02004具體方法為:(1)顏色指示劑法:將絕緣液體溶解在含有少量水的甲苯和異丙醇混合溶劑中,以氫氧化鉀異丙醇標準溶液為滴定劑進行電位滴定。當 pH 值達到 11.5 時,每 1g 樣品所需的堿量即為酸值,以 mgKOHg 表示。
74、(2)電位滴定法:將絕緣液體溶解在含有少量水的甲苯和異丙醇混合溶劑中,并加入顏色指示劑,以氫氧化鉀異丙醇標準溶液為滴定劑。當顏色有明顯變化時,每 1g 樣品所需的堿量即為酸值,以 mgKOHg 表示。電導率利用電導率儀測定水溶液的電導率。具體方法為:在試驗前,用電導率不大于 200s/cm 的去離子水清洗電導率的傳感器,然后再用待測溶液清洗至少兩次,然后進行測定?;蜻x用在線式電導率儀進行實時監測系統中水溶液的電導率的變化。在線式電導率儀帶有溫度傳感器,可自動進行溫度補償。粘度利用玻璃毛細管粘度計測量液體的運動粘度和動力粘度。具體方法為:標定玻璃毛細管粘度的毛細管常數;在某一特定溫度下(如 25
75、),記錄下一定體積的液體流過標定好的毛細管粘度計的時間;毛細管粘度計的毛細管常數與流動時間的乘積,即為該溫度下液體的運動粘度;該溫度下液體的運動粘度與該溫度下液體的密度的乘積,即為該溫度下液體的動力粘度?;蜻x用在線式粘度計對工藝冷媒進行實時監控。冰點利用臨界角折射率儀測定乙二醇或者丙二醇水溶液的冰點。具體方法為:(1)取幾滴蒸餾水置于棱鏡的表面上,合上蓋板,進行儀器歸零校準。有溫度自動補償功能的折射率儀無須進行校準,可直接使用;(2)將待測液體滴在棱鏡的表面上,合上蓋板,直接讀出度數。注意:對于可同時測定乙二醇和丙二醇冰點的折射率儀器,應根據水溶液的類型從相應的刻度表讀出讀數。39冷板液冷標準
76、化及技術優化白皮書ODCC-2023-02004傾點采用自動壓力脈沖法測定絕緣液體的傾點。具體方法為:按照 SH/T 0771-2005,將試樣注入樣品杯后,首先將液體加熱到規定溫度,然后以 1.50.1/min 速度用珀爾帖裝置冷卻,儀器每降低 1或 3時施加一次壓縮脈沖氮氣到式樣的表面,通過光源照射試樣,當施加脈沖時使用光學檢測器檢測試樣表面的移動。當施加壓縮脈沖氮氣時觀察不到試樣表面的移動時,就是試樣的不流動點,最后一次施加壓縮脈沖氮氣時可以觀察到試樣表面移動的溫度即是傾點。儲備堿(保留堿度)測試方法為:將 10mL 的待測水溶液用水稀至約 100mL,再用濃度為 0.1 mol/L 的
77、鹽酸標準滴定溶液滴定到 pH 值為5.5。記錄滴定所消耗的鹽酸標準滴定溶液的毫升數,精確到 0.1mL。含水量參考 NB/T 42140-2017,用卡爾費休自動電量滴定法測定絕緣液體中水分的含量。濁度按照 HJ 1075-2019,利用一束穩定光源光線通過盛有待測水溶液的樣品池,傳感器處在與發射光線垂直的位置上測量散射光強度,測量出水溶液的散射濁度,單位為 NTU?;蜻x用在線式濁度儀進行實時監測系統中水溶液的濁度的變化。顆粒物濃度按照 ISO 11500 進行顆粒物濃度測定。用在線或者離線的自動顆粒計數系統,測量出一定體積工藝冷媒中不同大小粒徑的顆粒的分布情況。腐蝕產物元素含量采用電感耦合等
78、離子體原子發射光譜(ICP-AES)測定工藝冷媒中金屬(如 Ca,Mg,Al,Cu,Fe,Zn 等)和部分非金屬元素(如 Si,S 和 P)的含量。有機物污染物采用傅里葉紅外光譜儀(FTIR)分析氟化液或者油樣中溶解的有機物(如塑化劑 DOP)的情況。緩蝕劑濃度采用分光光度計測量工藝冷媒中緩蝕劑(如有)的濃度。為了測量緩蝕劑的濃度,需要首先知道緩蝕劑的吸收峰的位置,然后用不同濃度的緩蝕劑溶液繪制出標準濃度曲線。測量出待測工藝冷媒在特定吸收峰出的吸光度后,根據標準濃度曲線發推出液體中緩蝕劑的濃度40冷板液冷標準化及技術優化白皮書ODCC-2023-02004菌落數測試方法為:將一定體積的待測液體
79、滴在微生物培養基上,經過培養處理后,數出所生長出的菌落個數,計算出每毫升待測液體中可以培養出多少菌落數。如果菌落數太多,需要對待測液體進行預稀釋處理。如果無條件制備培養基培養微生物菌落,也可選用商用的菌片進行培養處理。(三)(三)冷板液冷發展面臨的主要挑戰冷板液冷發展面臨的主要挑戰1.1.水質水質工藝冷媒和一次側冷卻水都存在水質問題,ASHRAE 提供了相關的標準見表 3-9。工藝冷媒的使用壽命更低,需要經常監測和加藥維護,原因主要在于工藝冷媒常由水/醇類組成,在長期高溫下運行時工藝冷媒中的的水、醇以及其它成分,可能由于蒸發、化學反應等原因,導致快速消耗。工藝冷媒一旦發生嚴重問題是需要采取換液
80、措施的,工藝冷媒的更換是一個繁瑣的任務,需要將設備停機,排液,清洗管路后再充注新的工藝冷媒。水質問題主要有四個,分別是腐蝕、微生物滋生、結垢和污垢。任意一個問題都會削弱冷板的散熱能力,增加系統停機風險。腐蝕腐蝕腐蝕的類型主要有三種:均勻腐蝕,點蝕腐蝕和電化學腐蝕。均勻腐蝕也稱為一般腐蝕,是指金屬表面被腐蝕形成氧化膜,這是通常預期內的腐蝕,有時我們稱之為鈍化。點蝕是金屬表面的局部腐蝕,在使用紫銅管的情況下,這種腐蝕可能導致漏水,典型的 MTTF 約為 2 年。41冷板液冷標準化及技術優化白皮書ODCC-2023-02004電化學腐蝕為兩種電勢差較大(一般大于 0.6V)的金屬接觸,且被浸潤在同一
81、電導率較高的工藝冷媒中,就會發生電化學腐蝕。這種電勢差會迫使電子從電勢較低的活潑金屬流向電勢較高的不活潑金屬,失去電子的活潑金屬將被腐蝕。此外,即使在金屬不接觸時,因為溶解的銅離子以非常低的濃度沉積在鋁表面,造成鋁被銅腐蝕。微生物滋生微生物滋生水系統中微生物滋生可能導致冷卻回路中的沉積、污垢和腐蝕。防止微生物生長包括(1)確保硬件內部由不含生物有機體。(2)用殺生物劑處理以控制細菌種群。為了避免生物生長,硬件應運輸并干燥儲存。在運輸和儲存之前,必須盡一切努力吹凈水,保持干燥。結垢結垢結垢是指在二次側系統表面沉積致密的鹽。當由于高濃度或溫度升高而超過鹽在水中的溶解度時,就會發生結垢。污垢污垢污垢
82、是非結垢物質的沉積,如腐蝕物和有機物。真菌,如鐮刀菌,會生長、污染和堵塞過濾器以及翅片散熱器。它們通常生長在冷卻塔水池或污水坑上。42冷板液冷標準化及技術優化白皮書ODCC-2023-02004表 3-9 ASHRAE 推薦的一次側冷凍水和工藝冷媒的水質要求8一次側冷卻水 FWS工藝冷媒 TCSpH7.09.08.09.5緩蝕劑 Corrosion inhibitor(s)需要需要抑菌劑 Biocide/需要硫化物 Sulfide10 ppm1 ppm硫酸鹽 Sulfate100 ppm10 ppm氯化物 Chloride50 ppm5 ppm細菌 Bacteria1000 CFUs/mL10
83、0 CFUs/mL總硬度(CaCO)Total hardness(asCaCO)200 ppm20 ppm電導率 Conductivity/0.220s/cm總懸浮固體 Total suspended solids/3 ppm蒸發后殘留物 Residue afterecaporation500 ppm50 ppm濁度 Turbidity20NTU20NTU2.2.泄漏泄漏相比空氣冷卻,行業對冷板液冷的可靠性有很多顧慮,尤其漏液造成服務器短路的情況幾乎無法接受,因此,行業需要完善的系統級、機柜級、節點級漏液檢測、漏液集中回收、漏液保護等解決方案。43冷板液冷標準化及技術優化白皮書ODCC-202
84、3-02004液冷循環體系中的腔體和流道,密封式基本功能,但由于結構材料、接口和密封方式眾多,往往產生泄漏點,部分泄漏場景包含:(1)低溫下工質凝固導致冷板鼓包、管路開裂。圖3-25 冷板凍裂示意(2)電化學腐蝕,導致管路或 QDC 腐蝕。圖3-26 部件腐蝕示意(3)軟管總成,內部寶塔接頭長期受管路的擠壓產生蠕變,倒刺結構向內變形,軟管和寶塔之間密封能力下降,產生泄漏。(4)非金屬材料,如管路密封墊、排氣閥浮子與工藝冷媒長期接觸,出現水解開裂。44冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖3-27 材料水解開裂示意3.3.冗余路由冗余路由根據項目建設等級,冷板液冷系統冷源
85、、冷卻水泵、冷凍水泵、CDU、LCM 等設備需進行冗余配置。一二次側液冷管網采用環網形式,但受限于機柜寬度尺寸,主管閥門建議采用單柜單閥門布置,當主管閥門發生故障時,導致兩臺機柜斷液,無法滿足單點故障維護要求,在后續管網設計時,需進行閥門小型化或其他應急措施,滿足單點故障維護要求。4.4.高成本高成本相比空氣冷卻,冷板液冷 CAPEX 投資相對較高,對后續的應用規模有重要的影響:冷板組件、QDC、RCM、LCM、CDU 等因材料要求不銹鋼或紫銅,成本較高,需要新材料或工藝進一步降低成本。由于需要保證材料兼容性、防腐抑菌和高效換熱,所有部件均需要使用高性能、高耐腐蝕性和高導熱性的材料,這些材料通
86、常價格較高,直接導致液冷系統材料成本的增加。45冷板液冷標準化及技術優化白皮書ODCC-2023-02004為確保系統的可靠密封,需要對液冷部件進行精密加工和組裝,如 LCM 的焊接、酸洗、鈍化、拼裝、測試等工藝,復雜的制造過程和精密工藝導致制造成本增加。5.5.建設周期長建設周期長冷板液冷數據中心涉及大量設備和工程管路,尤其是 LCM 和RCM 所在二次側的無塵要求,需要反復沖洗;為防止金屬離子析出,需要表面鈍化處理,延長了相關建設周期。而用戶側,尤其是互聯網用戶,對快速交付的需求仍然存在,因此,有些集成商提出了諸如管路預制,冷源模塊化,整機柜交付、集裝箱預集成等措施。6.6.能耗問題能耗問
87、題相比空氣冷卻,冷板液冷因較高效的散熱,可以極大降低 PUE。在實際運行中,冷板液冷機房的氣液比,一二次側供回液溫度和溫差、冷通道溫度要求、冷源方案等對 PUE 指標均有影響。為優化冷板液冷系統 PUE,需尋求多種節能途徑:(1)降低氣液比,盡量使用更高效的液體冷卻。(2)提高工藝冷媒供液溫度,提升自然冷卻時長。(3)提高一二次側供回液溫差,降低系統流量;優化液冷系統流阻,降低循環泵揚程,降低泵功耗。(4)提升冷通道溫度。46冷板液冷標準化及技術優化白皮書ODCC-2023-02004(5)盡量利用空氣蒸發冷卻,提升冷源換熱效率。7.7.冷源水耗冷源水耗冷板液冷系統的耗水量主要來自一次側冷源,
88、一次側冷源的選擇對 WUE 影響較大。一般來說,WUE 的大小關系為:開式冷卻塔閉式冷卻塔干濕聯合閉式塔帶濕膜干冷器干冷器,因此,針對缺水地區,建議采用干冷器。四、四、工程標準化及設計要求工程標準化及設計要求(一)(一)標準化現狀及需求標準化現狀及需求1.1.標準化現狀標準化現狀國內標準方面,已發布 1 項與電子設備相關的冷板液冷國家標準,GB/T 15428-1995電子設備用冷板設計導則。該標準主要規定電子設備使用的冷板換熱計算和結構設計,對于冷板核心參數定義,性能定義,材料定義,加工工藝,漏液檢測定義和測試方法及要求均不涉及。目前與冷板液冷系統相關的標準,已發布 4 項行業標準,9 項團
89、體標準,標準清單詳見表 4-1。已有標準主要概述了數據中心冷板式液冷系統設計、CDU 和其他相關方面的技術要求與測試方法,適用于液冷系統的設計、施工、部署、運維、測試等環節的技術指導。47冷板液冷標準化及技術優化白皮書ODCC-2023-02004表 4-1 冷板液冷國內相關行業和團體標準清單級別級別標準編號標準編號標準名稱標準名稱公布日期公布日期發布單位發布單位行業標準YD/T 4024-2022數據中心液冷服務器系統總體技術要求和測試方法2022/4/24中國通信標準化協會行業標準YD/T 3983-2021數據中心液冷服務器系統能源使用效率技術要求和測試方法2021/12/2中國通信標準
90、化協會行業標準YD/T 3982-2021數據中心液冷系統冷卻液體技術要求和測試方法2021/12/2中國通信標準化協會行業標準YD/T 3980-2021數據中心冷板式液冷服務器系統技術要求和測試方法2021/12/2中國通信標準化協會團體標準T/CCSA 274-2019數據中心液冷系統冷卻液體技術要求和測試方法2020/7/29中國通信標準化協會團體標準T/CCSA 270-2019數據中心冷板式液冷服務器系統技術要求和測試方法2020/7/29中國通信標準化協會團體標準T/CCSA 269-2019數據中心液冷服務器系統總體技術要求和測試方法2020/7/29中國通信標準化協會團體標準
91、T/CCSA 239.1-2018服務器用液冷系統第 1 部分:間接冷板式2020/7/28中國通信標準化協會團體標準T/CIE 091-2020溫水冷板式間接液冷數據中心設計規范2021/4/29中國電子學會團體標準T/CIE 090-2020數據中心溫水冷板式間接液冷設備通用技術要求2021/4/29中國電子學會團體標準T/CIE 088-2020非水冷板式間接液冷數據中心設計規范2021/4/29中國電子學會團體標準T/CIE 098-2021液/氣雙通道熱管冷板間接液冷數據中心設計規范2021/4/29中國電子學會團體標準T/CIE 097-2021液/氣雙通道熱管冷板間接液冷數據中心
92、 散熱設備通用技術規范2021/4/29中國電子學會48冷板液冷標準化及技術優化白皮書ODCC-2023-02004對于服務器與存儲設備用液冷部件冷板、連接系統、CDU 等本身的設計、生產、測試和評價標準整體規定方面,目前已發布 1 項標準 T/CESA 1249.1-2023服務器及存儲設備用液冷裝置技術規范第 1 部分:冷板,另有 3 項標準正處于征求意見階段:服務器及存儲設備用液冷裝置技術規范 第 2 部分:連接系統,服務器及存儲設備用液冷裝置技術規范 第 3 部分:冷量分配單元,服務器及存儲設備用液冷裝置技術規范 第 4 部分:監控系統。國外標準方面,ASHRAE TC9.9 定義了供
93、給冷量分配單元的一次側冷卻水的溫度等級,從 W17 到 W+共 6 個溫度等級(表 3-5)。綜上,從全球范圍看,信息技術領域冷板液冷的標準較少,在通用市場暫未形成大規模影響。2.2.標準化需求標準化需求基于不同類型業務場景,預計未來 2-3 年 CPU 類型業務液冷單機柜典型功耗在 20-30kW,GPU 類型業務液冷單機柜典型功耗在 40-50kW 范圍。從快交付、低成本等基本訴求出發,宜考慮冷板液冷數據中心關鍵組件、系統架構標準化需求。從產品適配角度,通過推動標準化產品的普及,提升用戶冷板式液冷產品的可選性、兼容性等。(1)組件標準化49冷板液冷標準化及技術優化白皮書ODCC-2023-
94、02004冷板液冷系統的關鍵組件,包括冷板組件、QDC、CDU 及連接管路(RCM、LCM 和軟管等)。這些關鍵組件的標準化,最直接的收益是降低成本,間接加速冷板液冷系統的推廣及應用。從冷板組件標準化角度看,考慮服務器熱設計功率隨技術發展在不停演進,但不同業務類型散熱功耗相對偏差不大。如單節點CPU 類型服務器液冷散熱功耗預計在 1kW 范圍;單節點 GPU 類型服務器液冷散熱功耗預計在 10kW 范圍。對于冷板組件,宜考慮不同代際散熱需求,進行可選標準化散熱功率設計,以供服務器節點選擇。QDC 宜設立、推行適合國內應用場景的行業標準而非企業標準,以便降低不同 OEM(或 ODM)服務器替換、
95、更新等場景液冷設施接駁的差異化需求。如,雖然 OCP 推行了 QDC 標準的快速接頭,但其快速接頭與 RCM 的連接底座螺紋型式,還是以美標螺紋為主。針對國內的配套產業鏈,還是應遵從國標要求為主。對于連接軟管,因 RCM 的布置需與 I/O,PDU 等綜合考量,服務器級軟管,應推出可選梯次長度,供用戶選擇,而非定制長度。CDU 作為冷板液冷的核心組件,從中長期看,柜式 CDU 的需求量較大概率會超過機架式 CDU。針對柜式 CDU,更適宜考慮在不同液冷分級(見表 3-5)下,不同顆粒度規模(如典型 400kW、600kW、800kW、1000kW 或更高容量)的標準化產品。產業鏈設備廠商可考慮
96、以某種液冷分級(如 W32,見表 3-5)、滿足可在線冗余需求的基礎上,設計基于標準化配置的 CDU 設備,進而量化設備尺寸、容50冷板液冷標準化及技術優化白皮書ODCC-2023-02004量等參數。同時,保留一定容量幅度范圍的換熱能力,設備的容量兼容能力可有效提升,提高設備產品力。從用戶角度,降低 CDU 差異化選擇,為冷板液冷系統標準化模型創造良好基礎。(2)系統標準化冷板液冷單系統容量是實現樓棟級液冷乃至更高規模液冷集群的基礎。從冷板液冷單系統容量標準化需求角度看,更適宜以數據中心常用變壓器容量(如 2000kVA、2500kVA 等)為基本模數,推演基于不同 CDU 顆粒度規模,在不
97、同液冷分級下(以 W32 為基準)標準的一、二次側產品解決方案??紤]到一次側及冷源的經濟性,可在變壓器基本模數的基礎上,以 2 倍或 3 倍乃至更高倍數為框架,整體搭建室外冷源及一次側管路系統。CDU 及二次側管路應整體考慮可在線維護等冗余要求。(二)(二)工程標準化設計要求工程標準化設計要求1.1.二次側管路二次側管路材質材質與工藝冷媒接觸的管路材質應具有良好的兼容性,LCM 及閥門,法蘭等管件通常采用 SUS304 不銹鋼及以上材質,出廠前應采取酸洗、鈍化、清洗、烘干處理。需要焊接處理的不銹鋼宜采用低碳(51冷板液冷標準化及技術優化白皮書ODCC-2023-020040.03%)以避免敏化
98、甚至腐蝕,焊接后需要使用酸洗鈍化的方式去除熱著色氧化物。密封材料應滿足 RoHS 要求。密封材質應具備良好的密封性和抗老化能力;與工藝冷媒接觸的材料表面不易發生腐蝕,禁止使用生料帶等易腐易堵的密封方式及輔料。執行標準及承壓執行標準及承壓管路管徑及壁厚選型在滿足系統流量分配的前提下,同時應遵循 DIN11850 標準要求,管路承壓能力不小于 1.0MPa。表面粗糙度表面粗糙度要求管路內壁表面光潔度高,金屬特性穩定,表面的粗糙度(Ra)不大于 0.6m。預制化預制化管路要求采用工廠預制化方式,在工廠內完成所有管道模組的焊接加工、管道清洗、密閉性測試、潔凈度測試、烘干等工作,宜氮氣保壓運輸至工程現場
99、進行組裝,現場只允許進行管道組裝及相關清洗工作,不建議在機房內動火焊接。管道清洗完之后電導率應不大于 10s/cm,且水體無雜質、表面無油污。密閉性測試可采用水壓密封試驗(建議 1012bar,保持 824h)或者氣壓密封試驗(建議 28bar,保持 510min)。52冷板液冷標準化及技術優化白皮書ODCC-2023-02004LCM 深化設計時,須進行管路三維建模,確認與其它系統無結構干涉,以確保管路可實施性。LCM 應按單線圖規定的數量、規格、材質選配管道組成件、并應按單線圖標明管道系統號和按預制順序標明各組成件的順序號。不得對不同編號的管路進行交叉互換。不銹鋼預制管路可少量配置不銹鋼波
100、紋軟管進行建筑物與預制管路之間的公差配合。管路設計管路設計LCM 建議架空地板下敷設,環路設計,避免單點故障,架高地板頂面標高建議不小于 700mm,宜 900mm(此標高未考慮其它管線系統占用高度)。LCM 底部宜設置集液盤,以及安裝排氣閥、泄水閥等配件的空間,二次側主管管徑不宜大于 DN200;另外當尺寸大于 DN200 時配件多為工業級,導致工程成本增加,同時大管徑載冷量更大,相同冷負荷前提下需布局的環路數量減少,整體可靠性也隨之降低。環網管路應在適當位置安裝自動排氣閥,保證系統排氣。排氣閥建議設置隔離閥門,方便維護。LCM 的閥門安裝應采用對焊或法蘭對夾安裝、端面密封,不宜采用螺紋安裝
101、(避免生料帶及密封膠的使用,腐蝕堵塞冷板或QDC)。LCM 分支管應安裝可快速物理斷開的球閥,與機柜 RCM 接管進53冷板液冷標準化及技術優化白皮書ODCC-2023-02004行快拆連接。機柜分支關斷閥、主管路分段閥以及主分支關斷閥(蝶閥、球閥、分段法蘭)閥體、閥板、閥球材質通常均采用 SUS304 不銹鋼或以上材質,承壓1.0MPa。安裝方式應采用焊接、法蘭、卡箍連接,端面密封??ü窟B接應采用高壓卡箍,禁止采用單鉚釘輕型卡箍。不允許螺紋安裝。工藝要求工藝要求不銹鋼管路安裝前應提前進行安裝環境管理,安裝空間應處于潔凈狀態。不銹鋼管路在安裝運輸過程中應小心輕放,并注意對非不銹鋼金屬材質 EP
102、DM、PTFE 等柔性材質進行保護。不銹鋼預制管路安裝過程應按布置圖紙編號進行分段安裝,防塵包裝不得提前拆除。不銹鋼管路的安裝支架和固定管卡宜采用不銹鋼材質,當安裝支架和固定管卡用非不銹鋼的金屬材質時,需采用 EPDM 或 PTFE 來對管路與支架之間進行有效隔離。不銹鋼管路管件安裝前應提前進行檢查,管件無損傷且干凈無灰塵。連接件(法蘭或卡盤)連接應與管道同心,并應保證螺栓自由穿入。法蘭螺栓孔應跨中安裝。法蘭間應保持平行,其偏差建議不54冷板液冷標準化及技術優化白皮書ODCC-2023-02004大于法蘭外徑的 1.5,且不大于 2mm;卡盤間應保持對稱,錯位偏差建議不大于 1mm,不得用強緊
103、螺栓的方法消除歪斜。采用卡盤連接或者法蘭連接時,墊圈不得扭曲移位,管路緊固時應對稱的均勻用力,緊固力使密封圈壓縮形變,行成無間隙密封。2.2.功能要求功能要求水力平衡水力平衡LCM 設計需考慮機柜流量均勻,液冷機柜最大流量和最小流量之間的不平衡率控制在 10%以內,且滿足所有機柜設計散熱流量需求;在最不利單點故障工況,不平衡率應不大于 15%。復雜大系統應提供不同工況下的水力平衡仿真報告。系統排水系統排水LCM 最低位置應設置排污(水)口等,配置排水閥,采用SUS304 不銹鋼材質,排水閥口徑不應小于 DN10。宜采用焊接或卡盤連接,禁止采用螺紋連接。保留足夠的檢修空間,方便維護。漏水檢測漏水
104、檢測LCM 底部需設置集水盤,集水盤需采支持分段預制且可實現定向排水,集水盤建議設置不小于 i=0.003 坡度,內部需沿管路路由全部鋪設米級定位式漏水告警繩,定位式漏水告警繩敷設應覆蓋LCM 及閥門。漏水繩上需安裝定位標識,漏水檢測的告警信號應可55冷板液冷標準化及技術優化白皮書ODCC-2023-02004接入機房動環管理系統,當出現漏液告警時可將發生泄漏的物理位置定位到某個主管路。保溫保溫CDU 有防結露功能時,LCM 無需使用保溫措施;另外,CDU 內部一次側管路及換熱器建議保溫,CDU 內部二次側無需保溫。過濾精度過濾精度二次側過濾精度宜不大于 50m(即不小于 300 目),一次側
105、過濾精度宜不大于 250m(即不小于 60 目),建議使用阻力小、在線維護方便的過濾器。應設置旁路管路,支持在線維護,不影響系統正常運行。流速限值流速限值如果流速超過 1.5m/s,所有管徑小于 25mm 的管道和所有管徑軟管都有被侵蝕的風險,尤其是在彎管和接頭處。管徑 38mm76mm 的管道流速限值在 1.8m/s,管徑76mm 的管道流速限值為 2.1m/s5。(三)(三)典型案例介紹典型案例介紹1.1.江蘇某大數據產業園項目江蘇某大數據產業園項目曙光數創全系統交付的 MW 規模大數據產業園液冷項目,致力于建設車聯網、云計算、智能制造、區塊鏈等相關領域區域數據中心,為用戶提供個性化的定制
106、化數據分析服務。56冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 4-1 大數據產業園項目現場單機柜功率:21kW,氣液比:1:1CDU 顆粒度:445kW,3+1 備份。一次側進出水溫度:35/40二次側供回液溫度:40/45二次側冷卻介質:去離子水添加藥劑單個服務器節點設計流量范圍:1.01.2L/min單個服務器節點(含快速接頭)流阻為 35kPa1L/min二次側主管路按照環狀管網設計,降低因管路水利不平衡造成的機柜流量分配不均的影響。每個環網中設計 8 個支路,每個支路布置 13-18 個液冷機柜。每兩個機柜設置一組分段閥,在不大幅增加造價的同時盡量降低單點故障的影
107、響。CDU 布置在空調間,通過接入主環網為系統供液。二次側硬管道、閥門、管件材質均為 304 不銹鋼,管道在工廠完成分段預制,在項目現場僅需完成組裝,無需動火焊接。有維護需求的部位(手57冷板液冷標準化及技術優化白皮書ODCC-2023-02004動閥件連接處)采用法蘭或卡箍連接,互鎖型球閥、自動排氣閥、傳感器等附件采用螺紋連接,連接處均采用 0 型圈或組合密封圈密封,密封圈材質采用 EPDM 或 PTFE 材質。本項目在生產測試車間搭建與本項目單個環網 1:1 比例的測試平臺。測試平臺接入 CDU 及冷源設備,按照試驗設計在管網中布置已完成權威檢測機構標定的流量計、壓差傳感器、溫度傳感器等檢
108、測設備。進行均流測試時,采用“假負載”模擬現場機柜。圖 4-2為廠驗測試現場照片。圖 4-2 廠驗測試現場2.2.廈門某智算中心廈門某智算中心創新實驗室面向能源、材料、半導體領域高速增長的研發需求與大規??茖W計算需求,于2022年建成國內高校領先水平的智算中心,以實現多領域原創性突破與智能化轉型。58冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 4-3 東部(廈門)某智算中心IT規模:800kW單機柜功率:50kW,100%冷板液冷CDU顆粒度:400kW,2+1備份一次側進出水溫度:35/45二次側供回液溫度:40/50二次側冷卻介質:去離子水室外冷源:700kW閉式冷卻塔
109、,1+1備份設計年均PUE:1.2特點:模塊化設計,工廠預制3.3.山西某大規模冷板液冷數據中心山西某大規模冷板液冷數據中心秦淮數據MW規模部署的國內第一個冷板液冷數據中心,于2023年7月建成并完成測試交付。59冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 4-4 華北大型冷板液冷數據中心現場 CDU 和干冷器實景機柜功率:20+kW,氣液比:1:1一次側進出水溫度:35/42二次側供回液溫度:40/45一次側冷卻介質:45%乙二醇溶液二次側冷卻介質:去離子水CDU規模:350kW,1+1備份冷源方式:干冷器,5+1特點:一次側大環網,二次側CDU小環網高可靠性4.4.廣州
110、科云數據中心廣州科云數據中心廣州科云數據中心作為行業先鋒,早在2019年率先試點實踐了冷板液冷技術。60冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 4-5 廣州科云數據中心IT 規模:120kW單機柜功率:10kW,峰值 13.2kWCDU 顆粒度:120kW,1+1 備份一次側進出水溫度:12/18二次側供回液溫度:30/35二次側冷卻介質:乙二醇溶液冷凍水列間空調:40kW,1+1 備份設計年均 PUE:PUE1.18特點:冷板液冷試點早期實踐五、五、接液材料研究接液材料研究詳細了解所有冷卻部件和所使用的材料至關重要,需要和所有接液材料部件及液體供應商建立密切合作,確保
111、材料的相容性。有61冷板液冷標準化及技術優化白皮書ODCC-2023-02004關常見接液材料的描述,該列表并不是對所述材料相容性的承諾,具體材料選擇或供應商切換時,仍然需要通過測試來確定。(一)(一)傳統材料傳統材料液冷系統接液材料要與工藝冷媒保持良好的相容性,不會產生腐蝕、劣化及其他理化性質的改變;具備良好的機械性能、環境適應性,且符合環保要求。ASHRAE 建議管路、接頭、RCM、LCM 等金屬部分使用紫銅、鋅含量低于 15%無鉛黃銅、304L 或者 316L 不銹鋼,非金屬部分使用EPDM5。目前,國內液冷 LCM、RCM 廣泛使用的是衛生級不銹鋼管材。(二)(二)國外推薦材料國外推薦
112、材料OCP 在 2022 年 10 月的峰會上,由 Philip Yu 博士(納爾科)和 Sean Barlett(Meta)牽頭的項目6中,明確給出了二次側接液材料的清單,并給出了最高水溫不超過 66的適用條件,并把材料大致分為以下兩類:1.1.金屬與金屬合金類金屬與金屬合金類表 5-1 OCP 金屬與金屬合金類材料推薦材料名稱明細說明紫銅 CopperCDA110:99.95%銅+0.002%銀CDA1020:99.95%銅+0.002%銀(UNSC11000)62冷板液冷標準化及技術優化白皮書ODCC-2023-02004CDA1220:99.9%銅+0.02%磷CDA1100:99.9
113、%銅+0.04%氧鋅含量低于15%黃銅Brass of15%zinc大于 15%的鋅具有更易腐蝕的相謹慎使用不銹鋼StainlessSteel304L 或者 316L(推薦)必須考慮氯化物限值鎳,高鎳合金Nickel,highnickelalloys避免使用 B 型哈式合金及設計用于還原環境的合金B 型哈式合金:6570%鎳+1.53%鉻+12%鐵+2532%銅+0.002%硼謹慎使用鉻 Chromium電鍍耐腐蝕材料謹慎使用鈦 Titanium2 級(UNS R50400):99.75%鈦+0.25%鋁B-Ni-688.9%鎳+11%磷銅冷板釬焊材料BCuP-293%銅+7%磷銅冷板釬焊材料
114、BCuP-389%銅+5%銀+6%磷+0.15%其它銅冷板釬焊材料BCuP-487%銅+6%銀+7%磷銅冷板釬焊材料BCuP-580%銅+15%銀+5%磷銅冷板釬焊材料TF-H600F74.9%銅+15.6%錫+5.3%磷+4.2%鎳銅冷板釬焊材料63冷板液冷標準化及技術優化白皮書ODCC-2023-020042.合成橡膠、塑料和其它材料類合成橡膠、塑料和其它材料類表 5-2 OCP 合成橡膠、塑料和其它材料類推薦材料名稱明細說明EPDM三元乙丙橡膠 Ethylene propylene dienemonomerA 型氟橡膠Viton A亞氟乙烯六氟丙烯 Vinylidene fluoride
115、hexafluoropropyleneGF 型氟橡膠Viton GF亞氟乙烯六氟丙烯四氟乙烯 Vinylidenefluoride hexafluoropropylenetetrafluoroethyleneETP 型氟橡膠Viton ETP乙烯 Ethylene、四氟乙烯tetrafluoroethylene(TFE)、全氟甲基乙烯基醚 perfluoromethylvinylether(PMVE)FEP全氟乙丙烯聚合物 Fluorinated ethylenepropylene polymerPTFE,Teflon聚四氟乙烯聚合物Polytetrafluorinatedethylene p
116、olymer特氟龍密封劑和波紋軟管PP聚丙烯 PolypropylenePPR聚丙烯無規共聚物 Polypropylene RandomCopolymerPVDF聚偏二氟乙烯或聚偏二氟化乙烯Polyvinylidene fluoride or polyvinylidenedifluorideEPR乙烯丙烯橡膠 Ethylene propylene rubberPE聚乙烯 Polyethylene包括擠壓交聯聚乙烯(PEX)、超高分子量聚乙烯64冷板液冷標準化及技術優化白皮書ODCC-2023-02004(UHMWPE)、高密度聚乙烯(HDPE)NBR,Buna-N,Nitrile丙烯腈-丁二烯
117、橡膠 Acrylonitrile butadienerubberPSU聚砜 PolysulfoneHDPE高密度聚乙烯 High density polyethyleneAFLAS聚四氟乙烯-聚丙烯共聚物Polytetrafluoroethylene polypropylenecopolymerPFA,D3307全氟烷氧基烷烴 Perfluoro alkoxy alkanesCPVC氯化聚氯乙烯 Chlorinated polyvinylchlorideHypalon氯磺化聚乙烯 ChlorosulfonatedPolyethylene(CSPE)合成橡膠Neoprene氯丁橡膠PPS聚苯硫醚
118、 Polyphenylene SulfidePPO聚苯氧化物 Polyphenylene OxidePPSU聚苯砜 PolyphenylsulfonePEEK聚醚醚酮 Polyether ether ketonePFPE/PTFE全氟聚醚 Perfluoropolyether/聚四氟乙烯 Polytetrafluoroethylene潤滑油氧化鋁Aluminumoxide機械軸承和密封石墨/碳化硅復合材料Graphite一種高級陶瓷材料機械軸承和密封65冷板液冷標準化及技術優化白皮書ODCC-2023-02004loadedsiliconecarbide樂泰 567 膠水Loctite 567
119、螺紋密封膠 Thread sealant其他螺紋密封劑可能是可接受的,但應進行驗證;避免任何可能將顆粒引入流體的東西(三)(三)國內常用非金屬材料國內常用非金屬材料1.1.管路及接頭材料管路及接頭材料無規共聚聚丙烯無規共聚聚丙烯 PPRPPRPPR 是一種常用的聚合物材料,它具有優異的物理和化學性質,優良的耐化學腐蝕性,熱穩定性好,良好的焊接性,耐磨性好,管道內表面光滑。此外,與金屬材料相比,比重小,不導電,熱塑性好,易加工。聚偏二氟乙烯聚偏二氟乙烯 PVDFPVDFPVDF 是一種相當純凈的聚合物,它不含紫外穩定劑、熱穩定劑,軟化劑、潤滑劑或是阻燃劑等添加劑。特別適用于超純水系統和半導體行業
120、中純凈化學試劑的傳輸。由于 PVDF 的化學惰性,它幾乎不與任何介質發生反應。PVDF 材料可以穩定地保持去離子超純水的電阻率超過 18Mcm。由于它的易加工性和高性價比,PVDF 顯示出良好的綜合性能。PVDF 材料具有以下優點焊接性好,熱塑性好,適用溫度范圍寬,66冷板液冷標準化及技術優化白皮書ODCC-2023-02004耐熱變形溫度高,非常好的耐化學腐蝕性,即使用在高溫的連接下抗紫外性和 Y 射線輻射能力強,耐老化,磨耗低(低摩擦系數),耐磨性好,良好的力學性能,極好的介電性能,阻燃劑,無毒,易加工。均聚聚丙烯均聚聚丙烯 PPHPPHPPH 是一種改良的聚丙烯材料,是一種高分子量,低熔
121、流率的均聚聚丙烯聚。經過改性具有細膩的結晶結構,不但材料的高結晶度確保了極好的耐化學腐蝕性、耐高溫性以及良好的抗蠕變性,熱穩定性好,耐老化,耐磨性好,摩擦阻力低,壓損小,不導電,熱塑性好,易加工,而且在低溫下還具有優異的抗沖擊性。聚全氟乙丙烯聚全氟乙丙烯 FEPFEPFEP 主要優點包括:熔點高,耐受工作溫度范圍可達-85200。絕緣性好,介電常數低,比體積電阻大。具有優異的化學穩定性。除與高溫下的氟元素、熔融的堿金屬和三氟化氯等發生反應外,與其他化學藥品接觸時均不被腐蝕。與 PTFE 相比,硬度及抗拉強度略有提高,摩擦系數相似。常被用于冷板液冷 RCM 與服務器連接管路。聚酰胺塑料聚酰胺塑料
122、 PAPA67冷板液冷標準化及技術優化白皮書ODCC-2023-02004PA 的主要優點包括:機械強度高,韌性好,有較高的抗拉、抗壓強度,拉伸強度高于金屬,壓縮強度與金屬不相上下??估瓘姸冉咏谇姸?,對沖擊、應力振動的吸收能力強。耐疲勞性能突出:軟化點高,可在 150下長期使用;耐磨、耐腐蝕,有很好的抗老化能力。電氣性能優良:體積電阻很高,耐擊穿電壓高,在干燥環境下,可作工頻絕緣材料,即使在高濕環境下仍具有較好的電絕緣性。表面光滑,摩擦系數小。因為 PA 的以上優點,在儲能液冷領域有較多的應用,但是在冷板液冷少有應用,經研究發現,某些等級的 PA 會在水中產生銨離子,進而導致銅收到嚴重腐
123、蝕,即使使用銅緩蝕劑也無法抑制腐蝕,因此,需要謹慎使用。表 5-3 管路及接頭材料參數對比技術指標測試方法單位PPRPVDFPPHFEPPA物理性能比重 23ISO1183g/cm30.911.780.912.141.05熔融指數ISO1133g/10min/21-2719熔融流動速率 MFR190/5/0.5/MFR230/5/1.2560.25/MFI 范圍ISO1872/1873/M003/68冷板液冷標準化及技術優化白皮書ODCC-2023-02004力學性能屈服拉伸應力ISO527MPa255030/47屈服伸長率ISO527%12910/30斷裂伸長率ISO527%30080300
124、300-400/無缺口沖擊強度,+23ISO179kJ/cm2無斷痕124無斷痕/110無缺口沖擊強度,-30ISO179kJ/cm2/85缺口沖擊強度,+23ISO179kJ/cm225/50/21缺口沖擊強度,0ISO179kJ/cm2/11/缺口沖擊強度,-30ISO179kJ/cm22/5/10洛氏硬度ISO2039-1MPa458060/邵氏硬度ISO868/56/撓曲強度(3.5%撓曲應變)ISO178MPa208028/彈性模量ISO527MPa90020001300/熱性能維卡軟化溫度 VST/B/50ISO3066514091/100熱撓曲溫度HDT/BISO75701459
125、6/線性熱膨脹系統DIN53752-110-41.61.21.6/熱導率,20DIN52612W/(m)0.240.130.22/69冷板液冷標準化及技術優化白皮書ODCC-2023-02004可燃性UL94/94-HBV-094-HBV-0HBDIN4102/B2/B2/電性能比體積電阻VDE0303cm1016101310161018/比表面電阻VDE03031013101210131016/相對介質常數,1MHzDIN53483/2.37.252.3/介電常數VDE0303kV/mm7022752.03/其它衛生無毒EEC90/128/是是是是是食品及藥物總局/是是是是是紫外穩定劑/無有
126、無/顏色/RAL7032灰色本色RAL7032灰色白色透明黑、橙等注:數據來源于數據 Agru 產品手冊。2.2.密封件材料密封件材料非金屬管路密封件推薦三元乙丙橡膠(EPDM)、聚四氟乙烯(PTFE)及氟橡膠(FPM)。三元乙丙橡膠(三元乙丙橡膠(EPDMEPDM)EPDM 是乙烯、丙烯和少量的非共軛二烯烴的共聚物,EPDM 密度通常在 0.85-1.20g/cm3之間,硬度通常在 40-90Shore A 之間,拉伸強度通常在 10-20MPa 之間,斷裂伸長率通常在 200-600%之間。耐老化性:EPDM 具有優異的耐天候、耐臭氧、耐熱、耐酸堿、70冷板液冷標準化及技術優化白皮書ODC
127、C-2023-02004耐水蒸汽、顏色穩定性、電性能、充油性及常溫流動性,在通用橡膠中其老化性能最好。適合環境溫度-5080,在 120下可長期使用。EPDM 橡膠中的臭氧濃度在 50PPHM 和 30拉伸的條件下,150h 不破裂。電絕緣性能:EPDM 具有優異的電絕緣和耐電暈性能。其體積電阻率 1016cm,擊穿電壓 3040MV/m。介電常數也較低,特別是浸水后其電性能變化也很小,介電常數(1kHz,20)2.27?;瘜W特性:EPDM 優越的抗侵蝕性能,可耐氟里昂及多種制冷劑,不適用于礦物油,是應用較廣的密封材料。聚四氟乙烯(聚四氟乙烯(PTFEPTFE)PTFE 由四氟乙烯經聚合而成的
128、高分子化合物,PTFE 具有很低的摩擦系數及不粘性,摩擦系數在已知固體材料中是最低的,耐強酸、強堿、強氧化劑,即使溫度較高,也不會發生作用。PTFE 不吸水、不受氧氣、紫外線作用、耐候性好。主要應用于大管徑不銹鋼管連接密封,適合環境溫度-40100。氟橡膠(氟橡膠(FKMFKM)FKM 是由含氟單體共聚而成的有機彈性體。其特點耐高溫,耐酸堿,耐油性,抗輻射、耐高真空性能好。缺點是加工性差,價格昂貴耐寒性差,彈性透氣性較低。適合環境溫度-10220。71冷板液冷標準化及技術優化白皮書ODCC-2023-02004表 5-4 密封件材料參數對比技術指標測試方法單位EPDMPTFEFKM物理性能比重
129、ASTMD792g/cm30.91.911.04機械性能洛氏硬度 R 標尺ASTMD785/80100拉伸強度 23ASTMD638MPa208.9655彎曲強度 23ASTMD790MPa2517.285彎曲模量 23ASTMD790MPa100020703300懸臂梁缺口沖擊23ASTMD256J/m25026.775摩擦系數動態/0.15/摩擦系數靜態/0.2/剪切強度ASTMD732MPa/17.2/壓縮強度ASTMD695MPa/48.3/熱性能熱變形未退火 0.45MPaASTMD64880104130電氣性能表面電阻ASTMD257/IE5IE15阻燃性能防火等級UL94/HBV
130、-0HB注:數據來源于塑造物性表及中塑在線。72冷板液冷標準化及技術優化白皮書ODCC-2023-02004(四)(四)新材料管路設計制造及測試方法新材料管路設計制造及測試方法1.1.設計原則設計原則材料選擇材料選擇(1)設計溫度下的抗拉強度、抗壓強度、彎曲強度、剪切強度和彈性模量;(2)設計條件下的抗蠕變強度;(3)許用應力;(4)延伸率、塑性及熱膨脹系數;(5)耐沖擊性和冷熱急變性;(6)操作中可能出現的溫度極限及材料所能承受的溫度范圍;(7)熔化和氣化轉變溫度;(8)氣孔和滲透性;(9)接頭連接方法及可靠性;(10)使用中損壞的可能性。溫度及壓力設計溫度及壓力設計設計壓力應不少于 1.0
131、MPa,設計溫度應考慮介質溫度、環境溫度、陽光輻射等造成的苛刻溫度。73冷板液冷標準化及技術優化白皮書ODCC-2023-02004密封設計密封設計非金屬管道法蘭管道與管道之間宜采用法蘭連接,法蘭應具有較好的密封面,選用適當的墊片及螺栓,使管路耐壓達到設計要求。支撐件設計支撐件設計(1)管道應適當加以支撐,在管道與支架之間應放置厚度不小于 3mm 的襯墊。(2)管道的支撐、導向和固定方式應防止對管道的損壞。(3)支撐件宜設置在荷載集中處,管道上有過大荷載的閥門或管道附件應設支撐。(4)管道在架空敷設時不得利用管道自身剛度作為支撐結構。(5)可能產生振動的管道,應設置減振措施。布置布置(1)管道
132、的布置應方便檢修及更換管道組件。(2)管路布置時,應盡量使管道的膨脹收縮和其它原因產生的位移引起的應力達到最小值,以防止發生泄露、變形、破壞。(3)管路布置不應存在氣袋,水袋和盲腸(圖 5-1),如無法避免應必須設置措施。(4)管路設置足夠的柔性或有效的補償措施。(5)當管道沿建筑物或與其它管道平行、交叉時,其凈距不應74冷板液冷標準化及技術優化白皮書ODCC-2023-02004小于 100mm。(6)布置在管溝的管道,管底距溝底凈空不應小于 300mm。a 氣袋b 口袋c 盲腸圖 5-1 氣袋,水袋和盲腸示意圖2.2.管路制造管路制造非金屬管路焊接建議使用紅外線對焊焊接工藝和熱熔焊接工藝,
133、管路焊接采用紅外線對焊工藝。3.3.測試測試管材測試管材測試應對管材的密度、硬度、導熱系數、線性膨脹系數、拉伸強度、斷裂伸長率、吸水率、熔點、介電常數、表面粗糙、表面電阻抗及體積電阻抗等物性參數進行測試,確認管材是否滿足選型要求。管路測試方法管路測試方法(1)耐水壓測試熱熔焊焊接管道耐水壓測試條件:水溫 255,水壓 1.6MPa,時間 30min。合格判據:管道及焊縫應無滲漏或變形。75冷板液冷標準化及技術優化白皮書ODCC-2023-02004紅外線對焊焊接管道耐水壓測試條件:水溫 255,水壓2.0MPa,時間 1min,水壓 1.6MPa,時間 30min。合格判據:管道及焊縫應無滲漏
134、或變形。(2)焊接強度測試測試條件:使用拉力機對焊接管道進行拉伸,拉至斷裂,出現斷口位置應為管道母體而非焊縫。合格判據:拉力應大于 38kN 范圍內,且端口為管道母體。(3)高溫測試測試條件:水溫 94-100,水壓 0.6MPa,持續循環時間30min。合格判據:水管無滲漏、無裂紋、無明顯變形、焊縫無裂紋。(4)流量均衡性測試測試條件:將測試管路與動力單元連接,通過測試工裝模擬被冷卻器件阻力進行流量分配測試。合格判據:RCM 不均勻性10%;LCM 不均勻性10%。(5)高低溫交變實驗表 5-5 高低溫交變測試條件試驗參數試驗條件試驗參數試驗條件高溫循環溫度80高低溫排水時間210s76冷板
135、液冷標準化及技術優化白皮書ODCC-2023-02004高溫單次循環時間15min高低溫切換時間1min低溫循環溫度5循環次數260 次低溫單次循環時間15min驗證試驗1.6MPa 壓力測試實驗合格判據:水壓 1.6MPa,時間 30min,管道及焊縫應無滲漏或變形。(五)(五)其它行業領域冷板液冷新材料應用其它行業領域冷板液冷新材料應用1.1.直流輸電領域直流輸電領域為保障絕緣性,直流輸電換流閥冷卻系統配水管路使用非金屬材質,其中主管、層間管采用 PVDF 材質,分水管采用 FEP、PPH 或PVDF。圖 5-2 FEP 在直流輸電領域的應用77冷板液冷標準化及技術優化白皮書ODCC-20
136、23-02004表 5-6 直流輸電案例配水管路參數工程項目閥體壓降bar管徑閥模塊連接方式材質允許流量L/min500kV 廣西柳南3.45201.9串聯PVDF18 281100kV古泉站3.3251.9串聯PVDF25 45800kV 深圳東方2.73161.9并聯PVDF816800kV 山東青州3.2161.9并聯PVDF816800kV 巴西二期2.95161.9并聯PVDF816320kV 廈門柔直2.73161.9并聯PVDF816420kV 渝鄂柔直2.5161.9并聯PVDF8162.2.靜止無功補償裝置靜止無功補償裝置 SVCSVC 冷卻領域冷卻領域為保障絕緣性,靜止無功
137、補償裝置 SVC 冷卻設備閥廳配水管道多使用非金屬管道,如 PPR、PPH、FEP、PA。案例介紹:項目地點:黑龍江建龍鋼廠冷卻對象:SVC散熱功率:75kW78冷板液冷標準化及技術優化白皮書ODCC-2023-02004供液溫度:2545冷卻介質:46%純水+54%乙二醇表 5-7 SVC 閥廳管路參數序號層級材質管道設計流量計算流速管路長度1閥廳主管路PPR內徑 36.2mm8.5m/h2.29m/s20m2閥廳支管路PPR內徑 18.0mm8.5m/h3.09m/s3m圖 5-3 SVC 閥廳管路3.3.儲能領域儲能領域隨著儲能系統容量的提高,電池發熱密度隨之增加,液冷技術憑借其優良的散
138、熱和均溫能力成為儲能熱管理系統發展方向。因 PA管優良的彎曲性能和輕便性,且相較于其它管路材質成本優勢巨大,成為儲能液冷管路的優選材質。(1)(1)深圳某新能源公司儲能項目深圳某新能源公司儲能項目項目地點:廣東肇慶79冷板液冷標準化及技術優化白皮書ODCC-2023-02004冷卻對象:儲能電池簇電池數量:48電池簇數量:8供液溫度:183冷卻介質:50%純水+50%乙二醇表 5-8 儲能配水管路參數序號層級材質管道設計流量計算流速管路長度1第一級管路SUS304內徑 47.3mm11.52m/h1.78m/s12.4m2第二級管路PA內徑 14.0mm11.52m/h2.52 m/s4.8m
139、3第三級管路PA內徑 12.0mm11.52m/h0.59 m/s1.0m圖 5-4 儲能電池簇及配水管路80冷板液冷標準化及技術優化白皮書ODCC-2023-02004(2)(2)內蒙古興和五股泉風儲電站內蒙古興和五股泉風儲電站 150MW/300MWh150MW/300MWh 儲能項目儲能項目項目地點:內蒙古興和縣五股泉鄉項目時間:2023 年 1 月 12 日并網項目規模:150MW/300MWh液冷方案組成:液冷機組(風冷 CDU)、液冷管路、快速接頭風冷 CDU 制冷量:40kW(圖 5-5 左)液冷管路材質:PA&SUS304(圖 5-6)冷板液冷方案優勢:英維克提供整體液冷解決方
140、案,液冷機組、液冷管路、快速接頭,減少用戶交付界面;液冷系統具備智能排氣、自動補液功能,縮短調試運維時間;配置有自密封接頭,實現單電池包維護,電池包更換更安全、環保。圖 5-5 內蒙古興和五股泉風儲電站儲能項目現場81冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 5-6 液冷管路材質:PA&SUS304(六)(六)數據中心新材料應用案例數據中心新材料應用案例1.1.國內數據中心案例國內數據中心案例目前國內二次側管路主要采用不銹鋼材質,但也有個別新材料的探索,下面分享兩個國內案例。(1)(1)新疆克拉瑪依某數據中心新疆克拉瑪依某數據中心新疆克拉瑪依某數據中心采用 PPH 作為二
141、次側管路材質進行了冷板液冷嘗試,該項目已于 2022 年 1 月投產。IT 規模:40MW單機柜功率:30kW二次側供回液溫度:40/48二次側冷卻介質:去離子水+藥劑一次側冷卻介質:去離子水+藥劑,輔助電加熱項目特點:二次側 LCM 采用 PPH 材質。其中閥門的過流部件材質均為不銹鋼,直管道三通彎頭變徑采用 PPH 材質,可以在法蘭及82冷板液冷標準化及技術優化白皮書ODCC-2023-02004螺紋結構上可以實現尺寸兼容,敷設方式包含架空及地面支撐兩種方式。PPH 管道比不銹鋼管的表面粗糙度更低,水阻力更小。圖 5-7 新疆克拉瑪依某數據中心項目現場(2)(2)常熟某數據中心常熟某數據中
142、心江蘇常熟某數據中心率先在國內采用闊盛 PPR 藍管作為冷板液冷二次側管路材質進行實踐,該項目將于 2023 年 9 月投產。單機柜功率:8kW一次側進出水溫度:35/40二次側供回液溫度:40/45二次側冷卻介質:去離子水+丙二醇一次側冷卻介質:20%乙二醇溶液項目特點:其中閥門的過流部件材質均為不銹鋼,采用工廠預制化,現場拼裝的方式。管道與管道、管道與閥門之間采用法蘭連接,且在法蘭上實現尺寸兼容,敷設方式為地面支撐。闊盛 PPR 藍83冷板液冷標準化及技術優化白皮書ODCC-2023-02004管的管道摩擦系數為 0.007,低于不銹鋼管道。圖 5-8 常熟某數據中心項目現場2.2.國外數
143、據中心案例國外數據中心案例國外超算普遍采用 CoolIT 的 SVF 解決方案,采用闊盛的 PPR 管。圖 5-9 CoolIT SVF 工程現場其優勢主要體現在以下 7 個方面:施工效率提升 1/3:管道采用熱熔連接,連接速度和效率遠高于不銹鋼管,安裝效率提升,施工成本降低??煽啃愿撸篜PR 材料耐腐蝕,壽命可達 50 年以上,減少 LCM84冷板液冷標準化及技術優化白皮書ODCC-2023-02004更換成本;同時,熱熔方式可免除密封圈的使用,無需考慮老化失效問題,提升整體可靠性。安裝要求低:熔接質量依靠工具和設備,對施工人員工藝技術水平相比不銹鋼焊接要求低。施工安全:現場無需動火,無火災
144、風險。重量輕:重量比鋼管減少 3/4 以上,可有效降低建筑稱重要求,提高搬運效率,降低搬運成本。低碳環保:闊盛 PPR 管道比不銹鋼管可減少 5070%碳排放,且可完全回收。表面粗糙度低:減少循環泵阻力。(1)(1)SummitSummit supercomputersupercomputer項目地點:美國田納西州奧克里奇國家實驗室(Oak RidgeNational Laboratory 簡稱 ORNL)投產時間:2018 年 6 月單柜功率密度:50kW機房:9000 平方英尺,其中機柜占地 5600 平方英尺,260 個柜子,每柜可容納 18 個計算節點(2U 服務器)。服務器:IBM
145、AC922 系統,搭載 27000 Novia Volta GPUs 和9000 IBM Power9 CPUs,用于 AI 計算和科學探索。85冷板液冷標準化及技術優化白皮書ODCC-2023-02004自然冷設計時長:全年 75%時間。LCM:闊盛藍管 PPR,位于機房頂部。二次側泵:變頻,3 臺,N+1 配置,單臺最大流量約 11000L/min。圖 5-10 美國 Summit 超算現場圖 5-11 二次泵冷卻板換:不銹鋼可拆卸板換,二次側供液溫度 21。86冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 5-12 冷卻板式換熱器(工藝冷媒和冷卻水)圖 5-13 冷凍板
146、式換熱器(工藝冷媒和冷凍水)空氣冷卻方式:水冷背板門。圖 5-14 水冷背板門空氣冷卻二次側過濾器:過濾精度 1m,過濾流量約 19000 L/min。圖 5-15 二次側過濾器動力變壓器:1500kVA,1+1 備份,布置在設備間。87冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 5-16 動力變壓器一次側冷卻塔規格:4 臺*5000kW 1500t。圖 5-17 冷卻塔(2)(2)MagmaMagma supercomputersupercomputer項目地點:美國加利佛尼亞州勞倫斯利弗莫爾國家實驗室(Lawrence Livermore National Labs,簡
147、稱 LLNL)投產時間:2020 年初服務器:Intel Server System S9200WK,搭載 Intel XeonPlatinum 9242 處理器(760 個計算節點)和 Intel Xeon Platinum8000 處理器(12 個基礎設施節點),用于模擬 2D 和 3D 物理系統(流體動力學、材料科學、分子動力學等)的參數研究。88冷板液冷標準化及技術優化白皮書ODCC-2023-02004液冷解決方案供應商:CoolIT Systems Rack DCLCLCM:闊盛藍管 PPR圖 5-18 Magma 超算現場89冷板液冷標準化及技術優化白皮書ODCC-2023-02
148、004六、六、冷板液冷新技術展望冷板液冷新技術展望(一)(一)負壓冷板液冷技術負壓冷板液冷技術1.1.技術背景介紹技術背景介紹(1)隨著以英偉達 A100/800、H100/800.GH200 為代表的高功率 GPU 已經成為數據中心市場新的發展趨勢,同時,伴隨著英偉達預計在 2025 年 Q2Q3 季度推出 Miranda(Hopper next)平臺,將主推冷板液冷冷卻方案。(2)GPU 的價格偏高,傳統冷板液冷的可靠性問題被日漸重視,急需尋找新的更可靠的技術(即使 Capex 有所上升亦可能被接受),確保 GPU 的安全運行?;谝陨蟽牲c,新的更安全的冷板液冷方案(如,負壓液冷、氟化物相
149、變液冷)將成為未來有潛力的技術新星。2.2.負壓負壓 CDUCDU 技術原理技術原理美國 Chilldyne 公司設計的 Cool-Flo 系統中的 CDU,具有以下特點(圖 6-1,圖 6-2):(1)有三個氣密性較好的液腔,分別是主真空腔、儲液腔、輔真空腔;主真空腔和輔真空腔交替保持高真空度確保工藝冷媒從服務器冷卻環路流回,儲液腔保持較低的真空度使工藝冷媒流進服務器冷卻環路。90冷板液冷標準化及技術優化白皮書ODCC-2023-02004(2)二次泵采用低揚程潛水泵,安裝于儲液腔內部,該水泵流量可達 300L/min,當檢測到二次側供液溫度低于機房的露點溫度時,潛水泵將停止工作以確保不會有
150、凝露產生。(3)配有真空泵等負壓系統(包含氣液分離器、消音排氣口,空氣流量傳感器),用以保證三個腔體的真空度,最大真空度為-74.5kPa,最小真空度為-33.9kPa,真空泵的流量是液體流量的 5 倍,可長期運行在 80%轉速,且可耐受常溫清水。(4)三個腔體各配有兩個氣動開關閥,一個接通真空泵,另一個接通大氣相連的氣液分離器,用于控制各個腔體的真空度,以確保液體順利循環。(5)配有為上述氣動開關閥提供動力的空壓機。(6)配有水處理添加劑儲液罐以及對應控制電動球閥,自動補水閥和排水閥。圖 6-1 Cool-Flo 系統原理圖91冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖
151、6-2 CDU 部件位置示意圖循環過程:循環過程:工藝冷媒從儲液腔抽出來,并對主真空腔抽真空(開啟主真空腔與真空泵間的氣動閥),通過服務器后進入主真空腔,當主真空腔幾乎充滿時,CDU 在輔真空腔抽真空(關閉主真空腔與真空泵間的氣動閥,并開啟輔真空腔與真空泵間的氣動閥),并允許主真空腔內的工藝冷媒流入儲液腔(開啟主真空腔與氣液分離器之間氣動閥)。當輔真空腔充滿時,循環往復;通過交替對主真空腔和輔真空腔施加真空,確保 CDU 產生穩定的水流量(圖 6-3)。如果出現泄漏,漏點會將空氣吸入到真空泵,通過氣液分離器和消聲器排出系統。即使與服務器的連接斷開,也不會影響系統運行。92冷板液冷標準化及技術優
152、化白皮書ODCC-2023-02004圖 6-3 真空腔示意圖3.3.負壓液冷系統方案技術亮點負壓液冷系統方案技術亮點(1)出現漏點仍安全運行出現漏點仍安全運行:Chilldyne 負壓液冷系統中的工藝冷媒循環管路始終保持負壓,而其周圍環境的空氣為正常大氣壓,在服務器的供液或回液接管可能意外斷裂或從接頭處脫落的情況下,只有環境的空氣被吸入液冷系統,稱之為漏氣,而工藝冷媒不會向外泄漏,此時 Chilldyne 負壓液冷系統仍可運行。與服務器連接的供液軟管(淺藍色)上裝有一個限流止回閥,回液軟管(粉紅色)上裝有一個文丘里聲波限流器(見圖 6-4),一旦服務器有漏氣的現象發生,止回閥和限流器將限制環
153、境空氣被吸入服務器機柜的供液分水器和回液集水器。在正常運行情況下,供液軟管上止回閥的壓降約為 340Pa,回液軟管上聲波限流閥的壓降約為 3400Pa。在有漏氣的情況下,限流止回閥能夠將吸入供液分水器的環境空氣流量限制在 2.0 L/min,這會導致位于發生漏氣的服務器其下游服務器的工藝冷媒中出現一些氣泡,最終結果是下游服務器溫度可能上升1-3,但系統仍然可以對除有漏氣的服務器以外的所有服務器繼93冷板液冷標準化及技術優化白皮書ODCC-2023-02004續進行液冷,而有漏氣的服務器可以利用空氣冷卻獲得適度的冷卻(如果冷板帶有空氣冷卻翅片的話)。在回液軟管一側,文丘里聲波限流器將吸入的氣流限
154、制在大約 10 L/min,這是因為在文丘里聲波限流器中最狹窄的通道處氣流不能再被壓縮,因而流量受到限制。圖 6-4 負壓系統服務器進出分支軟管(2)無需關斷閥和無需關斷閥和 QDCQDC:負壓意味著可以在液冷系統運行的同時進行水管連接,且不會發生泄漏,并保持系統正常的冷卻功能。因此,在工藝冷媒水管與機柜連接處不需要安裝關斷閥和 QDC。(3)服務器維護更省心服務器維護更省心:可以利用負壓排空服務器內部冷板系統的水:當需要排空時,略微松開連接器使工藝冷媒自動從服務器中排出。服務器未連接到外部液冷系統時其內部冷卻系統處于無水狀態。對機柜中任何服務器進行排空操作后,即可將此服務器從機架上移出。(4
155、)無活塞真空泵技術:無活塞真空泵技術:獨有專利技術,利用氣液分離器分離出的工藝冷媒密封,水封不會產生磨損。94冷板液冷標準化及技術優化白皮書ODCC-2023-02004(5)完備的控制系統完備的控制系統:控制進出口壓差恒定,從而確保服務器末端變化情況下各服務器流量穩定??蛇h程實現注水、運行、補水、排水操作,實時計算消除的熱量、露點溫度、一次側水流量等信息。(6)故障自動切換閥故障自動切換閥:自帶控制系統,如果檢測工藝冷媒流量過低或者溫度過高后,自動切換負載到備用 CDU,同時支持手動自動切換,遠程 SNMP 監控。圖 6-5 故障自動切換閥(7)冷卻液水質自動監控系統冷卻液水質自動監控系統:
156、機組內置冷卻液添加劑儲液罐,通過 TDS 感應器監測冷卻液的水質,系統自動判斷并實施對冷卻液水質的調整,向系統注入添加劑或置換部分冷卻液。4.4.應用案例應用案例美國能源部 Sandia Manzano 超算中心(圖 6-6),采用負壓冷板液冷技術,該項目已于 2021 年投產。由于負壓 CDU 的揚程有限,因此對二次側系統進行了詳細的壓降核算(表 6-1),CDU 入列布置(圖 6-7)。單機柜功率:35kW,氣液比:2:395冷板液冷標準化及技術優化白皮書ODCC-2023-02004機柜數量:24冷板熱阻:0.085/W0.2L/minCDU 換熱量:300kW,熱備 170kW(每個
157、CDU 對 8 個柜),2+1 備份(圖 6-8)CDU 提供有效壓頭:平均 37.25kPa,最大 57.56kPa200 L/min一次側進出水溫度:22/39二次側供回液溫度:24/38圖 6-6 美國能源部 Sandia Manzano 超算中心表 6-1 各部件壓降清單部件名稱流量 L/min壓降 kPa服務器0.412.87文丘里節流器0.43.39限流器止回閥0.40.3496冷板液冷標準化及技術優化白皮書ODCC-2023-02004機柜分水器24.81.691 英寸三通24.80.341 英寸直徑軟管(3m)24.81.021.25 英寸三通49.60.681.25 英寸直徑
158、軟管(3m)49.61.35故障切換閥99.20.342 英寸直徑軟管(12m)99.26.77合計28.79圖 6-7 項目機柜布局圖97冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 6-8 項目冗余方式示意圖(二)(二)相變冷板冷卻技術相變冷板冷卻技術如第六章第(一)節所說,氟化物作為工藝冷媒會有效提升冷板液冷系統可靠性(如泄漏為氣態且不導電,不會危及服務器安全),同時,由于部分氟化物沸點較低,在冷板內吸收熱量后蒸發汽化,大大提升冷板的散熱能力,該技術可稱為冷板液冷相變冷卻技術。關于氟化物的選擇,根據英偉達的資料,包括 R134a、R513A、R515B、R471A、R1
159、233zd、R1234yf、3M Novec 系列 HFE-7000 均可使 用。根 據 介 紹,R134a 用 于 相 變 冷 板 方 式,可 解 決2.5kW/GPU,175kW/Rack 的散熱,最大可支持 8 W/(cm2)的解熱能力。關于該方案,有很多不同的演化:1.1.重力熱管方案重力熱管方案該方案可支持 100kW/柜的超高功率密度需求,PUE 可低至 1.07,該方案無需泵輸配,利用熱管原理,僅靠溫度差驅動氟化物循環。無運動部件,且氟化物免維護,可靠性更高,極適合邊緣計算場景。98冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 6-9 SEGUENTE 重力熱管
160、方案示意圖2.2.動力熱管方案動力熱管方案英偉達(圖 6-10)和國內廠商也有帶制冷劑泵驅動的動力熱管解決方案出現,這種方式可以使散熱器與機柜的相對位置更加靈活,甚至可以支持多機柜的多聯系統。但是目前都屬于預研階段,商業化程度還相對較低。圖 6-10 動力熱管相變冷板液冷示意圖(三)(三)冷板液冷氣冷板液冷氣-液混合技術液混合技術關于空氣冷卻和液冷的混合應用也越來越被廣泛關注,成為未來新的熱點之一?;旌系脑虼蠖喑鲇谝韵聨追N情況:99冷板液冷標準化及技術優化白皮書ODCC-2023-02004(1)老舊機房改造,希望原有空氣冷卻空調設備可以繼續利用;(2)新建機房管綜和地板下空間有限,冷板液冷
161、的一二次管路占據空間,無法再進行冷凍水系統水管布管;(3)安裝室外機(包括液冷的干冷器/冷卻塔,空氣冷卻的冷凝器/冷卻塔等)的空間位置受限,希望可以將空氣冷卻和液冷的室外機進行合并,可彈性適配不同氣液比場景?;谝陨先N情況,本文分別給出了相應的解決方案:1.1.風冷風冷 CDUCDU基于上述(1)場景,國外很早就有對應的解決方案,即將 CDU 的一次側由水冷改為風冷,用空氣-水換熱器(如翅片銅管換熱器,微通道換熱器)代替傳統的水-水換熱器(釬焊式板式換熱器)。比如,CoolIT 推出了 AHx 系列的 CDU 產品,制冷量從 2100kW,TOP-C 提供的可支持 110kW 的機柜式 CD
162、U(圖 6-12)。圖 6-11 CoolIT 發布的 AHx 系列產品(從左到右制冷量依次為 2kW、10kW、100kW)100冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 6-12 TOP-C 風冷 CDU 示意圖此外,浪潮也有多種型式的方案,主要有以下 3 種形式:一體式、機架式、背板門式。一體式是通過冷板將服務器的電子元器件熱量傳導到工藝冷媒中,通過循環泵循環到服務器內的冷排散熱器,由設備出風對其進行散熱降溫,保障電子設備運行在適宜工作溫度。圖 6-13 給出了一體式風冷 CDU 示意。圖 6-13 一體式風冷 CDU 示意101冷板液冷標準化及技術優化白皮書ODC
163、C-2023-02004機架式風冷CDU由機柜系統、風液式冷量分配單元、工藝冷媒供回歧管、服務器冷板、管路輔助系統等組成。通過氣-水換熱器及風扇將熱量排放到機柜外。系統實現工藝冷媒的溫度和壓力控制和監測,實現液冷服務器的散熱需求。圖6-14給出了機架式示意。圖 6-14 機架式風冷 CDU 示意圖背板門式風冷 CDU 將液冷服務器(CPU、GPU 等發熱器件),通過液冷冷板,將加熱的高溫工藝冷媒,循環到背板門換熱器進行散熱,冷卻后的工藝冷媒再通過泵組送回給液冷服務器冷板給電子器件散熱。圖 6-15 給出了背板門式示意。圖 6-15 背板門式風冷 CDU 示意102冷板液冷標準化及技術優化白皮書
164、ODCC-2023-020042.2.氣氣-液組合末端液組合末端基于上述(2)場景,OCP 已經提出對應的解決方案:如圖 6-16所示,用冷凍水背板門的型式和機架式 CDU 串聯,27供水先過水冷門進行空氣冷卻,被水冷門加熱到 34的溫水再進入 CDU 進行液冷一次側散熱,44的熱水再返回冷源進行冷卻。圖 6-16 空氣冷卻&液冷組合末端示意圖113.3.氣氣-液同源冷源液同源冷源基于上述(3)場景,國外很早就有對應的解決方案:Nortek 采用微孔疏水隔膜蒸發(Microporous Hydrophobic Membrane)的SPLC(StatePointTMLiquid Cooling)
165、冷水機組,它可以有效將循環水與室外空氣隔離,同時實現近露點溫度的冷水機組。但是,它只能提供高于當地空氣露點溫度的水溫。103冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 6-17 微孔疏水隔膜蒸發原理圖 6-18 Nortek SPLC 冷水機組適配末端示意圖圖 6-19 Nortek SPLC 冷水機組器件示意圖秦淮數據創新性開發的復合蒸發冷水機組,通過間接+直接蒸發的復合蒸發冷卻,可實現近露點溫度供水。該產品目前已實際應用投產 74 臺。104冷板液冷標準化及技術優化白皮書ODCC-2023-02004圖 6-20 秦淮數據擁有自主專利的復合蒸發冷水機組以上兩種方案的出水
166、溫度無法滿足空氣冷卻要求,因此還需要額外配置帶壓縮機的冷水機組進行補充制冷。目前,新的融合 DX 制冷的集成式冷水機組已在 ODCC 立項。105冷板液冷標準化及技術優化白皮書ODCC-2023-02004參考文獻參考文獻1 李潔.液冷革命M.北京:人民郵電出版社,20192 中國通信標準化協會.YD/T 3980-2021 數據中心冷板式液冷服務器系統技術要求和測試方法S.北京,20213 ASHRAE Technical Committee 9.9.Emergence and Expansion of LiquidCooling in Mainstream Data CentersR.20
167、214 中國移動通信集團有限公司等.電信運營商液冷技術白皮書(2023 年)R.北京,20235 ASHRAE Technical Committee 9.9.Liquid Cooling Guidelines forDatacom Equipment Centers(Second Edition)M.20146 Philip Yu,Sean Barlett.Fluid Serviceability and MaintenanceWorkstream for Cold Plate-Based Liquid CoolingC.OCP,20227 郭亮等.液冷(冷板式)技術要求R.北京,20188
168、ASHRAETechnicalCommittee9.9,Water-CooledServersCommonDesigns,Components,and Processes M.20199 Intel 綠色數據中心創新實踐 冷板液冷系統設計參考R 202210ASHRAEThermalGuidelinesforDataProcessingEnvironments(Fifth Edition)M 202111 Juan Carlos Cacho Alonso,Jabari George.White Paper:Evaluatinglimits of Door HX solutions in different applications C.OCP,2022