中國移動&中國電信&中國聯通：2023電信運營商液冷技術白皮書（27頁）.pdf

《中國移動&中國電信&中國聯通：2023電信運營商液冷技術白皮書（27頁）.pdf》由會員分享，可在線閱讀，更多相關《中國移動&中國電信&中國聯通：2023電信運營商液冷技術白皮書（27頁）.pdf（27頁珍藏版）》請在三個皮匠報告上搜索。

1、1電信運營商液冷技術白皮書電信運營商液冷技術白皮書Liquid Cooling Technology Whitepaper（2023 年）年）中國移動通信集團有限公司中國電信集團有限公司中國聯合網絡通信集團有限公司2023 年 6 月2 前 言 我國數字經濟蓬勃發展，AI、智算需求高速增長，新型數智化應用日新月異，高密、高算力等多樣性算力基礎設施持續發展，推動液冷新需求。同時，在“雙碳”宏觀形勢下，政府部門對數據中心PUE(電能利用效率)監管日益趨嚴。液冷技術的出現，改善了傳統風冷的散熱形式，更能滿足高密機柜、芯片級精確制冷、更節能、更節地、噪聲低。液冷技術在國內外發展已有十余年，但當前生態不

2、完善，各家產品形態各異，產品規范化程度較低，機柜與服務器深度耦合，尚無統一接口標準，難以標準化、規?；茝V應用。推廣液冷技術，需要集思廣益、凝聚共識，完善液冷產業標準化和生態建設、促進液冷技術有序發展，開辟數據中心液冷行業高質量發展道路。作為建設網絡強國、數字中國、智慧社會的國家隊與主力軍，中國移動、中國電信、中國聯通全面貫徹落實新發展理念，服務新發展格局，凝聚行業合力、發揮規模優勢，共同聯合產學研用上下游，強化技術攻關，共同推進液冷基礎設施側與主設備側的解耦，探索機柜與服務器間接口的統一及標準化，旨在構筑技術領先、開放共享、自主可控、成本最優、合作共贏的“新生態”，推進冷板式液冷形成擁有原創

3、技術、接口標準統一、產業生態完善、規模應用的發展態勢，推進浸沒式液冷形成標準統一化、產品國產化、實施工程化、推廣規?；陌l展格局，推動建立并完善數據中心液冷技術生態系統，持續降低數據中心能耗強度和碳排放強度，促進經濟社會綠色轉型，助力盡早實現碳達峰、碳中和目標。1 目 錄 1 發展回顧.1 1.1 面臨形勢.1 1.1.1 高密高算力基礎設施推動液冷新需求.1 1.1.2 政府對數據中心能效監管日益趨嚴.1 1.2 發展現狀.2 1.2.1 國內外發展歷程.2 1.2.2 當前液冷技術.3 1.3 業內實踐.3 1.3.1 中國移動.3 1.3.2 中國電信.5 1.3.3 中國聯通.7 1.

4、4 產業生態.8 1.4.1 產業鏈上游.8 1.4.2 產業鏈中游.8 1.4.3 產業鏈下游.8 1.5 發展挑戰.9 2 目標藍圖.9 2.1 三年愿景.9 2.2 技術路線.10 2.3 生態完善.11 3 技術方案.11 3.1 冷板式液冷.11 3.1.1 服務器與機柜解耦.11 3.1.2 CDU 形式.13 3.1.3 供電模塊.14 3.1.4 冷卻液選擇.14 3.2 浸沒式液冷.16 3.2.1 系統方案.16 2 3.2.2 冷卻液.17 4 推進計劃.19 4.1 制定標準.19 4.1.1 冷板式液冷.19 4.1.2 單相浸沒式液冷.19 4.2 測試驗證.19

5、4.2.1 冷板式液冷.19 4.2.2 單相浸沒式液冷.19 4.3 規模推廣.19 5 展望倡議.20 縮略語列表.21 參考文獻.22 1 1 發展回顧 1.1 面臨形勢 1.1.1 高密高算力基礎設施推動液冷新需求 我國數字經濟正在轉向深化應用、規范發展、普惠共享的新階段。當前，新型應用日新月異，AI、智算紛紛提前布局，高密、高算力等多樣性算力基礎設施持續發展，作為建設網絡強國、數字中國、智慧社會的國家隊與主力軍，中國移動、中國電信、中國聯通積極推動智算等高算力建設，推進人工智能、元宇宙、圖形渲染等計算密集型業務發展。計算型節點、AI 訓練、超算等高算力業務需求持續推升芯片性能、功率與

6、服務器功率不斷提高，液冷技術利用液體較高的比熱容和換熱能力可以支撐更高功率散熱，正在逐步成為新型制冷需求。為促進液冷技術發展推進，國家、地方及行業推出相關政策引導液冷技術落地應用。2021 年 5 月發改委、工信部等部門聯合發布的全國一體化大數據中心協同創新體系算力樞紐實施方案中要求“推動數據中心采用液冷、機柜模塊化、余熱回收利用等節能技術模式”。2021 年 7 月工信部新型數據中心發展三年行動計劃（2021-2023 年）要求“加強核心技術研發。鼓勵企業加大技術研發投入，開展新型數據中心預制化、液冷等設施層，專用服務器、存儲陣列等 IT層，總線級超融合網絡等網絡層的技術研發”。2021 年

7、 11 月發改委貫徹落實碳達峰碳中和目標要求 推動數據中心和 5G 等新型基礎設施綠色高質量發展實施方案明確“支持采用液冷等方式”。1.1.2 政府對數據中心能效監管日益趨嚴 數據中心是數據流接收、處理、存儲與轉發的“中樞大腦”。為激活數據要素潛能，不斷做強做優做大數字經濟發展，我國正加快構建新型數據中心基礎設施體系。同時，在“雙碳”宏觀形勢下，政府部門近年陸續出臺多項文件，對數據中心 PUE(電能利用效率)監管要求不斷提高、達標時間不斷提前。2 2021 年 7 月工信部印發 新型數據中心發展三年行動計劃（2021-2023 年）（工信部通信202176 號），明確“到 2023 年底，新建

8、大型及以上數據中心PUE 降低到 1.3 以下，嚴寒寒冷地區力爭降低到 1.25 以內”。2021 年 11 月發改委印發貫徹落實碳達峰碳中和目標要求 推動數據中心和 5G 等新型基礎設施綠色高質量發展實施方案（發改高技20211742 號），明確“到 2025 年，新建大型、超大型數據中心PUE降到1.3以下，國家樞紐節點降至1.25以下?！?022年 1 月發改委同意啟動建設全國一體化算力網絡國家樞紐節點的系列復函中明確要求國家算力東、西部樞紐節點數據中心 PUE 分別控制在 1.25、1.2 以下。液冷技術通過冷卻液體替代傳統空氣散熱，液體與服務器高效熱交換，提高效率，挖潛自然冷源，降低

9、 PUE，逐步成為一種新型制冷解決方案。1.2 發展現狀 1.2.1 國內外發展歷程 我國液冷技術起步稍晚于國外，但起步后發展迅速，后期與國外發展進程基本同步，并且在液冷規模試點應用方面積累了豐富經驗。3 1.2.2 當前液冷技術 液冷技術主要包括冷板式液冷、浸沒式液冷和噴淋式液冷技術三種。冷板式液冷是服務器芯片等高發熱元件的熱量通過冷板間接傳遞給液體進行散熱，低發熱元件仍通過風冷散熱的一種方式。浸沒式液冷是服務器完全浸入冷卻液中，全部發熱元件熱量直接傳遞給冷卻液，通過冷卻液循環流動或蒸發冷凝相變進行散熱的一種方式。其中，冷卻液循環流動的方式為單相浸沒式液冷，冷卻液蒸發冷凝相變的方式為相變浸沒

10、式液冷，相變浸沒式液冷控制更復雜、要求更高。噴淋式液冷是用冷卻液直接噴淋芯片等發熱單元，通過對流換熱進行散熱的一種方式。當前，冷板式液冷、單相浸沒式液冷為主要形式。1.3 業內實踐 1.3.1 中國移動 多年來中國移動持續推動綠色轉型，加強節能技術創新，主持或參與編制標準，探索研究液冷技術，開展先行試點應用，后續將進入規模試點新階段。（1）標準編制 2018 年至今，主持或作為主要單位編制了工業與信息化部、中國通信標準化協會、中國電子學會、開放數據中心標準推進委員會等數十項液冷相關標準，其中參與編制的“數據中心液冷服務器系統總體技術要求和測試方法等團體標準 6 項”榮獲 2021 年度中國通信

11、標準化協會科學技術獎二等獎。2021 年作為主要參與單位編制液冷行業首批共 5 項行業標準，填補了行業空白。（2）應用實踐 針對冷板式液冷與浸沒式液冷，主動布局，按步驟、分階段、積極在數據中心與 5G 基站等場所開展了液冷系統試點應用，對液冷技術的安全性、穩定性、節能性等進行測試驗證。前期探索階段，2012 年在南方基地開展“數據中心雙通道散熱關鍵技術及應用”研究，申請專利 94 項（其中發明 48 項,實用新型 46 項）、設計標準與規范 2項、軟件著作權 1 項、發表論文 23 篇。目前已穩定運行近 10 年，年均 PUE 保持在 1.2 以下。4 圖 1 中國移動南方基地氣液雙通道冷板液

12、冷研究和實踐 先行試點階段，2017 年在呼和浩特組織熱管水冷、兩級熱管和水冷冷板等三種冷板式液冷測試。2019-2021 年在河北、山東組織核心路由器液冷、江蘇組織5G BBU 浸沒式液冷、浙江組織匯聚機房浸沒式液冷試點。圖2 中國移動呼和浩特冷板式液冷測試 圖 3 中國移動 5G 基站單相浸沒式液冷試點 5 圖 4 中國移動匯聚機房單相浸沒式液冷試點 規模試點階段，2023 年中國移動在呼和浩特數據中心國家發改委綠色節能示范項目以及智算中心項目中啟動液冷規模試點。1.3.2 中國電信 中國電信深入開展數據中心綠色低碳化建設，大力推進“要素升級、集成創新”，突出創新發展、低碳發展，積極開展液

13、冷技術研究和試點試用。（1）技術研究 準確把握技術演進方向，積極開展液冷應用研討分析。2019 年，在貴州進行大容量路由器冷板式液冷研究和測試，采用國產氟化液作為冷卻液，室外干冷器為冷源。路由器總功率為 18KW，70%板卡器件由冷板式液冷散熱，30%器件由風冷散熱，經 2 年跟蹤測試，在二次側液冷系統供液 45、室外環境 15-20條件下，液冷運行 PUE 運行約 1.15，項目 2021 年獲得“2021 信息通信產業創新貢獻獎”（ICT 最佳案例）。6 圖 5 中國電信貴州冷板式液冷路由器試點（2）試點應用 在 5G BBU 站點及數據中心機房積極進行液冷試點應用。5G BBU 液冷系統

14、應用方面，針對 5G BBU 發熱量大、散熱難的突出問題，率先開展 5G BBU 噴淋式液冷降溫散熱技術研究，并獲取了國家發明專利 2 項。2020 年 10 月啟用首個試驗點，上線 2 個液冷機柜，經長期測試，輕負載率條件下 PUE 值約 1.246，滿負載率條件下 PUE 值約 1.15。5G BBU 服務器試點應用浸沒液冷技術，在安徽、浙江、福建、上海、江蘇等分批實施，規?；瘧貌渴?。圖 6 中國電信 5G BBU 機柜液冷試點 7 數據中心液冷應用方面，在高密度機房開展試點應用。2018 年 3 月，在廣州安裝冷板式液冷微模塊（2 列服務器機柜）和風冷微模塊各 1 個，液冷微模塊PUE

15、 值約 1.2，風冷微模塊 PUE 值約 1.4，冷板式液冷節能效果明顯。2023 年計劃在京津冀數據中心實施 30 個液冷服務器機柜；計劃在安徽建設 3 列，每列 7臺 36KW 冷板式液冷機柜，預留 8 臺 40KW 浸沒式液冷機柜；在廣州開展 1 個冷板式液冷服務器項目。圖 7 中國電信廣州數據中心冷板式液冷微模塊試點 1.3.3 中國聯通 中國聯通根據發展需求和 IT 設備單機功耗變化特點，積極響應國家綠色、節能、低碳政策要求，主動開展液冷基礎理論技術、產品設備、實際使用方面的研究交流，并結合實際進行液冷技術探索與應用。（1）理論研究 數據中心間接冷板式液冷研究方面，研究不同冷板形式、

16、一次冷卻過程熱阻分布，以及冷板結構參數、冷卻液流量對散熱效果影響，總結關鍵部件主要影響因素，提出設計與運行建議。數據中心直接浸沒式、噴淋式液冷研究方面，研究強化傳熱方式，分析液冷強化散熱的結構設計，如熱沉參數對換熱性能的影響，研究冷池及噴淋結構設計，總結不同冷卻液的物化特性、不同形態的傳熱性能，提出強化換熱設計方案。服務器芯片發展趨勢及液冷技術適用性方面，研究芯片制造工藝與工作溫度相互作用，研究不同液冷技術必要性及適應性，為建立“冷卻-能耗”模型提供理論基礎。8 （2）試點應用 數據中心試點應用方面，在德清云數據基地 IDC 機房高功率機房，安裝機柜 32 架，采用冷板式液冷，進出水溫度為 1

17、5/32，2021 年 6 月投產，已穩定運行近兩年，制冷效果良好。BBU 集中機房液冷試點應用方面，2021 年 10 月，在鄭州開展 9 臺 5G BBU設備液冷噴淋測試，配置一套 10kW 液冷機柜，并同步與風冷測試。風冷機柜PUE 為 1.448，液冷機柜 PUE 為 1.254。如考慮液冷模式下主設備 BBU 取消風扇因素，則 BBU 液冷系統 PUE 值約為 1.16（扣除主設備風扇影響），芯片溫度較風冷低 10-20 度，壽命更長。1.4 產業生態 液冷產業生態涉及產業鏈上中下游，包括上游的產品零部件提供商、中游的液冷服務器提供商及下游的算力使用者。1.4.1 產業鏈上游 上游主

18、要為產品零部件及液冷設備，包括快速接頭、CDU、電磁閥、浸沒液冷 TANK、manifold、冷卻液等組件或產品供應商。部分代表廠商有英維克、3M、云酷、競鼎、諾亞、廣東合一、綠色云圖等。1.4.2 產業鏈中游 中游主要為液冷服務器、芯片廠商以及液冷集成設施、模塊與機柜等。部分代表廠商有華為、中興、浪潮、曙光、新華三、聯想、超聚變、英特爾等。1.4.3 產業鏈下游 下游主要包括三家電信運營商，百度、阿里巴巴、騰訊、京東等互聯網企業以及信息化行業應用客戶，主要在電信信息、互聯網、政府、金融、交通和能源等信息化應用。目前，阿里巴巴以單相浸沒式液冷為主要發展方向，其他用戶以冷板式液冷試點應用居多。9

19、 1.5 發展挑戰（1）液冷產業生態尚不成熟 目前業內尚無服務器與機柜統一接口規范標準，機柜與服務器深度耦合，各家服務器設備、冷卻液、制冷管路、供配電等產品形態各異，不同廠家產品接口不同、不能互相兼容，勢必限制競爭，影響產業高質量發展。（2）液冷系統架構尚在演進 當前業內液冷系統架構不同，制冷與供電存在分布式、集中式不同架構；部分廠家服務器已演進為高溫服務器，可減配冷水機組，進一步簡化冷源架構，促進降本增效。（3）液冷系統成本仍較高 與傳統風冷產品比較，液冷仍存在初期投資高、全生命周期成本高等問題，影響產品的規模應用與推廣。2 目標藍圖 2.1 三年愿景 電信運營商共同聯合產學研上下游，凝聚行

20、業合力、強攻關、構生態、拓應用，強化原創性、引領型關鍵核心技術攻關，全力打造高水平液冷生態鏈；構筑開放生態，推進液冷機柜與服務器解耦，引領形成統一標準，既要降低 PUE（數據中心電能利用效率），又要獲取最低 TCO（全生命周期成本）；發揮規模優勢，大力拓展應用。冷板式液冷方面，推進形成擁有原創技術、接口標準統一、產業生態完善、應用規模最大的發展態勢；浸沒式液冷方面，推進形成標準統一化、產品國產化、實施工程化、推廣規?；陌l展格局。2023 年開展技術驗證，充分驗證液冷技術性能，降低 PUE，儲備規劃、建設與維護等技術能力；2024 年開展規模測試，推進液冷機柜與服務器解耦，促進競爭，推進產業生

21、態成熟，降低全生命周期成本；至 2025 年，開展規模應用，共同推進形成標準統一、生態完善、成本最優、規模應用的高質量發展格局，電信行業力爭成為液冷技術的引領者、產業鏈的領航者、推廣應用的領先者。10 202320242025及以后開展技術驗證；引領形成解耦標準，主流廠家解耦液冷產品研發完成技術驗證規模試驗領先標桿50%以上項目規模應用，技術、生態、應用全面領先新建項目10%規模試點液冷技術，推進生態成熟 2.2 技術路線 在芯片演進趨勢上，芯片 TDP 設計功耗不斷增長，單個 CPU 功耗已達到350W，單個 GPU 功耗已達到 500W，未來還將持續增長。目前各液冷技術均可滿足未來較長時間

22、芯片散熱需求，并有進一步提升空間，如冷板式液冷可減小接觸熱阻、微通道設計等加強換熱，浸沒及噴淋式液冷可改善流場等。在液冷方案演進上，現階段冷板式液冷無法解決服務器全部散熱等問題，后續有望向風液融合或全液冷方向演進，并對應應用高溫服務器或服務器全部部件增加冷板。浸沒式液冷目前主要存在冷卻液物性要求高、服務器定制化程度高、與現有基礎設施體系不兼容、生態不完善等問題，隨著冷卻液國產化替代性能的提升，流場優化不斷完善、產業生態不斷成熟，浸沒式液冷應用場景將進一步拓展。另外，相變浸沒式液冷控制復雜、要求高，噴淋式液冷應用仍較少?？傮w來看，冷板式液冷與單相浸沒式液冷各有優劣，生態均需完善，兩者演進均尚需時

23、日，未來一定時間內將并存發展，為當前業內發展主流。綜上，電信運營商現階段主要推進冷板式液冷與單相浸沒式液冷兩種技術路線。11 2.3 生態完善 液冷技術現階段需求驅動“核心是 PUE”，未來規模應用“關鍵是 TCO”。液冷技術的高質量發展關鍵在于完善生態，電信運營商將從傳統意義的單純用戶，轉變成為液冷生態的主導者、設計者、構筑者，吸納產學研用各界伙伴開展合作，凝聚共識、深度協同、創新攻關、融通發展，攜手構筑技術領先、開放共享、自主可控、成本最優、合作共贏的“新生態”。聚合力，拓寬“朋友圈”。借助行業協會組織等平臺，融合互聯網企業、大學及科研機構、液冷服務器、液冷配套設施、集成商、測試服務商等上

24、下游等合作伙伴。立標準，開放“新生態”。通過行業協會、社會團體等標準化組織，爭取將解耦液冷標準升級為團體標準或行業標準。探索接口標準化，引領機柜與服務器解耦，形成開放環境，促進廠家充分競爭，推進產業生態成熟，降低產品采購成本，利于業務靈活部署擴容，獲取最低 TCO。3 技術方案 3.1 冷板式液冷 聯合產業鏈上游企業，制定標準化接口，形成統一標準；同時開展核心技術攻關，爭取實質性突破，推進打造解耦液冷機柜+統一接口服務器+柔性基礎設施的開放、先進、完善的生態。3.1.1 服務器與機柜解耦（1）交付模式比較 當前交付模式包括一體化交付與解耦交付兩種。解耦交付是液冷機柜與液冷服務器之間遵循用戶統一

25、制定的接口設計規范，機柜與服務器解耦，可由不同廠商交付。一體化交付是液冷整機柜（包括機柜和服務器）由廠商自定標準進行集成設計開發，整機柜由同一廠商一體化交付。解耦交付模式更有利于促進競爭、實現多廠家適配，便于后續靈活部署，為推進產業生態成熟，形成統一標準及規12 范，從易于推廣、靈活部署、促進競爭、降低 TCO 等角度出發，液冷技術路線應采用解耦交付模式。（2）盲插解耦方案 對于手插和盲插，由于液冷產品涉及液冷接頭的維護工作，其中手插接頭對運維人員的要求較高，插拔操作依賴機房運維人員。而盲插液冷接頭插拔具備自動化保障，盲插快接頭操作方便，連接精度高，符合未來自動巡檢、機器人運維需求。因此，應選

26、用盲插方案，并在此基礎上，基于解耦理念，推進服務器與機柜盲插統一接口標準化，減少機柜與服務器間的限制，可靈活部署，降低成本、促進液冷技術規?；?、產業化發展。盲插解耦方案采用標準機柜、盲插制冷管路、集中供電模塊，可選配分布式CDU 及無源風液換熱器，有效提升功率密度，降低 PUE，節省布線空間，提高上架率。主要內容包括：標準機柜：產品整體為標準機柜形態，部署服務器、交換機等多類型設備。供冷盲插：服務器與機柜僅通過盲插快速接頭連接，無需軟管。連接簡單，13 節省大量布線空間，線纜之間無交叉，漏點少。供電盲插：利用電源框、電源模塊、供電銅排向機柜內設備集中供電，支持盲插操作，無需電源線纜，節省布線空

27、間。圖 8 盲插解耦方案 3.1.2 CDU 形式 冷板式液冷接頭分為集中式CDU與分布式CDU兩種布置形式。分布式CDU免二次管路部署，適應不同機柜功率場景，易與機柜功耗匹配，根據業務上架情況隨啟隨用，實際工程中根據情況選擇，優先采用分布式 CDU 形式。表 1 集中式 CDU 與分布式 CDU 對比 集中式 CDU 分布式 CDU 布局 CDU 布置在機柜外，每列機柜布置兩個 CDU，一主一備 CDU 布置在機柜內部，每個機柜對應一個 CDU 組成 液冷二次側冷卻環路主要由CDU（內循環通道部分）、液冷IT 設備、IT 設備柜內配流管路組件、二次冷卻管網系統等組成 液冷二次側冷卻環路主要由

28、 CDU（內循環通道部分）、液冷 IT 設備、IT 設備柜內配流管路組件系統等組成 系統管路連接 較多，需二次側管路部署，需考慮二次側流量分配 較少，免二次管路部署；支持不同阻力特性/功率等級機柜混配，無流量浪費 空間利用率 較低，占用機房空間 較高，集成于機柜內部 可維護性 相對簡單，出現故障可集中診斷和維護，但影響范圍大；二次側冷卻液循環路徑長，需關注冷卻液潔凈度 相對復雜，需多點診斷和維護，但故障影響范圍局限在單個機柜內；冷卻液盡在機柜側循環，路徑短，有利于保持潔凈度。適用場景 對于大型、超大型數據中心，機柜總數多，應用集中式 CDU 可減少設備維護量，增加管路維護量。適用于業務需求明確

29、的場景，機柜間無明顯制冷量差異。對中小型數據中心，機柜數量適中，應用分布式 CDU 也不會增加過多維護負擔，同時具有高度集成、系統簡潔等特點?？呻S業務需求分批上線，可適應不同機柜功率場景，易于機柜功耗匹配 技術成熟度 較高，起步較早，應用相對較多 較高，起步較晚，正在創新應用 14 3.1.3 供電模塊 供電模塊包括分布式供電與集中供電兩種模式。集中供電模式將服務器電源集中起來部署在機柜內部池化管理，統一為服務器供電，由電源框、供電母排和節點供電模塊組成。電能損耗小，48V 電壓低，安全性高，服務器內部僅設置一個供電模塊，節省服務器內設備布置空間。服務器內器件供電電壓逐步向 48V 演進，與集

30、中供電適配性高，可進一步減少服務器內電源轉換。業內有多個廠家可支持集中供電模式。分布供電模式：電源分布在每個服務器節點上，主要由 PDU 和分布在每個服務器節點上的電源組成。建設中根據具體場景選擇，優先集中供電模式。表 2 分布供電模式與集中供電模式對比 項目 分布供電模式 集中供電模式 配置 服務器：采用 2N 配置的 PSU AC 轉DC 電源模塊 機柜：配置 2N 交流 PDU 連接：每個服務器采用 2 組交流電源線纜 服務器：采用 1N DC 轉 DC 電源模塊 機柜：配置 1N 電源框，9 個電源模塊，1 個busbar 連接：每個服務器 1 組銅夾子連接線纜 可靠性 兩路電源分別輸

31、入 2N PDU，相互備份，一路故障時切換至另外一路。兩路電源輸入電源框，一路故障時自動切換另外一路，電源模塊 N+1 備份。裝配性 安裝/維護服務器需要進行電源線纜的布放 安裝/維護服務器采用盲插操作，免插線纜，裝配簡單 應用情況 常規應用方案 目前演進方向，業內均有應用 業務安全 兩個 PDU 均受損時，會影響機柜供電 機柜內設備通過銅排集中取電，極端情況下如銅排斷裂，會影響機柜供電。通過云化、池化、分攤業務等方式，可避免對業務的影響。3.1.4 冷卻液選擇 業內選擇有乙二醇溶液、丙二醇溶液、去離子水等。其中華為、曙光以 25%乙二醇溶液為主，浪潮、新華三以 25%丙二醇溶液為主。濃度 2

32、5%并非定值，20%30%均可，濃度不宜過高，影響工質流動、散熱性能，也不宜過低，無法起到防凍作用及抑制微生物的作用，在濃度 20%以上時，乙二醇溶液和丙二醇溶液對微生物即可起到一定的抑制作用。去離子水具有良好的傳熱性能，超低電導率、制備工藝成熟，無毒安全，可15 作為冷卻液備選之一，但需注意對冷卻液的維護。去離子水的冰點為 0，需考慮運輸、儲存、短時停機、業務量較少、服務器已安裝未運行等情況下防凍問題。綜上，可根據工質液體熱性能，部署所在地的地理位置和氣候等條件綜合考 慮選用冷卻液。表 3 冷板式液冷主要冷卻液性能對比 冷卻液 25%乙二醇 25%丙二醇 去離子水 冷卻液行標要求 沸點/19

33、8 187 100-凝固點/-12.7-10.2 0-導熱系數/(W/m*K)0.51 0.49 0.63-比熱容/(KJ/kg*K)2.347 2.481 4.2-密度/(kg/m3)1027 1014 992-運動黏度/(mm2/s)1.1685 1.3708 0.6552 在最低使用溫度下液體運動黏度50mm2/s 散熱性能對比 0.942A 0.962A A 滿足系統額定液體循環功率下除熱要求 導電性 混合雜質后導電 混合雜質后導電 混合雜質后導電 初始液體體電阻系數100ppm；使用液體要求無皮膚接觸，無眼接觸刺激，無細胞變異影響，對水生毒害無影響 腐蝕性 弱腐蝕性，需加緩蝕劑 弱腐

34、蝕性，需加緩蝕劑 弱腐蝕性，需加緩蝕劑-環保性 需加水稀釋后排放到污水管道 需加水稀釋后排放到污水管道 環保,直接排放 臭氧破壞潛能 ODP=0 材料兼容性 通過添加劑（緩蝕和殺菌）有效抑制管路中材料腐蝕和細菌的滋長 通過添加劑（緩蝕和殺菌）有效抑制管路中材料腐蝕和細菌的滋長 通過維持工質運行環境超低的電導率來抑制管路材料中的腐蝕和微生物的滋長，同時也配有添加劑（緩蝕和殺菌）-產業鏈及成本 與汽車防凍液共用產業鏈，大量應用，產業鏈成熟、成本低 多用于食品、飲料等有低毒性要求的產業鏈，應用范圍小，成本高 去離子水制備工藝及產業鏈較成熟-16 3.2 浸沒式液冷 3.2.1 系統方案 IT 設備定

35、制化。浸沒式液冷需要密封艙體存儲冷卻液，服務器設備應滿足對冷卻液的兼容性，因此采用定制化 IT 設備。流場及散熱優化。浸沒式液冷設備內部冷卻液與 IT 設備直接接觸進行熱交換，由于不同的 IT 設備熱功耗不同，因此需考慮機柜內溫度場分布均勻，按需分配冷卻液流量，避免出現局部熱點，導致設備過熱宕機。運行維護便利性。由于浸沒式液冷中的服務器設備浸泡在浸沒腔中，運行維護需需要額外吊裝機械臂，便于將服務器從冷卻液浸沒腔中取出。圖 9 浸沒液冷+冷塔散熱架構示意圖 17 3.2.2 冷卻液 浸沒式液冷的冷卻液幾乎與系統內所有材料接觸。冷卻液的粘度和沸點等熱物理性能、閃點等易燃性或可燃性能、材料兼容性、對

36、傳輸信號影響、絕緣性、環境影響、安全性、可維護程度、長期穩定和清潔度、成本等是浸沒式液冷重要關注問題，應全面統籌考慮后進行選取。目前浸沒式冷卻液主要分為碳氫及有機硅化合物類和碳氟化合物類。（1）碳氫化合物（Hydrocarbon）及有機硅類冷卻液 業內一般統稱為“油類冷卻液”，一般分為天然礦物油、合成油、有機硅油 3大類。常溫下呈黏稠狀，比熱容和導熱率較高，具有沸點高不易揮發、不腐蝕金屬、環境友好、毒性低等共性且成本較低；但有閃點，使用中有可燃助燃風險。（2）碳氟類（Fluorocarbon）冷卻液 將碳氫化合物中所含的一部分或全部氫換為氟而得到的有機化合物，整體傳熱能力更佳，同時無閃點不可燃

37、、壽命長、不易變質、兼容性好、低粘度易維護、更安全可靠。面向愈發嚴格的環境保護要求，氟化學公司正致力于研究開發超低溫室效應碳氟化合物（Ultra Low GWP），爭取對環境友好的同時兼顧商用需求、適宜的生產成本和穩定工藝，3M、科慕、霍尼韋爾等企業均有所涉及。同時，當前造價高，隨著技術發展與國產化替代，液體成本將逐步下降，經濟性得到改善。對于單相浸沒液冷，碳氫及有機硅類化合物和碳氟類化合物均有相關案例，后續需要進一步測試驗證。應用中還需注意部分風冷下工作組件兼容問題，如機械硬盤 HDD 無法直接在冷卻液下工作，需選用借助鐳射封裝等技術將 HDD 密封為氦氣硬盤。18 表 4 浸沒式液冷冷卻液

38、性能對比 對比項 碳氫及有機硅類冷卻液 碳氟類冷卻液 天然礦物油 合成油 有機硅油 氫氟烴（HFC）全氟碳化合物（PFC）氫氟醚（HFE）碳氟化合物（GWP）3M FC40 全氟三丁胺，X68電子冷卻氟化液 臭氧層破壞 無 無 溫室效應 無 會帶來溫室效應 溫室效應影響較小 超低溫室效應 影響小 液體粘度 高 低 2.2 2.2 沸點 高，不易揮發 較高 170 165 腐蝕性 不腐蝕金屬 不腐蝕金屬 毒性 低 低 成本 低 較高 高 高 閃點及可燃性 存在閃點，有可燃助燃風險 可設計高閃點，但可能導致流動困難 無閃點，不可燃 老化變質性 容易分解、老化，會變色氧化產生酸，需要定期檢測 不易分

39、解變質 可靠性及壽命 低，3-5 年 高，超過 10 年 兼容性 兼容性差 兼容性好 雜質對元器件損害大 導熱率 高 低 惰性 低 高 維護性 黏性高，不便于維護，需要清洗劑 黏性低，易揮發，便于維護 密度（g/cm3）低 高 比熱容 高 低 揮發性 不易揮發 易揮發 綜合傳熱性能（與密度、粘度、比熱、導熱有關）低 高 介電強度（絕緣性）30kV 24kV 介電常數 低 低 低 對高速信號傳輸有一定影響 低 1.9 1.9 19 4 推進計劃 4.1 制定標準 4.1.1 冷板式液冷 2023 年電信運營商協同產業鏈廠家聯合技術攻關與研發，年底前形成冷板式液冷技術標準，2024 年提交行業組織

40、協會，爭取升級為團體或行業標準，打造解耦液冷機柜+統一接口服務器+柔性基礎設施的開放、先進、完善的生態。4.1.2 單相浸沒式液冷 2023 年啟動調研交流，爭取年底前形成統一技術標準，適時部署后續工作。4.2 測試驗證 4.2.1 冷板式液冷 對于盲插解耦式液冷，目前華為、超聚變等服務器廠家已滿足盲插快接；中國移動已組織研發新型機柜，將在測試后及時開源。同時支持更多服務器與機柜廠家參與，計劃 2023 年底前推動測試工作，2024 年中完成規模驗證。4.2.2 單相浸沒式液冷 2024 年適時開展系統兼容性、服務器定制、冷卻液（碳氫及有機硅化合物類和碳氟化合物類）國產替代等研發與試點驗證。4

41、.3 規模推廣 經測試驗證，2025 年及以后在電信行業規模應用，技術、生態、應用全面領先。20 5 展望倡議 我國數字經濟正在轉向深化應用、規范發展、普惠共享的新階段。作為建設網絡強國、數字中國、智慧社會的國家隊與主力軍，中國移動、中國電信、中國聯通將全面貫徹落實新發展理念，服務新發展格局，堅持綠色低碳發展理念，大力加強數據中心建設，推進算力網絡資源布局，促進資源、要素的高效匯聚、流動、共享，支撐數字經濟不斷做強、做優、做大。為完善液冷產業標準化和生態建設、促進液冷技術有序發展，開辟數據中心液冷行業高質量發展道路。在此，倡議產業各方凝聚共識、加強協作，在技術、產業、生態等方面攻堅克難，解決當

42、前液冷技術和產品在接口規范標準不夠完善、原創技術不夠成熟、產業生態不夠健全等系列問題，建議產業各方圍繞“三年愿景”，著力開展以下重點工作：一是凝聚合力、加強合作。進一步加強需求使用單位、生產企業、高校和研究單位的合作交流，建立協同發展機制，通過對關鍵技術領域的聯合攻關、聯合試點、聯合推廣等，加速技術創新與技術成熟，形成從基礎技術研究、產品開發、應用對接和商業落地的全生命周期閉環，確保液冷技術自主可控、產業可持續發展，為液冷技術高質量發展提供基礎保障。二是完善標準、推進生態。探索液冷基礎設施側與主設備側的解耦，推進機柜與服務器間接口的統一及標準化，形成電信運營商液冷技術標準，加速解耦產品研發和孵

43、化，形成一系列具備自主知識產權的核心產品，全方位構建技術和產品能力。同時，通過測試驗證，進一步細化生產工藝、建設實施等細節，升級迭代完善，旨在構筑技術領先、開放共享、自主可控、成本最優、合作共贏的“新生態”。三是示范驗證、加快推廣。打造若干個試點示范，加快測試驗證，以點帶面，探索液冷解決方案的新應用、新模式、新生態，形成可復制、可推廣的經驗和做法，推動液冷產業成熟與規模應用。21 縮略語列表 縮略語 英文全名 中文解釋 AI Artificial Intelligence 人工智能 PUE Power Usage Effectiveness 電能利用效率 TCO Total Cost of O

44、wnership 全生命周期成本 TDP Thermal design power 熱設計功耗 CPU Central Processing Unit 中央處理器 GPU graphics processing unit 圖形處理器 CDU coolant distribution unit 冷量分配單元 PSU Power Supply Unit 電源單元 PDU Power Distribution Unit 電源分配單元 22參考文獻1.李潔著，液冷革命M.人民郵電出版社.20192.郭亮等著，數據中心熱點技術剖析M.人民郵電出版社.20193.開放數據中心委員會.液冷技術與應用發展白皮

45、書R.20184.賽迪顧問股份有限公司.中國液冷數據中心發展白皮書R.20205.英特爾公司.綠色數據中心創新實踐冷板液冷系統設計參考R.20226.中國智能計算產業聯盟.東數西算下新型算力基礎設施發展白皮書R.20227.開放數據中心委員會.冷板式液冷服務器可靠性白皮書R.20228.開放數據中心委員會.ODCC-2020-05001.浸沒液冷數據中心規范S.20209.中華人民共和國工業和信息化部.YD/T 3979-2021.數據中心浸沒式液冷服務器系統技術要求和測試方法S.202110.中華人民共和國工業和信息化部.YD/T 3980-2021.數據中心冷板式液冷服務器系統技術要求和測

46、試方法S.202111.中華人民共和國工業和信息化部.YD/T 3981-2021.數據中心噴淋式液冷服務器系統技術要求和測試方法S.202112.中華人民共和國工業和信息化部.YD/T 3982-2021.數據中心液冷系統冷卻液體技術要求和測試方法S.202113.中華人民共和國工業和信息化部.YD/T 3983-2021.數據中心液冷服務器系統能源使用效率技術要求和測試方法S.202114.中華人民共和國工業和信息化部.YD/T 4024-2022.數據中心液冷服務器系統總體技術要求和測試方法S.202215.中華人民共和國工業和信息化部.YD/T 4154-2022.通信局（站）噴淋式液冷系統維護技術要求S.2022