曙光信息：2023綠色節能液冷數據中心白皮書（90頁）.pdf

《曙光信息：2023綠色節能液冷數據中心白皮書（90頁）.pdf》由會員分享，可在線閱讀，更多相關《曙光信息：2023綠色節能液冷數據中心白皮書（90頁）.pdf（90頁珍藏版）》請在三個皮匠報告上搜索。

1、 綠色節能液冷數據中心 白皮書 Management White Paper of Energy-saving Liquid Data Center（2023）國家互聯網數據中心產業技術創新戰略聯盟（NIISA）曙光數據基礎設施創新技術（北京）股份有限公司 曙光信息產業股份有限公司 聯合發布 I 編審委員會 指導編委會 李國杰、歷軍、何繼盛、姚勇、李斌、王衛鋼、姜海旺、馬慶懷、李程 主編單位 國家互聯網數據中心產業技術創新戰略聯盟（NIISA）曙光數據基礎設施創新技術（北京）股份有限公司 曙光信息產業股份有限公司 總編委 楊志國、李一昂、紀鐘、常乾坤 編委會（排名不分先后）曙光數據基礎設施創新

2、技術（北京）股份有限公司：劉凱艷、徐欣、白澤陽、崔新濤、井光磊、王國龍、蘇振彤、劉佳偉、苗緒虎、彭晶楠、高立偉、李西會、郭領波、張明、劉浩鵬、李蘭蘭 曙光信息產業股份有限公司:崔雨萍、楊博、舒彬、焦向昆、趙瑞強、李昊、趙嘉誠、樊華、牛旭 國家互聯網數據中心產業技術創新戰略聯盟（NIISA）：杜倩、榮靜 責任編輯：田曉剛 美術編輯：滕華青 評審專家委員會 尼米智、苗曉軍、李茂謙、樂嘉偉、常冬冬、馬德輝、呂曉強、彭曉、于鋒、陳鐘、劉大成、句赫、李笠、趙亮、楊惜琳、張冰、陳曉冰、楊天翔 綠色節能液冷數據中心白皮書 II 目錄 1 綠色節能數據中心發展趨勢.1 1.1 全球數據中心低碳發展概要.1 1

3、.2 我國數字經濟與“雙碳”目標協同發展戰略.3 1.2.1 國家宏觀政策.4 1.2.2 地方層面政策.6 1.2.3 綠色低碳成為必然發展趨勢.8 1.3 液冷讓數據中心更綠色更低碳.9 1.3.1 液冷成為綠色數據中心制冷解決方案的最佳選擇.11 1.3.2 液冷技術先進優勢.14 1.3.3 液冷技術路線.15 1.3.4 液冷助力金融行業數據中心節能降碳.18 1.4 液冷行業標準化研究現狀.19 2 液冷數據中心建設與運維.20 2.1 液冷數據中心設計.20 2.1.1 液冷數據中心建筑設計及工藝布局.20 2.1.2 液冷數據中心的冷卻系統設計.21 2.1.3 液冷數據中心的

4、供配電系統設計.22 2.1.4 液冷數據中心的環境和設備監控系統設計.23 2.1.5 液冷數據中心的能源再利用.24 2.2 液冷數據中心智能監控與管理.24 2.2.1 IT設備監控與管理.24 2.2.2 CDU/CDM監控與管理.24 2.2.3 機房環境監控與管理.25 2.2.4 供電系統監控與管理.25 2.3 液冷數據中心運維.26 2.3.1 液冷數據中心部件更換管理要求.27 2.3.2 液冷系統運維管理要求.27 綠色節能液冷數據中心白皮書 III 3 液冷基礎設施關鍵設備.30 3.1 冷板式液冷基礎設施.30 3.1.1 冷板式液冷技術簡介.30 3.1.2 冷板式

5、液冷系統結構組成.30 3.1.3 液冷機柜.32 3.1.4 液冷換熱單元（CDU）.33 3.1.5 豎直分液單元（VCDU）.34 3.1.6 冷卻介質.35 3.2 單相浸沒式液冷基礎設施.37 3.2.1 單相浸沒式液冷技術簡介.37 3.2.2 單相浸沒式液冷系統結構組成.38 3.2.3 浸沒腔體（Tank).39 3.2.4 液冷換熱單元（CDU）.39 3.2.5 冷卻介質.40 3.3 相變浸沒式液冷基礎設施.41 3.3.1 相變浸沒式液冷技術簡介.41 3.3.2 相變浸沒式液冷系統結構組成.42 3.3.3 液冷換熱模塊（CDM）.42 3.3.4 水平分液集氣單元（

6、HCDU）.44 3.3.5 豎直分液單元（VCDU）.45 3.3.6 液冷充放液工裝設備.45 3.3.7 冷卻介質.46 4 液冷IT設備.47 4.1 冷板式液冷IT設備.47 4.1.1 冷板式液冷系統設計總體要求.47 4.1.2 液冷部件的設計要求.49 4.1.3 冷板的設計關鍵技術.51 4.1.4 各類型液冷服務器.54 4.2 浸沒式液冷IT設備.63 綠色節能液冷數據中心白皮書 IV 4.2.1 單相浸沒液冷技術.64 4.2.2 相變浸沒液冷技術.64 4.3 液冷IT設備監管控制設計規范.68 4.3.1 IT設備監控接口標準.68 4.3.2 IT設備遠程管理接口

7、標準.70 5 案例.75 5.1 某大型國有銀行液冷數據中心建設.75 5.2 西部（重慶）某先進數據中心.76 5.3 常熟某數據中心液冷集成項目.77 5.4 廣東省某大學海洋工程仿真集群.78 5.5 某醫院國家轉化醫學中心精準醫療項目.79 5.6 河北某國際信息港.80 附錄.83 1 名詞解釋.83 2 縮略語.84 綠色節能液冷數據中心白皮書 V 專家評審 2023年4月8日國家互聯網數據中心產業技術創新戰略聯盟（NIISA）組織召開了綠色節能液冷數據中心白皮書（以下簡稱“白皮書”）專家評審會，與會專家審閱了白皮書全部內容，聽取了白皮書編制背景、思路大綱及意見修改情況匯報，經質

8、詢、討論和審議，形成如下評審意見：一、液冷技術符合當下節能政策要求和市場快速發展需求，該白皮書選題具有較強的實踐應用價值和較高的行業指導意義。二、白皮書主題圍繞冷板式液冷、單相浸沒式液冷和相變浸沒式液冷等三大主流液冷方式展開，全面闡述了液冷數據中心機房建設與運維要求、液冷基礎設施關鍵設備技術要求、液冷IT設備技術要求等內容，并提供了不同行業實際建設案例，該白皮書內容詳實完整，框架結構合理，在部分技術替代和工程落地方面有所創新。三、編寫組認真吸取了白皮書編制過程中征集的專家意見，并對意見進行歸納、整理，該白皮書內容質量得到進一步提升。專家組一致同意綠色節能液冷數據中心白皮書通過評審，建議編寫組根

9、據專家意見修改完善后盡快發布。綠色節能液冷數據中心白皮書 1 1 綠色節能數據中心發展趨勢 1.1 全球數據中心低碳發展概要 數據中心是指為具備計算能力、存儲能力以及信息交互能力的IT應用系統提供集中存放的場所，通過統一標準建設，可以實現系統的穩定、可靠運行。目前，全球數字化技術蓬勃發展，數據被作為新一代生產要素得到廣泛共識。其中，被數字化技術所賦能的千行百業企業級服務，以及所有支撐數字化經濟的“基座”，均源自數據中心。據中國信息通信研究院數據中心白皮書（2022）所述，全球數據中心市場規模近5年維持平穩增長，如圖所示，2021年全球數據中心市場規模超過679億美元1，較2020年增長9.8%

10、，2017年至今，增長率均達到9%以上。圖 1.1 全球數據中心市場規模 在數據中心建設部署持續增長的大背景下，市場規模穩步上升，總耗能也呈增長趨勢。2015 年通過的巴黎協定指出，要將全球平均氣溫較前工業化時期上升幅度控制在 2 以內，并努力將溫度上升幅度限制在 1.5 以內。據聯合國政府間氣候變化專門委員會（IPCC）測算，全球必須在2050年達到二氧化碳凈零排放（又稱“碳中和”），即每年二氧化碳排放量等于其通過植樹等方式減排的抵消量。而2022年的最新報告再次指出，當前溫室氣體排放已經處在歷史最高水平，1 數據來源：中國信息通信研究院。全球數據中心市場收入來自于數據中心服務商的收入統計，

11、僅包括數據中心基礎設施相關收入，不包括云服務等收入，主要為數據中心產生的收入，企業自用數據中心不產生相關收入。465.5513.3566.6618.7679.310.3%10.4%9.2%9.8%01002003004005006007008000%2%4%6%8%10%12%20172018201920202021全球市場收入（億美元）增速綠色節能液冷數據中心白皮書 2 全球平均氣溫已經比工業化前（1850年-1900年）升高了1.1，若要實現巴黎協定控溫目標，全球溫室氣體排放量最遲應在2025年前達峰，并在2030年前減少27%至43%。目前，全球已有超過130個國家以不同形式提出碳中和的

12、目標，其中46個國家承諾2050年前實現碳中和，亦針對包括信息通信業在內的多個行業提出具體的減碳措施及目標2，如表所示。表 1.1 全球低碳數據中心相關政策規劃 國家/地區 政策 內容 美國 DCOI 數據中心優化倡議 FDCCI 美國聯邦數據中心整合計劃 FITARA 聯邦政府信息技術采購改革法案等 整合和關閉數據中心、資源虛擬化、可用性、設定數據中心 PUE 及服務器使用率具體標準、退役老舊機器的方式，實現了數據中心數量減少 7000 個，大約占比50%；數據中心 PUE 從平均 2.0 以上下降到近一半，大型數據中心達到 1.5 基至 1.4 以下，部分服務器使用率從 5%提升到 65%

13、以上。歐盟 2020 年歐盟數據中心能源效率行為準則的最佳實踐指南 歐洲數據中心能源效率現狀白皮書 塑造歐洲的數字未來 進一步細化和規范了數據中心 PUE、SUE、DCiE 等綠色指標。ICT 基礎設施和數據中心應確保在 2030 年之前達到氣候中性，在 2050 年成為世界第一個實現氣候中性的大陸。新加坡 綠色數據中心技術線路圖 需在不影響系統性能和安全要求的情況下盡可能降低數據中心能源消耗，并提出提高冷卻設備效率、IT 設備溫濕度耐受能力、數據中心的資源調度和負荷分配集成優化能力等建議。日本 綠色增長戰略 發展目標：將數據中心市場規模從 2019 年的 1.5 萬億日元提升到 2030 年

14、的 3.3 萬億日元，屆時實現將數據中心的能耗降低 30%；重點任務：擴大可再生能源電力在數據中心的應用，打造綠色數據中心等。國際數據中心龍頭企業也紛紛提出低碳節能發展措施。微軟的“納提克”海底數據中心研究計劃，將服務器部署在鋼制容器內，沉入蘇格蘭奧尼克附近的北海水域，利用海水冷卻服務器以達到降低能耗的目的；谷歌在芬蘭的數據中心，依托臨近芬蘭灣的地理優勢，冷卻系統直接連入芬蘭灣的冰冷海水來進行冷卻作業，2 資料來源：開放數據中心委員會ODCC數據中心算力碳效白皮書 綠色節能液冷數據中心白皮書 3 處理規模巨大的數據中心產生的大量熱量；常年處于極低溫的南極和北極也都已建造起數據中心，美國國家科學

15、基金會將數據中心建在了南極，Facebook則選擇了靠近北極圈的瑞典呂勒奧鎮，利用自然優勢進行散熱，將天然的低溫環境作為制冷劑，大量減少設備冷卻所需的能耗。圖 1.2 國際數據中心企業數據中心3 （左上）微軟海底數據中心（右上）谷歌芬蘭數據中心（左下）美國國家科學基金會南極數據中心 （右下）Facebook 瑞典呂勒奧鎮數據中心 1.2 我國數字經濟與“雙碳”目標協同發展戰略 近年來，隨著5G、云計算、大數據、人工智能等新一代信息技術的快速發展，信息技術向傳統產業加速滲透，產業數字化轉型深刻改變著人類社會的生產和生活方式。數字技術與實體經濟的深度融合創新，推動數據資源計算、存儲和應用需求大幅提

16、升，數據中心產業快速發展壯大，數字產業化成為新的經濟增長點。在新一輪產業變革大背景下，我國搶抓數字經濟歷史新機遇，積極部署、加快推進數字經濟高質量發展。2021年3月，我國在“十四五”規劃綱要中將數字化發展作為重要的發展方向，并提出打造數字經濟新優勢的重要綱領，要求充分發揮海量數據和豐富應用場景優勢，促進數字技術與實體經濟深度融合，賦能傳統產業轉型升級，催生新產業新業態新模式，壯大經濟發展新引擎。2021年12月，國務 3 圖片來源：互聯網 綠色節能液冷數據中心白皮書 4 院印發“十四五”數字經濟發展規劃，要求大力推進產業數字化轉型、大力推進數字產業化發展，到2025年數字經濟邁向全面擴展期，

17、數字經濟核心產業增加值占GDP比重達到10%，數字化創新引領發展能力大幅提升，智能化水平明顯增強，數字技術與實體經濟融合取得顯著成效，我國數字經濟競爭力和影響力實現穩步提升。數據中心作為支撐數字經濟發展的堅實底座，市場規模增長迅速，據中國信通院發布的數據中心白皮書（2022年）顯示，我國數據中心機架規模近五年平均復合增速超過30%。但是，隨著數據中心行業的高速發展，其高能耗和碳排放問題備受社會關注。國家層面從現代化、數字化、綠色化方面對新型基礎設施建設提出了方針指引，關于碳達峰、碳中和的戰略決策又對信息通信業數字化和綠色化協同發展提出了更高要求。2021年2月，國務院發布 關于加快建立健全綠色

18、低碳循環發展經濟體系的指導意見，要求到2025年基礎設施綠色化水平不斷提高，能源資源配置更加合理、利用效率大幅提高，碳排放強度明顯降低，市場導向的綠色技術創新體系更加完善。2021年9月，中共中央國務院關于完整準確全面貫徹新發展理念做好碳達峰碳中和工作的意見要求推動互聯網、大數據、人工智能、第五代移動通信（5G）等新興技術與綠色低碳產業深度融合，提升數據中心、新型通信等信息化基礎設施能效水平，助力實現碳達峰、碳中和目標。1.2.1國家宏觀政策 國家層面，各部委相繼出臺了關于綠色數據中心建設、新型數據中心綠色高質量發展的指導意見（詳見表1.2），通過構建全國一體化大數據中心協同創新體系，在京津冀

19、、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏等8地啟動建設國家算力樞紐節點，并規劃了10個國家數據中心集群，由此我國“東數西算”工程正式全面啟動。另外，工信部提出“新型數據中心”的概念，指出“新型數據中心是以支撐經濟社會數字轉型、智能升級、融合創新為導向，以5G、工業互聯網、云計算、人工智能等應用需求為牽引，匯聚多元數據資源、運用綠色低碳技術、具備安全可靠能力、提供高效算力服務、賦能千行百業應用的新型基礎設施，具有高技術、高算力、高能效、高安全的特征。數據中心作為“新基建”重要內容，被賦予了技術先進、綠色低碳等新內涵。在落實節能降碳方面，政策明確要求到2023年底新建大型及以上數據中

20、心PUE降低到1.3以下；到2025年全國新建大型、超大型數據中心平均電能利用效率降到綠色節能液冷數據中心白皮書 5 1.3以下，國家樞紐節點進一步降到1.25以下，綠色低碳等級達到4A級以上。表 1.2 國家宏觀政策梳理 發文名稱 發布時間 發文機構 重點內容 關于加強綠色數據中心建設的指導意見 2019年1月 工業和信息化部等三部門 建立健全綠色數據中心標準評價體系和能源資源監管體系，打造一批綠色數據中心先進典型。全國一體化大數據中心協同創新體系算力樞紐實施方案 2021年5月 國家發展改革委員會 加強綠色集約建設。完善覆蓋電能使用效率、算力使用效率、可再生能源利用率等指標在內的數據中心綜

21、合節能評價標準體系。新型數據中心發展三年行動計劃(2021-2023年)2021年7月 工業和信息化部 到2023年底，全國數據中心機架規模年均增速保持在20%左右，平均利用率力爭提升到60%以上，總算力超過200 EFLOPS，高性能算力占比達到10%。國家樞紐節點算力規模占比超過70%。新建大型及以上數據中心PUE降低到1.3以下，嚴寒和寒冷地區力爭降低到1.25以下。貫徹落實碳達峰碳中和目標要求推動數據中心和5G等新型基礎設施綠色高質量發展實施方案 2021年11月 國家發改委等四部門 到 2025 年，數據中心和 5G 基本形成綠色集約的一體化運行格局。數據中心運行電能利用效率和可再生

22、能源利用率明顯提升，全國新建大型、超大型數據中心平均電能利用效率降到 1.3 以下，國家樞紐節點進一步降到 1.25 以下，綠色低碳等級達到 4A 級以上。深入開展公共機構綠色低碳引領行動促進碳達峰實施方案 2021年11月 國家機關事務管理局等四部門 推動數據中心綠色化。推動存量“老舊”數據中心升級改造，“小散”數據中心騰退、整合，降低“老舊小散”數據中心能源消耗。新建大型、超大型數據中心全部達到綠色數據中心要求，綠色低碳等級達到4A級以上，電能利用效率（PUE）達到1.3以下。鼓勵申報綠色數據中心評價，發揮示范引領作用。工業能效提升行動計劃 2022年6月 工業和信息化部等六部門 推進重點

23、領域能效提升綠色升級。持續開展國家綠色數據中心建設，發布名單及典型案例，加強綠色設計、運維和能源計量審查。引導數據中心擴大綠色能源利用比例，推動老舊數據中心實施系統節能改造。到2025年，新建大型、超大型數據中心電能利用效率（PUE，指數據中心總耗電量與信息設備耗電量的比值）優于1.3。信息通信行業綠色低碳發展行動計劃（2022-2025年）2022年8月 工業和信息化部等七部門 加大先進節能節水技術應用。強化綠色設計，加快自然冷源、近端制冷、液冷等制冷節能技術應用，鼓勵采用預制模塊化機房及高密度、虛擬化等高效IT系統方案，推廣高壓直流供電、高效交流不間斷電源、集成式電力模塊等技術和產品，發展

24、智能化能源管控系統。綠色節能液冷數據中心白皮書 6 1.2.2 地方層面政策 地方層面，“東數西算”工程的10個數據中心集群明確了起步區建設目標（詳見表1.3）。北京、上海、深圳等地也出臺政策，進一步細化落實各地數據中心綠色建設、可持續發展要求和措施（詳見表1.4）?？梢钥闯?，國內各地新建大型及以上數據中心PUE值均要求達到1.3以下；在氣候、能源、環境等方面具有天然地域優勢的內蒙古和林格爾集群、貴州省貴安集群等則提出更為嚴格的不高于1.25甚至1.2的指標；北京提出打造建設全球數字經濟標桿城市的發展目標，并在綠色節能審查管理中制定不同規模數據中心能耗水平分級管理的措施。表 1.3“東數西算”

25、數據中心集群政策梳理 樞紐 集群 文件 綠色節能水平要求 京津冀樞紐 張家口集群 關于同意京津冀地區啟動建設全國一體化算力網絡國家樞紐節點的復函 張家口數據中心集群起步區為張家口市懷來縣、張北縣、宣化區。圍繞數據中心集群，抓緊優化算力布局，積極承接北京等地實時性算力需求。張家口數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率指標控制在1.25以內，可再生能源使用率顯著提升。成渝樞紐 天府集群 關于同意成渝地區啟動建設全國一體化算力網絡國家樞紐節點的復函 成渝樞紐規劃設立天府數據中心集群和重慶數據中心集群。其中，天府數據中心集群起步區為成都市雙流區、郫都

26、區、簡陽市。重慶數據中心集群起步區為重慶市兩江新區水土新城、西部（重慶）科學城璧山片區、重慶經濟技術開發區。圍繞兩個數據中心集群，抓緊優化算力布局，平衡好城市與城市周邊的算力資源部署，做好與“東數西算”銜接。天府、重慶數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率指標控制在1.25以內，可再生能源使用率顯著提升。重慶集群 長三角樞紐 長三角生態綠色一體化發展示范區集群 關于同意長三角地區啟動建設全國一體化算力網絡國家樞紐節點的復 長三角樞紐規劃設立長三角生態綠色一體化發展示范區數據中心集群和蕪湖數據中心集群。其中，長三角生態綠色一體化發展示范區數據中

27、心集群起步區為上海市青浦區、江蘇省蘇州市吳江區、浙江省嘉興市嘉善縣。蕪湖數據中心集群起步區為蕪湖市鳩江區、弋江區、無為市。圍繞兩個數據中心集群，抓緊優化算力布局，積極承接長三角中心城市實時性算力需求，引導溫冷業務向西部遷移，構建長三角地區算力資源“一體協同、輻射全域”的發展格局。長三角生態綠色一體化發展示范區、蕪湖數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率指標控制在1.25以內，可再生能源使用率顯著提升。蕪湖集群 粵港澳大韶關集群 關于同意粵港澳大灣區啟粵港澳大灣區樞紐規劃設立韶關數據中心集群，起步區邊界為韶關高新區。圍繞韶關數據中心集群，抓緊優

28、化算力布局，積極承接廣州、深圳綠色節能液冷數據中心白皮書 7 樞紐 集群 文件 綠色節能水平要求 灣區樞紐 動建設全國一體化算力網絡國家樞紐節點的復函 等地實時性算力需求，引導溫冷業務向西部遷移，構建輻射華南乃至全國的實時性算力中心。韶關數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率指標控制在1.25以內，可再生能源使用率顯著提升。內蒙古樞紐 和林格爾集群 關于同意內蒙古自治區啟動建設全國一體化算力網絡國家樞紐節點的復函 內蒙古樞紐規劃設立和林格爾數據中心集群，起步區邊界為和林格爾新區和集寧大數據產業園。充分發揮集群與京津冀毗鄰的區位優勢，為京津冀高

29、實時性算力需求提供支援，為長三角等區域提供非實時算力保障。和林格爾數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率控制在1.2以下，可再生能源使用率顯著提升。關于內蒙古和林格爾新區推進數據中心項目綠色化建設的意見 綠色化要求方面，設計方案符合綠色數據中心要求，采用綠電替代、分布式新能源發電、余熱回收、多元化儲能、動力電池梯次利用、高壓直流等高效供配電系統、高密度集成等高效IT設備、新型機房精密空調、液冷、水資源綜合利用等綠色節能技術。和林格爾數據中心集群對于規模超過10000個標準機柜的以自用為主的數據中心項目，設計PUE值不高于1.25，項目建成投用

30、后，PUE第二年年度平均值不高于1.4，第三年度及以后年度平均值不高于1.25。貴州樞紐 貴安集群 關于同意貴州省啟動建設全國一體化算力網絡國家樞紐節點的復函 貴州樞紐規劃設立貴安數據中心集群，起步區邊界為貴安新區貴安電子信息產業園。圍繞貴安數據中心集群，抓緊優化存量，提升資源利用效率，以支持長三角、粵港澳大灣區等為主，積極承接東部地區算力需求。貴安數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率控制在1.2以下，可再生能源使用率顯著提升。關于加快推進“東 數 西算”工程建設全國一體化算力網絡國家（貴州）樞紐節點的實施意見 推廣使用綠色化技術。鼓勵采用

31、新型節能技術和綠色建筑技術，充分利用本地自然資源制冷，降低數據中心能耗水平。到2025年，貴安集群新建大型以上數據中心PUE(電能利用效率)低于1.2；貴安集群數據中心平均上架率不低于65%。貴安集群數據中心平均上架率不低于65%。甘肅樞紐 慶陽集群 甘肅省啟動建設全國一體化算力網絡國家樞紐節點的復函 甘肅樞紐設立慶陽數據中心集群，起步區邊界為慶陽西峰數據信息產業聚集區。要尊重市場規律、注重發展質量，打造以綠色、集約、安全為特色的數據中心集群，重點服務京津冀、長三角、粵港澳大灣區等區域的算力需求。慶陽數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率控制

32、在1.2以下，可再生能源使用率顯著提升。綠色節能液冷數據中心白皮書 8 樞紐 集群 文件 綠色節能水平要求 寧夏樞紐 中衛集群 關于同意寧夏回族自治區啟動建設全國一體化算力網絡國家樞紐節點的復函 寧夏樞紐規劃設立中衛數據中心集群，起步區邊界為中衛工業園西部云基地。要充分發揮區域可再生能源富集的優勢，積極承接東部算力需求，引導數據中心走高效、清潔、集約、循環的綠色發展道路。中衛數據中心集群應抓緊完成起步區建設目標：數據中心平均上架率不低于65%。數據中心電能利用效率控制在1.2以下，可再生能源使用率顯著提升。表 1.4 地方政策梳理 1.2.3綠色低碳成為必然發展趨勢 數據中心作為數據樞紐和應用

33、載體，是推動我國數字經濟發展重要抓手。隨地方 文件 綠色節能水平要求 北京 關于印發進一步加強數據中心項目節能審查若干規定的通知 項目規模1萬噸標準煤（電力按等價值計算，下同）PUE值不應高于1.3；1萬噸項目規模2萬噸標準煤，PUE值不應高于1.25；2萬噸項目規模3萬噸標準煤，PUE值不應高于1.2；項目規模3萬噸標準煤，PUE值不應高于1.15 上海 上海市數據中心建設導則 新建大型數據中心設計PUE不超過1.3（集聚區降至1.25左右）、邊緣數據中心不應高于 1.5，簡稱運行第一年PUE綜合不高于 1.4，第二年不高于 1.3。關于推進本市數據中心健康有序發展的實施意見 集聚區新建大型

34、數據中心綜合 PUE降至 1.25 左右，綠色低碳等級達到 4A 級以上。新型數據中心“算力浦江”行動計劃（2022-2024年）加快綠色節能技術應用。推動數據中心采用液冷、蒸發冷卻、近端制冷等制冷技術，采用模塊化機房、預制化電力模塊、余熱綜合利用、智能運維、鋰電池等節能產品和技術。深圳 關于加快推進新型基礎設施建設的實施意見（20202025年）集中布局建設適用于中時延類業務的超大型數據中心，分布布局PUE值小于1.25的適用于低時延類業務和邊緣計算類業務的中小型數據中心。貴州 關于支持貴州在新時代西部大開發上闖新路的意見 實施數字產業強鏈行動。培育壯大人工智能、大數據、區塊鏈、云計算等新興

35、數字產業。加快推進“東數西算”工程，布局建設主數據中心和備份數據中心，建設全國一體化算力網絡國家樞紐節點，打造面向全國的算力保障基地。支持貴陽大數據交易所建設，促進數據要素流通。建設國家大數據安全靶場，開展數據跨境傳輸安全管理試點。推動在礦產、輕工、新材料、航天航空等產業領域建設國家級、行業級工業互聯網平臺，促進產業數字化轉型。適度超前布局新型基礎設施，推動交通、能源等基礎設施智能化改造升級。綠色節能液冷數據中心白皮書 9 著數據中心數量與日俱增，用電規模也隨之急劇攀升。根據有關統計數據結果，2021年我國數據中心用電量2166億度，碳排放量達1.35億噸，占全國二氧化碳排放量的1.14%左右

36、；預計到2030年將超過3800億度，碳排放超過2億噸。在“雙碳”目標驅動下，為解決數據中心能源利用率低、技術水平不足等問題，我國政府出臺系列政策，通過限定數據中心能效水平、鼓勵采用綠色節能技術、加強節能審查管理等手段，引導粗放、低能效的傳統數據中心建設向集約、高技術、高能效的新型數據中心變革。目前數據中心產業綠色高質量可持續發展已成為社會共識，建設綠色低碳、集約高效、安全可靠的新型數據中心成為行業發展的必然趨勢。1.3 液冷讓數據中心更綠色更低碳 在大力建設綠色數據中心的大環境下，國內外眾多數字化廠商紛紛進行數據中心制冷技術的探索與嘗試。千島湖數據中心采用湖水自然冷卻技術，將工業和景觀用水與

37、數據中心冷卻用水結合起來，以實現更低PUE值。貴安七星數據中心建設于隧洞中，使用間接換熱制冷設備，利用當地年均溫度15攝氏度的自然條件，建成后極限PUE達1.1左右。海南三亞海底數據中心（UDC）示范項目將數據中心放在海底，利用海水自然冷卻，省去制冷設備用電，建成后預計單艙實際運行PUE低于1.15。此外，國外廠商嘗試將數據中心建在極寒地區或是深海中，利用天然的氣候及地理優勢進行冷卻，有效降低用于制冷的能耗。然而這些數據中心的建設很大程度上依賴于僅極少地區才具備的天然地理優勢及氣候條件，對于建設于常規地域的數據中心很難參考及復制，探索能夠應用于常規多樣化場景的、更具有普適性的綠色高效制冷技術，

38、仍是建設綠色數據中心的一大挑戰。隨著冷卻技術的發展，在滿足IT設備安全平穩運行的前提下，數據中心冷卻方式呈現從空氣冷卻向液體冷卻方式轉變、從機械制冷到充分利用自然冷源方向發展。從適用環境、制冷效率、建設運維成本等多維度對比分析幾種常見制冷方式，可以看出液冷方式具有不受地域氣候限制、制冷效率高、服務器無局部熱點等優勢。綠色節能液冷數據中心白皮書 10 表 1.5 幾種制冷方式對比 制冷方式 風冷直膨式系統 水冷冷水系統 氟泵系統 間接蒸發 系統 液冷系統 適用環境 對環境無要求，但是無法實現自然冷卻 水資源充沛地區 低溫高寒地區 常年干燥低濕地區 全年全地域自然冷卻，不受氣候影響 安裝方式要求

39、對安裝距離和高差有要求 安裝距離、安裝方式不受限制 對安裝距離和高差有要求 設備體型較大，對建筑的層高要求高，安裝方式較為單一，老舊廠房改造難度大 安裝距離、安裝方式不受限制 熱流密度 低熱流密度 低熱流密度 低熱流密度 低熱流密度 中高熱流密度或超高熱流密度 適用配置 適合小型數據中心 適合中大型數據中心 適合小型數據中心 適合中大型數據中心 適合各種場景，尤其適用中大型數據中心 制冷效率 制冷效率低 制冷效果一般 制冷效率較高 制冷效率較高 全年自然冷卻，無機械制冷，制冷效率極高 建設及運營成本 建設成本低，運行成本高，運維工作量小 建設成本高，運行成本較低，運維工作量大 建設成本適中，運

40、行成本較低，運維簡單 建設成本適中，運行成本較低，運維工作量大 建設成本適中，運行成本極低，運維工作量小 散熱能力 單機柜15kW以內（采用列間空調，小規模部署，易產生局部熱點）單機柜15kW以內（采 用 列 間 空調，小規模部署，易 產 生 局 部 熱點）單機柜15kW以內（采用列間空調，小規模部署，易產生局部熱點）單 機 柜 8kW以內，易產生局部熱點 單機柜20kW以上 最大可達到單機柜200kW，無局部熱點 噪音及振動 高 高 高 高 低振動或無振動 熱回收 無法熱回收 熱 回 收 利 用 率低，建設及運行成本高 熱回收利用率低，建設及運行成本高 無法熱回收 熱回收利用率高，易于熱回收

41、，建設及運行成本低 成熟度 成熟度高 成熟度高 成熟度適中 成熟度適中 成熟度適中 可維護性 維護簡便 維護復雜 維護簡便 維護復雜 可維護性適中 綠色節能液冷數據中心白皮書 11 1.3.1 液冷成為綠色數據中心制冷解決方案的最佳選擇 目前，傳統數據中心面臨前所未有的能耗和散熱挑戰，伴隨節能降碳政策驅動，液冷技術正逐漸取代風冷模式，成為新型數據中心制冷解決方案的最佳選擇。政策推動液冷技術推廣應用。工業和信息化部、國家發改委等部門在引導數據中心綠色低碳發展的多個文件中均明確表示，鼓勵、推薦包括液冷在內的先進綠色技術和產品應用（如表1.6所示）。表 1.6 鼓勵應用先進綠色技術產品 液冷技術解決

42、能耗和散熱發展瓶頸。液冷技術經過幾十年的發展，以其低PUE（冷板式液冷技術PUE低至1.2以下、浸沒式液冷技術PUE低至1.1以下，節能20%-30%以上）、滿足高密度部署（解決風冷散熱瓶頸、降低占地和建設成本）、服務器運行更加安全可靠（CPU溫度低至65以下）、全年全地域適用等優勢，被廣泛認為是最行之有效的綠色高效制冷技術。具體分析如下：1）傳統數據中心能耗成本巨大 眾所周知，數據中心是“能耗大戶”，全國數據中心耗電量約占全國用電量的2%-3%。傳統風冷數據中心建成后，電費占運維總成本的60%-70%。根據賽迪顧問統計數據顯示，2019年中國數據中心主要設備能耗占比中，制冷耗電占比（約為43

43、%）位居第二，僅次于IT設備自身能耗占比（約為45%）。根據Uptime Institute 全球數據中心調查報告 2022，2022年調查對象（全球范圍數據中心樣本）的年平均PUE為1.55，自2014年以來年平均PUE值維持在1.55-1.65范圍內，即IT設備自身能耗占比約為61%-65%，以制冷為主的其他能耗占比約為35%-39%?？梢妭鹘y數據中心散熱成本及碳排放水平不容忽視，而液冷技術革命性地發文機構 文件 先進綠色技術產品 工業和信息化部 新型數據中心發展三年行動計劃（2021-2023年）加快先進綠色技術產品應用，鼓勵應用高密度集成等高效IT設備、液冷等高效制冷系統技術產品、高壓

44、直流等高效供配電系統。國家發改委等四部門 貫徹落實碳達峰碳中和目標要求推動數據中心和5G等新型基礎設施綠色高質量發展實施方案 創新節能技術。鼓勵使用高效環保制冷技術降低能耗。支持數據中心采用新型機房精密空調、液冷、機柜式模塊化、余熱綜合利用等方式建設數據中心。工業和信息化部等七部門 信息通信行業綠色低碳發展行動計劃（2022-2025年）強化綠色設計。加快自然冷源、近端制冷、液冷等制冷節能技術應用。綠色節能液冷數據中心白皮書 12 改變傳統散熱方式，取代大部分空調系統（壓縮機）、風扇等高能耗設備，可實現節能20%-30%以上。以某液冷數據中心為例，液冷設備取代空調設備，耗能占比僅為9%，數據中

45、心PUE降低至1.2以下。此外，在同樣外電容量條件下，液冷方式允許配置更多的IT設備，可最大化提高能源利用率；在IT設備負載功率確定前提下，總供電容量需求大幅減少，可有效節省供電系統建設投資和運營成本。因此，無論是從環境保護出發還是從企業自身經濟效益考慮，建設液冷節能型綠色數據中心是最佳路徑。圖 1.3 數據中心能耗分布4 圖 1.4 某液冷數據中心能耗分布 2）計算密度提升面臨散熱挑戰 隨著金融行業信息化規模的日益龐大，新一代數據資源存儲、計算和應用需求大幅提升。在此背景下，算力成為核心生產力。在過去，算力性能提升主要通過半導體工藝增加晶體管密度實現，而芯片性能增長趨勢總體跟隨摩爾定律，約

46、4 數據來源：賽迪顧問,2020.10 綠色節能液冷數據中心白皮書 13 每10年性能增長1000倍。但最近10年，隨著摩爾定律失效，芯片性能增長明顯放緩。通過異構計算等技術在持續提高芯片和系統的能效比，但單個芯片的功耗仍然增加迅速，當前主流處理器芯片CPU功率約為200W，最新發布的CPU已經突破350W，GPGPU等異構加速芯片已經突破700W。算力性能的提升驅動著服務器功耗和熱密度的不斷增加，風冷方式已無法滿足高熱流密度電子器件的散熱；另一方面，城市建設數據中心在面積受限情況下，部署高功率密度機柜成為有效解決方案，但已遠超風冷方案散熱極限。在這樣的背景下，需要更加高效的冷卻技術去解決高功

47、率、高熱流密度、高計算密度的芯片和系統散熱問題。液冷技術利用液體高比熱容/蒸發潛熱優勢，實現對發熱元器件精準散熱，完美解決高功率密度機柜散熱問題。液冷技術經過幾十年發展，被廣泛認為是解決散熱挑戰最行之有效的方法。3）高溫對電子元器件產生不利影響 電子元器件使用故障中，有半數以上是由于溫度過高引起的。半導體元器件溫度每升高10，反向漏電流將增加1倍。此外，在高溫的環境下，機件材料、導線絕緣保護層、防水密封膠更容易老化，造成安全隱患。而對于大量數據中心，由于電子設備集中部署，這種由于過熱造成的安全隱患更值得注意，尤其對于在高溫下易燃易爆的設備，更易引起火災等安全事故，引發數據中心癱瘓，從而給24小

48、時連續性的業務造成不可逆的損失。圖 1.5 電子元器件故障原因統計5 另外，大電流的持續作用，還會降低服務器內部電子部件的使用壽命。尤其在高溫的環境下，電子產品產生的熱量得不到及時疏散，造成了電子產品工作溫 5 數據來源：美國空軍航空電子整體研究項目 綠色節能液冷數據中心白皮書 14 度升高。電容溫度每升高10，平均電子元器件的壽命會降低一半，且更容易造成擊穿。在這種重負荷狀態下工作，會加大電子部件的消耗，從而降低服務器的使用壽命。因此，對服務器尤其是對關鍵電子部件的散熱冷卻提出了更加嚴格的要求。液體冷卻相較于傳統風冷可以帶來更好的冷卻效果，尤其是對關鍵電子部件，例如中央處理器CPU、加速計算

49、芯片GPU和內存。當服務器滿載運行時，CPU溫度為50-65，比風冷降低約25，完全釋放CPU超頻性能。通過降低部件和元器件的運行溫度，收窄部件和元器件隨負載的溫度變化幅度，從而避免設備局部熱點，使運行可靠性大幅提升。1.3.2 液冷技術先進優勢 液冷技術是指使用液體取代空氣作為冷卻介質，與發熱部件進行熱交換，利用液體的溫升或相變帶走熱量的技術（如圖1.6所示）。最早在80年代已經有初嘗試，90年代也出現了一些通信設備的液冷基站。隨著21世紀初云計算時代的到來，數據中心需要更高功率、大規模部署，液冷概念正式被提出，液冷技術開始逐步走向成熟。圖 1.6 傳統風冷及液冷工作原理 液冷技術的先進優勢

50、主要體現在以下方面：液冷換熱效率更高。液體的體積比熱容是空氣的1000-3500倍，液體的導熱系數是空氣的20-30倍，同等空間情況液冷的冷卻能力遠高于空氣。液冷服務器的安全可靠性更有保障。液冷利用液體的比熱容較大或相變潛熱的優勢，可高效吸收元器件產生的熱量，不僅實現對發熱元器件的精確制冷，確保CPU核溫低至65以下（比風冷方式降低約25），且在突發高頻運行時不會引起CPU溫度瞬間大幅變化，保障了系統運行的安全可靠性，同時還允許芯片超綠色節能液冷數據中心白皮書 15 頻運行，芯片性能約可提升10-30%。精確的部件級制冷，保證元器件高性能、高可靠工作。液冷方式節能效果更加優異。由于液冷數據中心

51、冷卻系統采用中高溫水即可完成散熱需求（一次側進水溫度35，二次側供液溫度40），可實現全年全地域自然冷卻，而傳統風冷方式冷凍水機組出水溫度需低至15-20，在大部分地域、大部分時間段均需開啟制冷壓縮機才能滿足條件，因此液冷方式省去大部分風扇及空調系統能耗，相比傳統風冷機房節能20%-30%以上，冷板式液冷PUE低至1.2以下、浸沒式液冷PUE低至1.1以下。液冷方式降低機房噪音，工作環境更舒適。由于液冷機房減少了服務器風扇及空調風機高速運轉帶來的噪音，機房噪音問題得到顯著緩解，尤其浸沒式液冷機房噪音甚至可降至60dB以下，實現“靜音機房”的效果。液冷方式支持高密度部署。液冷方式可滿足中高功率密

52、度乃至超高功率密度數據中心散熱需求。單機柜功率密度得到極大提升,節省主機房空間50%-80%。1.3.3 液冷技術路線 液冷技術是指利用液體取代空氣作為冷卻介質，與服務器發熱元器件進行熱交換，將服務器元器件產生的熱量帶走，以保證服務器工作在安全溫度范圍內的一種冷卻方法。根據冷卻介質與服務器接觸方式的不同，可分為間接冷卻和直接冷卻兩種方式。間接冷卻一般為冷板式液冷，根據冷卻介質是否發生相變又可分為單相冷板式和兩相冷板式。直接冷卻包括浸沒式和噴淋式，其中浸沒式根據冷卻介質是否發生相變又可分為單相浸沒式和相變浸沒式。其中，兩相冷板式主要利用高效的兩相沸騰和冷凝過程實現熱量轉移，2022年9月Zuta

53、Core公司宣稱其HyperCool冷卻技術通過其核心增強型成核蒸發冷卻器(ENE)，可以有效地將功耗高達1000W的服務器芯片的大量熱量轉移出去，ZutaCore與合作伙伴World Wide Technology（WWT）獲得了以色列-美國兩國工業研究發展基金會（BIRD）提供的創新資金補助。噴淋式液冷通過將冷卻介質直接噴淋到發熱元器件表面或者是與發熱元器件接觸的擴展表面上吸熱后并排走。目前兩相冷板式、噴淋式兩種液冷技術主要以小范圍應用驗證為主，尚無大規模部署案例，因此本報告僅就現階段主流液冷技術即單相冷板式液冷（以下簡稱“冷板式液冷”）、單相浸沒式液冷和相變浸沒式液冷技術展開詳細介紹。綠

54、色節能液冷數據中心白皮書 16 圖 1.7 液冷技術路線 1.3.3.1 冷板式液冷技術 冷板液冷服務器一般是流體作為中間熱量傳輸的媒介，將導熱性較好的金屬例如銅、鋁等冷板散熱器覆蓋于主要的發熱元器件上，將熱量傳導給散熱器中的冷卻液體，由熱區傳遞到遠處的冷卻模塊中進行冷卻，再將冷卻后的液體循環至冷板中。在該技術中，液體冷卻介質與發熱元器件不直接接觸，而是通過高導熱性的冷板傳遞熱量，因此冷板液冷技術又稱為間接液冷技術。冷板式液冷技術相較于傳統風冷技術，不需改變現有服務器的形態，使用、維護等方面與現有服務器也較為接近。工作液體與被冷卻對象分離，不與電子器件直接接觸，而是通過液冷板等高效熱傳導部件將

55、被冷卻對象的熱量傳遞到冷卻介質中，對冷卻介質的兼容性較強。1.3.3.2 單相浸沒式液冷技術 單相浸沒式液冷技術是以液體作為導熱介質，將發熱電子元器件完全浸沒于單相、絕緣的冷卻介質中，利用冷卻介質良好的熱力學顯熱傳熱性能，通過冷卻介質的流動性把熱量帶走，對發熱電子元器件進行散熱的液冷技術。浸沒式液冷技術因需要冷卻液體與電子器件直接接觸，對冷卻介質的兼容性較差，同時冷卻設備建設與原有風冷式服務器差別較大，需進行大規模改造。1.3.3.3 相變浸沒式液冷技術 相變浸沒式液冷技術是通過電子信息設備與絕緣冷卻介質直接接觸，利用冷卻介質相變潛熱特性，帶走服務器運轉產生的熱量。當液體冷卻介質吸收系統溫度，

56、達到系統壓力所對應的沸點，冷卻液發生相變由液態變化為氣態，通過汽化吸熱實現冷卻。相變浸沒式通過冷卻液相變吸熱進行制冷，汽化潛熱載熱能力極高，降耗節能效果最好。相變浸沒式液冷技術同樣需要冷卻液體與電子器件直接接觸，對冷綠色節能液冷數據中心白皮書 17 卻介質的兼容性較差，同時冷卻設備建設與原有風冷式服務器差別較大，需進行大規模改造。1.3.3.4 液冷技術路線對比選型 綜合對比市場主流冷卻技術（見表1.7所示），對比結果如下：滿足解熱能力方面，相變浸沒式的散熱性能最優，冷板式其次，單相浸沒式采用的氟化液/油類冷卻介質，由于介質比熱容及流速有限，其散熱密度相對較差。維護性難易方面，冷板式在服務器內

57、部替代風冷散熱器，冷卻液不與服務器直接接觸，維護較為簡便；單相浸沒式液冷維護時需要通過專用機械吊臂，液體需要處理干凈后進行維護，尤其油類冷卻介質還需要專用的中和劑清洗處理，維護難度較大；相變浸沒式液冷由于沸點低，開箱維護難度較大，在實際部署應用時，通過密封刀片式服務器產品設計，支持熱插拔，可實現單個刀片獨立下架維護，而不需要整體停機維護，且回收冷卻液時可采用專業設備自動排液后開箱維護，因此相變浸沒式液冷對服務器產品和維護設備的設計要求較高，成本略高，但實際運維操作簡便。節能效果方面，相變浸沒式通過冷卻液體相變吸熱，汽化潛熱載熱能力極高，故節能效果最好；單相浸沒式與冷板式節能效果相當，單相浸沒式

58、需要采用專用的絕緣電子氟化液，冷板式采用乙二醇水溶液，電子氟化液密度是水的1.6-1.8倍，比熱是水的1/3-1/4，導熱系數是水的1/10，導致單相浸沒液體流量更大，兩項技術節能效果基本相當。因冷板式液冷根據服務器配置及散熱部件不同液冷散熱占比約50%-80%，仍有一部分熱量需要配置常規空調系統提供制冷，因此冷板式液冷整體節能效果相比單相浸沒式液冷略差；但冷板式可解決芯片的功率密度上限比浸沒單相更高。建設成本方面，冷板式液冷技術工藝相對成熟，加工難度低，冷卻介質主要采用乙二醇水溶液，是業界最通用的工業產品，成本低，可獲得性最佳，且節省了部分冷水機組等冷源設備，故總成本最低；浸沒單相式液冷技術

59、使用的冷卻介質為油類或專用的絕緣電子氟化液，整體部署成本偏高；浸沒相變式液冷技術對系統密封性及控制要求高，設計成本偏高，且冷卻介質主要采用專用的絕緣電子氟化液，故綜合成本最高。產業鏈成熟度方面，冷板式液冷技術推廣應用時間久、應用面最廣，產業鏈成熟度最高；單相浸沒式和相變浸沒式液冷近幾年迅速成長，并有多個典型應用案例，產業鏈仍有很大發展空間。綠色節能液冷數據中心白皮書 18 綜上所述，相變浸沒式液冷散熱效果最優，隨著市場推廣規模的擴大，其維護性和產業鏈也會逐步優化、成熟；冷板式液冷技術成熟度更高，產業鏈也最為成熟，更易于建設、維護。表 1.7 液冷技術路線對比 項目 風冷（水冷冷水系統）冷板 單

60、相浸沒 相變浸沒 解熱能力（供液溫度40）010W/cm2 0100W/cm2 040W/cm2 0150W/cm2 易維護性 節能效果 建設成本 產業鏈成熟度 注：對比程度用“”數量示意，其中1星表示最差，5星表示最優。1.3.4 液冷助力金融行業數據中心節能降碳 數字化技術為金融行業發展提供了前所未有的機遇和挑戰，與支付清算、借貸融資、財富管理等領域的融合創新成為主流趨勢。金融產業數字化轉型和創新發展顛覆式改變了傳統金融行業經營模式，對改變生產方式、提高社會生產效率、推動經濟進步具有重要意義。隨著金融行業數字化轉型的改革深化，金融科技業務對算力、算法、數據存儲等需求旺盛，云計算、大數據等信

61、息技術迅速發揮賦能助力作用。作為支撐數字化轉型的關鍵基礎設施，金融行業數據中心建設和改造成為金融科技發展的重要一環。在我國“雙碳”戰略推動下，2021年12月中國人民銀行發布金融科技發展規劃（20222025年），提出金融業數字化轉型更深化、數字基礎設施建設更先進的發展目標，同時要求新建大型、超大型數據中心電能利用效率不超過1.3；到2025年，數據中心電能利用效率普遍不超過1.5。2022年1月中國銀保監會制定 關于銀行業保險業數字化轉型的指導意見，要求到2025年銀行業保險業數字化轉型取得明顯成效，在科技能力建設方面積極推進數據中心綠色轉型。據統計，目前大型銀行新建數據中心規模設計電力容量

62、為兆伏安（MVA）級，年電費達億元級，能耗水平巨大。為響應國家碳中和、碳減排政策，采用先進節能技術、推進節能降碳工作意義重大。液冷技術可實現服務器高效散熱，在能效綠色節能液冷數據中心白皮書 19 水平方面實現全年PUE值低于1.2，節能20%-30%以上。同時還可解決城市地區建設數據中心面臨的占地不足問題，滿足高功率密度機柜散熱需求（如冷板式液冷可解決60kW/單機柜的散熱需求；相變浸沒式液冷可解決200kW/單機柜的散熱需求），大幅降低占地和建設成本。并且液冷方式可實現元器件精準制冷，CPU溫度低至65以下，服務器運行更加可靠，最大化保障金融業務安全、穩定運行。1.4 液冷行業標準化研究現狀

63、 為引導數據中心市場健康有序發展，我國數據中心標準體系已建設形成涵蓋國家標準、行業標準、地方標準、團體標準等在內的的多層次標準體系架構。近年來隨著國家及各地對數據中心綠色可持續發展的持續政策推動，液冷技術在數據中心行業應用持續提速，但液冷機房設計建設、產品質量規格及其通用性、設備驗收測試要求、液冷機房運維等尚未建立起完善的標準規范。目前不同團體、協會積極牽頭液冷技術團體標準的立項編制工作，不僅彌補了液冷行業標準的缺失，也為培育行業高質量權威標準和構建液冷領域標準體系打下基礎。液冷行業標準現狀梳理結果表1.8所示。表 1.8 液冷標準現狀梳理 類型 標準名稱 發布機構 行業標準（1）YD/T 4

64、024-2022 數據中心液冷服務器系統總體技術要求和測試方法（2）YD/T 3981-2021 數據中心噴淋式液冷服務器系統技術要求和測試方法（3）YD/T 3979-2021 數據中心浸沒式液冷服務器系統技術要求和測試方法（4）YD/T 3980-2021 數據中心冷板式液冷服務器系統技術要求和測試方法（5）YD/T 3982-2021 數據中心液冷系統冷卻液體技術要求和測試方法（6）YD/T 3983-2021 數據中心液冷服務器系統能源使用效率技術要求和測試方法 中華人民共和國工業和信息化部（由中國通信標準化協會提出并歸口）團體標準（1）T/CIE 087-2020 單相浸沒式直接液冷

65、數據中心設計規范（2）T/CIE 096-2020 相變浸沒式直接液冷數據中心設計規范（3）T/CIE 091-2020 溫水冷板式間接液冷數據中心設計規范（4）T/CIE 090-2020 數據中心溫水冷板式間接液冷設備通用技術要求 中國電子學會（5）服務器及存儲用液冷部件技術規范 第 1 部分：冷板（已立項）（6）服務器及存儲用液冷部件技術規范 第2部分：連接系統（已立項）（7）服務器及存儲用液冷部件技術規范 第3部分：冷量分配單元（已立項）（8）服務器及存儲用液冷部件技術規范 第4部分：監控系統（已立項）（9）高性能計算機 浸沒式液冷系統技術要求（已立項）中國電子工業標準化技術協會 綠色

66、節能液冷數據中心白皮書 20 2 液冷數據中心建設與運維 2.1 液冷數據中心設計 液冷數據中心設計主要依據GB 50174數據中心設計規范，與風冷數據中心設計要求基本一致。液冷數據中心設計與風冷數據中心主要區別是取代大部分冷機等高能耗制冷設備，增加了液冷系統。液冷方式對數據中心的設計要求主要體現在占地面積更小、主機房設計荷載要求更高（因液冷方式允許部署高功率密度機柜，高功率密度機柜對荷載要求更高，其他房間無區別）、需預留液冷管路鋪設空間和液冷設備檢修維護空間等。正因為液冷系統取代冷機等高能耗制冷設備，液冷數據中心可實現更低PUE值、更加節能低碳，在同樣外電容量下，液冷方式允許配置更多的IT設

67、備，可最大化提高能源和空間利用率。2.1.1 液冷數據中心建筑設計及工藝布局 液冷技術利用液體作為換熱媒介在靠近熱源處進行換熱制冷，由于液體具有相對較高的比熱容，其解熱能力遠高于風冷，因此液冷數據中心的單機柜功率密度往往是傳統風冷數據中心的數倍甚至幾十倍，這就使得液冷數據中心對主機房的面積占用遠低于傳統風冷數據中心。此外，在液冷數據中心項目中，總冷負荷中液冷負荷占比較大，液冷負荷主要通過冷卻塔等散熱設備直接將熱量排往室外，因此液冷數據中心對于冷機等機械制冷設備的需求較小，從而對制冷機房、蓄冷設備等機械制冷系統占地面積需求也更小，因此同等IT規模的液冷數據中心的建筑面積往往小于采用傳統風冷模式建

68、設的數據中心。在主機房的設備布置上，采用冷板型液冷系統散熱的液冷機房與傳統風冷的數據機房的布置基本相同，但是由于需要在架高地板內敷設冷板液冷二次側管路，因此架高地板的敷設高度一般建議不低于600mm，通道架高地板下敷設冷板液冷二次側管路時，通道的寬度一般建議不小于1200mm，從而為二次側管路的敷設及日后的檢修維護保留足夠的空間。液冷系統對機房樓板防水性無特殊要求，管道敷設也無特殊要求，與冷凍水行間空調的管路基本一致。液冷系統二次側管路宜增加接水盤，接水盤內設置漏水檢測。浸沒液冷系統，單相液冷系統多采用“臥式”機柜作為浸沒腔體，二次側管路可敷設于機柜側面，也可敷設于架高地板內。當在架高地板內敷

69、設冷板液冷二次綠色節能液冷數據中心白皮書 21 側管路時，架高地板的敷設高度一般建議不低于600mm，通道寬度一般建議不小于1200mm，確保二次側管路的敷設及維修所需空間。相變浸沒液冷系統其單機柜的功率密度更高，最大甚至可達500kW，采用相變浸沒液冷系統散熱的液冷機房往往需要1500mm以上的架高地板空間用于部署浸沒液冷的換熱設備，機柜間的通道寬度除了滿足散熱系統管路敷設空間要求外，還需要保留1400mm以上的凈寬度用于地板下浸沒液冷散熱設備的檢修維護。由于IT機柜的設備熱量全部由浸沒冷卻液體帶走，因此IT機柜的擺放不必像傳統風冷機房一樣布置成冷熱通道的樣子，在滿足設備檢修維護的情況下，可

70、以靈活布置。更高的單機柜功率密度意味著更大的設備自重，液冷機柜在功率密度提高的同時，設備自重也顯著增加，因此液冷數據中心的主機房設計荷載一般需要達到10-25kN/。一般情況下，冷板式液冷技術對于主機房的樓板承重要求為10-15kN/，單相浸沒式和相變浸沒式液冷技術對于主機房的樓板承重要求為20-25kN/，最終根據設備機柜高度不同、設備機柜內存放的服務器數量不同、服務器種類不同，對于樓板的承重要求會有所差異，具體以項目情況為準，以上數據僅供參考。2.1.2 液冷數據中心的冷卻系統設計 按液冷室內末端與服務器等發熱熱源接觸方式不同可將液冷分為間接液冷技術和直接液冷技術，間接液冷以冷板為主，其中

71、單相冷板式液冷解決方案較為常見，直接液冷主要是浸沒式。液冷系統主要是解決IT設備部分或全部發熱零部件的散熱問題，系統中仍然有部分IT設備或IT設備零部件如硬盤、交換機等需要采用風冷形式散熱，整個數據中心的配電系統冷負荷、維護結構冷負荷、照明系統冷負荷、通風系統冷負荷等無法通過液冷系統提供制冷。因此，液冷數據中心中仍然會有一部分熱量是需要機械制冷系統來進行散熱的，這部分的設計和傳統風冷型數據中心的機械制冷系統并無不同。液冷系統的換熱主要分為一次側換熱系統和二次側換熱系統兩個部分，二次側系統與服務器等發熱熱源通過直接式/間接式換熱的方式獲取熱量并將其傳遞給一次側換熱系統，一次側換熱系統通過室外散熱

72、設備將熱量傳遞至室外完成整個散熱過程。一次側換熱系統與二次側換熱系統通過液冷換熱單元（簡稱“CDU”）或液冷換熱模塊（簡稱“CDM”）的換熱器進行換熱。CDU/CDM設備往往對水質有較高的要求，因此液冷數據中心一次側通常采綠色節能液冷數據中心白皮書 22 用閉式冷卻水循環系統，閉式冷卻塔是液冷系統通常采用的散熱設備，如采用開式冷卻塔設備則需要在冷卻塔與CDU/CDM間增加中間板換，以保證CDU/CDM設備的進出水水質。液冷系統對一次側的水溫適用范圍更廣，CDU/CDM設備一般支持33以上的一次側進入溫度，8-10的換熱溫差，因此在全國范圍均可全年進行自然冷卻散熱。在一次側水處理設備的選擇上，由

73、于CDU/CDM設備對于一次側的水質要求比傳統風冷型數據中心更為嚴格，因此除了設置加藥裝置、軟化水裝置等必要的水處理裝置外，還需在CDU/CDM設備入口設置更高目數的過濾器，系統中全程/旁流水處理設備也需采用更高過濾精度的設備。在系統設計上，如果需要達到A級數據中心等級，液冷系統的一次側與二次側除了在設備的選擇上按照N+X冗余配置以及采用環形管網外，液冷散熱系統的不間斷供冷是通過給冷卻塔配備滿足所需的補水蓄水池來實現。2.1.3 液冷數據中心的供配電系統設計 液冷數據中心單機柜密度遠高于傳統風冷數據中心，因此末端的配電線纜截面更大，管線空間要求更高。浸沒液冷計算設備，宜采用直流380V供電，降

74、低線路損耗。適用于超高功率計算機的供電方式。數據中心的傳統供電方式為交流供電，通過UPS實現不間斷供電。其供電方式為10kV電源經過10kV/400V配電變壓器、低壓配電柜、UPS，最終為服務器提供380V交流電源。然而服務器是直流用電設備，末端仍要配置開關電源將交流電進行整流和DC/DC變換，才可供服務器主板上各類元件使用。近些年來，直流電相關技術在電力（直流輸電）、通訊（240V、336V高壓直流電源）、電動汽車（直流充電）等領域發展迅猛。隨著電力電子技術的發展，以及末端用電設備中的直流設備的比重與日俱增，直流供配電的技術優勢逐步顯現。采用高壓直流供電的數據中心，10kV電源經過10kV/

75、400V配電變壓器、低壓配電柜、高壓直流電源，最終為服務器提供380V直流電源。高壓直流供電系統提出的背景及現狀。數據中心的傳統供電方式是使用交流供電系統對ICT服務器進行供電，整個供電系統主要由電源切換開關、交流不間斷供電電源以及為ICT設備提供能量的接口變換設備（PSU電源）構成。從系統的能量傳遞效率上看，整個系統從電網電源側傳遞至最終的服務器，先后經歷了AC/DC、DC/AC、AC/DC、DC/DC四個能量變換環節，而每一個環節都有相應的能量損耗，綠色節能液冷數據中心白皮書 23 所以從總體來看，整個交流供電系統的能量傳遞效率相對比較低。從系統的可靠性角度考慮，每增加一個能量傳遞環節，系

76、統的可靠性就會相應的有所下降，而交流供電系統的能量傳遞環節多達四個，且各個環節為串連結構，所以每個能量傳遞環節出問題，系統都無法正常工作，系統的可靠性同樣相對較低。如需建設A級數據中心，宜按容錯配置變配電系統、不間斷電源系統等，且互為備份的設備應分別布置在不同的物理隔間內。數據中心不間斷電源系統電池備用時間應不小于15min。液冷系統二次側的CDU、液冷換熱單元CDM、液冷配套的冷卻水泵及冷塔、機房空調等設備需根據機房等級，配置不間斷電源系統，后備時間應滿足數據中心設計規范對空調系統配電的要求?？照{系統配電應采用雙AC380V/220V電源，末端切換。此外，A級數據中心應由雙重電源供電，并應配

77、置10KV或0.4KV備用電源。備用電源可采用后備柴油發電機系統，也可采用供電網絡中獨立于正常電源的專用饋電線路。數據中心配變電所位置選擇，宜靠近負荷中心、便于電源進出線、及設備運輸及安裝?？拐鹪O防烈度為6度及以上地區，配變電所的設計和電氣設備安裝應采取必要的抗震措施。供電系統中，配電變壓器宜選用D，yn11接線組別的干式變壓器。備用柴油發電機機組的帶載特性應不低于GB/T 2820 G3等級，低壓發電機的絕緣等級不低于H級，中壓發電機的絕緣等級不低于F級。A級數據中心備用柴油發電機機組宜采用COP、70%的PRP功率或、DCP功率選型（注：國標GB/T2820.1-2022 往復式內燃機驅動

78、的交流發電機組 第1部分:用途、定額和性能2023年7月1日將實施，增加了柴油發機數據中心（DCP）功率）。A級數據中心備用柴油發電機機組，應按N+X冗余配置方式,燃油儲存量宜不小于12h。當外部供油時間有保障時，燃料儲存量僅需大于外部供油時間。2.1.4 液冷數據中心的環境和設備監控系統設計 液冷數據中心由于在系統配置上相較傳統風冷數據中心增加了液冷系統，因此設備監控系統宜對液冷系統的機電設備的運行狀態、能耗進行監視、報警并記錄，CDU、CDM、PDM、穩壓泵站等設備自身應配帶監控系統，監控的主要參數綠色節能液冷數據中心白皮書 24 應納入設備監控系統，通信協議應滿足設備監控系統的要求。浸沒

79、液冷設備（浸沒液冷機柜、CDM、穩壓泵站等）布置的房間、有浸沒液冷二次側管路穿過的房間以及浸沒液冷冷卻介質存放的房間等所有可能發生浸沒液冷冷卻介質泄露的房間應設置制冷劑濃度探測裝置及與其聯動控制的事故通風系統。2.1.5 液冷數據中心的能源再利用 液冷數據中心因其散熱特性相較傳統風冷型數據中心能用更低的成本提供更高的余熱資源，適合辦公及生活供暖、泳池加熱、設施農業玻璃溫室供熱、糧食與木材烘干、林木育苗、工業化水產養殖、禽畜舍供暖等多種用熱場景，結合液冷數據中心液冷系統的全年全地域自然冷卻特性，液冷數據中心可依據余熱利用場景靈活選擇設置，就近消納余熱資源。數據中心熱回收可采用自建或合同能源管理等

80、模式，供數據中心項目或周邊廠房生活熱水或冬季取暖使用。另外，在國家智慧農業的統一布局下，數據中心余熱用于北方農業蔬果大棚的供暖也是發展趨勢之一。2.2 液冷數據中心智能監控與管理 液冷數據中心對液冷IT設備、CDU/CDM及機房環境進行實時智能監控與管理，保障液冷系統安全可靠運行。相關數據顯示，相變浸沒式液冷已在北京、成都、昆山、西安等多個大型數據中心推廣應用，其中北京某信息中心自建成后已安全平穩運行長達7年；冷板式液冷已在互聯網、金融、科研、氣象、醫療、電力等行業多個數據中心項目中推廣應用，中科院某所數據中心自建成后已安全平穩運行長達8年。2.2.1 IT設備監控與管理 冷板式液冷服務器對C

81、PU溫度進行實時監測，根據功率變化實時調整流量大小，維持服務器元器件穩定的工作溫度。應對漏液進行實時監測。浸沒式液冷服務器要求實現對壓力、液位、溫度參數的實時監控，通過對液位的精確控制，維持浸沒腔體內元器件穩定的散熱環境，并且要實現聯動控制策略，如出現超出閾值情況，可實現自動減小負載或緊急關機等保護措施。2.2.2 CDU/CDM監控與管理 綠色節能液冷數據中心白皮書 25 CDU/CDM監控與管理具體要求如下：（1）CDU/CDM均需支持雙路供電，并能夠對供電狀態進行監測，保證系統運行的高可靠性。（2）CDU/CDM可實現冷卻介質供給與服務器散熱量的實時精準匹配，以達到節省能耗的目的。在監控

82、參數超出閾值時，可實現告警、數據片段記錄和應急保護措施。不同液冷方式監控對象分別如下：冷板式CDU的監控對象應包含液體溫度、液位、液體電導率、泵狀態、供液壓力及流量，一次側的供水溫度、供水壓差、閥開度等參數；單相浸沒式CDU的監控對象應包含液體溫度、液位、泵狀態、供液壓力及流量，一次側的供水溫度、供水壓差、閥開度等參數；相變浸沒式CDM的監控對象應包含系統壓力、液位、液體溫度、泵狀態、供液壓力及流量，一次側的供水溫度、供水壓差、閥開度，機柜配電模塊的電壓、電流等參數。（3）漏液監測傳感器應合理布置監測點，對可能出現泄漏的接頭、管路或穿壁密封點實現多點監測，同時考慮液體揮發的影響，可通過軟件策略

83、實現泄漏位置范圍的鎖定。2.2.3 機房環境監控與管理 機房環境監控包括溫度、濕度、漏液、煙霧、房間級精密空調、新風系統、排風系統、空氣質量等。液冷機房排風系統應與漏液監測實現聯動機制，在機房內監測到液體泄漏且達到一定濃度時，可自動控制排風系統啟動，確保機房環境安全。2.2.4 供電系統監控與管理 采用中壓直轉設備配電系統時，中壓綜保整定值應躲過移相變壓器的勵磁涌流。移相變壓器溫控器應具備采集繞組溫度、過溫報警，超溫聯動跳閘命令，并應具備監控風扇的啟停狀態、報警信息。當采用氣體絕緣的SF6柜型時，應設置事故通風及氣體檢測聯動及報警系統。每套中壓直轉宜采用一個總通信接口，可以實時設備組內監控系統

84、的系統電壓、電流和狀態信息，當有告警時可簡單顯示告警信息。對整流模塊的檢測具有遙測（電壓、電流）、遙信（工作狀態）、遙控（開關機，均/浮充/測試）功能。綠色節能液冷數據中心白皮書 26 可對直流配電單元的檢測具備輸出電壓、總負荷電流、功率、電量、主要分路電流、畜電池充/放電電流等參數遙測功能，一級輸出電壓過壓/欠壓、蓄電池熔斷器狀態、均/浮充/測試、主要分路熔斷器/開關狀態，蓄電池二次下電等參數遙信功能。能根據需求設置相關的運行參數，具備掉電存儲功能。所設置的運行參數在系統掉電時不會丟失，來電后自動恢復。當采用分類監控時，整流柜宜采用CAN總線管理整流模塊，中壓柜、移相變壓器、輸出柜宜采用RS

85、485總線。液冷數據中心宜設置PUE管理系統平臺，實時檢測PUE。測點位置、測量儀表精度、測量方法等均應符合 GB 40879-2021 數據中心能效限定值及能效等級。除相變浸沒系統對供電系統有特殊要求外，單相浸沒系統和冷板液冷系統的供電系統整體與風冷系統無本質區別，下面以精密配電管理系統和電源分配單元為例進行介紹：（1）液冷設備末端配電。末端配電列頭柜宜采用精密配電管理系統，對輸入回路可監控：開關狀態、電壓、電流、頻率、功率因數、諧波、有功功率、無功功率、有功電度、故障信息、報警信息等；輸出回路可監控：開關狀態、電流、有功功率、故障信息、報警信息。應設置電流預警報警閾值，末端宜采用在線可調相

86、位的熱插拔開關，每個機柜供電回路末端開關不宜超過63A，當超過63A可采用多回路分配供電方式。（2）電源分配單元。電源分配單元可采用基本功能型、也可采用監控型電源分配單元。當采用監控型PDU時，宜具有LED數字式電流指示，負載過流時PDU可發出告警信號。電源分配單元通過通信協議連接，傳輸相關信息，實現對PDU的分路或者總控的監測和管理。支持本地查看電壓、總電流、分電流、告警狀態、溫濕度值、設備等信息；并且根據客戶需求定制不同的監測功能，如：多個溫度、濕度、煙霧、門禁、水浸、紅外監測。2.3 液冷數據中心運維 液冷數據中心較風冷方式減少了空調、冷機等制冷設備的維護，增加液冷系統的運維。液冷系統架

87、構簡單，通過氣密性測試驗收交付后，出現漏液等故障的概率極低，且通過產品設計及維護工裝設計，可顯著降低運維復雜度。即使出現極低概率的冷板漏液或刀片服務器漏液，也不影響其他服務器正常運行，可按照操作流程快速更換冷板或刀片服務器；其他液冷部件故障時可最大限度滿足不停機在線更換。綠色節能液冷數據中心白皮書 27 2.3.1 液冷數據中心部件更換管理要求 液冷數據中心需要更換的部件主要包含CDU、CDM內部件，液冷管路部件及冷板相關部件。運維及售后使用文檔應對部件維護及更換頻次、更換操作步驟等詳細說明。另外針對常用部件，應建立完善的備件庫及成套檢修設備，并儲存在項目現場，定期維護，以保證更換的時效性。部

88、件需要更換時，根據情況提前與服務器、基建等相關部門做好對接，以免影響業務。主要包含以下細節:（1）CDU、CDM內部循環泵，關鍵傳感器應考慮冗余配置，溫度傳感器盡量套管安裝，壓力傳感器前增加關斷閥?？蓾M足在線更換，更換時不影響運行。（2）液冷管路環路設計，各機柜進出管路增加關斷閥門。保證單點隔離，可滿足在線維護。（3）運維及售后用手冊應包括但不限于循環泵、傳感器、電動調節閥、變頻器、接頭、濾網等關鍵部件的更換頻次及更換操作步驟。（4）備品備件庫包括但不限于溫度傳感器、壓力傳感器、快插接頭、密封圈、卡箍等部件；檢修設備包括但不限于內六角扳手、十字一字螺絲刀、活扳手、試電筆、萬用表等設備。（5）根

89、據更換部件是否需要停機，是否影響參數顯示確認告知部門。能在線維護部件告知基建部門即可；若涉及到設備停機，需協調服務器部門確認停機時間。2.3.2 液冷系統運維管理要求 液冷系統運維管理一般要求如下：（1）運維人員需定期對液冷系統進行巡檢。具體產品根據相應運維手冊做標準作業和維護。運維人員資質、數量應符合運維手冊要求。日常巡檢主要檢查并記錄動環監控采集的液冷系統的幾個關鍵運行參數，并對數據進行存檔，以備后期系統優化或故障分析之用。季度巡檢一般是在每季度最后一周巡檢時增加并對異常進行維護：檢查CDU/CDM報警顯示界面是否有報警記錄，并及時處理；檢查CDU/CDM電控系統散熱風扇運行是否正常；檢查

90、CDU/CDM后部管路連接處是否有泄漏；檢查電動調節閥手自動控制功能；校驗壓差旁通閥和安全閥功能；綠色節能液冷數據中心白皮書 28 循環泵手自動控制和輪切檢查，異常及時維護；對本體進行除塵去污；檢查二次側回液壓力與系統壓力差，如異常清洗系統過濾器濾芯。（2）在液冷機房現場的工作人員，應擁有國家規定的相應資質證件，同時要遵守機房的相關規定。（3）工作人員應按職業健康防護及相應運維手冊要求，佩戴必要的勞動保護器具，如手套、防護口罩、防護服及護目鏡等。（4）應為運維人員配備全套工具及工裝，如十字螺絲刀、一字螺絲刀、活動扳手、六角扳手、保壓工裝、充排液工裝等。（5）在進行有冷卻液暴露可能的操作性工作時

91、，需要提前檢查機房通風情況，最大限度地利用房間內的新排風系統進行換氣。（6）相變浸沒式液冷刀片服務器需要下架維護時，使用自動充排液設備對刀片進行一鍵自動排液；新刀片或維護后刀片服務器上架時使用自動充排液設備對刀片進行一鍵自動充液。冷卻液日常運維要求如下：（1）日常巡檢時需對儲液箱的液面情況進行觀察。當液面低于指定刻度，或液位傳感器已觸發低液位告警時，根據實際情況進行液體補充作業。補充冷卻液前，核實冷卻液種類、型號等，嚴禁混用不同種類、型號的冷卻液。根據系統功能設計及現場情況，選擇手動補液或通過補液系統進行補液。（2）運維人員需對冷卻介質進行定期質量監測，若出現超標或污垢腐蝕等情況時，需要依據相

92、關規定進行補液、更換冷卻介質等。在冷卻介質的充排液處理時，應該參照維護手冊進行并遵守相關規程，最大限度地降低容器或管路的對外裸露面積。（3）冷卻液需存放在陰涼、干燥、通風處，避免長期敞開容器，不使用時請確保容器密封。每年按照數據中心總用量的3%-5%進行備液。（4）冷卻液廢棄處置應按照當地相關法規，交由有資質的化學品處理機構或回收點完成。冷卻液泄漏應急處置要求如下：（1）設備使用和維護過程中應盡量避免冷卻介質溢出，針對冷卻介質可能發生泄漏情況，應制定冷卻介質泄漏應急處置方案。（2）運維人員巡檢發現冷卻介質泄漏時，判斷為輕度溢出時可以使用專用材綠色節能液冷數據中心白皮書 29 料吸收，并對殘留液

93、體做清潔；對大量的溢出或泄露的冷卻液，用泵抽回到專用容器中，交到專業機構進行提純（針對浸沒式冷卻液)、回收或廢棄處理，嚴禁直接使用或排放至外界環境中。綠色節能液冷數據中心白皮書 30 3 液冷基礎設施關鍵設備 3.1 冷板式液冷基礎設施 3.1.1 冷板式液冷技術簡介 冷板式液冷是指采用液體作為傳熱工質在冷板內部流道流動，通過熱傳遞對熱源實現冷卻的非接觸液體冷卻技術。其中，熱量通過裝配在需要冷卻的電子元器件上的冷板，再通過冷板與液體工質的熱交換實現的方式，稱為間接式液冷。其與浸沒式液冷技術不同，是以可流動的液冷為冷卻介質，通過冷板內部液體流動方式交換熱量，而后者主要是指電子元器件（通常在熱源表

94、面也需要安裝散熱翅片，以增加熱交換面積）與冷卻介質直接接觸的冷卻方式。冷板式液冷系統可以基于原風冷的交換模式通過液冷提高散熱器的熱交換能力并減少風扇等易損件的使用，相較于傳統風冷散熱，具有集成度高、散熱效率高、降低噪音及震動、靜音節能、成熟度較高等特點，是解決大功耗元件部署、提高能源利用效率的有效手段之一。3.1.2 冷板式液冷系統結構組成 冷板式液冷系統主要由以下幾部分組成：冷卻介質、冷板套件、液冷機柜、液冷換熱單元(CDU)和室外冷卻設備。冷板式液冷工作原理如圖3.1所示，冷板式液冷是將服務器內的主要散熱元器件CPU、GPU、內存等產生的熱量通過與冷板內的液體進行熱交換并帶出服務器，這一部

95、分的熱量占服務器總熱量的50%-80%，剩余少部分的熱量采用傳統的風冷技術，通過空氣與服務器進行熱交換。冷板液冷系統中的二次側的中高溫液體帶走服務器的熱量，流經室內熱交換單元CDU，一次側閉式冷卻塔處理的中溫循環水流經到CDU時對二次側液體進行持續性的降溫處理，這一過程中的主要動力裝置為循環水泵以及閉式冷卻塔中的風機。冷板式液冷方案相比于傳統風冷行間空調方案，減少了風冷行間空調中主要能耗部件壓縮機以及室內側風機的數量，故可以有效降低能耗。綠色節能液冷數據中心白皮書 31 圖 3.1 冷板液冷系統原理圖 CPU的Tcase_max85即可保證CPU正常運行，然而若能保障運行溫度越低，則故障率越低

96、，并且使用壽命越長；由理論和實踐經驗可知，液冷方式熱阻遠小于風冷散熱方式熱阻。因此，在保證CPU滿足正常使用的情況下，可以提高室外冷源的進水溫度至35以上，這樣實現液冷系統采用高溫水冷源供冷設計，可實現全年自然冷卻，即無需采用冷凍水機組壓縮機制冷，冷板液冷微模塊及冷板液冷整體解決方案如下圖所示。圖 3.2 冷板液冷微模塊 綠色節能液冷數據中心白皮書 32 圖 3.3 冷板液冷整體解決方案 采用冷板液冷的散熱系統，優點是保留現有計算機系統形態，僅需將原風冷散熱模塊替換為液冷散熱模塊，并將冷卻介質管路引出機箱即可，冷卻介質在冷板及管路中傳輸有其自身通路，并不與電子器件直接接觸。冷板液冷方案一般具備

97、以下特點：（1）兼容性好，在不改變目前服務器主板的情況下即可實現，拆卸簡單，安裝方便。（2）冷卻介質成本較低，系統對冷卻介質的要求較低，多種冷卻介質均可。（3）維護方便，服務器上下架可實現熱插拔，服務器與機柜的連接采用快速接頭形式，另外未改變客戶使用習慣，保留了原有服務器的形態及維護方式。（4）性價比高、噪音低、節能環保。（5）技術成熟度高，產業鏈更成熟，落地性更強。3.1.3 液冷機柜 冷板式液冷機柜形態如圖3.4所示，一般采用標準19英寸設計，可兼容現有標準19英寸冷板液冷服務器，前后門宜采用網孔門利于風冷部分散熱，材質鋁鎂合金，自重輕、承載能力大?？紤]安裝維護便利性，宜通過結構設計，實現

98、支持液冷豎直分液單元免工具安裝、支持大功率PDU免工具安裝的功能，在支持液冷相關設備的同時，宜考慮最大程度利用現有空間，機柜框架深度尺寸可實現不超過1200mm。綠色節能液冷數據中心白皮書 33 圖 3.4 冷板式液冷機柜示意圖（左：正面 右：背面）3.1.4 液冷換熱單元（CDU）液冷換熱單元又稱“冷量分配單元”，簡稱“CDU”，是指用于二次側高溫液態冷卻介質與一次側冷源進行換熱，并對液冷IT設備提供冷量分配和智能管理的模塊。CDU應具備以下功能：（1）為室內系統的冷卻介質提供循環動力，保證冷卻介質持續循環，源源不斷地帶走負載熱量。（2）綜合分析系統運行狀態，調節系統中總冷卻介質的流量、流速

99、，實時調配負載均衡。（3）二次側與一次側通過CDU進行熱交換，最終將負載產生的熱量高效傳遞到室外。目前市場主流CDU設備一般具備如下特點：（1）規格豐富：具備機架式和機柜式兩種類型，且規格型號豐富(如表3.1所示），可根據應用場景靈活選擇。（2）可靠性高：關鍵部件進行冗余設計，系統可靠性更高。（3）精確控制：出液溫度穩態控制精度可達 0.5，動態控制精度可達 3。（4）易于維護：關鍵部件支持在線更換，移除故障無需停機，且內置儲液裝置，可進行在線自動補液，運維方便。（5）功能齊全：可選配電導率監測、補液系統等功能，帶載范圍支持無級調節。（6）機柜式CDU支持并機、熱備及群控功能。綠色節能液冷數據

100、中心白皮書 34 表 3.1 某品牌系列產品規格類型 安裝形式 機架式 機架式 機柜式 機柜式 機柜式 換熱形式 風-液 液-液 液-液 液-液 液-液 制冷量 10kW 30/55kW 300kW 600kW 1200kW 尺寸 8U 6U 600*1200*2000 900*1200*2200 1200*1200*2200 額定工況 25進風溫度 一次側進出液溫度35/45，二次側供回水溫度40/50 注：按照一二次側供回溫差為10計算 3.1.5 豎直分液單元（VCDU）豎直分液單元簡稱“VCDU”，又稱分集液器（Manifold），VCDU豎直安裝在機柜內后部，一供一回兩根管路分別掛接

101、在機柜兩側或同側，主要作用是將液冷換熱單元CDU提供的冷卻介質分配到機柜各臺液冷服務器中。圖 3.5 豎直分液單元 VCDU VCDU應具備以下屬性：（1）供液均流性，即確保將冷卻介質均勻分配至每臺冷板式液冷服務器；（2）部署靈活性，即可根據實際部署服務器靈活選擇分支口數及接口形式。另外，為防止液冷滲漏，確保施工維護便利性，VCDU分支路管線接口應采用防滴漏快速連接器，快速連接器可實現免工具插拔，插拔的同時不會造成液體滴漏，同時大大減少施工難度、縮短工期。綠色節能液冷數據中心白皮書 35 3.1.6 冷卻介質 3.1.6.1 冷卻介質 液冷系統中用于實現熱量交換的冷卻液體，統稱冷卻介質，在二次

102、側循環系統中流動，常用的工質按照是否水基進行劃分。其選擇時要主要考量與二次側液冷模組中所有浸潤材料的相容性、可靠性、危害性、成本優劣等。將不同冷卻介質的優缺點羅列如下表3.2、3.3、3.4、3.5。表 3.2 水基冷卻介質優缺點 水基冷卻介質 優點 缺點 純水 冷卻介質性能穩定，測量、判定指標簡單，通常是通過電導率去判定。因純水保持條件受環境影響較大，故其二次側循環系統需要有去離子裝置，同時需要定期更換裝置。低成本、易得、理想冷卻水材料、冷卻效率高、粘度低。對環境要求較為苛刻，伴隨雜質的溶解，其導電率上升，導電。配方液 傳熱優良，可防止腐蝕、微生物滋生 配方劑量（濃度）會隨時間耗散，失去原有

103、的緩蝕、殺生、抑菌作用，且在何時會處于某種品質、該品質是否能滿足當下需求，都無法直觀體現，需要外部資源介入分析。對定時監測要求高。導電率高，不推薦使用。配方液一般配方不公開，不同配方液不能混用，更換一種配方液都需要重新清洗整個系統。不推薦使用。表 3.3 防凍液優缺點 防凍劑 優點 缺點 可以通過調整體積濃度，適應具體環境 乙二醇(CH2OH)2等醇類，醇類的氧化產物與醇的結構有很大關系，若羥基的-C連接了2個氫原子，氧化之后產物先為醛后被氧化為酸；若羥基的-C連接了1個氫原子，則被氧化為酮；若羥基的-C沒有連接氫原子，則不能被一般的氧化劑氧化。易得乙二醇的結構為（鍵線式），均為sp3雜化的碳

104、，則可知乙二醇羥基的-C上連的氫原子均為兩個可以被氧化。形成的酸對金屬有腐蝕。一定濃度的丙二醇/乙二醇，可抑制細菌生長 乙二醇含有羥基，長期在80-90下工作，乙二醇會先被氧化成乙醇酸，再被氧化成草酸，即乙二酸（草酸），有毒。綠色節能液冷數據中心白皮書 36 隨著乙二醇含量的增加，系統粘性增加，散熱性能降低。丙二醇對金屬不易腐蝕，毒性和刺激性都非常小，通常無成本要求的情況下優先使用。表 3.4 介電液體優缺點 介電液體 優點 缺點 純水液 導電率低，低流速下可實現高風速下的同等對流換熱系數，可替代風冷，安靜散熱。氟化液廠商有限（已大規模量產使用的廠家有限）成本相對較高 對硬件有一定電氣要求 密

105、度大、重、比熱低 因涉氟，必要時需要考量對環境影響 表 3.5 冷卻介質優缺點 冷卻介質 優點 缺點 冷卻介質應用時間比較久，技術已趨于成熟化，可替代型號較多，同時其環評也在可接受范圍，對環境影響小。通常其工作壓力較高，若要犧牲其工作壓力，則其對應潛熱降低、即犧牲一部分性能。冷卻介質只有物理變化，無化學變化，沒有分解作用，不用考量分解物對于金屬的化學反應，無腐蝕性?？梢允嵌栊缘?無毒/不易燃/不導電 理想冷卻介質是無毒、不爆炸、對環境無害的，但一些合成物會對環境有一定影響，使用時因做已區分。較高的潛熱 對散熱模組、液冷模組通道內部結構有一定要求，因其自身比重較低，故而其動能和水有一定差異。通過

106、自身的物理變化，吸收或釋放熱量，不需要額外做工，從而節省系統的風機、泵類部件的輸出。儲存、注入工序對設備有一定要求，同時要注意一定壓強。3.1.6.2 冷卻介質設計要求 應有良好的載冷能力，密度和比熱的乘積應很高。應有良好的環境適應能力，更低的凝固點和更高的沸點。有利于防凍，以及有利于降低系統壓力和降低系統設計的復雜性。應有良好的材料兼容性，應與管路材料（包括金屬和非金屬）有良好的兼容綠色節能液冷數據中心白皮書 37 性，保障長期運行的可靠性。應有良好的環保特性，低GWP(全球變暖潛值)和低ODP（臭氧消耗潛值），滿足當地環保法規。應有良好的低粘度性能，在工作溫度10-45范圍內，粘度1cp。

107、根據YDT 3983-2021 數據中心冷板式液冷服務器系統技術要求和測試方法和T/CIE 088-2020 非水冷板式間接液冷機房設計規范，二次側冷卻介質水質需滿足要求如表3.6所示。表 3.6 冷卻介質設計要求 項目 單位 去離子水水質 二次側水質 銅冷板 鋁冷板 pH（25）6.5-7.5 8.011.0 7.08.7 菌落總數 cfu/ml 100 100 100 濁度 NTU 1 5 5 氯離子 mg/L 5 30 30 總硬度 mg/L,as CaCO3 5 20 20 電導率 s/cm 5 2000 2,000 硫酸根 mg/L 5 10 10 銅離子 mg/L 0.1 0.5

108、0.5 鐵離子 mg/L 0.1 0.5 0.5 鋁離子 mg/L 0.1 NA=2外徑 mm 要求 材質：優選軟管（PTFE EPDM）/要求 外觀顏色：黑色/要求 管徑：主管&支管（GB/T1047）mm 要求 接口形式 mm 按需設計 防漏設計/要求 密封設計/要求 節點管路可靠性 承壓能力：耐壓1.0MPa，保液壓10min無泄露 MPa 要求 壽命：10年以上 年 要求 工作溫度&儲存溫度：覆蓋液冷系統要求 要求 兼容性/要求 潔凈度：雜質顆粒50m m 要求 4.1.3 冷板的設計關鍵技術 冷板式液冷是指熱源通過液板接觸面導熱至鰭片模組，然后冷卻介質通過和鰭片對流換熱從而實現換熱的

109、技術。冷板的設計形態、加工工藝多樣，可以依據不同的需求對其進行優化，其內部流道從設計層面可以是埋管（嵌入/釬焊）、溝槽（機加/鑄造）、扣合翅片（連續模）、鏟齒（機加）、冷鍛針翅狀（鍛造成型）、折疊翅片等。對于高熱密度元器件的散熱設計，流道設計通常會考慮微通道結構、射流結構等較為復雜的內部結構來通過增大過流面積及強制對流換熱系數來增強換熱能力。冷板一般由冷頭和固定支架模組構成，固定支架模組設計應滿足各平臺（HG、Intel、AMD、others）技術白皮書要求。根據冷頭和固定支架模組之間的連接方式可分為分體式液冷冷板、一體式液冷冷板。根據密封形式則可分為密封圈組裝式、焊接密封、一體成型等。綠色節

110、能液冷數據中心白皮書 52 分體式液冷冷板為冷頭與固定支架模組由螺釘等部件連接，可根據需求進行拆卸與組裝；一體式液冷冷板的冷頭與固定支架模組一般為一體加工成型或焊接成型，不可拆卸與組裝。冷板（見圖4.2）的選擇取決于散熱要求、成本要求、操作參數及使用的浸潤材料等因素。二次側冷卻回路中與冷卻介質接觸的所有部件所使用的材料必須要和冷卻介質的浸潤材料清單（WML）相符。圖 4.2 冷板示意圖（分體式）冷板的設計應綜合各項因素，設計最佳的冷板。4.1.3.1 冷板設計考量指標 應符合芯片對散熱器重量的要求。冷板基板和流道宜采用銅或鋁合金材質，一個系統中不應有兩種電位差較大的金屬。其它與液體接觸的材料，

111、均需要滿足與液體的兼容性要求。應滿足芯片的扣合力技術要求，安裝拆除后散熱基板底面滿足平面度技術要求。應保障滿足CPU或GPU等芯片插座的載荷及其他結構性要求。應考慮冷板的安裝及拆卸順序，滿足芯片的操作規范。漏液風險點與電子器件之間應設計物理結構隔離，提升可靠性。根據散熱要求的高低，考慮加工的經濟性，合理設計水道，減少生產成本。根據流量需求大小，合理的設計接口通徑。方案設計開始，應仔細對液冷板設計的關鍵技術參數進行仔細核對，可參考表4.6進行設計，最終達成可用、合理的冷板熱性能和流阻曲線，如圖4.3所示。綠色節能液冷數據中心白皮書 53 表 4.6 冷板設計選型關鍵技術要求 維度 技術指標 單位

112、 規范力度 總體設計 重量、材質、扣合力 g 按需設計 其它 外觀要求 NA、表處方式/要求 結構 工藝 管路連接結構：軟管&硬管/按需設計 進出水口規格設計：螺紋接口&規格尺寸 Inches 要求 性能要求 邊界輸入：進液溫度、冷卻介質、流量、流阻、芯片TDP、待冷卻部件功耗、殼溫Tc等/要求 熱性能：芯片實際溫度Tc/Tj 要求 冷卻能力及流阻冗余/推薦 冷卻介質流速：1.5m/s m/s 要求 單節點供回溫差：515 要求 界面材料選型：Grease&PAD/推薦 流量-流阻曲線 LPM&kPa 按需設計 流量-熱阻曲線 LPM&/W 按需設計 保壓、泄露相關 kPa 要求 可靠性 引流

113、裝置及漏液檢測線布置要求/要求 其他 分體冷板固定要求/推薦 圖 4.3 冷板熱性能和流阻曲線 冷板熱阻（C/w）流經冷板的流量（Lmin）冷板流流阻熱阻 綠色節能液冷數據中心白皮書 54 4.1.4 各類型液冷服務器 4.1.4.1 機架式液冷服務器 機架式液冷服務器指的是使用冷板散熱方式基于服務器使用在標準19英寸安裝標準下類型的服務器產品，可通過熱交換性能的提升來提高服務器設計的功率密度。通常需要使用冷板的部位為CPU、DIMM、VR等發熱量較大的部件，通過冷板將服務器主要熱量帶走，提高服務器的散熱性能，并且降低風扇能耗及噪聲。（1）機架式液冷服務器展示 機架式液冷服務器在傳統整機結構下

114、將CPU散熱從風冷升級到液冷，從布局上與傳統風冷架構類似，可做到根據散熱需求模塊化更好的方式，通過液冷進一步提高熱交換能力。如下圖所示，兩個CPU冷板通過波紋管串聯的方式連接在一起，并分別安裝在兩顆CPU上，液體從CPU1冷板進入流經兩個冷板內部散熱結構從CPU0冷板流出，并帶走兩CPU的熱量，達到散熱效果。圖 4.4 機架式 CPU 冷板設計方案圖示 （2）機架式液冷冷板設計概要 a）液冷模組概述 通過內部液體的流動將電子信息設備的熱量實現傳遞的緊湊型換熱單元。因不同類別的電子信息設備形態差異較大，冷板組件的結構也不盡相同。除需要適配不同電子信息設備進行定制化設計的冷板、節點連接管路、接頭等

115、部件外，不同組件還需要增加便于裝夾、連接、檢測的部件等。以CPU冷板組件為例，通常由冷板、配套節點連接管路、扣具、轉接頭、液體綠色節能液冷數據中心白皮書 55 連接器、漏液檢測繩等主要零部件構成。圖 4.5 液冷模組圖示 b）冷板 冷板是與發熱器件接觸實現換熱的核心部件，主要由冷板基板、流道蓋板、流體通道構成，冷板基板為液冷冷板的底層部件，與發熱器件直接接觸，流道蓋板為冷板的頂層部件，與基板密封形成封閉的腔體，冷板整體預留有配管或接口模塊連接口，流體通道為散熱核心部件，冷卻液流過流體通道，并通過與流體通道的接觸實現換熱。圖 4.6 冷板正面圖示 c）快接頭 快接頭是實現液冷系統帶液插拔維護功能

116、的一種包含插頭和插座、且插頭和插座都帶流體截斷功能的快速插拔組件?？鞊Q接頭用于幫助維護人員檢修而提供快速連接，或者斷開IT設備或其組件與液冷系統的連接并確保具備自封功能，進而確保冷卻介質不會泄露，液冷系統運行不受影響，IT設備可持續安全運行。綠色節能液冷數據中心白皮書 56 圖 4.7 快接頭型號圖示 d）漏液檢測線 在節點內冷卻回路中，需要在可能存在泄露風險的位置進行監測，采用直接監測的方法在高風險區域部署專用泄露監測線纜，當其與泄露的導電冷卻液接觸時會記錄并且報警，為了進行可靠的泄漏檢測，其傳感器布置在水冷流道及各個節點處。圖 4.8 漏液檢測線圖示 4.1.4.2 高性能液冷服務器 高性

117、能液冷服務器能夠在更小的物理空間內集成更多的處理器和IO擴展能力，極大的降低了客戶的空間成本并顯著提升計算性能，同時應對用戶需求，可以靈活的擴展。高性能服務器跟普通機架服務器使用獨立電源和風扇的設計不同，在同一個機箱里由多臺服務器節點共享電源和風扇，從而大大提高電源和散熱系統的使用效率，并使得整機在重量上更輕，成本更低。而高性能液冷服務器就是在高性能服務器的主要散熱芯片（比如CPU、CPU VR及DIMM）增加液冷模組，使得高性能服務器的電能利用率（PUE）可以做到更低，性能也可以進一步提高。綠色節能液冷數據中心白皮書 57 圖 4.9 高性能液冷服務器冷板設計 高性能液冷服務器CPU與VR芯

118、片采用冷板進行散熱，CPU與VR芯片的冷板通過串聯的方式進行搭配，冷板與冷板之間通過硬管進行連接；工作液通過分液器后流到節點中，會先流經后置CPU冷板，再流到VR芯片處的冷板最后流到前置CPU冷板后，最后再匯入分液器。而內存處的散熱為：內存顆粒的溫度傳導到內存馬甲上，內存馬甲能快速均溫，可以使熱量傳遞到內存馬甲的頂部，而內存馬甲頂部又與均熱板相連，可以使熱量擴散到均熱板上，均熱板又與VR芯片的冷板相連，這樣就可以使均熱板上的熱量被VR芯片冷板帶走。圖 4.10 液冷模組 3D 視圖 圖 4.11 分液器模組圖示 綠色節能液冷數據中心白皮書 58 圖 4.12 內存馬甲模組圖示 對于其他部件的散

119、熱，如HDD，PCIe卡等部件散熱，主要通過系統的風扇進行散熱。圖 4.13 散熱部件圖示 4.1.4.3 人工智能型液冷服務器 人工智能或稱智算系統，屬于異構設計，系統設計在標準的計算服務器結構下通常配置一個或多個專用計算加速模塊以實現在圖像或人工智能等專用計算性能上的高速計算能力，具備強大的AI計算和通用計算能力，主要由高性能的中央處理器、高容量的內存和高性能的顯卡組成，以滿足人工智能計算的高計算能力和高存儲能力需求。它們為圖像識別、語音識別、自然語言處理、科學研究和工程仿真等人工智能和高性能計算應用提供強大的計算能力。冷板覆蓋GPU、CPU等大功率部件，專為解決計算能力持續提升帶來的能耗

120、大幅增長的難題而設計。（1）人工智能型液冷服務器展示 人工智能型液冷服務器的CPU和GPU采用冷板式液冷方案進行散熱。如下圖所示，兩個CPU冷板通過波紋管串聯的方式連接，并與8個GPU冷板并聯，冷卻液由總進液口進入分液器，被分液器均勻分至CPU和GPU中，均勻流至每塊冷板內部流道中，通過導熱和對流吸收CPU和GPU產生的熱量，最后通過分液器和總出液口流至系統外。綠色節能液冷數據中心白皮書 59 圖 4.14 人工智能型液冷服務器冷板設計方案圖示（2）人工智能冷板設計概述 a）液冷模組概述 通過內部液體的流動將電子信息設備的熱量實現傳遞的緊湊型換熱單元。因不同類別的電子信息設備形態差異較大，冷板

121、組件的結構也不盡相同。除需要適配不同電子信息設備進行定制化設計的冷板、節點連接管路、接頭等部件外，不同組件還需要增加便于裝夾、連接、檢測的部件等。以CPU冷板組件為例，通常由冷板、配套節點連接管路、扣具、轉接頭、液體連接器、漏液檢測繩等主要零部件構成。冷板是與發熱器件接觸實現換熱的核心部件，主要由冷板基板、流道蓋板、流體通道構成，冷板基板為液冷冷板的底層部件，與發熱器件直接接觸，流道蓋板為冷板的頂層部件，與基板密封形成封閉的腔體，冷板整體預留有配管或接口模塊連接口，流體通道為散熱核心部件，冷卻液流過流體通道，并通過與流體通道的接觸實現換熱。圖 4.15 CPU 液冷模組圖示 綠色節能液冷數據中

122、心白皮書 60 b）GPU卡液冷模組概述 以GPU冷板組件為例，通常由冷板、轉接頭等主要零部件構成，冷板是與發熱器件接觸實現換熱的核心部件，主要由冷板基板、流體通道構成，冷板基板為冷板的底層部件，與發熱器件直接接觸，冷板整體預留有配管或接口模塊連接口，流體通道為散熱核心部件，冷卻液流過流體流道，并通過與流體流道的接觸實現換熱。圖 4.16 全高全長雙寬 GPU 卡液冷模組圖示 c）漏液檢測線設計參數說明 在二次側冷卻回路中，需要在可能存在泄露風險的位置進行監測，采用直接監測的方法在高風險區域部署專用泄露監測線纜，當其與泄露的導電冷卻液接觸時會記錄并且報警。為了進行可靠的泄漏檢測，其傳感器布置在

123、水冷流道及各個節點處。圖 4.17 漏液檢測線圖示 4.1.4.4 存儲型液冷服務器（1）存儲型液冷服務器展示 基于傳統服務器計算系統外重點設計大規模大容量的存儲系統，通過液冷散熱方式解決計算機存儲部分的熱交換，能夠顯著降低存儲關鍵部件的工作溫度，綠色節能液冷數據中心白皮書 61 提高系統可靠性。圖 4.18 存儲型液冷服務器 硬盤陣列和存儲控制器是存儲系統中的主要發熱部件，因此需要液冷系統來降溫。冷卻液由總進液口進入分液器，被分液器均勻分至兩塊分水冷板中，再經由分水冷板與冷板之間的連接口均勻流至每塊冷板內部流道中，通過導熱和對流吸收硬盤陣列和存儲控制器產生的熱量，最后從冷板出口匯集到分水冷板

124、出液回路，并通過分液器和總出液口流至系統外。圖 4.19 液冷系統設計概述和流道示意圖（2）存儲型液冷服務器設計概述 a）冷板模組概述 硬盤通過螺絲鎖附至硬盤盒內表面并在二者之間填充導熱墊片，以減小接觸熱阻。硬盤盒再通過側面的凸臺與冷板上的導軌利用楔形結構完成裝配，并且中間使用耐磨導熱墊片進行填充，減小熱阻，熱傳導路徑如下圖所示。綠色節能液冷數據中心白皮書 62 圖 4.20 硬盤熱傳導路徑示意圖 b）漏液檢測概述 冷板與分水冷板連接處是冷卻液泄露檢測的重點，在二者連接處之間布置導流槽和漏液收集槽，當有冷卻液滲出時可以隨導流槽流入下方的漏液收集槽中，并通過在收集槽內布置的漏液檢測線檢測漏液情況

125、。圖 4.21 冷板導流槽和漏液收集槽示意圖 冷板內部也需布置導流槽，并在導流槽下方設置漏液出口和漏液收集槽，當冷卻液滲漏時可以隨著導流槽流出冷板，并聚集到下方的漏液收集槽，漏液檢測線檢測到漏液發生，發送漏液信號至控制系統并發布漏液警報。綠色節能液冷數據中心白皮書 63 圖 4.22 冷板導流槽和漏液收集槽示意圖 分水冷板、分液器等同樣可以在其下方設計漏液收集槽，收集泄露的冷卻液，并通過在收集槽內布置的漏液檢測線檢測漏液情況。4.2 浸沒式液冷IT設備 由于信息計算發展和應用，對于計算、存儲、網絡的性能需求也不斷提升，伴隨硬件性能提升一方面是集成電路計算的發展，一方面帶來的就是功耗的提升，為了

126、滿足功耗提升帶來的散熱問題，散熱能力的方案從傳統的風冷、間接式液冷向更高性能的浸沒式液冷計算探索。與高能耗相伴的是巨大的散熱量，當傳統風冷面對高熱已經力不從心、散熱效率跟不上計算效率時，液冷的時代也就重新來臨。所謂液冷，是將液體作為傳熱介質，通過系統設計和配套設施的運用，讓液體直接或間接接觸發熱器件帶走熱量的技術。浸沒液冷則是一種以液體作為傳熱介質，將發熱器件完全浸沒在液體中，發熱器件與液體直接接觸并進行熱交換的冷卻技術。按照熱交換過程中傳熱介質是否存在相態變化，可分為單相浸沒液冷和相變浸沒液冷兩類。單相浸沒液冷是作為傳熱介質的液體在散熱過程中僅發生溫度變化，而不存在傳熱介質相變過程，完全依靠

127、物質的顯熱變化傳遞熱量。相變浸沒液冷是作為傳熱介質的液體在散熱過程中發生相態轉變，依靠物質的潛熱變化傳遞熱量。浸沒式液冷系統作為一種新型高效、綠色節能的數據中心冷卻解決方案，具有如下特征：節能：主要是冷卻介質和發熱器件直接接觸，有效降低熱交換過程的接觸損耗，提高熱交換效率；高密度：以液體直接接觸不需要散熱器及冷板等結構，散熱性能相對傳統方式效率高，最大程度提高部件的結構密度；綠色節能液冷數據中心白皮書 64 4.2.1 單相浸沒液冷技術 4.2.1.1 液冷服務器設計概述 單相浸沒液冷服務器的設計可以參考風冷服務器，保持相似的架構可以大幅提升物料的共用性。主要有幾點差異需要注意，首先，液冷服務

128、器中不能有風扇等轉動部件，包括系統風扇以及PSU等部件上的風扇；其次，部件兼容性是需要重點考量的要素，需要通過試驗確認部件與冷卻液的兼容情況；最后，散熱的設計也需要做出相應的優化，如將導風罩替換為填充塊，機箱開孔優化等等。4.2.1.2 單相液冷服務器產品展示 下圖為單相浸沒液冷服務器產品結構，由左側的CDU和右側的Tank構成，液冷服務器內置于Tank內部，CDU與Tank之間由管道鏈接，下部管道輸送低溫冷卻介質到tank內，液冷介質吸收了液冷服務器的熱量，溫度上升后流回CDU，熱量由CDU帶走。此種結構可實現服務器的全液冷，無風扇的設計使功率密度更高，相比風冷PUE更低。圖 4.23 單相

129、浸沒液冷服務器產品示意圖 4.2.2 相變浸沒液冷技術 4.2.2.1 相變浸沒液冷服務器設計要素 4.2.2.2 刀片式相變腔設計概述 相變浸沒腔為獨立可插拔設計，完全解耦節點與節點之間的熱循環路徑，使得每一個節點都可以進行獨立的插拔，方便用戶對單獨的節點進行硬件升級或維護。綠色節能液冷數據中心白皮書 65 圖 4.24 刀片式相變腔 4.2.2.3 服務器內部導流結構概述 浸沒液冷服務器在工作過程中，冷卻介質劇烈沸騰產生的氣流會對內部相鄰發熱器件的散熱造成相互影響，同時內部沸騰蒸汽流出殼體時會攜帶大液態冷卻介質，一方面增加了冷卻介質在回氣管路中的流動阻力，另一方面這部分液體并未得到有效利用

130、，降低了系統的效率。故需要在服務器殼體蓋板上增加導流結構設計，并在殼體出口處增加氣液分離件設計。4.2.2.4 排液管設計概述 因服務器排液接頭通常與服務器底端有一定距離，該部分空間會在排液時殘留部分液體，造成冷卻介質浪費。為了盡可能多地排出和收集冷卻介質，需要在服務器內部排液出口設計一段排液管。圖 4.25 排液管設計示意圖 4.2.2.5 泄壓閥設計概述 在集氣HCDU上安裝泄壓閥，實現對系統部件進行超壓保護。當與集氣HCDU聯通的服務器內壓力超過某一值時，泄壓閥打開，以降低服務器內壓力；當壓力降到一定值后，泄壓閥關閉，使系統壓力維持在一個恒定的范圍內，避免因壓力升高對服務器造成損壞。綠色

131、節能液冷數據中心白皮書 66 圖 4.26 泄壓閥示意圖 4.2.2.6 接頭設計概述 采用快速接頭用于服務器與HCDU相連，一方面支持管路熱插拔，另一方面保證系統安裝或維護過程中冷卻介質不泄漏。選型時應保證在滿足流量要求的情況下，阻力盡量小。圖 4.27 接頭示意圖 4.2.2.7 電磁閥設計概述 在HCDU上安裝供排液電磁閥，通過HCDU的供液分液及排液匯流實現滿刀箱刀片的供液和排液功能。進液電磁閥是控制液冷服務器供液的開關，當服務器冷卻介質不足時，電磁閥打開，在泵的供液壓力下，低溫冷卻介質通過電磁閥進入服務器；當服務器內冷卻介質富裕量足夠時，電磁閥關閉，停止供液。排液電磁閥是控制服務器排

132、液的開關，當服務器需要排液下架時，排液電磁閥開啟，開始排液；當服務器內冷卻介質排盡后，排液電磁閥關閉。圖 4.28 電磁閥示意圖 4.2.2.8 芯片散熱設計概述 為了進一步提升相變浸沒冷卻效率，需要對芯片進行強化沸騰散熱設計。通綠色節能液冷數據中心白皮書 67 常采取改變芯片結構或改變冷卻介質與芯片接觸區域，來減少界面熱阻以獲得更低的芯片核心溫度。如冷卻介質直接與芯片lid接觸散熱、芯片直接與散熱片(BEC)焊接等結構方案。4.2.2.9 相變浸沒液冷服務器產品展示 下圖為一種“1拖2”單元結構的浸沒式液冷服務器，即由中間CDM液冷柜和左右兩側計算機柜構成。兩側機柜內服務器產生的熱量由中間C

133、DM液冷機柜帶走。中間液冷柜內集成CDM、循環管路等系統。此種結構可以大幅度提升系統功率密度，降低數據中心建設難度。圖 4.29 浸沒式液冷服務器“1 拖 2”單元結構 圖 4.30 雙路刀片服務器結構 綠色節能液冷數據中心白皮書 68 4.3 液冷IT設備監管控制設計規范 如下圖所示，通過BMC（Baseboard Management Controller）芯片來實現對液冷芯片的監控和管理控制：（1）BMC通過I2C接口獲取液冷芯片的氣壓、液位等信息。（2）BMC獲取主板的功耗等信息然后通過I2C告知液冷芯片。（3）BMC通過UART接口實現對液冷芯片的固件更新。（4）BMC通過I2C接口

134、實現對液冷芯片工作模式的控制。（5）BMC通過自身的網絡跟用戶交互、實現用戶遠程的信息查詢、工作模式切換和固件更新。圖 4.31 BMC 監控和管理控制示意圖 4.3.1 IT設備監控接口標準 監控的接口需要設計如下三種接口：（1）I2C 液冷芯片作為從設備、定義寄存器、讓主設備BMC進行讀寫以獲取氣壓功耗等信息和實現工作模式的控制、詳細的寄存器定義規范如下表。（2）UART 用來固件更新和查看液冷芯片串口打印的接口（3）GPIO 提供ISP和RESET PIN、輔助完成固件更新 寄存器 讀寫 Sensor Name 含義 數據類型 數量/級別 單位 數值計算 數 值范圍 告警閾值 LNR L

135、C LNC UNC UC UNR 0 x01-0 x02 R Liqd_Press_Gas 氣壓 int16 1/刀片 kPa-5050 NA-15 NA NA 15 20 0 x03-0 x04 R Liqd_Level 液位 int16 1/刀片 mm a-50可以開機 常開 2 運行模式 允許開機 根據電容液位計控制開關 3 復位模式 允許開機 常開 4 手動模式1 允許開機 單閥常開 5 排液模式 禁止開機 關閉 6 故障停機模式 禁止開機 關閉 7 故障運行模式 允許開機 常開 8 手動模式2 允許開機 雙閥常開 9 沖洗模式 允許開機 進液閥/排液閥交替開 4.3.2.3 遠程固件

136、更新接口 遠程固件更新接口基于redfish協議(DMTF DSP0266)、必須按照如下接口實現：https:/BMCIP/com/oembmc/liquid/system/control/attr/SetWorkModel 綠色節能液冷數據中心白皮書 72 4.3.2.3.1 文件上傳 接口如下：請求方式：POST 請求頭信息：請求消息體：字段列表：字段 參數名稱 數據類型 描述 請求字段 bmc_ip BMC IP地址 IPV4地址 auth_value 字符串 執行該GET請求時，必須在“Headers”中攜帶“X-Auth-Token”值用于鑒權?？赏ㄟ^/redfish/v1/Ses

137、sionService/Sessions創建會話時獲得 name 字符串 上傳文件的名稱 響應字段 code 字符串 指示消息注冊表中特定消息ID的字符串 message 字符串 與消息注冊表中的消息對應的易讀的錯誤消息 Message.ExtendedInfo 消息的擴展信息 odata.type 字符串 消息資源的OData類型 MessageId 字符串 消息ID RelatedProperties 數組 消息相關屬性 Message 字符串 詳細信息 MessageArgs 數組 信息參數 Severity 字符串 嚴重性，包括 OK Waring Critical Resolutio

138、n 字符串 解決建議 https:/BMCIP/redfish/v1/UpdateService/FirmwareInventory X-Auth-Token:auth_value 表單形式 綠色節能液冷數據中心白皮書 73 4.3.2.3.2 固件更新 接口如下：請求方式：POST 請求頭信息：請求消息體：字段列表：字段 參數名稱 數據類型 描述 請求字段 bmc_ip BMC IP地址 IPV4地址 auth_value 字符串 執行該GET請求時，必須在“Headers”中攜帶“X-Auth-Token”值用于鑒權?？赏ㄟ^/redfish/v1/SessionService/Sessio

139、ns創建會話時獲得 name 字符串 上傳文件的名稱 image_uri 字符串 升級包的URL，文件名需要包含liquid字段，后綴為.hex targets 字符串數組 表示待更新的Firmware的對象，可以從形式為 “/redfish/v1/UpdateService/FirmwareInventory/liquid”。當該字段存在時，不再關注image_uri中的文件名稱定義，會直接將相關Firmware文件應用到該對象，建https:/BMCIP/redfish/v1/UpdateService/Actions/UpdateService.SimpleUpdate X-Auth-T

140、oken:auth_value TransferProtocol:transfer_protocol,ImageURI:image_uri,SaveConfig:save_config，TargetType:target_type，Targets:targets 綠色節能液冷數據中心白皮書 74 字段 參數名稱 數據類型 描述 議采用該字段進行Firmware刷新 響應字段 code 字符串 指示消息注冊表中特定消息ID的字符串 message 字符串 與消息注冊表中的消息對應的易讀的錯誤消息 Message.ExtendedInfo 消息的擴展信息 odata.type 字符串 消息資源的O

141、Data類型 MessageId 字符串 消息ID RelatedProperties 數組 消息相關屬性 Message 字符串 詳細信息 MessageArgs 數組 信息參數 Severity 字符串 嚴重性，包括 OK Waring Critical Resolution 字符串 解決建議 綠色節能液冷數據中心白皮書 75 5 案例 5.1 某大型國有銀行液冷數據中心建設 隨著信息技術與金融業的深度融合，以及分布式架構轉型的深入推進，金融行業數據中心的規模日益龐大，數據中心能耗不斷增加。面對金融數據中心不斷增長的數據以及算力密度，傳統風冷散熱模式已無法滿足更高性能、更低能耗的目標，而曙

142、光液冷方案則可破解這一難題。在國家碳中和、碳達峰大背景下，某大型國有銀行貫徹新發展理念，積極探索服務器前沿節能技術，響應保障資源環境可持續的基本要求，選擇曙光液冷技術方案，在金融行業率先規模使用國產冷板式液冷服務器技術，可大幅降低數據中心能耗，創建綠色數據中心。該銀行建設綠色節能數據中心作為構建夯實新一代信息基礎設施的重要任務，曙光積極推動和響應行方液冷數據中心項目建設要求，在液冷數據中心建設工作中，始終秉承著功能與節能、環保與效率、便利與安全協調統一的理念，將綠色、節能、環保落實在規劃、設計、建設、運營等數據中心全生命周期。本項目前期部署3個通道，液冷機柜58臺，單機柜功率可達20kw。布置

143、制冷量200kw的CDU共計8臺，1+1熱備，整體管路環網布置，保證系統的安全及穩定。液冷系統基礎設施和服務器等集群設備統一為曙光自主研發和生產的自有產品，并由曙光統一提供一站式售后服務，行間空調和機柜在風量、風壓、風溫上可以實現與服務器的最佳匹配，外觀一致、美觀，各系統的集成性高，有效避免不同品牌設備搭建系統的離散性。本方案中刀片服務器全部采用曙光冷板式液冷服務器。這款服務器以曙光原有的TC4600風冷型刀片為原型，在原來純風冷解決方案的基礎上，去除CPU、VR、內存風冷式散熱器改造為液冷冷板，發熱量由液冷冷板帶走（發熱量根據不同運行工況，預計占刀片服務器的50%-80%），主板上剩余元器件

144、發熱量還是由冷空氣帶走，但此時刀片所需風量大大降低，預計為原風量的30-40%，風扇功耗降低80%，風機噪音降低約為30-40dB。經專業機構檢測，在CPU滿載情況下，服務器噪音值不高于55dB，而風冷散熱服務器滿載噪音值約為85-90dB。由于液冷系統采用中溫水冷源設計，可實現全年自然冷卻（不用冷凍機或者壓縮機制冷），液冷機房設計PUE可達1.2以下，提升基礎設施利用效能。采用曙光冷板式液冷服務器技術對于金融行業降耗增效、建設綠色節能數據中心有顯著意義：綠色節能液冷數據中心白皮書 76 （1）液冷服務器及配套制冷解決方案可充分結合機房基礎設施與服務器兩個層面的節能技術，靈活構建綠色節能數據中

145、心，不依賴于極端氣候或地理環境，不受季節及地域限制，實現全年全地域低耗冷卻，有效降低數據中心整體能耗，全年PUE值約為1.2，較金融行業數據中心平均PUE值有大幅下降。（2）單位空間整體算力也得到了極大提升，單機柜可安裝72臺2路曙光服務器計算節點，可提供計算能力9216核，可承載4核/16G內存規格虛機約2300余套，提高資源使用率，有力推動了金融科技分布式架構轉型工作。（3）同時還可顯著降低工作噪聲，曙光液冷服務器采用液冷+風冷混合散熱的模式，根據不同運行工況，50-80%以上的熱量可通過液冷方式帶走，僅服務器內部其它元器件剩余的不到10%的熱量仍然采用風冷散熱方式，因而對服務器內部風扇的

146、轉速要求大大降低，從而風扇的功耗和噪聲也隨之減小，與普通服務器相比，噪聲可降低約30dB左右。5.2 西部（重慶）某先進數據中心 2021年，圍繞全國一體化大數據中心協同創新體系算力樞紐實施方案中的相關指導意見，曙光公司協同當地政府相關機構，在協同創新體系下建設高技術、高算力、高能效、高安全的先進數據中心。圖 5.1 西部（重慶）某先進數據中心 先進數據中心是助力重慶示范國家一體化大數據中心的新措施，是推動重慶地區數據要素流通的新平臺，是促進重慶城市發展的新底座，同時也是落實國家“東數西算”工程的重要舉措。對于在重慶構建國內國際雙循環相互促進的新發展格局，深入實施“一帶一路”、長江經濟帶發展、

147、西部大開發等重大戰略，穩步推綠色節能液冷數據中心白皮書 77 進西部（重慶）科學城建設極具戰略意義。先進數據中心的建設技術含量高、功能強，能夠承載高端的科技應用，聚集高水平的人才，可提升所在城市地方科技實力，提升城市的教育、科研水平和質量，也將改善區域投資環境，促進城市招商引資。在冷卻裝置方面，先進數據中心采用了全浸式相變液冷技術，此技術是國際上最高效、最先進的服務器冷卻技術，能減少熱阻和傳熱溫差，保證換熱效率，大幅度降低核心系統PUE（最低可達1.04）。此外，先進數據中心在超高部署密度下實現了高度集約化，單機架功率密度等級大幅度提升（常規數據中心單機柜8-10kW，行業最新進技術可提升到9

148、0kW），單機架設備密度大幅度提高（約9倍），因此提高了機房單位面積設備量，大幅節約建筑面積（約50%）。在兼顧政府、企業等機構的常規信息化需求和以人工智能為代表的新興計算需求的情況下，先進數據中心計算系統通過資源池化技術實現資源的動態調度，能支持通用計算、云計算、大數據計算、科學計算、人工智能計算等多場景應用，提升了東數西算的跨區域算力調度水平。先進數據中心以先進冷卻技術和國產全棧云為基礎，構建全國產、安全可控的數據中心機房及配套工程、專用基礎設施、基礎數據服務平臺和應用數據服務平臺等服務內容，實現了數據中心、云計算、大數據一體化的新型算力網絡節點。此外，先進數據中心還采用了集約化建設、規模

149、化經營、產業化管理等模式，整體實現了優勢資源的共享，從根本上解決資源浪費、能源損耗等問題。作為數據中心集群起步區中的關鍵節點，先進數據中心將有效助力地區大力培育新經濟，打造獨具魅力的數字化試驗區，加快推動區域數字產業化、產業數字化，持續賦能量子信息安全托管全國運營中心和中新（重慶）國際互聯網數據專用通道示范園區，推動區域加快建設高質量發展樣板區。先進數據中心在各方面提供的高價值數據服務，將有效實現數據增值賦能產業發展，為農畜漁等鄉村振興產業，交通水利環保等城市基礎設施建設，以及汽車、電子制造等支柱產業提供可靠、穩定的數字化轉型升級底層支撐，預計可帶動相關領域2-3倍投資，實現5-8倍新增GDP

150、，帶動云計算、大數據、區塊鏈等新一代信息技術產業3-5倍投資，實現10倍以上新增GDP。5.3 常熟某數據中心液冷集成項目 隨著移動互聯網、云計算、大數據的蓬勃發展，以及數字中國和大數據等國綠色節能液冷數據中心白皮書 78 家戰略的落地，經濟社會運行產生的數據量將快速擴張。為應對數據價值洪流，數據中心發展迅速。數據中心是指按照統一標準建設，為集中存放的具備計算能力、存儲能力、信息交互能力的IT應用系統提供穩定、可靠運行環境的場所。在政策拉動以及數據中心減本增效等自身需求的驅動下，整個IDC產業都積極采用創新技術和模式，圍繞降低PUE這一關鍵指標，通過推進基礎設施智能化，創新和采用制冷散熱技術，

151、以及提升能效與供電密度等系統化措施和多元化技術與解決方案，綜合性的創新數據中心高效節能體系，推動數據中心全生命周期降耗增效。圖 5.2 常熟某數據中心 曙光公司在本項目中提供整套C7000冷板式液冷解決方案，采用了冷板式液冷專用低能耗CDU，不僅為服務器提供了穩定可靠的工作環境，保證服務器芯片的良好運行溫度，同時極大釋放出了CPU的超頻性能，提升集群運行效率。隨著一系列液冷設備及其配套產品的迭代發展，液冷生態系統將逐步完善。不僅如此，作為液冷生態系統運行的主要保障，監控與運維設備也在不斷發展，提高數據中心運行和運維效率。相比傳統風冷數據中心，曙光冷板式液冷數據中心方案，可讓數據中心PUE降至1

152、.2以下，與國內新建數據中心平均PUE標準相比，節能效率可提升25%以上，助推客戶建設綠色低碳的新一代液冷數據中心。5.4 廣東省某大學海洋工程仿真集群 廣東省某大學為商用船舶設計提供算力支撐平臺，助力商船駛向“深藍”，從“實尺度實海況綜合性能”學科研究方向出發，先行建設“海路通”集群平臺，形綠色節能液冷數據中心白皮書 79 成學校的后發優勢和研究特色。商用船舶的設計與研發，已步入“數字化”與“精細化”時代。綠色、智能、安全的商用船舶設計，離不開大量的仿真計算與分析，進而需要高功率計算節點，而傳統風冷技術對芯片散熱效率低，因此，為商用船舶設計提供算力支撐的數據中心，保證性能與穩定性以及散熱效果

153、，尤為關鍵。曙光在此項目中負責機房基礎設施整體建設，包含2套C7000及相關供配電工程，提供了從冷板式液冷服務器到液冷基礎設施的一體化交付。本項目采用了曙光冷板式液冷刀箱計算節點搭配冷板式液冷系統專用低能耗CDU，不僅為服務器提供了穩定可靠的工作環境，保證服務器芯片的良好運行溫度，同時極大釋放出了CPU的超頻性能，提升集群運行效率。相比傳統風冷數據中心，曙光冷板式液冷數據中心方案，可讓數據中心PUE降至1.2以下，與國內新建數據中心平均PUE標準相比，節能效率可提升25%以上。項目落地后，可輻射大灣區，為國家、大灣區和廣東省海洋及工程設計院所、海洋裝備制造企業等提供仿真、優化和安全評估及風險控

154、制等方面的強力技術支撐；科學研究方面，面向CAE仿真、流體力學等問題進行大規模計算（10-50億網格），實現裝備研發的“數字化”和“精細化”；可支持在智能、綠色和安全等方面開展的新理論與新方法研究，培養精通專業領域的研發創新人才。5.5 某醫院國家轉化醫學中心精準醫療項目 由某醫院承擔建設的國家轉化醫學中心(上海)聚焦危害中國人群健康的重大疾病，包括白血病在內的血液系統惡性腫瘤及胃腸腫瘤、糖尿病等代謝性疾病，以及冠心病、高血壓等心腦血管疾病，讓寫在紙上的論文盡快變成用于臨床的新治療方法，聯手攻關危害中國人群健康的重大疾病。該醫院資源深度分析和挖掘測序模塊計算系統充分采用符合國際標準的、先進并且

155、成熟的計算機系統、存儲系統、集群相關軟件系統等先進技術和產品，具有高可靠性、高可用性、高可維護性，并能滿足將來業務的增長和新技術發展的要求，要在確保系統完整性不受影響的基礎上，方便地對系統進行平滑升級、擴容。綠色節能液冷數據中心白皮書 80 圖 5.3 某醫院國家轉化醫學中心精準醫療項目 經過多方調研、方案設計、產品選型等前期工作，最終在2019年選擇曙光公司共同建設轉化醫學中心的基礎實施。本項目充分考慮集群設施和基礎設施的雙層融合，其中計算節點設計采用先進的液冷服務器技術，統一規劃考慮到基礎設施的供電、供冷等能力問題，提供一套易管理、易維護、便于擴展、高效節能的機柜級制冷、配電、布線一體化解

156、決方案，與IT硬件設備配套集成一站式服務。系統整體包括液冷雙路計算節點、登錄節點、8路胖節點、GPU節點、多核心節點、分布式存儲系統等部分。其中計算節點、登錄節點和存儲系統通過100Gb EDR網絡互連，用于存儲訪問及進程通信。管理網使用千兆網絡，分布式存儲提供cifs、nfs等協議文件服務 除IT設備外，曙光公司為用戶提供整套的機房裝修、機房基礎設施等一整套解決方案，項目成為交鑰匙工程，為用戶減少設備集成及設備兼容的問題，采用曙光C7000液冷解決方案，為用戶提供了一套高效節能的集群系統。實現數據中心PUE降至1.2以下，與國內新建數據中心平均PUE標準相比，節能25%以上。曙光公司針對此項

157、目建設緊貼用戶需求，包括節能減排、針對基因測序應用特點的配置優化、海量存儲空間等，為用戶建設了一套貼合應用的集群。為用戶提供了機房裝修、機房基礎設施等一整套解決方案，項目成為交鑰匙工程，為用戶減少設備集成及設備兼容的問題。上海首套液冷刀片落地、首套C7000池級機房解決方案落地，在上海地區樹立了醫療科研領域，特別是轉化醫學方面的標桿，為二期擴容打下良好基礎。5.6 河北某國際信息港 某國際信息港為河北省重點產業項目，2010年5月落戶河北省廊坊國家可持綠色節能液冷數據中心白皮書 81 續發展實驗區，被確定為河北省“十二五”、“十三五”規劃重點產業項目。該國際信息港為全國最大規模的數據中心產業園

158、，規劃建筑面積262萬平方米，建設亞洲最大的云數據中心集聚港，共規劃建設22棟高等級云計算數據中心，規劃專業數據中心機房面積100萬平方米，可容納約13萬架機柜，滿足260萬臺服務器穩定運行，該國際信息港以數據中心服務為基礎，致力于滿足IT行業日益增長的互聯網數據中心（IDC）需求的同時，全面進軍迅速興起的云計算和物聯網領域，逐步打造成國際一流、國內頂尖的數據存儲中心，國家機構和企事業單位數據災備中心，增值信息服務和高新技術應用的孵化、研發、生產基地。圖 5.4 河北某國際信息港 曙光公司參與建設的國際信息港A-7數據中心工程總建筑面積43563.14平米，建筑高度約為42.05m。數據中心制

159、冷系統通信系統、控制系統等工程均遵守Uptime Tier3標準，采用N模式部署，設計計算PUE值小于等于1.3。本項目為液冷改造，采用冷板式液冷技術，滿足未來液冷服務器上架需求，并實現建設PUE值小于等于1.3，滿足行業能效指標要求。根據實際需求前期共部署3個通道，液冷機柜74臺。單機柜功率不小于20kw，布置制冷量300kw的CDU共計6臺，1+1熱備，整體管路環網布置，保證系統的安全及穩定。除此之外，對應配置豎直分液單元、分液單元套件、無滴漏快速連接器、連接軟管、CDU二次管路、閥門等部分的的選型、供貨、安裝、工廠檢驗、運輸、倉儲、施工、調試及初驗、試運行、最終驗收、保修及售后服務工作。

160、本項目采用曙光冷板式液冷技術，機柜密度較高，且服務器部件級制冷，設備運行更穩定，實現建設PUE值小于等于1.3，滿足能效指標要求；二次管路深化，綠色節能液冷數據中心白皮書 82 通過雙回路管路、閥門深化設計，滿足A級機房要求，成功達成本次項目先進性、節能性的目標。綠色節能液冷數據中心白皮書 83 附錄 1 名詞解釋 1.1 液冷 Liquid cooling 利用液體作為冷卻介質，與IT設備發熱元器件進行熱交換，將IT設備元器件產生的熱量帶走的一種冷卻方法。適用于需提高計算能力、能源效率、部署密度等應用場景。1.2 冷板式液冷 Cold plate liquid cooling 通過冷板（通常

161、為銅鋁等導熱金屬構成的封閉腔體）將發熱元器件的熱量傳遞給封閉在循環管路中的冷卻液體，通過冷卻液體將熱量帶走的一種實現形式。1.3 浸沒式液冷 Immersion liquid cooling 將發熱元器件完全浸沒在冷卻液體中，通過直接接觸帶走熱量的一種實現方式。根據冷卻介質吸熱后是否發生相變，又分為單相浸沒式液冷和相變浸沒式液冷。單相浸沒式液冷的冷卻液體在熱量傳遞過程中僅發生溫度變化，而不存在相態轉變，過程中完全依靠物質的顯熱傳遞熱量。相變浸沒式液冷的冷卻液體在熱量傳遞過程中發生相態轉變，依靠物質的潛熱傳遞熱量。1.4 液冷系統 Liquid cooling system 液冷系統由液冷IT設

162、備、液冷連接部件、CDU/CDM，及室外冷卻系統等構成。室外冷卻系統主要采用冷卻塔或干冷器供冷。1.5 二次側冷卻環路 Secondary cooling loop 簡稱“二次側”，液冷系統內負責將電子信息設備高熱流密度元件的發熱量帶出機房，送抵與外循環系統做熱交換的冷量分配單元的冷卻介質循環系統。主要由冷量分配單元(二次側循環通道部分)、液冷設備、冷卻介質供回歧管、循環管路、連接管路等構成。1.6 一次側冷卻環路 Primary cooling loop 簡稱“一次側”，液冷系統內負責將二次側冷卻環路送抵的機房內元件產生的熱量排至室外大氣環境或通過熱回收系統取熱單元回收利用，同時實現冷卻介質

163、循環的冷卻系統。一次側冷卻環路由冷量分配單元(一次側循環通道部分)、冷卻水循環管路、水泵、冷源等構成。1.7 液冷換熱單元 Coolant distribution unit 又稱“冷量分配單元”，簡稱“CDU”。用于二次側高溫液態冷卻介質與一次側冷源進行換熱，并對液冷IT設備提供冷量分配和智能管理的模塊。CDU主要應用于冷板式液冷、單相浸沒式液冷。1.8 液冷換熱模塊 Coolant distribution module 簡稱“CDM”。用于二次側氣態冷卻介質與一次側冷源進行換熱，對液冷IT設備提供冷量分配與智能管理的模塊。CDM主要應用于相變浸沒式液冷。綠色節能液冷數據中心白皮書 84 2 縮略語 CDU 液冷換熱單元（Coolant Distribution Unit）CDM 液冷換熱模塊（Coolant Distribution Module）VCDU 豎直分液單元（Vertical Coolant Distribution Unit）HCDU 水平分液集氣單元（Horizontal Coolant Distribution Unit）GWP 全球變暖潛值（Global Warming Potential）ODP 臭氧消耗潛值(Ozone Depletion Potential)