《開放數據中心委員會：2023浸沒式液冷數據中心運維車白皮書（25頁）.pdf》由會員分享，可在線閱讀，更多相關《開放數據中心委員會：2023浸沒式液冷數據中心運維車白皮書（25頁）.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、浸沒式液冷 數據中心運維車白皮書 編號：ODCC-2023-09009浸沒式液冷數據中心運維車白皮書 II 版權聲明版權聲明 浸沒液冷智算產業發展論壇發布的各項成果，受著作權法保護，編制單位共同享有著作權。轉載、摘編或利用其它方式使用浸沒液冷智算產業發展論壇成果中的文字或者觀點的，應注明來源：“浸沒液冷智算產業發展論壇”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為，浸沒液冷智算產業發展論壇及有關單位將追究其法律責任，感謝各單位的配合與支持。浸沒式液冷數據中心運維車白皮書 III 編制說明編制說明 本報告由 OPPO 廣東移動通信有限公司牽頭撰寫，在撰

2、寫過程中得到了多家單位的大力支持，在此特別感謝以下參編單位和參編人員：參編單位（排名不分先后）：中國信息通信研究院、OPPO 廣東移動通信有限公司、阿里云計算有限公司 參編人員（排名不分先后）：王榮環、唐虎、郭亮、文芳志、盧象明、孔慶一 項目經理：王榮環 郵箱： 浸沒式液冷數據中心運維車白皮書 IV 前言前言 互聯網行業的飛速發展，帶動了一批相關產業的興起與增長，其中就包含了作為底層基石的數據中心；數據中心，是為集中放置的電子信息設備提供運行環境的建筑場所，一般采用風冷精密空調或水冷精密空調對電子信息設備進行散熱，保證其正常運行。而近年來，人工智能等行業的快速進步與迭代，使得芯片功耗的不斷走高

3、，進而導致了數據中心單機架的功率從 4.4kw 升高至 8kw、25kw、30kw 甚至更高?，F有風冷精密空調/水冷精密空調系統的解決方案已達瓶頸，逐漸無法滿足電子信息設備的解熱需求，因此液冷數據中心應運而生。液冷數據中心對系統和運維的要求較風冷數據中心更高，同時考慮到液冷服務器重量更大、吊裝高度更高等問題，需采用相應配套工具，才能做好整個液冷服務器的運維。因此我們結合自身工程經驗，就浸沒式液冷數據中心的運維解決方案進行了一定的介紹，比對了不同解決方案之間的優劣勢，推薦運維車作為首選方案并進行了相應分析，提供一定建議，期望對于未來浸沒式液冷數據中心的運維能提供一定的幫助。由于時間倉促，水平所限

4、，錯誤和不足之處在所難免，歡迎各位讀者批評指正。如有意見或建議請聯系 。浸沒式液冷數據中心運維車白皮書 V 目錄目錄 版權聲明.II 編制說明.III 前言.IV 1 引言.1 1.1 目的和范圍.1 1.2 編制依據.1 1.3 編制原則.1 1.4 術語解釋.1 2 浸沒式液冷背景介紹.2 2.1 液冷數據中心.2 2.2 浸沒式液冷數據中心.4 2.3 浸沒式液冷數據中心運維.6 3 浸沒式液冷數據中心服務器運維工具.8 3.1 TANK 內置航吊.8 3.2 機房運維航吊.9 3.3 運維車.10 4 浸沒式液冷運維車解決方案.12 4.1 運維車服務對象協同.13 4.2 浸沒式液冷

5、運維車技術方案.14 4.2.1 浸沒式液冷運維車工作環境.14 4.2.2 浸沒式液冷運維車功能.15 4.2.3 浸沒式液冷運維車自動化.16 浸沒式液冷數據中心運維車白皮書 VI 4.3 浸沒式液冷運維車部署方案.17 5 浸沒式液冷數據中心運維方案暢想.19 1 1 1 引言引言 1.1 目的和范圍 本白皮書簡單介紹了液冷數據中心背景、浸沒式液冷服務器運維等相關內容；通過對比與分析，闡明了浸沒式液冷服務器運維與風冷服務器運維的差異性，從而對浸沒式液冷服務器運維解決方案及其部署規模提出了建議。本白皮書適用于浸沒式液冷數據中心的服務器運維方案選擇。1.2 編制依據 本白皮書以國家相關法律、

6、法規以及數據中心行業相關規范為基礎，結合了浸沒式液冷數據中心后期服務器運維實踐案例編制而成。主要參考的規范標準有：1、GB 50174 數據中心設計規范 2、GB 50462數據中心基礎設施施工及驗收規范 1.3 編制原則 本白皮書按照實用性原則編制，結合浸沒式液冷數據中心的整體特點，對浸沒式液冷服務器的運維解決方案選擇提出了一定的建議，便于相關從業人員對浸沒式液冷服務器的運維。1.4 術語解釋 1、數據中心 Data Center；DC 為集中放置的電子信息設備提供運行環境的建筑場所，可以是一棟或幾棟建筑物，也可以是一棟建筑物的一部分，包括主機房、輔助區、支持區和行政管理區等。2、浸沒式液冷

7、 Immersion Liquid Cooling；ILC 浸沒式液冷是通過將電子信息設備浸入冷卻液（非導電液體，如硅油、礦物油、氟化液等）中，由冷卻液帶走電子信息設備產生熱量的一種散熱形式。3、單相浸沒式液冷技術 Single-Phase Immersion Liquid Cooling Technology 為解決數據中心電子信息設備內部元件高發熱量問題，把發熱電子元器件完全浸沒于單相、絕緣冷卻液中（冷卻過程中冷卻液不發生物理狀態的改變），利用冷卻液的良好熱力學顯熱傳熱性能，對高熱流密度的發熱電子元器件進行散熱的技術模式。4、冷卻液 Coolant 用于冷卻電子信息設備元件的液態工作介質。

8、5、液冷機柜 TANK 承載數據中心電子信息設備和冷卻液，實現電子信息設備冷卻的容器。2 6、冷量分配單元 Coolant Distribution Unit；CDU 驅動一次冷卻環路冷卻液工質循環，將設備的熱量通過 CDU 內置的熱交換器傳到冷卻水環路，同時具備溫度、流量、壓力等控制的單元。7、浸沒式液冷服務器 Liquid Cooling Server 浸沒于冷卻液中，通過冷熱交換帶走產生熱量的一種服務器。8、浸沒式液冷運維車 The Operation and maintenance vehicle of Immersion Cooling 用于浸沒式液冷服務器上架、下架、更換部件等操作

9、的運維工具。9、浸沒式液冷運維航吊 Immersion Liquid Cooling Operation and Maintenance Hanger 用于浸沒式液冷服務器上架、下架、更換部件等操作的吊架。2 2 浸沒式液冷浸沒式液冷背景介紹背景介紹 2.1 液冷數據中心 互聯網行業的飛速發展，帶動了數據中心產業的進步。在數據中心運行過程中，能耗是相關從業工作者最為關注的點之一，行業內通常采用功率密度來衡量單位模塊數據中心的能耗大小，目前普遍接受程度最高的數據中心功率密度指標為單機架功率（單位：kW/機架）。傳統數據中心由于單機架功率并不高，因此一般采用風冷精密空調或水冷精密空調作為電子信息設

10、備的制冷系統便可滿足其解熱需求；而 AI 人工智能及云計算的出現與飛速發展迭代對算力提出了新的需求，芯片功耗隨之不斷增長，導致數據中心單機架的功率升高，從 4.4 kW/機架逐漸升高至 8 kW/機架、25 kW/機架、30 kW/機架甚至更高；根據 Uptime Institute 發布的2020 全球數據中心調查報告統計，2011 年數據中心平均單機架功率僅為 2.4 kW/機架,2017 年上升到 5.6 kW/機架，至 2020 年已達 8.4 kW/機架，功率的提升對數據中心解熱系統提出了新的挑戰。傳統數據中心采用風冷精密空調或水冷精密空調對服務器進行解熱，既先將空氣進行冷卻使其溫度

11、降低，并通入機柜內部，通過低溫空氣與電子信息設備的接觸帶走設備發熱量,電子信息設備的發熱量與空氣物性參數之間的關系如下表達式所示：Q=CVt 式中，Q：電子信息設備的發熱量，空氣的密度，C空氣的比熱容，V空氣的體積流量，t空氣的送回風溫差。由此可知該系統的制冷效果受到冷卻介質本身物理性質及送風量、送回風溫差影響，標準大氣壓下空氣的物性參數如表 1 所示：3 表1 大氣壓力101325Pa下干空氣的物性參數 t Cp*102 a*106*106”kg/m3 kJ/（kg*K）W/(m*K)m2/s Kg/(m*s)10 1.247 1.005 2.51 20.0 17.6 20 1.205 1.

12、005 2.59 21.4 18.1 30 1.165 1.005 2.67 22.9 18.6 40 1.128 1.005 2.76 24.3 19.1 由表 1 可知，空氣的密度和比熱容都較小，若需滿足越來越高的解熱密度需求，則應降低送風溫度（提高送回風溫差）并增大送風風量；但送風溫度下降空間有限，送風量也不能無限增大，否則會導致 IT 設備部件震動從而造成設備的損壞。以空氣作為冷卻介質的精密空調上限逐漸顯露，因此業界開始探索采用液體替代空氣作為冷卻介質對電子信息設備進行解熱，只需要找到密度和比熱容較大且與電子信息設備兼容性較高的液體，輔以合適的解熱方案，便可提升系統的解熱功率密度：液冷

13、技術應運而生。一般的液冷系統可以分為三種：冷板液冷、噴淋式液冷和浸沒式液冷；冷板液冷方案中冷卻液采用去離子水，且不與電子信息化設備進行直接接觸，而噴淋式液冷與浸沒式液冷方案中，冷卻液通常采用非導電液體，與電子信息化設備進行直接接觸換熱。a)冷板液冷 b)噴淋式液冷 c)浸沒式液冷 圖 1 液冷系統的 3 種不同形式 備注：圖片來源于互聯網 文主要討論浸沒式液冷數據中心相關運維場景及運維解決方案。4 2.2 浸沒式液冷數據中心 浸沒式液冷是通過將電子信息設備浸入冷卻液（非導電液體，如硅油、礦物油、氟化液等）中，由冷卻液帶走電子信息設備產生熱量的一種散熱形式。在換熱過程中，靠冷卻液相變潛熱交換帶走

14、熱量的形式稱為兩相浸沒式液冷，靠冷卻液顯熱交換帶走熱量的形式稱為單相浸沒式液冷。本文所述浸沒式液冷均為單相浸沒式液冷。浸沒式液冷系統內部可分為冷卻液換熱循環與冷卻水換熱循環。冷卻液在液冷TANK內帶走電子信息設備產生的熱量并通過冷卻液換熱循環傳至CDU處。冷卻水在CDU 處與冷卻液通過板式換熱器進行換熱，隨后通過冷卻水換熱循環，將熱量傳至冷卻塔處排至室外大氣。其系統原理如圖 2 所示：圖 2 液冷系統原理圖 浸沒式液冷的主要設備為液冷服務器、TANK、CDU、冷卻塔，如圖 3 所示：5 a)浸沒式液冷設備：TANK+CDU+液冷服務器 b)浸沒式液冷設備-TANK c)浸沒式液冷設備-CDU

15、圖 3 浸沒式液冷主要設備 TANK：承載數據中心電子信息設備和冷卻液，實現電子信息設備冷卻的容器。冷卻液輸入/輸出采用 2N 架構，互為備用，通常采用下供上回的方式將冷卻液輸送至 TANK 內以帶走服務器產生的熱量。浸沒式液冷 TANK 作用類比于風冷系統的機柜。冷量分配單元（Coolant Distribution Unit，CDU）：驅動一次冷卻環路冷卻液工質循環，將設備的熱量通過 CDU 內置的熱交換器傳導冷卻水環路，同時具備 6 溫度、流量、壓力等控制的單元。一般來說，CDU 內部包含磁力泵、換熱器、壓力傳感器、溫度傳感器、電導率傳感器等元件。運行過程中，需保證 TANK、CDU、液

16、冷服務器的良好耦合以確保液冷服務器的安全、高效運行。2.3 浸沒式液冷數據中心運維 浸沒式液冷數據中心運維，一般針對其主要的 3 大部件，既 TANK、CDU、液冷服務器。但考慮到 TANK 與 CDU 在運行過程中一般不容易出現故障，因此運維操作主要針對液冷服務器。常規風冷機柜及服務器設備機柜如圖 4 所示，由于風冷機柜采用側開門的模式，打開柜門后即可對服務器進行上架交付、下架維護等操作，操作難度較低。圖 4 風冷機柜與風冷服務器上架方式 與風冷機柜不同，液冷機柜為便于存儲浸沒式冷卻液，柜門開口一般朝上。因此服務器上、下架需從上部進行取出和放入，如圖 5 所示：7 a)服務器上架 b)服務器

17、下架 圖 5 浸沒式液冷服務器上、下架操作 因此，總體來說，完成服務器上架交付、下架維護等操作，需滿足以下條件：1）將服務器吊裝入TANK內（從TANK內取出），至少需要將服務器吊裝至一定高度，該高度必須大于 TANK 高度+服務器高度；2）需要一個運輸工具輔助完成液冷服務器的運輸；8 3）若需要對液冷服務器內的硬盤等設備進行更換等運維操作，至少需要一個運維平臺以便操作。由于目前浸沒式液冷服務器的質量基本大于 50kg，且在未來的發展過程中，服務器的質量可能會逐漸提高，增加至 100kg 乃至以上，運維人員在進行相關運維操作時無法人工完成上述（吊裝、運輸、運維）服務器運維操作。因此需要相應的運

18、維工具進行輔助，完成整體運維工作。3 3 浸沒式液冷數據中心浸沒式液冷數據中心服務器運維工具服務器運維工具 服務器運維，一般包含交付上架、故障檢測、下架維護等操作，本文中所討論的運維僅包含交付上架、下架維護；在浸沒式液冷數據中心的運維過程中，由于第二章所述服務器的放置方式及服務器的重量問題，運維人員需借助一定的工具才能完成服務器的交付上架、下架維護的運維操作，目前采用的運維工具一般分為如下幾種：1、TANK 內置航吊；2、機房運維航吊；3、運維車；每種解決方案都具有自身的優缺點，需要根據使用場景進行合理選擇。3.1 TANK 內置航吊 目前，存在一種自帶航吊的 TANK 裝置，該裝置在 TAN

19、K 內部配置了一套航吊系統，不使用其余輔助設備即可完成上下架操作，如圖 6 所示：圖 6 TANK 內置航吊使用場景示意圖 優點：運維航吊架內置于 TANK 內部，服務器下架的瀝干過程等可以在 TANK 內部的全密閉空間進行，減少了冷卻液的揮發，更加節能環保；9 缺點：不能提供運維平臺，需在液冷機房內單獨提供一個液冷服務器運維平臺；每個 TANK 內部均需配置運維吊架，增加單個 TANK 的制造成本；在機房內對服務器運輸需要重新配置運輸設備；3.2 機房運維航吊 根據液冷機房室內布局，在建筑承重墻、承重柱、承重梁、天花板處進行機房運維航吊的安裝，機房運維航吊安裝后，通過控制航吊裝置運行，從而對

20、液冷數據中心中的服務器完成搬運、上架、下架等操作。機房運維航吊類似于傳統的 KBK 軌道系統，一般情況下，KBK 軌道系統具有兩種形式，一種是直接在屋頂進行吊裝，另一種是在室內做立柱進行吊裝。運動方向上可實現水平 x、y 方向兩個自由度的運動，垂直方向通過電機進行上下拉伸完成z 軸一個自由度的運動；在安裝前，先根據吊裝物品的重量進行結構的校驗，以確定 KBK 軌道系統的軌道尺寸大小。傳統 KBK 軌道系統示意如圖 7 所示 圖 7 傳統 KBK 軌道系統 備注：圖片來源于互聯網 運維航吊與 KBK 軌道系統原理相同，但吊裝物體為浸沒式液冷服務器，活動電機運動到 TANK 上方，將服務器吊入或吊

21、出 TANK 內；但在傳統 KBK 軌道系統的基礎上，運維航吊應增加相應的安全自鎖裝置，防止因斷電等因素導致服務器墜落而造成損失，如圖 8 為運維航吊使用場景示意圖：10 圖 8 運維航吊使用場景示意圖 優點：運維航吊架設于建筑墻、梁、柱及天花板上，不占用任何地面空間，無需對地面運維空間進行提前規劃；缺點：不能提供運維平臺，需在液冷機房內單獨提供一個液冷服務器運維平臺；運維吊架敷設需覆蓋整個液冷機房，造價成本相對會較高；需要提前對上走線橋架及管路進行排布，對建筑相關結構部件承重提出一定的要求，保證運維航吊能完成安裝；3.3 運維車 運維車作為一種運維工具，可以為浸沒式液冷數據中心提供優質的服務

22、器運維服務；根據運維車的自動化程度可將運維車分為手動運維車、半手動運維車、遙控運維車、AGV 導航運維車，其中 AGV 導航方式又分為二維碼導航、電磁導航、激光導航等不同的方式。在液冷運維過程中，先將液冷運維車遙控至 TANK 旁，即可開始上下架操作，如圖 9 所示：11 圖 9 運維車使用場景示意圖 優點：運維車覆蓋面積較廣，考慮到液冷服務器運維頻率較低，因此單臺運維車可覆蓋一定面積的液冷服務器，成本造價較低；運維車除對服務器運維工作外，還可以拓展到液冷機房巡檢業務；運維車搬運服務器操作安全性較高，且就近提供運維平臺，方便液冷服務器的運維；缺點：行駛地面需確保無大角度坡面或門檻；運維車運維高

23、度較高，需要對于橋架及管路進行合理排布；總結上述優缺點，如下表所示：方案 TANK 內置航吊 機房運維航吊 運維車 便利性 可實現全自動運行，無需手動操作，需配合機房內搬運設備對上架（下架）服務器進行搬運 可實現全自動運行，無需手動操作，可在機房內有限空間進行運輸；可實現全自動運行，無需手動操作，集成上下架運維及運輸于一體，因此更具便利性；12 經濟性 部署成本較高，且部署規模受 TANK 集群的部署規模會影響，當液冷 TANK 集群增加，必須對該運維設施進行擴建或新建 部署成本較高，且部署規模受 TANK 集群的部署規模會影響，當液冷 TANK 集群增加，必須對該運維設施進行擴建或新建 成本

24、較低，當液冷 TANK 集群增加，若不超出運維車運維能力，不必新增設備 空間性 對 TANK 上方豎直方向空間有要求；對機房整體豎直方向空間有要求；對機房整體水平方向空間及 TANK上方豎直方向空間有要求；使 用 頻率 使用頻率不可設計，設備老化較嚴重 使用頻率不可設計，設備老化較嚴重 使 用 頻 率 可 設計，設備老化較輕 綜上所述，從便利性、經濟性、空間性及使用頻率上來說，運維車具有較大的優勢，但運維車要求機房水平方向有足夠的空間供其活動，因此在新建液冷數據中心的運維中，建議對機房的空間布置進行提前規劃，并采用運維車的解決方案。4 4 浸沒式液冷浸沒式液冷運維車運維車解決方案解決方案 基于

25、第 3 章所述內容，推薦在浸沒式液冷機房內采用運維車的解決方案進行運維，如下圖所示為某種運維車外觀的簡單示意圖：13 圖 10 運維車示意圖 本章將基于運維車的部署及使用場景，做一定的功能需求及適配性介紹。4.1 運維車服務對象協同 浸沒式液冷運維車服務于浸沒式液冷服務器，同時，浸沒式液冷服務器在運行過程中大部分時刻都是被浸沒于 TANK 內的冷卻液中，因此運維車需要與各個部件進行協同才能方便使用。液冷 TANK 協同 浸沒式液冷運維車在使用的過程中，與液冷TANK進行協同，需滿足以下條件：浸沒式液冷運維車的懸臂吊裝范圍應結合 TANK 的長度、寬度及高度進行設計，保證停車后懸臂能旋轉至 TA

26、NK 上方，完成吊裝操作；浸沒式液冷運維車需要完成上架及下架操作，則浸沒式液冷運維車的起吊最高高度，需大于 TANK 高度加服務器高度，同時根據服務器接線方式留下一定余量，至少 200mm，既：吊裝最高高度TANK 高度+服務器高度+200mm；14 浸沒式液冷運維車吊裝高度能保證將服務器安全放置于 TANK 內部；液冷服務器協同 浸沒式液冷運維車在使用的過程中，與液冷服務器進行耦合，必須滿足以下條件：浸沒式液冷運維車需要能承擔液冷服務器的重量要求，同時在設計中應該留有一定的余量，防止運維車因過載而造成服務器損傷；浸沒式液冷運維車需滿足服務器的尺寸大小要求；4.2 浸沒式液冷運維車技術方案 4

27、.2.1 浸沒式液冷運維車工作環境 要求運維車設備的設計、制造、安裝、試驗和調試，必須滿足如下要求：1、地面適應性要求 15 平面度(任意 1X1 范圍)：6mm;坡度：10%;臺階高度：10mm;溝槽寬度：25mm；2、環境適應性要求 要求能在溫度 045下正常工作；滿足 5%95%相對濕度下正常工作，無結露；海拔高度：小于 1500 米；大氣壓力：86kPa106kPa;空氣質量：無粉塵和腐蝕性氣體;振動頻率范圍：5Hz55Hz；4.2.2 浸沒式液冷運維車功能 1、吊裝功能 浸沒式液冷服務器一般為豎直插入 TANK 內的方式，因此將其吊出需要進行豎直吊裝，否則將會觸碰到其他服務器導致損傷

28、；2、方向性 浸沒式液冷運維車在通道中通行，采用全向運動的底盤形式，通過電動驅動實現平面上全向移動，具有水平兩個方向和旋轉三個運動自由度；浸沒式液冷運維車可進行直接向左、向右運動，無轉彎半徑最優；3、安全性 16 運維車應有駐車功能，在駐車狀態下能防止小車進行運動；為保證運維車的安全性，建議采用鉛酸電池，防止電池對機房安全造成威脅；運維車吊裝過程應有自鎖功能，防止服務器直接墜地造成的一定損失；運維車吊裝掛鉤應采用閉合式掛鉤，防止在運維操作的過程中服務器因為晃動或震動導致的滑落；具有吊裝過載保護，能在吊裝質量過載時對服務器進行保護；運維車旁邊設置防撞護邊，防止在行駛過程中與機房內設備發生碰撞造成

29、設備或運維車損壞；4、容納功能 要求運維車具有一定的服務器容納功能，考慮到液冷服務器故障率較低，因此運維頻率也較低，要求運維車至少具有 2 臺服務器的容納空間，方便對服務器進行搬運；5、維修功能 運維車需要具備服務器的維修功能，一般包含：能提供維修平臺，方便對服務器進行硬盤等部件的更換；能為運維結束的服務器提供供配電接口，方便對服務器的運維結果進行核驗；4.2.3 浸沒式液冷運維車自動化 根據液冷機房對于運維車的自動化程度要求不同，可將運維車分為以下幾個類別：手動式運維車：運維車采用手推的方式進行運動，采用搖桿和滑輪結合的方式，通過手搖完成服務器的升降操作，成本較低，但自動化程度較低，安全性及

30、功能性也較低；半手動式運維車：運維車采用手推的方式進行運動（可添加電動助力），吊裝過程中加裝電葫蘆等電動吊裝裝置，成本、自動化程度及17 安全性相較于手動式運維車有所提高；電動運維車：運維車采用遙控的方式進行運動及服務器吊裝操作，由于設備全部采用了電動遙控方式，因此成本、自動化程度及安全性都遠高于手動式運維車和半手動式運維車；AGV 運維車：除一般的遙控吊裝操作及運動以外，下部配置 AGV 小車，除運維工作外，還可配合進行一些簡單的無人巡檢工作，AGV 小車根據導航方式不同，可分為：二維碼導航、電磁導航、激光導航等不同的導航方式。4.3 浸沒式液冷運維車部署方案 浸沒式液冷運維車的部署需滿服務

31、器上下架、故障處理等需求，主要從以下幾個方面進行考慮：服務器上架規模和交付時間要求上架（下架）一臺服務器所需的時間長度（包含搬運）；液冷服務器在使用過程中的故障率；液冷服務器在使用過程中進行搬遷的頻率；運維車備用設備配比及運維車的故障率；根據以上幾方面的綜合考慮結合自身數據中心的液冷 TANK 及液冷服務器的部署規模，即可確定浸沒式液冷運維車的部署規模。以某數據中心為例，一棟4層建筑，兩個模組，每個模組1+1*10000KVA市電容量。一層安裝機電設備/辦公，二至四層安裝服務器，如圖 11 所示：圖 11 設備分布示意圖 18 服務器交付場景：服務器交付場景：假設：1、液冷最大 PUE1.25

32、，則 IT 可用功率 16000KW，每層可安裝服務器臺數 8000臺。每層服務器按照 2 年上滿，每季度集中交付，每層單次交付 1000 臺；2、服務器在本樓層拆包，拆包區至服務器上架 TANK 平均距離 60m，見下圖示意。圖 12 服務器運輸示意圖 3、運維車每次運輸兩臺服務器；運維車速度 1m/s，每臺服務器吊裝時間 1.5分鐘，則平均每臺服務器交付時間 2.5 分鐘；4、運維車每天工作 8 小時（工作 4 小時，充電 2 小時，每天充電 2 次），則一臺運維車每天交付服務器量為 192 臺，1000 臺服務器需要 5-6 天完成交付；如果交付時間緊張，建議將服務器直接運輸至安裝位置，

33、運維車只負責吊裝，則一臺一天能滿足 480 臺服務器安裝需求。服務器維護交付場景：服務器維護交付場景：假設單臺服務器按含 2 個 CPU，12 條內存條，12 個硬盤，2 個網卡測算。缺陷部件在其交付季度發現并維護，則運維車每季度吊裝次數 50 次。部件 DPPM 單臺服務器數量 DPPM 單臺DPPM 單層服務器臺數 故障服務器數 DIMM 3000 12 36000 50000 1000 50 SSD 1000 12 12000 NIC 500 2 1000 CPU 500 2 1000 19 根據交付場景計算，運維車一天上下架能力達到 192 臺，可滿足本樓層甚至本樓棟維護需求。綜上對服

34、務器交付場景和運維場景測算，一輛運維車的能力在運維階段可滿足整棟 2MW 電力服務器運維需求，也可選擇每樓層配置一臺運維車保證運維速度和高可用性；但交付場景時間較長，建議額外增加上架工具，支持快速交付。以上測算較為簡潔，未考慮運維車的故障等問題，各機房運營方可結合自身情況進行精細測算以確定運維車的部署規模，在前期規劃階段與后期定制階段注意與設備的匹配，最大化的實現運維車價值。5 5 浸沒式液冷數據中心運維方案暢想浸沒式液冷數據中心運維方案暢想 隨著國家“碳達峰、碳中和”政策的提出與實施及 AI 人工智能的飛速發展，數據中心的發展也逐漸趨于綠色、低碳、節能、智能。同時，液冷數據中心由于其規模的不

35、斷擴大，運維模式及運維所實現的功能可能也與如今小規模的液冷機房運維存在一定的差異性。因此我們基于目前的發展方向趨勢，對未來的大規模浸沒式液冷數據中心運維方案進行一定的暢想：1、運維設備功能擴展化：運維車可由服務器運維車擴展到浸沒式液冷 TANK、CDU 的自動維護；自動完成冷卻液的充注、補充及回收：在機房設備最初安裝時對冷卻液進行充注，在后期運維過程中，自動檢測各 TANK 內冷卻液的量并對冷卻液不足的 TANK 進行及時補液處理，在冷卻液不符合使用規范后，運維車可對冷卻液進行回收并送至廠家進行處理；2、服務器運維自動化：設備到貨后可自動運輸到現場進行安裝；TANK 內的服務器發生故障后，發送信號至中控，運維車自動接受信號，接收到信號后執行相關的指令；將 TANK 加入自動化控制，可以通過遠程控制對柜門進行啟閉，運維車對服務器進行上下架操作均采用全自動化的操作，無需人員進行輔助；運維車可在自帶運維平臺上完成服務器的配件更換，無需運維人員進行手動更換服務器配件；3、無人巡檢：運維車與巡檢機器人集成，實現液冷機房內 24h 全天候無人巡檢，對數據中心存在的隱患及時排查處理；浸沒式液冷數據中心運維方案在不斷的發展過程中，將逐漸變的更加綠色、低碳、節能、智能，同時也能為液冷數據中心提供更高效、可靠的服務。