1、數據中心液冷革命,解鎖未來的數字冰河液冷數據中心白皮書1液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河 一、數據中心是數字經濟的基石 .3數字經濟支撐未來經濟高質量發展.3數據中心是數字經濟的發動機.3數據中心是國家的新基建.4二、當前中國數據中心 IT 基礎架構狀況與發展方向 .7數據中心為提升性能不斷向大規?;葸M.7為支撐新興技術落地,用戶針對數據中心內的存儲系統需求更加具體.9數據中心的建設將雙碳目標及綠色節能需求提上一個新高度.11三、“全棧式液冷數據中心”成為未來趨勢 .15全棧式液冷數據中心部署的必要性.15液冷數據中心逐漸落地.18四、中國液冷存儲系統部署成功案例 .2
2、3全棧式液冷數據中心成功案例華南理工大學.23曙光仍在積極探索優化存力的液冷解決方案,賦能千行百業.25五、未來展望 .28液冷存儲未來的發展機遇.28液冷存儲未來的發展挑戰.30IDC.建議.30目 錄 Table of Contents液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河2目錄數據中心是數字經濟時代的核心基礎設施和國家戰略資源,但面臨嚴峻的性能、能耗、成本挑戰。建設全棧式液冷數據中心,是實現國家“雙碳”戰略、深入落實數字中國建設整體布局規劃的重要舉措。IDC 認為,全棧式液冷數據中心的計算、存儲節點、網絡設備等全面應用液冷技術,應加強對全棧式液冷數據中心的研究和應用,以推
3、動數字經濟的可持續發展。我們看到有些廠商已經做出了領先的探索,報告介紹了業內首個液冷存儲系統的成功部署案例,曙光作為支持全棧式液冷的廠商,積極助力數據中心升級改造,部署方案全場景適配多行業的不同應用場景。3目錄 一、數據中心是數字經濟的基石 數字經濟支撐未來經濟高質量發展當前,新一輪科技革命和產業變革深入發展,數字技術全面融入經濟社會各領域,深刻影響著生產、生活和治理方式,引領人類加速邁向數字文明時代。黨的二十大報告指出,加快發展數字經濟,促進數字經濟和實體經濟深度融合,打造具有國際競爭力的數字產業集群。數據中心是數字經濟的發動機在數字經濟中,數據起到了至關重要的作用,數據中心提供了關鍵的基礎
4、設施,使得大規模數據的存儲、處理和分發成為可能,從而推動了數字經濟的發展。數據中心行業正在經歷多樣化發展,智算、超算和云數據中心是幾個重要的方向。數據中心行業的多樣化發展是當前數字化轉型的重要趨勢之一,各種新型數據中心形態的不斷涌現將進一步推動數字化轉型的進程。2022 年 我 國 數 字 經 濟規模達 50.2 萬億元,占GDP 比重提升至 41.5%,總體規模連續多年保持世界第二,對經濟高質量發展的引領支撐作用日益凸顯。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河4目錄 數據存儲和處理:數據中心允許企業存儲大規模的數據,并進行高性能的數據處理。這對于數字經濟中的企業來說至關重要,
5、因為它們需要分析這些數據以了解市場趨勢、客戶需求和業務績效,以便做出明智的決策。云計算和虛擬化:數據中心支撐云計算和虛擬化技術,使企業能夠動態分配計算資源,根據需求擴展或縮減其基礎設施,提供了靈活性,允許企業更好地適應市場變化。推動人工智能等新興技術發展:數據中心是訓練和運行人工智能模型的關鍵基礎設施。它們支持大規模數據的收集、存儲和分析,為機器學習和深度學習等人工智能技術提供了強大的計算能力。提高信息安全和數據隱私:數據中心需要采取安全措施來保護存儲在其中的數據,以防止數據泄露和網絡攻擊。這有助于維護數據隱私,增強網絡安全,以及遵守法規和法律要求。數據中心是國家的新基建數據中心作為 5G、人
6、工智能、云計算等新一代信息通信技術的重要載體,已經成為數字經濟時代的底座,具有空前重要的戰略地位,得到了國家的高度重視。2020 年 4 月 20 日,國家發改委新聞發布會上,官方首次將以數據中心、智能計算中心為代表的算力基礎設施定義為新基建?!靶禄ā敝莆覈鴶底纸洕l展,數據中心在國家經濟體系中的重要性大幅提升?!靶禄ā迸c過去的“鐵公機”傳統基建相比,既是技術密集型的新興產業,又是支撐經濟社會數字化、網絡化、智能化發展的基礎設施,是我國數字經濟發展的引擎。數據中心既是新基建的重要組成部分,又是新基建發展的核心 IT 基礎設施,對數字經濟的騰飛起到至關重要的底層支撐作用。疫情后新基建和數字
7、經濟的大力部署,必將為數據中心開啟新的發展空間。5目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河發布時間政策名稱主要內容2023 年 10 月算力基礎設施高質量發展行動計劃加快存儲網絡技術研發應用,推動計算與存儲融合設計,促進存儲與網絡和計算協同發展,引導合理配置存算比例,實現數據在算力中心內部和算力中心之間的高效流動,推動存算網協同發展。2023 年 2 月數字中國建設整體布局規劃系統優化算力基礎設施布局,促進東西部算力高效互補和協同聯動,引導通用數據中心、超算中心、智能計算中心、邊緣數據中心等合理梯次布局。2023 年 1 月關于推動能源電子產業發展的指導意見面向新型電力系統和
8、數據中心、算力中心、電動機械工具、電動交通工具及充換電設施、新型基礎設施等重點終端應用,開展能源電子多元化試點示范。建立分布式光伏集群配套儲能系統,促進數據中心等可再生能源電力消費。2023 年 1 月關于促進數據安全產業發展的指導意見推動先進適用數據安全技術產品在電子商務、遠程醫療、在線教育、線上辦公、直播新媒體等新型應用場景,以及國家數據中心集群、國家算力樞紐節點等重大數據基礎設施中的應用。2022 年 2 月關于同意京津冀地區啟動建設全國一體化算力網絡國家樞紐節點的復函同意在京津冀地區啟動建設全國一體化算力網絡國家樞紐節點,發展高密度、高能效、低碳數據中心集群。京津冀樞紐規劃設立張家口數
9、據中心集群,張家口數據中心集群起步區為張家口市懷來縣、張北縣、宣化區。圍繞數據中心集群,抓緊優化算力布局,積極承接北京等地實時性算力需求,引導溫冷業務向西部遷移,構建輻射華北、東北乃至全國的實時性算力中心。2022 年 1 月“十四五”數字經濟發展規劃加快構建算力、算法、數據、應用資源協同的全國一體化大數據中心體系。在京津冀、長三角、粵港澳大灣區、成渝地區雙城經濟圈、貴州、內蒙古、甘肅、寧夏等地區布局全國一體化算力網絡國家樞紐節點,建設數據中心集群,結合應用、產業等發展需求優化數據中心建設布局。2021 年 11 月“十四五”軟件和信息技術服務業發展規劃前瞻布局新興平臺軟件。加快培育云計算、大
10、數據、人工智能、5G、區塊鏈、工業互聯網等領域具有國際競爭力的軟件技術和產品。2021 年 11 月“十四五”大數據產業發展規劃加快構建全國一體化大數據中心體系,推進國家工業互聯網大數據中心建設,強化算力統籌智能調度,建設若干國家權紐節點和大數據中心集群。建設高性能計算集群,合理部署超級計算中心。2021 年 7 月新型數據中心發展三年行動計劃(2021-2023年)用 3 年時間,基本形成布局合理、技術先進、綠色低碳、算力規模與數字經濟增長相適應的新型數據中心發展格局??傮w布局持續優化,全國一體化算力網絡國家樞紐節點、省內數據中心、邊緣數據中心梯次布局。技術能力明顯提升,產業鏈不斷完善,國際
11、競爭力穩步增強。表 1 數據中心的相關政策梳理液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河6目錄發布時間政策名稱主要內容2021 年 3 月中華人民共和國國民經濟和社會發展第十四個五年規劃和 2035 年遠景目標綱要加快構建全國一體化大數據中心體系,強化算力統籌智能調度,建設若干國家樞紐節點和大數據中心集群,建設 E 級和 10E 級超級計算中心。2021 年 1 月工業互聯網創新發展行動計劃(2021-2023 年)推動工業互聯網大數據中心建設,打造工業互聯網大數據中心綜合服務能力,到2023 年基本建成國家工業互聯網大數據中心體系,建設 20 個區域級分中心和 10 個行業級分中
12、心。2020 年 3 月關于推動工業互聯網加快發展的通知在加快新型基礎設施建設方面,提出改造升級工業互聯網內外網絡、增強完善工業互聯網標識體系、提升工業互聯網平臺核心能力、建設工業互聯網大數據中心,加快工業互聯網發展步伐。來源:IDC,20237目錄二、當前中國數據中心 IT 基礎架構狀況與發展方向目前中國數據中心在進行 IT 基礎建設時,正在向集中化、大型化發展,同時新興技術例如 AI、5G 的落地也向業界提出了諸多需求,包括但不僅限于需要首先滿足數據中心對于提升整體性能的需求;支撐新興技術落地的需求;進行多平臺智能化運維的需求;和進一步的,加速數據變現和數字化轉型的需求;以及滿足雙碳目標和
13、綠色節能的要求。數據中心為提升性能不斷向大規?;葸M隨著數據中心的不斷發展,AI、邊緣數據中心等計算場景的落地,IT 硬件基礎設施中的芯片密度越來越高。從數據中心機柜功耗上來說,以異構計算單機柜功耗為例,需求已上升至 15-50KW,對比傳統風冷機柜功耗一般在 3-10KW;同時算力成為數字經濟增長的驅動邏輯,越來越多的使用者將資金投入由通用算力向 AI 算力轉變,面對大量涌現的 AI 應用,業務對底層算力需求顯著提升,導致數據中心對熱源熱量的有效散失提出更高要求。IDC 調查顯示,國內外各大基礎設施供應商的GPU 單芯片功耗基本已達 160-700W;CPU 單芯片功耗已達 350W。液冷數
14、據中心白皮書數據中心液冷革命,解鎖未來的數字冰河8目錄截止至 2022 年底,我國的數據中心機架規模已達 670 萬架.(以 2.5KW 作為標準機架統計),而機房上架率卻不足 60%,其中原因除了數據中心產能擴張步伐過于激進,也有隨著人工智能等新應用的推廣,通用服務器搭載更多 CPU 和 GPU 卡,功率進一步上升,已經達到 1KW,但目前的通用機架沒有足夠功率承載更多計算節點,不足以滿足用戶實際需求,導致數據中心機架大量空置。要滿足大算力業務需求,需要新建符合新標準、滿足用戶新需求的智能化數據中心,這在建設成本的投入上也是巨大的。在算力部署方面可以利用邊緣計算技術將計算任務分配到更接近數據
15、源的設備上,減少數據傳輸延遲和網絡負載,提高數據中心的性能和響應速度。在軟件協調方面采用更高效的算法減少計算量、通過數據壓縮、去重等數據處理技術優化存儲空間的使用。但高密度數據中心的應用阻礙也非常明顯,高密度數據中心通常需要大量電力來支持 IT 硬件設備和冷卻設施的運行,能源消耗巨大,導致了數據中心運營和維護成本大幅上升;另外較高的硬件密度也使設備故障率上升,仍需要有效的冷卻系統來保持服務器和芯片的正常運行。目前,液冷技術可以有效地降低數據中心的溫度和噪音,一方面通過更有效的散熱降低高密度數據中心能耗,另一方面穩定的冷板散熱可以減少設備振動,提高設備的可靠性和性能。未來,單一硬件架構的液冷化部
16、署將不能滿足需求,液冷技術全面覆蓋數據中心的基礎架構,形成覆蓋服務器、分布式存儲架構以及網絡設備的整體液冷技術部署,是未來數據中心的發展方向;在落地方面,全棧式液冷數據中心解決方案需要覆蓋包括前期技術咨詢、需求梳理、基建建設規劃,中期設備部署、管理平臺實施交付,以及后期維保的全工程周期。部署高密度數據中心是目前解決算力大幅提升、海量數據處理和存儲的主要方式,但如何進一步提高數據中心的性能、能耗、成本的三元平衡成為巨大的挑戰。9目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河為支撐新興技術落地,用戶針對數據中心內的存儲系統需求更加具體以 AI、大數據、邊緣計算為代表的現代化應用不斷給數
17、據中心帶來挑戰,AI、云原生等業務場景,影音編輯、制作和渲染等流媒體應用,內容管理和 Web 服務等都推動了數據的海量化增長,對存儲 IT 基礎設施提出挑戰。以不同場景為例:在 AI 場景中,業務系統需要同時訪問和處理海量數據,需要存儲系統提供海量存力,并且可以面對高并發訪問,和快速存取數據,對存儲系統單節點、單機柜的有效存量提出要求;同時 AI 應用通常需要處理多元異構數據,數據的復雜性也對存儲系統提出挑戰;高性能計算場景對分布式存儲系統的性能提出了高要求,在數據年增量逐漸達到幾十 PB 級別的當今,要求分布式存儲系統能夠達到每秒 TB 級的讀寫帶寬,以及千萬級別數量的 OPS 小文件讀寫能
18、力;云原生應用的一個主要特性就是能夠在不同的云環境中運行,即應用的可移植性;同時,.云原生應用也需要能夠根據需求快速且靈活地擴展資源,以滿足用戶需求。這就要求存儲系統能夠根據需求動態的提供存儲資源。目前,分布式存儲系統可以從存儲容量、計算資源和網絡帶寬的多個維度來彈性擴展,保障性能;其他海量的數據實時分析和存儲管理需求廣泛存在于例如金融機構的高頻、實時數據交易和分析場景;醫療領域的醫療影像數據在疾病診斷等場景的流通和分析;以及交通行業的車輛運行、流量數據實時處理分析以支撐交通調度和路線規劃等業務,這些需求指向分布式存儲,加之虛擬化以及云計算場景的需求推動分布式存儲疊加算力,超融合系統也受到市場
19、青睞。這些需求的主要目標是加速數據變現,存儲器作為數據承載的基礎,也影響著信息產業各個領域的性能,所以在硬件組件方面不斷通過搭載更高密度的存儲芯片、SSD 盤陣等提升性能,以期能在數據量不斷增長的情況下滿足業務的實時分析等需求,設備散熱成為保障系統性能無損情況下降低能耗的重要一環。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河10目錄IDC 在關于.“未來數據基礎設施”.的研究中發現,數據變現對數據存儲和處理提出多層次的需求,存儲系統應圍繞.“數據”.保障運行穩定、進行性能優化:存儲系統首先必須要保障的是數據的安全性,防止數據泄露、篡改或損壞;對于敏感數據和隱私數據,需要更嚴格的保護措
20、施,以符合相關法律法規的要求;其次,存儲系統需要對多元化的、復雜來源的數據進行高效的數據處理,對存儲系統軟件提出優化數據處理算法、提高數據處理速度的要求;隨著企業業務的發展,數據存儲和處理需要具備可擴展性,包括存儲空間的擴展、計算資源的擴展等方面,以滿足不斷增長的數據需求;最為基礎的是,數據中心的運維成本也隨著數據量的增長而增加。數據中心的運維成本主要包括設備采購、設備維護、電力消耗、人力成本等多個方面,需要選擇經濟合理的存儲方案,以降低成本并最大化數據價值;此外,數據中心集群化建設以及“東數西算”等工程,導致大量數據跨區域雙向傳輸,大量數據存儲和訪問對存儲系統的 IO 性能提出更高的要求;截
21、至 2022 年底,中國算力總規模達 180EFLOPS,存力總規模超過 1000EB,傳統的運維方式已經無法滿足現代數據中心的高效運營需求,智能化運維對于數據中心提高運營效率至關重要.為使存儲系統做到高效、節能,部署液冷存儲設備或對現有設備液冷化改造可以圍繞數據的全生命周期,為降低運維成本和提高運營效率做出貢獻。面對數據安全以及業務穩定性問題,通過部署冷板式液冷存儲設備,可以提升散熱效率,保障元器件的穩定工作,且冷板液冷技術可以直接避免傳統風冷散熱系統的震動問題,進一步避免了數據受損,通過自動化監控、預警進行智能漏液檢測,提11目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河高系統
22、穩定性;面對海量的、且不斷增長的多元化數據實時處理問題,液冷存儲系統一方面通過軟件算法優化和數據去重等技術提升處理效率,另一方面,為了配合日益增長的數據處理需求,存儲系統往往通過堆疊盤陣的方式來提升處理效率,但造成了設備密度的提升、導致設備在散熱方面面臨挑戰。液冷存儲設備可以以分布式的方式部署,以彈性可擴展的架構應對不斷增長的數據,同時液冷散熱技術明顯優于傳統風冷,在提升數據處理效率的同時降低散熱所需的能耗,液冷存儲系統也可支持高密度配置,使得單位空間內可以部署更多的設備,提高數據中心的運算效率;最后,面對隨著業務發展而不斷增加的成本以及不斷提升復雜度的運維難題,液冷存儲系統已經可以與數據中心
23、智能管理系統結合使用,通過自動、智能、高效的運維方式來降低運維成本。作為數據中心的重要基礎,存儲設備的液冷化部署在全棧式液冷數據建設中顯得尤為重要,液冷技術在減少存儲設備能耗和延長硬件壽命方面發揮作用,更有效的降溫有助于減少硬件故障、確保系統高安全性,同時降低能源成本。數據中心的建設將雙碳目標及綠色 節能需求提上一個新高度當前,數據“熱”使對數據中心的建設和運營不斷升溫。數據不僅可以推動傳統生產要素的優化,其本身已經成為新的生產要素,其價值在不斷提升,數據已經以產權的形式、股份形式參與生產經營,賦能千行百業轉型升級。在數字資本形成的過程中,數字技術在發揮著重要作用,為通過算法篩選并運算得到更為
24、精簡有效的數據,傳統數據中心正在面臨嚴峻挑戰,算力、存力的不斷增加,讓傳統數據中心“非常熱”。數據顯示,2021.年,全國數據中心總耗電量高達.2166.億千瓦時,約占全國總耗電量的.2.7%.;2022 年全國數據中心耗電量約 2700 億千瓦時,占全國總耗電量提升至 3.1%;預計到 2025 年,全國數據中心總用電量將突破 4000 億千瓦時,超過全社會用電量的 4%。以數據為中心的體系架構,仍面臨數據計算、存儲、傳輸能耗大和有效利用資源、保障與提升性能的挑戰。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河12目錄一些數據中心運營單位的建設和運營經驗的數據進一步顯示,數據中心 4
25、 成左右的成本都花在空調制冷的電費上,為了降低運營成本,會選擇在電力成本較低的地區建設數據中心,這也從一個側面說明了電力成本是數據中心運營中需要考慮的重要因素。但給 IT 基礎設施.“降溫”.,是無法繞過的難題。數據中心中的電子信息設備運行過程中消耗的電能絕大部分都轉換為廢熱,若機柜內的這部分熱量無法及時轉移到周圍環境中,芯片等發熱部件的運行溫度將急劇升高,當機柜內的芯片溫度升高至 80以上,就無法保證芯片穩定運行,產生嚴重影響。目前,由于 IT 設備和空調設備的冷卻系統設計和日常運維可以很方便地實現解耦,風冷機柜和與之適配的數據中心冷卻系統可各自不斷進行系統和設備部件的迭代升級,因此較長時間
26、里,風冷散熱仍是數據中心的主流選擇。但采用風冷散熱技術的數據中心,僅通過環境中的空氣為數據中心冷卻系統和電子信息設備實現換熱過程,COP(Coefficient.of.Performance 能效比)數值較高,并存在噪音大、震動等問題,無法滿足數據中心散熱能耗的需求;且隨著計算機電子技術、芯片技術的發展,主機的發熱度越來越大,海量數據在計算和存儲單元之間傳輸的耗能大幅提升,導致空調排熱成為能耗最大的部分。清華大學曾有統計指出,空調的能耗或者說通過將液體或氣體派送到高溫區域,吸收并帶走熱量這個過程的能耗在數據中心里占了比較大的比例,目前統計大致的結果為,就中小型的數據中心而言,PUE 值都在2,
27、或者以上,這是由于空調占了一半或者更多的能源消耗;大型的 IDC 機房管理做的比較好的,空調效率相對較低,但也占到 40%左右的能耗。IT 設備(服務器、存儲等)冷卻溫控系統 電源系統(UPS、PDU、照明 系統、電源保護等)網絡/安全設備49%39%7%5%圖 1 數據中心能源消耗構成來源:IDC,202313目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河與此同時,綠色節能的要求正在加碼。目前我國數據中心主要集中在北上廣深等經濟發達地區,針對巨大的能耗,這些地區已經對低能效的傳統數據中心采取限制政策,其他各區域中心城市也紛紛出臺各種政策支持高能效數據中心的建設,并輻射帶動周邊城市
28、的錯位協同發展。2021 年 11 月 30 日,國家發展改革委、中央網信辦、工業和信息化部、國家能源局四部門按照2030 年前碳達峰行動方案部署,出臺了貫徹落實碳達峰碳中和目標要求.推動數據中心和 5G 等新型基礎設施綠色高質量發展實施方案,明確了新建大型及以上數據中心須達到綠色數據中心要求,綠色低碳等級達到4A 級以上。2022 年 6 月,工業和信息化部、國家發展改革委、生態環境部等六部門聯合印發工業能效提升行動計劃,積極推進用能高效化、低碳化、綠色化,提出到 2025 年,數據中心等重點領域能效要全面提升,新建大型、超大型數據中心PUE 優于 1.3;.并強調要加快液冷、自然冷源等制冷
29、節能技術應用,推進硬件節能技術應用。2022 年底,數據中心能效限定值及能效等級在全國范圍內強制實施,以規范、統一的數據中心能效評價方法,規定了能效限定值等強制性能效準入要求,限定數據中心電能比的最大允許值為能效 3 級,即 PUE 1.50。因此,數據中心需源源不斷提供與 IT 基礎設施硬件散熱需求相匹配的冷量,增加整機散熱能力,將熱量更高效的帶出 IT 設備,減少制冷系統功耗,這成為保障數據中心穩定運營、實現綠色低碳的關鍵問題。圖 2 PUE 名詞解釋來源:IDC,2023PUE(Power.Usage.Effectiveness,電源使用效率)。PUE 作為評價數據中心能源效率的指標,是
30、數據中心能耗的所有能源與IT負載使用的能源之比。PUE 公式:PUE.=.數據中心所有設備能耗之和/.IT 設備能耗PUE=設施總用電量IT 設備用電量液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河14目錄液冷數據中心設計的液冷系統取代冷機等高能耗制冷設備,對比目前數據中心的風側間接蒸發冷卻系統、DX 系統、水冷冷凍水系統、風冷冷凍水系統等空調系統,在同樣外電容量下,液冷方式允許配置更多的 IT 設備,占地面積更小,可最大化提高能源和空間利用率,實現更低 PUE 值、更加節能低碳。但液冷數據中心主機房設計荷載要求更高(因液冷方式允許部署高功率密度機柜,高功率密度機柜對荷載要求更高,其他
31、房間無區別)、需預留液冷管路鋪設空間和液冷設備檢修維護空間等,要求建設部署時提前進行科學完整的規劃。IDC 認為,全棧式液冷數據中心是計算、存儲節點、網絡設備等數據中心基礎設施全面應用液冷技術的、具備多元化液冷技術路線的、主要冷卻媒介為液體、數據中心運維功能覆蓋液冷技術的數據中心。隨著綠色節能正在成為數據中心建設的主旋律之一,全棧式液冷數據中心已經成為必行的技術方向。數據中心液冷技術既能實現數據中心的極簡設計和極致能效,又契合了服務器、存儲、網絡設備芯片未來高功率的趨勢,在國家政策對于數據中心嚴苛的低能耗要求背景下,得到市場的關注和支持。此外隨著液冷技術的不斷升級和不同專業技術融合的不斷加深,
32、數據中心的節能手段從以前的單純提高空調系統設備能效轉向 IT 設備與制冷設備聯合優化調控,通過 AI 技術進一步實現數據中心全局范圍的能效最優。15目錄三、“全棧式液冷數據中心”成為 未來趨勢 全棧式液冷數據中心部署的必要性隨著 IT 基礎設施中芯片不斷升級迭代、高性能芯片需求不斷增加、服務器密集化程度越來越高、存儲器容量越來越大,數據中心這個能耗“大戶”,在“雙碳”背景下實現低碳綠色轉型迫在眉睫。風冷技術已經成熟應用于芯片散熱方面,但為提高散熱能力而提高風速所帶來的噪音、震動和能耗問題也日趨嚴重。由于液體的比熱容遠遠大于空氣,遠優于空氣作為冷卻工質的傳熱性能,為了解決數據中心高效散熱問題,液
33、冷解決方案部署勢為必行。從能耗角度比較來看,風冷系統依賴于冷卻塔的蒸發冷卻,液冷技術則可以降低能耗,提高資源利用率,主要因為液體可以更有效的將熱量從 IT 基礎硬件傳遞到冷卻系統,在耗水量上也低于風冷技術。在空間利用方面,液冷數據中心不需要像傳統數據中心那樣預留大量的空間來安裝空調和冷卻系統,因此可以更有效地利用空間資源,進一步在機房內,由于送風量的減少,為數據中心機柜的布局提供了很大的靈活性,也并不一定需要采用傳統熱/冷通道封閉的布置。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河16目錄 在可維護性方面,風冷系統雖然應用廣泛但由于其較為復雜的系統,且與室外環境緊密聯系,與液冷系統相
34、比,可維護性和適用性稍差。數據中心的液冷化部署應覆蓋計算、存儲和網絡所有的硬件節點,液冷存儲是全棧式液冷數據中心的關鍵一環。從計算節點來看,隨著新工作場景例如人工智能對算力的需求不斷增長,企業級服務器的能耗也在不斷提升。而且在當前時代,大多數深度學習人工智能仍處于訓練階段,“CPU+GPU”的部署模式造成異構服務器功率動輒就在 3KW 以上,對于數據中心制冷要求極高。即使是以兩路 CPU 為主的通用服務器,功率也已經達到1KW 以上,風冷數據中心和用戶面臨嚴峻的散熱挑戰。從存儲節點來看,作為數據中心的三大件之一,存儲器在數據中心 IT 系統能耗占比甚至即將超過 35%,比例僅次于服務器能耗。也
35、就是說,如果存儲系統的 PUE值降低,那整個數據中心的 PUE 值都會明顯降低。存儲系統的液冷化部署和改造仍應考慮客戶的幾層遞進式需求,即,存儲系統性能提升要求下的存儲密度增加;AI、5G 等技術落地后對數據調用和傳輸等效率的提升;以及在多平臺、多數據環境中的智能化管理與運維等。存儲密度的提升將液冷需求指向穩定的、多層的冷板散熱架構,高效的冷板散熱能力將提升數據傳輸效率,智能化的冷板漏液監控可以保障存儲系統的液冷散熱系統穩定運行。從網絡設備來看,路由器在提供強大的網絡傳輸速度時,也在加劇運行所產生的熱量,繼而導致無線信號受到影響,便會出現信號不穩定、斷網等現象,一般路由器采用的都是被動散熱,也
36、就是通過機身散熱孔,當路由器的三個熱源,路由器內存閃存芯片、路由器 CPU、無線芯片和以太網網卡芯片同時散熱時,目前的導熱硅膠墊片明顯散熱能力不足,應用液冷核心路由器或將液冷接入交換機都將有效幫助網絡設備散熱,并提升傳輸效率。目前冷板式液冷技術正在逐漸落地,并且在加快落地速度,這主要是由于冷板式液冷跟數據中心 IT 硬件基礎設施可以是說天然的搭配方式,技術買家原本在 CPU 等高散熱部件上都會加一塊散熱片,通過盡可能大的擴散面積,以純物理的方式把熱量散走。將散熱片換成水冷板之后,其散熱效率可以提高 3000 倍,通過冷卻液把17目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河熱量快速
37、帶走,可以實現節能降耗,且能讓高功耗部件始終處于合適的溫度下,穩定高效的運行。IDC 統計數據顯示,中國服務器市場在 2022 年同比增長 9.0%,市值達到 273.4億美金(2 千億人民幣)規模;而其中液冷服務器市場份額為 9.6 億美金(69 億人民幣),占整體服務器市場 3.5%的比重,預期增長高于服務器平均增速。液冷技術涉及多專業領域的協同和融合,在真正規?;瘧玫缆飞先悦媾R諸多困難和挑戰,落地過程中需要技術供應商構建有效的生態鏈條,需要業內各方從標準制定、技術攻關、成本降低、運營實踐等方面推動新技術的切實落地和良性發展。目前液冷技術買家較為看重全棧式液冷數據中心交付能力,同時在后疫
38、情時代,對全棧式液冷數據中心部署和改造成本考量尤為看重。用戶需要技術供應商為其打造全生命周期液冷整體解決方案,實現液冷數據中心端到端交付,無論是新建模塊化液冷數據中心、預制化液冷數據中心,還是老舊機房改造,能夠實現從前期規劃咨詢、中期設備定制、后期交付施工的端到端服務,滿足用戶復雜多樣的數據中心建設需求的技術供應商將獲得市場的競爭優勢。同時,由于數據中心的使用周期遠高于 IT 設備,未來幾年老舊數據中心的綠色化改造也將成為液冷數據中心建設過程的一項重要工作。面對這一類的液冷改造需求,需要技術供應商在盡可能實現原有風冷室內空調復用、機柜復用、室外冷源復用的前提下,新增液冷系統部件及高功耗配電,用
39、最小的系統改動,實現液冷的性能優勢最大化。IDC 研究發現,由于技術、生態、業務上的高門檻,液冷存儲發展仍需市場助推力。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河18目錄液冷數據中心逐漸落地數據中心液冷解決方案根據電子信息設備與冷卻液是否直接接觸分為非接觸式液冷技術和接觸式液冷技術,非接觸式液冷技術主要為冷板式液冷,接觸式液冷技術主要分為浸沒式和噴淋式液冷。在冷板式、浸沒式和噴淋式這三條技術路線中:冷板式通常采用冷卻液體流經金屬制冷板對 CPU、內存和磁盤等高功耗的部件進行接觸式降溫,這主要取決于傳統數據中心對原有基礎設施改造成本和難度的關注度,以及當前冷板式方案成熟度較高,商用基
40、礎較好。根據 IDC 關于服務器系統出貨的統計,冷板服務器占 90%。浸沒式將發熱電子元器件與制冷液直接接觸,利用制冷液相變形制直接將熱量帶走,所以在 PUE 要求較高的場景中有所應用,且在散熱效率和單機柜功率、空間利用率等方面比冷板式具有顯著優勢,但是受限于基礎設施改造、建設成本,電子氟化液或其他冷卻液的成本及可維護性較差等因素,目前緩慢發展。噴淋式是用冷卻液直接噴淋芯片等發熱單元,通過對流換熱進行散熱的一種方式。與浸沒式同樣適用于結構承重經過特殊加固的新建項目,不同的是噴淋式目前單機柜最大負載 48KW,應用范圍比較狹窄。冷板式液冷浸沒式液冷噴淋式液冷接觸類型非接觸式接觸式接觸式作用原理冷
41、卻液與服務器發熱部件不直接接觸,將液冷板固定在服務器主要發熱器件上,依靠流經冷板的液體將熱量帶走。服務器發熱部件完全浸泡在冷卻液中,發熱部件與冷卻液接觸充分,發出的熱量隨時被循環液體帶走。面向服務器發熱部件,冷卻液借助重力或系統壓力直接噴淋到發熱部件或與之連接的固體導熱材料上,進行熱交換。冷卻液用量用量少,對品質要求相對較低用量大,對冷卻液安全性要求高用量適中,對品質要求較高表 2 冷板式、浸沒式和噴淋式液冷技術方案對比19目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河目前,技術供應商在冷板式液冷技術研發方面分別面向服務器、存儲器和網絡設備發力。服務器方面,服務器的液冷技術落地情況
42、略優于數據中心其他硬件基礎設施,目前已經涵蓋機架式液冷服務器、整機柜液冷服務器模組。機架式液冷服務器面對 CPU、DIMM 等發熱量較大的部件使用冷板式液冷技術,兩個 CPU 上的冷板通過波紋管串聯,通過熱交換性能更高的冷卻液來提高服務器散熱能力,并降低風扇能耗及噪聲;高性能服務器是在更小的物理空間內集成更多的處理器和 IO 擴展能力。通常,在一個機箱里,電源和風扇被多臺計算器節點共享,高性能液冷服務器在主要散熱芯片上增加液冷模組,例如在 CPU 通過串聯的方式進行搭配,采用冷板進行散熱,冷板與冷板之間通過硬管進行連接;工作液通過分液器后流到節點中,會先流經后置 CPU 冷板,再流到 VR 芯
43、片處的冷板最后流到前置 CPU 冷板后,最后再匯入分液器使服務器的 PUE 更低,性能也可以進一步提高;異構設計的,例如人工智能型液冷服務器通常配置一個或多個專用計算加速模塊以實現在圖像或人工智能等專用計算性能上的高速計算能力,通過液冷技術,將冷板冷板式液冷浸沒式液冷噴淋式液冷建設成本主要成本在換熱系統和冷卻系統,成本適中架構調整較大且冷卻液為專用冷卻液,用量大,成本較高需增加必需裝置,加固承重結構,成本較低運營成本避免漏液風險,需有一定技術能力,運維成本較高遇故障需將服務器從冷卻液中取出,運維成本高由于服務器部件做過隔水處理,更換即可,成本較低服務器兼容性需根據服務器定制冷板因冷卻液不同,需
44、進行兼容性測試因冷卻液不同,需進行兼容性測試總結散熱均勻,可靠性強,維護方便,但前期投入成本較高,更適合高性能計算和更高規格的機房散熱效果好,系統穩定,具備性價比優勢,但對機房和運維要求高,不利于維護和管理散熱快速,節能降耗,操作便利,但成本較高且適用范圍比較窄,不適合高密度服務器和超大規模數據中心來源:IDC,2023液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河20目錄覆蓋 GPU、CPU 等大功率部件。以 GPU 冷板組件為例,通常由冷板、轉接頭等主要零部件構成,冷板整體預留有配管或接口模塊連接口,流體通道為散熱核心部件,冷卻液流過流體流道,并通過與流體流道的接觸實現換熱,可解決
45、計算能力持續提升帶來的能耗大幅增長的難題。存儲器方面,面向硬件和軟件組件,技術供應商一方面推動全閃存化存儲系統落地,配置 SSD 存儲,省卻 HDD 磁頭運轉,在相同容量下,電力能耗可降低 70%,但無法避免成本上漲;軟件方面,積極采用大比例糾刪碼、數據重刪壓縮,以此來減少設備數量,但可能會影響存儲性能,這兩種方式都能降低數據中心能耗,但是不夠全面、徹底。將換熱效率更高的冷液冷技術加載到存儲系統上,是技術供應商亟需考量的未來技術通路??偨Y來看,當前的液冷數據中心主流配置仍是以硬件冷板液冷方案,搭配針對應用場景進行優化的軟件,提高數據存儲的效率和安全性。在這方面,曙光液冷存儲目前占據領先地位。硬
46、件方面,曙光液冷存儲器在持續升級和優化 NVMe 等介質、水冷箱式機組結構,提升硬件效率:液冷技術的天然優勢就是無風扇設計,可為硬盤提供超靜音且無振動的工作環境,幫助提高讀寫性能及穩定性。精細化的部件級制冷,避免設備局部熱點,降低內存、HDD 等存儲關鍵部件的工作溫度,保證元器件高性能、高可靠工作,提升存儲系統整體可靠性。采用冷板式液冷設計,工藝成熟,部署、維護便捷。產品選型的部件兼容多種冷媒,包括去離子水、氟化液等冷媒介質,滿足多種使用場景。硬盤熱插拔及模塊化設計,便于硬盤獨立更換,易于維護。坦克鏈理線工藝,插拔維護時硬盤模塊不斷電,日常維護不停機。硬盤模塊雙盤倉設計,內部滑軌的抽拉形式,可
47、將整個盤倉抽出,極大提升維護便利性。雙盤倉內部互斥結構,單盤倉抽出時另一盤倉自動上鎖,避免雙盤倉同時抽出導致機箱掉落或機柜傾倒,保障操作安全可靠。21目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河 在存儲節點內部設置多個液冷監控點,并進行實時探測,通過漏液導流結構、漏液檢測裝置、溫度監控裝置,在發生漏液、冷板堵塞、斷液、超溫等故障問題時自動報警,實現智能運維。在全棧式液冷數據中心中,系統軟件也在系統穩定、性能提升和綠色節能方面起到關鍵作用。反向看,液冷技術的發展也在推動軟件研發方向錨定。軟件需采用大比例糾刪碼、數據重刪壓縮等技術,提高存儲資源的利用率,保障容量和性能的基礎上,降低存
48、儲系統總功耗。根據業務需求實現分區節能,即基于不同的節點分區,通過 CPU 降頻、硬盤休眠等措施靈活進行分區狀態的控制和切換,降低存儲系統的整體功耗。獨立的電源控制子系統,能夠通過硬盤控制驅動,可對任意一塊硬盤進行上電和下電,達到功耗的精細化調節。以曙光 ParaStor 產品為例,ParaStor 可以提供 TB/S 級別的數據傳輸速度和 EB 級別的存儲容量,能夠滿足大規模數據處理和存儲的需求,可以靈活地擴展存儲容量和性能,支持橫向和縱向的擴展方式,在提升性能方面首先發揮優勢;且能進一步的結合智能化節能技術、EC 糾刪碼、重刪壓縮等技術,自動化地管理和優化數據存儲和處理的資源分配,降低系統
49、功耗,提升資源管理和調度能力、提高數據處理和存儲的效率;高度協同硬件,向上針對不同應用,支持多種不同的接口協議和標準,與各種操作系統、應用程序和硬件設備進行無縫集成和協同工作;面對業務支持多種不同的數據類型,包括結構化數據、半結構化數據、非結構化數據等,以豐富的文件、對象、塊數據接口模式針對不同業務場景提供支持。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河22目錄網絡設備方面,隨著大型數據中心的高密度、高帶寬的網絡設備集中使用,會帶動核心交換機的快速發展。但受限于網絡交換機的高度要求,一般采用 1U 架構,散熱導片及風扇功率的設計存在“面多加水,水多加面”的循環,因此 MAC 和光模
50、塊等熱源無法完全通過風冷方式帶走全部熱量,熱量如不能及時散出,將對網絡質量造成重大影響?;谏鲜隹剂?,各方在積極布局液冷交換機的生產和部署,與服務器和存儲設備共同構建全棧式液冷數據中心的一體化解決方案。作為全棧液冷數據中心“水桶效應”中重要一塊板,液冷網絡設備通過多種手段幫助液冷數據中心降本增效,包括采用節能技術如合理配置網絡設備避免冗余和浪費;使用低功耗的處理器、內存等元器件、優化網絡架構;減少網絡層次和節點,降低網絡復雜性和能耗,同時提高網絡的穩定性和可靠性;采用綠色材料;合理利用自然資源;以及定期維護和升級網絡設備保持設備最佳狀態等。同時安全和高效性不能忽視,由于數據中心網絡承載著大量敏
51、感數據和關鍵業務,因此必須采取嚴格的安全措施,如訪問控制、防火墻、入侵檢測系統等,以防范潛在的威脅,確保整體效率和穩定性??偟膩碚f,服務器、存儲和交換機等基礎設施作為數據中心的耗能大戶,受到更高的散熱需求的驅動,目前技術供應商在高效散熱的探索仍未止步,仍在積極向更高性能的浸沒式液冷計算探索。浸沒式液冷是以液體作為傳熱介質,將發熱器件完全浸沒在冷卻液中進行熱交換的冷卻技術,按照熱交換過程中傳熱介質是否存在相態變化,可分為單相浸沒液冷和相變浸沒液冷兩類。單相浸沒液冷是作為傳熱介質的液體在散熱過程中僅發生溫度變化,而不存在傳熱介質相變過程,完全依靠物質的顯熱變化傳遞熱量;相變浸沒液冷是作為傳熱介質的
52、液體在散熱過程中發生相態轉變,依靠物質的潛熱變化傳遞熱量。浸沒式液冷系統作為一種新型高效、綠色節能的數據中心冷卻解決方案,具有節能和高密度的優勢。冷卻介質和發熱器件直接接觸,有效降低熱交換過程的接觸損耗,提高熱交換效率;與液體直接接觸不需要散熱器及冷板等結構,散熱性能相對傳統方式效率高,最大程度提高部件的結構密度。23目錄四、中國液冷存儲系統部署成功案例全棧式液冷數據中心成功案例 華南理工大學對于教育和文化領域的數字化要求,黨的二十大報告提出,要“推進教育數字化,建設全民終身學習的學習型社會、學習型大國”,以及“實施國家文化數字化戰略,健全現代公共文化服務體系,創新實施文化惠民工程”。教育數字
53、化被首次寫進黨代會報告中,凸顯了數字化在教育工作中的戰略地位,為教育系統的信息化工作提出了行動指引。地處廣州的華南理工大學(后文簡稱學校)是直屬教育部的全國重點大學,是理、工、醫結合,管、經、文、法等多學科協調發展的綜合性研究型大學,并以雄厚的原始科研創新能力推動進一步的大學建設,建有 29 個國家級科研平臺、231 個部省級科研平臺,數量位居全國高校前列、廣東高校首位。學校在推進數字教育的實踐中,深入學習貫徹黨的二十大精神,緊扣數字化技術關鍵點,構建數字空間、數據賦能數據和業務雙驅動,同時著力打造鼓勵全校師生積極參與數字教育建設的新生態,推動數字教育高質量穩步發展。液冷數據中心白皮書數據中心
54、液冷革命,解鎖未來的數字冰河24目錄具體來講,學校的高性能計算等數據中心廣泛承載了科研平臺和智慧校園等業務,為國家科研項目和在校師生提供數據計算基礎。在此背景下,學校采用曙光的高密度液冷存儲 ParaStor 液冷存儲系統,直接擴展近 25PB 的存儲空間,基本完成全棧式液冷數據中心建設,全面覆蓋冷板、浸沒等多重散熱方式。在全棧式液冷數據中心的落地過程中,學校的項目主要負責人曾表示,在性能和能耗以及總擁有成本間尋求平衡是學校數據中心改造的重點。學校數據中心在 2019 年建成,數據中心 PUE 在測算中在 1.4 至 2 之間,耗電量巨大,如何將PUE 值降低到國家要求的范圍之內,目標為 1.
55、2,是學校數據中心首先面臨的硬性指標難題;本次建設改造的規模較大,存儲節點超過 20 個,且存儲容量擴展接近25PB,如何控制耗電量也成為問題;最后是保障改造后的性能提升目標,甚至做好工作計劃,以犧牲能耗來提升性能。面對這些要求,學校最終研判決定采購曙光ParaStor 液冷存儲系統,且切實幫學校解決了以上的問題:由于現有的數據中心做溫水水冷仍需進行改造,如冷卻塔、管路等加建,改造首先需要控制總體改造成本,曙光在提供全棧式液冷數據中心解決方案時可以覆蓋解決方案的全生命周期,在學校的數據中心改造項目中,從基礎設施開始,專業的服務團隊協助進行設計建設,從基建開始就將液冷系統的安全部署考慮在內,并為
56、未來的數據中心擴容做足準備;同時曙光 ParaStor 液冷存儲系統與曙光液冷服務器技術同源,可與液冷服務器形成“存算一棧式”液冷方案,曙光.ParaStor.液冷存儲系統可便捷、高效地與液冷服務器形成“存算一棧式”液冷方案,便于數據中心基礎設施的統一規劃、設計和共用,助力數據中心提高運維效率。在 PUE 值降低方面,曙光 ParaStor 液冷存儲系統全方位繼承曙光成熟、穩定的液冷技術,完全實現冷板散熱,與存儲技術全面結合;同時,專業團隊駐場幫助軟件調優,通過重刪壓縮等技術進一步降低系統功耗,測試顯示,存儲節點 PUE 值可降至 1.2 以下。在數據中心計算性能保障方面,液冷存儲方案支持 C
57、PU 組件最大化發揮性能優勢,無懼溫度帶來的業務中斷風險;同時液冷的方案讓整套基礎架構遠離震動風險,更好的保護硬盤,延長硬盤壽命,保障業務連續性。相比傳統風冷散熱,曙光全棧式液冷方案最高可讓數據中心能耗降低 30%,可有效解決智能計算及存儲的功耗和散熱問題。25目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河 最后的全棧式液冷部署風險來自于保障數據安全方面,液冷工作環境的風險之一來自冷板漏液,曙光 ParaStor 液冷存儲系統在存儲節點內部設置多個液冷監控點,并進行實時探測,通過漏液導流結構、漏液檢測裝置、溫度監控裝置,在發生漏液、冷板堵塞、斷液、超溫等故障問題時自動報警,可有效保
58、障系統不遭受漏液風險;另外,在維護設計方面,采用坦克鏈理線工藝,抽拉式硬盤熱插拔的模塊化設計不僅便于維護,且雙盤倉的互斥設計讓單盤抽出時自動上鎖另一盤,防止同時抽出導致機箱掉落霍機柜傾倒,保證了操作的安全可靠。學校數據中心負責人表示,擁抱液冷技術解決方案幫助學校數據中心的高性能計算業務有效的降低了 PUE,將逐步實現綠色數據中心的建設目標,在此過程中也希望曙光這樣的技術供應商可以提供更標準的基礎架構,讓液冷數據中心能夠可持續發展。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河26目錄曙光仍在積極探索優化存力的液冷 解決方案,賦能千行百業隨著國家綠色數據中心建設要求的進一步落實,多個行業
59、在進行數據中心優化和新建數據中心時都在積極尋求液冷技術的賦能,曙光在多個行業場景中,深入行業應用以期幫助企業與組織機構液冷化部署數據中心,降本增效。運營商云平臺提供 IaaS 服務應用場景中,運營商云平臺承載行業網關、家庭云網關、視頻融合平臺等多種重要業務。但由于各業務建設時間不一致,導致數據離散存儲,無法滿足用戶對智能分析的需求。但在常規存儲方案中,往往會根據業務需求部署多套分布式存儲系統,在性能、存儲空間上出現使用不均的情況,導致資源浪費,存儲空間利用率低等問題。而且在狹小空間內,電子元器件集中密布、局部熱點過多,傳統的風冷已無法滿足其散熱需求,同時,其高能耗帶來能源的大幅消耗,運營成本居
60、高不下。曙光可以通過 ParaStor 分布式液冷存儲系統,幫助構建運營商的數據存力底座,實現數據集中,在提供常規服務的同時,利用 AI 技術,提供智能增值服務。曙光ParaStor 液冷存儲系統采用典型的“三明治”架構,從下到上分別是硬件資源層、數據處理層、協議應用層,其中硬件資源層采用高密設計,為硬盤提供超靜音且無振動的工作環境,顯著提高硬盤 IO 讀寫性能的穩定性;數據處理層的核心是分布式存儲軟件,由其將硬件資源池化,高效管理;協議應用層對外提供豐富的存儲協議,一套存儲集群同時支持文件、塊、對象、HDFS 等接口,實現結構化與非結構化數據的融合存儲,滿足業務的不同存儲需求。伴隨云數據中心
61、設備數量龐大,系統復雜度高,運維工作復雜度、難度高,如何有效管理、維護設備,提升整個數據中心可靠性和持續服務能力也是客戶面臨的一個主要難題。圖 3 曙光 ParaStor 液冷存儲架構來源:曙光存儲不同存儲協議對接各個類型的業務應用協議應用層分布式存儲軟件(數據管理、數據保護、資源效率等)數據處理層存儲節點(包括液冷存儲)網絡設備(交換機)硬件資源層27目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河在智慧校園場景中,云平臺、數據庫系統和大數據分析等業務承載了多所學校師生信息,大量校內、外視頻攝像頭數據的存儲和分析對存儲基礎設施提出需求,如何在實現教育資源共享的同時,通過 AI 計算
62、評估、預判師生安全環境,為智慧校園平臺的管理和決策提供有力支撐成為難題。曙光液冷存儲方案通過改變以往每套業務系統都需獨立存儲系統的建設方案,采用一套液冷存儲支撐所有業務,節省大量的配套網絡、機柜、能耗等資源,節省存儲節點約 60%,可大幅提升存儲資源利用率;同時單套存儲系統可同時提供 iSCSI、文件、對象、HDFS 等協議,可深入不同云平臺或數據庫等場景;在穩定性方面,液冷分布式存儲方案可讓設備在極低震動的條件下運行,解決震動問題,提升硬盤可靠性及使用壽命。人工智能計算中心場景中,存儲系統首先要面臨巨量的多模態數據,同時數據的增速和增量仍在疊加,目前的 AI 應用已經在文本生成方面落地,未來
63、將逐漸上線生成式圖片,數據量將以 10 倍之速提升;視頻應用將推動數據量走向 PB 級、百 PB級,這樣海量數據背景下 AI 應用對于數據的實時訪問和處理需求成為數據中心的性能挑戰。為提升數據中心性能,大量計算芯片的疊加,和并行算法的使用,導致數據中心能耗大幅提升。曙光對智算中心的需求進行了明確分析,可以全棧式提供液冷計算系統、液冷存儲系統及相關支撐管理系統,并設計 PUE 達標,其中計算系統兼容主流通用異構計算的編程環境;分布式存儲支持千億數據量的文件和對象寫入;集群資源管理系統支持超大規模監控管理,可以響應智算中心的技術需求。在智算中心實施落地過程中,曙光可以提供完整的建設實施方案,項目管
64、理機構配置合理,施工組織及部署方案完備,質量和進度保障措施科學,其次在實施完成后可以提供清晰的調試和運行方案,同時提供完整的培訓方案,科學、合理的針對培訓對象提供培訓計劃、內容和培訓評估,最后面對所有硬件、軟件可以提供駐場運維和售后服務,幫助智算中心實現完整的建設目標。28目錄五、未來展望 液冷存儲未來的發展機遇碳達標和綠色節能任務下推動液冷技術落地數據中心評價液冷解決方案的主要標準有三個:PUE、安全性和可靠性,其中當前權重最重的是 PUE。隨著國家的“雙碳戰略”.和“東數西算”逐步落實,在全國各區域對 PUE 的要求不同,按照國家一體化數據中心建設要求,東部數據中心集群的 PUE 要小于
65、1.25,西部要小于 1.2。如在目前算力相對集中的東部地區,要么地方政府批復的新建數據中心 PUE 指標必須控制在 1.25 以下,要么老舊數據中心的電力供應采取階梯電價的方式,能耗越高的 IDC,所要付出的電力成本將越高,因此這也是越來越多的數據中心采用液體制冷的方式,已滿足算力建設和能源消耗成本間的有效平衡?!皷|數西算”推動隨著數字經濟的快速發展,數據已經成為重要的生產要素和戰略資源。為了更好地利用和管理數據,許多國家和地區都開始了大規模的數據中心建設。其中,“東數西算”是我國重要的戰略布局,其本質是將東部的數據存儲到西部,以實現數據資源的優化配置。這種戰略布局可以利用西部的資源優勢,如
66、低成本的數據存儲和更29目錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河多的計算資源,來滿足東部的數據存儲需求。通過建立高效的數據傳輸網絡和在西部建立強大的計算中心,可以促進東西部之間的信息流動和資源共享,提高數據處理效率,降低能源消耗和減少碳排放。為響應國家“東數西算”“東數西存”戰略,西部地區大力發展數據中心產業,打造數據底座,存儲容量占比超過 23%,并有望逐年提高。中部、東北部地區數字發展起步較慢,整體存力發展水平不足,中部六省及東北三省的存儲規模僅占全國的不到 17%。而全棧式液冷數據中心能夠無視海拔和地域等環境影響,實現高密度配置,提高數據中心的運算效率。液冷服務器部署量
67、提升的推動IDC 預計,2022-2027 年,中國液冷服務器市場年復合增長率將達到 56.6%,2027 年市場規模將達到 96 億美元,液冷行業前景美好!但在 2022 年,中國液冷服務器數量不到服務器總量的 3%,滲透率在 10%左右。自 2023 年至今,主流IT 設備廠商均已公開表明將加大研發力度并加快產品迭代速度,這也將加速液冷在數據中心的規?;涞?。中科曙光的 ParaStor 液冷存儲產品將液冷方案與存儲技術結合,能夠有效降低 PUE 值(即數據中心消耗的所有能源與 IT 負載使用的能源之比)。其 ParaStor 液冷存儲產品與液冷服務器形成“存算一棧式”液冷方案,在提高運維
68、效率的同時,助力數據中心部署更便捷。據中科曙光發布的投資者關系活動記錄表,其曙光浸沒式相變液冷技術可助數據中心實現全地域全年自然冷卻,PUE 值最低可降至 1.04。最終用戶的認可以及冷板、冷液供應商的持續研發投入盡管市場對數據中心制冷有旺盛的需求,但液冷技術從宏觀上看仍處于發展早期階段,產業生態建設仍不完善,存在多方競爭,無法形成凝聚力。中國移動、中國電信、中國聯通三家基礎電信運營企業,邀請液冷產業鏈的相關代表企業,共同發布了電信運營商液冷技術白皮書。電信運營商將聯合產學研上下游,全力打造高水平液冷生態鏈,構筑開放生態,引領形成統一標準,從傳統意義的單純用戶,轉變為液冷生態的主導者、設計者、
69、構筑者,推進產業生態成熟。Intel 等全球算力提供商提出在 OCP(開源計算項目)下為數據中心液冷用快速接頭制定 UQD 全球標準,希望能在液冷數據中心防噴快換接頭的快速更換提供開放標準,加快液冷數據中心的快速部署能力以及減輕運維難度。根據2023 中國存力白皮書顯示,超 600EB的數據存儲都集中在我國東部發達省份,占全國比例超過 60%。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河30目錄液冷存儲未來的發展挑戰全棧式液冷數據中心交付能力以及生態合作伙伴配合雖然液冷技術已經在降低數據中心的能耗和散熱方面展現出了顯著的優勢,但如何進一步提高其性能、實現性能、能耗、成本的三元平衡仍然
70、是一個巨大的挑戰。此外,液冷技術的研發和應用仍然處于初級階段,需要更多的技術突破和創新。盡管現在很多企業都在進行液冷數據中心建設,但是真正懂得液冷數據中心建設技術的人才并不多,這也限制了液冷數據中心的發展。未來需要液冷生態鏈的眾多合作伙伴加強專業人才的培養和人才梯隊的建設,以實現液冷創新技術的高效開發和利用。新建全棧式液冷數據中心投入及舊數據中心的全棧式 液冷化改造成本全棧式液冷數據中心需要全新的設備和架構,包括服務器、網絡設備、存儲設備等,并需要大量的管道和設備進行散熱。這些都需要大量的資金投入,尤其是在冷卻系統的設計、構建和優化上。液冷系統的引入將增加數據中心的運維復雜性,例如漏液檢測、系
71、統監控等問題,這可能需要專門的人員進行維護和管理。由于液冷技術的高成本和復雜性,一些用戶可能會對其持保留態度,這可能會影響其市場推廣和應用。IDC 建議數據中心用戶可以通過對冷卻系統精細化設計、水泵變頻、節能空調設備選型、施工工藝優化、運維策略動態調整等方法降低數據中心冷卻系統的能耗。但以上的優化過程涉及的環節和因素較多,將每一環節的節能效果發揮到極致難度很大,對于運營團隊的能力要求較高有全棧式液冷數據中心部署能力的廠商將成為客戶青睞的合作伙伴。技術供應商需要在液冷數據中心領域不斷加大研發儲備、繼續豐富產品體系、提升液冷智能化管理和全棧式液冷數據中心交付能力等,通過液冷技術持續創新,積極31目
72、錄液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河參與行業標準建設,在推進液冷產業化、綠色數據中心標準化道路上做出更多的貢獻。同時積極參與.“東數西算”.工程,提高數據中心可再生能源利用率,開拓可再生能源豐富的市場區域,協助用戶擴展數據中心綠色發展道路。未來數據中心市場將出現“風冷液冷”協同發展的格局。風冷不會完全被取代,但液冷將迎來快速發展的機遇期。國際數據公司(IDC)是在信息技術、電信行業和消費科技領域,全球領先的專業的市場調查、咨詢服務及會展活動提供商。IDC 幫助 IT 專業人士、業務主管和投資機構制定以事實為基礎的技術采購決策和業務發展戰略。IDC 在全球擁有超過 1100
73、名分析師,他們針對 110 多個國家的技術和行業發展機遇和趨勢,提供全球化、區域性和本地化的專業意見。在 IDC 超過 50 年的發展歷史中,眾多企業客戶借助 IDC 的戰略分析實現了其關鍵業務目標。IDC 是 IDG 旗下子公司,IDG 是全球領先的媒體出版,會展服務及研究咨詢公司。IDC 中國(北京):中國北京市東城區北三環東路 36 號環球貿易中心 E 座 901 室郵編:100013+86.10.5889.1666 idc idc凡是在廣告、新聞發布稿或促銷材料中使用 IDC 信息或提及 IDC 都需要預先獲得 IDC 的書面許可。如需獲取許可,請致信。翻譯或本地化本文檔需要 IDC 額外的許可。獲取更多信息請訪問 ,獲取更多有關 IDC GMS信息,請訪問 https:/ 2023 IDC。未經許可,不得復制。保留所有權利。液冷數據中心白皮書數據中心液冷革命,解鎖未來的數字冰河