通信·行業專題:液冷溫控智算中心的重要保障-240729(46頁).pdf

編號:170058 PDF  PPTX 46頁 3.50MB 下載積分:VIP專享
下載報告請您先登錄!

通信·行業專題:液冷溫控智算中心的重要保障-240729(46頁).pdf

1、請務必閱讀正文之后的免責聲明及其項下所有內容2024年年7月月29日日【國信通信國信通信行業專題行業專題】液冷溫控液冷溫控智算中心的重要保障智算中心的重要保障行業研究行業研究 行業專題行業專題通信通信投資評級:優于大市投資評級:優于大市證券研究報告證券研究報告|證券分析師:馬成龍S0980518100002請務必閱讀正文之后的免責聲明及其項下所有內容液冷溫控:智算中心的穩定器01液冷驅動溫控價值提升,國內市場空間近百億02溫控廠商受益趨勢明確,電子散熱加速國產替代03目錄目錄投資建議028X8XaYbZ8X8XcWdX8ObP6MpNmMsQtPeRoOrOeRtQnN6MmMwPxNqNzQ

2、uOnOtP請務必閱讀正文之后的免責聲明及其項下所有內容投資摘要投資摘要u AI時代數據中心熱密度加速提升,液冷應用成為剛需。時代數據中心熱密度加速提升,液冷應用成為剛需。智算中心需要在穩定溫度環境中運行,溫控技術必不可少。AI時代,算力芯片功率持續提升,設備功率密度觸及傳統風冷降溫方式極限,液冷技術應用大勢所趨。當前階段,液冷應用主要采用冷板式技術;浸沒式方案是長期發展方向。同時,國內PUE考核趨嚴,運營商液冷白皮書規劃有望進一步加速國內液冷應用。u 液冷的通用架構可分為機房側(包括一次側設備和二次側設備)以及液冷的通用架構可分為機房側(包括一次側設備和二次側設備)以及ICT設備側(如冷板模

3、組等):設備側(如冷板模組等):機房側:機房側:二次側設備包括Manifold、CDU、管路、動環系統等,一次側設備主要包括室外冷水機組。目前冷板式液冷的單位價值量約在5000-6000元/kw,基于此我們預計國內液冷滲透率2024年進入加速期,對應2025年機房溫控市場規模有望達140億;ICT設備側:設備側:服務器液冷均熱板已開始加速使用,與核心芯片(如GPU)為1:1對應關系,單位價值量約1000-2000元,2025年國內市場為30-60億元。u 溫控廠商受益趨勢明確,電子散熱加速國產替代:溫控廠商受益趨勢明確,電子散熱加速國產替代:產業鏈競爭格局:產業鏈競爭格局:目前液冷仍處于產業發

4、展初期階段,服務器廠商、溫控廠商、零配件公司、互聯網大廠都參與其中,互相滲透,體現出競爭格局混亂的特征。但長期來看,解耦交付是大趨勢。溫控廠商依靠專業化的能力,產業鏈地位會逐步提高。其中,國產溫控公司有望依靠定制化能力、服務響應、后期運維等優勢逐步提高市占率。電子散熱競爭格局:電子散熱競爭格局:隨著液冷技術不斷成熟,本土公司對于部分零配件的生產能力逐步增強,有望由外采改為自己設計制造模式,從而逐步參與到電子散熱市場中。同時,原先其它消費電子領域的公司,通過跨界,也參與到競爭中,在國產替代背景下,份額提升。u 投資建議:投資建議:隨著芯片功率提升、單機柜密度提升,液冷成為AIDC時代的必選散熱技

5、術。我們認為在長期解耦交付發展趨勢下,具備系統級理解能力的專業溫控廠商有望更為受益行業發展趨勢,同時部分與芯片方案具有綁定關系的廠商競爭優勢更為明顯,重點推薦英維克,推薦重點推薦英維克,推薦關注申菱環境等。關注申菱環境等。請務必閱讀正文之后的免責聲明及其項下所有內容重點公司盈利預測及估值重點公司盈利預測及估值表 1:重點公司盈利預測及估值(截至7月25日)產業鏈產業鏈代碼代碼簡稱簡稱投資評級投資評級歸母凈利潤(百萬元)歸母凈利潤(百萬元)EPS(元)(元)PEPB收盤價收盤價總市值總市值20232024E2025E20232024E2025E20232024E2025E(7月月25日)日)(億

6、元)(億元)溫控設備002837.SZ英維克優于大市3445357030.610.720.9536.8 31.1 23.6 622.42166301018.SZ申菱環境優于大市1052853630.391.071.3752.6 19.2 15.0 2.220.5155資料來源:Wind,國信證券經濟研究所整理和預測;申菱環境采用Wind一致預期請務必閱讀正文之后的免責聲明及其項下所有內容一、液冷溫控:智算中心的穩定器一、液冷溫控:智算中心的穩定器請務必閱讀正文之后的免責聲明及其項下所有內容液冷溫控液冷溫控智算中心的穩定器智算中心的穩定器u 溫控溫控對于保障高密度算力中心正常穩定運轉有重要的意義

7、。對于保障高密度算力中心正常穩定運轉有重要的意義。大多數服務器和網絡設備的工作溫度范圍在5攝氏度至35攝氏度之間。為了確保設備的最佳運行狀態和延長使用壽命,國際標準建議IDC機房的溫度應控制在22攝氏度至24攝氏度之間。如果溫度過高,設備容易過熱導致損壞;如果溫度過低,設備易產生冷凝水,導致短路和損壞。u 智算中心(智算中心(AIDC)中,液冷不可或缺。)中,液冷不可或缺。隨著智算中心所采用芯片功耗的提升、單機柜功率密度的快速增長,傳統風冷逐漸觸及溫控性能極限,液冷溫控成為算力中心溫控的必備技術。圖圖 2:CPU/GPU TDP變化趨勢變化趨勢資料來源:維諦技術官網,國信證券經濟研究所整理圖圖

8、 1:智算中心運行環境:智算中心運行環境資料來源:英維克官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容u 溫控底層技術主要分為:風冷、冷凍水(間接蒸發冷)、液冷、相變材料、電子散熱技術(導熱材料散熱、熱管散熱、均熱板等)。u 數據中心存量場景中以風冷為主,液冷技術的使用比例正不斷提升數據中心存量場景中以風冷為主,液冷技術的使用比例正不斷提升溫控技術的原理與路徑溫控技術的原理與路徑表表 2:主要溫控方式及使用場景對比:主要溫控方式及使用場景對比冷卻方式冷卻方式使用場景使用場景舉例舉例滲透率滲透率優點優點缺點缺點風冷風冷數據中心數據中心運營商、第三方運營商、第三方IDC、

9、政企等中小、政企等中小型型IDC存量存量70%以上,新增占比下降以上,新增占比下降相對節省場地,形態多樣(列間、行間等)、提高空相對節省場地,形態多樣(列間、行間等)、提高空間利用率、經濟效應相對好間利用率、經濟效應相對好能耗相對較高,低能耗相對較高,低PUE下發展受到一定限下發展受到一定限制(一般制(一般PUE 1.2以下用傳統的風冷比較以下用傳統的風冷比較難實現)難實現)動力電池奇瑞、江淮、北汽存量多以風冷為主1)適用于所有類型電池,構造簡單成本低;2)安全性能相對好,不用擔心液體泄露等大功率電池上使用發展受限,空氣出口/出口溫差較大,降溫效果無法保障儲能電池100MWh以下風冷為主存量9

10、0%以上,新增高容量電池占比下降間接蒸發冷間接蒸發冷數據中心數據中心騰訊騰訊IDC、部分新增大型、部分新增大型IDC對于對于PUE要求在要求在1.3以下的超大型數以下的超大型數據中心滲透率持續提升據中心滲透率持續提升1)相對風冷能夠有效降低)相對風冷能夠有效降低PUE水平;水平;2)相對于液冷)相對于液冷在成本端節??;在成本端節??;3)“三合一三合一”省去組裝等步驟省去組裝等步驟1)占地面積較大;)占地面積較大;2)需要消耗水資源;)需要消耗水資源;3)相對于液冷降溫效果有限。)相對于液冷降溫效果有限。液冷液冷數據中心數據中心阿里云、中科曙光超算數據中心等阿里云、中科曙光超算數據中心等 滲透率

11、較低,除部分超算外較少采用滲透率較低,除部分超算外較少采用目前目前降溫效果好,對于高密度場景(降溫效果好,對于高密度場景(eg功率密度功率密度15KW)有明顯優勢有明顯優勢成本較高,浸沒式液冷可放置服務器數量成本較高,浸沒式液冷可放置服務器數量大大減小大大減小動力電池眾泰、帝豪、比亞迪、蔚來、東風御風、宇通公交逐漸成為主流趨勢與電池壁接觸面之間換熱系數高;冷卻、加熱速度快;體積較??;散熱效果好存在漏液的可能;重量相對較大;維修和保養復雜;需要水套、換熱器等部件,結構相對復雜儲能電池新增中高功率儲能以液冷為主相變冷(直冷)工業為主(未來可能用于動力電池)如農業、科研等目前主要以工業的一些場景為主

12、1)空間需求??;2)換熱速率大;3)允許電池在大功率條件下運行避免電池過早退化(是未來動力電池發展的重要技術路徑之一)1)在新能源領域缺乏應用案例;2)缺乏熱機械性于散熱性能定量描述數據來源:中國熱管理網、施耐德、IDC、CDCC、公司公告,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容u 風冷式冷水機組主要是利用制冷劑氣體的循環達到冷卻效果:風冷式冷水機組主要是利用制冷劑氣體的循環達到冷卻效果:1)壓縮機吸入蒸發制冷后的低溫低壓制冷劑氣體后壓縮成高溫高壓氣體送入冷凝器;2)高壓高溫氣體經泠凝器冷卻后使氣體冷凝變為常溫高壓液體;3)常溫高壓液體流入熱力膨脹閥經節流形成低溫低

13、壓濕蒸汽,后再經過冷卻后回到壓縮機形成循環。優點:優點:體積相對較小,免去冷卻塔等安裝設施;缺點:缺點:制冷效果相對有限,易受到環境溫度影響;主要應用場景:主要應用場景:數據中心、新能源、工廠、服務器等。核心數據中心溫控技術一:傳統風冷核心數據中心溫控技術一:傳統風冷表表 3:風冷式冷水機組核心部件及工作原理:風冷式冷水機組核心部件及工作原理部件名稱原理壓縮機將經過蒸發器后吸收了熱能的制冷劑氣體壓縮成高壓氣體,然后送到室外機的冷凝器冷凝器將高溫高壓氣體的熱能通過風扇向周圍空氣中釋放,使高溫高壓的氣體制冷劑重新凝結成液體,然后送到膨脹閥膨脹閥使中溫高壓的液體制冷劑通過其節流成為低溫低壓的濕蒸汽,

14、然后制冷劑在蒸發器中吸收熱量達到制冷效果風機通過風機將熱能向周圍空氣中釋放(通常精密空調制冷量越大所需風機數量越大)資料來源:瀚信德官網,國信證券經濟研究所整理圖圖 3:風冷式冷水機組工作原理風冷式冷水機組工作原理資料來源:瀚信德官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 4:間接蒸發冷產品示意圖(左:干模式,右:濕模式)間接蒸發冷產品示意圖(左:干模式,右:濕模式)資料來源:華為數字能源白皮書,國信證券經濟研究所整理u 水冷冷水機工作原理:水冷冷水機工作原理:主要利用液體的循環&交換降溫:利用殼管蒸發器使水與冷媒進行熱交換,冷媒系統在吸收水中的熱負荷,使水降

15、溫產生冷水后,通過制冷壓縮機的作用將熱量帶至殼管式冷凝器,由冷媒與水進行熱交換,使水吸收熱量后通過水管將熱量帶出外部的冷卻塔散失(水冷卻))。優點:優點:能耗方面相對風冷更節能、受季節影響小全年降溫效果更好;缺點:缺點:前期設備投入較大、消耗水資源、后期維護成本高;主要用用場景:主要用用場景:工廠、互聯網IDC、輸配電升壓站等。u 水冷與液冷差異:數據中心水冷一般指間接蒸發冷,實質是一種高端風冷,對機房內仍采用送風形式降溫。水冷與液冷差異:數據中心水冷一般指間接蒸發冷,實質是一種高端風冷,對機房內仍采用送風形式降溫。核心數據中心溫控技術二:間接蒸發冷核心數據中心溫控技術二:間接蒸發冷通過水的蒸

16、發相變吸熱制冷,對室內設備通過送風制冷請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 5:液冷方式分類液冷方式分類資料來源:IDC中國液冷數據中心發展白皮書,國信證券經濟研究所整理u 液冷主要原理為用液體替代空氣作為冷媒,為發熱器件換熱。液冷主要原理為用液體替代空氣作為冷媒,為發熱器件換熱。相比風冷,液冷的主要原理是用液體替代空氣作為冷媒,為 CPU、芯片組、內存條以及擴展卡等發熱器件進行換熱,帶走熱量。在節能、成本、節地、芯片可靠性、機房環境等多維度,液冷相比風冷均具備優勢。u 液冷主要可分為冷板式、浸沒式、噴淋式三大類。液冷主要可分為冷板式、浸沒式、噴淋式三大類。按照接觸方式,液冷主要可

17、分為冷板式、浸沒、噴淋式三大類。其中,按照是否相變,冷板式液冷可分為單相冷板式液冷、兩相冷板式液冷,浸沒式液冷可分為單相浸沒式液冷、相變浸沒式液冷。核心數據中心溫控技術三:液冷核心數據中心溫控技術三:液冷表表 4:液冷技術對比:液冷技術對比液冷方案液冷方案非接觸式液冷非接觸式液冷接觸式液冷接觸式液冷冷板式冷板式浸沒式液冷浸沒式液冷噴淋式噴淋式相變浸沒式相變浸沒式單相浸沒式單相浸沒式投資成本投資成本初始投資中等,運維成本低初始投資及運維成本高初始投資及運維成本高結構改造及液體消耗成本大,液冷系統初始投資成本低PUE1.1-1.21.051.091.1可維護性可維護性較簡單復雜復雜供應商供應商華為

18、、浪潮、曙光、聯想、超聚變等主流供應商僅曙光阿里巴巴、H3C、綠色云圖、云酷智能、曙光數創僅廣東合一應用案例應用案例多超算領域較多較多數據中心場景無批量使用分析分析初始投資中等,運維成本低,PUE收益中等,部署方式與風冷相同,從傳統模式過渡較平滑初 始 投 資 最 高,PUE收益最高,需使用專用機柜,服務器結構需改造為刀片式初 始 投 資 較 高,PUE收益較高,部分部件不兼容,服務器結構需改造初始投資較高,運維成本高,液體消耗成本高,PUE收益中等,部署方式同浸沒式,服務器結構需改造資料來源:中國移動冷板液冷服務器設計白皮書,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容

19、圖圖 6:液冷系統通用架構液冷系統通用架構資料來源:中興通訊液冷技術白皮書,國信證券經濟研究所整理u 液冷系統通用架構可拆解為機房側和液冷系統通用架構可拆解為機房側和ICT設備側兩部分,機房側可進一步分為一次側和二次側兩部分,浸沒式和冷板式液冷在機房側設備側兩部分,機房側可進一步分為一次側和二次側兩部分,浸沒式和冷板式液冷在機房側架構基本相同,差異主要在架構基本相同,差異主要在ICT設備側:設備側:一次側:一次側:包含冷卻塔、一次側管網、一次側冷卻液(通常為水)。室外側為外部冷源,通常為室外的冷水機組、冷卻塔或干冷器,熱量轉移主要通過水溫的升降實現;二次側:二次側:包含CDU、液冷機柜、二次側

20、管網和二次側冷卻液。室內側包括供液環路和服務器內部流道,主要通過冷卻液溫度的升降實現熱量轉移;兩個部分通過 CDU中的板式換熱器發生間壁式換熱;ICT設備側設備側:浸沒式采用Tank安裝制冷工質,ICT設備浸于其中;冷板式主要采用冷板貼于核心熱源(CPU、GPU、內存)等上方。u 制冷工質的選擇制冷工質的選擇:冷板式通常采用乙二醇/丙二醇溶液(基于防凍考慮)或去離子水;浸沒式通常采用氟化液、礦物油(如硅油)等。液冷通用架構解析液冷通用架構解析圖圖 7:一個典型冷板式液冷機房的布局和部件拆解一個典型冷板式液冷機房的布局和部件拆解資料來源:Vertiv官網,國信證券經濟研究所整理一次側(機房外),

21、核心設施為外部冷源(如冷卻塔)一次側(機房外),核心設施為外部冷源(如冷卻塔)CDU(冷量分配單元)(冷量分配單元)液冷機柜液冷機柜機架頂機架頂Manifold豎向豎向Manifold服務器內部服務器內部快接頭快接頭二次側(機房內)二次側(機房內)冷板冷板請務必閱讀正文之后的免責聲明及其項下所有內容u 冷板式和浸沒式液冷方式各有優劣:冷板式和浸沒式液冷方式各有優劣:冷板式:冷板式:優點在于設備改造幅度較小,兼容度、初始投資/改造成本較低,推廣更為容易;缺點在于散熱效率低于浸沒式液冷,150KW以上機柜散熱存在壓力;浸沒式:浸沒式:優點在于散熱效率最高;缺點在于制冷工質成本高,且常用的制冷工質氟

22、化液具有致癌/激素紊亂等毒性問題,同時改造和初始投資成本大,對機房基礎設施有更高要求。u 目前液冷方式以冷板式為主。目前液冷方式以冷板式為主。冷板式液冷對于數據中心的改造難度較低,所需成本也較為可控,目前冷板式液冷的市場應用相對更加普及。根據IDC報告,按照服務器出貨量口徑統計,2023H1我國冷板式液冷服務器比例達到90%左右,浸沒式液冷滲透率僅為10%。技術路線:冷板式應用占多數,浸沒式方案亟待制冷工質革新技術路線:冷板式應用占多數,浸沒式方案亟待制冷工質革新圖圖 8:2023全年冷板式和浸沒式液冷服務器比例全年冷板式和浸沒式液冷服務器比例(出貨量出貨量)資料來源:IDC中國半年度液冷服務

23、器市場(2023全年)跟蹤,國信證券經濟研究所整理表表5:不同液冷技術路線對比:不同液冷技術路線對比 冷板式浸沒式噴淋式接觸方式間接接觸直接接觸直接接觸成本較低較高一般可維護性優秀較差一般空間利用率較高中等最高兼容性未與主板及芯片模塊直接接觸,材料兼容性強直接接觸,材料兼容性弱直接接觸,材料兼容性弱冷卻效果較好優秀優秀安裝便捷程度不改變服務器主板原有形態,保留現有服務器主板,安裝便捷改變服務器原有結構,需要重新安裝不改變服務器主板原有形態,安裝便捷可循環采用雙路換裝循環,對冷凍液實現二次利用通過室外冷卻裝置進行循環,采用循環泵,實現資源再利用PUE1.17-1.301.05-1.081.05-

24、1.10主流廠家華為、浪潮、曙光數創、英維克、新華三曙光數創、阿里廣東合一資料來源:華經產業研究院,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容冷板式冷板式u 冷卻液不直接接觸電子器件。冷卻液不直接接觸電子器件。冷板式液冷技術通過冷板將發熱元器件的熱量間接傳遞給封閉在循環管路中的冷卻液體,通冷卻液體將熱量帶走。這種技術下,工作液體與電子器件不直接接觸,而是通過液冷板等高效導熱部件將被冷卻對象的熱量傳遞到冷卻液中。u 特點:冷板式液冷兼容性強、易于維護,但存在節能收益不顯著、標準化難度大的問題。特點:冷板式液冷兼容性強、易于維護,但存在節能收益不顯著、標準化難度大的問題。作

25、為三種主流技術中成熟度最高的方案,冷板式液冷能夠有效兼容現有硬件架構、易于開展維護設計,且由于液體和設備不直接接觸,可靠性更高。但由于未實現100%液體冷卻,因此存在機柜功耗低、液冷占比低時,節能收益不顯著問題;且液冷板設計需要考慮現有設備的器件布局,結構設計和實現的難度較大,標準化推進難度大。圖9:全液冷服務器節點資料來源:浪潮信息全液冷冷板系統參考設計及驗證白皮書,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容單相浸沒式單相浸沒式圖 10:單相浸沒式液冷示意圖資料來源:GRC,國信證券經濟研究所整理u 單相浸沒式液冷通常采用不導電冷卻液,通過液單相浸沒式液冷通常采用不導

26、電冷卻液,通過液-液熱交換器交換熱量。液熱交換器交換熱量。單相浸沒式液冷系統中,IT設備所有的發熱組件都完全浸沒在循環的不導電的冷卻液中,設備發出的熱量直接傳遞給冷卻液 單相浸沒式液冷的冷卻液通常具有較高的沸點,冷卻液吸熱后并不會發生相變,始終維持在液態u 優勢:優勢:冷卻液價格相對更低,部署成本更低;冷卻液無相變,無需擔心冷卻液蒸發溢出或人員吸入的健康風險,更有利于維護。圖 11:阿里云磐久一體機Immersion DC1000資料來源:阿里云官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容雙相浸沒式雙相浸沒式圖 12:雙相浸沒式液冷示意圖資料來源:GRC,國信證券經

27、濟研究所整理圖 13:曙光數創相變浸沒式液冷配套解決方案C8000資料來源:曙光數創官網,國信證券經濟研究所整理u 冷卻液冷卻液在遇熱的情況下由液態轉化為氣態,隨后通過冷凝器恢復為液態在遇熱的情況下由液態轉化為氣態,隨后通過冷凝器恢復為液態。冷卻液在循環散熱過程中經歷從液態到氣態再回到液態的相變過程 IT設備完全浸沒在裝有低沸點冷卻液的密閉罐體中,熱量被冷卻液吸收,冷卻液吸熱后溫度升高,由液態相變為氣態。蒸汽從液體中升起逃逸至液面上方,在液冷罐體內形成氣相區,冷卻液蒸汽與水冷冷凝器接觸,熱量被吸收后凝結成液體再次循環,而冷凝器中被加熱的冷卻水則通過循環冷卻水系統完成排熱。u 優勢:優勢:冷卻液

28、能夠在受熱時發生相變成為氣態,能夠更有效地利用相變潛熱進行散熱,從而提高散熱效率。兩相浸沒式液冷的冷卻液通常采用氟化液。請務必閱讀正文之后的免責聲明及其項下所有內容噴淋式液冷噴淋式液冷u 噴淋式液冷技術是面向芯片級器件的精準噴淋,在服務器內部部署噴淋模塊,通過重力或系統壓力直接將冷卻液噴灑至發熱器件上。噴淋式液冷技術是面向芯片級器件的精準噴淋,在服務器內部部署噴淋模塊,通過重力或系統壓力直接將冷卻液噴灑至發熱器件上。u 噴淋液冷具有器件集中度高、散熱效率強、高效節能和靜音的特點,通過噴嘴釋放液冷劑并吸收熱量,從而在電子設備周圍形成冷卻層,適用于高功率密度設備、及要求精密散熱的領域。噴淋式冷卻具

29、備承重占地少、冷卻液價格低等優勢,且安裝簡單,可進行定向冷卻。但存在設備選材及設備維護的局限性。圖 14:噴淋式直接液冷系統示意圖資料來源:蘭洋科技官網,國信證券經濟研究所整理圖 15:噴淋式直接液冷機柜示意圖資料來源:蘭洋科技官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 16:單機柜功率密度與適宜的散熱方式單機柜功率密度與適宜的散熱方式資料來源:Vertiv官網,國信證券經濟研究所整理u 隨著單卡功率的持續提升,隨著單卡功率的持續提升,AIDC集群的單機柜功率顯著提升。集群的單機柜功率顯著提升。H100單卡TDP 700W,對應單服務器設計功率約10kW,以標

30、準單機柜4個AI服務器計算,單機柜功率超過40kW;預計B200單卡TDP 將達到1000W,對應單機柜功率有望突破50kW。u 一般認為,風冷散熱所適配的單機柜功率在一般認為,風冷散熱所適配的單機柜功率在4-40kW左右區間,液冷的最佳單機柜功率適配區間在左右區間,液冷的最佳單機柜功率適配區間在50kw及以上水平??紤]到下一代及以上水平??紤]到下一代Blackwell芯片單機柜功率有望突破芯片單機柜功率有望突破50kW,風冷已達散熱極限,采用液冷散熱大勢所趨。,風冷已達散熱極限,采用液冷散熱大勢所趨。驅動力一:單卡功率提升,驅動力一:單卡功率提升,AIDC機柜風冷已達散熱極限機柜風冷已達散熱

31、極限表表 6:H100/B200服務器與單機柜功率測算服務器與單機柜功率測算項目單位H100B200 服務器功率W1020012600 GPU TDP(x8)W700*81000*8 CPU、內存、NVLink等其他W46004600 存儲、管理設備等W183183 交換機等W729729機柜功率(4臺服務器)kW41.751.3資料來源:Nvidia官網,國信證券經濟研究所整理對應散熱方式所適宜的單機柜功率下限(考慮性價比等因素)對應散熱方式所適宜的單機柜功率上限可混合使用不同散熱技術的單機柜功率區間請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 17:英偉達英偉達GB200 NVL72單

32、機柜拓撲(上)及單機柜拓撲(上)及576卡全互聯雙機柜拓撲卡全互聯雙機柜拓撲資料來源:NVIDIA官網,國信證券經濟研究所整理u 海外芯片廠商中,英偉達已先后推出海外芯片廠商中,英偉達已先后推出GH200、GB200等機架式方案,擴大卡間互聯規模等機架式方案,擴大卡間互聯規模。英偉達通過私有協議NVLink實現卡間互聯,在此前GH200方案中,英偉達采用2層fat-tree網絡結構實現256張GH200超級芯片互聯;GB200架構中,英偉達推出NVL72方案,單機柜集成72個全互聯的Blackwell芯片,英偉達也推出雙機柜(NVL36)方案,也可通過2層NVLink交換實現最大576個GPU

33、的全互聯。u 國內芯片廠商也推出相應卡間互聯協議。國內芯片廠商也推出相應卡間互聯協議。如華為的HCCS(high-speed cache coherence network)、寒武紀的 MLU-LINK、燧原的 GCU-LARE和壁仞的B-LINK等,考慮到產業趨勢明確,基于國內卡間互聯協議的機架式方案有望加速應用。驅動力二:卡間高速互聯規模擴大,單機柜功率密度提升驅動力二:卡間高速互聯規模擴大,單機柜功率密度提升圖圖 18:昇騰昇騰 910 AI處理器互聯拓撲圖處理器互聯拓撲圖資料來源:昇騰官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 19:AIDC的能耗需求

34、快速提升的能耗需求快速提升資料來源:semianalysis,國信證券經濟研究所整理u 一方面,算力中心電力緊缺已成為初步共識,采用液冷降低一方面,算力中心電力緊缺已成為初步共識,采用液冷降低PUE有望節約整體數據中心電能消耗有望節約整體數據中心電能消耗。目前,一個標準的風冷數據中心中,溫控環節的能耗占比達到40%(主要為精密空調消耗)。而算力中心對電力需求正在快速提升,需要降低單位算力能耗。通過液冷替代精密空調有助于降低PUE,實現節約能耗的目的。u 另一方面,國內雙碳目標下,推動另一方面,國內雙碳目標下,推動PUE考核趨嚴,有望帶動液冷滲透率提升考核趨嚴,有望帶動液冷滲透率提升。從國內市場

35、維度,數據中心作為耗能大戶,在雙碳目標下,政策對其的PUE考核趨嚴,目前部分地區已降低至1.25以下。若進一步加大考核力度,風冷已無法滿足政策PUE要求。驅動力三:液冷驅動力三:液冷PUE優勢節約優勢節約AIDC能耗,國內關注能耗,國內關注PUE政策考核政策考核注:注:PUE=PUE=(ITIT設備設備+制冷設備制冷設備+供電設備供電設備+照明及其它等設備)照明及其它等設備)/IT/IT設備能耗,即設備能耗,即PUEPUE越接近于越接近于1 1,則數據中心中的能耗將主要來源于,則數據中心中的能耗將主要來源于ITIT設備(服務器、交換機等)。設備(服務器、交換機等)。圖圖 20:2023年典型數

36、據中心的能耗構成年典型數據中心的能耗構成資料來源:服務器浸沒式液冷技術研究進展(2023 年 6 月,侯富民、李超恩、吳佳育、蔡偉、邵璟璟),國信證券經濟研究所整理圖圖 21:數據中心不同冷卻方式的典型數據中心不同冷卻方式的典型PUE資料來源:中興通訊液冷技術白皮書,數據中心單相提沒液冷規?;瘧藐P鍵技術研籠,國信證券經濟研究所整理40%44%13%3%制冷IT設備損耗其他1.51.21.091.050 0 0 1 1 1 1 1 2 傳統風冷冷板式液冷單相浸沒式液冷雙相浸沒式液冷請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 22:不同冷卻市場下數據中心投資成本測算不同冷卻市場下數據中心投

37、資成本測算資料來源:施耐德電氣官網,國信證券經濟研究所整理驅動力四:單位成本下降,關注驅動力四:單位成本下降,關注TCOTCO曲線拐點曲線拐點u 機架功率密度越高,液冷約具備經濟性。機架功率密度越高,液冷約具備經濟性。根據施耐德電氣2021年發布的大型數據中心浸沒式液冷與風冷投資成本分析,在一個總容量為2兆瓦的數據中心,當機架功率密度為10kW時,采用傳統風冷與基于IT機箱的浸沒式液冷相比,初始投資大致相等。由于液冷技術的主要優勢在于可以高密度緊湊部署,因此,在容量相同的數據中心,按每機架20kW和每機架40kW的方式部署液冷時的投資成本比傳統風冷分別節省了10%和14%的投資成本。u 202

38、3年8月,在曙光數創“冷平衡”發布會上,曙光數創副總裁張鵬表示現在選擇冷板式的液冷初投資已經低于風冷,經過公司內部的建設測算,即便是浸沒式液冷系統,運行4.5年也將出現TCO低于風冷系統的拐點。相比風冷,冷板式液冷的節能效率將能夠降低25%的用電,相變浸沒則是能做到30%以上。圖圖 23:不同數據中心不同數據中心TCO曲線對比曲線對比資料來源:曙光數創官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容二、二、液冷驅動溫控價值提升,國內市場空間近百億液冷驅動溫控價值提升,國內市場空間近百億請務必閱讀正文之后的免責聲明及其項下所有內容圖 24:數據中心支持基礎設施成本構成資料

39、來源:Dgtl Infra,國信證券經濟研究所整理表7:數據中心總開發成本資料來源:Dgtl Infra,國信證券經濟研究所整理數據中心:數據中心:溫控溫控成本占比超成本占比超20%20%,,液冷有望進一步提升,液冷有望進一步提升u 數據中心基礎設施建設成本中冷卻系統成本占比約數據中心基礎設施建設成本中冷卻系統成本占比約20%-25%20%-25%。新建數據中心,包括設施運營中使用的必要基礎設施和組件,通??煞譃樗膫€主要類別:1 1)土地和建筑外殼()土地和建筑外殼(15%-20%15%-20%):):建筑外殼、活動地板;2 2)電氣系統()電氣系統(4040-45-45):備用發電機、電池、

40、配電裝置(PDU)、不間斷電源(UPS)、開關設備/變壓器;3 3)HVAC/HVAC/機械機械/冷卻系統(冷卻系統(20%-25%20%-25%):):機房空調(CRAC)、機房空氣處理器(CRAH)、風冷式冷水機組、冷凍水儲存和管道;4 4)建筑裝修()建筑裝修(15%-20%15%-20%):):大堂/入口、會見室(MMR)、發貨和接收區域。u 對比風冷,液冷的單位造價進一步提升,目前風冷:冷板式液冷:浸沒式液冷每對比風冷,液冷的單位造價進一步提升,目前風冷:冷板式液冷:浸沒式液冷每kWkW成本的比例關系呈現逐步翻倍,因此液冷有望推動成本的比例關系呈現逐步翻倍,因此液冷有望推動冷卻環節的

41、投資占比進一步提升。冷卻環節的投資占比進一步提升。15%-20%40%-45%20%-25%15%-20%土地和建筑外殼電氣系統HVAC/機械/冷卻系統建筑裝修請務必閱讀正文之后的免責聲明及其項下所有內容u 根據此前液冷通用架構可知,一般可將液冷分為機房側和ICT設備側兩部分,機房側包括一次側和二次側,一次側是連接冷卻塔到一次側是連接冷卻塔到CDU,全液冷機柜的循環水系統,也稱為一次管路或室外側;二次側是連接,全液冷機柜的循環水系統,也稱為一次管路或室外側;二次側是連接CDU到全液冷機柜中的液冷元器件的冷卻循環水系統,到全液冷機柜中的液冷元器件的冷卻循環水系統,也稱為二次管路或室內側。二次側包

42、括也稱為二次管路或室內側。二次側包括CDU、液冷機柜、列間空調、冷熱氣流隔離及封閉組件、動環系統。、液冷機柜、列間空調、冷熱氣流隔離及封閉組件、動環系統。CDU:由于一般CDU功率在200-300kw,對應2000kw需要7個CDU,價值量占比30%左右。液冷機柜:成本包括快速接頭、PDU、Manifold等主要組件,總價值量占比16%。其中,PDU采用雙路輸入,一個機柜中需要兩個。Manifold需要360不銹鋼焊接,價值量較高。列間空調:補冷熱量占總熱量的15%-20%,包括內機和外機,價值量占比35%。冷熱氣流隔離即封閉組件和動環系統總價值量占比5%左右。機房側零部件價值量拆分機房側零部

43、件價值量拆分圖 26:二次側價值量占比 資料來源:中國移動電信運營商液冷技術白皮書,國信證券經濟研究所整理圖 25:一次側二次側價值量拆分資料來源:中國移動電信運營商液冷技術白皮書,國信證券經濟研究所整理75%75%25%25%一次側二次側39%21%35%4%1%CDU液冷機柜列間空調冷熱氣流隔離及封閉組件動環系統請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 28:機架機架Manifold示意圖示意圖資料來源:Vertiv官網,國信證券經濟研究所整理圖圖 27:機架頂機架頂Manifold示意圖示意圖資料來源:Vertiv官網,國信證券經濟研究所整理u Manifold 作為液冷系統的集

44、流器,承擔將冷卻液體引入機架并傳遞到機架外側的關鍵任務,直接影響整個液冷系統的熱管理,確保冷卻液體順暢流動,高效吸收和帶走系統中產生的熱量。u Manifold從制造上,一般采用316不銹鋼,并使用無縫焊接工藝,因此在液冷機柜中價值量較高。機房側核心部件:機房側核心部件:Manifold請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 30:平臺式平臺式CDU示意圖示意圖資料來源:Vertiv官網,國信證券經濟研究所整理圖圖 29:列間列間CDU示意圖示意圖資料來源:Vertiv官網,國信證券經濟研究所整理u CDU指的是冷量分配單元指的是冷量分配單元,是液冷系統的一個關鍵組件,主要作用是隔離

45、一次側與二次側回路,并在其內部提供一次側與二次側的熱交換能力,分發和調節冷卻液以有效地冷卻計算設備或其他熱源。u 根據功率不同和放置位置差異,根據功率不同和放置位置差異,CDU可分為機架內可分為機架內CDU、列間、列間CDU和平臺式和平臺式CDU。一般機架內、列間CDU對應功率散熱功率在30-40kW;主流的平臺式CDU散熱功率可達200-300kW。u CDU內核心器件為水泵與換熱板;同時內核心器件為水泵與換熱板;同時CDU直接承擔冷量分配的任務,其直接承擔冷量分配的任務,其IT系統需具備對高功率機柜的及時響應能力,軟件調度策系統需具備對高功率機柜的及時響應能力,軟件調度策略成為核心壁壘之一

46、。略成為核心壁壘之一。機房側核心部件:機房側核心部件:CDU水泵換熱板請務必閱讀正文之后的免責聲明及其項下所有內容u 據測算,據測算,到2025年,機房溫控市場合計142億元,風冷液冷各站一半,以下是核心假設:(1 1)滲透率假設:)滲透率假設:2025年通用服務器液冷滲透率15%;AI服務器液冷滲透率50%;(2 2)功耗假設:)功耗假設:假設通用服務器單芯片平均功耗提升至250W;AI服務器單芯片功耗提升至500W(參考-昇騰910 TDP約400W)(3 3)單價假設:)單價假設:假設2025年風冷、冷板式、浸沒式單位成本分別為2430、4000、8000元/kW。(4 4)冗余:)冗余

47、:服務器總功耗芯片占比為80%、液冷一般配備15%風冷冗余機房溫控空間機房溫控空間:國內液冷市場有望達:國內液冷市場有望達百百億元億元表表8:機房溫控市場測算:機房溫控市場測算2019Y2020Y2021Y2022Y2023E2024E2025E通用服務器(萬臺)309.5345.2366.9364.4360.0380.0400.0平均CPU數量(片/臺)2.02.02.02.02.02.02.0平均功耗(w)150150170185200230250服務器總功耗(kw)928416103545912475191348294144000017480002000000風冷占比100%100%10

48、0%99%97%90%85%風冷單價(元/w)5000500045004000350027002430風冷市場規模(億元)46.451.856.153.448.942.541.3冷板式液冷占比0%0%0%1%3%10%14%冷板式液冷單價(元/w)8000550050004000浸沒式液冷占比0%0%1%1%浸沒式液冷單價(元/kw)150001100090008000液冷市場規模(億元)1.12.59.112.6加速計算服務器(萬臺)7.914.623.128.5303545平均GPU數量(片/臺)4446668平均功耗(w)350350350375380400600服務器總功耗(kw)13

49、324924520938879476866382080010080002592000風冷占比100%100%100%90%85%75%50%風冷單價(元/w)5000500045004000350027002430風冷市場規模(億元)6.712.317.527.724.420.431.5冷板式液冷占比0%0%0%9%14%23%45%冷板式液冷單價(元/w)8000550050004000浸沒式液冷占比1%2%3%5%浸沒式液冷單價(元/kw)150001100090008000液冷市場規模(億元)6.77.413.657.0風冷市場合計(億元)53.1 64.0 73.6 81.1 73.3

50、 62.9 72.8 液冷市場合計(億元)7.8 9.9 22.7 69.6 資料來源:國信證券經濟研究所測算請務必閱讀正文之后的免責聲明及其項下所有內容圖圖 32:冷板針翅(左)與微通道(右)冷板針翅(左)與微通道(右)資料來源:defrez官網,國信證券經濟研究所整理圖圖 31:傳統風冷通用服務器(左)和冷板式液冷傳統風冷通用服務器(左)和冷板式液冷AI服務器(右)服務器(右)資料來源:Vertiv官網,國信證券經濟研究所整理u 冷板是冷板式液冷冷板是冷板式液冷ICT設備側的核心部件。設備側的核心部件。冷板即以工藝冷媒為媒介,實現熱量交換的緊湊型換熱部件,與設備配套管路、QDC、CDU、R

51、CM、LCM等形成二次側冷卻環路,并最終將處理器熱量傳遞至室外,常用材料為紫銅、鋁等。u 冷板設計需要考慮的關鍵指標冷板設計需要考慮的關鍵指標包括冷板內部流道、內部流速、額定流量、冷板熱阻以及冷板流阻。u 目前目前冷板冷板單板價值量單板價值量1000-2000元,和元,和GPU/CPU數量一一對應,根據上頁邏輯測算,數量一一對應,根據上頁邏輯測算,2025年市場規模為年市場規模為30-60億元。億元。服務器側核心部件:冷板(電子散熱)服務器側核心部件:冷板(電子散熱)表表 9:冷板設計核心指標:冷板設計核心指標關鍵設計項關鍵設計項設計參數描述設計參數描述說明說明冷板內部流道小功率器件冷板可直接

52、采用機加工流道、金屬管嵌管等方案大功率器件(一般為100W)冷板一般采用鏟齒工鏟齒工藝藝,齒厚一般為 0.1 1.0mm,齒間隙一 般為210倍過濾精度。例如,二次側過濾為 50m,齒間隙一般為 0.1 0.5mm散熱模塊為接液材料;一 體式冷板不區分散熱模塊 和固定模塊 冷板內部流速冷板內部流道內、管路內部流速1.5m/s可以根據該流速計算出不 同管徑下的最大流量額定流量滿足芯片散熱要求基礎上,流量越小越有優勢冷板所需流量小,單臺 CDU 能承擔的節點更多,更節能冷板熱阻冷板熱阻是芯片表面溫度與二次側供液溫度差值 后,與芯片功耗的比值。冷板流阻冷板流阻是冷板流體流動時前后壓差值。資料來源:T

53、rendForce,Semianalysis,國信證券經濟研究所整理和測算請務必閱讀正文之后的免責聲明及其項下所有內容三、溫控廠商受益趨勢明確三、溫控廠商受益趨勢明確,電子散熱加速國產替代,電子散熱加速國產替代請務必閱讀正文之后的免責聲明及其項下所有內容AIDCAIDC液冷產業鏈全景液冷產業鏈全景上游:液冷零部件中游:服務器、芯片、溫控廠商下游:運營商、互聯網、IDC服務商核核心心部部件件快速接頭快速接頭 英維克CDUCDU 中航光電ManifoldManifold 奇鋐科技冷板冷板其其他他部部件件電磁閥電磁閥 三花智控 SMC冷卻液冷卻液 巨化股份 3M服務器廠商服務器廠商 浪潮信息 曙光數

54、創 華為芯片廠商芯片廠商 Intel機房溫控機房溫控 Vertiv 英維克 申菱環境 高瀾股份運營商運營商中國電信中國移動中國聯通互聯網公司互聯網公司百度阿里巴巴騰訊字節IDCIDC服務商服務商網宿科技潤澤科技請務必閱讀正文之后的免責聲明及其項下所有內容產業鏈競爭格局:產業初期行業標準未定,交付模式多樣產業鏈競爭格局:產業初期行業標準未定,交付模式多樣u 由于液冷技術處于初期,產業標準未定,當前行業有多重交付模式:(1)以華為為代表的算力解決方案商做整包,液冷部分自己設計,找第三方溫控公司整體采購或部分采購(2)以阿里為代表的互聯網大廠,采購液冷服務器,服務器廠商集液冷設備一起交付(3)運營商

55、分別招標液冷設備和服務器等,后續做整體集成。產業鏈上下游互相滲透,體現出競爭格局混亂的特征。產業鏈上下游互相滲透,體現出競爭格局混亂的特征。圖圖 33:液冷數據中心業務落地流程示意圖液冷數據中心業務落地流程示意圖資料來源:科智咨詢中國液冷數據中心市場,國信證券經濟研究所整理表表1010:華為:華為FusionServerFusionServer Pro Pro冷板全液冷系統冷板全液冷系統說明及責任方說明及責任方名稱名稱說明說明交付責任交付責任冷卻塔用于將液體回路的熱量散到室外大氣中的設備,一般放置室外機房建設方冷水機組用于對冷卻水進行冷卻機房建設方CDU用于液冷電子設備間的冷卻液體流量分配,提

56、供二次側流量分配、壓力控制、物理隔離、防凝露等功能華為/合作商全液冷機柜提供冷卻液體進出,針對電子設備進行冷卻的設備華為制冷空調為IT機柜進行散熱的設備,華為全液冷機柜熱量由水帶走,因此可以取消絕大部分為IT設備散熱配置的專用的制冷空調。不涉及一次側連接冷卻塔到CDU,全液冷機柜的循環水系統機房建設方二次側連接CDU到全液冷機柜中的液冷元器件的冷卻循環水系統機房建設方/華為資料來源:華為官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容產業鏈格局:溫控、服務器及互聯網廠商相繼布局產業鏈格局:溫控、服務器及互聯網廠商相繼布局表表11:中游參與廠商對比:中游參與廠商對比廠商類

57、別廠商類別名稱名稱產品布局產品布局溫控廠商英維克Coolinside全鏈條冷板式液冷解決方案申菱環境天樞液冷溫控系統高瀾股份冷板式和浸沒式液冷服務器熱管理解決方案服務器廠商曙光數創冷板式液冷C7000系列華為FusionServer Pro冷板全液冷系統浪潮信息通用服務器NF5280M6、高密度服務器i24LM6聯想海神溫水水冷系統互聯網阿里行業首款單相浸沒液冷解決方案京東天樞冷板式液冷整機柜服務器百度天蝎 5.0 浸沒式液冷機柜技術資料來源:各公司公告,國信證券經濟研究所整理u 因此在國內市場中,服務器、互聯網廠商、溫控設備商以及零配件公司均有參與,競爭格局較為復雜。因此在國內市場中,服務器

58、、互聯網廠商、溫控設備商以及零配件公司均有參與,競爭格局較為復雜。各自環節有各自的優勢:溫控設備廠商:深耕溫控技術應用場景,對技術原理理解深厚,為客戶提供定制化全鏈條解決方案及關鍵部件的設計制造,能夠從系統角度出發提供整體解決方案。服務器廠商:貼近客戶,可利用客戶關系向上集成?;ヂ摼W大廠:如阿里、華為,自身是客戶或EPC,產業鏈位置領先,對具體應用場景需求更明確零配件公司:以某幾類難度較高的配件進入到產業鏈中,逐步完善整體解決方案。u 長期來看,隨著行業逐步標準化,解耦交付是大趨勢。溫控廠商依靠專業化的能力,產業鏈地位會逐步提高。長期來看,隨著行業逐步標準化,解耦交付是大趨勢。溫控廠商依靠專業

59、化的能力,產業鏈地位會逐步提高。表表12:主要廠商液冷技術:主要廠商液冷技術廠商廠商液冷技術液冷技術服務器形態服務器形態一體化交付一體化交付解耦交付解耦交付超聚變冷板式機架整機柜/單節點盲插快接華為冷板式機架整機柜盲插快接浪潮冷板式機架整機柜/單節點盲插/軟管快接曙光冷板式機架/刀片整機柜軟管快接H3C冷板式機架整機柜/單節點軟管快接資料來源:中國移動電信運營商液冷技術白皮書,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容解耦交付大勢所趨,標準化有助于行業成長解耦交付大勢所趨,標準化有助于行業成長u 當前液冷交付模式包括一體化交付與解耦交付兩種。當前液冷交付模式包括一體化交

60、付與解耦交付兩種。解耦交付是液冷機柜與液冷服務器之間遵循用戶統一制定的接口設計規范,機柜與服務器解耦,可由不同廠商交付。一體化交付是液冷整機柜(包括機柜和服務器)由廠商自定標準進行集成設計開發,整機柜由同一廠商一體化交付u 服務器與機柜解耦有利于促進行業標準形成,讓更多廠商參與其中。服務器與機柜解耦有利于促進行業標準形成,讓更多廠商參與其中。一體化交付存在非原廠商機柜與服務器不適配、機房管理中各廠家難能以對接等問題。解耦交付可形成統一標準規范,便于后續機房的靈活部署,有助于溫控廠商與服務器廠商協調合作,給客戶更大的自由度選擇不同服務器和機柜組合,而不受限于某一供應商。解耦交付能夠實現機柜與服務

61、器分別采購,從而促進行業競爭,降低下游采購成本。但目前技術尚不成熟,在運維管理中存在責任不清等問題。表表13:冷板式液冷交付方案對比:冷板式液冷交付方案對比交付模式分析交付模式分析解耦交付解耦交付一體化交付一體化交付服務器廠商職責范圍根據液冷服務器設備,還需明確液冷服務器進回水的溫度、壓力、水質、監控范圍的要求,液冷基礎設施連接頭的要求、配電要求提供液冷整柜及二次側管理的整體設計解決方案服務器多廠家單廠家整體適配性根據既定接口標準分別生產機柜與服務器,測試階段進行適配原廠機柜和原廠服務器適配性較好,無法與非原廠設備匹配整體機房管理可形成統一標準及規范,后續易管理各廠家標準不同,不容易對接安裝部

62、署批量生產,規模推廣,靈活部署,基礎設施和服務器廠家需協調合作,機柜供應商提供機柜級的漏液監測功能與服務器結合部署采購模式機柜與服務器分別采購,促進競爭,有利于降低價格統一采購,受廠家限制較多運維管理機柜與服務器分別交付,需明確責任界面,需明確責任主體。各機柜及服務器配置統一,運維方式相同,易于統一管理同廠家整機柜交付,責任界面明晰;不同廠家運維方式,接口、數據類型不同,需分開運維產業成熟度當前尚不成熟當前較成熟服務器/整機柜交付周期盲插快接模式:對現有軟管快接廠家,服務器深度定制開發,交付周期約 9 個月軟管快接模式:對服務器進行淺度定制開發或無需定制,交付周期約 3 個月主流廠商已有的量產

63、產品分析目前不同液冷供應商之間產品的適配和兼容有一定困難,服務器與機柜之間、機柜與不同品牌服務器之間可能存在不適配的風險,需標準引領,服務器與機柜統一接口標準,提前開展對接聯調、驗證測試等目前液冷技術在產業化和標準化方面還處于發展階段,液冷服務器和機柜無統一標準,一體交付模式不利于液冷產業標準的技術積累和創新引領資料來源:中國移動電信運營商液冷技術白皮書,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容溫控商場競爭格局:系統級綜合溫控能力是關鍵溫控商場競爭格局:系統級綜合溫控能力是關鍵u 液冷系統集成復雜難度成倍提升,考慮到設備溫控穩定性,系統級能力要求高。液冷系統集成復雜難

64、度成倍提升,考慮到設備溫控穩定性,系統級能力要求高。由風冷技術向液冷技術的轉化過程中,系統集成復雜難度成倍提升,主要體現在:1)設計難度增大:需要同時融合傳熱、流體、材料等學科;2)供應商零部件差異明顯:各個零部件的供應能力與匹配接口皆有差異,拉長系統開發時間,且無法達到系統最優;3)采購難度加大:供應鏈需要協調多個供應商同時交付,增加采購負擔;4)后期運維難度顯著提升:單一供應商不具有故障的系統解決能力。u 因此綜合前期設計、后期運維的系統級能力成為液冷時期的壁壘。因此綜合前期設計、后期運維的系統級能力成為液冷時期的壁壘。溫控的產品優勢顯現具有后驗屬性,產業初入者在初期可以實現系統的溫控效果

65、,但長期的運行穩定依賴材料的選擇、CDU冷量分配軟件的優化設計、后期運維能力等綜合系統及能力。圖圖 34:液冷數據中心系統復雜度增大液冷數據中心系統復雜度增大 資料來源:NVIDIA官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容溫控商場競爭格局溫控商場競爭格局:綁定芯片方案,具備先發優勢:綁定芯片方案,具備先發優勢u 由于液冷系統復雜度提升,各環節的溝通協同有望進一步加強由于液冷系統復雜度提升,各環節的溝通協同有望進一步加強。液冷相較于風冷而言,與服務器的匹配度要求進一步提升,無論是冷板式服務器(要求液冷冷板匹配服務器型號)還是浸沒式服務器,都需要服務器、液冷廠商、I

66、DC企業(業主)共同參與到設計等環節。而當前階段,綁定加速卡芯片廠商的公司具備顯著的先發優勢。而當前階段,綁定加速卡芯片廠商的公司具備顯著的先發優勢。圖圖 35:液冷時期各環節配合度有望進一步加強:液冷時期各環節配合度有望進一步加強 資料來源:國信證券經濟研究所繪制服務器廠商IDC企業液冷廠商芯片廠商圖圖 36:英維克為:英維克為Intel冷板液冷設計參考供應商冷板液冷設計參考供應商 資料來源:Intel官網,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容圖圖36:CDU內部核心部件是水泵與換熱板內部核心部件是水泵與換熱板 資料來源:Vertiv官網,國信證券經濟研究所整理

67、溫控商場競爭格局:溫控商場競爭格局:零部件制造環節有一定壁壘:零部件制造環節有一定壁壘u 液冷系統涉及零部件較多,不同零部件設計生產難度不同。液冷系統涉及零部件較多,不同零部件設計生產難度不同。以冷板式液冷為例,系統關鍵零部件包括冷板、快接頭、Manifold、CDU等。制造角度,冷板的制造難點在于針翅、微通道等定制化設計以確定合適的流速、流量、熱阻等指標,但本身為機加工件,壁壘較低;快接頭難點在于控制漏液問題;Manifold可采用316不銹鋼+無縫焊接工藝;CDU核心部件為水泵+換熱板,軟件控制需具備及時響應高功率機柜等能力。表表14:冷板設計核心指標:冷板設計核心指標 資料來源:中國移動

68、電信運營商液冷技術白皮書,國信證券經濟研究所整理水泵換熱板關鍵設計項關鍵設計項設計參數描述設計參數描述說明說明冷板內部流道小功率器件冷板可直接采 用機加工流道、金屬管嵌管等方案大功率器件(一般為100W)冷板一般采用鏟齒工藝鏟齒工藝,齒厚一般為 0.1 1.0mm,齒間隙一 般為210倍過濾精度。例如,二次側過濾為 50m,齒間隙一般為 0.1 0.5mm散熱模塊為接液材料;一 體式冷板不區分散熱模塊 和固定模塊 冷板內部流速冷板內部流道內、管路內部流速1.5m/s可以根據該流速計算出不 同管徑下的最大流量額定流量滿足芯片散熱要求基礎上,流量越小越有優勢冷板所需流量小,單臺 CDU 能承擔的節

69、點更多,更節能冷板熱阻冷板熱阻是芯片表面溫度與二次側供液溫度差值 后,與芯片功耗的比值。冷板流阻冷板流阻是冷板流體流動時前后壓差值。請務必閱讀正文之后的免責聲明及其項下所有內容競爭格局(國內):國產廠商優勢突出競爭格局(國內):國產廠商優勢突出u 第三方機房溫控供應廠商中,國產公司市場占有率有望持續提升。第三方機房溫控供應廠商中,國產公司市場占有率有望持續提升。傳統的精密空調初期主要以海外品牌艾默生等為主(艾默生旗下公司為全球首臺數據中心空調研發開拓者),后期國內廠商市占率逐步提升,截至2021年海外廠商仍然占有40%左右占有率。u 國內溫控企業在液冷解決方案上更具優勢。國內溫控企業在液冷解決

70、方案上更具優勢。數據中心液冷產品大大增加了后期運維的支出和維護成本(定期做腐蝕、密封性、可靠性等檢測),相較于國外企業,國產品牌在服務響應效率、產品設計靈活度、運維服務等方面更具有優勢,預計國內溫控廠商未來有望占據主要地位。同時,我們看好具有端到端服務能力的溫控設備品牌廠商。圖圖 37:數據中心精密空調市場格局:數據中心精密空調市場格局資料來源:產業在線,國信經濟研究所整理維諦15%英維克14%華為10%世圖茲6%美的6%格力6%依米康6%佳力圖6%申菱6%施耐德4%其它21%請務必閱讀正文之后的免責聲明及其項下所有內容競爭格局:溫控廠商積極布局,英維克優勢突出競爭格局:溫控廠商積極布局,英維

71、克優勢突出u 專業溫控廠商也有方案落地,呈現多方合作模式。專業溫控廠商也有方案落地,呈現多方合作模式。目前,英維克、申菱環境和高瀾股份已有液冷項目落地(字節馬來西亞項目),是國內專業液冷溫控供應商中的領先企業。曙光數創為中科曙光系的溫控廠商,主要客戶為曙光系超算中心,以浸沒式方案為主。u 英維克通過與如英維克通過與如IntelIntel等相關芯片方案形成綁定的形式,目前優勢更為突出。等相關芯片方案形成綁定的形式,目前優勢更為突出。表表 15:數據中心液冷溫控可比公司綜合對比數據中心液冷溫控可比公司綜合對比名稱名稱 簡介簡介細分領域細分領域 IDC策略策略 產品技術產品技術23Y機房溫控收入機房

72、溫控收入/億元億元客戶客戶英維克致力于為云計算數據中心、服務器機房、通信網絡、電力電網、儲能系統、電源轉換等領域提供設備散熱解決方案,為客車、重卡、冷藏車、地鐵等車輛提供相關車用的空調、冷機等產品及服務,并為人居健康空氣環境推出系列的空氣環境機。數據中心、服務器機房、通信機房、高精度實驗室、無線通信基站、儲能電站、電動汽車充電樁、公交、通勤、旅運等產品直接或通過系統集成商提供給數據中心業主、IDC運營商、大型互聯網公司,可根據項目情況提供模塊化數據中心系統、數據中心基礎設施等整體方案和集成總包服務風冷、間接蒸發冷、液冷16騰訊、阿里巴巴、秦淮數據、萬國數據、數據港、中國移動、中國電信、中國聯通

73、等申菱環境為數據服務產業環境、工業工藝產研環境、專業特種應用環境、公共建筑室內環境等應用場景提供人工環境調控整體解決方案數據中心、特種環境(核電、機場溫控、油氣回收等)、新能源(海上風電、儲能、電池廠、發電廠等)、工業溫控數據中心、特種環境(核電、機場溫控、油氣回收等)、新能源(海上風電、儲能、電池廠、發電廠等)、工業溫控提供IDC溫控一體化解決方案間接蒸發冷、液冷等9華為、中國移動、曙光、浪潮、百度、世紀互聯等高瀾股份控股子公司高瀾創新科技信息與通信(ICT)熱管理產品主要為服務器液冷板、流體連接部件、多種型號和不同換熱形式的CDU、多尺寸和不同功率的TANK,換熱單元。工業、數據中心、新能

74、源汽車、儲能等形成冷板液冷數據中心熱管理和浸沒液冷數據中心熱管理的解決方案液冷為主-終端客戶如字節跳動等曙光數創以數據中心高效冷卻技術為核心的數據中心 基礎設施產品供應商,主營浸沒相變液冷 數據中心基礎設施產品,布局冷板式液冷聚焦數據中心/超算中心等提供浸沒式方案為主,布局冷板式液冷為主6.5冷板收入1.90億元曙光系、潤澤科技等數據來源:各公司公告,國信證券經濟研究所整理(*上述公司機房溫控主要收入為在數據中心機房收入)請務必閱讀正文之后的免責聲明及其項下所有內容它山之石:維諦技術前瞻布局,綁定英偉達,縱享產業紅利它山之石:維諦技術前瞻布局,綁定英偉達,縱享產業紅利VertivVertiv是

75、海外溫控領軍企業,成為英偉達獨家合作伙伴,在手訂單迅速增長。是海外溫控領軍企業,成為英偉達獨家合作伙伴,在手訂單迅速增長。根根據Omdia2020年數據中心熱管理報告,基于2018年和2019年的數據,指出Vertiv擁有全球數據中心冷卻市場23.5%的份額,比第二名高出10%以上。是海外溫控龍頭。Vertiv是英偉達獨家合作伙伴,基于英偉達芯片的智算中心加速建設背景下,公司訂單和業績也進入高速增長期。截止2024年Q1,公司在手訂單63億美金,同比增長60%。其他:其他:Modine(MOD.N)2005年收購了AIREDALE(原歐洲最大的幾家數據中心溫控系統供應商之一),2023年收購T

76、MGcore的IP和部分資產(浸沒式液冷供應商),預計液冷產品(混合冷卻系統)在2024Q2開始給客戶送樣測試,2024年年底進入量產期。圖圖 38:2019年全球熱管理市占率年全球熱管理市占率資料來源:Vertiv官方材料,國信證券經濟研究所整理32%16%5%48%維諦技術世圖茲施耐德電氣其他圖圖 39:Vertiv被指定為英偉達唯一制冷系統合作伙伴被指定為英偉達唯一制冷系統合作伙伴資料來源:Vertiv官方材料,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容零配件競爭格局:市場集中度高,以海外及臺資企業為主零配件競爭格局:市場集中度高,以海外及臺資企業為主u 電子散熱

77、等零配件市場集中度高,以海外及臺資企業為主。電子散熱等零配件市場集中度高,以海外及臺資企業為主。全球熱管主要生產企業有 Honeywell、Fujkura、雙鴻科技、奇鋐科技等,國內廠商以中石科技、飛榮達為代表,英維克逐漸布局電子散熱領域。在我國導管市場,臺系廠商占據七成以上市場份額。2022年排名前三的企業占全球市場約50%的份額。u 國內廠商有望提高份額。國內廠商有望提高份額。隨著液冷技術不斷成熟,本土公司對于部分零配件的生產能力逐步增強,有望由外采改為自己設計制造模式,從而逐步參與到電子散熱市場中,典型公司如英維克。同時,原先其它消費電子領域的公司,通過跨界,也參與到競爭中,在國產替代背

78、景下,份額提升,如飛榮達??傮w來看,本土供應商前景可期。圖圖 40:英維克:英維克Coolinside全鏈條液冷解決方案全鏈條液冷解決方案 資料來源:英維克官網,國信證券經濟研究所整理表表16:電子散熱器件廠商:電子散熱器件廠商廠商廠商提供產品提供產品20222022電子散熱收入電子散熱收入Honeywell Electronic Materials(美國)導熱界面材料、熱管、均熱板及導熱復合材料107.27億美元(高性能材料,包括熱管理、工業、生命科學)Fujikura(日本)蒸汽片(扁平散熱管),散熱片,散熱扇,熱界面材料13.41億美元(電子產品,包含轉換器、傳感器收入)雙鴻科技(臺灣)

79、超薄熱管/均熱板、顯卡散熱模組、服務器散熱模組4.5億美元奇鋐科技(臺灣)直流風扇、節能風扇、主動式散熱器、熱管/均熱板、遠程熱交換器(熱管式及水冷式、熱交換器及壓縮機熱交換器18.3億美元中石科技高導熱人工合成石墨材料、模切功能組件、熱管/均熱板、導熱界面材料及相變儲熱材料等14.82億元飛榮達導熱界面器件、石墨片、導熱石墨膜、散熱模組/風扇/VC均溫板/熱管及半固態壓鑄等14.05億元碳元科技高導熱石墨膜、超薄熱管和超薄均熱板等散熱材料0.56億元英維克3D-TVC、熱管散熱器、吹脹板、液冷板幾千萬資料來源:各公司公告,國信證券經濟研究所整理請務必閱讀正文之后的免責聲明及其項下所有內容四、

80、投資建議四、投資建議請務必閱讀正文之后的免責聲明及其項下所有內容投資建議投資建議u 隨著芯片功率提升、單機柜密度提升,液冷成為隨著芯片功率提升、單機柜密度提升,液冷成為AIDC時代的必選散熱技術。我們認為在長期解耦交付發展趨勢下,具備系統級理解時代的必選散熱技術。我們認為在長期解耦交付發展趨勢下,具備系統級理解能力的專業溫控廠商有望更為受益行業發展趨勢,同時部分與芯片方案具有綁定關系的廠商競爭優勢更為明顯,重點推薦能力的專業溫控廠商有望更為受益行業發展趨勢,同時部分與芯片方案具有綁定關系的廠商競爭優勢更為明顯,重點推薦英維克英維克,推薦,推薦關注關注申菱環境申菱環境等。等。表表 17:重點公司

81、盈利預測及估值(截至:重點公司盈利預測及估值(截至7月月25日)日)產業鏈產業鏈代碼代碼簡稱簡稱投資評級投資評級歸母凈利潤(百萬元)歸母凈利潤(百萬元)EPS(元)(元)PEPB收盤價收盤價總市值總市值20232024E2025E20232024E2025E20232024E2025E(7月月25日)日)(億元)(億元)溫控設備002837.SZ英維克優于大市3445357030.610.720.9536.8 31.1 23.6 622.42166301018.SZ申菱環境優于大市1052853630.391.071.3752.6 19.2 15.0 2.220.5155資料來源:Wind,國

82、信證券經濟研究所整理和預測;申菱環境采用Wind一致預期請務必閱讀正文之后的免責聲明及其項下所有內容英維克:國產溫控龍頭英維克:國產溫控龍頭u 公司是公司是國內精密節能溫控國內精密節能溫控龍頭龍頭企業企業。英維克成立于2005年,主要創始人具有華為及艾默生從業背景,在機房空調工藝和研發上具有較強積淀,形成機房溫控、戶外機柜溫控、新能源及軌交空調幾大業務板塊,其中機房溫控和儲能溫控2023年分別實現收入16.4/12.2億元,市場份額靠前;公司新布局電子散熱業務,面向液冷應用的算力設備冷板產品已開始批量發貨。u 公司核心競爭力:平臺化全鏈條能力,研發實力出眾,深受大客戶信賴公司核心競爭力:平臺化

83、全鏈條能力,研發實力出眾,深受大客戶信賴:1)平臺優勢:公司形成平臺化研發和布局能力,產品矩陣完善,是業內少有的AI數據中心端到端全鏈條解決方案供應商,解耦及全鏈條多種交付模式可充分滿足不同客戶需求。2)研發優勢:公司注重研發投入,針對數據中心、儲能等領域均進行了較為領先的研發布局。公司是Intel冷板參考設計廠商,與芯片方案的合作進一步加強競爭壁壘。3)客戶及品牌優勢:公司數據中心及儲能產品已經是國內各類型主流企業的頭部供應商,形成較強品牌效應,具有先發優勢。u 盈利預測與估值:公司在數據中心和儲能溫控領域已處于市場領先地位,有望持續受益數據中心液冷滲透率提升以及儲能裝機規模提升;同時公司新

84、布局電子散熱板塊有望貢獻新增長點?;诖?,維持此前盈利預測,我們預計2024-2026年公司收入分別為46.5/61.4/77.5億元,歸母凈利潤分別為5.4/7.0/8.9億元,維持“優于大市”評級。請務必閱讀正文之后的免責聲明及其項下所有內容申菱環境:數據中心溫控優質供應商申菱環境:數據中心溫控優質供應商u 公司是公司是國內精密節能溫控領先企業國內精密節能溫控領先企業。公司成立于2000年,定位于“數字能源綜合環境解決方案提供商”(即提供“溫控節能設備+能源綜合管理”綜合解決方案),一方面利用長期在工業等領域積淀形成的溫控節能設備制造能力,提供溫控設備的制造銷售;一方面致力于運用綜合能源管

85、理的設計能力,結合物聯網、云平臺等技術,提供低碳的綜合能源管理解決方案。2023年公司數據中心溫控業務占比三分之一左右。u 公司打造核心技術制造能力,以及低碳服務能力等多元一體的綜合優勢公司打造核心技術制造能力,以及低碳服務能力等多元一體的綜合優勢。公司核心技術能力積累于特種環境場景,形成了超效、環保、智能控制、極端環境保障、防爆防腐、抗震抗沖擊六大核心技術體系(全部基于自主研發)。同時,公司歷史上參與多項國家標準及行業標準制定,在水電、軌道交通、信息通信、核電領域的技術達到國際領先或國際先進水平;產品設計上,重點推行大型風冷、液冷以及低碳解決方案,液冷產品成功實現多年商用化應用;公司客群種類

86、豐富,涉及ICT、電力等多類別,并通過“聯合開發”的商業模式,保持了跟大客戶較好的粘性及服務質量;公司以自有工程基地為試點打造低碳工程,實現產線全自主可控,為制造工藝加持。u 公司生產能力深受大客戶信賴。公司依靠自有產能服務了眾多優質客戶,包括數據中心領域的華為、騰訊、字節等,深受客戶信賴。請務必閱讀正文之后的免責聲明及其項下所有內容風險提示風險提示u AI發展及投資不及預期u 行業競爭加劇u 全球地緣政治風險u 新技術發展引起產業鏈變遷請務必閱讀正文之后的免責聲明及其項下所有內容免責聲明免責聲明分析師承諾分析師承諾作者保證報告所采用的數據均來自合規渠道;分析邏輯基于作者的職業理解,通過合理判

87、斷并得出結論,力求獨立、客觀、公正,結論不受任何第三方的授意或影響;作者在過去、現在或未來未就其研究報告所提供的具體建議或所表述的意見直接或間接收取任何報酬,特此聲明。重要聲明重要聲明本報告由國信證券股份有限公司(已具備中國證監會許可的證券投資咨詢業務資格)制作;報告版權歸國信證券股份有限公司(以下簡稱“我公司”)所有。,本公司不會因接收人收到本報告而視其為客戶。未經書面許可,任何機構和個人不得以任何形式使用、復制或傳播。任何有關本報告的摘要或節選都不代表本報告正式完整的觀點,一切須以我公司向客戶發布的本報告完整版本為準。本報告基于已公開的資料或信息撰寫,但我公司不保證該資料及信息的完整性、準

88、確性。本報告所載的信息、資料、建議及推測僅反映我公司于本報告公開發布當日的判斷,在不同時期,我公司可能撰寫并發布與本報告所載資料、建議及推測不一致的報告。我公司不保證本報告所含信息及資料處于最新狀態;我公司可能隨時補充、更新和修訂有關信息及資料,投資者應當自行關注相關更新和修訂內容。我公司或關聯機構可能會持有本報告中所提到的公司所發行的證券并進行交易,還可能為這些公司提供或爭取提供投資銀行、財務顧問或金融產品等相關服務。本公司的資產管理部門、自營部門以及其他投資業務部門可能獨立做出與本報告中意見或建議不一致的投資決策。本報告僅供參考之用,不構成出售或購買證券或其他投資標的要約或邀請。在任何情況

89、下,本報告中的信息和意見均不構成對任何個人的投資建議。任何形式的分享證券投資收益或者分擔證券投資損失的書面或口頭承諾均為無效。投資者應結合自己的投資目標和財務狀況自行判斷是否采用本報告所載內容和信息并自行承擔風險,我公司及雇員對投資者使用本報告及其內容而造成的一切后果不承擔任何法律責任。證券投資咨詢業務的說明證券投資咨詢業務的說明本公司具備中國證監會核準的證券投資咨詢業務資格。證券投資咨詢,是指從事證券投資咨詢業務的機構及其投資咨詢人員以下列形式為證券投資人或者客戶提供證券投資分析、預測或者建議等直接或者間接有償咨詢服務的活動:接受投資人或者客戶委托,提供證券投資咨詢服務;舉辦有關證券投資咨詢

90、的講座、報告會、分析會等;在報刊上發表證券投資咨詢的文章、評論、報告,以及通過電臺、電視臺等公眾傳播媒體提供證券投資咨詢服務;通過電話、傳真、電腦網絡等電信設備系統,提供證券投資咨詢服務;中國證監會認定的其他形式。發布證券研究報告是證券投資咨詢業務的一種基本形式,指證券公司、證券投資咨詢機構對證券及證券相關產品的價值、市場走勢或者相關影響因素進行分析,形成證券估值、投資評級等投資分析意見,制作證券研究報告,并向客戶發布的行為。國信證券投資評級國信證券投資評級投資評級標準投資評級標準類別類別級別級別說明說明報告中投資建議所涉及的評級(如有)分為股票評級和行業評級(另有說明的除外)。評級標準為報告

91、發布日后6到12個月內的相對市場表現,也即報告發布日后的6到12個月內公司股價(或行業指數)相對同期相關證券市場代表性指數的漲跌幅作為基準。A股市場以滬深300指數(000300.SH)作為基準;新三板市場以三板成指(899001.CSI)為基準;香港市場以恒生指數(HSI.HI)作為基準;美國市場以標普500指數(SPX.GI)或納斯達克指數(IXIC.GI)為基準。股票投資評級股票投資評級優于大市股價表現優于市場代表性指數10%以上中性股價表現介于市場代表性指數10%之間弱于大市股價表現弱于市場代表性指數10%以上無評級股價與市場代表性指數相比無明確觀點行業投資評級行業投資評級優于大市行業指數表現優于市場代表性指數10%以上中性行業指數表現介于市場代表性指數10%之間弱于大市行業指數表現弱于市場代表性指數10%以上請務必閱讀正文之后的免責聲明及其項下所有內容國信證券經濟研究所國信證券經濟研究所深圳深圳深圳市福田區福華一路125號國信金融大廈36層郵編:518046 總機:0755-82130833上海上海上海浦東民生路1199弄證大五道口廣場1號樓12樓郵編:200135北京北京北京西城區金融大街興盛街6號國信證券9層郵編:100032

友情提示

1、下載報告失敗解決辦法
2、PDF文件下載后,可能會被瀏覽器默認打開,此種情況可以點擊瀏覽器菜單,保存網頁到桌面,就可以正常下載了。
3、本站不支持迅雷下載,請使用電腦自帶的IE瀏覽器,或者360瀏覽器、谷歌瀏覽器下載即可。
4、本站報告下載后的文檔和圖紙-無水印,預覽文檔經過壓縮,下載后原文更清晰。

本文(通信·行業專題:液冷溫控智算中心的重要保障-240729(46頁).pdf)為本站 (小時候) 主動上傳,三個皮匠報告文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對上載內容本身不做任何修改或編輯。 若此文所含內容侵犯了您的版權或隱私,請立即通知三個皮匠報告文庫(點擊聯系客服),我們立即給予刪除!

溫馨提示:如果因為網速或其他原因下載失敗請重新下載,重復下載不扣分。
客服
商務合作
小程序
服務號
折疊
午夜网日韩中文字幕,日韩Av中文字幕久久,亚洲中文字幕在线一区二区,最新中文字幕在线视频网站