騰訊&英特爾：數據中心算力-電力靈活性協同研究白皮書（2022）（15頁）.pdf

《騰訊&英特爾：數據中心算力-電力靈活性協同研究白皮書（2022）（15頁）.pdf》由會員分享，可在線閱讀，更多相關《騰訊&英特爾：數據中心算力-電力靈活性協同研究白皮書（2022）（15頁）.pdf（15頁珍藏版）》請在三個皮匠報告上搜索。

1、數據中心算力-電力靈活性協同研究智能管控計算負載，靈活調節電力負荷白皮書執行概要適應新能源發電比例不斷提高，以及用戶側電力需求響應逐步常態化的趨勢，騰訊攜手 英特爾、中國電信，針對通過數據中心算力-電力協同進行需求響應進行了初步可行性研究。本研究提出通過判斷計算任務在服務器上的算力-電力特征，在不影響業務運行的情況下，降低電力部件的實時冗余性、調整業務負載的并行規模和時間分布。研究對業務-算力-電力三者協同提供電力靈活性的多種策略進行了實際測試，在服務器集群運行不同 IT 任務類型時，通過切換空載服務器功耗狀態、利用服務器子部件資源消耗不均衡性、平移和伸縮實時性不敏感任務，改變負荷大小和時間分

2、布，可達到節能降耗、對電網負荷削峰填谷等目的，可適用于各種規模、形式的數據中心、機房、集群和服務器。本研究表明，三種策略均可根據外部指令實現秒級對服務器功率的快速控制，為數據中心參與需求側分鐘級、秒級響應，或參與電力現貨市場和電力輔助服務市場，提供了可行性依據和技術支持，顯示數據中心的電力靈活性響應具備巨大的潛力以及廣闊的應用前景。未來，推動其由研究走向數據中心算力-電力需求響應的成熟應用，既需要對更多部件、更復雜的部署情況進行深入實驗，又需要形成自動化系統，聯動業務-算力-電力三者的對應信息，同時更需要產業伙伴廣泛協同，采用一套標準的測試方法標定業務負載在機型上的電力特性數據，開源共享，從而

3、充分挖掘和發揮出數據中心算力側的電力靈活性，助力構建新型電力系統。背景環境挑戰日益嚴峻，其影響正受到全球高度關注。2022 年 4 月 4 日，聯合國政府間氣候變化專門委員會(IPCC)正式發布了第六次評估報告(AR6)，并在第三工作組報告氣候變化 2022：減緩氣候變化中警示1，在 2100 年前將全球升溫控制在 1.5 以內(且不導致“過沖”)的機會窗口短暫且正在迅速關閉，全球減緩氣候變化和適應的行動刻不容緩，任何延遲都將關上機會之窗，讓人類的未來變得不再具有可持續性。同期，在中國氣象局 2022 年 8 月 3 日發布的中國氣候變化藍皮書(2022)則顯示2，2021 年中國地表平均氣溫

4、較常年值偏高 0.97，達 1901 年以來的最高值，升溫速率高于同期全球平均水平，是全球氣候變化的敏感區。為有效應對嚴峻的環境挑戰與經濟社會高質量發展的內在壓力，落實聯合國 2030 年可持續發展議程，中國積極實施生態文明國家戰略，發布“碳達峰”和“碳中和”目標，加快降低碳排放步伐，引導綠色技術創新。同時，持續推進產業結構和能源結構調整，努力兼顧經濟發展和綠色轉型，促進可持續發展。在中國，電力行業碳排放量占全國碳排放總量的 40%以上，同時用電增長作為剛性需求，是支撐經濟轉型升級和居民生活水平提高的重要保障，這使得電力成為未來 10 年能源增長的主體3，且在社會整體用能電氣化的背景下新增需求

5、巨大。電力行業的碳排放峰值及達峰速度直接決定著 2030 年前全國碳排放達峰目標能否實現。也正是因此，電力行業的減排成為中國整體實現“雙碳”目標的重要抓手，也讓需求側(用戶側)的電力響應逐漸走向前臺，并在數智技術的助力下，對節能降碳發揮日益重要的作用。目錄執行概要.1背景 .1數智技術助力需求側響應走向節能減碳的前臺 .2探索和推進數據中心電力靈活性實踐 .2系統化構建數據中心算力-電力靈活性方案 .4靈活性策略設計.4利用空載服務器在不同功耗狀態之間切換 .4利用計算任務在服務器硬件資源消耗上的不均衡性.4利用平移和伸縮實時性不敏感的計算任務.5利用網絡跨數據中心轉移任務.5靈活性策略結果.

6、5利用空載服務器在不同功耗狀態之間切換的策略測試 .5利用計算任務在服務器子部件消耗不均衡性的策略測試 .6硬盤密集型任務 .6內存密集型任務 .7CPU 密集型任務 .8利用平移和伸縮實時性不敏感的計算任務策略測試 .8子任務獨立型并行計算 .9子任務耦合型并行計算 .9對下一步研究的啟示 .10未來展望 .11鳴謝 .11附錄 .121數智技術助力需求側響應走向節能減碳的前臺大力發展風電、太陽能等可再生能源，支撐火電從基荷能源往靈活性能源的轉變，驅動行業轉型，是支持全社會加速脫碳的一個關鍵環節。但是，這類可再生能源供應存在明顯的間歇性、隨機性以及不可控特性，這給電網的長期發電容量和短期實時

7、平衡都帶來了巨大挑戰。因此，調動用戶側靈活地深度參與系統平衡，對于以新能源為主體的新型電力系統建設具有重要支撐作用。2021 年底，中國國家能源局修訂發布電力并網運行管理規定(國能發監管規202160 號)4、電力輔助服務管理辦法(國能發監管規202161 號)5，將電力系統參與主體由原來的傳統發電廠單側擴展為“源荷”兩側，特別是加入了“風光、新型儲能、負荷側可調節負荷”，同時也提出“誰提供，誰獲利；誰受益、誰承擔”原則，電力輔助服務費用由包括發電企業、電力用戶在內的所有并網主體共同分攤。這不僅讓用戶側的電力精準預測成為用能企業的責任，也激勵著用能企業從單純用電方轉向電力靈活性的提供方，積極挖

8、掘自身用電靈活調節能力。然而，用戶側負載與人們生活、企業生產等直接相關且高度分散的特性，決定了對其控制需要從生產到電力的整體協同。同時，需求響應可調節資源類型復雜，數據統計分析工作量大，傳統手段難以應對。大數據、人工智能、物聯網等技術的應用與融合，給精細化進行用戶負荷管理與響應帶來了新契機，使得對需求側負載進行有的放矢地實時調節成為可能，其在數據中心等領域的應用探索和推廣也將為綠色可持續發展提供創新動力。探索和推進數據中心電力靈活性實踐5G、人工智能等新技術的快速發展和應用，為各行各業高質量發展提供了強勁新動能，同時也讓作為新型基礎設施的數據中心規模不斷擴大，其能耗和社會用電占比都在持續增長，

9、預計 2025 年中國數據中心耗電將占社會總用電量 4%6。因此，加速數據中心綠色轉型也成為節能減排、促進可持續發展的重要途徑。作為一家領先的互聯網科技公司，騰訊秉持“用戶為本，科技向善”的使命愿景，制定了騰訊自身的碳中和目標設定和減排路線規劃7，承諾不晚于 2030 年，實現自身運營及供應鏈的全面碳中和；同時，不晚于 2030 年，實現 100%的綠色電力，并希望主動承擔起助力社會低碳轉型、扶持新興低碳技術的使命和義務。為實現這一目標，騰訊遵循“減排和綠色電力優先、抵消為輔”的原則，大力提升數據中心的能效水平，積極參與綠電轉型及相關市場建設，并不斷探索碳匯領域的技術革新。懷著這一宏闊愿景，騰

10、訊積極推進數據中心節能減排，例如騰訊在中國南區的第四代 T-block 技術通過采用高效率的制冷和供配電架構，擁有 30 萬臺服務器的園區一年能節省約 2.5 億度電，且具有低噪音、高能效等特點與成本優勢8。而其中，經與英特爾合作，基于英特爾 至強 可擴展平臺的首款自研服務器，分別將計算密度、散熱能力提升 50%和 45%，為數據中心大幅降低電量提供了關鍵助力9。同時，數據中心管理、功耗鉗制、待機功耗優化等相關技術也被收錄于英特爾綠色數據中心技術框架中。然而目前數據中心的建設規范和導向，都重點關注評價數據中心能源效率的指標(PUE)等電力使用效率指標，也就是數據中心總能耗與服務器等 IT 設備

11、能耗之比，尚未面向數據中心提出電力靈活性指標。這源于過去服務器電力供應與對應的計算任務信息，處于不同的管理范圍和系統，使得數據中心一直基于銘牌功率來配置供電，且認為負荷剛性不可調，進而一直處于“電力跟隨算力”的狀態?？v觀目前針對數據中心的能源管理研究，也主要把算力需求帶來的電力負荷作為剛性負荷，把研究的焦點集中在供能系統等非服務器設備，重點關注配置儲能、優化供冷系統調節等。其實，細觀數據中心用電結構就會發現，服務器才是耗電“大戶”，以 PUE 值為 1.3 的數據中心為例，服務器耗電占比 77%。因此，尋找調節服務器的算力和電力負荷的方式，將能發揮出數據中心的巨大電力靈活性潛力。PUE=數據中

12、心總能耗/IT 設備能耗PUE，Power Usage Effectiveness 的簡寫，是評價數據中心能源效率的指標、數據中心消耗的所有能源與 IT 負載消耗的能源的比值。其中數據中心總能耗包括 IT 設備能耗和制冷、配電等系統的能耗。PUE 值大于 1，越接近 1 表明非 IT 設備耗能越少，即數據中心能效水平越好。同時，數據中心作為數字化技術的核心節點，數字化與自動化基礎較高，與電力相關的傳感器數據采集、設備控制等也較為齊全。算力消耗的電力是由算力程序驅動電子元件的電力消耗，算力天然的可觀、可測、可即時調節特性，使得實際上可以通過算力的調整達到服2白皮書|數據中心算力-電力靈活性協同研

13、究務器在分鐘級、秒級響應速度下的高精度電力負荷控制，而無需額外增加任何硬件。這使得數據中心在電力靈活性調節上具備天然的技術可行性。從政策導向看，為了激勵各級、各類用戶積極實施需求側響應，電網根據發出響應邀約到需求側實際執行響應的時間尺度，已將響應分為日前響應、小時響應、分鐘響應、秒級響應等模式，并針對不同類型的響應模式，給予容量(kW)和能量(kWh)補償。比如，在試點省份浙江，對電力需求響應電能量補償費用高達 4 元/kWh10，遠高于數據中心等平均不到 1 元/kWh 的工商業電價11。因此，數據中心以及數據中心的用戶，通過進行需求側響應，在為電網提供電力靈活性的同時，也可為自身帶來可觀的

14、額外收入，將成為數據中心發揮其電力靈活性的強大動力?；诖?，在新能源發電滲透率不斷提高，用戶側需求響應逐步常態化，電力調頻、調峰、備用等輔助服務逐步開放的今天，也促使我們思考如何在數據中心提升電力靈活性上邁開步伐，促進數據中心作為豐富的用戶側電力靈活性資源，助力新型電力系統建設。針對這一主題，騰訊、英特爾、中國電信攜手，關注數據中心服務器負載的電力靈活性，提出通過判斷計算任務在服務器上的算力-電力特征，在不影響業務運行的情況下，降低用電部件的實時冗余性、調整業務負載的時間分布和并行規模，從而達到降低、平移、伸縮數據中心服務器的用電負荷，形成“算力跟隨電力”的特性，展現出如下優勢：數據中心數字化

15、程度高，可秒級響應并精準跟隨指定負荷 無額外硬件購置成本 適合任意大小的數據中心、集群和服務器針對數據中心服務器負載的需求響應，國外已有一些相關實踐。自 2017 年以來，谷歌已將每年的用電量 100%匹配到可再生能源的采購中。2020 年起，谷歌通過在數據中心運營中配置碳智能計算平臺，使數據中心能夠靈活地將計算任務轉移到一天中的不同時段，來消納更多的太陽能和風能等無碳能源。在此基礎上，又基于電網對碳密集型能源依賴程度的日前預測，測定不同區域每小時無碳能源可用性，進而在全球不同區域的數據中心之間“轉移計算”任務，讓太陽能和風能等可再生能源使用“始終在線”，實現電力資源的優化匹配12。日本 NT

16、T 公司在 2011 年，與英特爾合作，為應對震后電力供應緊張及政府限制企業用電要求，控制服務器功率上限與功耗。通過將高負載服務器的性能降低到 90%，將數據中心峰值用電量降低了 18%；通過將低負載服務器的性能降低到 70%，將數據中心峰值用電量降低了 16%；而且通過控制服務器的總功耗，可以在保證關鍵業務不暫停的情況下，在外部斷電期間延長數據中心運行時間約 1.8 倍13。從上述案例可以看出，數據中心算力-電力的相互協同具有巨大潛力，而要主動構建數據中心的算力電力靈活性能力，核心控制點是在相3白皮書|數據中心算力-電力靈活性協同研究數據中心負載服務器負載非服務器負載算力優化余熱回收資源協同

17、暖通/供電優化空間響應時間響應需求響應AI 優化 在不影響任務表現的情況下，調節服務器功率 關注響應速度、響應深度、響應時長、響應精度藍色為本研究關注重點圖 1 數據中心低碳研究的主要對象和領域 利用不同計算任務對服務器各硬件子部件的負載不同，而選擇性降低非瓶頸子部件的功耗 包括硬盤密集型、內存密集型等任務應的時間尺度內，對計算任務、服務器顆粒度甚至其 CPU、硬盤、內存等各子部件的顆粒度進行調節，在考慮業務性能和電力功率的聯合優化目標下，通過將電力消耗納入算力分配的考量，達到業務-算力-電力的三方資源協同。由此，在不影響業務表現的前提下，服務器算力的總彈性便成為數據中心可主動向電網提供的電力

18、靈 活性。系統化構建數據中心算力-電力靈活性方案通過系統化分析發現，數據中心通過算力調節進行需求響應，來提供電力輔助服務的實現策略有四種，分別是利用空載服務器功耗切換、利用服務器硬件資源消耗不均衡性、平移和伸縮實時性不敏感任務以及跨數據中心轉移任務。針對前三項策略，騰訊、英特爾、中國電信共同合作，組建了橫跨計算機硬件、計算機軟件、數據中心運營、電力領域的專家和工程師，對數據中心算力-電力靈活性方案進行了探索。靈活性策略設計1.利用空載服務器在不同功耗狀態之間切換從時間分布上看，數據中心中會有一部分服務器處于并未執行任何工作而空載備用的狀態。因此，通過業務規模的精細預測，對服務器執行不同方式的功

19、率降低和休眠策略，可實現不同級別的響應速度和響應深度。該策略可以長期運用，作為數據中心節能的重要途徑，只是存在精細管理的成本與節能收益之間的平衡問題；也可作為響應策略，以電力輔助服務的優勢價格，刺激數據中心精細預測和切換空載服務器功耗狀態。圖 3 利用服務器功耗狀態切換的策略示意圖2.利用計算任務在服務器硬件資源消耗上的不均衡性任何一個業務負載在服務器上的運行，會存在要么服務器能力有冗余，要么其 CPU、網絡、內存、硬盤等某子部件的某一性能使用密集，成為“短板”，而導致其余部件的能力產生冗余，即“長板”。降低冗余的子部件性能，可以在不影響業務負載運行效率的情況下，降低電力負荷。該策略需要研究一

20、系列的特性數據，包括業務負載對于各子部件的壓力特性數據、總體業務性能與子部件性能的關聯以及子部件性能變化時的能耗特性數據，同時在執行響應時，還需要實時監測業務負載對于各子部件的實時壓力數據，以便根據之前的特性數據集，及時做出電力負荷調整的位置和幅度策略。4白皮書|數據中心算力-電力靈活性協同研究 對實時性不敏感的并行計算任務進行斷點續算和擴縮容，快速改變電力負荷在時間上的分布 包括科學計算、視頻渲染等獨立/耦合型計算任務 服務器通過操作系統電源管理、外部 PowerCap 和軟關機等方式，進行切換功耗狀態 功耗狀態之間的切換時間影響應用場景 通過將業務冷遷移或者熱遷移到不同地理位置的數據中心，

21、而改變多個數據中心的電力負荷在空間上的分布服務器功耗狀態切換動態調節計算任務硬件資源性能調節跨數據中心轉移任務可降低 4%-100%功率可秒級靈活調節負荷分布可降低 2%-26%功率改變數據中心 電力負荷的空間分布1324CPU內存帶寬硬盤網絡GPU各部件默認供電業務實際所需供電數據中心數據中心數據中心圖 2 探索數據中心服務器負荷靈活性的主要策略(藍色為本研究關注重點)時間算力/負荷原始平移縮容伸縮CPU內存帶寬硬盤 網絡GPU各部件默認供電業務實際所需供電圖 4 壓縮計算任務在服務器子部件上的冗余性能的策略示意圖3.利用平移和伸縮實時性不敏感的計算任務近年來，隨著智慧城市、智能制造、自動駕

22、駛、元宇宙等應用的不斷增長，高性能計算(HPC)的需求也隨之不斷提升。影視渲染、效果圖渲染等批量計算任務，基因測序、風機工況模擬等科學計算任務以及 AI 訓練等可并行的計算任務，往往需要消耗大量的服務器資源和運算較長時間，已經成為 IT 行業節能減排研究的重要課題。這類任務往往具有計算成本敏感、實時性不敏感、計算規?？勺儎拥奶匦?。中國信通院發布的數據中心白皮書(2022 年)顯示14，2021 年，全球數據中心市場規模超過 679 億美元；而 TrendForce 報告中指出15，2021 年全球 HPC 市場規模達約 368 億美元，較 2020 年增長 7.1，并預估 2022 年增長率提

23、升至 7.3。面對這一高速增長的需求，有專家警示道，并行算法和并行軟件設計，必須考慮降低功耗和提高性能以應對高能耗問題16。對此，一方面可以通過實時傳遞價格信號，激勵用戶選擇電力價格較低的時間段進行整體運算；另一方面，也可以通過斷點續算、可續渲染技術，在計算任務執行的過程中暫停乃至對并行規模進行改變，來平移和升降電力負荷。時間算力/負荷原始平移縮容伸縮圖 5 通過計算任務平移伸縮來實現電力負荷調節的策略示意圖4.利用網絡跨數據中心轉移任務通過將業務冷遷移或者熱遷移到不同地理位置的數據中心，而改變多個數據中心的電力負荷在空間上的分布，該策略需要較龐大的業務群及分布式計算存儲業務架構予以支撐。數據

24、中心數據中心數據中心圖 6 通過跨數據中心轉移計算任務來實現 電力負荷調節的策略示意圖前三個策略的實現需要業務-算力-電力三者的精準關聯關系和協同，但能夠適用于各種規模、形式的數據中心、機房、集群和服務器，也是本研究的重點。本項目搭建了一個服務器集群作為測試環境(具體軟硬件配置和網絡配置見附錄)，運用了如下兩類工具作為狀態監測和功率調整工具，進行研究和測試：英特爾 數據中心管理平臺(Intel Data Center Management,Intel DCM)：該平臺能夠通過帶外讀取系統整體電力和關鍵服務器子部件的使用指標，高頻率讀取 CPU 及內存實時用電功率，同時其 Power Gover

25、nor 模塊中的 PowerCap 功能還能夠提供精準至單核的 CPU 和內存功率毫秒級限制。Linux 系統工具：mpstat,free,iostat,nicstat,用于監測 CPU、內存、硬盤和網絡的使用狀態信息。靈活性策略結果利用空載服務器在不同功耗狀態之間切換的策略測試 空載消耗 對于單臺實驗服務器，在未運行任何計算任務的空載狀態下，消耗電力功率 215W，其中 CPU 消耗 53%，內存消耗 21%。5白皮書|數據中心算力-電力靈活性協同研究215W100%53%21%26%CPU內存其他圖 7 實驗中單臺服務器空載時的功耗及分布 測試流程：對空載狀態服務器進行功耗狀態切換在單機環

26、境，測試了三類切換空載服務器功耗狀態的方式：將 Linux 功耗狀態設置為 freeze，并通過 HMI 喚醒；通過 Intel DCM 的 PowerCap 將 CPU 功率上限調節至最低，并通過解除設定來恢復功率；輸入系統命令 shutdown，進行軟關機，再通過電源按鍵啟動。FreezePowerCap空載空載關機下發指令恢復指令圖 8 測試策略流程圖 測試結論 測試數據顯示，通過切換服務器空載狀態，三種模式皆可獲得功率降低。其中，Freeze、PowerCap 皆可秒級響應，功率降比分別為4%、27%；關機帶來的功率降低最大，達 100%，但切換開關機需要2.5 分鐘，額外消耗電量 0

27、.0083kWh。05010015020025002468101214161820FreezePowercapShutdown空載狀態服務器功率(W)時間(分鐘)空載狀態省電指令下發恢復指令下發圖 9 Freeze、PowerCap 和關機三種方式下的功耗和響應特征曲線策略功率降低降低比例響應速度Freeze9W4%1sPowercap57W27%1s關機215W100%3min表 1 測試結果表利用計算任務在服務器子部件消耗不均衡性的策略測試 不同的程序、甚至單個程序運行不同功能時，在不同類型的服務器上成為“短板”的子部件都可能不同。為使得本項目的業務負載有一定的指標意義，本策略的測試中嘗試

28、選取一些盡可能對單一子部件形成壓力的真實或模擬負載進行測試，從而體現其余子部件電力靈活性的最大可能。同時，也選取一些性能指標，來反映服務器功耗變化是否對業務負載的性能造成影響。對單一部件施加壓力的負載并不代表不會對其他子部件造成壓力，例如內存的讀寫操作不可避免地會帶來 CPU 的運算操作。因此本項目中盡可能選取對單一部件壓力最大、同時關聯的其他子部件的壓力盡可能小的模擬負荷，以窺斑見豹。實際數據中心中運行的程序，可以近似看做是這些單一模擬負荷的組合，從而近似預測出其電力靈活性。硬盤密集型任務 測試負載 Linux 系統上的 dd 工具，能夠用指定大小的塊拷貝一個文件，并在拷貝的同時進行指定的轉

29、換。Linux 系統設計的一個重要思想是“一切皆為文件”，硬盤設備對 Linux 系統來說屬于塊設備類型。dd 命令可以幫助工程師直接讀取或寫入磁盤塊設備文件。在本項目中，dd命令用于模擬一個硬盤 I/O 密集型的任務，對硬盤 I/O 造成壓力。CPU網絡硬盤GPU內存帶寬圖 10 測試負載對各子部件的壓力特性圖白皮書|數據中心算力-電力靈活性協同研究6白皮書|數據中心算力-電力靈活性協同研究測試流程：通過 dd 工具持續向硬盤寫入和刪除文件，并逐步通過降低 CPU 功率從而降低服務器功率。采用單服務器，使用 PowerCap 對 CPU 進行不同功率水平的限制，并進行以下操作：運行 dd 命

30、令向硬盤寫入 1 個 512MB 大小的文件，重復三次，得到在不同功率水平下，在硬盤中寫入三次同樣的文件所消耗的平均時間及平均寫入速度。硬盤復制 1024 x 5MB 文件并刪除記錄任務所用時間降低 CPU 功率圖 11 策略測試流程圖 測試結論 測試數據顯示，在執行硬盤密集型任務時，可將 CPU 功率由 215 W壓縮至 160W，降比達 26%，且對硬盤寫入速度沒有影響。所用時間(秒)總功率(W)010203040150160170180190200210220可壓縮功率空間圖 12 硬盤密集型任務的性能-電力特性曲線初始功率功率壓縮值功率壓縮比例215W55W26%表 2 測試結果表 內

31、存密集型任務 測試負載 memtester 是 Linux 系統下的一款內存測試工具，可以幫助開發人員在用戶空間下對內存進行壓力測試。開發人員可以通過 memtester 限定測試內存的大小與次數，在指定的內存大小中進行隨機值，異或等一系列測試。在本測試過程中，通過運行 memtester 模擬內存密集型業務負載。同時運行的 memtester 進程越多，內存帶寬使用率就 越高。CPU網絡硬盤GPU內存帶寬圖 13 測試負載對各子部件的壓力特性圖測試流程：通過 memtester 工具，使得對內存帶寬利用率維持在多個水平的壓力，并逐步降低 CPU 功率?；趩畏掌?，執行 Linux 系統上

32、memtester 工具，使得對內存帶寬利用率維持在 74%、47%和 28%三個壓力水平。接著使用PowerCap 對 CPU 進行逐步降低的功率限制，監測內存帶寬利用率的變化。監測內存帶寬 利用率降低 CPU 功率Band 74 任務Band 47 任務Band 28 任務圖 14 策略測試流程圖 測試結論 測試數據顯示，在執行內存密集型任務時，可對 CPU 功率進行壓縮，當內存帶寬占用率分別約為 74%、47%、28%時，初始服務器功率各自為 313W、278W 和 255W，可壓縮的功率各自為 18%、8%和2%，可以推論，對于內存 I/O 密集型任務，內存占用越高，而 CPU 功率可

33、壓縮空間越大。內存帶寬利用率(%)功率可壓縮空間020406080150200250300350band 74band 47band 28服務器功率 (W)圖 15 內存 I/O 密集型任務的性能-電力特性曲線7白皮書|數據中心算力-電力靈活性協同研究初始功率功率壓縮值功率壓縮比例Band 28255W6W2%Band 47278W23W8%Band 74313W57W18%表 3 測試結果表 CPU 密集型任務 測試負載 Intel Linpack 是國際流行的用于測試計算機系統浮點性能的基準程序。通過對高性能計算機采用高斯消元法求解一元 N 次稠密線性代數方程組的測試，評價計算機的浮點性能

34、。Linpack SMP 版本在單節點上運行，在本測試中用于模擬單節點上的 CPU 密集型任務，任務的具體參數見附錄。CPU網絡硬盤GPU內存帶寬圖 16 測試負載對各子部件的壓力特性圖測試流程：運行 Linpack SMP 任務作為 CPU 密集型的任務，并逐步通過降低 CPU 功率而降低服務器功率，記錄任務運行時間?；趩畏掌?，使用 PowerCap 對 CPU 進行不同功率水平的限制，進行以下操作：啟動 Linpack SMP 任務，記錄計算完成時的計算時長和 Gflops 指標。單節點 LINPACK SMP 負載記錄任務所用時間降低 CPU 功率圖 17 策略測試流程圖 測試結論

35、測試數據顯示，降低服務器功率時不存在任務完成時間不變的“平臺區域”，當服務器功率從 363W 降為 232W 時，計算耗時從 1,377 秒增至 2,303 秒，表明通過控制 CPU 功率，降低服務器總功耗將相應降低任務執行速度。后續應探索針對服務器 CPU 之外的子部件的功率控制，如對內存、網絡的功率控制，挖掘針對 CPU 密集型任務，壓縮其余子部件硬件性能電力冗余對的潛力。10001400180022002600200250300350400所用時間(秒)功率(W)2600400350300250功率(W)2002200180014001000圖 18 CPU 密集型任務的性能-電力特性曲

36、線(CPU 功率調控)利用平移和伸縮實時性不敏感的計算任務策略測試如今許多并行計算類的任務具備了斷點續算功能，有些應用程序本身就支持斷點續算，而有些可以通過 Message Passing Interface(MPI)中支持斷點續算的 checkpoint/restart 技術來實現。斷點續算可保證任務隨時可以被中斷，并在重啟后繼續運算，而不是重新開始，從而在電力上支持將算力需求，也就是電力需求進行平移。在斷點續算的基礎上，如果應用軟件還具有并行計算節點數可變的能力，則可以實現算力需求的隨時擴容和縮容，達到電力需求的伸縮。并行計算通過將一個計算任務進行分解，形成在不同節點上并行計算的子任務。對

37、于子任務相互獨立的并行任務，并行效率能夠達到 100%，因此計算效率幾乎不受并行節點的數量和網絡的影響。而對于子任務耦合的并行任務，子任務間需要通過網絡進行通訊和同步，從而除了計算任務本身的時間消耗，還會帶來額外的通訊計算和等待的過程。本項目分別選取了子任務獨立和子任務耦合兩類并行計算任務，測試了其算力和電力的平移與伸縮性能。計算任務計算任務圖 19 子任務獨立與子任務耦合的并行計算任務8 測試結論 測試數據顯示，在 2 個節點上運行計算任務，耗時 10 分 27 秒，總功耗為 118Wh；在 2 節點運行一段時間后中斷任務，再將剩余的計算量縮容至 1 個節點續算，耗時 13 分 49 秒，總

38、功耗 123Wh；在 2 個節點運行計算任務，運行一段時間后中斷任務，再將剩余的計算量擴容至 3 個節點上續算，總計算耗時 9 分 54 秒，總功耗 125Wh。數據表明，對于可分配至計算節點獨立計算的并行任務，可通過縮容、擴容、平移調整計算節奏，且不會顯著影響總耗電量和總時長。此策略可根據電網響應邀約時段和負荷調節要求，靈活改變算力分布，達到“削峰填谷”。020040060080010001200功率(W)時間10271349954118 Wh123 Wh125 Wh3節點1節點2節點圖 22 縮容、平移、擴容子任務獨立型并行任務的負荷特征曲線 子任務耦合型并行計算 測試負載 VASP(Vi

39、enna Ab initio Simulation Package)是當下具備最廣泛的國際認可度之一的材料計算模擬程序，在半導體芯片、量子物理等領域廣泛使用。VASP 作為一個優化計算程序，支持并行計算和斷點續算18。因此在此通過對一個 VASP 任務在運行過程中的計算資源進行調整，達到伸縮該任務的電力負荷的目的。本測試中，使用一個 VASP 任務作為典型的子任務耦合型并行計算任務，任務詳細參數請見附錄。CPU網絡硬盤GPU內存帶寬圖 23 測試負載對各子部件的壓力特性圖白皮書|數據中心算力-電力靈活性協同研究 子任務獨立型并行計算 測試負載 對于汽車研發企業，白車身輕量化對提升整車的性能質量

40、、節省制造成本具有重大意義，卻是一個多變量、多目標、跨學科和計算代價昂貴的復雜決策優化問題。本測試中的優化問題，將前地板、外擋板等 20 個位置的料厚作為優化的設計變量，求解白車身在滿足剛度性能前提下，結構輕量化和1階模態性能的最優解。該優化問題通過 UniXDE 多學科設計優化軟件17，進行分布并行計算，具體計算任務參數如附錄所示。CPU網絡硬盤GPU內存帶寬圖 20 測試負載對各子部件的壓力特性圖測試流程：在 23 臺計算節點上分別按以下 3 種策略在 UniXDE 軟件中執行一個白車身輕量化的優化計算任務，在計算中途改變計算節點規模，達到伸縮該任務電力負荷的目的，記錄計算消耗時長?；€：

41、在 2 臺計算節點上運行計算任務，一直到計算完畢；縮容：在 2 臺計算節點上運行計算任務，運行一段時間后中斷任務，再將剩余的計算量在 1 臺計算節點上續算，一直到計算完畢；平移+擴容：在 2 臺計算節點上運行計算任務，運行一段時間后中斷任務，再將剩余的計算量在 3 臺計算節點上續算，一直到計算完畢?？s容平移擴容2 節點運算1 節點運算中斷記錄功率和 時長獨立型 并行 計算任務2 節點運算3 節點運算2 節點運算圖 21 策略測試流程圖9白皮書|數據中心算力-電力靈活性協同研究測試流程：執行 VASP 并行計算任務，在計算過程中進行斷點續算和計算節點規模的改變，達到平移和伸縮該任務電力負荷的目的

42、，記錄計算消耗時長?；€ 1：在 2 臺計算節點上并行計算 VASP 任務，一直到計算完畢；基線 2：在 4 臺計算節點上并行計算 VASP 任務，一直到計算完畢；平移：在 4 臺計算節點上并行計算 VASP 任務，計算一段時間后中斷任務，等待一段時間，在 4 臺計算節點上對中斷的 VASP 任務進行續算，一直到計算完畢；平移+縮容：在 4 臺計算節點上并行計算 VASP 任務計算一段時間后中斷任務，等待一段時間，在 2 臺計算節點上對中斷的 VASP 任務進行續算，一直到計算完畢。平移平移平移縮容4 節點運算4 節點運算中斷中斷記錄功率和 時長耦合型并行 計算任務4 節點運算2 節點運算4

43、節點運算2 節點運算圖 24 策略測試流程圖 測試結論 測試數據顯示，在 2 個節點上進行并行計算，耗時 52 分 41 秒，總功耗 511Wh；在 4 個節點實施并行計算，耗時 41 分 42 秒，總功耗 753Wh；在 4 個節點上平移計算任務，也就是并行計算一段時間后中斷，等待一段時間，進行續算，總計算耗時 37 分 7 秒，總功耗 623Wh；在 4 個節點并行計算一段時間后中斷，等待一段時間，然后縮容至 2 個節點，對中斷的任務進行續算，總計算耗時 45 分 35 秒，總功耗 661Wh。這表明，子任務耦合型并行計算任務也可通過縮容、平移，來靈活調整服務器功率，但由于網絡等因素的限制

44、，算力和電力的擴縮容關系非線性。050010001500524141424535511 Wh753 Wh661 Wh3707623 Wh2節點4節點圖 25 擴容、平移、縮容子任務耦合型并行任務的負荷特征曲線通過以上三種策略，我們證明服務器集群在運行不同 IT 任務類型 時，可以通過切換空載服務器功耗狀態、利用服務器子部件資源消耗不均衡性、平移和伸縮實時性不敏感任務等方式，在不影響任務表現的同時，實現對服務器功率的調整，可適用于各種規模、形式的數據中心、機房、集群和服務器。其中，策略一和策略二，可在業務無感知的情境下實現 2%-27%的負荷深度降低，可常態化實現節能目的，顯著降低數據中心整體能

45、耗和電力費用。策略三可對如科學計算、視頻渲染等實時性不敏感的業務進行平移、擴縮容，達到對服務器功率在時間分布上的人為控制。以上三種策略均顯示服務器可根據外部指令實現秒級對服務器功率的快速控制，為數據中心參與需求側分鐘級、秒級響應，或參與電力輔助服務市場交易，提供了可行性依據。對下一步研究的啟示本項目提供了一個在數據中心利用算力-電力協同進行需求響應，從而提供電力輔助服務的初步可行性研究，在測試的設計上不盡周全，在分析的過程中也仍有許多未知和值得深入探討的問題，歡迎各領域的學者、專家、產業伙伴給予指教與建議。在形成一個數據中心算力-電力需求響應的成熟方案之前，無疑需要在更多的機型上對更加多元化的

46、計算任務進行特性數據測試。除此之外，下一步的實驗也需要將以下幾方面納入研究：從 CPU 功率調控到內存功率調控：本項目中所使用的服務器內存配置較小，也未涉及運行非內存密集型的任務時限制內存功率的測試。而對于一些大內存機型，其功率可占到總服務器功率的 40%以上，對于內存功率調控的研究就顯得極其必要；10白皮書|數據中心算力-電力靈活性協同研究 從服務器到數據中心整體：本項目中的測試和監測對象只有服務器，尚未納入交換機和制冷設備的關聯影響，其中包括：-響應特性：當大量的服務器進行電力響應并持續一段時間后，很可能帶來相關聯的交換機和制冷設備的功率變化，從而形成系統型響應特征曲線；-策略組合：對于整

47、個數據中心，可根據各個服務器的狀態和執行的任務特性，采用不同策略的組合，從而獲得整個機架、機柜、數據中心層級的負荷調節。從物理機到虛擬化：本項目中的業務負載直接運行在物理機上，從而能夠獲得更直觀的算力-電力的關聯關系，而在實際業務環境中有相當多的數據中心和服務器進行了虛擬化和混部，這使得業務負載-算力-電力之間又多添加了虛擬化層和混部運行，增加了精細管理的復雜度，但同時虛擬化及其資源調度也為算力分布調整能力帶來了更大空間；性能指標的定義：本項目中的業務負載性能特性比較單一，而在實際運行業務中，有可能除了計算速度(消耗時間)之外，還包含穩定性、網絡延遲等其他性能，需要與每一個業務負載的開發者和運

48、營者進行具體探討。未來展望由實驗研究到應用解決方案：本項目對數據中心算力-電力協同進行電力靈活性響應的策略應用進行了初步可行性研究，已經展現出其巨大的潛力及廣闊的應用前景。但是上述研究對每一種策略應用只選取了一兩個工作負載且只在一種機型上進行了可行性驗證，測試了特性數據。而要針對實際運行的數據中心進行電力現貨交易，打造需求響應能力，并提供精準的電力輔助服務，無疑需要有一套自動化系統，集合業務-算力-電力三者的對應信息，具備監控、預測、響應策略規劃組合和調節控制的四項能力，方能對服務器集群和其各子部件進行敏銳監測和靈活調控，進而實現協同響應。開放式協作與特性數據庫：要對一個數據中心進行電力靈活性

49、的預測和策略，需要不同負載在不同服務器以及其子部件(包括 CPU、硬盤、內存等)的電力響應特性數據作為基礎。然而逐個對其進行測試帶來的巨大工作量，對于任何一方都難以承擔。這就需要業務 (程序)開發方、硬件生產商、業務運行方甚至硬件調度方(例如云或超算中心的運營商)開放式協作，制定和采用一套標準的測試方法、數據格式和數據共享網絡來共同推進，進而加速實現智能管控計算負載，充分挖掘和發揮出數據中心的電力靈活性潛力，助力構建新型電力系統。11鳴謝協作、開放、可持續是技術創新的環境要素。本項目有賴于橫跨計算機硬件、計算機軟件、數據中心運營、電力等各個方向的同仁共同合作，在此特別鳴謝以下同仁在測試中的貢獻

50、(排名不分先后)。騰訊：周瀅埡、童流川、許浩、蘇鑫、梁家啟、馬國勇、邵明、趙傳寓、朱健保、淮賽男英特爾：崔煜、朱晟偉、王愛喜、解強、史毅磊、華雯、古今、高陽中國電信：高清爽樹優科技：賴宇陽、葉芳、方立橋、孫軍勇、魏凱鋒、孫敏浩白皮書|數據中心算力-電力靈活性協同研究附錄1、英特爾綠色數據中心技術框架綠色數據中心目標 高壓直流 分布式電池技術 高功率密度機架 集中式供電設計 48V 供電架構 英特爾 片上集成電壓轉換控制技術 液冷整體解決方案 冷板方案 浸沒式液冷設計指南/規范 冷板式液冷設計指南/規范 先進風冷設計指南/規范 定制化 CPU 的結/殼溫考量 考慮熱性能的硅片設計 Data Ce

51、nter Management 帶內系統狀態感知與 AI 運維 機柜功率鉗制管理 英特爾 Turbo 機柜技術 待機功耗優化技術 服務器狀態感知 節點管理技術 英特爾 速度選擇技術客戶碳足跡與數據中心 PUE 計算(方法論,測試基準,工具,)能效與功率密度數據中心層對政策與標準的影響機架層服務器層XPU 層 先進散熱技術基礎設施智能化2、測試環境軟硬件配置表機柜2臺服務器20臺 CPU型號：英特爾 至強 E5-2680V4 處理器，35M Cache,2.40 GHzCPU顆數：2CPU總核數：28內存128G硬盤300G*2 HDD操作系統TLinux 2.2(兼容 CentOS 7)3、測

52、試環境網絡配置圖跳板機管理節點共享文件盤計算節點 01計算節點 20交換機 1帶內管理，萬兆光口網絡交換機 2帶外管理，千兆電口網絡12白皮書|數據中心算力-電力靈活性協同研究134、測試負載配置參數 利用計算任務在服務器硬件資源消耗上的不均衡性策略測試-CPU 密集型任務本項目中使用的Linpack SMP參數如下：Linpack SMP Distirbutionxlinpack_xeon64 Problem size58608,120832LDA58608,120832不同 Problem Size 會影響計算過程中內存的占有量，在本實驗中使用了兩種 Problem Size，但由于實驗機

53、型的內存功率相較于整體服務器功率較小，因此不同實驗 Linpack 配置對于內存功率變化不明顯，在分析中僅展示 Problem Size 為 58608 的運行結果。利用平移和伸縮實時性不敏感的計算任務策略測試：子任務獨立型并行計算白車身輕量化問題在 UniXDE 多學科設計優化軟件中進行優化流程的集成和軟件調用計算，約束條件和目標函數設定如下表所示：機柜指標指標值約束條件 門檻梁彎曲剛度 12811.5(N/mm)扭轉剛度5356.8(N*mm/)優化目標 1階模態性能最大化 白車身質量最小化計算設定迭代次數300種群規模100白皮書|數據中心算力-電力靈活性協同研究腳注和法律聲明1 IPC

54、C AR6 WG III,Climate Change 2022:Mitigation of Climate Change,20222 中國氣象局氣候變化中心，中國氣候變化藍皮書(2022)，20223第一財經報道，電力行業將于 2030 年左右達峰，碳減排需聚焦四個方面，https:/ 國家能源局，電力并網運行管理規定，20215 國家能源局，電力輔助服務管理辦法，20216 中國銀河證券研究院，通信行業深度報告ICT“雙碳”新基建，IDC 溫控新機遇，2022，第 8 頁7 騰訊，騰訊碳中和目標及行動路線報告，2022，第 3-4 頁8.9 英特爾，英特爾高效能數據中心白皮書，2022，第

55、 5 頁10 浙江省發展和改革委員會，省發展改革委 省能源局關于開展2021年度電力需求響應工作的通知，202111 工商業電價分峰谷平階梯電價，平均電價不到 1 元/kWh12 Ross Koningstein，We now do more computing where theres cleaner energy，2021，https:/blog.google/outreach-initiatives/sustainability/carbon-aware-computing-location/Ana Radovanovic,Our data centers now work harder

56、 when the sun shines and wind blows，2022，https:/blog.google/inside-google/infrastructure/data-centers-work-harder-sun-shines-wind-blows/13 Intel,Dynamically Controlling Server Power Consumption and Reducing Data Center Peak Usage by 16 to 18 Percent,2012,https:/ NTT14 集微網，信通院：2022 年全球數據中心市場收入將達 746

57、億美元，https:/ 集微網，TrendForce：全球 HPC 市場 2021 年市場規模約 368 億美元 ，https:/ 新華網，并行計算有望迎來黃金時代，https:/ UniXDE 是樹優(寧波)科技有限公司自主研發的國產多學科仿真優化工業軟件，提供 CAE 多物理場仿真協同、多學科設計優化、多專業仿真數據管理和多領域工業 APP 應用開發等功能。18 VASP 執行計算的輸入包括四個文件:INCAR,KPOINTS,POSCAR,POTCAR。其中 POSCAR 記錄了原子位置，而 VASP 在執行計算過程中會輸出 CONTCAR 文件，此文件會保存經過 VASP 優化計算的更

58、新的原子位置。因此本測試中 VASP 的斷點續算功能，是通過在中斷后刪除最初的 POSCAR 文件，而將中斷前的 CONTCAR 作為 POSCAR，與其他三個輸入文件共同提交計算從而達到續算。本白皮書的發布方包括騰訊公司、英特爾、中國電信。發布方并不控制或審計第三方數據。請您審查該內容，咨詢其他來源，并確認提及數據是否準確。描述的成本降低情景均旨在在特定情況和配置中舉例說明特定發布方的產品或技術如何影響未來成本并提供成本節約。情況均不同。發布方不保證任何成本或成本降低。發布方描述的技術特性和優勢取決于系統配置，并可能需要支持的硬件、軟件或服務得以激活。產品性能會基于系統配置有所變化。沒有任何產品或組件是絕對安全的。更多信息請從原始設備制造商或零售商處獲得，或請見發布方官網。預測或模擬結果使用發布方內部分析或架構模擬或建模，該等結果僅供您參考。系統硬件、軟件或配置中的任何差異將可能影響您的實際性能。描述的產品可能包含可能導致產品與公布的技術規格有所偏差的、被稱為非重要錯誤的設計瑕疵或錯誤。一經要求，我們將提供當前描述的非重要錯誤。英特爾、英特爾標識以及其他英特爾商標是英特爾公司或其子公司在美國和/或其他國家的商標。英特爾公司版權所有騰訊、騰訊標識以及其他騰訊商標是騰訊公司注冊商標。騰訊公司版權所有。