1-4 優化與強化技術在電力調度中應用.pdf

1、決策類解決方案智能電網調度智慧實時調度智能規劃智能石油/燃氣智慧實時管控管線規劃智能航班調度航班實時調度航班規劃動態定價智能倉儲、物流實時倉位控制倉儲規劃APS生產管理系統智能服務器調度服務器實時調度服務器規劃智能資金調度資金調度最大化收益倉儲選址ECS場景1：二次調度庫存提升x%，碎片和打散程度有小幅提升.整理大規格庫存超過xW核，價值x+億元場景2：資源保障中心（彈性SLA）公有云ECS資源保障在水位覆蓋x%的目標下，優化后減少x萬核庫存（折合近x億元)支付寶場景1：螞蟻借唄xx期轉1期場景、螞蟻機構騰挪借唄場景：性能提升x+倍，求解問題規模的上限提升了x倍，穩定降低X%場景2：MindO

2、pt求解器在螞蟻的資金調度業務中落地，求解百億變量模型中的子問題，求解時間從原來的幾小時降低到半小時，解決了求解瓶頸問題面向菜鳥國內供應鏈業務的智能分單算法，選擇成本和時效最優的CP，預估收益x億元/年在各個領域的智能決策致力于開發和運用尖端運籌優化和機器學習技術構建智能決策系統，幫助集團內外客戶更快更好地做出決策，以期降低成本，提升效率，增大收益。團隊又印臥濤老師帶領，原加州大學洛杉磯分(UCLA)數學系教授。世界知名數學家。2016晨興應用數學獎金獎2018至今世界1%高引學者。新型電力系統構建新能源占比逐漸提高的新型電力系統是實現“碳達峰、碳中和”目標的關鍵途徑2020年9月，習近平總書

3、記在第七十五屆聯合國大會一般性辯論上向國際社會作出“碳達峰、碳中和”的鄭重承諾21%27%52%10%10%80%新能源電量占比快速攀升2030年新能源年總發電量8.94萬億千瓦時2050年新能源年總發電量12.13萬億千瓦時光伏風電其他數據來源：中國科學院學部咨詢項目我國新一代能源系統戰略研究發電輸電出力穩定同步機為主出力不確定新能源為主用電5級調度、背靠背直流大范圍互聯、大量電力電子設備以用定發以發定用，負荷參與控制調度組織的業務屬性特點：Excel：確定性計劃模式，可以用Excel做調度計劃，實時的時候按照日前計劃執行(數字化)現有系統：年度、月度、周、日前、實時多時序場景耦合迭代面對不

4、確定性（智能化）Future?（智慧化）Excel優化求解器2022-032021-09國網AI調度大賽調度第一（清華第二）電機工程學年會南網總調AI實時調度系統驗證可行達摩院智慧調度2022-09南網第四屆AI調度建立合作生態MindRay+無影強化學習平臺賦能比賽+電科院強化調度國網總調大賽第一屆AI調度2022-09中電聯-國網強化學習調度大賽國際領先國產化替代驗證省現貨（浙江、蒙西、甘肅、廣東）區域現貨日前、實時調度無功優化新型電力系統-實時調度LP單純形內點法機組出力調度節點電價計算無功補償出力MILP動態規劃分枝定界日前機組組合日內機組啟停電容電坑投切變壓器檔位機組啟停；分布式電源

5、并網；需求響應MINLP分枝定界內點法考慮電壓高階非線性優化以及電容電坑投切電力電子設備調壓；電容抗調壓；強化+優化隨機、魯棒優化隨機性、分鐘級波動性大電壓問題凸顯運行方式復雜到人工經驗失效有功無功協調優化在線指派金融資產調度與組合商戶風險在線推薦在線運籌近線運籌離線運籌庫存推薦大規模Solver基于BFGS的Solver流量中控MindOpt菜鳥Greed Solver螞蟻Ant Solver求解時效問題規模?新型電力系統秒級調度在線運籌近線運籌離線運籌實時+AGC日前機組組合、調峰、調頻無功優化檢修計劃、中長期安全校核實時經濟調度AGC/minutes121415日前機組組合/15Min1

6、 295961.系統負荷平衡約束2.系統正、負備用容量約束3.機組出力上下限約束4.機組群出力上下限約束5.機組爬坡約束6.最小連續開停時間約束7.機組最大啟停次數約束8.斷面/線路潮流約束9.水電震動、梯級機組狀態秒級調度線路/斷面1.將交流線性化成直流（無電壓）2.交直流迭代（無電壓）3.基于Jacobian逼近線性(需迭代)高階非線性數據驅動與模型驅動 優勢：在線響應時間快，適用于不確定性場景 劣勢：學習效率慢、成本高、解存在安全性隱患強化學習 優勢：在可求解情況下，解的質量較高，可解釋性好 劣勢：不確定性難以處理，大規模問題響應時間較慢數學建模電力調度Safe RL為了讓電網調度在每一

7、時刻盡可能滿足安全約束，以知識模型作為safety layer來進行安全約束保障，e.g.DC約束集可以用線性約束集來表示，而AC約束集可以用二次型約束集來表示為了盡可能減少safety layer的調用頻次以及求解耗時，可以讓safetylayer通過梯度回傳的方式來對policy network的更新進行指導，從而使policy更好的感知到約束集區域通過異步訓練框架及算力資源來加速強化學習的收斂效果評估Solver、Safe Explore以及Our Method的性能對比SafeRL深度神經網絡網絡拓撲數據負荷預測數據歷史負荷數據歷史求解數據機組啟停斷面狀態機組出力機組成本歷史拓撲數據S

8、CUC、ED優化模型機組啟停推斷割平面預生成約束狀態推斷縮減SCUC、ED模型緊致建模MindOpt可行解提升N-1MindPower潮流及N-1驗證可行解最終解仿真模型深度強化學習策略集初始解啟發式訓練1.Cuts2.Heuristic3.Presolve.定制SA/GA從上述結果可知：在僅保證可行性情況下，通過添加割平面并迭代求解能加速6.256.25倍，且目標函數值偏離最優值范圍在1%1%以內；若保證最優性，平均加速效果仍能達到1.991.99倍割平面考慮網絡安全約束、考慮機組運行特性、考慮負荷平衡、考慮N-1 等等。搭建訓練RAY模擬仿真環境集群、搭建潮流計算集訓支撐日千萬次訓練某區域

9、電網模型驅動保證調度決策高可靠數據驅動強化學習提交計算效率、多場景、以及長期收益通過2項技術結合單次調度決策時間小于等于0.1s數據驅動+模型驅動+分布式訓練4000+拓撲節點、1000+機組單次強化在線推理平均小于等于0.01s、訓練2個小時結合方案平均小于等于0.1s規模與效率某電網云上實時電力調度在線決策系統數模驅動優化算法 強化學習與數學規劃結合解決新型電力系統調度難題分布式訓練能力 分布式RAY底盤支撐日均千萬次計算和訓練電力調度優化與強化學習訓練平臺支撐第四屆南網AI大賽南方電網公司AI電力調度大賽開發平臺數智仿真平臺 220Kv及以上電網模擬仿真環境賦能開發環境無影平臺訓練與在線

10、部署環境分布式計算底盤強化學習通用框架DDPGApe-XDD-PPOA3CAlphaZQMIXSACMADDPGDRLMindOpt數據+模型驅動SafeRL框架220KV及以上五省仿真器可靠DRL SafeRL框架提高安全性能力自巡航/自駕駛調度平臺預測母線負荷新能源系統負荷故障預測算法A2CA3CDQNDDPGMILP魯棒優化隨機優化LPNLP數據方式優化無功優化轉負荷推薦故障恢復機組組合經濟調度滾動計劃現貨市場調峰、頻需求響應規劃+檢修檢修計劃編排電源與電網規劃巡檢派工數字孿生模擬仿真歷史斷面模擬仿真環境潮流計算預測（山東、浙江）母線、系統用戶用電行為新能源故障預測細則考核氣象數據SCA

11、DA計劃數據狀態估計檢修計劃數據系統、母線負荷預測優化調度（浙、蒙、甘、南網）機修計劃編排節點電價計算秒級調度機組組合計劃機組出力計劃規劃微網調度（國電投）調度優化綜合能源資源聚合成本測算調峰需求響應虛擬電廠資源聚合優化調度市場報價在線決策分布式RAY底盤PAAS秒級調度/調度自駕駛/自巡航主網發/用MindOpt220KV110KV電力調度優化決策平臺-南網AI調度大賽RLlibDATA-DRIVENMODEL-DRIVENMindPower新型電力系統調度-MindPower行業挑戰阿里獨特價值案例和效果解決方案大圖機組運行與調度決策是電網調度核心業務（方式編制、計算分析、調度決策）的基礎

12、，也是電力市場健康穩定運行的保障。在高比例新能源和高比例電力電力趨勢下，對調度決策提出了極高的要求，急需引入AI技術輔助決策優化分布式訓練+底層優化技術+SafeRL方法底層平臺賦能，關鍵業務實現數模驅動優化算法：將強化學習與數學規劃結合解決新型電力系統調度難題分布式訓練能力：分布式計算底盤支撐日均千萬次訓練(五省電網規模)可靠DRL：強化與優化結合提高整體優化效率并保證結果安全可靠底層優化能力：LP/MIP/NLP世界領先國網層面：在國調第一屆AI大賽的賽道四-電網智能調度編排中，達摩院采用優化與強化學習結合的方案獲得全國第一名；優化能力多省驗證南網層面：云上AI實時調度系統落地，在實現過程

13、中積累的能力打造強化學習訓練平臺支撐第四屆AI調度大賽，降低強化學習使用門檻。關鍵難點調度業務：調度業務非常復雜有8大類關鍵調度決策數據，無論數據或業務邏輯處理不當都會導致計算結果偏差。調度優化：隨著新型電力系統建設發用電的不確定性會越來越大，對模型驅動的數學優化效率帶來較大挑戰。強化學習安全性：強化學習在真實電網模型下訓練效率慢，且強化學習較難保證100%滿足所有安全約束給實際應用帶來挑戰。主網調度實時調度機組組合調頻檢修計劃中長期安全校核無功優化主網計劃新型電力系統調度決策飛天專有云MaxcomputeECSRDSSLBNASOSSQuickbiDataWorksDataV強化學習數學規劃求解器模型訓練建模語言優化開發平臺RAY分布式計算底盤大數據平臺配網調度虛擬電廠微網