2-5 MindOpt 優化求解器和實踐經驗.pdf

《2-5 MindOpt 優化求解器和實踐經驗.pdf》由會員分享，可在線閱讀，更多相關《2-5 MindOpt 優化求解器和實踐經驗.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、Copyright(c)2022 Alibaba Cloud.MindOpt優化求解器實踐經驗2022年09月24日吳悠（有悠）阿里巴巴達摩院機器智能技術實驗室Contents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐1：云計算資源管理的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能Contents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐1：云計算資源管理的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能MindOpt實驗室介紹MindOpt求解器LP性能世界前列，多

2、次第一ICASSP 2022 AIOps智能運維比賽第一2022 GECCO虛擬電廠能源調度比賽第一2021國家電網調控AI大賽 智能安排比賽第一預測比賽第二多個阿里集團內部與外部的重點AI項目每年20+頂會頂刊文章，ML前沿方向Spotlight，行業綜述 決策智能實驗室 致力于研發尖端運籌優化和機器學習技術，構建智能決策系統，幫助更快更好地做出決策，以期降低成本，提升效率，增大收益。https:/ 產品負責人研究履歷：腦機接口、激光雷達導航掃地機器人、自然語言處理產品、決策智能產品決策智能實驗室公開發布的第一款軟件MindOpt通用優化求解套件MindOptMindOpt是什么？MindO

3、pt通用優化求解套件求解優化問題的底層專業計算軟件研究在特定約束下，最大化或最小化某特定目標函數，求解出變量值。MindOpt優化求解器有什么用？業務問題應用優化決策優化前資源浪費、收益少、條件不匹配產生異常優化后降本增效、決策方案滿足限制建模成優化問題算出優化解用“優化求解器”%&$&車間的作業如何調度？!#$%&()*+,-MindOptMindOpt優化技術-研發歷史1.如何通用+高效？2.技術如何落地？發展過程的思考：MindOptMindOpt優化技術-產品化產品化讓更多人用起來有求解器使用經驗的：希望能支持更多類型的問題求解沒有求解器使用經驗的：”我這個問題要怎么用你的技術呢？“1

4、.如何通用+高效？2.如何落地？數學規劃求解器開放免費使用招人也好難！MindOptMindOpt：通用優化求解套件數學規劃混合整數規劃求解器(MIP）非線性規劃求解器(NLP)仿真優化（黑盒優化）在線優化業務問題MindOpt Solver“最優”解決策方案優化建模3要素：目標、變量、約束線性規劃求解器(LP)低損耗、高收益、限制滿足度高MindOpt 建模工具建模、量化數據求解優化問題模型其他優化技術業務中實施方式變量=？時最優 目標=？凸二次規劃QP混合整數線性規劃MILPContents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐1：云計算資源管理

5、的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能MindOptMindOpt優化求解器-最佳實踐阿里云ECS計算資源調度優化 提升機器使用率，每年為阿里云節省數億成本螞蟻資金分配計算 快：問題的全鏈路處理時間大幅度縮減，從幾小時變成半小時，且求解不再是瓶頸 規模大：求解問題的規模的上限提升了10倍用普通求解器用MindOpt求解器電商互聯網：如閑魚、優酷、AliExpress、Lazada、阿里媽媽等 用戶點擊轉換率提升 5%客服賠付成本節約 25%，消費者滿意度提升25%Contents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐

6、1：云計算資源管理的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能MindOpt云計算資源管理按需彈性伸縮云計算整合計算、存儲、網絡等物理資源再切分成虛擬資源按需分配給用戶MindOpt云計算資源管理核心問題保證虛擬機運行安全穩定做到硬件利用率最大化向用戶提供性能充足且價格實惠的計算資源我們實驗室參與的：與阿里云ECS團隊協作完成碎片整理調度庫存需求預估異常監控和診斷MindOpt問題1：異常監控與診斷云計算服務已是基礎設施，任何掉線故障將嚴重影響生產與生活。且阿里云與客戶之間有SLA合同，故障會導致賠款，加大服務運營成本。但突發故障不可避免，所以快速恢復至關重要。需要

7、快速診斷出故障發生，并溯源出故障的根本原因，推動問題處理，才能讓系統越來越可靠。無法連接服務器重試x代表案例：某一周的云平臺整體宕機率相較于上一周出現了顯著波動，真實原因是在使用某特定版本操作系統內核的服務器上，某個版本的用戶層軟件會在特定網絡條件下觸發特定型號的硬件驅動中的bug，導致宕機故障。故障的維度包括：軟件名稱、軟件版本、內核版本、網絡配置和硬件型號。MindOpt解決方案將故障診斷的需求數學抽象為：在高維度空間中定位出關鍵維度組合的組合優化問題。并利用問題性質，設計基于整數規劃和次模優化模型的多種高效求解方法。難點：日志數據維度極高、規模龐大效果：有效地將疑難隱患風險排查耗時從 3

8、人月 降低至 1人天。云服務智能故障檢測與診斷分析工具基于魯棒稀疏濾波的Fast RobustSTL（STL is short for Seasonal and Trend decomposition using Loess）時間序列智能異常檢測算法MindOpt問題2：庫存需求預估云計算用戶根據業務需求來進行快速擴縮容，不再像傳統那樣需要提前幾個月采購硬件設備。比如使用阿里云彈性伸縮服務，能夠幫助您自動調整指定類型的實例數量，滿足業務需求。但是對于云計算服務提供商來說，如何在用戶業務需求發生波動時，依然能保障足夠的庫存來提供服務很關鍵。關于庫存的管理，有很多方法同時在起作用。舉一個資源保障配

9、額（quota）的例子：在阿里云彈性SLA的服務中，需要給用戶一個quota，承諾用戶在擴容時的最小保障額度。我們需要計算出每個用戶或應用的quota值，讓能滿足業務需求的同時，自身庫存成本降低。MindOpt解決方案根據多年業務經驗，形成了邏輯復雜的quota 方案，沒有解析表達式，不能用傳統數學規劃求解我們通過仿真的方式來評估quota對應的指標并通過仿真優化（黑盒優化）的算法進行最優化ECS SLADES 仿真器Quota值預估滿足率樣本MindOpt仿真優化迭代給出推薦解判斷迭代停止輸出解效果：此方案產出的quota值，需求滿足率99.5%，異常需求得到合理管理，并且降低庫存成本數億元

10、MindOpt對運行中的虛擬機做重新調度，計算熱遷移方案，整合零散資源，去碎片問題3：碎片整理與調度每天數百萬次的虛擬資源創建和釋放，造成了物理機資源的碎片化難點：虛擬機資源數量大、熱遷移操作約束多，使得建模后的優化問題規模大，求解難度高且耗時遷移編排問題，數學規劃建模MindOpt解決方案云計算的資源切片規模大，僅數千臺物理機建模時，就需要用上百萬離散變量，實際的問題會更大規模：這導致優化問題的規模遠遠超過了現有最好的商業求解器（如Gurobi和IBM CPLEX）能夠承載的范圍。且云計算場景需求多樣，不同場景對求解時限有不同要求：例如，集群碎片整理場景可以接受數小時的求解計算，更注重求解質

11、量，而故障恢復場景則需要在數秒內給出遷移結果，更注重求解時效。阿里云庫存重調度決策系統以達摩院“MindOpt數學規劃求解器”求解算法為核心基于“塊坐標下降的逼近求解算法”加速技巧以若干“領域預處理和啟發式方法”為插件組合所構成虛擬機和物理機之間的匹配關系可以用多維資源裝箱問題來“近似”刻畫。效果：在時效需求內完成大問題的求解，保障穩定調度，節省數億元機器成本MindOpt有效地將疑難隱患風險排查耗時從3人月 降低至 1人天Quota值的產出，讓用戶需求滿足度大于99.5%，異常需求得到合理管理每年為ECS節省成本數億元落地應用后的成果總結應對云計算日益增長的需求，如何既保證運行安全穩定，又能

12、做到硬件利用率最大化，向用戶提供性能充足且價格實惠的計算資源？?碎片整理調度庫存需求預估異常監控和診斷云計算資源管理的智能決策方法時序Fast RobustSTL+組合優化仿真建模+黑盒優化求解數學規劃求解器+塊坐標下降的逼近求解算法+領域預處理和啟發式方法MindOpt 優化求解器+更多智能決策算法決策智能實驗室，與ECS合作構建Contents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐1：云計算資源管理的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能MindOpt電力調度-國際競賽在GECCO 2022國際競賽中的電力調度的比

13、賽，MindOpt仿真優化算法參與比賽，獲得了第一名。阿里巴巴達摩院決策智能實驗室，基于自研的優化求解器MindOpt、時序預測、安全強化學習等核心技術，打造綠色能源AI產品MindOpt虛擬電廠的電力調度 虛擬電廠（VPP），將光伏等分布式發電裝置、儲能設備、可控負荷等主體通過調度算法聚合起來，它雖然不是實體電廠，但能發揮實體電廠的作用，而且更經濟。據國家電網測算，要滿足5%的峰值負荷，我國需要投資4000億元建設火電廠和配套電網來削峰填谷，而采用虛擬電廠只需500-600億元。虛擬電廠有助于推動能源結構綠色轉型，在雙碳目標下備受關注，但其調度是一大難題。MindOpt虛擬電廠的電力調度與真

14、實電廠相比，虛擬電廠參與主體眾多且充滿了不確定性在虛擬電廠調度中，需要通過優化計算確定不同類型電源的啟停和出力、儲能設備及電動汽車的充電或放電、各種負荷的響應水平、以及向外部電網購入或售出的電量，同時滿足各種不同類型的線性及非線性約束。調度方案影響：新能源消納、電的成本、售電收益。虛擬電廠調度問題本質上是一個大規模不確定性混合整數非線性規劃(MINLP)問題。通常有兩種求解策略：如果實際系統的結構過于復雜或奇異，求解過程易受到局部極值的影響而長時間滯留在質量較差的解上，通常需要將模型進行近似或簡化處理后再進行求解。仿真優化（也稱零階優化、無梯度優化、黑盒優化等）算法則對模型的結構無特殊要求，它

15、基于仿真模型的輸入輸出來學習和推斷解空間的結構，并通過權衡局部與全局的搜索力度來避免優化過程陷入局部極值。對于維度不高的問題通常能更快找到較優的解；而對于維度較高的問題，巨大的搜索空間可能會令經典仿真優化算法無法在有效時間內尋找到解。建立顯式的MINLP數學模型，然后使用相應的MINLP求解器進行求解建立仿真模型，然后使用仿真優化算法進行求解MindOpt虛擬電廠的電力調度賽題建立仿真模型，然后使用仿真優化算法進行求解由于問題目標函數及約束的結構十分復雜，這次虛擬電廠調度算法大賽的賽題方選擇仿真優化的路線，以黑盒的形式提供了一個加密的虛擬電廠仿真器，選手僅能觀察到仿真器的輸入和輸出，而無法一窺

16、模型內部邏輯或數據。選手需要不斷構造調度方案，送入仿真器進行評估，得到對應的總成本和系統風險指標。在GECCO 2022國際競賽中的電力調度的比賽賽題：虛擬電廠仿真器調度方案賽題評估：總成本和系統風險指標樣本MindOpt仿真優化求解迭代給出推薦解判斷迭代停止輸出解MindOptMindOpt的仿真優化算法賽題難點：場景維度高、隨機性強，難以求解 MindOpt團隊針對高維不確定性仿真優化問題設計了ReSaDE算法：綜合應用維度聚類、信賴域、近似梯度代理等技術，以識別關鍵維度，跳出局部極值和不穩定點。相比基于經驗規則和經典進化算法得到的基準調度方案，ReSaDE算法所得解的總成本降低了約三成（

17、29%），系統風險指標降低了近四成（39%）。MindOpt仿真優化算法參與比賽，獲得了第一名。ReSaDE算法已集成到MindOpt仿真優化求解器中，該求解器除可用于虛擬電場調度仿真優化外，還可用于交通、物流、供應鏈、制造、醫療、醫藥等領域的仿真優化、拓撲優化、設計優化、超參調優、參數標定等場景。同時，阿里達摩院決策智能實驗室基于自研的優化求解器MindOpt、時序預測、安全強化學習等核心技術所打造的綠色能源AI，已逐步落地全國多家電網和發電企業，促進綠色能源消納和電網安全運行。Contents!#$!#$|MindOpt1.實驗室簡介+MindOpt 介紹2.實踐案例 實踐1：云計算資源管

18、理的智能決策 實踐2：虛擬電廠電力調度競賽3.MindOpt 近期更新功能MindOptMindOpt：近期發布更新 2022.08 V0.20.0 新增混合整數線性規劃（MILP）問題求解 2022.05 V0.19.0 新增新增了凸二次規劃（convex QP）問題求解 安裝方式、授權方式優化，讓廣大用戶更容易獲取和使用MindOptMindOpt：近期發布更新 2022.08 V0.20.0 新增混合整數線性規劃（MILP）問題求解 2022.05 V0.19.0 新增了凸二次規劃（convex QP）問題求解 安裝、授權方式優化，讓廣大用戶更容易獲取和使用 開放新的免鑒權邏輯：對于變量和約束數量均小于 300 的優化問題可以不需要License授權文件即可求解。Floating License管理新設計，增加createEnv等相關API，可支持大批量高并發和低時延需求下調用。Windows、Linux、macOS的安裝包優化，下載后一條指令完成安裝