1、大規模云服務器高效使用及管理最佳實踐賈少天阿里云高級技術專家Best practices for efficient use and management of large-scale cloud resourcesContents目錄01如何快速上云02如何低成本的構建大規模資源場景03如何高效的管理資源04總結如何快速上云Migration to Aliyun efficiently01上云的四個重要階段Important phases of migrating to cloud1.遷移前評估2.服務器遷移3.云端驗證4.業務切換服務器遷移中心關注的步驟企業上云的步驟常見方式服務器遷移方式
2、Server Migration Mode1.收集源系統應用信息及配置2.在目標系統上重新安裝部署各個應用軟件環境并導入相關數據1.按照ECS鏡像規范配置系統2.導出系統鏡像文件到本地,再上傳并導入到阿里云1.下載工具客戶端并運行2.創建遷移任務等待任務完成操作容易度遷移速度系統還原度重新部署遷移導出鏡像遷移阿里云服務器遷移中心操作容易度遷移速度系統還原度操作容易度遷移速度系統還原度服務器遷移中心優勢The advantages of SMC輕量綠色工具體量小、綠色免安裝,部署簡單配置靈活可按需配置,提供多種遷移傳輸方案選擇一鍵遷移一鍵運行,遷移全程自動托管,上云一氣呵成不依賴底層環境支持P2
3、V/V2V,支持多格式文件系統、磁盤類型不占用本地存儲數據遷移直傳上云,不占用本地存儲空間不停機遷移遷移過程不影響源系統業務,不需要停機適合各種遷移場景支持Windows、CentOS、Debian、Ubuntu、Redhat、SUSE等各類操作系統。提供各種場景遷移,包括:公網遷移、專線遷移等。一行命令、無人值守最簡只需一條命令即可執行遷移,遷移過程中可完全無人值守,自動化完成。遷移進度支持控制臺或API查詢,可深度集成于運維體系。自動檢測、自修復自動對源服務器進行遷移條件檢測并自動提供修復方案,遷移完成后自動完成驅動修復和cloud-init安裝。高度成熟化高度自動化高度智能化支持多源遷移
4、-阿里云跨地域遷移-IDC、VMWare、OpenStack、其他云廠商等全量及增量遷移-單次遷移(全量遷移)-周期性遷移(增量遷移)遷移成多形態-ECS Image、ECS Instance-Docker Image多種復制模式-文件復制(支持文件過濾)-塊復制(效率高、還原度高)服務器遷移中心主要功能Primary features of SMC如何低成本的構建大規模資源場景02The creation and use of large-scale resources at low cost云上資源使用面臨的問題如何快速創建大規模的資源來滿足業務場景的需要在滿足業務場景的情況下是否同時可以
5、降低成本能不能進一步再幫我降低整體的維護和管理成本呢?高效低成本自動化FastAuto實例規格根據業務需要選擇適合自己的實例規格。如:計算型、內存型、大數據型、本地盤型等等實例鏡像公共鏡像、自定義鏡像等存儲,網絡,安全組通過設置存儲、網絡確定ECS所需的使用量通過設置安全組來定義ECS整體的安全訪問策略ECS啟動模板UserData,Keypair,Tag更多的參數幫助更有效的進行資源管理和應用初始化注:可以直接從現有ECS實例直接生成一個啟動模板。高彈性WEB應用快速搭建神器-彈性伸縮RDSECS啟動模板Launch Template定時Schedule動態Dynamic手動Manual最小
6、實例數期望實例數最大實例數VPC多可用區多實例規格伸縮模式生命周期掛鉤Lifecycle Hook通知NotificationSLB彈性伸縮組+啟動模板通過簡單的設置,一個啟動模板可以快速創建一個伸縮組。同時可以在啟動模板原有參數的基礎上對可用區和實例規格進行擴展。多種擴縮容模式定時模式:適合業務變化非常規律的場景。動態模式:適合業務變化頻繁變化的場景。手動模式:適合基于自有系統進行擴縮容的場景。完善的控制能力生命周期掛鉤:可以在資源創建成功后或資源釋放前發送hook給用戶,讓用戶自行決定后續的行為。通知:可以在每次擴縮容執行完成后發送通知給用戶,方便用戶在系統中進行集成。批量大規模計算力交付
7、利器-彈性供應組容量模式可以根據業務需要來定義容量模式,是以實例個數為維度、vpcu維度或其他維度。不需要設置最大最小值,只通過“目標容量”來控制供應組內實例數量。按量+Spot實例可以按比例設置按量實例和spot實例的數量。多種按量和Spot實例交付模式,滿足各種不同的場景需求。多種交付類型一次異步交付:供應組僅在啟動時異步交付實例集群,調度失敗后不再重試。一次同步交付:供應組僅在啟動時同步創建實例,并在請求響應中返回創建成功的實例列表和創建失敗的原因。持續交付:供應組在啟動時嘗試交付實例集群,并實時判斷容量,未達到目標容量則嘗試繼續創建ECS實例。ECS啟動模板Launch Templat
8、eSpot實例成本優化模式均衡分布模式0目標容量MAXVPC多可用區多實例規格按比例設置按量實例容量優化模式成本優化模式優先級模式多種策略一次異步交付Request一次同步交付Instant持續交付Maintain交付類型容量:實例個數/vcpu個數注:一次同步交付模式是替代ECS的RunInstances接口的最佳選擇,支持多實例規格+多可用區,提供附加的交付策略。60s交付1000實例彈性能力Scaling Speed99.9%彈性成功率注:使用彈性伸縮進行資源交付,使用多可用區+多實例規格+pattern模式例:這里是標題標題標題New Future on CloudSpot實例優勢Sp
9、ot instance advantages低至一折例:這里是標題標題標題New Future on CloudSpot實例+按量實例組合模式降低成本combination modeSpot按量全按量模式全Spot模式成本:100%成本-10%保底5個按量,其他由Spot補充保底2個按量,其他由Spot補充100%由按量補充100%由Spot補充例:這里是標題標題標題New Future on CloudSpot模式的穩定性提升Stability improvements 通過多種規格打散來避免資源被整體釋放3種最低價格的實例規格1種最低價格的實例規格斷崖式異常9:30 9:32時間軸Spot
10、實例被系統釋放重新擴容出來SPOT實例提前補償任務自動替補即將釋放的實例9:25Spot實例釋放前5分鐘提前進行替換實例的創建未開啟補償開啟補償 Spot釋放前自動補償機制注:可以自由定義最低價格實例規格的個數。注:為了優先滿足業務需要,可以選擇在spot資源購買不到的時候創建按量實例。多種模式滿足自動擴縮容需求Multiple patterns meet automation demands17%26%53%60%89%20個20個28個36個44個0255075100普通伸縮規則17%26%53%60%89%20個21個46個54個82個0255075100目標追蹤伸縮規則手動空調CPU2
11、0%,擴容4臺ECS全自動空調CPU保持在50%17%26%53%60%89%20個20個37個45個67個0255075100平均CPU使用率實例個數步進伸縮規則半自動空調20%CPU40%,擴容4臺ECS40%CPU60%,擴容6臺ECS60%CPU80%,擴容8臺ECS80%CPU,擴容10臺ECS多種模式滿足自動擴縮容需求Multiple patterns meet automation demands目標追蹤伸縮規則實時動態變化、縮容保守02550751000255075100預測型伸縮規則機器學習模型周期性變化的負載型伸縮組預測模型自動學習伸縮組歷史上1-14天的負載變化情況及資源
12、使用情況預測未來2天內伸縮組負載變化情況及資源使用情況根據預測結果以小時為單位自動為伸縮組生成定時任務周期性強、預先準備資源輕松實現自動化日常發布-滾動升級Rolling update開始升級1.關閉擴縮容活動2.對實例進行分組VPCECSECSECSECSECSECSECSECSECSECSECSECS批次一批次二批次三伸縮組實例進入備用模式,不提供服務更新鏡像執行腳本實例退出備用模式,對外提供服務重試/回滾/繼續執行下一批執行下一批結束升級恢復擴縮容活動注:輕松實現藍綠發布、金絲雀發布等Customer case客戶案例:匯量科技作為全球性技術平臺,匯量科技 Mobvista 致力于推動數
13、字時代的全球商業增長。著力打造為企業增長賦能的“SaaS工具生態”,助力企業在全球范圍內的增長。實例規格1實例規格2實例規格3實例規格4實例規格5實例規格6實例規格7實例規格8實例規格9實例規格10實例規格11實例規格12實例規格13實例規格14實例規格15實例規格16實例規格17實例規格18實例規格19實例規格2030%-40%成本低至使用彈性伸縮按量+SPOT組合SPOT自動補償在線業務Customer case客戶案例:深勢科技深勢科技運用人工智能和分子模擬算法,為人類文明最基礎的生命、能源和材料科學和工程研究打造新一代基礎設施,為研發人員提供微觀世界計算與設計的智能系統。(自研分子模擬
14、算法)實例規格1實例規格2實例規格3實例規格4實例規格5任務型嚴格成本控制大規模使用彈性供應全SPOT設置Spot最高價滿足需求如何高效的管理資源Manage resources on Aliyun03效率隨著資源規模的增加,如何高效的管理運維提升效率,為運維人員帶來挑戰安全隨著越來越多的業務方使用、如何安全的使用云賬號和資源對資源管理者帶來挑戰成本資源的使用方、財務方對根據管理視角分賬以及成本優化訴求明顯云上大規模資源管理面臨的挑戰Challenges in cloud resource management通過標簽對資源進行快速分組Group resources by tagsECSOSS
15、ECSECSOSSOSSVPCVPCVPCVPC地區:北京區部門:信息科技部環境:生產ECSECSOSSOSSECSECSECSOSSVPCECSOSSVPC資源視角標簽視角地區 北京區部門 信息部環境 生產KeyValue標簽通過標簽實現對資源的快速分賬Analyze the cost of resources by tags進入費用中心新增財務單元綁定標簽信息等待T+1天對要分賬的資源打標簽查詢單個標簽的費用分析查詢多個標簽的費用分析等待T+1天信息部通過標簽對資源進行快速運維Operate resources by tags對要運維的資源打標簽進入運維編排控制臺選擇資源對應的標簽信息執行腳本執行實例啟停等操作通過標簽對資源進行權限控制Control resources securely by tags對要運維的資源打標簽進入訪問控制控制臺創建帶標簽限制的權限不帶標簽,則沒有權限進行操作總結Summary04快速上云就用自動化快速上云ECS、Docker Image增量同步批量操作低成本大規模使用ECS就用1000實例60秒極速交付彈性99.9%成功率成本降至一折多種伸縮規則(目標保持、預測等)快速灰度發布總結Summary資源高效管理就用資源管理神器細粒度費用管理能力細粒度權限控制滿足高效運維需求服務器遷移中心彈性伸縮&彈性供應組標簽服務THANKS