《1-1 周昕毅-云原生離線在線資源混部實踐.pdf》由會員分享,可在線閱讀,更多相關《1-1 周昕毅-云原生離線在線資源混部實踐.pdf(18頁珍藏版)》請在三個皮匠報告上搜索。
1、云原生離線在線資源混部實踐演講人:攜程-周昕毅-資源混部的前世今生-攜程第一代混部:虛擬化,胖容器-Spark,K8S or Yarn?-技術儲備:Kernel/OS/K8S/彈性能力-攜程第二代混部:云原生混部技術-總結和展望About T 一站式OTA平臺 機票/酒店/火車票/旅游 預訂服務 國內&海外業務About Cloud Team T Provide Cloud Infra Service for both Online and Offline workloads Virtualization,Cloud Networking,Cloud Storage,Kernel&Securi
2、ty資源混部資源混部-起源起源在線服務離線作業延遲敏感,直接影響用戶體驗延遲不敏感,可以接受重試典型:搜索,web應用典型:大數據分析,AI訓練任務白天流量高,和用戶行為相關凌晨執行T+1任務消耗資源量大Online固定資源池Offline固定資源池混步資源池資源混部資源混部-前世前世在線BM node離線BM node在線VM node離線VM nodeCPU利用率20%-30%忙時利用率90%-100%閑時利用率5%-10%JavaNode-JsOnlineServiceSparkYarnOfflineJobNode角色切換資源混部資源混部 第一代第一代:虛擬化虛擬化OpenStack N
3、ove/NeutronKVM nodeApp VMApp VMYarn VM凌晨1點自動拉起,6點銷毀-KVM node CPU超配-凌晨額外啟動Yarn NodeManager VM,資源匯報到Yarn Resource Manager-混部資源分析:KVM宿主機平均內存使用率約60%,凌晨CPU使用率顯著下降,具備超配空間資源混部資源混部 第一代第一代:胖容器KubernetesK8s nodeApp PodApp PodYarn Pod凌晨1點自動擴容,6點縮容-胖容器的混部架構與VM混部一致,僅僅用Kubernetes調度替換了nova調度-容器固定ip,域名提前申請(kerberos
4、證書簽發及域名反解)-相比VM混部的優勢:鏡像維護和更新方便,擴容、縮容耗時從分鐘級降低到秒級。資源混部資源混部 第一代第一代:面臨挑戰-資源隔離問題-在線資源池機房 和 離線資源池機房 之間的網絡帶寬需求-KVM、K8S 在線資源池宿主機 平均分配率較高時,混部可用資源規模受限-定時任務不能覆蓋所有場景,人肉運維云原生&Kubernatize Offline Workloads-Jim Zemlin:Kubernetes is becoming the Linux of the cloud(2017)-2019開始,Spark/Flink/Kafka/Tensorflow等大數據開源框架紛紛
5、推出Kubernetes Native integretion-Offline Job對原生Kubernetes方案帶來挑戰:-Gang Scheduling(ML訓練任務的特殊需求)-吞吐量指數級上升(創建、刪除5K+Pods/Per minute)-CPU quota/Share vs Online Workload低延遲的訴求-網絡IO及磁盤IO的隔離能力是否能滿足需求Spark,on Yarn or on K8S?-Spark On K8S優勢-Spark依賴打包容器化-Namespace級別資源管控-更好的權限、API Group-作業提交版本控制(image tag)-Spark
6、On K8S劣勢-傳統大數據生態的改造成本-現有系統對接成本高-Yarn統治大數據workload調度的前十年-折衷-部分新業務場景on K8S-Yarn node manager通過K8S調度技術儲備 在線應用HPA落地技術儲備 Kernel&Cloud networking技術儲備 Yarn Node Manager on k8s技術儲備 K8S搶占式調度K8S NodeP0 APP podP1 APP podSpark podPending P0APP-pod搶占技術儲備 Spark Remote Shuffle Service資源混部資源混部-今生今生Kubernetes調度HPAVPA監控搶占node1node2node3App podApp podSpark podApp podSpark podSpark pod總結和展望-資源利用率提升,降本增效是技術團隊不變的追求-擁抱云原生-Better utilization of resources,faster provisioning,better governance.THANK YOU!