1-1 周昕毅-云原生離線在線資源混部實踐.pdf

《1-1 周昕毅-云原生離線在線資源混部實踐.pdf》由會員分享，可在線閱讀，更多相關《1-1 周昕毅-云原生離線在線資源混部實踐.pdf（18頁珍藏版）》請在三個皮匠報告上搜索。

1、云原生離線在線資源混部實踐演講人：攜程-周昕毅-資源混部的前世今生-攜程第一代混部：虛擬化，胖容器-Spark,K8S or Yarn?-技術儲備：Kernel/OS/K8S/彈性能力-攜程第二代混部：云原生混部技術-總結和展望About T 一站式OTA平臺 機票/酒店/火車票/旅游 預訂服務 國內&海外業務About Cloud Team T Provide Cloud Infra Service for both Online and Offline workloads Virtualization,Cloud Networking,Cloud Storage,Kernel&Securi

2、ty資源混部資源混部-起源起源在線服務離線作業延遲敏感，直接影響用戶體驗延遲不敏感，可以接受重試典型:搜索，web應用典型:大數據分析，AI訓練任務白天流量高，和用戶行為相關凌晨執行T+1任務消耗資源量大Online固定資源池Offline固定資源池混步資源池資源混部資源混部-前世前世在線BM node離線BM node在線VM node離線VM nodeCPU利用率20%-30%忙時利用率90%-100%閑時利用率5%-10%JavaNode-JsOnlineServiceSparkYarnOfflineJobNode角色切換資源混部資源混部 第一代第一代：虛擬化虛擬化OpenStack N

3、ove/NeutronKVM nodeApp VMApp VMYarn VM凌晨1點自動拉起，6點銷毀-KVM node CPU超配-凌晨額外啟動Yarn NodeManager VM，資源匯報到Yarn Resource Manager-混部資源分析：KVM宿主機平均內存使用率約60%，凌晨CPU使用率顯著下降，具備超配空間資源混部資源混部 第一代第一代：胖容器KubernetesK8s nodeApp PodApp PodYarn Pod凌晨1點自動擴容，6點縮容-胖容器的混部架構與VM混部一致，僅僅用Kubernetes調度替換了nova調度-容器固定ip，域名提前申請(kerberos

4、證書簽發及域名反解)-相比VM混部的優勢：鏡像維護和更新方便，擴容、縮容耗時從分鐘級降低到秒級。資源混部資源混部 第一代第一代：面臨挑戰-資源隔離問題-在線資源池機房 和 離線資源池機房 之間的網絡帶寬需求-KVM、K8S 在線資源池宿主機 平均分配率較高時，混部可用資源規模受限-定時任務不能覆蓋所有場景，人肉運維云原生&Kubernatize Offline Workloads-Jim Zemlin:Kubernetes is becoming the Linux of the cloud(2017)-2019開始，Spark/Flink/Kafka/Tensorflow等大數據開源框架紛紛

5、推出Kubernetes Native integretion-Offline Job對原生Kubernetes方案帶來挑戰：-Gang Scheduling(ML訓練任務的特殊需求)-吞吐量指數級上升(創建、刪除5K+Pods/Per minute)-CPU quota/Share vs Online Workload低延遲的訴求-網絡IO及磁盤IO的隔離能力是否能滿足需求Spark,on Yarn or on K8S?-Spark On K8S優勢-Spark依賴打包容器化-Namespace級別資源管控-更好的權限、API Group-作業提交版本控制(image tag)-Spark

6、On K8S劣勢-傳統大數據生態的改造成本-現有系統對接成本高-Yarn統治大數據workload調度的前十年-折衷-部分新業務場景on K8S-Yarn node manager通過K8S調度技術儲備 在線應用HPA落地技術儲備 Kernel&Cloud networking技術儲備 Yarn Node Manager on k8s技術儲備 K8S搶占式調度K8S NodeP0 APP podP1 APP podSpark podPending P0APP-pod搶占技術儲備 Spark Remote Shuffle Service資源混部資源混部-今生今生Kubernetes調度HPAVPA監控搶占node1node2node3App podApp podSpark podApp podSpark podSpark pod總結和展望-資源利用率提升，降本增效是技術團隊不變的追求-擁抱云原生-Better utilization of resources,faster provisioning,better governance.THANK YOU!