Apache Celeborn｜讓 Spark 和 Flink 更快更穩更彈性.pdf

《Apache Celeborn｜讓 Spark 和 Flink 更快更穩更彈性.pdf》由會員分享，可在線閱讀，更多相關《Apache Celeborn｜讓 Spark 和 Flink 更快更穩更彈性.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、Spark/Flink+Celeborn:更快，更穩，更彈性周克勇（一錘）阿里云/數據湖Spark引擎負責人Streaming lakehouse meetup快0101CONTENT0202穩0303彈0404Evaluation背景00004545背景介紹傳統ShuffleCeleborn簡介4545傳統Shuffle的問題最重要的算子15%資源消耗不夠穩定Fetch FailureOOM不夠高效高網絡連接隨機磁盤IOIO放大無法存算分離依賴大容量本地盤Apache Celeborn(Incubating)4545統一中間數據服務Shuffle+Spill Data引擎無關https:/

2、1100+Commits 47 Contributors,15 Committers 480+Stars用戶反饋4545快核心設計列式Shuffle向量化引擎多層存儲核心設計:Push/聚合/Split存算分離寫放大磁盤隨機小IO網絡高連接小IO核心設計:異步異步推送異步刷盤異步Commit異步Fetch列式Shuffle行列轉換代碼生成Shuffle Size減少40%對接向量化引擎社區合作:Gluten+Celeborn優化正交HDD環境性能提升8%-12%多層存儲內存/本地盤/HDFS/OSS靈活配置快存儲優先4545穩容錯快速滾動升級Traffic Control負載均衡容錯兩副本Re

3、vive機制磁盤防爆Worker自檢集群健康檢測RPC重試ReviveBatch Revive快速滾動升級向前兼容快速優雅重啟Traffic Control反壓擁塞控制Credit Based負載均衡隔離壞盤分配給快/大盤45彈Spark/Celeborn on K8s典型場景完全混部Celeborn獨立部署存算分離Spark/Celeborn on K8s4545Evaluation穩定性滾動重啟性能彈性穩定性：Spark大作業Spark on Yarn+Celeborn混部1000+Workerx PB每天穩定性：Flink大作業Spark/Celeborn On K8s混部500+Worker單Shuffle 680+T滾動重啟21:19:44Shutdown信號21:19:53完成下線并退出21:20:01完成重啟和注冊生產：1000+Worker，10批，2min每批作業無感性能Shuffle 1.1/2.2/3.3 T數據性能10T TPCDS，20%提升彈性存算分離100+Worker數萬pods加入我們GitHub https:/ Celeborn孵化ThanksStreaming lakehouse meetup