Apache Celeborn和數據湖計算引擎云原生實踐.pdf

《Apache Celeborn和數據湖計算引擎云原生實踐.pdf》由會員分享，可在線閱讀，更多相關《Apache Celeborn和數據湖計算引擎云原生實踐.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、Spark/Flink+Celeborn:更快，更穩，更彈性演講人：一錘阿里云2023 背景性能穩定彈性背景傳統Shuffle的問題傳統Shuffle的缺陷 依賴大容量本地盤/云盤 IO放大 高網絡連接 磁盤隨機讀 單副本限制 不夠高效 不夠穩定 不夠彈性Apache Celeborn(Incubating)Celeborn:大數據引擎統一中間數據服務 引擎無關 Shuffle+Spilled datahttps:/ 700+Commits 33 Contributors,7 Committers(3 in-coming)370+Stars性能核心設計Push Shuffle+Partitio

2、n數據聚合Partition切分存算分離寫放大磁盤隨機小IO網絡高連接小IO支持Spark AQEPartition合并Join Strategy切換Skew Join優化Partition范圍讀Map范圍讀12Split切分Sort On Read3Range Read列式Shuffle 行列轉換 代碼生成 解釋執行 代碼生成行列轉換:(Int,String,Decimal)Shuffle Size縮減40%，行列轉換開銷低于5%多層存儲 內存/本地盤/OSS(HDFS)可任選1/2/3層配置 讓數據盡可能存在快存儲穩定原地快速升級 向前兼容 優雅重啟流控參考TCP的擁塞控制 慢啟動 擁塞避

3、免 擁塞檢測其他實現:Credit Based Flink Shuffle Read負載均衡磁盤監控 壞盤 刷盤速率 未來用量 隔離壞盤 盡量分配給快盤/大盤彈性Spark on K8S開源方案:spark.dynamicAllocation.shuffleTracking.enabled=true限制：幾乎無法釋放podEvaluation典型場景完全混部 提升性能&穩定性Celeborn獨立部署 提升性能&穩定性 源數據和Shuffle數據分離 部分彈性存算分離 提升性能&穩定性 計算，數據，臨時數據分離 完全彈性超大作業 混部場景：大作業穩定性&性能顯著提升 1000+Celeborn Worker 壓縮后4PB Shuffle Data存算分離 存算分離場景 100臺Celeborn Worker 數萬pods，極致彈性 性能和穩定性顯著提升TPCDS 3T TPCDS 20%性能提升感謝您的觀看演講人：一錘-阿里云