1、騰訊大數據當大數據遇見云原生騰訊大數據云原生化的思考與實踐胡子千騰訊大數據高級工程師騰訊大數據自我介紹胡子千騰訊大數據高級工程師，云原生大數據平臺負責人。畢業于北京大學計算機系，曾任職于螞蟻金服、阿里云等公司，在大數據計算、大規模集群調度、云原生方面有豐富經驗。騰訊大數據目錄 云原生大數據的機遇與挑戰 騰訊云原生大數據架構 騰訊大數據與云原生成熟度標準 騰訊大數據與開源騰訊大數據目錄 云原生大數據的機遇與挑戰 騰訊云原生大數據架構 騰訊大數據與云原生成熟度標準 騰訊大數據與開源騰訊大數據云原生與大數據云原生是什么!云原生能給大數據帶來什么成本按需創建彈性伸縮存儲計算解耦在離線混部統一資源池自動

2、化部署，降低運維成本統一技術棧，降低技術成本效率快速發布（工業化交付）智能調度監控、日志等全鏈配套可用性節點自動容災集群、應用自動擴縮更完善的隔離能力健康檢查資源統一技術和生態標準化能力生態復用No vendor lock-inABC融合計算提速秒級伸縮屏蔽底層差異Devops+持續交付+微服務+容器騰訊大數據云原生大數據的挑戰在線應用特點大數據應用特點運行時間長，調度吞吐要求低運行時間短，任務吞吐高資源劃分相對靜態業務間資源彈性需求高在線業務延遲敏感在滿足任務 SLA 的情況下可使用部分低優資源，所以大數據可以用混部資源降低成本存算可分離大數據 data locality 效應明顯架構沖擊存

3、算分離引擎改造在離線混部混合云定制大數據運行時超大規模以 APIServer 為中心的消息同步機制（List-Watch)限制了集群調度吞吐上限。挑戰：任務規模大，任務調度頻次高。彈性調度云原生默認調度器是靜態資源配額管理，不能做到削峰填谷；默認調度器無法提供多租隊列管理能力挑戰：大數據以離線任務為主，彈性是強需求。多租戶需要共享資源，但各租戶資源不固定現狀挑戰騰訊大數據目錄 云原生大數據的機遇與挑戰 騰訊云原生大數據架構 騰訊大數據與云原生成熟度標準 騰訊大數據與開源騰訊大數據騰訊云原生大數據架構統一底座能力 統一資源、存儲、計算、基礎設施 能力可插件化擴展 同時支持大數據+AI降本增效 進

4、一步提升整體利用率 增加廉價資源比例資源統一管理 管理多種類型資源 大資源池的統一管理，按需調度，彈性伸縮245超大規模能力 單集群規模：萬臺規模 總規模：千萬核3大數據服務存儲編排統一任務調度數據集成數據處理高性能調度Gang schedulingKona JDK大數據運行時運行時熱遷移全局資源管理多租戶虛擬集群資源彈性分配大規模集群支持緩存加速數據感知云原生引擎大數據服務治理干擾檢測與處理全維度資源隔離存儲HDFSCEPHCOS內網公有云私有云數據分析容器平臺TKEEKS混部其他 K8S 平臺內存壓縮騰訊大數據統一數據編排層 DOP騰訊云原生大數據生態挑戰存算分離統一數據編排存儲自適應騰訊

5、 DOP(數據編排)coscos244%121%I/O密集型的查詢速度提升了244%，所有查詢提升的中位數水平是121%。統命名空間策略驅動數據管理數據轉換分布式緩存騰訊大數據大數據運行時運行時熱遷移內存快傳：內存壓縮+并發傳輸常數級中斷(5秒）：內存按需傳輸、按需加載網絡遷移：IP不變，連接不斷跨集群遷移：利用峰巒虛擬集群特性，可遷移至任意集群Kona JDK實現30秒內快速遷移和5秒內常數級極速遷移資源畫像策略內存利用率CPU利用率保守-13.xx%+4.xx%激進-19.xx%+6.xx%內存壓縮騰訊大數據Caelus 全場景在離線混部騰訊大數據峰巒虛擬集群架構大規模強隔離統一調度騰訊大

6、數據高性能、全維度彈性調度騰訊大數據數據集成-InLong低成本、高性能的 InLong TubeMQ輕量化、可擴展的InLong Sort ETL支持含量數據匯聚的 InLong DataProxy獨立于數據流的全鏈路審對賬服務 InLong Audit騰訊大數據數據處理與自適應計算算力資源申請閾值節點相似性調度節點性能變化周期性驅逐支持單點驅逐和單點重啟運行時熱遷移加速任務恢復批處理集群MPP集群PrestoclusterSpark/hive clusterSpark/hive clusterSpark/hive clusterSpark/hive clusterPrestocluster

7、PrestoclusterPrestocluster統一資源池SuperSQL集群資源感知集群壓力信息各引擎資源信息作業資源屬性推薦輔助決策引擎智能選擇,作業參數自動調優CoordinatorT/ST/ST/SWorker-1Worker-2可用算力25%可用算力75%節點資源感知（可用算力）(注：T:Task,S:Split)彈性資源分配Apache Uniffle節點算力感知結合 task 調度Remote Shuffle引擎智能選擇資源池打通、自動擴縮容騰訊大數據目錄 云原生大數據的機遇與挑戰 騰訊云原生大數據架構 騰訊大數據與云原生成熟度標準 騰訊大數據與開源騰訊大數據歷時一年，中國信通院與騰訊大數據團隊聯合牽頭，協同行業用戶和產業單位共同編制形成了云原生能力成熟度模型 第6部分：大數據平臺騰訊大數據騰訊云大數據解決方案 DataInLong+DOP+DLC 通過云原生能力成熟度預評估騰訊云大數據解決方案騰訊大數據目錄 云原生大數據的機遇與挑戰 騰訊云原生大數據架構 騰訊大數據與云原生成熟度標準 騰訊大數據與開源騰訊大數據騰訊大數據與開源!#$%&!#$%&Tencentcaelus騰訊大數據愿攜手促進云原生大數據的融合創新發展騰訊大數據THANKS!感 謝 您 的 觀 看！