4-4 騰訊燈塔融合分析引擎設計與實踐.pdf

《4-4 騰訊燈塔融合分析引擎設計與實踐.pdf》由會員分享，可在線閱讀，更多相關《4-4 騰訊燈塔融合分析引擎設計與實踐.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、騰訊燈塔融合分析引擎設計與實踐馮國敬 后臺開發工程師|!背景介紹騰訊燈塔、融合分析引擎!#挑戰與融合分析引擎的解法!$實踐總結!%未來演進方向目錄 CONTENT|融合、內核優化、加速背景介紹騰訊燈塔、融合分析引擎!|幫助產品、研發、運營和數據科學團隊30分鐘內:做出更可信及時的決策，促進用戶增長和留存。騰訊燈塔介紹|海量、實時、自定義三角難題三者兼顧需滿足條件|騰訊燈塔-融合分析引擎介紹|!#$%&()*+,-!#$%&#()挑戰與融合分析引擎解決方案!#|!#$%&()*+,-./0123%4()56789:;+#$%4()?OneFe#ABC;D%EFGHICalciteJ3%KLMNO

2、#OneSQLP%QR4()STUV#Logical-Physical融合分析引擎OneFrontend：多源融合前端|融合分析引擎Backends：融合后端!#$%RDBMSWXY8%Z9-_UYaTb23%ClickHousecdeWXfghijkl$%#$%mnopp()qPrestoImpalarst7connector3%uvwJdbc Connector#xyzSplitProvidersP%|ClickHousecde#DistributedTable Aware-Parallel Local Table%Projection%Aggregation%Predicate Push

3、downJdbcBased ConnectoraTb1CH-ShardcMySQL-Split|融合分析引擎-WLMt7B(ImpalaPrestoClickHouse)!#$%()Profile*F%b23%|EF78$%#$%xWLM(Workload Management)3%xF“AQuery Profilea”EFP%EFmBxEFQuery Options%HintshiTimelineD?hi|融合分析引擎內核優化!#7T-?hi q*+r$%#$%()ZTZ?hi GJ3%=BEFxEFc!SQL#profile$%&(500MRuntimeProfileZT78)*+,IO-

4、Mem-HashJoin-DataSkew.|融合分析引擎-內核優化-Impala!#UY()n($%#$%()bZEF q:4DataRange t%?hiIO br3%t(qPageindex%Zorder%Hillbertr!#$%=aDRnParquet PageIndexTcdImpala IObZEFx(#/-0123456789:-;?|!#PrestojScalabilityCoordinator&?A融合分析引擎-內核優化-Prestohttps:/prestodb.io/blog/2022/04/15/disggregated-coordinatorDisaggregate

5、d Coordinator&#$%(ResourceManager=Ce oZBcd omRcdM3%CoordinatorParse%Validate%PlanRMKeCoordinator HA!#a#/$%&https:/ Group:(4Cluster)*!#$%Resource Fragmentation#e+,F-3%.fg|!#$%?A/T0cd1-23%Tablet Server*E2345q67MasterrQ89:Case#;TabletnZ?ABCMaster7DLeaderEFGH融合分析引擎-內核優化：Kudu&()*+,!-./Heap Profiling/012(

6、)*+,#$%E23TServer#KUDU-29153%I0cdxGC#KUDU-3344-./0#MasterZJK#L$M|融合分析引擎-加速|融合分析引擎-加速：緩存!#m4NO45PQRShTARSQLZTcdUVt7$%#$%WUY qXYZr#mRuOTcdPQ?cdUV3%KO qfhi_sGXYZOr#abCalciteecHISQLdeqfghir%SQLjk%SQLl_P%ZO q?SQLZOr#mmOsSQLnopkOqAlluxiorq?hiHDFSIOrs%Alluxio qHDFStcdOSSDr#m|SQLt7cdDOtuqv?wur|融合分析引擎-加速：BI

7、EngineOracle Database IMBigQuery BI EnginexNcdyz|NMixQuery BI()|融合分析引擎-加速：現代的物化視圖gt#Base tableMtNO u SQLk1234.56 WMV(Pre Filtered)W)MV(Pre Joined)W EFMV(Pre Projected&Clustered)(%ZorderHillbert!#HIODSf?hiScan?RFTT$%#$%HISQLqECSErF3%HICalcitexSQLjk78P%(F()78 qx=r78#$%FvHI/DB3%hijk#jkhh“uCP%F()#”(FOx=g實踐總結!$|實踐總結未來演進方向!%|未來演進方向融合內核優化加速以卓越的性能直接訪問數據