1-4 字節跳動基于 Doris 的數據湖倉探索.pdf

1、字節基于DORIS的數據湖倉探索杜軍令 字節跳動數據平臺大數據工程師01當前的湖倉一體實踐03基于基于Doris的解決方案的解決方案02存在的問題與挑戰存在的問題與挑戰04未來規劃未來規劃目錄目錄CONTENT字節當前的湖倉一體實踐01當前的湖倉實踐業務線較多，實踐的數據模型也比較多純數據倉庫Lambda,Kappa架構湖上建倉當前的湖倉實踐典型Lambda架構兩套代碼，兩套架構當前的湖倉實踐典型Lambda架構歷史數據回溯問題數據服務對接困難批量計算較弱當前的湖倉實踐湖上建倉分鐘級數據延遲數據服務能力弱存在的問題與挑戰02存在的問題與挑戰n 無法支撐高并發查詢HiveSparkPrestoH

2、DFS/對象存儲并發能力不足，無法支撐高QPS查詢單點瓶頸，無法隨機負載橫向擴充數據應用存在的問題與挑戰n 數據延遲較高LakeHouse分鐘級數據可見無法查詢實時指標無法實時風控存在的問題與挑戰n 多維分析性能不足數據模型固定，需要預定義聚合維度查詢模式固定，非預定義維度查詢性能較差存在的問題與挑戰n 技術棧復雜運維困難技術棧復雜，人力成本較高運維困難數據割裂，在多個系統間ETL基于Doris的解決方案03字節的解決方案n 使用Doris作為數據服務層n 打通Doris與數據湖Hudin 打通Doris與HiveMetaStore（與社區共同進行中）Hudi字節的解決方案n 使用Doris作

3、為數據服務層p 打通Doris與數據湖存儲p 打通Doris與HiveMetaStoreu Doris支持高并發數據查詢u 支持橫向擴展，性能不足時擴充FE與BEu 支持亞秒級數據時延，數據秒級可見u 支持靈活維度分析字節的解決方案n 使用Doris作為數據服務層p 打通Doris與數據湖存儲p 打通Doris與HiveMetaStore字節的解決方案p 使用Doris作為數據服務層n 打通Doris與數據湖存儲p 打通Doris與HiveMetaStore支持創建Hudi表支持指定全部或部分Schema創建Hudi外表支持不指定Schema創建Hudi外表CREATE EXTERNAL TA

4、BLE table_nameENGINE=HUDI PROPERTIES(hudi.database=hudi_db_in_hive_metastore,hudi.table=hudi_table_in_hive_metastore,hudi.hive.metastore.uris=thrift:/127.0.0.1:9083”);字節的解決方案p 使用Doris作為數據服務層n 打通Doris與數據湖存儲p 打通Doris與HiveMetaStoreFEHiveMetaStoreHDFS/CFSBEBEHudiScanNodeFile ReaderHudi ClientJVM5,read d

5、ata files1,get hudi table base path from hms2，generate scan range locations3，filter file group with instantTime4,dispatch fragments字節的解決方案p 使用Doris作為數據服務層n 打通Doris與數據湖存儲p 打通Doris與HiveMetaStore支持查詢Hudi COW表支持分區表支持分區裁剪字節的解決方案p 使用Doris作為數據服務層n 打通Doris與數據湖存儲p 打通Doris與HiveMetaStore支持以Read Optimized方式查詢Hu

6、diMOR表支持分區表支持分區裁剪字節的解決方案p 使用Doris作為數據服務層p 打通Doris與數據湖存儲n 打通Doris與HiveMetaStore配置HiveCatalog后可以直接查詢HMS中table無需在Doris中創建外表支持Doris表與Hive表聯邦分析HMSselect*from hive_catalog.db.table未來規劃04未來規劃n 復雜數據類型n 主鍵索引n 存算分離業務靈活多變，需要更靈活的數據模式支持半結構數據分析未來規劃n 復雜數據類型n 主鍵索引n 存算分離構造內存主鍵index，提高更新刪除性能支持更新場景下查詢性能不劣化未來規劃n 復雜數據類型n 主鍵索引n 存算分離全量數據存放對象存儲系統熱數據存在本地緩存支持BE動態擴縮支持數據預加載非常感謝您的觀看