基于Apache Iceberg的湖原生數倉Arctic.pptx

1、,基于 Apache Iceberg 的湖原生數倉 Arctic,演講人：周勁松網易平臺開發專家,2023,什么是湖原生數倉,如何實現湖原生數倉,實踐案例,總結與愿景,目錄,什么是湖原生數倉,數據開發現狀,傳統數據湖架構,成本高昂數據冗余系統運維開銷任務開發數據質量差數據延遲高口徑不統一,湖原生數倉愿景,開源數據湖三劍客,Aimed for structured dataOperation transactionalSQL extensionsIncremental/stream processing,ACID,MVCC,Update/delete,Merge into,Time travel

2、,rollback,開源 Table format 的不足,lakehouse,lakehouse,lakehouse,所讀即所寫Deltalake/iceberg 是 table format，是元數據封裝CDC 數據使用 MERGE INTO 合并存量數據流式攝取帶來海量小文件問題，需要用戶 optimize需要用戶自己調用 optimize 來排序,實時能力不足基于 Lakehouse 的流計算延遲在分鐘級別需要引入消息隊列實現毫秒/秒級流計算需要用戶自己保障數據一致性,如何實現湖原生數倉,湖倉管理系統-Arctic,Arctic 是一個開放式架構下的湖倉管理系統，在開放的數據湖格式之上

3、，Arctic 提供更多面向流和更新場景的優化，以及一套可插拔的數據自優化機制和管理服務。,Multiple Formats,ACID 事務Schema evolutionHidden PartitionTime travel and Rollback,更強的主鍵約束基于 auto-bucket 的更強 OLAP 性能毫秒級的 data pipeline事務沖突解決機制更靈活的合并策略,Auto-bucket File Index,change file,base file,Key：11010011,94M,change node：11,12M,base node：111,82M,base n

4、ode：011,96M,108M,Snphot id:1000,base node,change node,000,001,111,0,1,0,1,0,1,0,1,0,1,。,011,Self-Optimizing,能力合并小文件合并冗余文件快照過期孤兒文件清理特性自動、異步與透明資源隔離與共享靈活可擴展的部署方式,Minor Optimizing,合并小文件條件：小文件數量輸入：segment file 16 MB轉化 Delete file條件：equality delete file 數量輸入：equality delete file輸出：positional delete file,M

5、ajor/Full Optimizing,Major optimizing條件：delete file 過大輸入：data file+delete file輸出：data fileFull optimizing條件：周期輸入：data file+delete file輸出：ordered data file,Lake Native Data Warehouse 性能,Find more:https:/,實踐案例,網易云音樂推薦流批統一,網易有道實時報表 Doris 替換,實時報表,Flink,推薦系統,Spark,Spark,實時報表,Flink,推薦系統,Trino/Spark,湖原生數倉的

6、價值,降本提效消除數據孤島帶來流批一體的效果與數據工具無縫集成,總結與愿景,Lakehouse VS Lake Native Data Warehouse,Find more:https:/,LakehouseACID 保障SQL 增強支持流計算存算分離格式開放,Lake Native Data Warehouse 數據自優化約束與索引開箱即用的管理功能標準化度量數據安全,Enhancement,未來規劃,性能優化持續 z-order 引入 LSM 結構優化 optimizing 寫放大問題 湖原生數倉功能增強標準的 SQL 管理指令與命令行工具標準化的度量指標與查詢命令提供湖原生的用戶與權限體系Sort key/aggregate keyPartial upsert,謝謝觀看,