湖倉無界：使用 Apache Doris 構建 Lakehouse -衣國壘.pdf

1、湖湖倉倉無無界界：使使用用 A Ap pa ac ch he e D Do or ri is s 構構建建 L La ak ke eh ho ou us se e衣衣國國壘壘 Apache Doris PMCDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20

2、24衣衣國國壘壘 Apache Doris PMC分分享享嘉嘉賓賓Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目目錄錄為什么需要 Lakehouse01湖倉一體轉型之痛02基于 Apache Doris 的湖倉一體解決方案03Doris Summi

3、t Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202401為為什什么么需需要要 L La ak ke eh ho ou us se eDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris S

4、ummit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024通過統一的存儲架構來管理實時和歷史數據，確保數據格式和存儲方式的一致性，以便于數據的高效讀取和處理。實現數據的一致性管理，確保實時數據和歷史數據在更新、查詢時的一致性，避免數據冗余和沖突。實實時時與與歷歷史史數數據據一一體體化化支持批處理和流處理的混合處理能力，能夠同時處理實時數據流和歷史數據批次，確保數據分析的及時性和全面性。提供統一的數據訪問接

5、口和優化的查詢引擎，支持流、批數據的快速檢索和分析，提升數據訪問效率流流批批處處理理一一體體化化數數據據一一體體化化需需求求Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024利用數據倉庫的高性能查詢引擎加速數據分析。借助存算分離架構、對象存儲等降低存儲成

6、本。高高性性能能與與低低成成本本支持JSON等半結構數據得高效存儲。通過倒排索引等功能提供對半結構化數據的高效訪問。半半結結構構化化數數據據通過 Parquet/ORC 等開放數據格式提供數據讀寫開放性。通過對多計算引擎的支持，同一份數據支撐不同的分析負載。系系統統開開放放性性實現不同數據源的統一元數據表示。集中式的數據權限、質量、血緣管理。統統一一元元數數據據管管理理功功能能一一體體化化需需求求Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit

7、 Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202402湖湖倉倉一一體體轉轉型型之之痛痛Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Su

8、mmit Asia 2024各種數據源數據表示不統一數據權限不統一數據查詢不統一數數據據統統一一之之痛痛湖和倉的數據流轉成本高冗余存儲成本高使用體驗不一致湖湖倉倉割割裂裂之之痛痛企企業業湖湖倉倉一一體體建建設設的的痛痛點點Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit

9、Asia 202403基基于于 A Ap pa ac ch he e D Do or ri is s 的的湖湖倉倉一一體體方方案案Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024數數據據無無界界HDFS/S3Lake FormatJDBC/FilesU

10、nified SQL ConvertorANI SQLTrino/Presto SQLC Cl li ic ck kh ho ou us se e S SQ QL LS Sp pa ar rk k S SQ QL LVectorized Process EngineUnifiedCatalogLocal CacheMaterialized View/Managed TableODSDWDDWSDirect QueryTransparent Rewrite湖倉系統數據庫文件格式元數據服務HiveIcebergHudiPaimonDelta LakeKuduBigqueryMax ComputeL

11、akesoul.MySQLPostgreSQLOracleSQL ServerIBM Db2ClickHouseSAP HANAOceanBaseElasticsearch.ParquetORCTextJsonSequenceFileRCFile.Hive MetastoreAWS GlueUnity CatalogAliyun DLFIceberg Rest CatalogFilesystem.豐豐富富的的數數據據源源Presto/TrinoClickhouseSpark兼容程度在實際客戶現場驗證中達到95%S SQ QL L 方方言言兼兼容容Doris Summit Asia 2024Do

12、ris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024在在線線離離線線一一體體化化A Ad dh ho oc c 查查詢詢E ET TL LIceberg 外表，3BE：每臺 16 core，64GBIceberg 外表，5BE：每臺 16 core，64GBDoris Summit Asia 2024D

13、oris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024統統一一湖湖倉倉引引擎擎湖湖倉倉融融合合通過Storage API，支持Spark 和 Flink的高吞吐數據讀取需求冷熱分離，存算分離降低成本湖倉之間數據流動HDFS/S3Doris Native Storage LayerMVCCACIDSche

14、ma EvolutionSemi Structure DataLocal DiskArrow Based Storage APIDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024T Th ha an nk ks s f fo or r WWa at tc ch hi in ng g！Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024