專場12.2-融合普惠的云數倉——解析華為云GaussDB(DWS) 3.0-王傳廷.pdf

1、融合普惠的云數倉華為云GaussDB(DWS)3.0王傳廷 華為云計算技術有限公司 技術專家數據倉庫趨勢：下一個十年，智慧數倉提供開放、融合、云化、實時、全場景分析描述型數倉探索型數倉運營型數倉智慧型數倉報表應用（T+1）：固定查詢靈活查詢（T+0.x）：分析師應用數智融合：BI+AI，數流、智流融合實時分析（T+0）：實時運營/IOC集中式架構：100TB分布式架構：10PB云原生架構：存算分離，EB級單機架構：TB云存儲數據集市數據集市數據倉庫湖倉一體數智平臺數據湖（大數據）數據倉庫數據集市數據倉庫數據集市大數據數倉集市云存儲（OBS）AIGaussDB(DWS)演進歷程：十年技術沉淀，厚

2、積薄發技術演進行存儲HA機制分布式框架數據分區列存儲向量化引擎大集群通信技術動態負載管理LLVMSQL on HD多租戶SQL on OBS備份恢復容災DWS 3.0+實時數倉+云數倉+IoT數倉+高維分析2011年2013年2014年201520162017201920202022技術預研樹標桿規模商用新一代數倉市場突破原型開發首次上市工行樹標桿大規模商用，500+大客戶1700+大客戶GaussDB(DWS)：新一代全場景云數據倉庫，簡化IT架構使能人人用數數據倉庫服務GaussDB(DWS)標準數倉分布式架構+開放平臺存算分離實時數倉實時入庫、實時分析HTAPIoT數倉數據倉庫+時序計算

3、泛金融泛政企互聯網物聯網混合負載一庫兩用ERP數據集市監管報送用戶畫像企業數倉經營分析BI報表數據探索自助分析聯機查詢IoT分析實時監控車聯網Note：標準數倉：T+1，OLAP|實時數倉：T+0.x，HTAP|IoT數倉：T+0，時序計算全場景一站式 一套內核、一套架構支撐公有云、混合云、On-Premise部署，用戶體驗一致 支持虛擬機(ECS)、裸金屬(BMS)、物理機(HCS)模式 支持批量分析、實時分析、交互式查詢、HTAP，實時數據和歷史數據關聯分析融合分析 湖倉一體：+HD Connector，+ORC，+OBS，與大數據互聯互通 數智融合：+AI Connector，結構化和非

4、結構化數據關聯分析 高維分析：時空分析（時序/+GIS），特征分析（Text Search），關系分析（+GES），打通關系型數據和非關系型數據分析邊界核心技術高性能萬億數據分析秒級響應高擴展：2048節點，100PB高可用強一致性；集群內 RPO=0,RTO Serverless化數據共享GaussDB(DWS)3.0的Serverless云原生架構，極致彈性，湖倉一體，數智融合OBS開源格式（開放)ORCParquetHudiParquetHudiHudiORCORCParquet其他格式Virtual WarehouseVirtual Warehouse語音圖像視頻Virtual War

5、ehouseExcelXMLCSVTXTJson其他格式ModelArts推理DN3CacheDN4CacheDN0CacheDN1CacheDN2CacheDNxCache私有格式（DWS）Bucket 0CU0CU6Bucket 1CU1CU7Bucket 2CU2CU8Bucket 3CU3CU9Bucket 4CU4CU11Bucket 5CU5CU12元數據互通元數據管理MRSHiveMetaStoreSparkCN集群管理查詢優化查詢管理權限和訪問控制CNCNCNOBSDWS存算管極致彈性多種形式彈性數據共享業務負載隔離，承載能力線性擴展Serverless的云原生架構存算管分離，

6、分層獨立彈性吞吐線性提升資源隔離湖倉一體在數據湖上體驗數倉性能和管控度縱向加速數智融合數據生產線與AI生產線的無縫對接彈性優勢：極致彈性、數據共享，賦能高靈活度、高性價比的使用體驗極致彈性湖倉一體數智融合一數多用多邏輯集群間共享數據，無需拷貝提供實時和近實時兩種數據共享方式按需配置邏輯集群隔離不同業務業務承載量/并發量的線性擴展讀寫分離、不同負載隔離三層解耦存算管三層分離，獨立伸縮靈活彈性分鐘級單邏輯集群擴縮容分鐘級快速創建銷毀邏輯集群快速擴縮容，無數據重分布、拷貝按需彈性實踐：高性價比地適應靈活多變的業務需求并發負載8:0012:0016:0020:0024:0016:0020:0024:0

7、04:008:0012:004:008:00業務1VWDNDNDNVWDNVWDNDNVWDNDNDNVWDNVWDNDNDNVWDNVWDNDNVWDNDNVWDNDNVWDN業務2業務1業務2業務3批處理報表業務1VWDNDNDNVWDNVWDNDNVWDNDNDNVWDNVWDNDNDNVWDNVWDNDNVWDNDNVWDNDNVWDN業務2業務1業務2業務3批處理報表VWDNDNDNVWDNVWDNDNDNDNDNDNVWDNDNDNDNDNDNDNDNDN季度1季度2季度3季度4長期時間推演短期單日彈性極致彈性湖倉一體數智融合湖倉一體：與大數據互聯互通，體驗橫向融合分析極致彈性湖倉

8、一體數智融合DWSMRSCN集群管理查詢優化CN DN0CacheDN1CacheDNxCacheVirtual WarehouseVirtual WarehouseDN0CacheDN1CacheOBSORCTextParqCSVJson元數據HiveMetaStoreSparkCREATE EXTERNAL SCHEMAex3WITH SOURCEhiveDATABASEdefault server server1 metaaddress 10.11.11.45 CONFIGUARTION/home/configSELECT*FROM ex3.T1JOINinternal_schema.T

9、2 on T1.col=T2.colWHERET1.col 3AND T2.col 4;極致查詢性能使用數倉高質量的查詢計劃和高效的執行引擎使用數倉的負載管理手段，精準控制融合查詢混合查詢數據湖和倉內的任意數據一步到位，查詢輸出到倉內/數據湖無縫訪問數據湖對接Hive Metastore元數據管理，直接訪問數據湖的數據表定義支持主要數據格式：ORC,Parquet,Hudi,Carbon縱向加速：靈活可配的性能優化選擇，保持優異性能極致彈性湖倉一體數智融合OBSORCHudiParquetExcelCSVXMLBucket Bucket Bucket DWSCN 集群管理查詢優化CNVirtu

10、al WarehouseDN0memoryCacheDN1memoryCacheVirtual WarehouseDN0memoryCacheDN1memoryCache一體化性能優化大帶寬云存儲冷熱分區高效緩存近數據計算靈活可配的性能優化選擇，保持優異性能極致彈性湖倉一體數智融合DWS 3.0在100%磁盤緩存情況下與DWS 2.0本地盤性能基本打平DWS 3.0的磁盤緩存有效保證查詢性能，查詢性能隨緩存配比遞增靈活可配的緩存，提供性價的按需權衡OBSDWSMRSModelArtsCN集群管理查詢優化CN Virtual WarehouseDN1memoryCacheDN0memoryCac

11、heVirtual WarehouseDN0memoryCacheDN1memoryCacheDNxmemoryCacheCache ServicememorymemorymemorymemorymemorymemoryORCHudiParquetExcelCSVXMLBucket Bucket Bucket 極致彈性湖倉一體數智融合多級緩存內存、磁盤的分級緩存基于MPP架構，充分利用并行算力和高擴展性靈活的緩存策略緩存大小可配置表級分區配置數據訪問冷熱程度可配置跨計算引擎緩存單VW緩存跨VW緩存運用云存儲近數據計算能力優化網絡讀取極致彈性湖倉一體數智融合CN集群管理查詢優化CN OBSDWS

12、Virtual WarehouseDN0MergeScanDN1ScanScanMergeScan無縫配合緩存：熱數據優先緩存，使用本地的算子下推能力冷數據優先下推，使用云存儲的近數據計算資源池近數據計算：將計算下推到云存儲，顯著降低數據讀取量充分利用和精準控制云存儲能力，深度優化存算分離架構存儲系統優先級調度公平調度提早終止用戶態IO Scheduler流量控制SeqScan(租戶1,高優)讀請求寫請求Flush PagesCommit LogsSeqScan(租戶2,中優)SeqScan(租戶N,中優)Compaction極致彈性湖倉一體數智融合更低時延充分利用云存儲的帶寬優勢，彌補其相較

13、傳統MPP的高延遲劣勢更優資源調度單查詢充分利用資源，為并發查詢提供穩定、可預測的性能保證更靈活配置多級資源池靈活配置數據生產線與AI生產線的高效配合極致彈性湖倉一體數智融合DWS數據生產線SQL中嵌入訓練SQL中嵌入推理ModelArtsAI生產線數據清洗模型訓練特征生成模型編譯數據模型CREATE MODEL AS SELECTDDL查詢SELECT PREDICTDML查詢面向批量生產：通過OBS共享開放格式數據面向快速開發：通過ConnectorX等以查詢取數的方式嵌入Python開發生態，重點是Pandas數據生產線AI生產線：無縫數據通路提供SQL語法，在數據分析過程中提供驅動AI

14、訓練、應用AI推理的能力將推理能力引入分析：直接調用部署的推理服務端點，靈活性好；將模型二進制部署為UDF，性能好AI生產線數據生產線：AI for Data數智融合，高效溝通數據與AI兩生產線01020304050607080Psycopg2PandasConnectorX時間（秒）讀取1G lineitem表的時間對比Dataframe數倉機器學習ConnectorX極致彈性湖倉一體數智融合流式處理+優化技術：加速數據流轉并行執行空間預分配Python字符串分配優化數智融合，賦能用戶BYOM體驗極致彈性湖倉一體數智融合CREATE MODEL myModelOPTIONS=(type=mo

15、delarts/linear_regression,label_column=num_rooms,algo_param=.)ASSELECT sales_price,rent,num_roomsFROM home_rentalsGaussDB(DWS)Transformed Training Dataset Exportedfor Model TrainingConvert and Import the modelREGISTER MODEL mydb.myModelAS rental_predictSELECTt1.id,t2.location,rental_predict(t1.sales

16、_price,t1.rent)AS num_rooms FROM rental_listing t1 JOIN rental_info t2 ON t1.id=t2.idModelArtsMRSBYOM體驗Data for AI原生SQL語句模型推理企業級數據底座上云的最佳實踐：華為集團財經EDW賬務經營區域項目集團ICTCNBGEBGCBGP&S資金風控法人稅務定價信用售前華為財經BIEDW：GaussDB(DWS)CNBGEBGCBGSDISC供應鏈BIHRHR iReportHR 人力預核算HR DSTEHR 學發費分析MU中國數字化運營拉美數字化運營東北歐數字化運營IPDiLeader

17、mSight采購BI供應保障大屏.Others內審ERP-PCOCC數字化運營.EBG經營IOCWisdomPSICBG Workplace消費者云平臺CBG供應鏈銷量預測實時看板經營/運營高維分析在線會議決策指揮GTS數字化運營ISDP.西安大屏2000+用戶，月訪問量10W+6000+用戶，月訪問量10W+1000+用戶，月訪問量1W+8000+用戶2000+用戶3500+用戶3000+用戶6000+用戶1000+用戶8000+用戶，4000+報告，月訪問量30W+消費服務總量：2000+，年度總調用次數：1.8億+業務規則變化2萬多條動態規則復雜計算資源消耗巨大5年以上歷史數據，海量計算模型多源異構場景交易系統400+Oracle實例1400+數據耦合度高18個業務領域，相關性強，數據共用業務挑戰業務效果月度結賬周期從15天縮短到3天年度報告周期從月級縮短到10天長查詢時間縮短60%以上短查詢時間縮短30%以上