阿里云ADB-PG技術架構及展望-印才華.pdf

《阿里云ADB-PG技術架構及展望-印才華.pdf》由會員分享，可在線閱讀，更多相關《阿里云ADB-PG技術架構及展望-印才華.pdf（21頁珍藏版）》請在三個皮匠報告上搜索。

1、PostgreSQL中文社區第13屆PostgreSQL中國技術大會聚焦云端創新匯聚智慧共享印才華阿里云ADB-PG技術架構及展望PostgreSQL中文社區整體架構核心技術03未來展望04產品介紹0102PostgreSQL中文社區目錄contents01產品介紹PostgreSQL中文社區PostgreSQL中文社區產品介紹02整體架構PostgreSQL中文社區PostgreSQL中文社區整體架構協調節點工作節點1工作節點N存儲彈性集群OSSESSD協調節點工作節點1工作節點NServerless集群LocalCacheColdDataTable|PartitionBackup Data

2、Base|WALForeign Table DataORC|Parquet|CSV|JSONRemote DataLocalCacheADB-PG Cluster冷熱分層備份恢復批量導入外表訪問存算分離水平擴縮容垂直升降配實例啟停OperationalDatabasesHadoopMessage StreamingMySQLPostgreSQLSQL ServerOracleHDFSHiveKafkaDTS實時同步PXF外表訪問批量同步SS流式寫入模型服務通義千問ChatGPTVectorEmbeddingChatGLM向量特征提取模型推理Dataworks任務調度數據同步FlinkPolar

3、DBApplicationBI ReportDoc UploadChatbotLaser執行引擎Beam存儲引擎Orca優化器ESSDLaser執行引擎Beam存儲引擎Orca優化器IMVIMV03核心技術PostgreSQL中文社區PostgreSQL中文社區核心技術實時化智能化高性能PostgreSQL中文社區高性能 行列混存實時引擎BeamPostgreSQL中文社區高性能 向量化執行引擎Laser技技術亮亮點點算子向量化按批處理數據行列模式自適應SIMD加速優化掃描延遲物化表達式向量化&JIT融合執行并行化分布式并行節點內并行t1(Beam)t2(Beam)Seq ScanVector

4、izationRedistribute MotionVectorizationHashVectorizationSeq ScanVectorizationHash JoinVectorizationHash AggregateVectorizationSortVectorizationGather MotionVectorizationCPU HazardsFunction CallsCPU IO Prefetch&流水線執行工工作作節點點Orca優化器Laser執行引擎Beam存儲引擎IMV實時物化視圖PostgreSQL中文社區高性能 Top-Down Cascades優化器Orca技技術

5、亮亮點點面向復雜分析代價模型自頂向下字典加速執行加速文本過濾聚合最優關聯順序多表Join關聯優化關聯子查詢動態關聯過濾減少網絡傳輸動態分區裁剪分布式并行HashScanHash JoinScanMotionBloom filterBloom filterBeam with dictScan filter by dict Agg by dictDict Decode查詢優化特性(Orca+Laser+Beam)動態關聯過濾字典加速執行TPC-HSSB 3X工工作作節點點Orca優化器Laser執行引擎Beam存儲引擎IMV實時物化視圖PostgreSQL中文社區高性能 標準Benchmark測試

6、對比同等配置下TPC-H場景ADB-PG7為ADB-PG6和開源Greenplum7 4倍倍綜合性能同等配置下SSB場景ADB-PG7為開源Greenplum7 18倍倍綜合性能，為ADB-PG6 5倍倍綜合性能PostgreSQL中文社區實時化 實時增量物化視圖PostgreSQL中文社區實時化 一站式實時數倉PostgreSQL中文社區智能化 基于向量&全文檢索的RAG解決方案ADB-PGIDInputInference1xxxxxxxxxxxxxxx2xxxxxxxxxxxxxxxChunkEmbeddingDocIDxxx3.4,2.5,5.2,1xxx0.2,1.6,8.3,2知識庫

7、文檔內容特征表數據推理輸入輸出表結構化|半結構化|非結構化 數據存儲企業知識庫文檔上傳企業專屬Chatbot模型服務通義千問ChatGPTVector EmbeddingChatGLM向量特征提取模型推理倉內數據推理1.文檔切片2.特征提取3.內容&特征入庫1.問題特征提取2.文檔特征檢索3.文檔&問題LLM交互4.返回推理答案1.推理輸入數據入庫2.LLM交互-批量推理3.推理結果更新入庫向量檢索HNSWPQ點積距離歐式距離全文檢索tsvectortsqueryzhparserGIN融合查詢NSMDSMBtree&HNSW&GIN信通院認證OpenAI官方推薦阿里云百煉集成RAG Servi

8、ceDoc ChunkingChunk EmbeddingRESTful API&SDKRerankingPostgreSQL中文社區智能化 雙路召回&融合查詢舉例04未來展望PostgreSQL中文社區PostgreSQL中文社區未來展望 面向云原生的Shared-Storage架構升級PostgreSQL中文社區未來展望 AI/MLOpsADB-PGAI/ML OperationsADB-PG7模型下載工作節點CPU|GPU協調節點Data|Feature|ModelStore工作節點CPU|GPUData|Feature|ModelStore工作節點CPU|GPUData|Feature

9、|ModelStoreAI/ML Operations數數據據處理理Data Ingestion&ETLDoc Chunk&Embed模模型型開開發Train|FineTune|Deploy內置模型&外部下載數數據據推推理理Transform|Predict|Generate業務場景景ML模型訓練&推理AI大模型微調&推理SQL NotebookText GenerationClassficationRegressionClusteringSentiment AnalysisSummarizationTranslationFill-MaskQuestion-AnsweringFraud DectectionBusiness ForecastingHealth CareCustomer Service一站式RAGChunkingEmbedingVector&Text SearchRerankingTransformTransformPostgreSQL中文社區感謝聆聽！云原生數據倉庫AnalyticDB PostgreSQL版交流群（釘釘掃碼）