【OPPO】Data_AI一體湖倉的實踐.pdf

1、Data&AI一體湖倉的實踐付慶午OPPO數據架構組大數據架構師目錄 Data&AI一體數據湖倉架構 Alluxio在湖倉架構中的實踐 Alluxio在公有云/混合云上實踐 展 望Data&AI一體數據湖倉架構PART 1Data&AI一體數據湖倉架構Data：結構化數據自動化服務秒級實時AI：非機構化數據版本管理統一元數據Data&AI一體數據湖倉架構DAA-CatalogData and AI CatalogMetastoreManagementData&AI一體數據湖倉架構結構化數據加速：索引 常規索引 Dynamic Clustering熱表Pre-fetchData&AI一體數據湖倉

2、架構非結構化數據管理：元數據數據轉換湖倉Dataset APIData&AI一體數據湖倉架構Data&AI一體數據湖倉架構非結構化數據 元數據管理示例Data&AI一體數據湖倉架構DataPrompter讓LLM更方便理解湖倉數據入湖自動生成范例promptInputCommand SQL遵循的通用規則Context 表、字段、業務說明OutputCommand 關注點和格式要求Alluxio在湖倉架構中的實踐PART 2Data&AI一體數據湖倉架構Alluxio助力秒級實時入湖：Real-dataBase-dataDump Service文件流式讀寫Alluxio在湖倉架構中的實踐Allu

3、xio與Spark RSS結合：Shuttle介紹Shuttle+RSSAlluxio在湖倉架構中的實踐Alluxio與Spark RSS結合：內存shuffle分布式排序自適應廣播Alluxio在湖倉架構中的實踐分布式排序廣播優化Alluxio在公有云/混合云上實踐PART 3Alluxio在公有云/混合云上實踐大數據極致彈性架構Yarn on K8sShuttle+Alluxio 助力計算極致彈性化 自身資源的彈性化 Alluxio在公有云/混合云上實踐公有云對象存儲在大數據計算上的問題Spark Commit階段性能慢Request API成本高基于Alluxio的解決方案Alluxio緩存commit路徑S3 multi uploadAlluxio數據緩存混合云場景下Alluxio應用高性能cache助力模型訓練加速展 望PART 4展 望充分利用起來大數據集群閑置的內存資源大數據和機器學習融合，從數據到計算資源Alluxio與數據湖深入融合開發Alluxio助力降低公有云成本（存儲、計算）THANKS