Alluxio Edge 在 Presto&Trino 中的應用.pdf

1、Alluxio Edge在在 Trino/PrestoDB 中的應用中的應用車賽光車賽光 Alluxio Inc.2023-10-28主要內容Alluxio Edge 產生的背景用戶的痛點Alluxio Edge 如何解決用戶痛點什么是 Alluxio EdgeAlluxio Edge 是如何工作的成功案例最佳實踐場景使用流程現代數據技術棧的演變緊密耦合的緊密耦合的MapReduce&HDFS計算和存儲的計算和存儲的分離分離/解耦解耦本地部署的本地部署的HDFS云計算云計算+數據湖數據湖YARN容器化容器化+K8s10年前年前當今當今更加彈性、更具擴展性、更易管理喪失數據本地性喪失數據本地性失

2、去數據本地性帶來的挑戰數據訪問性能緩慢且不穩定-查詢時間更長查詢時間更長-業務洞察更慢業務洞察更慢-集群成本增加集群成本增加云存儲費用迅速增長-API調用成本增長調用成本增長-數據出口費用增長數據出口費用增長數據拷貝的高成本-數據拷貝數據拷貝任務任務-多存儲系統多存儲系統-錯誤排查錯誤排查Alluxio:滿足不同需求的數據平臺Alluxio EdgeAlluxio System作為應用程序進程(Presto,Trino)中的庫運行利用本地磁盤 SSD 或內存緩存數據當熱數據的大小適合本地磁盤時，效果最佳可跨應用程序共享的獨立分布式系統緩存容量可水平擴展具備數據編排系統的其他特性Alluxio

3、SystemCaching,Namespace,Data managementAlluxio EdgeAlluxio EdgeAlluxio Edge6Trino/PrestoDB 的大規模分析場景ALLUXIO的解決方案的解決方案提升提升&增益增益實時響應和分析，同時在S3存儲上節省成本端到端查詢性能提升I/O加速云存儲API調用節省公有云公有云/本地部署本地部署1.5-10 xTrino NodeAlluxio Edge存儲系統負載分流50-90%10-50 x10%Alluxio Edge Dashboard集群概覽成本節省資源狀態Alluxio Edge 的主要功能7數據緩存數據緩存本

4、地 SSD內存連接器支持連接器支持 IcebergHudiDelta LakeHive數據格式數據格式ParquetORCCSV緩存策略緩存策略默認LRU和FIFO策略可定制化的策略TTL數據配額8Alluxio Edge 是如何工作的9Alluxio Edge 相關的技術挑戰數據一致性數據一致性數據本地性數據本地性緩存利用率緩存利用率Page Versioning軟親和軟親和&一致性哈希一致性哈希緩存過濾策略緩存過濾策略10TPC-DS Benchmark 測試S3 API的請求數和數據傳輸量有肉眼可見的減少所有查詢時間大于2秒的73個查詢中，70個查詢有明顯的加速效果TPC-DS查詢的時間

5、平均提高63%113個集群,1500個節點生產環境的使用效果 50%端到端讀性能的提升10%數據讀的減少9090分位數查詢延遲從分位數查詢延遲從228228秒減少至秒減少至5050秒秒對對GCS的讀取請求次數減少了超過的讀取請求次數減少了超過8080%Alluxio Edge 在 Uber 環境中的使用效果Source:https:/ Edge的Beta（非生產環境）測試 40%Query Latency(Second)10 xIO throughput(MB)Alluxio Edge 在新加坡某電商環境中的使用效果13Alluxio Edge Dashboard用戶流程本地部署快速啟動多用戶

6、支持指標內容集群摘要成本節約資源狀態功能價值ROI顯示集群監控調優建議大數據分析場景大數據分析場景最佳實踐場景用戶用戶痛點痛點工作負載工作負載平臺或者基礎設施團隊探索優化 Trino 或 PrestoDB需求需求 性能提升 或 成本控制 本地存儲可以容納80%熱數據用戶用戶判斷條件判斷條件查詢時間較長查詢時間較長 工作負載/數據集的體量正在增加查詢成本較高查詢成本較高 云費用增加-API調用、出口、EC2需求一需求一提高Trino的I/O性能（減少延遲）需求二需求二降低云存儲出口成本、API調用成本、EC2成本工作負載工作負載 大數據分析計算引擎計算引擎 Trino/PrestoDB數據格式數

7、據格式 PrestoDB/Trino 支持的格式連接器連接器 Iceberg Hudi Delta Lake Hive存儲系統存儲系統 本地SSD 內存部署方式部署方式 裸機 K8s團隊團隊使用流程第一步第一步從網站()下載Alluxio Edge的tarball將其放入計算引擎的相關路徑中運行查詢并比較查詢性能的變化啟動本地 dashboard 查看成本節省指標第二步第二步使用本地儀表板進行持續的觀測和優化FAQQ:小規模的集群、數據量的場景下，是不是推薦使用Alluxio Edge呢?Q:如果Trino或者PrestoDB的本地資源有限怎么辦？Q:緩存空間的大小如何影響緩存的性能和成本節約的增益？感謝聆聽感謝聆聽車賽光車賽光 Alluxio Inc.2023-10-28