03-Build high-accuracy Generative AI application on enterprise data-Zheng Yubin.pdf

《03-Build high-accuracy Generative AI application on enterprise data-Zheng Yubin.pdf》由會員分享，可在線閱讀，更多相關《03-Build high-accuracy Generative AI application on enterprise data-Zheng Yubin.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、構建基于企業數據的高精度生成式人工智能應用鄭予彬開發者布道師亞馬遜云科技目錄生成式AI在企業中的轉化潛力01如何優化云上Gen AI 工作負載03RAG架構-連接企業數據與大語言模型02Content生成式AI在企業中的轉化潛力Part 01Data流數據處理大數據分析數據庫數據可視化數據湖倉多數據源融合數據治理Generative AI 應用GenAI 應用植根于數據平臺數據驅動型公司可實現每年30%+的速度增長68%的企業表示仍然無法從數據中獲取高價值只有 28%的企業反饋已建立數據文化Accenture,“Closing the Data-value Gap,”https:/accntu

2、.re/33V6sU3Accenture,“Closing theData-value Gap,”https:/accntu.re/33V6sU3Forrester,“Insights-Driven Businesses Set the Pace for Global Growth,”hHps:/bit.ly/3r4uRiL企業迫切需要轉變為構建數據驅動型公司數據集成Data Ingestion數據處理和存儲Data Processing&Storage數據轉換和建模Data Transformation&Modeling機器學習Machine Learning分析 Analytics作業調度

3、 Job Scheduling&工作流自動化 Workflow Automation數據源構建數據平臺是實現數據驅動型公司的關鍵RAG架構-連接企業數據與大語言模型Part 02企業數據訓練專屬預訓練模型微調預訓練模型檢索增強生成(RAG)持續預訓練企業的數據是關鍵的差異化因素構建生成式 AI 解決方案的主流方法復雜簡單采用難度訓練專屬預訓練模型微調預訓練模型檢索增強生成(RAG)持續預訓練企業的數據是關鍵的差異化因素增 強 提 示專 有 數 據 源答 案/響 應Retrieval augmented generation(RAG)1用 戶 查 詢Amazon Titan Text Expre

4、ss基礎模型Anthropic Claude 2.1AI21 Labs Jurassic 2Meta Llama 245623基 礎 模 型輸 入生 成生 成RAG的主要優勢在于它能夠將外部知識庫的信息與語言模型結合，從而生成更準確、更相關的回答。這種方法特別適合需要訪問專有數據或最新信息的應用場景Large Language ModelPrompt augmentationResponseRAG 工作流程Embeddings modelData sourceVector storeEmbeddings modelEmbeddingUserUser InputContext-0.020.89-

5、0.38-0.530.950.17文本生成工作流程數據攝入工作流程Semantic searchDocument chunks輸入轉化為向量語義搜索撇配相關內容生成上下文進行prompt增強文檔分塊存入向量數據庫結合外部知識，提高回答準確性和相關性，支持實時數據更新，處理私有或定制數據NoSQL 數據庫數據倉庫SQL 數據庫流式處理大數據數據湖機器學習生成式 AI人工智能數據攝取數據處理原始內容提取的內容數據治理數據質量數據隱私集成轉換處理批量攝取流式數據攝取物聯網/設備第三方數據應用程序數據現有數據源日志數據目錄數據共享數據洞見最終用戶SaaS 數據生成式 AI 應用程序訓練專屬預訓練模型微

6、調預訓練模型檢索增強生成(RAG)持續預訓練數據集成OLTP數據預處理內容提取為生成式 AI 應用程序擴展數據攝取數據處理原始內容提取的內容數據治理數據質量數據隱私集成轉換處理批量攝取流式數據攝取物聯網/設備第三方數據應用程序數據現有數據源日志數據目錄數據共享數據洞見最終用戶SaaS 數據生成式 AI 應用程序訓練專屬預訓練模型微調預訓練模型檢索增強生成(RAG)持續預訓練數據集成OLTP數據預處理內容提取為生成式 AI 應用程序擴展HTML電子郵件JPEG/PNG音頻轉寫PDF掃描件文檔文檔非結構化數據源https:/ AI 工作負載Part 03現代化的容器平臺可以高效地管理調度計算資源，

7、有效支撐數據業務對敏捷性和可靠性的嚴苛要求?！發 客戶容器化改造后獲得的收益of surveyed Enterprises adopted Containers72%Prepared by越來越多客戶選擇基于容器構建數據平臺80%增加運維效率#VMs per admin生產力提升28%營收增長45%更多的應用部署36%開發速度增加業務敏捷40%宕機時間減少13%提升新業務部署成功率可靠運維23%計算資源利用率提升成本節省The goal is to put more and more on containerized pla4orms.It really gives us theability

8、 to scale.IT Director,Wholesale TradeCustom Resource Definition實現可擴展的 k8s 資源管理Stateful-sets管理有狀態應用20152021202320172019GPU支持成熟度：Data on Kubernetes 是如何走到這一步的?Amazon EKSAmazon EKS 幫助客戶更專注于構建可靠、穩定和安全的現代化應用EKS 使Kubernetes 的操作和管理變得簡單，并且與其他亞馬遜云科技托管服務深度集成EKS 提供高性能，可靠和安全的托管Kubernetes服務EKS 緊跟社區發布新版本的Kubernete

9、s，并且保留足夠的時間讓客戶測試和升級版本EKS 與上游Kubernetes 100%兼容，并積極參與代碼貢獻EKS 提供托管的 Kubernetes 服務豐富靈活的選擇FLEXIBLE INFRASTRUCTURE CHOICESGPUsInferentiaTrainium自動化調度 AUTOMATE COST-OPTIMIZED ORCHESTRATION ON EKS多租戶極致彈性高效調度GPU 管理Karpenter集成開源方案 FOR ML&DATA-SPECIFIC ORCHESTRATION批處理調度持續集成和發布工作流調度EC2 instances(Spot/On-Demand

10、/Reserved)Trn1(n)Inf2DL1Inf1P5P4deP3G5 G5gG4dnVT1F1P4dG4ad可觀測性大規模擴展到上千節點高可用設計批處理調度日志和監控網絡配置多租戶和安全管理選擇合適的計算和存儲資源集群運維基于 EKS 構建數據和機器學習平臺需要考慮的問題通過開源方式，幫助客戶在 EKS 上更好地構建數據平臺和 GenAI 應用性能指標參考報告Performance benchmark reports基礎設施即代碼Infrastructure as Code(IaC)templates基于最佳實踐Amazon best practices for data worklo

11、ads(e.g.Spark,Kafka,Ray)豐富的部署架構模板選擇Deployment examples and architecturesVisit Data on EKS portal to learn more:Data&AI on EKS(DoEKS)項目v 分布式數據庫v 數據分析v 流數據v 分布式查詢v 作業調度v AI 與機器學習Data on EKS 涉及的應用AmazonDoEKS:機器學習與生成式 AI極致的 GPU 利用率和彈性通過使用 Spot 實例降低成本高效開發部署基于開源生態，便于靈活擴展和個性化定制NVIDIA GPUsInferentiaTrainium

12、Neuron RuntimeNVIDIA device pluginNeuron device plugin+schedulerEFA device pluginEFA device pluginNVIDIA kernel driversNeuron kernel driversEFA driversEFA driversvLLMRayCUDA Runtime基于 EKS 部署模型推理u 開源u 簡化部署https:/awslabs.github.io/data-on-eks/docs/gen-ai/inference/GPUs/ray-vllm-deepseek一鍵部署 DeepSeek-R

13、1 on EKS with Ray and vLLM客戶挑戰解決方案Serverless inference for 超過一百萬個模型為每個模型提供專屬推理endpoints700k+spaces(AI demo apps)免費增值模式 Freemium pricing 超過 20 個 EKS 集群,超過 2 千個節點(CPU,GPU,Inf2)Bin-packing 基于實際對 GPU 的需求 Space Free tier:在1個 EKS 集群內,使用 150 個節點實現 3 萬個AI 應用 demo 空間 Time-shared GPUs,需要間隔數秒就加載模型Hugging Face

14、Hub-The leading open platform for AI buildersEKSKEY SERVICESHugging FaceTrainiumRay on EKSJupyterhub on EKSInferentiaNVIDIA Triton with vLLMNVIDIA NIM LLM on EKSStable Diffusion on InferentiaStable Diffusion on GPUDoEKS AI/ML BlueprintsDoEKS:Data Processing(Apache Spark)降低失敗風險 更短的發布時間 多版本支持敏捷 Agilit

15、y成本 Cost-Efficiency 多租戶 自動擴展 精細控制資源在 Kubernetes 上運行 SparkFlexible options for running open source Spark on EKSWide selection of open source integrations*Portability and versioning*適合希望在 EKS 上構建可跨平臺一致的標準化數據平臺，并且愿意維護開源組件以滿足自身定制化需求的客戶。Low TCO and fast performanceSecure by defaultEase of use適合希望在 EKS 上構

16、建可跨平臺一致的標準化數據平臺，但在數據平臺層面仍希望使用托管服務以簡化管理的客戶。Automatic and fine-grained scalingResilience to Availability Zone failures*Share applicaUons with IAM roles*適合想要避免管理和操作集群，而只想使用開源框架運行應用程序的客戶基于 EKS 自建 Spark EMR on EKSEMR Serverless*also supported by EMR on EKSMost Customer-Managed 客戶傾向自建Most Amazon-managed 客

17、戶傾向使用托管服務在亞馬遜云科技上運行 Spark 的多種方式支持 Spark,Flink提升資源利用率 Consolidate infrastructure across organization多租戶 Manage resource limits by teams and workload性能優異 Spark runtime on EMR on EKS runs 5.4x faster+costs 4.3x less than open source Spark高可用設計 Run application on single AZ or across multiple AZs通過 Farga

18、te 進一步簡化資源管理 Choose serverless with Amazon Fargate on Amazon EKSAmazonFargateAmazon EC2Multiple Availability ZonesAnalytics application AAnalytics application BSpark 3.0 applicaonOther applicationsAmazon EKSAmazon FargateAmazon EC2AmazonFargateAmazon EC2Amazon EMRAd hocworkloadsData engineering pipelines Data science notebooks EMR on EKSSpark 2.4 applicationSign up to Amazon Web Services Builder IDStay Connected with Amazon Web Servicesawsdevelopersaws-developersawsdeveloperscollectives/awsCommunity.AWSThanks.