阿里云AI搜索：Agentic RAG技術實踐.pdf

《阿里云AI搜索：Agentic RAG技術實踐.pdf》由會員分享，可在線閱讀，更多相關《阿里云AI搜索：Agentic RAG技術實踐.pdf（41頁珍藏版）》請在三個皮匠報告上搜索。

1、 阿里云AI搜索Agentic RAG技術實踐演講人：邢少敏阿里云AI搜索簡介Agentic RAG關鍵技術解讀Agentic RAG產品落地AI搜索未來方向01阿里云阿里云AIAI搜索簡介搜索簡介第一章節高性能搜索引擎以場景為核心的語義搜索基于大模型的AI搜索搜索引擎性能&穩定性 支撐阿里集團上千業務，日均PV百億 雙十一QPS百萬，實時數據更新TPS百萬 千億數據毫秒級響應 可用性5個920082020NLP+搜索場景化搜索20202022 內置NLP模型、排序模型，提供搜索基線效果，并支持場景級輕量化定制 提供面向不同行業的算法標準模版，支持行業語義搜索最佳實踐LLM+搜索 文本+稠密向

2、量+稀疏向量混合檢索 多模態、跨模態RAG Graph RAG Agent RAGAgent RAG、Graph RAG20232025自研演進Elastic戰略合作2017開源演進云上托管&運維2019Elasticsearch 6.x/7.xLogstash、Beats云托管高性能讀寫分離架構智能彈性擴縮自研監控報警服務性價比&引擎增強2021Elasticsearch 7.10索引構建Indexing Service實現寫入加速自研存儲引擎Openstore海量低成本存儲Serverless2022Elasticsearch 7.16智能混合存儲服務Analyticsearch查詢引擎T

3、imestream時序增強AI搜索20248.x向量性能增強、引入RRF、稀疏向量等LLM+搜索RAG問答AI Assistant阿里云AI搜索技術演進阿里云AI搜索技術演進-高性能搜索引擎管控系統在線集群索引系統數據源配置實例創建表結構配置集群N集群1BSAdminMerger 0(索引整理)Builder 0(索引構建)QRS 0(查詢節點)Searcher 0(數據節點)QRS 1QRS NSearcher 1Searcher NP0P1PNSearcher 1Searcher NSearcher 0Processor 0(數據改寫)Merger 1Merger NBuilder 1Bu

4、ilder NProcessor 1Processor N全量索引增量索引實時數據集群運維索引重建變更歷史實例管理配置變更索引回滾監控報警OSSHDFSPaimonMaxComputeAPI 實時數據查詢請求日常運維在線部分Qrs：接收用戶查詢、查詢分發、收集整合結果Searcher：搜索查詢的執行者，倒排索引召回、統計、條件過濾、文檔打分、排序、摘要生成等離線部分數據處理服務索引構建服務管控部分運維管控插件部分通過開發插件，對原始文檔、查詢Query、召回、算分、排序、摘要進行靈活定制完整的搜索服務由：在線部分、離線部分、管控部分、插件部分 構成，其中包括了查詢流、數據流、控制流。阿里云AI

5、搜索技術演進-高性能搜索引擎Havneask 讀寫分離Processor 0Processor nProcessorSwift(ProcessedDoc)BS Admin服務發現Qrs 0Qrs mSearcher 0Searcher 0分布式文件系統Searcher 1Searcher 1Searcher nSearcher nHA Adminp0p1pnTable 0Cluster 0Cluster nHapeHa toolsSwift toolsBs tools查詢鏈路數據鏈路實時數據OnlineOnlineOfflineOffline獨立索引構建流程，高效數據導入多版本索引管理，互不干

6、擾存算分離，遠端、本地、內存多級緩存多集群互備，更加可靠Broker 0 Broker n Index DataIndex DataBuilder 0Builder nBuilderMerger 0Merger nMergerTable nHDFS文件OSS文件MaxComputeSwift(實時數據)讀寫分離讀寫分離Havenask 讀寫統一更高時效性保證，read-your-writes輕量的表管理，支持DDL多集群互備讀寫統一讀寫統一Broker 0 HA AdminSearcher 0Follower nSearcher 0LeaderBroker 1Broker nSwiftAdmi

7、nQrs 0Qrs nSearcher nFollower 0Searcher nFollower nSearcher nLeader分布式文件系統IndexIndexLogDataWALCluster nHapeHa toolsSwift toolsCluster 0數據讀取數據寫入Log訂閱Log落盤索引整理服務發現Searcher 0Follower 0GitHub地址：https:/ License：Apache 2.0高性能檢索引擎以場景為核心的語義搜索基于大模型的AI搜索檢索引擎性能&穩定性 支撐阿里集團上千業務，日均PV百億 雙十一QPS百萬，實時數據更新TPS百萬 千億數據毫秒

8、級響應 可用性5個920082020NLP+搜索場景化搜索20202022 內置NLP模型、排序模型，提供搜索基線效果，并支持場景級輕量化定制 提供面向不同行業的算法標準模版，支持行業語義搜索最佳實踐LLM+搜索 文本+稠密向量+稀疏向量混合檢索 多模態、跨模態RAG Graph RAG Agent RAGAgent RAG、Graph RAG20232025自研演進Elastic戰略合作2017開源演進云上托管&運維2019Elasticsearch 6.x/7.xLogstash、Beats云托管高性能讀寫分離架構智能彈性擴縮自研監控報警服務性價比&引擎增強2021Elasticsearc

9、h 7.10索引構建Indexing Service實現寫入加速自研存儲引擎Openstore海量低成本存儲Serverless2022Elasticsearch 7.16智能混合存儲服務Analyticsearch查詢引擎Timestream時序增強AI搜索20248.x向量性能增強、引入RRF、稀疏向量等LLM+搜索RAG問答AI Assistant阿里云AI搜索技術演進核心能力n 智能搜索：原生集成更優效果的NLP模型，內置多行業查詢分析、搜索排序能力n 核心引擎：高性能、更開放、算法更易集成n 個性化定制：基于業務數據訓練、定制專屬搜索模型n 搜索引導：豐富搜索周邊服務、更優引導轉化n

10、 全托管、免運維，免部署：全托管式服務，更低開發、運維成本ABTest配置監控報警開通統計報表搜索測試搜索引導語義搜索產品控制臺B端客戶配管服務在線計算離線計算數據源接入基礎服務搜索API算法訓練索引切換索引構建日志分析數據校驗多表關聯搜索報表統計行為數據處理MaxCompute或其它云上數據源接入行為數據接入干預數據接入存儲系統配額服務集群監控集群調度Search APIData APIRDSPolarDBMaxComputeC端用戶搜索前熱搜、底紋搜索中下拉提示搜索后搜索結果行為采集開通查詢分析配置應用結構配置算法模型配置人工運營干預數據源配置排序配置索引配置選擇分析器應用購買分詞歸一化實

11、體識別詞權重分析同義詞查詢改寫查詢理解拼寫糾錯類目預測搜索引導下拉提示熱搜底紋黑白名單向量召回個性化召回多路搜索文本召回搜索引擎精排人工干預排序模型粗排排序引擎一站式配置產品優勢AI賦能搜索效果高性能高實效全托管免運維阿里云AI搜索技術演進-語義搜索高性能檢索引擎以場景為核心的語義搜索基于大模型的AI搜索檢索引擎性能&穩定性 支撐阿里集團上千業務，日均PV百億 雙十一QPS百萬，實時數據更新TPS百萬 千億數據毫秒級響應 可用性5個920082020NLP+搜索場景化搜索20202022 內置NLP模型、排序模型，提供搜索基線效果，并支持場景級輕量化定制 提供面向不同行業的算法標準模版，支持行

12、業語義搜索最佳實踐LLM+搜索 文本+稠密向量+稀疏向量混合檢索 多模態、跨模態RAG Graph RAG Agent RAGAgent RAG、Graph RAG20232025自研演進Elastic戰略合作2017開源演進云上托管&運維2019Elasticsearch 6.x/7.xLogstash、Beats云托管高性能讀寫分離架構智能彈性擴縮自研監控報警服務性價比&引擎增強2021Elasticsearch 7.10索引構建Indexing Service實現寫入加速自研存儲引擎Openstore海量低成本存儲Serverless2022Elasticsearch 7.16智能混合存

13、儲服務Analyticsearch查詢引擎Timestream時序增強AI搜索20248.x向量性能增強、引入RRF、稀疏向量等LLM+搜索RAG問答AI Assistant阿里云AI搜索技術演進02Agentic RAG關鍵技術解讀關鍵技術解讀第二章節Native RAG2023.2Advanced RAG2023.5Modular RAG2024.1Agentic RAG2024.62025RAG技術演進Paper：https:/arxiv.org/pdf/2312.10997、https:/arxiv.org/pdf/2501.09136html,markdown,pdf,doc問題介紹

14、OpensearchQuery擴展介紹OpensearchOpensearch功能Opensearch優缺點數據模型預訓練&SFT&DPO大模型總結回答Opensearch是基于阿里巴巴大模型評測評測指標準確率、幻覺率、全面性、不相關比例檢索增強數據RAG模型模型客戶授權數據Qwen第三方開源模型解析、切片、索引離線鏈路向量索引文本索引混合檢索訓練鏈路在線鏈路文本、圖片、表格、代碼重排LLM Agent阿里云AI搜索Agentic RAG 1.0Agentic RAGAgentic RAG 1.01.0-效果評估效果評估評測數據集：HotpotQA；評測樣本數：200條；知識庫文檔數：6.5w

15、+評測數據集：Musique；評測樣本數：300條；知識庫文檔數：2w+基座模型方案召回率解答率質量均分Qwen2.5-14BQwen2.5-14BRAG73.5%63.5%0.795Agentic RAG87.5%74.5%0.840Qwen2.5-14BQwen2.5-14B-SFT-SFTAgentic RAG91%84%0.896Qwen2.5-72BQwen2.5-72BRAG73.5%74.5%0.842Agentic RAG88.5%83%0.896基座模型方案召回率解答率質量均分Qwen2.5-14BQwen2.5-14BRAG20%15.7%0.48Agentic RAG37

16、%31.2%0.54Qwen2.5-14BQwen2.5-14B-SFT-SFTAgentic RAG42%37%0.58Qwen2.5-72BQwen2.5-72BRAG20%21.3%0.52Agentic RAG44%32.7%0.55Agentic RAG相比標準RAG：召回率提升約20%，解答率提升約1117%Agent RAG SFT相對Agentic RAG：召回率提升約4%，解答率提升約12.7%Agentic RAG相比標準RAG：召回率提升約85120%，解答率提升約5398%Agent RAG SFT相對Agentic RAG：召回率提升約14%，解答率提升約19%全量數

17、據實時數據向量引擎DB引擎圖引擎全量索引實時索引向量索引全量索引實時索引DB索引全量索引實時索引圖索引Query向量化0.3,0.5,6.2,2.3,0.3,0.5,6.2,2.35.6Search Agent規劃Agent控制邏輯結果處理Controller問題拆解規劃執行LLM用戶提問數據識別數據抽取文檔解析語義切分多粒度切分切片服務稀疏向量稠密向量向量化服務文本分詞內容提取實體抽取實體對齊實體提取關系抽取關系對齊關系提取NL2SQLSELECT company WHERE location=浙江省杭州市蕭山區建設四路779號娃哈哈大樓DB AgentNL2Gremling(company

18、_demo).V(杭州娃哈哈宏盛食品飲料營銷有限公司).hasLabel(company).fields(location)Graph AgentPDFWordExeclImage原始數據HtmlDB阿里云AI搜索Agentic RAG 2.0非結構化數據結構化數據圖數據匯總結果生成答案總結Agent問題澄清收集信息澄清AgentAgentic RAGAgentic RAG 2.02.0-效果評估效果評估數據集規劃Agent方案搜索深度召回率HotpotQA-2hopHotpotQA-2hop（樣本（樣本100100條）條）Qwen-PlusRAG142%Qwen-PlusAgentic RA

19、G 1.03.0271%Qwen-PlusAgentic RAG 2.03.5774%Claude37_SonnetAgentic RAG 2.04.7786%Agentic RAG 1.0相比標準RAG召回率提升幅度較大Agentic RAG 2.0相比Agentic RAG 1.0召回率提升幅度相對較小Claude37_Sonnet當前作為規劃Agent效果較好數據集規劃Agent方案搜索深度召回率crud_2&3hopcrud_2&3hop（中文樣本（中文樣本8686條）條）Qwen-PlusRAG165%Qwen-PlusAgentic RAG 1.02.4573%Qwen-PlusA

20、gentic RAG 2.02.4774%Claude37_SonnetAgentic RAG 2.04.2986%數據集規劃Agent方案搜索深度召回率Musique_2hopMusique_2hop（樣本（樣本100100條）條）Qwen-PlusRAG116%Qwen-PlusAgentic RAG 1.03.4666%Qwen-PlusAgentic RAG 2.04.2372%Claude37_SonnetAgentic RAG 2.06.3583%數據集規劃Agent方案搜索深度召回率Musique_3hopMusique_3hop（樣本（樣本100100條）條）Qwen-Plus

21、RAG12%Qwen-PlusAgentic RAG 1.04.2337%Qwen-PlusAgentic RAG 2.06.1248%Claude37_SonnetAgentic RAG 2.09.1459%Vector StoreGraph EngineElasticsearchDB EngineWebsearchElasticsearchSearch Agent網頁搜索MCP Servers阿里云AI搜索 MCP ServersDB AgentGraph AgentRDSMaxComputeHologres夸克APIGoogle APIBing APIElasticsearchHaven

22、askMilvusGraphComputeNeo4J搜索API統計API管控APIPlan Agent問題：阿里云OSS上傳文件思考:用戶提到“阿里云oss上傳文件,可能是想了解如何實現這一操作，但由于信息不足，我需要進一步澄清用戶的需求。問題澄清：您是想了解如何通過編程接口上傳文件到阿里云OSS,還是使用控制臺進行手動上傳？用戶針對澄清問題的輸入：控制臺思考：用戶提到“控制臺”，我需要確認他是否指的是阿里云管理控制臺來上傳文件。問題澄清：您是指通過阿里云管理控制臺上傳文件嗎？用戶針對澄清問題的輸入：是思考：用戶確認需要通過阿里云管理控制臺上傳文件，我需要查詢如何在阿里云管理控制臺進行OSS文

23、件上傳的具體步驟。調用工具 Elasticsearch：阿里云OSS 控制臺上傳文件 操作步驟Agent 規劃1Agent 規劃3返回答案思考:LLM總結生成通過阿里云管理控制臺上傳OSS文件的步驟如下：1.登錄OSS管理控制臺。2.單擊Bucket列表，然后單擊您要操作的目標Bucket名稱。3.在左側導航欄中選擇“文件管理 文件列表。4.在文件列表頁面，點擊“上傳文件按鈕。5.在彈出的上傳文件面板上，根據提示完成基礎配置項設置。您可以選擇將文件上傳到當前目錄或指定一個具體目錄。如果選擇了指定目錄但該目錄不存在,系統會自動創建它并將文件放入其中。6.如果需要進一步配置（如自定義元數據、存儲類

24、型、服務端加密方式等），則可以展開高級選項進行設置。7.設置完畢后，單擊“上傳文件按鈕開始上傳過程。8.上傳期間，您可以在任務列表中的“上傳列表頁簽查看各文件的上傳進度情況；當所有文件都成功上傳之后，在目標路徑下就可以看到新添加文件的文件名、大小及存儲類型等相關信息了。對象存儲 OSS-快速入門-控制臺快速入門-控制臺上傳文件阿里云App-移動端控制臺-對象存儲 OSS-手機版 OSS 文件管理器對象存儲 OSS-操作指南-數據安全-版本控制-開啟版本控制下Object的操作媒體處理-操作指南-控制臺操作指南-媒體管理-上傳視頻阿里云AI搜索Agentic RAGAgent 規劃2召回文檔Ag

25、ent 規劃4Graph RAGhttps:/arxiv.org/pdf/2408.08921https:/arxiv.org/pdf/2404.16130阿里云AI搜索 Graph RAGPDFWordExeclImage模型處理：知識庫數據預處理數據識別數據抽取文檔解析語義切分多粒度切分文本切片用戶提問搜索引擎向量索引文本索引索引類型全量索引實時索引索引構建檢索結果上下文獲得回答生成文本組成Prompt提示工程大模型向量化向量檢索+rerank原始數據實體抽取關系抽取知識圖譜抽取提問數據預處理意圖理解問題拓展查詢分析提取query中的關鍵詞關鍵詞提取實體擴展關系擴展子圖擴展Query：“在

26、電影里扮演Corliss的女性曾擔任過什么政府職位？”召回實體召回實體Kiss And Tell，電影，實體描述Corliss，人物，實體描述召回關系召回關系Kiss And Tell，Corliss，關系描述Shirley Temple，Corliss，關系描述擴展擴展實體實體（Shirley Temple，人物，扮演過Corliss、曾擔任美國外交官）Response：“Shirley Temple在電影里扮演Corliss，她曾擔任過美國外交官”https:/arxiv.org/pdf/2408.15710 https:/arxiv.org/pdf/2407.20243 https:/a

27、rxiv.org/pdf/2407.20243Ops-Agent向量 Tool文本 ToolTools任務拆解意圖識別LLM用戶提問視頻流音頻流視頻內容數據標題視頻元數據描述類目標簽點贊收藏評論瀏覽時間地點時長分享多模態向量化模型視頻幀向量化音頻向量化視覺語言模型視頻轉文本主體識別模型視頻幀主體識別QCHNSWQGraphDiskANNQuery理解NL2SQL文本稠密向量文本稀疏向量Query向量化Rerank文本rerankerdeep-ctrScore文本 score向量 scoreCTR score多模態向量表征多模態搜索-文搜視頻倒排索引正排索引Query改寫向量引擎文本引擎Quer

28、y擴展模型類別服務名適用場景功能說明非結構化文檔解析ops-document-analyze-001文檔結構提取提供通用文檔解析服務，支持從非結構化文檔（文本、表格、圖片等）中提取標題、分段等邏輯層級結構，以結構化格式輸出。圖片解析ops-image-analyze-vlm-001圖片內容解析基于多模態大模型對圖片內容進行解析理解以及文字識別，解析后的文本可用于圖片檢索、問答場景。ops-image-analyze-ocr-001圖片文字識別使用OCR進行圖片文字識別，識別后的文本可用于圖片檢索問答場景。向量化ops-text-embedding-001多語言文本向量化服務（1536維）提供多

29、語言（40+）文本向量化服務，輸入文本最大長度300，輸出向量維度1536維。ops-text-embedding-002多語言文本向量化服務（1024維）提供多語言（100+）文本向量化服務，輸入文本最大長度8192，輸出向量維度1024維。ops-text-embedding-zh-001中文文本向量化服務提供中文文本向量化服務，輸入文本最大長度1024，輸出向量維度768維。ops-text-sparse-embedding-001文本稀疏向量化服務提供多語言（100+）文本向量化服務，輸入文本最大長度8192。ops-embedding-tuning向量降維服務提供向量模型調優服務，可

30、通過定制訓練向量降維等模型，在不帶來過多檢索效果損失的情況下，輔助將高維度向量降低維度，以便提升性價比。NL2SQLops-query-analyze-001Query分析通用Query分析服務，基于大語言模型對用戶輸入Query進行意圖理解，以及相似問題擴展。ops-nl2sql-001自然語言Query轉SQL將用戶輸入的自然語言Query轉換成SQL查詢串ops-nl2dsl-001自然語言Query轉OpenSearch查詢、Elasticsearch查詢將用戶輸入的自然語言Query轉換成OpenSearch查詢串、Elasticsearch查詢串Rerankerops-text-r

31、eranker-001基于LLM的重排模型（效果優先）融合多行業數據集訓練，提供高水準的重排服務，可根據query及doc的語義相關性從高到低對doc進行排序。ops-bge-reranker-larger基于bge-reranker的重排模型（性能優先）提供基于BGE模型的文檔打分服務，可根據query與文檔內容的相關性，按分數由高到低對doc進行排序，并輸出對應的打分結果。大模型ops-qwen-turbo基于qwen-turbo微調搜索大模型以qwen-turbo大規模語言模型為模型底座，進行有監督的模型微調，強化檢索增強和Agent能力。ops-qwen-plus基于qwen-plus

32、微調搜索大模型以qwen-plus大規模語言模型為模型底座，進行有監督的模型微調，強化檢索增強和Agent能力。ops-qwen-max基于qwen-max微調搜索大模型以qwen-max大規模語言模型為模型底座，進行有監督的模型微調，強化檢索增強和Agent能力。阿里云阿里云AIAI搜索專屬大模型搜索專屬大模型經過真實場景實踐和打磨，沉淀出了一系列搜索專屬大模型，并以平臺化方式將這些模型用于搜索系列產品https:/arxiv.org/pdf/2408.15710 https:/arxiv.org/pdf/2407.20243 https:/arxiv.org/pdf/2407.20243n

33、DCG10AvgRetrievalClassificationClusteringRerankingSTSPairClassificationstella_v368.4673.6071.5053.7568.2762.4588.10bge-m3 sparse 4096_0.6+stella_v368.2074.4071.7453.4867.9661.2485.28阿里云AI搜索68.7174.4071.7453.7568.2762.4688.10*2024年3月數據，曾獲C-MTEB榜單第一*2025年3月數據，Avg NDCG10 Conan 76.72 vs Conan Adaptor 77

34、.43https:/arxiv.org/pdf/2408.15710阿里云阿里云AIAI搜索專屬大模型搜索專屬大模型-微調微調EmbeddingEmbeddinghttps:/arxiv.org/pdf/2407.20243nDCG10AverageCmedqaRetrievalCovidRetrievalDuRetrievalEcomRetrievalMedicalRetrievalMMarcoRetrievalT2RetrievalVideoRetrievalbge-reranker-larger69.7336.8282.9488.6559.8459.1683.7082.0064.70op

35、s-text-reranker-00175.3643.6686.3491.7870.1063.8384.3784.8877.95Accuracy10AverageCmedqaRetrievalCovidRetrievalDuRetrievalEcomRetrievalMedicalRetrievalMMarcoRetrievalT2RetrievalVideoRetrievalbge-reranker-larger83.1658.7691.6897.9576.668.493.4895.9182.5ops-text-reranker-00186.4065.3293.8998.3584.271.7

36、92.8296.5188.4Recall10AverageCmedqaRetrievalCovidRetrievalDuRetrievalEcomRetrievalMedicalRetrievalMMarcoRetrievalT2RetrievalVideoRetrievalbge-reranker-larger78.6647.2491.6289.777668.493.1480.6482.5ops-text-reranker-00182.4853.9993.8991.7084.271.792.4783.4788.4*2024年8月數據向量維度：768維nDCG10CMTEBBeIRRerank

37、Rerank+Embedding融合RerankRerank+Embedding融合Qwen2-7B-SFT78.3279.8262.9063.96Qwen2-1.5B-SFT76.9779.3361.2563.52*2025年3月數據阿里云阿里云AIAI搜索專屬大模型搜索專屬大模型-RerankRerank阿里云阿里云AIAI搜索專屬大模型搜索專屬大模型-NL2SQLNL2SQLQ:查詢所有有電商業務并且員工數量少于50人的企業名稱?A:SELECT corp_name FROM corp_table WHERE is_ebusiness=Y AND employee_num 語義搜索-Agentic搜索 RAG-單Agent RAG-多Agent RAG 向量檢索-量化+GPU加速大數據大數據+搜索搜索 數據庫、數據倉庫、數據湖平滑支持AI搜索開源生態開源生態+搜索搜索 開源搜索引擎：Elasticsearch 開源LLM框架：Langchain、Llamaindex、Dify 開源大模型：Qwen、DeepSeek 開放標準協議：MCP嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻演講人：邢少敏