vivo 一站式 AI 智能體構建平臺演進實踐-張碩.pdf

1、vivo一站式AI智能體平臺的演進實踐vivo互聯網產品平臺架構團隊負責人/張碩行業PPT模板http:/ B行業PPT模板http:/ 系統間集成通信、數據管理、非結構化文本解析、測試度量、運營管理等等能力如何解決？l不舒適區：不舒適區：整體技術生態處于發展早期，發展早期，不確定性高，有較高試錯成本，需要大量不確定性高，有較高試錯成本，需要大量的學習探的學習探索。如何高效帶領團隊達成目標？l資源依賴：資源依賴：算力日漸昂貴，使用量級增長還要不停追加算力投入。ROIROI如何保障？如何保障？l業務應用：業務應用：對生成式人工智能的期望過高，有需求但是不知道如何高ROI應用。如如何助力各個業務創

2、造可量化的價值？何助力各個業務創造可量化的價值？把一類訴求抽象歸納、系統化，滿足一系列需求，并持續沉淀為資產，能夠對各部門、對公司持續提供穩定服務。平臺化演進降低技術難度、減少溝通成本、屏蔽使用復雜度，配套較完備的在線業務使用能力。一站式開箱即用基于平臺構建各個方向垂類bots應用，管理數據集，并對這些應用進行迭代運營垂類私域數據挑戰為什么為什么?“照我做的做”效果會好于“照我說的做”才能領跑賦能，帶團隊指明方向、解決難題、帶團隊指明方向、解決難題、掃除障礙，承擔使命與壓力掃除障礙，承擔使命與壓力，最終拿到結果。面對挑戰，求責于己，身教勝于言傳及時反饋，及時say YesNO團隊避免務虛，聚焦

3、創造價值本身。增效降本思考思考&學習學習明確方向競品調研roadmap大量學習大量學習（60+60+論文、論文、國內外競品分析、國內外競品分析、開源技術方案開源技術方案）功能點檢、體驗交互復雜測試方案體驗體驗&測試測試核心方案技術評審疑難攻關技術實現技術實現業務落地接入交流合作接入接入&合作合作藍心九問藍心九問創造性、突破式場景，躬身入局、以身作則是務實領導力的關鍵公司我做了什么我做了什么？領跑，深入關鍵環節，決策才能及時、有效新的起點，如何帶領團隊高效學習，敏捷落地？技術方案technicaltechnicaltechnicaltechnicalT T行業PPT模板http:/ or Ret

4、rieval?Comparing Knowledge Injection in LLMs https:/arxiv.org/abs/2312.05934RAG VS FINE-TUNING:PIPELINES,TRADEOFFS,AND A CASE STUDY ON AGRICULTURE https:/arxiv.org/pdf/2401.08406技術選擇 RAG vs SFT？類別RAGRAGSFTSFT外部知識源改變模型行為減少幻覺訓練數據集動態數據更新可解釋性以RAG為主的技術路線RAGRAG的演進的演進 N Naiveaive RAGRAGRetrieval-Augmented

5、Generation for Large Language Models:A Survey https:/arxiv.org/abs/2312.10997幻覺明顯減少，回答更加可靠為不同領域提供專業的知識支持，保證信息的及時性、有效性可解釋，可追溯問題并迭代改善安全性和隱私管理方面，實現了數據的權限控制、安全管理等NaiveNaive RAGRAG 荊棘叢生荊棘叢生040302011、Unstructured IO 2、表格+圖片解析 3、語意+規則 Chunk1、混合檢索（Sparse+Dense）2、Auto Merge Retrieval 3、Query transformation（R

6、ewrite）Retrieval準確率提升1、RAG Evaluation 2、Retrieval 過程可視化1、圖文并茂輸出 2、參考文檔來源展示 3、幻覺控制RAGRAG的演進的演進 AdvancedAdvanced RAGRAG Fine-grained Data Clean Query Transfmation HyDE Q2Q、Q2P Hybrid Search+Rerank Small2BigRAGRAG的演進的演進 AdvancedAdvanced RAGRAGFine-grained Data CleanUnStructured DataQuery TransfmationHy

7、DEQ2QHybrid Search+RerankSmall2BigMetadatafilterPrecise Zero-Shot Dense Retrieval without Relevance LabelLarge Language Models are Strong Zero-Shot RetrieverGenerative and Pseudo-Relevant Feedback for Sparse,Dense and Learned Sparse RetrievalGRM:Generative Relevance Modeling Using Relevance-Aware Sa

8、mple Estimation for Document RetrievalChunkingChunking 遞歸分割：通過分治的方法，用遞歸切分到最小單元的一種方式；特殊分割：還有很多不常見的，用于特殊場景，這里就不提了。X Flip 產品顏色菱紫,綢金,鉆黑物理規格高度:166.42mm（展開）86.40mm（折疊）寬度:75.25mm厚度:菱紫：8.19mm（展開）、17.56（折疊）鉆黑：7.75mm（展開）、16.62（折疊）綢金：7.84mm（展開）、16.80（折疊）重量:菱紫、鉆黑：198g 綢金：199g上市價格全網通（V2256A）：（12GB+256GB）：5999.00

9、元（12GB+512GB）：6699.00元固定大小固定大小+常見符號常見符號的分塊方式的分塊方式簡單意圖的分塊方式（句分割簡單意圖的分塊方式（句分割 遞歸分割）遞歸分割）“天氣很好，我們一起”|“去郊外游玩”必要語境詞語遺失，如chunk示意圖ChunkingChunking 基于元素的分割基于元素的分割 結構化處理結構化處理 按結構合并按結構合并 新增新增chunkchunk規則（超規則（超tokentoken或者某元素變動）或者某元素變動）主動合并過小主動合并過小chunkchunk，多合一，多合一hybrid searchhybrid search+metadata+metadata

10、filterfilter 混合檢索混合檢索 metadatametadata來源：如url、文件名、組織、上傳人類型：tag、fileType、作者日期：年月日語義檢索的局限性語義檢索的局限性如：對拼寫錯誤、同義詞和措辭差異不太敏感。精確的、短小內容匹配搜索機型、名稱、縮寫短語（例如 vivoX100 pro、SWTO、藍心LLM-pro-1.0）效果顯著不同數據集類型提升明顯hybrid searchhybrid search+metadata+metadata filterfilter高質量塊的查詢百分比Small to Big RetrievalSmall to Big Retrieva

11、lSmall to Big RetrievalSmall to Big RetrievalRAGRAG EvaluationEvaluation從人工到自動化從人工到自動化檢索和生成模塊Benchmarking Large Language Models in Retrieval-Augmented Generationhttps:/arxiv.org/pdf/2309.01431.pdfRAGAS:Automated Evaluation of Retrieval Augmented Generationhttps:/arxiv.org/pdf/2309.15217三元組相互牽制問題:viv

12、o的總部在哪里？它的主要是做什么的？答案A:vivo 總部位于廣東省東莞市。（low Relevance）答案B:vivo 總部位于廣東省東莞市，它是一家全球領先的智能終端和智能服務提 供商（high Relevance）上下文相關性（Context Relevance）答案真實性（Answer Faithfulness）答案相關性（Answer Relevance）ground_truths（GPT4 Q2A）上下文召回（context Recall）上下文精準度（Context Precision）答案正確性（Answer Correctness）RAGRAG EvaluationEval

13、uation從人工到自動化從人工到自動化1.問答對生成2.自動化運行3.效果評估分析RAGRAG還不夠還不夠AgentAgentRAGRAG聚焦聚焦“知識的精確性相關問題知識的精確性相關問題”比如：“對比下A、B兩個項目的人員數量？”“近6年某部門人力投入變化，柱狀圖表示出來”（復雜）AgentAgent方式方式任務拆解，按順序排列執行，Agent分頭執行等（獨立與LLM交互，執行工具、RAG等等）比如：“請給我總結下有關xxx的文章核心內容”(topk?)AgentAgent 概述概述代理（代理（AgentAgent）這個詞來源于拉丁語“agere”，意為“行動”。各個領域能夠獨立思考和行動

14、的概念。感知環境，自主采取行動以實現目標，并可以通過學習或獲取知識來提高其性能。PreceptionPreceptionContext 聽覺、視覺等知覺BrainBrainknowledgereasoning 記憶、決策ActionAction（基于知覺、決策的反應）output txtimage（Tools）具身化The rise and potential of large language model based agents:A survey.arXiv preprint arXiv:2309.07864.lilianweng.github.io/posts/2023-06-23-ag

15、ent組件化理解任務拆分：把一個復雜的問題分解成更小的問題任務拆分：把一個復雜的問題分解成更小的問題工具使用：選擇要使用的外部工具工具使用：選擇要使用的外部工具 +提出調用工具的參數提出調用工具的參數計劃：計劃出一組任務計劃：計劃出一組任務存儲：存儲以前完成的任務相關信息存儲：存儲以前完成的任務相關信息自動化從日常任務、重復勞動中解脫出來，減輕工作壓力，提高效率。半自主性規避人工低級指令，一定程度的自主分析、規劃、達成目標創造性具備足夠自主性，思考規劃能力，自主完成創新性的、探索性的復雜工作AgentAgent 演進方向演進方向業務應用類 業務系統工具 OA流程類 devOps工具內容生成類

16、熱點新聞 文本翻譯常用工具類 Google搜索 OCROCR文本識別文本識別 數學工具生產力工具 辦公日程 短鏈工具圖片視頻 圖片理解 AI繪畫 摳圖工具插件集市-我的插件-插件-工具-API或函數AgentAgent ToolsTools 節點元素：大模型 代碼執行器 知識庫 選擇器 插件 工作流AgentAgent WorkflowWorkflow 四種模式：ReflectionReflection Tool UseTool Use PlanningPlanning Multiagent Multiagent CollaborationCollaboration將復雜任務分解為一組簡單Agent，Agent之間通過消息的方式進行通信AgentAgent MultipleMultiple AgentsAgents應用落地應用落地CRM聊天總結（800+人天）應用落地應用落地測試報告總結（600+人天）應用落地應用落地硬件指令生成等（1000+人天）應用落地應用落地知識客服場景（200+Bots）