黃佳-AIAgent認知框架與案例實踐.pdf

1、AI Agent：認知框架與案例實踐黃佳新加坡科技研究局演講嘉賓黃佳AI研究員 動手做AI AgentGPT圖解作者新加坡科技研究局AI研究員、技術作家，主攻方向為大語言模型的開發和應用實踐、AI in FinTech、AI in MedTech、持續學習，代表作主要有大模型應用開發 動手做AI AgentGPT圖解零基礎學機器學習數據分析咖哥十話LangChain實戰課等，曾在埃森哲新加坡公司擔任多年SAP技術顧問，負責政府和企業薪酬系統的實施和運維。目 錄CONTENTS1.何為AI Agent2.Agent認知框架3.適用場景分析4.具體實現/技術實踐5.總結與展望何為AI AgentP

2、ART 01生成式人工智能應用5層級什么是AgentAgent和傳統程序設計范式究竟有何不同？進行推理調用工具自我進化CoT，ReflectionReAct，Function Calling/Tool Calls進行推理調用工具工具使用和模擬是Agent研發的兩個重點基于工具的Agent，以自動化復雜的多步驟工作流程基于模擬的Agent，目標是在虛擬世界中真實地復制人類行為和社會動態模擬Agent方法論Tool CallsAI Agent認知框架PART 02整體技術框架Andrew Ng 給出的四種Agent思維框架設計模式Agent認知框架：CoT（Chain of Thought)Cha

3、in-of-Thought Prompting Elicits Reasoning in Large Language Models,36th Conference on Neural Information Processing Systems(NeurIPS 2022).Agent認知框架：Self-AskPress,O.,Zhang,M.,Min,S.,Schmidt,L.,Smith,N.A.,&Lewis,M.(2022).Measuring and Narrowing the Compositionality Gap in Language Models.arXiv preprin

4、t arXiv:2212.09551.Agent認知框架：ReflectionShinn,N.,Cassano,F.,Berman,E.,Gopinath,A.,Narasimhan,K.,&Yao,S.(2023).Reflexion:Language Agents with Verbal Reinforcement Learning.arXiv preprint arXiv:2303.11366.Madaan,A.,Tandon,N.,Gupta,P.,Hallinan,S.,Gao,L.,Wiegreffe,S.,.&Clark,P.(2023).SELF-REFINE:Iterativ

5、e Refinement with Self-Feedback.arXiv preprint arXiv:2303.17651.Agent認知框架：Function Callings/Tool CallsAgent認知框架：Function Callings/Tool CallsAgent認知框架：ReActYao,S.,Zhao,J.,Yu,D.,Du,N.,Shafran,I.,Narasimhan,K.,&Cao,Y.(2023).ReAct:Synergizing Reasoning and Acting in Language Models.arXiv preprint arXiv:

6、2210.03629.Agent認知框架：ReActAgent認知框架：Plan-and-SolveWang,L.,Xu,W.,Lan,Y.,Hu,Z.,Lan,Y.,Lee,R.K.-W.,&Lim,E.-P.(2023).Plan-and-Solve Prompting:Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models.arXiv.Agent認知框架：Plan-and-Solve認知框架的組合：ReAct+Tool CallsAgent認知框架適用場景分析PART 03適用場景分析維度任務復雜度領

7、域相關性應用目標資源可用性任務復雜度:認知框架的首要選擇維度規則是否明確？步驟是否固定？是否涉及分析、推理和決策？領域相關性:通用還是專用通用領域:如日常對話、文本摘要特定垂直領域:如醫療、法律等資源可用性:外部信息助力知識庫:如百科、圖譜語料庫:如網頁、文檔等API:如搜索、計算、翻譯等應用目標:根據需求權衡是否追求任務完成的速度和成本？是否追求任務輸出的質量和精度？是否追求追求認知過程的透明和可讀性？是否追求任務結果的新穎性和發散性？認知框架選型：步驟1 場景維度拆解企業需要開發一個智能客服：產品功能 價格 優惠活動等方面的問題,提供故障診斷和解決方案,根據客戶需求推薦合適的產品或服務與企

8、業知識庫深度結合,確保專業準確性同時要能進行多輪對話,理解用戶意圖,提供個性化服務。業務場景場景維度適用性提示LLM根據場景維度分析,該智能客服Agent：任務目標涵蓋解答問題、診斷故障、推薦產品服務等領域相關：需要在產品、服務、營銷等領域具備專業知識。任務復雜度：中等,需要Agent能夠結合結構化的企業知識庫,并準確理解用戶意圖,提供針對性的回答。輸入數據：主要是用戶以自然語言表達的問題文本,以及企業知識庫。輸出形式：以自然語言回復為主,對于推薦任務還可能包括產品或服務的列表。場景維度拆解認知框架選型：步驟2 思維框架選型LLM根據場景維度分析,該智能客服Agent：任務目標涵蓋解答問題、診

9、斷故障、推薦產品服務等領域相關：需要在產品、服務、營銷等領域具備專業知識。任務復雜度：中等,需要Agent能夠結合結構化的企業知識庫,并準確理解用戶意圖,提供針對性的回答。輸入數據：主要是用戶以自然語言表達的問題文本,以及企業知識庫。輸出形式：以自然語言回復為主,對于推薦任務還可能包括產品或服務的列表。場景維度拆解CoT/ToTFunction CallingReActPlan-n-SolveSelf-Ask with Reflection思維框架綜合考慮智能客服Agent的任務特點和場景維度分析認為Functions Calling結合Self-ask的思維框架最為適合。首先，Functio

10、ns Calling將智能客服的任務劃分為問題解答、故障診斷、產品推薦等多個子模塊,每個模塊對應一個可獨立調用的函數。這種結構化的劃分有助于提高Agent的效率和回答質量。其次在具體執行每個任務時,Self-ask思維框架可以引導Agent通過自問自答的方式梳理分析問題,補充相關知識,保證對用戶問題的理解到位,給出恰當的答復。同時,Agent還可以通過Self-ask來判斷是否需要進一步詢問用戶更多信息,從而提供個性化的服務。思維框架選型認知框架選型：整體流程LLM根據場景維度分析,該智能客服Agent：任務目標涵蓋解答問題、診斷故障、推薦產品服務等領域相關：需要在產品、服務、營銷等領域具備專

11、業知識。任務復雜度：中等,需要Agent能夠結合結構化的企業知識庫,并準確理解用戶意圖,提供針對性的回答。輸入數據：主要是用戶以自然語言表達的問題文本,以及企業知識庫。輸出形式：以自然語言回復為主,對于推薦任務還可能包括產品或服務的列表。場景維度拆解CoT/ToTFunction CallingReActPlan-n-SolveSelf-Ask with Reflection 思維框架綜合考慮智能客服Agent的任務特點和場景維度分析認為Functions Calling結合Self-ask的思維框架最為適合。首先，Functions Calling將智能客服的任務劃分為問題解答、故障診斷、產

12、品推薦等多個子模塊,每個模塊對應一個可獨立調用的函數。這種結構化的劃分有助于提高Agent的效率和回答質量。其次在具體執行每個任務時,Self-ask思維框架可以引導Agent通過自問自答的方式梳理分析問題,補充相關知識,保證對用戶問題的理解到位,給出恰當的答復。同時,Agent還可以通過Self-ask來判斷是否需要進一步詢問用戶更多信息,從而提供個性化的服務。思維框架選型企業需要開發一個智能客服：產品功能 價格 優惠活動等方面的問題,提供故障診斷和解決方案,根據客戶需求推薦合適的產品或服務與企業知識庫深度結合,確保專業準確性同時要能進行多輪對話,理解用戶意圖,提供個性化服務。業務場景場景維

13、度適用性提示1234場景維度提示模板（示意）認知框架提示模板（示意）語言模型輸出（示意）語言模型輸出（示意）基于主流框架的Agent實現案例PART 04常用的Agent應用開發框架基于OpenAI Assistants的自動辦公助理項目背景：解決方案：OpenAIAssistant數據分析PPT文檔客戶是采購了GPT-4的企業用戶，為了提升辦公效率，降低人力成本，客戶邀請我們共同開發自動數據分析和辦公自動化項目。自動化：利用OpenAI的自然語言處理和生成能力,自動完成文檔撰寫、數據分析、PPT創作等任務。減少人工：通過Assistants API與企業內部系統對接,實現工作流程的自動化,大

14、幅減少人工操作環節。復雜場景：在收集銷售數據的基礎上，進行數據分析，計算每個季度的銷售額，生成銷售數據趨勢圖表，并創建PPT?？蚣苓x擇：通過不斷比對不同框架效果，考慮到任務復雜度、領域相關性、資源可用性和項目目標，我們最終選擇基于OpenAI Assistants開發框架通過Tool Calls(Code Interpreter，Function Calling等工具)來建立Agent。開發框架認知框架業務流程數據準備項目實現基于OpenAI Assistants的自動辦公助理基于LangChain的ReAct Agent實現項目背景：解決方案：LangChainReAct搜索工具價格計算器某

15、在線鮮花平臺，希望開發智能定價系統，讓 Agent 可以根據實時的天氣和交通狀況自動調整產品價格，從而優化銷售策略和庫存管理：大模型：利用大語言模型的能力,進行推理，自動判斷需要調用哪些工具來完成任務。工具調用：利用Google搜索等工具查詢天氣，交通等信息，作為自動定價系統的參考。ReAct：通過推理-行動-觀察的循環，反復確認任務是否已經成功完成?？蚣苓x擇：通過不斷比對不同框架效果，考慮到任務復雜度、領域相關性、資源可用性和項目目標，我們最終選擇基于LangChain開發框架通過ReAct思維模式來建立Agent。開發框架認知框架業務流程數據準備項目實現基于LangChain的ReAct

16、Agent實現基于LangChain的ReAct Agent實現基于LlamaIndex的RAG ReAct Agent實現Balaguer,A.,Benara,V.,&Chandra,R.(2024).RAG vs Fine-tuning:Pipelines,Tradeoffs,and a Case Study on Agriculture.arXiv.https:/doi.org/10.48550/arXiv.2401.08406基于LlamaIndex的RAG ReAct Agent實現基于LlamaIndex的RAG ReAct Agent實現基于LlamaIndex的RAG ReAc

17、t Agent實現AI Agent總結與展望PART 05Agent研究綜述Wang,L.,Ma,C.,Wei,Z.,&Wen,J.(2024).A survey on large language model based autonomous agents.Frontiers of Computer Science,18.多Agents研究綜述Guo,T.,Chen,X.,&Zhang,X.(2024).Large language model based multi-agents:A survey of progress and challenges.Agent未來的熱點方向？Agent 自主學習多 Agent 合作Agent 的可信度和安全性評估大模型和 Agent 在 邊緣系統中的部署具身智能的落地未來的Agent架構應該具有自我復制和進化能力博學之，審問之，慎思之，明辨之，篤行之。禮記中庸THANKS