盧建暉-多場景下智能體應用構建技巧.pdf

1、多場景下智能體應用構建技巧盧建暉微軟高級云技術布道師演講嘉賓盧建暉微軟高級云技術布道師專注在人工智能和大數據，微軟多年技術大會講師，微軟人工智能黑客松教練，著有基于大模型框架的Sematic Kernel Cookbook，目 錄CONTENTS1.為什么需要智能體2.如何實現智能體3.智能體的應用場景4.研發場景的實踐我們為什么需要智能體PART 01Copilot 應用改變了我們的工作方式幾個關鍵要點怎樣寫“好”提示工程Copilot 之間如何互動解決大模型中的幻覺準確性對智能的愿景如何實現智能體PART 02AI Agents 的特點自主性：AI Agents 能夠獨立執行任務，無需持續

2、的人工干預或輸入。感知：Agents 功能通過各種傳感器（例如攝像頭或麥克風）感知并解釋他們所處的環境。高響應性：AI Agents 可以評估環境并做出相應響應以實現其目標。推理和決策：AI Agents 是智能工具，可以分析數據并做出決策以實現目標。他們使用推理技術和算法來處理信息并采取適當的行動。學習：他們可以通過機器、深度和強化學習元素和技術來學習和提高自己的表現。通信：AI Agents 可以使用不同的方法與其他代理或人類進行通信，例如理解和響應自然語言、識別語音以及通過文本交換消息。面向目標：它們旨在實現特定目標，這些目標可以預先定義或通過與環境的交互來學習。LLM Powered

3、Autonomous Agents|LilLog(lilianweng.github.io)AI Agent 的結構Assitants API 是第一步輕松為 Copilot 引入狀態：通過單個 API 構建強大、有狀態的 Copilot和類似座席的體驗減少開發工作量：無需多個集成來進行狀態管理、上下文關聯和聊天線程、檢索、代碼執行和外部擴展強大的工具和第三方擴展能力：使開發人員能夠并行訪問強大的內置工具，例如代碼解釋器、知識檢索以及通過 function calling 的外部擴展實現突破性的虛擬多智能體場景：設想虛擬智能體不僅可以相互交流，還可以執行任務，并可以通過安全方式來實現智能體間的

4、工作流程Microsoft Copilot ExtensibilityCopilotsInstructions(Meta Prompt)Function CallingCode InterpreterFoundation modelsAI infrastructureKnowledge RetrievalAppsAI orchestrationBuilt-insafetysystemand responsible AItoolsAssistants StackChat Completion API vs Assistant APIChat Completions API輕巧而強大本質上無狀態A

5、ssistants APIStateful（內置對話狀態管理）訪問持久線程訪問多種格式的文件。API 處理分塊、嵌入存儲和創建以及實施矢量搜索*自動管理模型的上下文窗口并行訪問多個工具（每個助手最多 128 個工具），包括代碼解釋器使用 function calling 來構建工具場景學習:使用 Assistants API 構建一個旅游應用選擇型號(gpt-4-1106-preview)為每個助理定義自定義指令：“您是提供.的旅行顧問”，“您是火車預訂代理.”激活檢索和代碼解釋器工具添加文件添加功能：例如 獲取旅程、獲取實際日期時間、獲取最佳價格用戶上傳航班行程并詢問：“建議我旅行日期的每日

6、行程”助理檢索文件，然后回答問題用戶詢問“阻止我的日歷中的慕尼黑啤酒節日期”助理查找音樂節日期的行程并調用 Microsoft Graph API 在用戶日歷中創建 Outlook 事件用戶上傳他們的 Airbnb 賬單并詢問：“我們將是 4 位朋友住在柏林的這家 Airbnb 上。我的費用分攤+我的航班費用是多少？“Assistant 調用 Code Interpreter 生成 Python 代碼，然后回答問題。用戶詢問“請提供 10 月 27 日當周從 柏林 到 慕尼黑 最便宜的航班Assistant調用DB API獲取火車路線和票價并顯示參與者相關工具Deutsche Bahn API

7、(實時火車時刻表)Graph API or Logic Apps(read/write to Outlook)3.Function Calling（與多個API集成）1.代碼解釋器2.知識檢索顧客（需要旅行計劃和預訂幫助）助理旅游顧問（用戶代理）助理訂艙代理（專業代理）1234解決復雜的數學問題和高級數據分析RAG(1)flight_itinerary.txt(2)Airbnb_bills.pdf(3)train_ids.csv(4)stations.csv助理配置Multi-Assistant Thread Runs with parallel function calls分析一下具體工作-

8、行業：旅行；領域：客戶服務；目標：縮短響應時間，取悅用戶Semantic Kernel 構建智能體|-plugins|-CodePlugin|-dotNETdotNET CLI AgentGenerate.NET CLI from request.and pass generate.NET CLI to runPluginGPT-4-turboExecute the.NET CLI script generated from cliAgentCustom Plugin Run CLI AgentRunning dotNET CLI AgentGPT-4-turbodotNET Agentset

9、up a new project-HelloDemoApp,compile this project-HelloDemoApp,run this project-HelloDemoApplet cliAgent to generation.NET CLI script from request,Then use runAgent to execute the.NET CLI script generated from cliAgent智能體的應用場景PART 03taskstoolsmemory單智能體Autogentaskstoolsmemorytaskstoolsmemorytasksto

10、olsmemoryAutogen多智能體混合智能體場景Autogen博客助理的思考Writer1.What is Machine Learning?2.The difference between AI and ML 3.The history of Machine LearningWrite about Machine Learning BlogEmbeddingsAzure OpenAI Servicetext-embedding-ada-002About Machine Learning+ASK KnowledgeWrite blogSave blogFunction CallingBl

11、og Agents created by AutoGen1.What is Machine Learning?2.The difference between AI and ML 3.The history of Machine LearningKB AgentWriter AgentTools Agent研發場景的實踐PART 04在 AI 加持下讓我們的研發更順暢了1規劃2分析3設計4實施5測試和集成6維護GitHub copilot chat 中的 agentCopilot 聊天智能體可以讓Copilot 自行查找所需的上下文，而無需您的參與VS Code 中內置了三個代理：termin

12、alvscodeworkspaceGitHub copilot chat agent自定義 GitHub copilot agentMicrosoft Fabric LakehouseCSVs,Tables,FilesSyncUnstructured dataChat flow&Embeddings FlowAOAI+Azure AI SearchGenerative Code FlowAOAIstructured dataAzure Machine Learning ServiceStructured data&Unstructured datafabric/learn Ask knowledge for Microsoft Fabricfabric/gen Generative code for your structured dataGitHub Copilot Chat Copilot API架構THANKS