9.22張堯 AI Agents在On-call助手場景中的探索與實踐.pdf

1、DataFunSummit#2024AI Agents在On-call助手場景中的探索與實踐張堯 博士/算法研究員背景介紹相關工作調研方案介紹未來展望01背景介紹eBay Sherlock.io 監控平臺信號 指標 日志 追蹤 事件能力 多維分析 告警規則 異常檢測 追蹤分析方案 BCD Groot Exemplar RemediationOn-call日常工作 endpoints/API/.是什么？我的PromQL/LogQL/.寫的不對，可以幫我修改嗎？我的指標/日志/事件/追蹤/.數據怎么不見了？我設置的告警怎么不觸發/反復觸發/觸發晚了/.？我的quota不夠，可以幫我增加嗎？02相關

2、工作調研檢索增強生成 RAGGao et al.,2024,Retrieval-Augmented Generation for Large Language Models:A Survey.智能體 AI AgentsWeng.2023.LLM Powered Autonomous Agents.https:/lilianweng.github.io/posts/2023-06-23-agent/ReActYao et al.,2023,ReAct:Synergizing Reasoning and Acting in Language Models.反思 ReflectionShinn et

3、 al.,2023,Reflexion:Language Agents with Verbal Reinforcement Learning.Zhao et al.,2023,ExpeL:LLM Agents Are Experiential Learners.ReflexionExpeL思維樹 ToTYao et al.,2023,Tree of Thoughts:Deliberate Problem Solving with Large Language Models.樹搜索 LLM Agents+MCTSZhou et al.,2024,Language Agent Tree Searc

4、h Unifies Reasoning Acting and Planning in Language Models.Putta et al.,2024,Agent Q:Advanced Reasoning and Learning for Autonomous AI Agents.LATSAgent Q性價比？Kapoor et al.,2024,AI Agents That Matter.03方案介紹Le PenseurGenerated by AI意圖識別 Intent RecognitionHi，sherlock-oncall，我的Raptor應用怎么platform metrics沒

5、有了？-Sherlock：eBay的監控平臺-Raptor:eBay基于Java Spring/Springboot的技術棧-platform metrics:一種特殊類型的指標私有詞匯識別+RAG路由 Routing endpoints/API/.是什么？我的PromQL/LogQL/.寫的不對，可以幫我修改嗎？我的指標/日志/事件/追蹤/.數據怎么不見了？我設置的告警怎么不觸發/反復觸發/觸發晚了/.？我的quota不夠，可以幫我增加嗎？可以zoom幫我看下這個問題嗎？Q&AAgentTriageAgentHierachical+Dynamic few-shot examples+Ense

6、mbleQ&A/Escalate重路由 Re-routing1.用戶無法清晰描述問題2.用戶追問(QA-Triage)3.第一輪路由錯了4.智能規劃 Intelligent Planning我的指標數據怎么不見了？歷史問題Cause：沒有onboardAction：檢測Onboard狀態Cause：rate-limitedAction：檢查使用量1.檢查用戶提供的PromQL2.檢查Onboard狀態3.檢查4.5.Escalate to Human on-callCause：PromQL寫錯Action：檢測PromQL受控執行 Controlled Execution1.ReAct2.Single-Path Best First Search平衡效果與花銷04未來展望評估方案難點：1.多輪2.對話式3.時間敏感多Agents系統Guo et al.,2024,Large Language Model based Multi-Agents:A Survey of Progress and Challenges.DataFunSummit#2024THANKS