A2--劉道偉--百度商業基于大模型的智能交付探索與實踐.pdf

《A2--劉道偉--百度商業基于大模型的智能交付探索與實踐.pdf》由會員分享，可在線閱讀，更多相關《A2--劉道偉--百度商業基于大模型的智能交付探索與實踐.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、百度商業基于大模型的智能交付探索與實踐劉道偉資深測試開發工程師劉道偉百度 資深測試開發工程師2014年加入百度，在搜索、商業等多個核心業務負責質效工作，專注于研發效能提升、DevOps實踐、智能交付等方向。在工作期間，既負責過新業務的質效從零建設，也負責過成熟業務的質效重構，具備不同類型業務研發效能提升的豐富經驗。擔任百度技術學院金牌講師，負責員工的持續集成的課程培訓，曾多次在百度效能大會、GMTC等會議進行主題分享。目錄C O N T E N T S1.背景介紹2.業務的探索與實踐3.未來展望議題背景01業務智能交付的發展智能交付不是一個新的東西，是百度商業智能交付不是一個新的東西，是百度商

2、業QAQA一直在持續進行探索的方向一直在持續進行探索的方向大模型提升了智能交付的天花板，提供了更多可能性，降低了實現的難度大模型提升了智能交付的天花板，提供了更多可能性，降低了實現的難度大模型帶來的新機會大模型理解能力及推理能力代碼理解能力，能理解代碼中的業務邏輯業務理解能力，能理解業務知識及測試領域專業知識可以通過推理給出測試建議、風險判斷等大模型的生成能力可以基于代碼生成單元測試，降低研發測試書寫成本可以基于代碼和文檔，生成接口測試、手工測試、UI自動化測試等用例，提升研發自測質量和測試左移大模型的自然語言交互能力讓知識傳承和問答更加方便，通過大模型直接給出答案降低工具使用門檻，讓更多工具

3、可以提供給研發自測讓基于LUI的交付成為可能基于規則，難以理解代碼和業務邏輯，規則的積累依賴人工枚舉LR模型特征有限，風險打分難以模擬真實推理過程知識傳承難，判斷依賴人工經驗單測書寫成本高，推不動研發研發自測質量難以保障，需要人工提供用例，自主測試率提升困難新功能很難進行自動化測試知識問答依賴人工，自動回復規則匹配命中低測試工具不少，研發或者新人使用困難機器人主要是單一任務，復雜任務難以支持探索與實踐02大模型重構質效領域的一些場景開發階段測試階段上線運維代碼開發代碼評審代碼自測代碼續寫代碼生成代碼生成 單測生成單測生成 缺陷檢測缺陷檢測注釋生成智能研發測試評估交付智能體交付智能體 交付助手交

4、付助手 測試用例生成測試用例生成智能交付智能交付測試規劃測試執行測試準出線上監控定位止損智能報警 智能定位 止損推薦 運維助手智能運維智能研發-需求即交付研發過程中的一些現實：研發過程中的一些現實：并非所有的開發活動都是高價值的，特別是在一些成熟框架下的開發很多都是重復性的工作并非所有的開發活動都是高價值的，特別是在一些成熟框架下的開發很多都是重復性的工作語言重構背景下，很多開發工作是在做語言的翻譯語言重構背景下，很多開發工作是在做語言的翻譯大模型代碼生成能力強大，可以提升代碼編寫效率大模型代碼生成能力強大，可以提升代碼編寫效率智能交付 交付智能體理解“智能體是一種能夠自主行動、感知環境、做出

5、決策并與環境交互的計算機系統或實體。它通常依賴大型語大型語言模型作為其核心言模型作為其核心決策和處理單元，具備獨立思考、調用工具獨立思考、調用工具去逐步完成給定目標完成給定目標的能力”軟件交付過程不是一個單一目標的工作，在整個交付過程中，隨著研發活動和測試活動開展QA的工作是不斷的變化的。因此交付智能體，不是一個單一智能體，是一個跨越整個交付過程的多智能體，不同的子因此交付智能體，不是一個單一智能體，是一個跨越整個交付過程的多智能體，不同的子AgentAgent在不同環節完成不同的目標。在不同環節完成不同的目標。交付智能體的最終目標是實現交付智能體的最終目標是實現AI QAAI QA，實現的過

6、程需要通過數據飛輪不斷迭代，實現的過程需要通過數據飛輪不斷迭代手工測試自動化測試測試CopilotAIQA-Autopilot依賴人輔助人替代人智能交付 交付過程建模洞察：洞察：能夠洞察到外界“變化”，結合知識判斷風險，包含需求洞察、代碼洞察、人員洞察等規劃：規劃：結合洞察信息和已經具備或執行的召回能力集合和數據，規劃后續的行為，如測試方案、測試內容；執行：執行：結合規劃產出及用例生成能力，動態執行測試，并能夠對測試過程問題進行自動定位決策：決策：依據洞察信息，執行過程數據，結合測試經驗和知識，決策是否可準入準出洞察Agent規劃Agent執行Agent決策Agent需求洞察代碼洞察人員洞察測

7、試洞察誰來測-人員規劃測哪些-方案規劃怎么測-內容規劃測多久-排期規劃手工用例生成接口用例生成動態流水線智能定位質量模型準入決策準出決策智能交付 交付智能體方案初期使用通用大模型基座初期使用通用大模型基座+Prompt+Prompt工程工程+RAG+RAG方案，未來考慮方案，未來考慮SFT SFT 交付專用模型交付專用模型統一交付過程數據基建，建設完備的線下交付數據圖譜統一交付過程數據基建，建設完備的線下交付數據圖譜建設統一的建設統一的MultiMulti-AgentsAgents工程架構，負責與交付平臺、交付助手等統一對接，支持業務配置接入工程架構，負責與交付平臺、交付助手等統一對接，支持業

8、務配置接入各子各子AgentAgent不需關注整體工程框架，深入挖掘各自場景下的能力，如不需關注整體工程框架，深入挖掘各自場景下的能力，如PromptPrompt調優，調優，RAGRAG優化等；優化等；智能交付 交付智能體方案以洞察以洞察AgentAgent為例詳細看下方案：為例詳細看下方案：1 1）AgentAgent內實現比較靈活，可使用內實現比較靈活，可使用AppApp-BuilderBuilder，也可通過，也可通過LangchainLangchain等開源框架等開源框架2 2）數據和）數據和RAGRAG是是AgentAgent的基礎依賴，的基礎依賴，PromptPrompt需求不斷優

9、化需求不斷優化3 3）大模型當前推理能力不足，結果存在不穩定性，要有兜底的手段）大模型當前推理能力不足，結果存在不穩定性，要有兜底的手段智能交付 交付智能體方案#角色定位：您是一位經驗豐富的測試專家，負責精準評估項目需求的風險級別。您的職責在于深入分析需求特征以及代碼模塊的重要性，以做出科學合理的風險評估。#評估背景：xxxx#業務知識：xxx#需求特征：xxx#代碼信息：xxx#任務要求：xxx#期望輸出格式及內容：xxxxx#參考例子：xxx使用使用AppApp-BuilderBuilder的工作流示例的工作流示例PromptPrompt模板示例模板示例智能交付 執行過程用例生成單測用例生

10、成功能自動化用例生成手工測試用例生成接口自動化用例生成一些落地的實踐：一些落地的實踐：單測用例生成以異常單測生成為主，主要是彌補異常測試不足，發現穩定性問題功能自動化用例生成通過歷史case讓大模型學習Case框架，簡化研發自測用例書寫成本通過需求文檔+RAG生成手工測試的腦圖用例，降低QA在手工用例編寫上的成本通過白盒分析針對新增或修改接口生成接口自動化用例，或者通過線上流量分析批量生成歷史接口用例手工用例到接口用例的自動轉換需求生成手工用例接口測試用例生成智能交付 交付助手交付助手要解決的核心問題是什么？知識沉淀+智能問答，釋放值班人力LUI縮短工具使用路徑，降低使用門檻主動提醒，隨時響應，讓交付流程更順暢智能問答主動推送主動推送調用工具效果及展望03大模型給交付的變化單場景到端到端固定流程到自主決策選擇式到生成式GUI 到LGUI 從全局視角進行“洞察-規劃-執行-決策”，數據更豐富，判斷更精準，決策更全面不是偽動態，利用大模型能力真正做到根據不同情況自主決策突破選擇式的局限，通過生成能力可以應用于新功能，也可以提升攔截上限LGUI交互充分利用智能體的能力，把更多知識和工具沉淀到”助手”，提升人效問題及展望大模型能力不足自主思考推理能力數據缺失幻覺模型能力快速迭代、COT提升推理能力、SFT垂直模型、RAG優化感謝聆聽關注公眾號