A2--孫皆斌--大模型輔助自動化失敗腳本分析處理.pdf

1、大模型輔助自動化失敗腳本智能分析孫皆斌中興通訊 公司級教練，中心改進負責人負責家庭終端產品的全自動測試流水線建設，包括自動化環境部署、自動化工具鏈、自動化腳本開發及維護，自動化執行分析等，保障產品的功能、性能、安全、用戶體驗等自動化交付有序開展。目錄C O N T E N T S1.議題背景2.解決思路3.具體實踐4.效果評價5.總結推廣議題背景01 產品知識全屋智能能力場景網絡全屋WiFi全屋光纖影音游戲教育辦公家居全屋視頻全屋語音全屋控制全屋安全家庭超寬帶月均自動化任務數月均自動化任務數1000+月均執行腳本數百萬級月均執行腳本數百萬級版本交付周期一周內版本交付周期一周內現狀&分析自動化交

2、付流分為三個階段階段一：任務自動調度執行（任務一次執行失敗較多）；階段二：失敗腳本分析階段（失敗腳本占比小于10%）；階段三：失敗問題處理階段（環境問題處理時間長）任務下發任務準備任務執行任務分析任務處理任務交付用例更新腳本更新腳本兼容腳本問題產品故障環境處理腳本優化單板上架調度排隊手動驗證異常分析等待分析1-2天5min交付周期占比10%人力投入占比10%交付周期占比50%人力投入占比5%1小時4小時交付周期占比20%人力投入占比30%1小時4小時環境問題交付周期占比20%人力投入占比55%2小時配置檢查2小時用例問題1小時任務交付建模分析階段一階段二階段三AI輔助自動化任務交付提效痛點痛點

3、&挑戰挑戰分析效率成為瓶頸：自動化交付吞吐率難以匹配項目任務增長要求（月均自動化任務數1000+），分析周期成為制約版本交付關鍵路徑分析質量風險高：因產品需求多變，環境組網復雜，經常出現分析誤報情況，存在質量風險人員能力要求高：失敗腳本分析需要了解產品、自動化、環境等多方面信息，依賴專家經驗，分析能力無法全員普及，自動化交付人力池無法快速擴充解決思路02改進目標指標指標類型24年目標指標說明自動化交付周期結果指標20%完成任務或交付產品自動化測試任務所需的時間周期人均日分析腳本數結果指標30%表示平均執行分析人員每天可以分析的腳本數量智能分析覆蓋率結果指標90%表示智能分析系統在執行任務時所覆

4、蓋的百分比智能分析準確率過程指標70%表示智能分析系統在執行任務時產生正確結果的百分比結合業務痛點定義業務目標，通過目標牽引不斷進行改進智能分析方案演進2021傳統神經網絡智能分析智能分析知識圖譜知識庫+大語言模型202220232024方案一 傳統神經網絡（21年探索的方案）方案實現：基于神經網絡技術的智能分析方案，優點：分析覆蓋率100%目標達成情況：準確率低于25%，采納率低于10%使用建議：1.適用于產品迭代周期長，腳本更新速度較慢的項目2.較高分析準確率的前提是保證高質量的訓練集數據 不足：結論不可解釋、準確率提升路徑不清晰、需要高質量的訓練集方案二 知識圖譜（2223年探索方案）方

5、案實現：基于知識圖譜的智能分析方案優點：分析路徑明確，結論可解釋、準確率高目標達成情況：準確率低于37%(特定場景80%)使用建議：環境及業務簡單，出錯業務類型較少，圖譜構建成本低方案圖模板訓練流程圖不足：分析覆蓋率受限于圖譜規模、圖譜維護成本高經過多種技術方案探索實踐和復盤總結，我們綜合各種技術優點和不足，制定了基于知識庫+大模型為核心的智能分析方案，如下所示：神經網絡模型 能理解和處理自然語言文本，識別文本相似度和一致性準確率很高。知識庫+大模型 一種以圖結構組織數據的知識庫，適用于管理環境組網信息，并且可以基于圖譜數據做到故障診斷、自動化運維知識圖譜 針對不同場景，分級建立知識庫，包括歷

6、史分析知識、常見問題特征模板庫、運維知識圖譜等 大語言模型具有出色的自然語言理解能力，可以做為知識理解，知識應用的媒介，經試驗，大模型對判斷需求、用例和腳本一致性效果很好。具體實踐03智能分析方案體系階段問題解決思路 一、任務調度執行階段各類問題引發的大批量故障.三、問題或故障處理階段配置下發錯誤 二、完成執行分析階段環境問題：知識無法沉淀，依賴人工，無法自動化資源超負荷排隊依賴專家知識經驗，逐個問題攻堅實踐1：群障定位解決實踐2：AI輔助智能分析實踐3：智能運維解決思路階段一：任務自動調度執行階段，通過群障定位解決解決批量識別問題，提升任務執行效率；階段二：自動化執行失敗。通過AI輔助失敗腳

7、本智能分析提升人工分析效率和準確度；階段三：問題處理階段，通過環境智能運維提高環境自修復和環境處理效率智能分析&智能運維業務流程 核心思路：1.準確率從高到低，多模塊形成互補，覆蓋所有失敗場景2.高置信度結論自動提工單，工單結論反作用于置信度模塊 3.智能運維，環境問題自查自愈歷史統計準確率作為置信度置信度數據支撐歷史記錄查詢特征模版匹配大模型推理失敗分析模塊基于工單閉環流程的人工反饋動態調整歷史統計準確率并調整置信度置信度模塊人工分析工單環境問題智能運維工單處理分析結果工單處理知識圖譜獲取可用工單數據進行優化數據支撐人工反饋：準確【是|否】失敗原因:腳本原因|產品故障|環境原因|用例原因,置

8、信度:0-100%自動化執行失敗智能分析&智能運維方案架構通過統一的對外服務接口，將智能分析&智能運維嵌入到自動化交付任務的三個階段中；同時將分析任務中形成的專家經驗通過消息隊列持續沉淀到知識庫，不斷提升知識工程建設的有效性。網關接入服務服務能力集日志數據數據處理服務層數據消費服務層腳本圖譜運維圖譜 人工審核知識庫生成請求類對外統一服務請求獲取遠端日志日志格式化Drain.大語言模型知識圖譜模板特征庫 特征模板失敗分析服務知識圖譜生成服務.智能運維服務大模型推理模塊特征模板匹配模塊歷史數據查詢模塊Kafka-日志預處理隊列 Kafka低優先級隊列 Kafka高優先級隊列實踐一：任務調度執行階段

9、的智能群障分析（階段一）調度執行階段的痛點1.配置下發、資源預檢、業務故障等缺少線上觸點，需要人工值守2.對于大面積批量失敗，重復耗費人力分析解決通過復盤總結，識別到18類(參數錯誤、環境調度超時、腳本問題等)常見引發批量失敗的場景，補充完善線上檢測觸點，對每日2000+失敗做群障智能分析，減輕人工分析工作量。實踐一：任務調度執行階段的智能群障分析（階段一）知識工程建設方案：1.通過定期的人工復盤，構建QA對的數據庫形式，并對Q進行歸納并提取特征模板，嵌入到群障分析模塊2.通過歸納后的群障模板，通過10個模板能夠基本覆蓋全部的群障問題的分析實踐2：AI輔助智能分析方案介紹：歷史記錄查詢 -特征

10、模板匹配 -大模型推理多層次智能分析服務開發開始相同任務，相同失敗已有結論歷史記錄查詢提取失敗特征運維API知識圖譜(特征)查詢確認“環境問題”排除“環境問題”規則匹配大模型推理得出分析結論置信度：100%得出分析結論置信度大于：80%未得分析結論結束是是是是是否否否否否實踐2：AI輔助智能分析知識庫建設思路：隱式問題顯性化：將隱式的拓撲和業務等概念明確定義 顯性問題結構化：通過定義的結構化描述方式拓撲和業務知識圖譜文檔樹QA對泛知識圖譜三類知識模型定義應用QA對高價值的問答單元，知識圖譜中的散節點從文檔中抽取問答對，豐富圖譜節點，用于快速檢索和回答文檔樹章節劃分，標題和文本組織成樹結構，用于

11、文檔結構化表示利用文檔樹結構化文檔信息，增強信息組織和檢索，支持文檔內容的層次化表示和導航知識圖譜基于大模型抽取的內容，構建實體關系網絡通過知識圖譜整合和查詢跨文檔知識，提供綜合解決方案，現跨領域知識的綜合表示和復雜查詢實踐2：AI輔助智能分析知識庫建設方案：1、從分析活動中進行建模，識別特征信息表征失敗分析結論，建立QA對的知識庫，用于歷史記錄分析匹配模塊2、基于工單系統，通過大模型從失敗Log中提取特征后人工確認形成QA對的知識庫，用于失敗特征匹配模塊3、借鑒人工分析的推理思維創建產品知識庫、測試用例庫、測試腳本庫、測試信息庫，通過RAG的方式補充Prompt的上下文信息，用于大模型的智能

12、分析失敗特征知識庫產品信息任務信息分析結論處理記錄產品知識庫外觀硬件軟件組網型號腳本知識庫setupdocumentbodyexecInfoteardown實踐2：AI輔助智能分析子實踐：基于大模型推理智能分析基于RAG的Prompt推理思路設計：step1：讓大模型分析用例和腳本是否一致，如果不一致，則考慮腳本原因step2：當用例和腳本一致，但是用例中的描述的能力和產品能力不一致，則考慮為用例問題step3：RF和python常見的異常，則考慮為腳本問題；環境導致的連接失敗等異常則考慮為環境問題step4：其他則預期結果與腳本不一致，則考慮為產品故障產品信息用例描述+腳本+報錯+Promp

13、tLLM失敗定界：失敗大類、推理過程補充數據多輪對話多輪對話Prompt你上一次提供已對失敗初步定界為failType，請根據如下補充的數據data，對失敗進行詳細定位實踐2：AI輔助智能分析子實踐：基于大模型推理智能分析大模型能力穿刺驗證：對產品-用例-腳本一致性判斷驗證【知識庫信息】產品信息：國家碼-139、運營商-巴西Multilaser 用例信息：用例名-頁面管理_賬號管理_管理員賬號信息修改測試，在0139地區存在定制功能，管理員賬號 可以修改自身用戶名和密碼 腳本實現：按照通用功能編寫，即管理員賬號不能修改自身用戶密碼，未做定制兼容【模型能力預期】大模型能夠理解產品功能定制，進而推

14、斷出腳本實現與產品實現不一致，并能夠提供完整的推理過程實踐2：AI輔助智能分析實踐效果：通過相似失敗日志檢索通過RAG輸入給大模型進行推理輸出定界結論，準確率32%失敗日志失敗日志知識庫失敗日志QA對定界結論Q：失敗日志內容：頁面不存在-Id Password控件A：失敗類型【環境問題】【腳本問題】【用例問題】【產品故障】RAGLLMSTEP1：相似失敗日志檢索TESP1：建立失敗日志與失敗類型的QA對，通過相似失敗日志形成失敗類型推理；問題：失敗的日志信息較多，難以做到精準匹配，對歷史失敗日志進行檢索后，推理生成定界結論比較模糊，準確率提升難實踐2：AI輔助智能分析實踐效果：由于大模型生成定

15、界結論存在不確定性，準確率提升難，通過大模型對失敗日志進行特征抽取并形成特征QA對，將不確定性變成確定性，匹配規則從單項失敗信息識別到某一類特征失敗，準確率提升70%以上失敗日志失敗特征庫定界結論提取失敗特征QA對Q：失敗日志特征：A：失敗類型【環境問題】【腳本問題】【用例問題】【產品故障】失敗日志:登錄頁面不存在-Id Password控件失敗特征：r頁面不存在.+?控件LLMSTEP2：失敗特征碼QA問題：大模型智能分析從自動化人員角色完成失敗原因定界（產品故障/用例問題/腳本問題/環境問題），進一步失敗定位及自修復能力不足，需要環境/腳本人員進一步處理TESP2：建立失敗特征庫，通過失敗

16、特征對失敗腳本進行定界；根據定界結論和依賴知識對失敗腳本進行定位分析；建立環境運維知識庫對環境問題進行自動處理實踐2：AI輔助智能分析實踐效果：對接環境智能運維服務，建立環境運維圖譜，并構建智能Agent，環境問題自動修復觸發腳本自動執行或給出修復建議，預計30%環境原因失敗腳本可自動修復失敗日志失敗特征庫定界結論提取失敗日志測試腳本測試用例依賴知識自修復（環境問題）RAG環境運維知識庫環境運維服務RAGAPI調用環境問題處理API調用LLMLLMLLMSTEP3：對接環境運維服務實現失敗項自修復【方案驗證中】TESP3：根據定界結論和依賴知識對失敗腳本進行定位分析；建立環境運維知識庫對環境問

17、題進行自動處理實踐3：基于知識圖譜的環境問題定位與自愈基于知識圖譜的環境問題定位與自愈失敗腳本工單的環境問題描述輸入給iGPT（觸點工具），通過3個步驟進行環境問題的定位與自愈1、找到故障點現象：建立45個環境故障的知識圖譜（故障現象-檢查點-處理方法），通過大模型的意圖識別找到具體的故障現象2、獲取處理方法：通過知識圖譜從故障現象獲取檢查點，找到問題點及處理方法3、環境自愈：通過大模型的text2api能力調用運維服務接口實現對問題點的自動處理效果評價04 效果評價1、自動化任務交付周期縮短63.2%（平均縮短5.5天）2、人均分析腳本數（每日）8.73.2024681023年自動化任務交付

18、周期24年自動化任務交付周期自動化交付周期（天）115601020304050602023年2024年人均分析腳本數（條）效果評價3、智能分析覆蓋率（平均提升15%）4、智能分析準確率（提升20%）0.720.9200.20.40.60.812023年2024年智能分析覆蓋率42%79%0%20%40%60%80%100%2023年2024年智能分析準確率總結推廣05 總結推廣充分拆解研發業務流程，聚焦高耗能場景場景拆分場景拆分隱性知識顯性化顯性知識結構化知識庫建設知識庫建設本實踐充分探索了傳統神經網絡算法、知識圖譜方案、知識庫+大模型方案并總結輸出適用的場景供借鑒適合自己的適合自己的就是最好的就是最好的感謝聆聽關注公眾號