A2--叢陽--自動化工廠執行結果智能分析.pdf

1、自動化工廠執行結果智能分析Carol目錄CONTENTS背景介紹01 痛點解決思路02 自動化執行結果智能分析實踐03 落地效果與規劃04 01背景介紹當前測試驗收流程CodingBuildingBetaGammaAlpha變更上線線上服務DesignDevOps需求分析自動化測試樁開發自動化執行結果分析高保真分析控件定義自動化用例開發手工用例測試（性能/功耗/穩定性/兼容性/等）自動化撥測可見，自動化執行結果分析耗時，已成為測試活動中影響版本迭代效率的重要痛點結論接口契約分析自動化門禁5min2H自動化執行25H與編碼同步與下個迭代編碼同步耗時測試活動研發流程測試設計測試分析現狀痛點分析自動

2、化資產龐大為何耗時總用例數10000*（1-成功率95%）*每條用例分析時間 3min=25H綜上，拿一個APP服務的一次分析任務耗時舉例：1W+條自動化用例數量的測試服務已是屢見不鮮，即使保持在較高成功率，失敗用例數量也無法滿足每日分析的要求無法快速識別到高優先級失敗用例，導致所有失敗逐個分析無高效的失敗分析策略01關鍵BUG不能第一時間發現02人力投入大，收益低03BUG生命周期延長04迭代后期改單壓力大測試分析現狀痛點分析無差別的失敗分析策略，導致最嚴重的bug可能在最后發現多數自動化失敗原因非版本bug，可能為環境、用例或腳本、工具等非問題測試分析耗時久，無法對每日構建版本進行分析測試

3、分析滯后，bug在版本后期集中暴露，臨發布前集中改單當前自動化分析效果如何？02痛點解決思路痛點解決思路主干每日構建BUG1BUG2BUG3BUG4發布測試分析BUG1/2/3/4beforeafterBUG1提單主干每日構建版本無法當天完成測試分析，BUG無法及時發現主干自動化每日持續構建，引入問題快速發現每日構建每日構建當天引入當天暴露當天修復發布測試具有智能分析手段，能優先識別出版本問題導致的執行失敗思路BUG2提單BUG4提單BUG3提單基于可預見失敗類型匹配的智能分析基于歷史用例分析結果的算法預測智 能 分 析方 法智能分析方法智能分析結果：版本問題、工具問題、環境問題學習、建立模型

4、、預測根因關鍵場景匹配03自動化工廠執行結果智能分析實踐智能分析實現流程綜上：實現版本周期內的問題發現前移和測試效率提升主干每日構建版本發布版本智 能 分 析應 用 策 略應用策略目標：小投入，大收益a.每日清理版本問題，分析范圍減少的前提下，實現問題發現前移；b.按計劃清理環境問題、工具問題等等分析自動化失敗用例全集，兜底前期因置信度誤差導致問題遺漏智能分析方法-規則匹配規則匹配：用于可預見的失敗場景，通過測試數據關鍵字匹配，實現智能分析步驟一、提取可預見的失敗場景步驟二、失敗場景關鍵業務信息轉化到執行日志步驟三、總結規則、按優先級錄入，版本問題優先識別智能分析方法-規則匹配規則匹配：用于可

5、預見的失敗場景，通過測試數據關鍵字匹配規則，實現智能分析版本問題Crash問題：如crash reason手機帳號環境異常：如HWID:Loginfailed云手機掉線：如uiautomonitornot connected典型規則舉例環境問題工具問題正向分析：測試場景設計逆向分析：失敗用例TOP原因分析步驟一、提取可預見的失敗場景逆向分析：缺陷單分析分析手段智能分析方法-規則匹配規則匹配：用于可預見的失敗場景，通過測試日志關鍵字匹配規則，進行智能分析APP業務信息轉化手段舉例步驟二、失敗場景關鍵業務信息轉化到執行日志業務日志提取接口請求提取界面元素提取自動化日志報錯信息匯聚智能分析方法-規則

6、匹配規則匹配：用于可預見的失敗場景，通過測試日志關鍵字匹配規則，進行智能分析步驟三、總結規則，按優先級錄入，版本問題優先識別智能分析方法-模型匹配模型匹配：通過算法，學習歷史測試分析的數據，建立模型，從而預測新用例的失敗原因步驟一、固化報錯特征步驟二、歷史測試數據分析積累步驟三、就近溯源矯正，提升置信度智能分析方法-模型匹配模型匹配：根據歷史測試分析數據，預測新用例失敗原因步驟一、固化報錯特征智能分析方法-模型匹配模型匹配：根據歷史測試分析數據進行模型訓練，預測自動化用例失敗根因步驟二、歷史測試數據分析積累智能分析方法-模型匹配模型匹配：根據歷史測試分析數據進行模型訓練，預測自動化用例失敗根因

7、步驟三、就近溯源矯正，提升置信度混淆矩陣訓練單任務溯源訓練訓練途徑35%-60.8%04落地效果與規劃效果演示案例：發布版本關鍵失敗BUG第一時間發現，減少問題版本的無效測試投入。失敗分析策略依據 AI快速攔截版本crash、接口請求等問題，典型案例如：1、發布版本A：DTS202206080XXXX【新引入】論壇發貼，選擇圖片，發生crash。2、發布版本B：DTS202207200XXXX【新引入】首次啟動游戲中心未觸發上報pushtoken接口。效果演示案例：減少低價值失敗用例的分析投入，實現每日構建分析模板測試投入小，收益大 原每個迭代每日構建版本測試效率：20天*18人*4H=180人天 現每個迭代每日構建版本測試效率分析：20天*18人*0.5H=22人天-拿現有項目舉例，一個迭代提升測試效率100+人天舉例智能分析單規劃支持多維支持多維測試數據測試數據模型矯正模型矯正提升置信度提升置信度Please add your text content 通過混淆舉證、AI溯源，持續提升模型準確度，提升智能分析準確性尤其是支持結合業務日志進行智能分析，實現更智能，更準確感謝聆聽關注QECon公眾號