4-賈琳玉-算法輔助端側測試設計與測試結果檢測的落地實踐.pdf

1、基于AI的MBT用例生成和花屏檢測的落地實踐OPPO2023 深圳站賈琳玉現就職于OPPO，擔任測試架構師，多媒體領域TSE。曾任職于小米，擔任核心器件測試技術主管，項目TSE等職務。多年軟件測試技術研究和項目經驗，主導多個大型測試能力0-1的建設和全面落地。嘉賓照片2023 深圳站目錄CONTENTS測試智能化的行業應用01 MBT用例自動生成02 花屏檢測的落地實踐03 優化與展望04 2023 深圳站01測試智能化的行業應用2023 深圳站人工智能提到智能測試，大家優先想到的是什么提到智能測試，大家優先想到的是什么2023 深圳站01早期階段02探索階段03發展階段04創新實踐測試智能化

2、的行業發展從理解被測對象到選擇測試策略、設計測試用例、執行測試用例并斷言、直到測試覆蓋評估等所有環節都有智能化技術發揮的空間根據對于現有測試的影響將研究方向分為輔助式和創造式應用較成熟的是計算機視覺/其他AI算法+腳本的形式，Step By Step 式的編程過程，只是抽象層次有些差異，測試程序本身不會進化，因其沒有適應性和學習能力。（輔助式）移動端應用（FaceBook：自動化探索式測試的 Sapienz 以及自動修復 NPE 類型缺陷的 SapFix、通過對Crash 日志進行數據挖掘解決 Crash 定位難題），服務端（基于少量既有用例進行智能化測試用例推薦/膨脹）。工程師的維護工作主要

3、是更多在于規則、策略以及工作機制的迭代優化而不是作為中間產出物的測試用例。（創造式）2023 深圳站測試智能化的場景應用和方法測試智能化在以下幾個方面得到廣泛應用：測試智能化在以下幾個方面得到廣泛應用：測試自動化測試自動化 缺陷預測缺陷預測 智能化測試用例生成智能化測試用例生成 測試過程優化測試過程優化 自動化測試評估和管理自動化測試評估和管理測試智能化的方法主要包括以下幾種：測試智能化的方法主要包括以下幾種：基于規則的測試智能化方法基于規則的測試智能化方法 基于統計學的測試智能化方法基于統計學的測試智能化方法 基于機器學習的測試智能化方法基于機器學習的測試智能化方法 基于自然語言處理的測試智

4、能化方法基于自然語言處理的測試智能化方法 基于圖像識別的測試智能化方法基于圖像識別的測試智能化方法2023 深圳站輔助式（基于自然語言/圖像識別）降低用例腳本編寫和維護的難度和開銷用圖像識別的技術繞開UIobject技術（超50%互聯網大廠）基于自然語言的自動化腳本（大型云服務平臺）基于錄制/視頻的腳本生成（大型云服務平臺）基于流程圖的腳本生成2023 深圳站輔助式（基于機器學習、圖像識別）使用AI對傳統腳本的斷言進行補充，通過主觀的檢測/評價替換為機器評價UI異常檢測（超50%的互聯網公司）音視頻質量檢測（超50%視頻大廠）基于視頻的交互曲線/指標生成（50%終端設備大廠）基于圖像檢測的指標

5、監控（終端設備巨頭公司）2023 深圳站輔助式（基于機器學習、泛終端測試機器人）人工智能配合攝像頭、機械臂等設備、可以按照人為設定規則執行測試任務的機器設備。解決不同系統之間的腳本兼容性問題的機器人 解決多終端互動測試的機器人2023 深圳站創造式（基于數據驅動智能測試生成、機器學習）包括常規的用例生成，也包含探索性測試中的測試方案生成 使用遺傳算法等算法做基于代碼層面的測試生成工作（代碼自動生成）使用強化學習等算法做基于GUI層面的測試生成工作（強化學習）數據驅動的測試用例生成（智能異常單測用例生成、智能流量回放）2023 深圳站創造式（基于自然語言處理、機器學習、強化學習智能用例推薦）在海

6、量的用例中為用戶推薦最適合當前場景的用例集合 基于調用鏈&覆蓋率&代碼diff等信息的回歸測試用例推薦（bilibili漫畫）基于自然語言&知識圖譜的用例搜索（淘系Markov）基于種子特征或者種子用例的用例膨脹（淘系Markov）基于強化學習的用例執行優先級排序2023 深圳站創造式（基于機器學習、強化學習的智能任務/資源調度）這個方向是軟硬件/線上線下結合的服務都在研究的方向，比如外賣/打車軟件的派單系統、快遞員的排班系統、云平臺的資源調度系統、大數據計算的任務調度系統等等?；趩l式算法的智能調度 基于機器學習的任務耗時預測 基于強化學習的智能調度2023 深圳站創造式（基于機器學習、統

7、計學處理的智能根因定位）快速判斷導致測試活動“失敗”原因，以快速修復基于決策樹的測試失敗智能定位（百度）利用變更墻、線上系統關系知識圖譜實現監控問題的范圍定位（百度）基于用例畫像的失敗測試用例分析（華為）2023 深圳站02MBT用例自動生成2023 深圳站測試設計常用方法（1）單功能M，即一個相對完整的單一功能，是實現某類功能的集合，可以被獨立測試。一個模塊可以劃分為一個或多個單功能。（2）功能交互F，主要考慮的是多個單功能間的交互關系，以及與系統原有功能的交互關系的測試。（3）質量屬性Q，指的是軟件的非功能測試的相關指標，各個產品/模塊的側重點不同，大體上包含：性能/穩定性/功耗/兼容性/

8、安全性等非功能屬性。Process流程類ParameterData參數類數據類PPDCS在單功能M維度指引測試設計CombinationState組合類狀態類2023 深圳站基于模型的測試設計_MBT特性用戶場景技術原理測試建模模型測試用例使用形象化的方式描述測試對象基于模型進行測試分析和測試設計2023 深圳站基于模型的測試設計_MBT基于模型的測試，即Model-Based-Testing，簡稱MBT。是將測試用例的設計依托于被測系統的模型，并基于該模型自動生成測試用例的技術只關注建立系統的正確性以及模型的規范性，再通過專門的MBT工具根據不同的測試用例設計策略從系統模型生成可靠的測試用例

9、 測試用例的維護更輕松 軟件缺陷發現得更早 測試自動化的水平更高 測試覆蓋率變得更高 基于模型間接維護測試用例的方式更高效2023 深圳站基于模型的測試設計_MBT多樣性可靠性易理解可共享有限性模型可能是流程圖、狀態機、正交表等，不同的測試對象可以用不同的測試模型表達模型容易被測試用例覆蓋，比傳統的基于經驗的測試方法靠譜模型比文本更直觀，有利于被評審，其他人員也容易理解好的模型共享價值大，能夠代表同一類測試對象的規律，作為其測試設計框架模型不是萬能的，不能指望一個模型解決特性所有的問題2023 深圳站業務流程圖平臺平臺測試設計用例管理 代碼倉MBT工具工具測試步驟設計基于場景業務流設計測試數據

10、設計底層代碼開發自動化代碼文本用例測試框架測試框架引擎底層代碼管理業務邏輯梳理2023 深圳站MBT建模過程4.定義測試模型3.定義數據模型3.1 定義可復用靜態數據（可選）2.定義用例元模型1.定義AW3.2 定義可復用動態數據（可選）2023 深圳站MBT用例生成測試模型主生成引擎單用例數據單用例數據引擎1模版1模版2引擎22023 深圳站自動生成文本&腳本用例2023 深圳站03基于圖像識別的花屏檢測落地實踐2023 深圳站背景分析花屏是眾多手機顯示功能異常中最常遇到的現象之一。由于其對消費者使用體驗的直接影響，不論是對于研發階段的初期還是已出貨的成熟機型，花屏異常都被研發測試人員作為顯

11、示異常檢測的關注重點。開發一款可以實現花屏檢測自動化的工具可以很大程度上減輕測試人員的工作量，提升缺陷管理與開發流程的效率。2023 深圳站痛點與解決方案1.不能準確截取屏幕異?，F象，反而產生大量的無用截圖數據，占用存儲資源2.部分顯示層異常無法通過手機截圖獲取3.造成大量測試人力消耗4.增加了測試與開發伙伴之間溝通bug信息的成本5.顯示問題能通過log定位到的占比非常有限研究目標研究目標為了幫助研發測試人員更快、更高效、更準確地定位手機花屏異?，F象并分析其原因，是否能有工程部署方案，在安卓手機上的花屏檢測APK實現對花屏現象的準確實時檢測，并記錄異常信息；或者通過實驗室高速相機做外設捕獲異

12、常研究內容研究內容故而引申出兩套部署方案：1.花屏檢測算法模型層面和安卓APK應用開發層面2.實驗室高速相機捕獲后處理研究方法研究方法1.了解手機花屏現象的原因，確定目標異?，F象2.研究花屏檢測算法，根據實際需求選擇合理的方案并實現算法模型3.根據需求進行安卓應用開發和后處理檢測算法模型開發4.根據反饋迭代改進算法或APK出現了bug快抓log好氣，就一閃而過，也沒截圖，也沒錄屏，也沒抓到log2023 深圳站原因分析與現象造成花屏的原因造成花屏的原因-硬件原因顯示屏質量、排線質量、GPU性能、裝配問題、內存扇面損壞、環境因素-軟件原因系統優化問題、驅動程序問題、軟件沖突、文件讀取錯誤、病毒等

13、按照類型做數據集打標按照類型做數據集打標2023 深圳站花屏自動化檢測部署框架介紹PC執行端執行端O測測手機端手機端實驗硬件模塊實驗硬件模塊O測云計算模塊測云計算模塊鎖定設備鎖定設備/手機手機執行任務執行任務實驗室環境實驗室環境刷機刷機刷機刷機/重啟重啟/跳過引導跳過引導鎖定手機鎖定手機/對應設備對應設備執行通用插件任務執行通用插件任務遍歷用例遍歷用例準備任務準備任務手機設備指令手機設備指令執行手機指令執行手機指令HTTP通訊通訊執行指令執行指令攝像攝像硬件中間件硬件中間件機械手機械手色溫調節色溫調節停止測試停止測試采集數據采集數據返回數據返回數據上傳云計算上傳云計算花屏花屏/黑屏等算法檢測黑

14、屏等算法檢測 結果收集結果收集判斷測試用例是否通過判斷測試用例是否通過返回返回O測測腳本指令腳本指令硬件指令硬件指令腳本完成腳本完成保存結果保存結果用例完成用例完成？否否O測結果展示測結果展示背景與價值：背景與價值：移動端隨機場景的顯示異常攔截，算法替代人工去主觀判斷，提高本文檔中提到的7種顯示異常問題的攔截率和準確率，同時也提高測試效率。2023 深圳站UI檢測和分類2023 深圳站花屏檢測服務檢測類型現有花屏檢測服務可支持檢查的類別（典型案例）：色塊；條紋；撕裂；異色；錯位；雪花，陰陽屏；黑屏。典型樣例：-色塊-條紋-2023 深圳站花屏檢測服務檢測類型-撕裂-異色-2023 深圳站花屏檢

15、測服務檢測類型-雪花-錯位-2023 深圳站花屏檢測服務檢測類型-陰陽屏-黑屏-2023 深圳站測試生成2023 深圳站04優化與展望2023 深圳站優化與展望檢測類算法在工程部署環境的準確性和誤報率的平衡對于代碼變更的用例智能推薦尋求更智能的算法模型做自動化測試設計、自動化生成用例，做到實時、敏捷感謝聆聽CSDN全球最大的中文開發者社區平臺CSDN全球最大的中文開發者社區平臺CSDN創立于1999年全球編程類網站排名第7（來源：Similarweb 2023.04）注冊用戶超過4300萬，覆蓋90%的中文開發者新媒體矩陣粉絲數量超過3100萬超過1000家企業客戶和合作伙伴目前公司員工近800名，分布在北京、長沙、上海、深圳、杭州、成都等城市，并在美國硅谷常設辦事處旗下品牌旗下品牌專業中文IT技術社區：CSDN.NET多媒體專業出版：新程序員開發者專屬移動APP:CSDN APP代碼托管協作平臺：GitCode代碼工具協同平臺：InsCodeIT人力資源服務：科銳?？怂关俗W絡高校IT技術學習成長平臺：高校俱樂部