2018年基于AI的移動端自動化測試框架的設計與實踐.pdf

《2018年基于AI的移動端自動化測試框架的設計與實踐.pdf》由會員分享，可在線閱讀，更多相關《2018年基于AI的移動端自動化測試框架的設計與實踐.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、基于 AI 的移動端自動化測試框架的設計與實踐理想中的 UI 測試框架深度學習帶來的機會Aion 的誕生Aion 的優勢與挑戰AI 未來How易于開發和維護穩定性執行效率跨平臺跨應用支持 HybridUIAutomatorAppiumRobotiumEspressoUIAutomation支持語言Java/KotlinJava、Python、Ruby等JavaJava/KotlinJS控件捕獲較高高較高較高較高跨平臺否是否否否跨應用是是否否是支持 Hybrid不支持支持支持支持支持穩定性中中中中中傳統框架的缺點跨平臺能力差跨應用能力差穩定性對ID依賴較大控件捕獲成本高dump 系統視圖樹幾率性

2、的失敗一種支持所見即所得自動化測試框架SikuliAirTestSikuli&AirTest 的不足準確率不足沒有層次結構代碼穩定性差代碼可維護性差find(tab).find(text=會員).click()find(nav).find(img=搜索框).click()scrolldown_and_find(cover).find(延禧攻略).click()點擊“tab”里面“vip”的按鈕 點擊“導航”上的“搜索”按鈕 往下滾動，找到“奇葩說”的“封面”，點進去 能力的需求圖像切割圖像分類識別OCR 文字識別圖像相似度匹配像素點操作深度學習帶來的機會理想中的 UI 測試框架Aion 的誕生

3、Aion 的優勢與挑戰AI 未來Top5準確率從75%提升到98%OCR Accuracy93%98%total accuracychars accuracy深度學習帶來的機會Aion 的誕生理想中的 UI 測試框架Aion 的優勢與挑戰AI 未來PixelToAppPixelToApp存在的問題復雜界面處理難度大閾值設置適應性差瓶頸突破比較難需要使用大量算法，維護性差Pix2Codetrainsample存在的問題準確度不夠中間干預難訓練素材標注成本高切割精準度不夠Aion 是怎么做的core測試用例圖像切割場景判斷提取子元素布局分類填充子元素條件判斷傳統測試框架截屏執行/結束AI自定義算法

4、背景分塊 切割直方圖 相似切割分布 相似切割極大空間 切割Jaccrad 相似切割元素Jaccrad 相似切割前后景 分層？19.,300.,581.830.,945.5,1061.36.,74.5,113.162.,211.,260.336.,459.5,583.662.,710.,758.839.,893.,947.987.,1013.5,1040.(similarity,0.856)19.,300.,581.830.,945.5,1061.36.,74.5,113.839.,893.,947.0.8560.9940.948分類模型選擇AI 優化素材分布不均1050005001000腳本生

5、成更多應用Top-layer 到 Fine-tune凍結訓練10多結果并用原圖灰度圖輪廓圖MobileNet v2ShuffleNet v2結果深度學習帶來的機會Aion 的誕生理想中的 UI 測試框架Aion 的優勢與挑戰AI 未來UIAutomatorAppiumRobotiumEspressoUIAutomationAion支持語言Java/KotlinJava、Python、JavaJava/KotlinJSPython控件捕獲較高高較高較高較高低跨平臺否是否否否是跨應用是是否否是是支持 hybrid不支持支持支持支持支持支持穩定性中中中中中較高優勢可見即可得，易于理解和開發對系統框架依賴弱，跨平臺穩定性強，不用擔心 ID 混淆的問題分類少，層次淺，視圖捕獲簡單無縫支持傳統框架挑戰準確率樣本數量執行時間極度復雜背景的元素提取特征極少的元素識別懸浮元素的提取深度學習帶來的機會Aion 的誕生理想中的 UI 測試框架Aion 的優勢與挑戰AI 未來AI More錯誤界面識別子元素 AI 識別頁面預加載UI2Code錄屏分析