基于AI的網易UI自動化測試方案與實踐.pdf

1、基于AI的網易UI自動化測試方案與實踐網易測試專家2018-6-211.開源UI自動化測試方案Airtest Project3.AI在Airtest中的應用4.AI與Airtest Project的未來展望2.網易大規模自動化實踐1.開源UI自動化測試方案Airtest Project網易150+款移動AppAndroid碎片化海量設備OtherSamsungHuaweiHongmivivoOPPOXiaomiLenovoCoolpadMeizu金立Airtest Project網易研發的跨平臺UI自動化測試方案，和Google合作發布并開源GDC 2018Airtest IDEAirtest

2、PocoAirtest IDE自動化腳本編輯器?10?11做點有趣的事情?13測試框架Airtest基于圖像識別測試框架Poco基于UI層次結構全平臺支持AirtestPoco依賴設備操作系統原生應用 游戲引擎平臺支持iOS/Android/Windows(macOS/watchOS)iOS/Android/Web 應用 Cocos/Unity/各種游戲引擎2.網易大規模自動化實踐自動化云平臺演示自動化云平臺架構大規模自動化實踐1100+腳本數量200+設備數量4000+設備運行時長/周3.AI在Airtest中的應用游戲UI識別基于OpenCV模板匹配算法：遍歷圖像，逐像素計算匹配度大小一致

3、時，定位準確跨分辨率時，定位異常游戲UI識別基于OpenCVSIFT算法：特征點匹配Step1.提取目標和截圖特征點Step2.特征點關聯游戲3D物體識別如何識別旋轉的3D物體？AI領域的物體識別Supercharge your Computer Vision models with the TensorFlow Object Detection API Google AI Blog,2017.06 AI圖像識別工作流程AI圖像識別利用Poco進行自動標注用Poco過濾目標物體自動標注目標名稱和坐標生成json標注文件和截圖AI圖像識別Step by Step基于Tensorflow Obje

4、ct Detection API1.生成TFRecordAI圖像識別Step by Step2.選擇預訓練模型，開始訓練3.使用eval和Tensorboard評估訓練結果，并導出模型使用lable_mapAI圖像識別訓練結果AI圖像識別在自動化測試中的應用democonnect_device(Android:/)start_app(ease.dyll)touch(Content_Level(1)touch(LevelHeroPanel_Go)for i in range(1000):touch(food_fish1)4.AI與Airtest Project的未來展望 搞定了App圖像識別 自

5、動化程序還是需要人工寫Reinforcement Learning強化學習：如何基于環境而行動，以取得最大化的預期利益傳統策略AIW1 探測游戲場景W2 輸出動作概率PupPstillPdownPolicy NetworkDemo From Google Cloud PlatformReinforcement LearningPolicy gradients訓練過程策略梯度：讓動作執行一會兒，看看什么動作將會產生高回報，那么就提高這部分動作在當前情況下出現的概率。LOSE-1WIN!+1RewardReinforcement Learning訓練結果前幾次5000次訓練之后AI與Airtest Project的未來展望基于AI實現零代碼的App自動化確定操作空間確定環境信息創建模擬環境設計和訓練模型Airtest Project服務與支持維持開源生態 10000+1300+trending開放云測試平臺AirLabTop 100Free!SaaS+B2B解決方案SaaS云端虛擬設備推薦性能數據云端執行任務公有手機集群歷史數據分析定制化報告定制化設備集群專業技術支持B2B:私有化定制方案私有化云測試平臺