3-百度-AI在小程序生態質量保障方向的落地實踐-許喆俊.pdf

《3-百度-AI在小程序生態質量保障方向的落地實踐-許喆俊.pdf》由會員分享，可在線閱讀，更多相關《3-百度-AI在小程序生態質量保障方向的落地實踐-許喆俊.pdf（27頁珍藏版）》請在三個皮匠報告上搜索。

1、MTSC2020中國互聯網測試開發大會深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中國深圳寶立方國際酒店主辦方：TesterHame#page#中國互聯網測試開發大會。深圳站MTSCAI技術在小程序生態質量保障方向的落地實踐許請俊主辦方：TesterHomeBaiduu百度#page#MTSC中國互聯網測試開發大會自我介紹百度資深測試開發工程師小程序生態質量保障體系的項目落地部分核心算法的研究與開發Ba主辦方TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序生態質量保障體系建設背景小程序業務特點數量多宿主多分發場

2、景多QA扮演角色口在快速送代的節奏下，保障小程序開源框架的質量口保障線上小程序整體質量，降低線上紅線問題對內對外口內部業務線的自研小程序進行智能交付能力建設口參與小程序權益等級建設，為小程序分發助力百度小程序生態質量保障體系全景圖整體目標保障百度小程序整體生態質量開源聯盟宿主準入開發者質效賦能線上小程序質量保障目標拆解中食理支捷使理支撐業務編譯打包錄制回放性能測試質量分級調起測試指標監控機器審核真機巡檢CTS百度小程序測試中臺能力建設小程序自動操控能力小程序異常檢測能力云真機集群小程序遍歷能力Bai主辦方：TesterHeme#page#中國互聯網測試開發大會MTSC百度小程序線上質量保障體系

3、口目的口對象挖掘線上全量小程序的紅線問題，保障線上生態質量和用戶體驗線上全量小程序口涉及流程分發開發提審上線口人工方案進行處理隨著數量增長和選代周期加快X手動操作人工判斷開發者提審/人工抽檢自動化方案0匯全量小程序自動調起運行智能檢測人工復核江進行處理提審實時信息采集真機調起頁面異常檢測人工復驗具體落地紅線全量小程序處理干預模型遍歷功能自動化處理按權重分流體驗巡檢流量發起web化采集口需要能力頁面異常檢測能力真機集群百度小程序自動化遍歷能力主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序線上質量保障體系一一技術能力建設目錄百度小程序自動化遍歷能力頁面異常檢測能力

4、真機集群Ba主辦方TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序線上質量保障體系一一技術能力建設目錄百度小程序自動化遍歷能力頁面異常檢測能力真機集群Ba主辦方TesterHeme#page#中國互聯網測試開發大會MTSC自動化遍歷能力的基礎一一百度小程序自動化測試引擎Bat Driver雙向通信口建設目的BatAgent提供小程序自動控制能力，采集小程序運行時信息ADO小程序管理batprotocolWDA設備管理雙向通信Bat EngineEnginoMastorjsEnginoSlavels各頁面操作口百度小程序內部機理唯一代理小程序百度小程序基于Android/

5、iOS的WebView而建擴展加載由APP集成的swan-sdk及分版本動態下發的小程序運行時swanjs組成百度小程序自動化測試引擎masterslave采用一主多從的多進程架構betterAutoTest控制所有頁面邏輯對應每一個渣染頁面聯盟宿主APP線上包Ba主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序智能遍歷能力口建設背景業務深入易想到70%問題非首頁首頁單屏首頁多屏定向頁多屏多頁多屏APP自動化測試技術常見方案monkey類隨機遍歷基于歷史數據的用戶行為預測基于目標識別的控件識別遍歷口問題表現第一階段快捷落地：monkey類隨機遍歷發現問題增加不多

6、需要設備增多口簡介隨機點擊頁面可點擊頁面元素，進行深度或者廣度優先遍歷發現問題準確率下降巡檢周期增長口優勢口初步問題分析簡單高效易實現；業界應用廣泛；遇到頁面跳轉率低，無效點擊多口具體方案問題線上環境復雜，外部開發者不可控：通過測試引擎，獲取小程序運行時dom控件包含點擊屬性，屬性對應的點擊事件為空力控件存在互相覆蓋問題，視覺中心和控件中心解析dom，獲取含有點擊屬性的控件U不一致，控件中心可能被不可點擊元素覆蓋模擬點擊控件，進行深層遍歷h5嵌套頁面無法獲取dom樹Ba主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序遍歷能力第二階段規避dom帶來的問題：基于歷史

7、數據的用戶行為預測口優勢基于頁面截圖，避免不規范開發帶來的干擾21口具體方案進行遍歷歷史行為數據采集搭建神經網絡，進行模型訓練預測可點擊區域合上線效果發現問題增加不多需要設備增多2未解決頁面跳轉率&有效點擊率提升發現問題準確率下降巡檢周期增長口進一步分析區別傳統app自動化測試小程序巡檢小程序巡檢數量app數量有限，一次執行1個或者幾個線上小程序數量較大，需要全量不間斷輪詢調起川執行時間單個APP可以較長時間執行，1h+都可以接受因為數量和時效性問題，每個小程序遍歷時長有限檢測對象內部開發，UI風格相對統一，相對可控線上場景相對復雜，不同開發者風格差異較大傳統app覆蓋盡可能多的場景和頁面審核

8、人力有限，重點關注重點控件、主要場景遍歷目標自動化測試Ba主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序遍歷能力的建設歷程口解決思路深入分析業務全量小程序重點功能/控件識別監控審核運營同學，重點/內部小程序錄制case，巡檢回放究競關注什么？第三階段從實際業務出發：基于目標識別的控件識別遍歷口實踐步驟step1-重點控件/功能選擇中線上紅線問題標準審核運營人工駁回原因數據需要檢測/操作的高優控件step2-基于圖像的頁面結構樹逆向生成位置、文案、人是如何判斷頁面結構、一個區域是可頁面結構樹+好意湖美區域特征、以點擊的？歷史經驗、.Ba主辦方TesterHame

9、#page#MTSC中國互聯網測試開發大會百度小程序遍歷能力的建設歷程step2-基于圖像的頁面結構樹逆向生成step2.1-圖像分割step2.2.1-OCR識別step2.2.2-通用圖標識別step2.2.3-圖片區域識別10:314北京經常坐飛機卻不知道這個APP就虧大了！機票真心便宜0特價機票1折起9個最佳新iOS14隱藏功能，您的iPhone在1大眾邁騰2011款1.8TSIDSG特適型年10.6萬公證件已審5.2萬8品主辦方：TesterHame#page#中國互聯網測試開發大會MTSC百度小程序遍歷能力的建設歷程step2-基于圖像的頁面結構樹逆向生成step2.4-頁面區塊劃

10、分step2.3-元素聚合step2.5-頁面結構樹生成C品西Ba主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序遍歷能力的建設歷程step4-在基于頁面結構樹控件識別之后的深度學習口原因口常用目標檢測算法比對口技術實現口實踐效果1.頁面結構樹能力在優勢男勢非純色背景圖片下的R-CNN準確率比傳統檢測起高訓練空間和時間消耗大局限性目標檢測速度較慢SSD檢測速度很快對于相對較小的對象準確率2.自動識別標注樣本相對要低CNN和yolo高+人工標注樣本，對YOLOV3檢測物體非?？?；對小目標和密集型目標檢測原有方案進行補充召的效果差避免背景錯誤網73解法小目標問題st

11、ep5-擴展例：單控件檢測1場景檢測，是否包含某類功能場景該場景是否能夠順利進行是否包含登錄功能是否調起登錄組件登錄功能是否正常主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序遍歷能力的建設歷程step6-落地batdoud遍歷算法模型pureCSpid3om可點擊元素控件識別模型用戶操作記錄模型異常檢測算法stepN-未來展望與規劃已有測試用例自動歸類C點擊坐標C一條常規遍歷路徑點擊坐標AC點擊坐標B深/廣度遍歷剪枝口口列表類控件按鈕類控件+UI控件識別能力金剛位控件場景化case自動生成口【資訊】金剛位C文章標題類點贊類控件+語義理解文章閱讀類場景case模

12、型+聚類/分類=場景化模型主辦方TesterHame#page#MTSC中國互聯網測試開發大會百度小程序線上質量保障體系一一技術能力建設目錄百度小程序自動化遍歷能力頁面異常檢測能力真機集群Ba主辦方TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序頁面異常檢測能力建設口建設背景輔助或者代替人工，自動化的識別和檢測遍歷采集到的頁面中的紅線問題、異常問題以及體驗問題檢測對象頁面截圖頁面文本運行時dom小程序源碼口檢測技術計算機視覺自然語言處理源碼檢測口建設方式直接使用內部第三方獨立自建技術共建Ba主辦方TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序頁

13、面異常檢測典型能力介紹一一截圖比對口場景錄制回放結果校驗；歷史采集結果效果比對口問題多設備相似性度量是自動化測試最常見的使用訴求之一多機UI校驗，傳統相似度算法誤報多，實際ROI很低。誤報case3誤報case2誤報case1頁面元素少導致有效特征較少彈窗干擾不同機型分辯率不同帶來的誤判Ba主辦方：TesterHame#page#中國互聯網測試開發大會MTSC百度小程序頁面異常檢測典型能力介紹一一截圖比對口解決方案使用頁面結構樹進行結構相似性度量使用深度卷積神經網絡提取特征向量對內容進行相似性度量中技術劣勢劣勢優勢技術優勢o速度快受內容動態變化影受內容動態變化影響小速度較慢，內容深度特征提取頁

14、面結構樹內容維度相似度比較響，準確性略低結構維度相似度比較比對不夠精確（MobileNet ）口落地方案問題頁面頁面截圖MobileNet相似度度量第一輪預檢頁面結構相似度度量第二輪復檢F相似度矩陣主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序頁面異常檢測典型能力介紹一一泛白屏問題檢測口建設背景分析人審駁回/下線小程序原因小程序存在XXX頁面白屏/存在白屏/出現白屏/頂部區域空白/.口詳細分類開天注建經保單A區域白屏骨架屏全白屏頁面長時間加載部分圖片加載失敗Ba主辦方：TesterHame#page#中國互聯網測試開發大會MTSC百度小程序頁面異常檢測典型能力

15、介紹一一泛白屏問題檢測口解決方案全白屏/區域白屏/骨架屏頁面長時間加載oading頁面白屏率特定目標識別+OCR特定文本識別色彩/圖形復雜度分析原圖區域切分部分圖片加載失敗鄧通被封為財神的典故是什么？.百度知道中生成頁面結構樹判斷圖片資源是否正常解析dom獲取圖片列表加載異常圖片識別Ba主辦方：TesterHame#page#MTSC中國互聯網測試開發大會百度小程序頁面異常檢測能力建設一一泛白屏問題檢測口新的問題非首頁泛白屏問題準確率較低頁面白屏率80%是否一定是問題頁面？口解決思路純技術異常檢測小程序巡檢技術手段手段場景化歷史檔案比對業務優化小程序信息采集指標信息截圖信息異常檢測項采集檔案截

16、圖比對超勢判斷是否存在歷史特家店十超勢記錄會口8館闊值校驗是否存在異常人工復驗更新小程序檔案頁面特征獲取上下文信息問題處理小程序質量檔案系統主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序線上質量保障體系一一技術能力建設目錄百度小程序自動化遍歷能力頁面異常檢測能力真機集群Ba主辦方TesterHeme#page#MTSC中國互聯網測試開發大會百度小程序真機集群建設口業務現實統一入口&資源平臺小程序數量多時效性更多設備任務發起任務調度結果封裝減量？新的方案？預算有限運維成本1555595集群管控服務口機房能力送代資源控制任務分發真機運維1.0機房大量多機型真機十純人工運維任務執行結果回傳設備注冊設備成本2.0機房中半自動運維開發板集群集群控制主機中全自動運維3.0機房云手機集群smartapp-automator業務遍歷腳本內容類檢測額外能力web化能力引入CP2不可訪問的獨立外區Ba主辦方：TesterHame#page#MTSC中國互聯網測試開發大會感謝股聽Q&ABa主辦方TesterHeme#page#MTSC中國互聯網測試開發大會Ba主辦方TesterHeme