10-騰訊微信-企業微信測試效能提升實踐-蔣劍琴.pdf

《10-騰訊微信-企業微信測試效能提升實踐-蔣劍琴.pdf》由會員分享，可在線閱讀，更多相關《10-騰訊微信-企業微信測試效能提升實踐-蔣劍琴.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、MTSC2020中國互聯網測試開發大會深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中國深圳寶立方國際酒店主辦方：TesterHame#page#中國互聯網測試開發大會。深圳站MTSC企業微信測試效能提升實踐蔣劍琴主辦方：TesterHome#page#目錄MTSC中國互聯網測試開發大會項目背景01測試方案02質量提升：新特性測試03效率提升：回歸測試04整體優化效果5主辦方：TesterHame#page#項目背景MTSC中國互聯網測試開發大會對外：連接11億微信用戶對內：高效安全扭轉信息日WC客戶聯系客戶群客戶朋友圈微文檔微盤IM日

2、程會議wOOSB匯報小程序企業支付直播郵箱打卡審批企業微信多行業方案全平臺支持夫5主辦方TesterHame#page#項目背景MTSC中國互聯網測試開發大會ToC的發布速度+ToB的質量要求每天30個新特性0事故容忍用前每月1大版本+2小版本持續降低漏測率四端同時發布主辦方TesterHeme#page#中國互聯網測試開發大會MTSC12測試方案主要的測試方法和流程主辦方TesterHeme#page#MTSC中國互聯網測試開發大會測試方案-基礎測試集成CI/CDCICDUI冒煙測試/monkey單元測試茶固化性能測試圖接口測試靜態代碼檢查主辦方TesterHeme#page#MTSC中國互

3、聯網測試開發大會測試方案-測試集成全研發流程開發灰度上線需求設計測試體驗回歸測試眾測測試歸檔用例歸檔新特性測試新特性測試發布測試UI自動化用例補充。版本質量評估測試評審探索性測試探索性測過性能測試網絡測試壓力測試兼客性測試主辦方TesterHeme#page#MTSC中國互聯網測試開發大會測試方案-E2E測試為重628E26新特性頻繁送代，E2E人力開銷最大接口測試Integration關鍵接口un單元測試關鍵模塊主辦方TesterHeme10#page#MTSC中國互聯網測試開發大會測試方案-面臨挑戰如何提升E2E測試效能？質量提升：新特性測試新特性繁多，平均每天新增30個特性外包眾多，流動

4、性強如何減少漏測？效率提升：回歸測試，穩定功能不斷增加，平均每月增加百余條測試用例如何提高回歸測試效率？主辦方：TesterHeme#page#中國互聯網測試開發大會MTSC03質量提升：新特性測試保證新特性測試的測試質量主辦方TesterHeme#page#質量提升：新特性測試MTSC中國互聯網測試開發大會覆蓋率現存問題分析速度慢P：快發布了，測完沒？T：等等，覆蓋率還沒算完！插樁失敗win代碼復雜，常用vsinstr插樁失敗，還沒源碼！仍然漏測這段代碼已覆蓋，但另一入口調用進來有問題。評估難跟什么功能相關？誰來跟進？主辦方TesterHeme#page#質量提升：新特性測試一覆蓋率問題1：

5、速度慢中國互聯網測試開發大會MTSC表現（IOS）單人一次上傳3000個文件，整體耗時30分鐘編譯機插桂編保每天10人同時測試，上傳10余次插包嚴重拖慢測試速度APP1、運行gcov.flush2、3、壓縮上傳分析9cda后臺全流程大量無關代碼覆蓋率數據傳輸lcovlgcda.gcno）行覆普數據Icov原生串行，未考慮高頻并發使用場景mysql主辦方TesterHeme#page#MTSC中國互聯網測試開發大會質量提升：新特性測試一覆蓋率問題1：速度慢優化點：計算增量代碼覆蓋率gitdiff獲取增量文件和代碼編譯機gi全流程增量處理、插植墻譯插座包APP上傳：僅上傳增量gcdaAPPAPP落

6、地：僅落地增量gcda后臺計算：累計多版本行覆蓋率數據（增/刪/改）著量g后臺mysql主辦方TesterHeme16#page#MTSC中國互聯網測試開發大會質量提升：新特性測試一覆蓋率問題1：速度慢優化點：分段提速計算自哥900lcoy按文件并發計算任務并發-文件并發gcoV維存去除無效數據去除無效ilooninfInfo合并nfo文件nfo合井磁盤VO-redisVOmy5自研gcov原生lcov主辦方TesterHame#page#質量提升：新特性測試一覆蓋率問題1：速度慢MTSC中國互聯網測試開發大會優化效果全流程耗時平均15S120倍以上整體提速數據量城少11福后臺優化效果App端

7、優化效果主辦方TesterHeme#page#MTSC中國互聯網測試開發大會質量提升：新特性測試一覆蓋率問題2:win插樁失敗效果速度對比（s）主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會質量提升：新特性測試一覆蓋率問題3:仍然漏測方案函數調用鏈分析關注修改函數可能被調用的口覆蓋率僅關注當前代碼行的有效評估影響面覆蓋率，未關注可能影響的功能點問題臨發布前，無回歸測試保證仍然漏測全面功能這段代碼已經測到了，但另一代碼復雜，開發也很難給出個入口調用進來有問題。完整測試建議主辦方TesterHeme21#page#質量提升：新特性測試一覆蓋率問題3:仍然漏測MTSC中國互聯

8、網測試開發大會IOS函數調用鏈獲取難點oc/c+/c之間直接調用市面工具（doxgen/clang-mapper/clang原生）獲取失敗方法構建clangplugin，編譯時計算ASTmatcher匹配調用主辦方TesterHeme22#page#中國互聯網測試開發大會質量提升：新特性測試一覆蓋率問題3:仍然漏測MTSC函數調用鏈優化監控到新的提交數據精簡啟動編譯任務計算變動函數調用鏈合并調用鏈，controller聚合Bedis、h存儲解析調用關系Review提速獲取變更的函數開發標注-控件截圖效果評估，動態調用鏈獲取影響到的函數根據controler聚合主辦方：TesterHeme23#

9、page#質量提升：新特性測試一優化效果中國互聯網測試開發大會MTSC全平臺準實時覆蓋率+調用鏈需求維度評估漏側率補充用例準實時計算漏測率降低40%201220/120222020242020/52020/6202072020/82020/及時執行主辦方：TesterHeme25#page#中國互聯網測試開發大會MTSC04效率提升：回歸測試如何提升回歸測試的效率主辦方TesterHeme#page#效率提升：回歸測試MTSC中國互聯網測試開發大會目標回歸測試快速自動化，消除測試獨占研發時間快速補充自動化用例穩定運行，真正減少人力投入UI自動化方案完整E2E校驗ROI低問題主辦方TesterH

10、eme27#page#效率提升：回歸測試中國互聯網測試開發大會MTSCUI自動化ROI低分析上上編寫速度慢運行不穩定用例健壯性低外包編寫門檻高正式編寫繁項環境/網絡不穩定主辦方TesterHeme28#page#效率提升：回歸測試-U自動化難點1:外包編寫速度慢中國互聯網測試開發大會MTSC精準錄制回放工具手機端web端自動識別唯一控件被測app啟展示錄制的動動作和屬性獲取操作的動作和覆蓋所有手勢加線屬性個錄制模塊（capturelib）彈窗處理編輯步驟和被測進程控件信息1app上執行各種一機錄制，多機回放操作保存轉換成wework30條用例耗時對比（天）app回放測運行完成試步驟測試報告11

11、2云平臺/本地0.0.主辦方TesterHame#page#中國互聯網測試開發大會效率提升：回歸測試-UI自動化問題2：正式編寫速度慢MTSCios/android統一分層自動化框架數值效果統計用例層獲取Android測過用例1054用例量頁面對象公共場景轉換率100%控件信息錄入多平臺不同屬性斷言日志工具耗時減少比例58%接口層統一控件定位接口iOS驅動Android驅動Android轉IOS用例效果驅動底層針對不同平臺定位控件調過iOS平臺用例主辦方TesterHame#page#效率提升：回歸測試-UI自動化問題3：用例健壯性低MTSC中國互聯網測試開發大會根源分析多端聯動多人實時場景直

12、播多帳號聯動：互發消息會議多APP聯動：微信支付多終端聯動：管理端設置環境不穩定帳號瓶頸帳號互搶環境/網絡不穩定機器增加導致帳號不夠主辦方TesterHeme31#page#效率提升：回歸測試-UI自動化問題3：用例健壯性低MTSC中國互聯網測試開發大會多端聯動/多人場景ock_admin_req.del_attendance_by_vidvid）#刪除打卡規則協議測試+UI自動化設定打卡規！，僅關注當前帳號行為vid，time_typeloc_type=LoC_IN，lat=lat，tng=ng）AURHLAILhttp_re后臺協議進行前提條件設置和聯動結果校驗self.StepDescr

13、iption（“進入打卡頁面打卡”）壓測+UI自動化heckin_page.click(上班打卡）封裝壓測接口啟動多人場景checkin_page.cuick(*返回）checkin_page.click（下班打卡）self.ass打卡自動化用例主辦方TesterHeme#page#中國互聯網測試開發大會效率提升：回歸測試-UI自動化問題3:用例健壯性低MTSC帳號瓶頸實時生成測試帳號TestCasesetupO）帳號=屬性/數據集合已有帳號統一分配減少重復登錄，定時回收process）tear_downO主辦方TesterHeme#page#效率提升：回歸測試-UI自動化問題3：用例健壯性低

14、中國互聯網測試開發大會MTSC環境不穩定無sleep框架層查找控件自動重試邏輯層無需關注失敗后自動重試自動評分多次失敗自動下架優先review下架用例主辦方TesterHeme#page#效率提升：回歸測試-UI自動化問題4：環境治理MTSC中國互聯網測試開發大會環境治理使用專業服務WeTestWeTest環境虛擬化真機定制機模擬器虛擬機主辦方TesterHeme#page#效率提升：回歸測試一優化效果MTSC中國互聯網測試開發大會消除獨占研發時間節省數百人日115倍（百級-干級）用例增加發現數百個bug主辦方TesterHeme#page#中國互聯網測試開發大會MTSC品整體優化效果優化后對項目的效果主辦方TesterHeme#page#優化效果中國互聯網測試開發大會MTSC疫情大考3天0事故上線直播用前漏測率降低40%1個月20+版本主辦方TesterHeme80#page#MTSC中國互聯網測試開發大會企業微信，有你加入更精彩！請加我的企業微信徐璐招聘組員工荔創號測試開發膽組長Q企業微信主辦方TesterHeme#page#謝謝THANKS