8-騰訊Wetest-騰訊WeTest測試中臺構建-張得俊.pdf

1、MTSC2020中國互聯網測試開發大會深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中國深圳寶立方國際酒店主辦方：TesterHeme#page#中國互聯網測試開發大會。MTSC深圳站ESTING SUMMIT CONFERENCE CHINA2020騰訊WeTest測試中臺構建張得俊騰訊WeTest后臺技術負責人主辦方：TesterHame#page#目錄MTSC中國互聯網測試開發大會01WeTest測試中臺概覽02中臺構建過程目錄CONTENTS03如何構建穩定的環境支撐04如何用PaaS應對海量的需求WeTest主辦方：Teste

2、rHeme#page#中國互聯網測試開發大會MTSC館高濟健康店v智會互聯協作無間B可限制，提高會議效1中O0登錄我的券我的積分120月號中品會員碼配廠藥急送健康碼遠程會議口罩預約億快速對齊各模塊工作進度情況抗擊度情 核酸檢測樂團出清名單討論線25天線上購買極選預的實驗室檢，根造報告133m天騰訊防疫健康碼累計亮碼10億次上線15個省國82人日第量43校江間4個地張三預定的會議新冠肺炎檢測服務健康云講堂銷有WeTest：主辦方：TesterHeme#page#中國互聯網測試開發大會MTSC新代碼文化新代碼文化開源協同云上生長開源組件使用熱力圖專題：戰疫明星產品背后的開源力量！化WeTest騰訊

3、會議、騰訊文檔、騰訊課堂、互動課堂&空中課堂背后的19項開源技術！APM牌化-CODE壓測大師訊CGMySQLWeTest戰疫，我們舉全國之力；助力戰疫，騰訊投入15億。這場沒有硝煙的戰爭，騰訊人從未缺互動課量8黃訊會議席。疫情爆發后，“隔離病毒不隔離愛”，“停課不停學”，“遠程辦公復工復產”這些信空中課堂Okuberr念一點點將互聯網產品服務推向高峰；騰訊公司五大明星產品（騰訊會議、騰訊文檔、騰訊tes(k8s課堂、互動課堂&空中課堂、WeTest）快速上線，多次送代，全面推廣成為全國復工復學戰疫專題不可或缺的互聯網應用。你一定想知道，如此高效、優質的產品快速送代上線的背后技術有哪些？開源力

4、量，我們一起來揭秘！騰訊文檔bu騰訊課堂遠程測試戰疫政務和醫療小程序口罩預約100+100萬+次1萬倍承載提升WeTest主辦方：TesterHeme#page#WeTestDevOps測試中臺架構中國互聯網測試開發大會MTSC解決基礎DevOps解決方案游戲解決方案應用解決方案小程序解決方案全鏈路性能解決方案方案Soo%場景層單元測試功能測試合規掃描安裝包掃描服務端性能弱網絡測試安裝包掃描崩滿分析測試產品接口測試真機調試滲透測試耗電量測試安全加固渠道包測試奧情分析客戶端性能代碼掃描眾測APMmonkey測試兼容性測試本地化翻譯質量安全掃描AB Testing數據湖泊集成中臺測試管理業務中臺容

5、器化消息總線手機調度系統測試環境管理服務總線控制臺質量數據設備指數性能數據執行系統測試結果業務開發框架集成奧情數據用戶畫像身份服務經分系統執行策略編排行業超勢組件庫分析系統跨平臺技術中臺多租戶文件存儲鏡像構建實時分析離線分析應用注冊開發調試NLP服務開發框架各類組件消息推送緩存容器編排服務治理日志組件監控告警運營數據發布管理文件管道數據管道信令管道Taos斷5控公有云專有云混合云安甲真安甲真娘：C安甲草C安卓ios安卓虛擬機定制機PC機壓力源爬蟲安卓ioS安卓虛擬機定制機PC機壓力源爬蟲安卓iOS安卓虛擬機定制機PC機壓力源爬蟲PC質量、音視頻實驗室PC質量、智能硬件、音視頻實驗室智能硬件、智

6、能硬件、音視頻實驗室#page#Devops自動化測試中臺能力MTSC中國互聯網測試開發大會流水線集成效能度量自動化測試和監控支持各種常用編程語言的自動化測試：單測試效能視角支持藍盾、Gaia、Jenkins等主元測試、功能測試、兼容測試、性能測試提供技術債務全景量化視圖，以流CICD平臺接入Pipeline。接口測試、安裝包檢測、安全掃描等。達成效能目標。提供開放化插件/工具鏈快速集成支持Web、Android、iOS、小程序、PC。提供業務指標度量自動收集應用。支持生產環境的業務、應用、用戶監控和中臺內獨立完成測試流水線串聯分析Web2元06130WeTest主辦方：TesterHeme#

7、page#目錄MTSC中國互聯網測試開發大會01WeTest測試中臺概覽02中臺構建過程目錄CONTENTS03如何構建穩定的環境支撐04如何用PaaS應對海量的需求WeTest主辦方：TesterHeme#page#WeTest的起源MTSC中國互聯網測試開發大會從游戲走向應用服務行業，面向全球一站式游戲測試平臺復雜的兼容性微信的需求公司內更多的產品覆蓋。上萬款終端，每年千萬預算。支持微信事業群產品的自動化測試KM、Code平臺、TAPD、騰訊指數項目多。小程序自動化審核QQ、QQ音樂、騰訊視頻、微視騰訊云的需求理財通、JooX、微眾銀行50+端游變200+手游選代快外部客戶支撐游戲云質量服

8、務應用寶的需求拓展到金融、電商、教育等其他行業的客1周變1天戶精品游戲扶持計劃Supercell、 Riot、 EA201320162018WeTest主辦方：TesterHeme#page#業務痛點：如何提升用戶體驗提高測試覆蓋更快的交付全方位解決用戶體驗問題2013適配Top10080%2016客戶端性能3天機場、地鐵玩游戲手機發燙2019適配Top10056%2019性能自動化當晚游戲外掛泛溢目標王者460問題2017小程序審核1周覆蓋真Top50091.7%2018自動審核30分鐘游戲同質化嚴重吃雞使用Unreal引I擎等新技術個人隱私#page#業務價值：幫助業務以更好的品質更快占位

9、市場過去目標專項測試在后期開始集中測試集中調優專項測試融入到日常的自動化測試中每天測試適配測試Top1002天交付適配測試Top100提升到Top500客戶端性能5臺3天交付客戶端性能自動化提升到Top300當晚發現問題繼續優化再次測試循環更多的專項用戶體驗的保障#page#業務問題歸納MTSC中國互聯網測試開發大會痛點方案解決方法更多機器等資源穩定性保證測試覆蓋提升測試能力提升工具保證人效更多機型種類自動化測試測試交付速度自動化測試系統DevOps每日構建并發能力更多機器數量穩定性保證專項測試工具研發大量測試能力新增全面解決用戶體驗問題輔助設計和技術選型QI全球大數據從測試到現網監控全網全用

10、戶監測WeTest主辦方：TesterHeme#page#MVP產品解決一個核心場景中國互聯網測試開發大會MTSC蘇機房WIFI服務路手機APP數據干抗網關USBHUB手機自故障手機操作系統權限和彈窗機房電路US兼容測試，WeTest立身之本WeTest主辦方：TesterHeme#page#單品極致MTSC中國互聯網測試開發大會自研硬件問題鏈路解決方法靈活配置解決方法：容器化、自定義鏡像高密度網+屏蔽柜WIFI穩定率99%+永不掉電自研外音用戶的腳本Execute ServerContainerContainer主控手機自運維系統自研可編程USBHUB，穩定性提升系統Container超銷歡

11、WeTest主辦方：TesterHeme#page#6uCALLDUTYMQBILEC#page#引擎特效兼容性驗證周期從月縮到1天內MTSC中國互聯網測試開發大會通用AI自動對局圖像分類神經網絡進行畫面審核AI功能示例Alpha to CoverageTop30036個自動探索跳傘Android引擎Anisotropic Filtering特征用例Vertex fetch駕駛拾取TestCaseManagerios隱藏跑毒Shaders/Textures自動分析用例運行產生的截圖2000000張Unity引擎WeTest主辦方：TesterHeme#page#手游DevOps測試方案MTSC

12、中國互聯網測試開發大會整合云測/引擎/性能/AI工具，構建覆蓋游戲開發和測試的DevOps全流程方案性能驗證提交測試提交代碼引擎兼容性測試引擎開發人員提交BUG兼容報告工蜂藍盾性能報告Git.CodeDevOpsPerfdog深度性能數據采集提交代碼提交測試游戲開發人員性能自動化測試提交BUGA驅動自動跑圖WeTest主辦方：TesterHeme#page#豐富單品的單一要素滿足細分使用場景中國互聯網測試開發大會MTSC兼容性測試單元測試4成本高、真實、接近用戶耗電量測試使用環境、不太穩定安卓真機Os真機超網絡測試騰訊WeTestE8安功能測試低成本、環境統一、穩接口測試定、可批量并發使用安卓

13、虛擬機定制機中配型 財責公有中型微售有線網絡，無系統彈窗，7X24小時穩定運行鴻魚壓測壓力源現國北痛境內容安全風訊肥蟲在高并發、穩定性、性價比中尋找匹配模式WeTest主辦方：TesterHeme#page#專有云進一步滿足使用靈活性中國互聯網測試開發大會MTSC業務希望更長的測試機器獨占，不想排隊解決方案某個業務單獨使用的專有云，手機獨占，狀態不清理微信測試管理系統狀態機型D機型名0在線2230367WeTost E89277006微信小程序市核微信小程序審核初始化結果反饋223037空閑空用WeTest E80微信小程序審核2230367WTE9277005微信小程序審樓初始化：安裝、登球

14、220367空限WoTost E8空用2230367WeTest E8空閑空閑0空限22036791MD223036727700WoTest E8微信小程序審橫90277009微信小程序審核微信小程序審核WeTest E8空明2230307WeTstE80空港空閑2230307WeTest E80空限專有云：手機完全獨占，狀態不清理小游戲定制手機專有云定制手機：穩定性高WeTestt主辦方：TesterHeme#page#目錄MTSC中國互聯網測試開發大會01WeTest測試中臺概覽02中臺構建過程目錄CONTENTS03如何構建穩定的環境支撐04如何用PaaS應對海量的需求WeTest主辦方

15、：TesterHeme#page#打造產品矩陣，WeTestStore引入更多能力中國互聯網測試開發大會MTSC核作生態共建自己單干技術不分彼此的共生賦能合作伙伴基于業務各個BG場景，定制的測試新產品的工具和服務流程測試工具優質的測試工具外部Paas騰訊十多年WeTestWeTest Store來沉淀的優能力平臺秀測試工PaaS服務能力輸出WeTest自研的測試工具效果：一年累計獲得50款優秀測試工具WeTest主辦方：TesterHeme#page#WeTest開發者中心中國互聯網測試開發大會MTSC提供豐富的開發資源，助力開發者快速研發工具服務，上架WeTest平臺創建應用開發調試發布上線

16、工具API多語言SDK開發框架賬戶項目權限額度用戶資源日志文件理點配置中心報表送開發資源消息鏡像服務憑證監控騰訊云內部系統WeTest主辦方：TesterHeme#page#效果：在用戶體驗專項上獲得了齊全的能力中國互聯網測試開發大會MTSC痛點對應工具地鐵機場玩游戲弱網絡測試手機發燙/爆炸耗電量測試手游外掛泛監安全測試全鏈路的性能測試王者榮耀460問題頻現眾測游戲同質化嚴重吃雞使用Unreal引擎全鏈路的性能和體驗監控管理APM騰訊游戲品牌保護用戶口碑-游戲權益保護版號收緊用戶奧情/行業奧情個人隱私安裝包和隱私掃描WeTest主辦方：TesterHame#page#DevOps流水線自動化測

17、試插件快速生產和集成中國互聯網測試開發大會MTSC免道新r0請導項目服務流水線流件康全部SCM始語明發商店NeTest壓測大師WWcTest客戶端性園測試WI平臺集成如香支持WeTestSDK平平自定義開發插件W臺Configuration as CodeCI/CD平臺適配公配置解析模型W插工具鏈服務快速集成合作工具方WWeTest工具市場社區關于Store機面適配指數土上傳工具Q接索你WeTest設備列表適用場景移動APP小程序/小游戲H5服務器端全限Webm中站工具分類教容測試安全測試真機測試代碼檢測接口測試全部性能別網?？畲a調試環境配置功能測試安裝包檢查單元測試U測運代碼管理生設0書開

18、發效率A/B試穩定性測潔#page#強大的專項性能測試后，仍可能有性能問題爆出？MTSC中國互聯網測試開發大會專項性能測試，只是冰山一角真實運營環境6000多款機型簡單、少量設備更多的場景復雜的操作3G、4G、5G、wifi復雜、大量設備第三方APP兼容WeTest主辦方：TesterHeme#page#測試右移保障業務快速驗證試錯MTSC中國互聯網測試開發大會大數據+小數據結合：從大數據里獲得趨勢洞察，從小數據里獲得用戶洞察，主客觀結合技術用戶Crash&ANR實時監控兼容適配測試客戶端性能測試安全測試全鏈路性能實時監控服務器性能測試功能測試應用及業務指標監控弱網絡測試耗電量測試接口測試上線

19、前上線后用戶奧情&市場表現監測用戶體驗眾測AB Testing設計用戶工單WeTest主辦方：TesterHeme#page#通過PaaS滿足大量的場景和定制化需求中國互聯網測試開發大會MTSC為什么要做PaaS平臺？遇到的一些問題業務服務體量大，需求更專業開發者更注重研發效率、產品存在系統之間的依賴和調用整體服務體系缺乏一一個統一的化、個性化。服務治理層創新能力平臺服務安全控制層缺乏如何幫助業務方在復雜業務里如何幫助快速上架快速送代如何保證信息和服務安全？如何保證服務質量，提升開發快速找到和搭建自己的服務流驗證？效率？程？WeTest主辦方：TesterHeme#page#PaaS平臺的產品

20、建設階段1API化、插件化中國互聯網測試開發大會MTSC上傳資源/cloudapi/api_v4/fileupload提交測試/cloudapi/api_v4/private_user_autotest測試進度查詢/cloudapiyaplv4/private_teststatus測試列表獲取/cloudapi/api_v4/private_testistAPI接口調度拉取測試信息/cloudapi/api_v4/private_test_info隨機調度拉取設備測試性能數據/coudapi/api_v4/private_test device_perferorTOP機型調度拉取設備截圖和日志

21、/coudapi/api4/private_testdevice_imageog0按用例調度自定義調度測試截圖/日志批量拉取/cloudapi/apiv4/private_testimageog批量拉取測試性能/錯誤數據/cloudapi/api_v4/pnivate_testperf_error獲取私有云設備列表/cloudapi/api_v4/private_cloud_devicesWeTest主辦方：TesterHame#page#PaaS平臺階段2提供開發套件加速研發MTSC中國互聯網測試開發大會產品頁面配置化組件開發SDK運營數據分析組件phpGOLANGA話使用說明1.在代碼中i

22、ncludesdk文件2.初始化SDK對象（傳入appid.3.調用SDK方法獲取內容獲得注冊、權限、支付、管理能力實現產品創新和試錯開發者基于技術中臺的能力，可以低成本地快速開發業務，讓業務中臺更加壯大，從而豐富了最頂層的SaaS場景的解決方案WeTestt主辦方：TesterHeme#page#PaaS平臺階段3場景化解決方案輸出MTSC中國互聯網測試開發大會口手機版服務測試運營鍋服開發部署育號食容器服務BCS窗粥臺公敏捷研發TAPD代碼庫Code福WeTes WeTest監控中心Monitor食印企業云盤Pan口作業平臺Job日志檢素LogSe窗流水線Pipeline質量紅線Gate食心版本倉庫Artifactory環境管理Env粥食開源鏡像站OSIS網窗代碼檢查CodeCC育卷版本體驗ExpG編譯加速Turbonew白業務方利用我們的提供的SaaS服務和業務中臺的能力，安全管理工具可快速實現場景化應用食0漏洞掃描VsM度量數據MeasO這種場景化應用可嵌入到任何能用到測試的前端場景食窗3權限中心PamQAPK加固Apk里，比如藍盾，或其他DevOps平臺，可同時提供服務窗回憑證管理Ticket通過SolutionasService構造出藍盾DevOps、云帆出海、WeTest國際站滿足不同場景需求WeTest主辦方：TesterHeme#page#謝謝THANKS