6-酷家樂-酷家樂全鏈路效能提升體系-高明國.pdf

1、MTSC2020中國互聯網測試開發大會深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中國深圳寶立方國際酒店主辦方：TesterHame#page#中國互聯網測試開發大會。深圳站MTSCESTING SUMMIT CONFERENCE CHINA2020酷家樂全鏈路效能提升體系酷家樂-測試架構師-布克（高明國）廠商：酷家樂主辦方：TesterHlame#page#MTSC中國互聯網測試開發大會自我介紹研發效能、測試效能團隊負責人負責酷家樂研發效能體系、測試效能體系建設以及相關工具平臺開發廠商：酷家樂主辦方TesterHeme#page#M

2、TSC中國互聯網測試開發大會大綱0（24效能效能整體效能鏈路未來展望建設背景規劃思路建設現狀廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會PART01效能建設背景廠商：酷家牙主辦方TesterHeme#page#MTSC中國互聯網測試開發大會研發體系和面臨挑戰研發過程問題內部系統無序公司10條+業務線，研發內部開源系統多，但是無法協同工作過程流程規范不統一二次開發成本較高，無適合的團隊承需求、任務、開發、測接試、發布無法閉環，生產問題反饋較慢沒有完善的持續交付流程和工具支持，項目延期較多管理的困惑效能提升困難管理人員關注的效率、成本、研發效能豎井問題較多質量

3、無法衡量跨部門協同困難，溝通成本高工程師無法快速高效的發布，選代交付周期較長，質量較差項目延期和緊急發布較多SQA人員無法了解研發過程和狀態，數據不可度量，無法實施改進廠商：酷家樂主辦方TesterHeme#page#測試效能工具建設背景MTSC中國互聯網測試開發大會效率的挑戰流程不規范業務發展帶來技術架構變革，需要新的測準測規范不統一，提測質量低試手段保障架構調整提測過程不規范，存在漏測、代碼夾帶問題微服務拆分導致鏈路變長，定位問題變得故障等級定義不規范，導致部分故障沒有及時跟進分析更加困難環境使用不規范，存在資源爭搶的情況即內部使用開源工具很多，但是彼此無法協同，效率低臨中位質量不可控數據

4、不可度量開發代碼質量差，提測產物質量低需求平均交付周期不明確測試自動化率低，保障手段單一對用戶反饋響應不及時回歸周期長產研過程不可度量，無法優化改進線上產品故障增多，客訴增多，影響用戶使用體驗發布質量和發布效率無法度量廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會PART02測試效能工具整體規劃廠商：酷家樂主辦方：TesterHame#page#MTSC中國互聯網測試開發大會工具效能2-3年規劃酷家樂測試效能架構圖性方向產研企業微協同88平臺HR系持續集成（效能提升）中間件我S0A30A自動化別子表U自動化功能測證TOADDBV+全量持續交付3上質量發布管理

5、應用管理打語皖888好效能代碼質量Litmus分文管理交更管理源AHP環境管理項日管理性能基線全鏈路壓測質量卡點終餐二方包管理質量看板價值度量質量度量效率度量成本度量效能研發看板測試看板技術價值高業價值需求質量人力成本交付網期/版本/需求/故障度量發布看板運維看板服務器成本訂單量可用性代碼質量否時率/需求個數/故事點數產品看板運營成木項目看板轉化率等相成時間等發布質量過程決策過程改進改進0Q0廠商：酷家主辦方：TesterHame#page#MTSC中國互聯網測試開發大會PART03測試效能工具整體規劃廠商：酷家樂主辦方：TesterHame#page#MTSC中國互聯網測試開發大會持續交付流

6、水線流水線建設（CICD）階段編碼構建Dev環境Sit環境追蹤反饋Beta環境Prod環境Stable環境編碼編譯部看業務監控郵署接口測試智能工單編洋編譯接口測試研發活動故障復色靜態檢查功能測試三方包檢測功能測試UT性能測試UT混沌工程安全審計性能基線開源證書審計二方包檢測廠商：酷家主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會流程一體化的度量體系=滿度量指特22328安面廠商：酷家樂主辦方TesterHeme#page#MTSC中國互聯網測試開發大會PART03研發代碼質量工程體系建設廠商：酷家樂主辦方：TesterHeme#page#中國互聯網測試開發大會MTSC代

7、碼質量系統架構圖構建JenkinsRabbitMq持續交付平臺SonarQube數據補償Job調MySqIESpush度服務Cobra安全掃描GitLab權限管理結果郵件通知Snyk開源協議/依賴漏洞掃描紅線管理觸發策略U自定義國際化多語言檢測Kerrigan度量平臺廠商：酷家牙主辦方TesterHeme#page#MTSC中國互聯網測試開發大會推動代碼質量落地支持自定義根據業務特性，支持規則自定義紅黑榜促進良性循環04反饋，精細化運營關注問題的反饋、問題的解決跟進、問題智能推送策略制定、結合研發流程進行持續交付的卡點03度量，量化分析問題到2.0時代的代碼質量指標細化+質量分概念+質量度量可

8、以02橫向、縱向綜合比較項目的代碼質量感知發現問題011.0時代的jenkins+gitlab+sonar發現問題廠商：酷家樂主辦方：TesterHeme#page#中國互聯網測試開發大會推進落地遇到的挑戰MTSC動作結果挑戰支持所有開發語言的規則定義規則不認可2/8原則，找出覆蓋80%問題的20%80%的業務線使用自定義規則集業務線不適用規則集數據驅動質量提升收益不顯著業務線自定義規則，協同開發保障所有業務全部接入質量開發修改不積極部門質量通曬，納入研發OKR數據度量，提供repo質量趨勢開發不知道如何修改單測質量、行覆蓋率、阻塞代碼質量宜講，流程卡點質量明顯提高定期代碼質量Review融入

9、CICD流程，質量卡點從流程上將代碼質量提升納入研發研發代碼質量明顯提升部OKR廠商：酷家樂主辦方：TesterHeme#page#代碼門禁-CD流程卡點中國互聯網測試開發大會MTSC未達到質量要求的代碼不允許部署上線，卡點指標可自定義高量結西23向210310單則捷高2280接國向通過程2380蘇6X質量行反確開理管離每級安全周網不在規定版本款如數廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會實踐效果核心應用核心應用質量分趨勢0-平均質量分廠商：Q酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會為什么需要搜集測試覆蓋率評估功能測

10、試有效性評估回顧測試覆蓋度評估回歸階段自動化手段對業基于送代的全量覆蓋率可以有務的整體覆蓋情況，可以有效效分析測試用例設計十分有遺降低成本，提升交付信心。漏。門禁卡點+度量評估新增代碼行覆蓋Q通過覆蓋率卡點，覆蓋率較低的結合調用鏈分析，可以發現新增服務帶著風險上線。對核心服務代碼未被覆蓋的接口，避免漏的覆蓋率進行度量跟進改進優化測。廠商：酷家樂主辦方：TesterHame#page#中國互聯網測試開發大會覆蓋率分類MTSC接口覆蓋需求覆蓋代碼覆蓋指通過自動化手段/功能測試指的是測試人員對需求的了解程為了更加全面的覆蓋，我們可能手段執行后被測服務的接口是否度，根據需求的可測試性來拆分還需要理解被

11、測程序的邏輯，需被覆蓋，避免新增代碼的接口未成各個子需求點，來編寫相應的要考慮到每個函數的輸入與輸被覆蓋引起漏測導致生產故障測試用例，最終建立一個需求和出，邏輯分支代碼的執行情況，用例的映射關系，以用例的測試這個時候我們的測試執行情況就以代碼覆蓋率來衡量，可以理解結果來驗證需求的實現，可以理解為黑盒覆蓋為白盒覆蓋。廠商：酷家樂主辦方：TesterHame#page#MTSC中國互聯網測試開發大會lob名稱1-31b-119-521-525400f7e61事業務組P晚計類通近一次統計信息全量硬中增量覆蓋率0Edae口Sandat警新車Ve0生成展告賽生布電店執行類S開好統計時間分支操作最近統計時

12、間型2020-10-132020-10-154719只手動e20200137033058242/1560630051446172020-10-132020-10-13A于動8085/15682020101628482016593519:1702廠商：酷家牙主辦方：TesterHame#page#MTSC中國互聯網測試開發大會融入CI卡點第1-5條（共81條）日2批次號（支持17s/page臺20191220180605505112采集中指標值目標值指標2019-12-20180605mohe接口測試質量（Apollo）采集成功（耗時15分39秒）81368e0452.00%240接口測試行覆蓋

13、率采集成功20191220155454670268397212019-12-2016:10:44mohe接口測試通過數6ccf84e7release/renler41021接口測試總數采集成功97.00%29020191220103057915172接口測試通過率2019-12-2010:41:41sanli代碼質量（Litmus）采集成功（耗時3分40秒）fb0dzdderelease/2019122470330違反編碼規范20191219202720974810采集成功310sanli單測錯誤數2019-12-1920:37:03fb0dzdderelease/2019122411210單

14、測數量1.00%23020191219195644238823采集失敗單測疆蓋率2019-12-1920:26:46sanlS0fbOd2ddeelease/20191224廠商：酷家樂主辦方：TesterHame#page#MTSC中國互聯網測試開發大會PART03研發度量體系建設廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會度量體系建設明確度量日的更好的質量度量目標的選取度量更高的效率體系度量指標的運營更短的交付周期度量的持續改進0102030405成本效率質量價值優化廠商：酷家主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會研發效

15、能核心指標選擇需求交付效率需求上線率：該業務線單位時間內已有排期計劃的市場需求上線/已被接受的合理市場需求敏捷組產品需求生產周期：從該產品需求被創建，到該產品需求被發布的時間周期研發交付通道效率業務線/敏捷組產研通道容量：該敏捷組當前送代的故事點生產數，可觀測歷史數據過程能力業務線/敏捷組代碼質量分：代表該敏捷組的代碼質量交付質量線上故障平均恢復時長（open時間）線上故障數廠商：酷家樂主辦方TesterHeme#page#產品形態MTSC中國互聯網測試開發大會新區快注導入過濾條件收行業務戰我限。8大惠報告人廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網測試開發大會需求

16、響應度量度量業務線產研對用戶反饋的響應效率統計分析用戶對哪些業務關注較多市場需求新增數市場需好織檢各牌廠商：酷家牙主辦方：TesterHame#page#MTSC中國互聯網測試開發大會交付過程質量（非核心）應用線上平均發布耗時（核心）應用線上平均發布耗時（核心）應用非線上平均發布耗時（非核心）應用非線上平均發布耗時廠商：酷家樂主辦方：TesterHeme#page#代碼質量MTSC中國互聯網測試開發大會（核心）應用平均單測行覆蓋率（非核心）應用平均單測行覆蓋率（核心）應用平均接口測試行覆蓋率（非核心）應用平均接口測試行覆蓋率廠商：酷家樂主辦方：TesterHeme#page#MTSC中國互聯網

17、測試開發大會線上線下質量下bug留存線上故障類面遇率（半線上bug留存A價省精飾廠商：酷家樂主辦方：TesterHeme#page#實踐中的思考MTSC中國互聯網測試開發大會注意度量指標的選取，核心指標不用太多了解指標背后的意義，知道如何改進關注不同層面的度量訴求必要的橫向對比，增加團隊之間的競爭少關注單個指標，多關注關聯指標更容易發現問題廠商：酷家樂主辦方TesterHeme#page#MTSC中國互聯網測試開發大會PART04未來展望廠商：酷家樂主辦方TesterHeme#page#中國互聯網測試開發大會未來展望MTSC自打通測試工具鏈未來展望探索新的測試方法88持續降本增效廠商：酷家樂主辦方：TesterHeme#page#QAMTSC中國互聯網測試開發大會酷家歷掃一掃上面的二維碼圖案，加我微信廠商：酷家樂主辦方：TesterHame#page#謝謝THANKS