3韓金成-iSQE-360搜索全鏈路質量保證體系.pdf

《3韓金成-iSQE-360搜索全鏈路質量保證體系.pdf》由會員分享，可在線閱讀，更多相關《3韓金成-iSQE-360搜索全鏈路質量保證體系.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、中國國際軟件質量工程峰會中國國際軟件質量工程峰會International Software Quality Engineering Forum360360搜索全鏈路質量保證體系搜索全鏈路質量保證體系360搜索測試部測試開發高級專家 韓金成2023052622023 iSQE 目錄目錄360搜索全鏈路質量保證體系插件化配置化自動生成式流水線多維度多粒度性能質量保證線上監控質量保證的最后一公里目錄目錄contents32023 iSQE 360360搜索全鏈路質量保證體系搜索全鏈路質量保證體系42023 iSQE 項目全生命周期質量保障項目全生命周期質量保障產品質量易用性交互體驗適用性意義質量保

2、障應該貫穿整個項目的生命周期，從需求階段開始到研發、測試、發布、線上運行，每個階段對應不同的質量保證手段，才能在使問題更早的暴露出來，越早發現，帶來的成本越低，反之，成本越高測試質量研發質量代碼質量編程風格自測程度測試質量功能覆蓋性能指標兼容性運維發布質量發布流程功能回歸異常處理線上質量健康監控效果監控穩定性監控52023 iSQE 360360搜索全鏈路質量保證體系搜索全鏈路質量保證體系62023 iSQE 插件化配置化自動生成式流水線插件化配置化自動生成式流水線72023 iSQE 配置化流水線配置化流水線協作控制變更，安全穩定壓倒一切開發、運維部門間缺乏溝通與協作流程工具規范部署時不經過

3、制品庫部署后沒有全面的健康檢查測試環境不全，缺少某些環境沒經過測試和準生產環境沒有統一的制品庫環境創建非常慢手工登錄SSH配置環境沒有統一的應用部署工具沒有統一打包規范不同環境的部署方法不一致不同環境的部署包不一致不同環境的創建方法不一致82023 iSQE 傳統傳統PipelinePipeline存在的問題存在的問題92023 iSQE TeipeTeipe自動化流水線優勢自動化流水線優勢運行流程配置化插件化擴展方式內置豐富自動化組件利用服務組管理上下游部署機器與集群管理102023 iSQE TeipeTeipe自動化流水線運行過程自動化流水線運行過程112023 iSQE 技術架構與流程

4、技術架構與流程122023 iSQE 實例效果實例效果展示展示132023 iSQE TeipeTeipe自動化流水線效果自動化流水線效果管理1.代碼管理2.版本控制3.制品管理4.環境治理5.自動化管理6.報告管理7.機器管理2w+次運行效率1.開發自測效率2.問題前置3.交付能力4.服務接入效率5.測試效率6.降低人力成本160+服務142023 iSQE 多維度多粒度性能質量保證多維度多粒度性能質量保證152023 iSQE 搜索引擎性能特點搜索引擎性能特點牽一發而動全身，單一服務需要更高的穩定性來保證整體的穩定性、異常場景下不影響整體穩定性、高度的整體把控能力穩定性要求高復雜的接口參數

5、、豐富的用戶意圖，需要覆蓋更全面的數據，覆蓋更多的邏輯場景，性能測試數據集合的組建成為關鍵覆蓋率要求高精準度要求高測試效率提升單一服務P99毫秒級延時要求，測試中如何精準評估服務的性能，需要完善的指標體系來反映服務狀態上下游關聯服務眾多，關聯服務影響本次測試，需要最小化測試單元，自動化工具體系幫助研發與測試提高測試效率，減少人力成本162023 iSQE 面臨的問題面臨的問題02性能實施如何讓性能實施更簡單、可靠04結果分析指標怎么用，如何固化分析流程，結果一目了然01數據準備如何在有限的壓測時間覆蓋更多的場景03指標收集指標是否能反映性能的真實問題，收集哪些指標05問題發現如何線上第一時間發

6、現問題？發生問題后如何快速恢復與止損？172023 iSQE 多維度數據集合多維度數據集合-提高性能測試覆蓋度提高性能測試覆蓋度新功能覆蓋不夠舊功能需求變化異常場景覆蓋不夠時效性不強數據不可復制難維護動態數據集豐富程度時效性強可維護常規數據182023 iSQE 多維度數據集合多維度數據集合-提高性能測試覆蓋度提高性能測試覆蓋度192023 iSQE 分布式壓測平臺分布式壓測平臺提高實施效率提高實施效率執行效率執行效率手動、腳本、jenkins具有局限性，很難做到通用、友好，像階梯發壓、各種定制參數等等不容易做到，帶來了更多的腳本指標收集、實時性指標收集、實時性如何再發壓時同步查看性能指標，有

7、助于我們提前發現問題，并且僅僅是發壓的指標，又不能反映服務的狀態，也不能幫助定位問題跨機房、自定義壓力機跨機房、自定義壓力機搜索很多服務都是同機房調用，需要保證服務和壓力機再同一機房，還有特殊網段等問題，如何能夠更方便的添加壓力機123202023 iSQE 分布式壓測平臺分布式壓測平臺提高測試效率提高測試效率抽象通用參數一鍵部署壓力機全方位多維度指標性能指標秒級更新智能結果對比分析Top延時數據分類錯誤信息212023 iSQE 全方位多粒度指標全方位多粒度指標精準性能評估精準性能評估12345服務指標壓力機指標進程指標被測服務器指標Metrics指標222023 iSQE 全方位多粒度指標

8、全方位多粒度指標精準性能評估精準性能評估232023 iSQE 全方位多粒度指標全方位多粒度指標精準性能評估精準性能評估242023 iSQE 智能性能測試結果分析智能性能測試結果分析-一目了然一目了然252023 iSQE 雙模式雙模式MockMock系統系統數據真實數據真實搜索業務特點數據的多樣性搜索業務特點數據的多樣性，不同數據帶來不同的邏輯觸發不同數據帶來不同的邏輯觸發.數據動態化數據動態化自由應對多個服務的數據自由應對多個服務的數據，能夠根據規則動態生，能夠根據規則動態生產數據產數據.延時真實延時真實較高的還原真實場景較高的還原真實場景，能夠使測試，能夠使測試更準確更準確性能要求高性

9、能要求高性能測試仍然需要進行性能測試仍然需要進行Mock,而性能要而性能要滿足壓測需求，能夠更充分的測試被測滿足壓測需求，能夠更充分的測試被測服務服務多服務端口問題多服務端口問題多服務存在端口一樣的情況多服務存在端口一樣的情況，減少服務的配置變動帶來更，減少服務的配置變動帶來更好的體驗好的體驗.目標目標262023 iSQE 雙模式雙模式MockMock系統系統篡改模式代理模式272023 iSQE 雙模式雙模式MockMock系統系統篡改模式代理模式282023 iSQE 線上監控線上監控質量保證最后一公里質量保證最后一公里292023 iSQE 線線上穩定性意義上穩定性意義01020304

10、掌握服務運行狀態掌握服務運行狀態：做：做到心中有數到心中有數責任到人責任到人：減少不相干：減少不相干報警，避免對報警疲勞報警，避免對報警疲勞及時止損：發現問及時止損：發現問題第一時間處理，題第一時間處理，避免造成更大損失避免造成更大損失關聯上下游關聯上下游：直接定：直接定位問題根源，減少時位問題根源，減少時間浪費間浪費.302023 iSQE 在線服務監控體系在線服務監控體系312023 iSQE 離線服務監控體系離線服務監控體系322023 iSQE 容量規劃容量規劃為什么要做容量規劃？2545506075809598？容量是多少？余量還有多少？什么情況下需要擴容，需要擴容多少？整體的瓶頸在

11、哪里？那些服務存在隱患？何時需要降級？降級預案是什么332023 iSQE 容量規劃實施過程容量規劃實施過程342023 iSQE 容量規劃收益容量規劃收益摸清線上容量情況，對后續的產品策略提供了數據支撐發現很多因為上下游關聯影響的性能問題、機器資源問題、服務代碼問題、環境問題等推動資源擴容、代碼優化、資源合理分配，提高了整理流量空間推進服務優化、建立分級降級方案、熔斷機制等352021 iSQE 國際軟件質量工程國際軟件質量工程-international Software Quality Engineering 需求工程測試過程改進軟件測試體系質量聯盟國際需求工程測試成熟度模型集成國際軟件測試CSTQB 專家工作組國際業務分析國際用戶體驗自動化、安全性、AIThank you Thank you 中國國際軟件質量工程峰會中國國際軟件質量工程峰會International Software Quality Engineering Forum