A4--鄧雄劍--大網場景還原和監控評估.pdf

《A4--鄧雄劍--大網場景還原和監控評估.pdf》由會員分享，可在線閱讀，更多相關《A4--鄧雄劍--大網場景還原和監控評估.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、大網場景還原和監控評估鄧雄劍華為技術有限公司、性能可靠性測試專家鄧雄劍華為 性能可靠性測試專家華為公司性能可靠性測試專家，負責產品線性能測試能力構筑，主要關注大網場景還原、系統可觀測和測試系統等能力建設。目錄C O N T E N T S01.大網場景測試的背景和挑戰02.大網場景建模原理03.大網場景還原、監控和評估04.大網場景還原效果05.總結與展望大網場景測試的背景和挑戰01大網場景測試的背景和挑戰測試場景是什么如何判定是否滿足預期？SUT系統架構系統架構InputTestModelBaseline(Ruler)Actual(Test Result)？Pass：滿足Fail：不滿足模型

2、獲取/生成模型監控評估數據分析 設計補充競爭力 標尺大網場景還原的三大挑戰：輸入行為如何和外部保持一致？被測系統的壓力如何和外部保持一致？如何監控和評估測試模型的一致性？系統行為如何觀測測試模型庫Output大網場景建模原理02業界參考:中國航天員零傷亡是怎么做到的航天員零傷亡航天員訓練模型載人航天實射現場訓練內容:140項,覆蓋實射場景各種特征,定義訓練指標訓練要求:模擬實射場景特征,訓練成為人體的本能訓練行為超重倍數:5倍+,極值8倍升空時長:600秒萬無一失載人航天發射規模載人航天發射次數:9次上天總人數:14人,23人次發射行為提升訓練行為與發射行為的一致性提升訓練行為與發射行為的一致

3、性:【方法方法】一通過科學實驗分析行為特征;二通過實射獲取行為特征;【案例案例】神舟5號升到40公里時出現6倍超重疊加8赫茲低頻共振,宇航員極度痛苦,因為訓練時沒有考慮到會出現這兩種特征疊加，訓練與實射特征出現不一致,靠宇航員的身體和意志挺過去的,神舟六號后來就補上了要要 點點應用場景與用例組合量達到數十億，很難達到高度一致系統架構及系統間交互行為復雜組合2.1萬個測試用例(以X產品為例)功能用例性能用例可靠性用例部署場景(10種種)升級路徑(30條條)硬件機型(5種種)OS/DB/虛擬化版本(6種種)瀏覽器類型(3種種)管理規模(6種種)34億測試組合外部操作行為和系統行為復雜，測試組合上億

4、，很難達到高度一致大網場景建模原理：行為一致性，以小球玩轉大球外部行為測試行為行為模型n特征:操作使用行為具有正態分布特征,常見行為占68.2%,少見行為占27.2%,罕見行為占4.4%n目標:測試仿真的目標是覆蓋常見的行為和少見行為,從而讓測試攔截住絕大部分問題,并不是說要覆蓋所有行為大網行為仿真目標大網場景還原、監控和評估03大網場景建模方案鏡：源于真實交通數據的全息式智能場景庫元模型：從外部行為特征來建模From特斯拉“鏡像庫”： 正衣冠：通過銅鏡可以知道我們穿戴是否整齊一致鏡像庫本質是做一面“鏡子”，鏡子的一面是真實的外部場景，另一面是我們設計的場景，通過“鏡子”可以清晰的了解我們當前

5、做的和外部真實場景的差距是什么鏡子：測試的測試（元測試），測試行為的“標尺”元模型不做任何決策，只真實反應外部的使用情況參數來自外部和規格，但各比率由外部真實數據所決定 測試類型只關聯特征，不關聯維度，特征是給對應的測試類型用基于元模型實例化各測試類型的模型（測試模型+評估模型），道生一，一生二，二生三，三生萬物建模原則行為特征提取:建數據分析工具，算法輔助提取特征外部交流調用鏈日志外部問題對分析的數據進行清洗后，基于規格分析和歷史經驗數據提取，并借助算法輔助實現行為特征識別，支撐產品測試建模算法輔助規格分析原始數據清洗、結構化特征提取行為特征列表特征值計算需求規格歷史經驗數據分析工具特征識別

6、與建模固化產品模型實例化成版本模型行為模型設計:按場景引入特征值，明確測試規格行為特征列表業務操作系統運行環境組網結果判定n瀏覽器類型：Google64：xx%，IE：xx%n特征2：XX：XX，XX：XXn特征3一局一策多局一策n特征1：param1:30，param2:20n特征2：param1:20，param2:5n特征3解析數據匯聚數據模型規格n 特征1n 特征1大網場景模型設計特征1：測試規格：按最大值，執行規格：最大值滿足度瀏覽器類型：測試規格：按比率分布，執行規格：最后一次滿足特征3：測試規格：按均值*1.2倍，執行規則：均值滿足度多用戶操作場景仿真并發模型DSL設計，按模型要

7、求用戶、測試數據分發與測試結果匯聚，實現復雜并發模型的表達與編排，可視、可協作、可執行MasterMasterMaster被測系統WorkerWorkerWorker123二級Master模式1）一級Master：聚合或者切分用戶并生成子DSL，并分發給二級Master 按切分算法對Worker進行測試準備2）二級Master：按照DSL要求，告訴Worker什么時候啟動或者銷毀用戶（包括開放模型、封閉模型的支持）3）Worker：接收Master命令，運行用戶并傳回統計信息并發模型DSL 測試用例 測試數據DSLDSL按用戶類型按用戶類型用戶并發DSL示例系統內部行為可觀測黑盒表現80%發冰

8、山在海面之下內部狀態內部消息狀態系統資源狀態:線程池,句柄等基礎設施狀態:OS,DB,容器等Kafka消息可靠性消息文件存儲狀態桶空間大小節點讀寫頻率內部接口狀態調用頻次吞吐量時延（TPxx）目標服務錯誤率發起服務錯誤率南向組網仿真模擬通過Netty多路復用網絡模型，支撐W級網元模擬豐富協議棧模擬及數據插件，基于多源數據的錄制回放測試模型監控和評估模型監控:從不同維度評估和外部的一致性測試評估:場景還原度作為大網測試依據，自動測評從行為特征分析到行為一致性自動執行和評估模型設計行為模型設計行為特征提取行為模型監控行為一致性評估外部問題分析工單行為特征分析系統狀態分析行為規格分析場景匯聚分析解析

9、入庫設備組網分析分析聚合模型執行1234行為數據環境數據管理行為特征仿真模型執行評估模型設計評估問題發現報表模型覆蓋報表行為設計場景聚類設備組網仿真大網場景還原效果04特征建模，支撐大網場景還原度提升提取1100+行為特征過程實時監控，支撐大網場景還原度提升產品應用效果大網場景建模成本降至XX人天基于場景一鍵式自動搭建環境大網場景還原度提升XX%大網問題攔截率同比提升XXX%大網外部問題下降XX%總結與展望05總結價值價值鏡子：測試的測試（元測試），測試行為的“標尺”價值：1、站在外部場景反向驅動業務規則更加清晰完善2、構建正確的測試系統目的目的以外部使用系統的方式來驗證系統，以外部使用系統的體驗來評價系統測試系統目標測試系統目標測試系統目標是數字化系統，包括三個方面的數字化：1、外部行為對象數字化建模；如元模型2、測試規則（能力）數字化；如設計規則、執行規格3、測試業務數字化；如基于變更感知（工單）自動通知測試人員調整設計建模原則建模原則1、元模型不做任何決策，只真實反應外部的使用情況2、參數來自外部和規格，但各比率由外部真實數據所決定3、測試類型只關聯特征，不關聯分類，特征是給對應的測試類型用4、基于元模型實例化各測試類型的模型（測試模型+評估模型），道生一，一生二，二生三，三生萬物未來展望數字化架構，還原操作場景與系統垂直拓撲結構的資源關系感謝聆聽關注公眾號