A4--胡濤--從壓測到剖析 - 中國銀聯性能測試實踐.pdf

1、從壓測到剖析中國銀聯性能測試實踐胡濤中國銀聯胡濤中國銀聯性能測試負責人牽頭建設組織性能測試平臺、性能剖析工具等參與億級用戶的云閃付APP的生產全鏈路壓測、性能分析和優化中國銀聯技術開發中心 軟件開發工程師目錄CONTENTS背景、要解決的問題01 性能測試面臨的挑戰02 性能測試體系建設03 落地效果和總結04 展望未來05 01議題背景01系統保障02資源配比03性能監控04瓶頸定位性能測試實施背景營銷大促活動中，如何提升各系統應對短時海量訪問沖擊的技術能力大規模分布式的部署下，如何做到資源最大利用、合理配比，精準擴容性能測試過程中，如何提高全方位的性能態勢感知水平不同的技術實現、架構、部署

2、環境，如何實現性能問題快速定位性能測試演化歷程2009以前20102016201720202021至今各系統分別開發各自的壓測工具、腳本和實施方式，性能測試依賴人工執行和分析統計建設統一的監控體系，全鏈路壓測平臺，性能測試朝著統一的平臺化和工具化發展推進性能工程建設，推動性能剖析手段、可觀測性和調優方式的優化和創新 編寫調試腳本 多人手動批量啟停腳本 人工查看和記錄壓測數據 平臺自動調度執行腳本 平臺收集壓測數據 人工整理性能數據 人工配置鏈路信息 平臺化執行壓測任務 平臺化收集性能數據 智能化性能剖析建設云監控平臺和各類性能監控手段，推動性能測試的標準化和常態化，打通從測試到生產的全鏈條性能

3、測試目標02性能測試的挑戰03性能測試體系建設開發團隊：提供性能測試所需系統信息，協助明確性能測試相關指標，參與性能分析和定位測試團隊：負責研發測試環節性能測試實施，性能工具平臺開發，提交性能測試報告職能與分工規范指引：根據各系統業務特點和實際需要，制定性能測試的流程制度、指引規范能力復用：充分復用現有的功能測試案例、腳本，擋板工具等，減少重復投入規范與流程壓測平臺：建設適合自己的全鏈路壓測平臺和性能剖析平臺性能分析：積累性能問題，打造專家庫，提高性能分析智能化水平技術和能力l通過多輪壓測，深入分析，發現代碼、配置、框架、組件等層面的性能問題；l通過快速迭代，優化代碼，到達性能最優測試環境單鏈

4、路壓測生產環境全鏈路壓測l排查非應用層的問題，如中間件連接數、帶寬、網絡設備容量、限流策略等l準確評估系統容量，各層資源配比是否基本合理，是否滿足業務評估值需求分析方案設計環境準備性能實施問題分析性能報告方案制定預檢查壓測實施問題分析環境恢復性能基線開發階段不斷迭代優化持續集成全鏈路壓測平臺需求受理生產運維通用擋板服務通用加解密服務性能分析工具分布式鏈路跟蹤環境治理監控需求分析功能開發性能測試版本發布接口自動化工具全鏈路流量染色全鏈路風險熔斷全鏈路數據隔離全鏈路安全控制壓測數據清理壓測過程監控統一logId標記；非業務參數透傳擋板服務；限流熔斷開關影子表、庫；數據標記；數據偏移專用證書、密鑰；

5、參數校驗隨生產數據清理；單獨清理調用鏈路全程性能監控、預警、緊急處置措施非業務參數透傳通信協議通信協議注入點注入點參數參數HTTP/HTTPSHead頭信息perfTest=1RPCAttachment信息“perfTest”:”1”Mesh報文頭resv字段“perfTest”:”1”以dubbo協議為例影子表、庫LVS/F5Nginx網關服務A服務C服務BRedis服務D壓測流量壓測標識全鏈路透傳消息隊列外部服務擋板日志采集服務大數據備份服務HTTPHTTPHTTP影子庫RPC壓測日志生產庫生產日志引流到擋板數據偏移數據偏移場景靈活編排多種壓測模式數據實時展示智能巡查預警在線性能剖析自動生

6、成報告壓測與性能剖析平臺構造場景執行調度腳本文件結果分析性能監控任務管理壓測引擎被測系統監控數據監控數據.壓測流量壓測流量控制中心agentagent異構數據采集與計算智能決策診斷規則引擎剖析工具性能工具盒agentagent應用服務節點服務進程CPUMEMDISKIOLOAD線程信息堆、棧信息垃圾回收方法耗時attach中間件連接數OPS網絡IO慢查詢加工數據熱點方法火焰圖連接數類加載調用鏈消息堆積死鎖反編譯熱修改靜態掃描代碼配置依賴基于eBPF的鏈路跟蹤eBPF 源于 BPF，本質上是處于內核中的一個高效與靈活的虛類虛擬機組件，以一種安全的方式在許多內核 hook 點執行字節碼?；趀BP

7、F的鏈路跟蹤大模型下的智能決策systemTaparthas工具perf工具集跨平臺的豐富工具箱Dump 分析pprof工具cProfile性能工具盒壓測與剖析平臺04落地效果與總結快速啟動多場景：脈沖、階梯、混合多協議：http、rpc、websocket多保障：閾值告警、主動熔斷實施展示實施剖析鏈路追蹤業務保障 對重點業務系統完成鏈路拓撲和性能基線建設資源最大化 20+系統的生產壓測，優化調整部署，節省25%機器資源安全可靠流程和技術上的保障，生產壓測0事故人力釋放平臺化調度，在測試和生產壓測人力減少80%以上效率提升流水線操作、平臺化執行，性能測試提速60%實施&剖析05展望未來未來，在性能剖析手段上，借助經驗積累和專家知識庫建設，基于大模型的性能剖析手段，更加智能的瓶頸定位方法，來降低性能分析門檻；伴隨著微服務、容器化、云原生等發展趨勢，性能測試面臨更多的挑戰，需要完成從現有虛機到云化的最小成本轉換?；诹髁炕胤诺目焖偈?，侵入和非侵入的性能探測手段基于AIGC、大模型等技術，自動實現從現象到根因的智能分析和定位基于云原生的agent探針優化，深入容器的下鉆分析通過壓測節點注入異常擾動，收集穩態指標，評估系統變化壓測實施云原生性能剖析混沌工程感謝聆聽關注QECon公眾號