流量回放在酷家樂的實踐.pdf

1、CONTENT01背景02演進歷程03總結展望服務粒度細化中臺化趨勢酷家樂：當前共有服務近2K,其中核心服務150+，每個服務少則幾十，多則幾百的接口數敏捷迭代如何快速回歸?1回歸如何保障質量，減少漏測？回歸工作怎么提升人效？支付中臺、方案中臺、渲染中臺、多語言中臺、UIC中臺、戶型中臺、權限權益中臺、商品中臺.回歸任務重回歸困難32流量回放我們借助網上開源工具，結合了公司內部的一些資源平臺，進行了流量回放的實踐和演進。工具特性Goreplay支持 HTTP 請求的錄制和回放，簡單易用Diffy支持 HTTP，提供diff能力，可以智能降噪jvm-sandbox-repeater提供錄制、回放

2、、mock等能力，擴展性強goreplay示例：示例：goreplay錄制：sudo./goreplay-input-raw:80-output-file test.log-http-allow-method GETgoreplay回放：sudo./goreplay-input-file test.log-output-http 10.x.x.x:xxgoreplay針對單接口實時回放：sudo./goreplay-input-raw:80-output-http 10.x.x.x:xx-http-allow-method GET-http-allow-url/api/xxx/xxxgorep

3、lay是一個開源的網絡監控工具?？梢杂脕碛涗浟髁?，并用于回放、負載測試等。舉個例子diffydiffy平臺是Twitter開源的一個工具，通過配置可進行快速的結果對比，而且自帶噪聲過濾功能Diffy完美適配ProdNewProxyResultGoreplayOldOld查詢類接口需要人為識別出來搭建一套diffy環境有成本，且管理雜亂無章命令操作，容易出錯解法利用監控調用鏈智能篩選1.把目標接口對數據庫操作做一波過濾2.查詢api子調用3.把被調用的api對數據庫的操作做一波過濾優點 智能降噪 全鏈路校驗 普適性缺點 不支持寫請求回放，只支持查詢類請求 對環境穩定性依賴高 做不到跨環境回放單服

4、務影子庫、影子表以單服務維度，把服務外部的交互全部mock掉，包括子調用、存儲回放流量走影子庫、影子表，可以驗證全鏈路框架基于JVM-Sandbox，封裝了以下能力：1.支持子調用mock2.開放數據上報，錄制結果可上報到自己的服務端流量錄制接口自動化case生成線上問題排查賦能其它平臺業務檢測多維度流量回放優點 子調用可mock，無環境約束 存儲類子調用也mock了，增刪改查接口都可使用 子調用也可以不mock，走真實鏈路 錄制數據存儲，可以拓展使用場景不足 小問題較多，需要較大精力去完善 子調用錄制mock需要插件支持 數據存儲量較大 回放失敗誤報率高，排查成本大 啟動過程會對應用的 CP

5、U 使用率、平均耗時產生比較大的沖擊 操作步驟較多，不夠便捷優化mock匹配算法13console獨立部署，分布式部署，通過shell腳本和repeater進行交互repeater狀態同步和控制5支持更多conten-type類型6完善日志記錄，建設日志收集能力。分析日志，修復日志中暴露的問題前端展示和優化24問題一：小問題較多，需要去完善問題二：子調用錄制mock需要插件支持1官方已開源支持插件：http，java，mybatis，ibatis，redis，dubbo，hibernate，jpa，socketio，okhttp，apache-http-client，guava-cache，e

6、h-cache，caffeine-cache當前kurepeater支持插件：http，mybatis，ibatis，redis，hibernate，okhttp，socketio，apache-http-client，guava-cache，eh-cache，caffeine，rocketmq，mongo，kafka，hbase，caffeine，cos，jpa，mybatis-plus，toad，soa，es等23找到對應框架最合適的埋點，ignore過濾不需要的事件問題三：數據存儲量大1使用es存儲錄制和回放的詳細數據區分有用流量和無用流量，對無用流量和回放數據進行定期自動清理2優化采樣

7、邏輯，減少無效流量，從源頭優化34利用監控流量數據，智能生成采樣比例支持指定用戶的采樣2以接口維度設置錄制采樣率31黑白名單過濾接口問題四：回放誤報率高，排查成本大將錄制回放的詳細信息解析后在前端展示多模式回放，統計回放條數和成功率，支持對已排查接口打標借用diffy思路，進行降噪回放完善插件，完善mock邏輯接口本地請求調試優化回放diff邏輯，增加ignore字段過濾，提升比對準確性降噪回放添加過濾字段1、對錄制回放的流量按批次按接口進行聚合，統計回放條數和成功率。2、支持接口排查打標。3、支持按接口和回放狀態過濾回放結果。4、將錄制回放的詳細信息解析后在前端展示5、詳細展示子調用信息6、

8、本地調試接口，自動填充參數問題五：啟動過程會對應用的 CPU 使用率，平均耗時產生比較大的沖擊依賴于soa的服務版本調節，在啟動前將服務流量切走，啟動完畢再將流量切回問題六：操作步驟較多，不夠便捷1初始的步驟：配置-錄制環境安裝-錄制環境激活（錄制）-錄制環境凍結-回放環境安裝-回放環境激活-觸發回放-回放環境凍結優化后步驟：配置-開啟任務，等待企信通知即可2優化UI，關聯跳轉工具DiffyGoreplay內部平臺Repeater探索中更多請求編碼格式的支持更多的插件支持服務配置不同的支持和CI深度融合更好的數據度量和跟進能力回放準確性提升，進一步減少預期外的差異排查更便捷便捷，定位原因方便操作更流暢，更簡便平替接口自動化的回歸能力流量數據沉淀后，封裝各種個性化的數據，賦能其它平臺使用?；诔恋頂祿?，進行深入數據分析，發現系統潛在問題?；跈C器學習和人工智能的能力1、kudiffy-一個很酷的自動化回歸平臺：https:/