2019年騰訊游戲營銷智能監控實踐.pdf

1、游戲營銷智能監控實踐游戲營銷智能監控實踐騰訊游戲騰訊游戲游戲營銷智能監控實踐游戲營銷智能監控實踐監控系統演化監控系統設計監控系統與智能監控實踐與負載保護研發組織變化研發組織變化研發運維研發運營研發devops/SRE運營支撐系統演進支撐系統演進運維工具發布.監控測試發布.監控測試智能以單機系統為主公共服務逐步分布式業務大量微服務化1:Script2:DataBase1:System2:Auto3:Big Data1:AI微服務哲學理解微服務哲學理解分治工業設計模具設計軟件架構大系統小做微服務軟件工程高內聚低耦合設計模式操作系統微內核(宏內核)Mach監控服務本身也是微服務1：錘子理論2：綜合治

2、理監控未來之路監控未來之路工具化系統化專業化自動化智能化業務視角之監控業務視角之監控業務正常感覺不到監控系統存在業務異常直接給出處理方法 易接入(少閾值配置)低消耗(對系統影響小)易邏輯擴展 對業務量變化不敏感，易擴展 報警及時 報警易處理(一站式處理)易查詢 一個不多 一個不少 無誤報 精準干系人 準確根因，影響范圍 故障恢復通知(精準范圍)適當預測實現視角之監控系統實現視角之監控系統SolutionPredict,OptimizeProbe,Verify,Assess,Smart,Accurate,Auto,Chart,RecallSensitive,Simple,Robust,Scala

3、ble,Visual監控方法比較監控方法比較白盒方法白盒方法黑盒方法黑盒方法監控目標多，復雜，覆蓋面廣少，抽取關鍵點(監控)系統架構復雜(健壯/容災/可擴展)(數據流)相對簡單通用性與業務深度綁定易移植智能性依賴人對系統理解和案例整理對業務理解依賴少解釋性容易確認根因不易解釋，易騷擾反饋性易驗證業務架構合理性可以對監控預測監控與人工智能監控與人工智能理論與應用監控白盒根因推理告警收斂級別升級閾值設置黑盒曲線檢測旁路驗證閾值學習人工智能白盒專家系統知識圖譜語義網黑盒機器學習神經網絡深度學習統計學習概率圖聚類集成學習集成學習監控對象監控對象監控目標專有發貨量業務容量變化量版本發布通用時延流量錯誤飽

4、和度網卡I/OMemoryCPU閾值臨界點監控上報設計原則監控上報設計原則(平衡平衡/綜合綜合)分級原則 日志與異常數據分離 支持本地文件/TCP/UDP 支撐結構化和非結構化數據(數字上報)侵入式API和(統一)Agent合用 正常數據抽樣和聚合業務監控常見定位問題方法常見定位問題方法收到報警查找日志定位原因拉群定位根因應該跟我沒有關系，具體原因不清楚同上.1：依賴具體開發人員2：管中窺豹全鏈路自動定因全鏈路自動定因A12/56 A12/56 B12/56 B12/56 C12 C12 D12/56 D12/56 E12 E12 F12/56 F12/56 G12 G12 A12/56 A1

5、2/56 B12/56 B12/56 C12 C12 D12/56 D12/56 E12 E12 F12/56 F12/56 G12 G12 t tactactmodulemodule時間維度：查詢歷史類似報警以及原因活動維度：深度遍歷調用鏈模塊維度：廣度遍歷當前模塊預處理：檢測報警源IP地址結論：日志驗證收斂性報警設計收斂性報警設計(分層分層)工單工單工單生成邏輯工單生成邏輯閾值類隊列閾值類隊列變化類隊列變化類隊列長期累積類長期累積類報警觸發條件報警觸發條件近期數據近期數據異常數據流異常數據流全量時序數據全量時序數據近期處理記錄近期處理記錄靜態收斂規則靜態收斂規則近期數據近期數據近期數據近期

6、數據升級升級歷史特征歷史特征報表報表自動結單 自動結單 一種常見監控架構一種常見監控架構數據清洗數據清洗異常數據/日志異常數據/日志ESES實時計算實時計算實時檢測實時檢測時序數據庫時序數據庫配置條件配置條件可視化可視化全量異常報警工單實時數據流全鏈路Topo可視化數據分層可視化報警可視化報警模版報警模版報警Title報警Title報警模塊報警模塊持續時間持續時間錯誤碼錯誤碼觸發條件觸發條件工單號工單號報警模塊上報錯誤信息報警模塊上報錯誤信息錯誤碼歷史與當前曲線圖錯誤碼歷史與當前曲線圖可能原因可能原因報警相關模塊Topo圖報警相關模塊Topo圖影響模塊影響模塊影響業務影響業務報警產生IP以及分

7、布報警產生IP以及分布處理人處理人處理方法處理方法處理中處理中結單結單屏蔽屏蔽查看詳情查看詳情機器人相關人A相關人B機器人相關人A相關人B流水號流水號監控之線下治理監控之線下治理（有效處理率）（有效處理率）工單工單定位工單干系人定位工單干系人工單操作工單操作工單升降級工單升降級工單自動處理工單自動處理工單報表工單報表規則庫規則庫周期review周期review工單歷史數據工單歷史數據業務關系庫業務關系庫NOC企業微信拉群企業微信郵件監控系統架構監控系統架構業務主動檢測發布系統發布變更時序數據庫實時流計算日志檢索數據通道(過濾/路由/限流)消息隊列日志存儲黑盒驗證智能分析實時引擎動態拓撲可視化工

8、具工單系統監控報表企業微信異常拓撲元監控報表引擎數據倉庫基礎設施No Silver BulletNo Silver Bullet(綜合治理綜合治理,無終南捷徑無終南捷徑)白盒方法和黑盒方法相結合“人肉”智能與人工智能相結合(數據驅動)實時查詢與報表推送相結合實時流計算與離線數據分析結合線上治理和線下治理相結合負載保護三“獸”論負載保護三“獸”論(防系統雪崩防系統雪崩)上游入口流量自身硬件資源下游服務質量面面對對變變化化系系統統可可控控“防洪墻”設計原則“防洪墻”設計原則多維全局聯動兼容擴縮容擴展性容災容錯易運營低消耗多維流控機制多維流控機制(不含業務層面不含業務層面)LBLB請求量下游服務下游

9、服務下游服務下游服務Processor2Processor2Processor3Processor3Processor1Processor1檢查本機負載檢查本機負載檢查業務配額檢查業務配額檢查下游服務檢查下游服務檢查Set配額檢查Set配額CacheCacheCacheCacheCacheCache業務維度map業務維度map業務維度計算業務維度計算業務維度計算業務維度計算業務維度計算業務維度計算資源維度計算資源維度計算資源維度計算資源維度計算資源維度map資源維度map配額計算服務配額計算服務接入層接入層接入層接入層接入層接入層LBLB讀寫分離讀寫分離流控效果圖流控效果圖本機負載策略本機負載策略本機策略軟硬資源隊列長度滯留架構設計CPU線程模式Memory共享放大倍數異常重試讀寫分離錯誤抑制超時設置雙峰分布級聯擴縮容慢啟動冷緩存業務分級VIP彈性彈性“熔斷熔斷”與負載均衡與負載均衡下游服務下游服務下游服務key:ipkey:ipkey:ip業務重試風暴錯誤抑制彈性熔斷ttqpsqpsttqpsqps普通熔斷普通熔斷彈性熔斷彈性熔斷