2019年海量日志分析與智能運維.pdf

1、海量日志分析與智能運維智能日志中心介紹圍繞日志的AIOps場景與算法原理介紹日志分析實踐與案例010203內置支持的基礎架構類日志分析問題歸因定位通過日志模式洞察罕見報錯信息快速發現障故基于多種算法的異常預測輔助修復決策多方位展現系統狀態加速決策132“日志+算法“的 AIOps 實踐之路日志統計-指標異常-服務健康度服務健康度監控架構指標數據的來源和選擇 SRE：谷歌運維解密提出黃金指標：延遲lantency：IO await、response_time 流量traffic：CPU util%、MEM used、QPS 錯誤error：packet loss、4xx、5xx 飽和度satur

2、ation：OOM、queue_size、API rate_limit 從access log、error log、system log、topinput等日志來源統計即可。比如：logtype:web_access code:=400|bucket timestamp span=1m as ts|stats avg(resp_time)by ts指標異常檢測-CVAE算法指標異常檢測-iForest算法指標異常檢測-KDE算法指標異常檢測-GRBT算法日志異常檢測 2016年大規模軟件系統日志研究綜述：1.在軟件開發中進行日志記錄是普遍的,平均 30 行代碼中就有一行是日志2.日志信息對實際

3、部署系統的運行故障調試幫助較大,縮短故障調試時間的加速比為 2.23.日志代碼的更新頻率比其他代碼要快約 1 倍4.約四分之一的日志修改是把新的程序變量寫入日志5.約一半的日志修改是對日志消息靜態文本的修改異常日志模式發現基于日志模式發現的異常檢測正常日志模型實際日志異常日志人工修正離線訓練流式輸入詞元1詞元2詞元3日志1weare80日志2weare100日志3youare100模式*are參數enumwe,youXN(93.3,9.4)模式樹參數樹正常模式正常日志異常異常枚舉值(文本)連續值(數值)離散值(ID)分詞器在INFO級別日志未觸發告警情況下，也能自動識別新日志格式，觸發模式告警正常格式的GC日志，自動識別其參數偏離正常取值范圍對誤報的檢測事件，可以人工干預，修正優化模型日志分析實踐案例拿到AI異常結果和關鍵日志定位-概覽全局運行狀態和變化業務交易的實時統計分析：交易量，成功率，類型分布，失敗統計等業務監控-多層業務指標鉆取當從業務拓撲發現故障時，可以通過多層鉆取功能，下鉆到對應時間的業務性能指標趨勢分析界面業務監控-調用鏈展示分析從業務交易耗時趨勢下鉆到交易記錄，進一步下鉆單筆交易各步驟的調用鏈及循序圖過程分析用戶端監控DNS/CDN日志分析Thank you!