2019年微博廣告運維與監控技術實戰.pdf

1、全球敏捷運維峰會廣州站微博廣告運維與監控技術實戰全球敏捷運維峰會廣州站TABLE OFCONTENTS 大綱運維在廣告體系中的價值復雜業務場景下的運維建設之路海量指標監控平臺Oops實踐全球敏捷運維峰會廣州站運維體系發展階段全球敏捷運維峰會廣州站運維在微博廣告中的價值業務可用性提高效率優化系統系統性能評估故障迅速定位應急事件處理請求鏈路跟蹤代碼快速迭代指標走勢預測全球敏捷運維峰會廣州站TABLE OFCONTENTS 大綱運維在廣告體系中的價值復雜業務場景下的運維建設之路海量指標監控平臺Oops實踐全球敏捷運維峰會廣州站服務治理全球敏捷運維峰會廣州站服務治理減少故障鏈路跟蹤資源合理利用性能優化

2、快速降級平臺化自動化快速變更智能化快速擴容效率優化全球敏捷運維峰會廣州站服務治理全球敏捷運維峰會廣州站服務治理 服務多機房均衡部署 多運營商分布 機房承載冗余 流量分布均勻 上下游同機房請求100+服務3+機房/運營商1.5倍流量冗余環境標準化全球敏捷運維峰會廣州站服務治理某產品線性能壓測全球敏捷運維峰會廣州站自動化運維平臺快速擴容快速降級快速變更管理有序提高效率安全操作全球敏捷運維峰會廣州站自動化運維平臺Kunkka全球敏捷運維峰會廣州站自動化運維平臺多環境編譯自動打包自動化測試自動部署動態擴縮容多級審核全球敏捷運維峰會廣州站有效的報警如何提高報警的有效性，減少誤報？全球敏捷運維峰會廣州站有

3、效的報警全球敏捷運維峰會廣州站全鏈路Trace系統日志格式與解析全球敏捷運維峰會廣州站全鏈路Trace系統C l i ckH ouseC l i ckH ouseFi l ebeatFi l ebeatFl i nkFl i nkkaf kaAppl i cati on數據收集與處理全球敏捷運維峰會廣州站全鏈路Trace系統業務查詢全球敏捷運維峰會廣州站全鏈路Trace系統全球敏捷運維峰會廣州站TABLE OFCONTENTS 大綱運維在廣告體系中的價值復雜業務場景下的運維建設之路海量指標監控平臺Oops實踐全球敏捷運維峰會廣州站監控平臺的挑戰延遲偏差不穩定全球敏捷運維峰會廣州站監控平臺的目標

4、全球敏捷運維峰會廣州站整體架構Oops全球敏捷運維峰會廣州站自動化采集全球敏捷運維峰會廣州站自動化采集性能壓測配置參數單節點1核CPUSnappy壓縮kafka partition=10required_acks=124000 TPS27 Mb/s失敗日志數為 0flush.min_eventsclose_inactivescan_frequencyignore_olderclean_inactiverequired_acksbulk_max_sizecompression全球敏捷運維峰會廣州站配置化清洗全球敏捷運維峰會廣州站實時指標倉庫不同時間粒度的查詢不同業務維度的組合提高查詢相應速度復雜業務邏輯定制數據復用原始層聚合層全球敏捷運維峰會廣州站實時指標倉庫原始表指定字段聚合聚合表全球敏捷運維峰會廣州站實時指標倉庫全球敏捷運維峰會廣州站實時指標倉庫14千億條，120TB數據量處理日志最大QPS125w任意多維聚合查詢單表最多155字段秒級可視化粒度全球敏捷運維峰會廣州站指標可視化全球敏捷運維峰會廣州站監控平臺的一些成績全球敏捷運維峰會廣州站THANK YOU！