4-1 胡繼強-工商銀行規?；O控落地實踐.pdf

1、工商銀行規?；O控落地實踐演講人：胡繼強 監控系統面臨的挑戰 監控體系簡介 集中監控技術架構 關于監控運營的幾點體會一、監控系統面臨的挑戰圖引用：ITIL不老，只是被理解的膚淺了國家金融監管持續發力，對生產系統穩定性提出更高要求金融科技自立自強，信創轉型加速云計算、大數據為代表的分布式應用帶來更大規模、更加復雜的運維數據監控系統自身進化的內生需要來源：信通院 新IT治理體系：洞察企業IT建設的核心路徑一、監控系統面臨的挑戰解決方案對標：aiops的能力成熟度模型應用監控應用監控交易監控交易監控業務監控業務監控操作系統數據庫中間件UPSIaaS盤機PaaS角色策略元數據網絡視圖SYSLOGSNM

2、P帶外CMDB統一認證IT服務臺通知消息運維基礎服務平臺巡檢平臺故障自愈變更平臺信創系統信創系統容災演練資源供應SOC安全中心業務運維單元集中監控二、集中監控體系簡介統一門戶（PC，手機端）規范業務故障等級定義變更管理規范應用質量和運維能力標準運維數據規范監控管理管理對象運維工作臺物理機虛擬機網絡設備存儲設備軟件產品應用系統人員基礎設施云機房設施運營門戶辦公門戶系統監控交易/鏈路監控業務監控應用監控報警鏈路APM定位一站式可觀測應急管理故障管理應急管理應急發起應急協同應急處置預案自愈容災切換變更管理變更審批變更執行變更驗證變更灰度變更編排變更回滾變更防御變更準入變更巡檢變更驗證演練管理紅藍攻防

3、容災演練性能容量管理容量管理限流管理線上壓測安全管控操作審計數據安全合規審計終端安全系統安全網絡安全物理安全安全攻防監控大屏資源/資產硬件/軟件資產資源規劃/供應知識管理服務/采購管理巡檢運營分析運維報表決策分析業務支持服務質量評估運維服務管理運維服務目錄（服務API/接口/腳本庫等）應用運維服務基礎設施運維服務流程引擎調度引擎持續交付消息總線運維數據管理cmdb配置運維數據服務（數據聚合/存儲/計算等）日志數據鏈路數據指標數據運維大數據算法庫基礎設施監控網絡監控三、集中監控架構設計運維基礎服務平臺GSLBIT服務臺IT服務臺IT服務臺集中監控安裝部署分析評估運維操作集群框架（總行）消息總線（

4、總行）集群框架(一級機構（用戶群A）)集群框架（總行）消息總線（總行）集群框架(一級機構（用戶群B）)集群框架（總行）消息總線（總行）集群框架(一級機構（用戶群C）)集中監控安裝部署分析評估運維操作集中監控安裝部署分析評估運維操作用戶接入層業務服務層基礎平臺層園區A園區B園區C消息總線（一級機構）消息總線（一級機構）消息總線（一級機構）通用Agent通用Agent通用Agent通用Agent通用Agent通用Agent三、集中監控架構設計-運維基礎平臺高可用技術架構ITM/TEC/HUB/Probe通用agent/SYSLOG/SNMP自定義采集腳本Object ServerImpact開源流

5、式計算框架開源消息中間件匯聚層采集層展示層用戶認證監控策略通知策略覆蓋率統計視圖配置策略匹配事件豐富事件壓縮動態閾值格式轉換數據采集協議連接告警診斷事件處置三、集中監控架構設計-技術演進自維護生態對接在邏輯上分為即時任務（Agent）、定時任務（Schedule）、自監控（Daemon）三個核心模塊提供腳本執行（shell、Python、bat、PowerShell）、文件下發、安全文件下發、日志采集、性能數據采集等規模批量并發執行能力即時任務（Agent）定時任務（Schedule）自監控（Daemon）一級機構 MQ隊列1隊列4隊列5隊列3介質服務器AgentSchedule掉線啟動軟件注

6、冊任務執行性能超限自殺機制隊列2本地腳本性能容量數據采集集中監控數據采集三、集中監控架構設計-通用Agent場景智能識別用戶觸發診斷集中監控報警特征庫報警分析應急診斷事件單答復服務臺（事件、問題等）CMDB應急預案、技術手冊知識庫批量服務操作Api/ssh服務臺三、集中監控架構設計-故障自動處置監控系統自身的高可用能力提升監控指標穿透式管理AIOps落地場景的進一步豐富(故障自愈、根因定位)積木快接方式納管新興技術產品或平臺信創服務器PAAS云信創中間件消息中間件基礎設施云分布式數據庫集中監控三、集中監控架構設計-未來演進方向監控未入，規范先行高度重視監控覆蓋率的考核評價工作（CMDB、指標、系統資源節點）監控系統優化的戴明環需要常用常新上帝的歸上帝，凱撒的歸凱撒告警事件問題變更復盤四、關于監控系統運營的幾點體會THANK YOU!