2019年砥礪前行-華泰證券技術運營實踐與探索之路.pdf

1、GOP S 全 球 運 維 大 會 2019上 海 站GOP S 全 球 運 維 大 會 2019上 海 站砥礪前行：華泰證券技術運營實踐與探索之路GOP S 全 球 運 維 大 會 2019上 海 站目錄漲樂財富通介紹1行業現狀&運維的挑戰2技術運營實戰3未來發展方向4GOP S 全 球 運 維 大 會 2019上 海 站漲樂財富通介紹 運營數據下載量4800+萬月活750+萬公司客戶交易人數占比87%獲獎情況2018年度券商優秀APP2017年度最佳金融APPGOP S 全 球 運 維 大 會 2019上 海 站漲樂財富通業務業務保障級別期貨滬深港股全球科創板新三板行情港股通普通買賣融資融

2、券打新神器大宗交易國債交易工資定投公募基金私募基金天天財養老專區閑錢理財理財網上開戶賬戶管家資產分析我的賬單業務辦理風險評估賬戶快訊熱門財經要聞專區自選資訊漲樂吧熱門概念資訊優惠價消息推送智能選股Level2樂米漲樂會員其它GOP S 全 球 運 維 大 會 2019上 海 站目錄漲樂財富通介紹1行業現狀&運維的挑戰2技術運營實戰3未來發展方向4GOP S 全 球 運 維 大 會 2019上 海 站行業現狀-客戶投訴GOP S 全 球 運 維 大 會 2019上 海 站行業現狀-監管壓力2018年年7月月23日，日，XX證券發生信息安全事件，導證券發生信息安全事件，導致集中交易系統部分中斷致集

3、中交易系統部分中斷10分鐘。分鐘。違反了違反了證券期貨業信息安全保障管理辦法證券期貨業信息安全保障管理辦法（證監會令第（證監會令第82號）（以下簡稱號）（以下簡稱管理辦法管理辦法）第二十四條規定。根據）第二十四條規定。根據管理管理辦法辦法第五十條的規定，深圳證監局決定對第五十條的規定，深圳證監局決定對XX公司采取出具警公司采取出具警示函的行政監管措施。示函的行政監管措施。2018年12月24日，XX證券集中交易系統中斷37分鐘，2019年2月26日，XX公司綜合賬戶管理系統發生故障，影響交易時間累計13分鐘。違反了證券期貨業信息安全保障管理辦法（證監會令第82號）第二十四條的規定。依據證券期貨

4、業信息安全保障管理辦法第四十八條第二款、第五十條和證券期貨業信息安全事件報告與調查處理辦法（證監會公告201246號）第三十條的有關規定，遼寧證監局決定對XX公司采取責令改正并定期報告的監管措施。2018年12月24日，XX證券信息技術運維人員XXX違反所在證券公司信息安全管理規定，在交易時間對生產環境中的存儲過程進行運維操作，引發公司網上交易系統和移動終端交易系統客戶端登錄異常的風險事件。涉事技術人員被浙江證監局出具警示函并記入證券期貨市場誠信檔案。違反了證券期貨業信息安全保障管理辦法(證監會令第82號)第二十四條的有關規定。根據證券期貨業信息安全保障管理辦法第五十條、證券期貨業信息安全事件

5、報告與調查處理辦法(證監會公告201246號)第二十六條的規定，浙江證監局決定對你采取出具警示函的行政監管措施，并記入證券期貨市場誠信檔案。GOP S 全 球 運 維 大 會 2019上 海 站行業現狀-行情波動GOP S 全 球 運 維 大 會 2019上 海 站復雜的業務5000+條測試用例復雜的系統8個機房，1500+服務器頻繁的變更全年變更800+運維的挑戰-系統現狀GOP S 全 球 運 維 大 會 2019上 海 站運維過程中的難題故障問題定位耗時太長無法從客戶視角感知系統健康狀況缺乏貼近實際業務的監控方法服務端架構物理隔離，還會出現故障蔓延GOP S 全 球 運 維 大 會 20

6、19上 海 站目錄漲樂財富通介紹1行業現狀&運維的挑戰2技術運營實戰3未來發展方向4GOP S 全 球 運 維 大 會 2019上 海 站技術運營概覽機房服務器交換機防火墻負載均衡虛擬化操作系統通訊線路IP地址基礎架構硬件屬性地域分布應用屬性業務屬性流程管控狀態信息配置信息資產信息配置&流程應用高可用用戶體驗業務連續性系統健康度風險量化運行管理早間巡檢值班補丁安裝基礎運維基礎監控客戶端監控服務端監控監控體系變更流程灰度發布風險管控變更管理事件知識庫事件處置事件分析事件管理應急預案演練報告混沌工程應急演練容量指標基線管理擴容縮容系統容量立項預算成本成本管理GOP S 全 球 運 維 大 會 20

7、19上 海 站客戶端監控客戶端指標業務感知 真實客戶業務感知 UI測試用例 視頻留存 崩潰率 耗時 機型分布 地域分布 版本分布服務端監控基礎指標應用指標業務指標 cpu，mem tcp http ping 可視化監控 服務器 交換機 負載均衡 防火墻 吞吐量 耗時 錯誤數 日志 時間序列異常檢測 全業務鏈監控監控體系GOP S 全 球 運 維 大 會 2019上 海 站可視化監控案例-系統拓撲GOP S 全 球 運 維 大 會 2019上 海 站全業務鏈監控案例-設計思路GOP S 全 球 運 維 大 會 2019上 海 站全業務鏈監控案例-落地情況GOP S 全 球 運 維 大 會 201

8、9上 海 站全業務鏈監控案例-?；鶊DGOP S 全 球 運 維 大 會 2019上 海 站時間序列異常檢測案例-業務周期性GOP S 全 球 運 維 大 會 2019上 海 站時間序列異常檢測案例GOP S 全 球 運 維 大 會 2019上 海 站時間序列異常檢測案例-檢測模型模型模型適用場景適用場景新標簽對一段時期內新出現的標簽（請求號、功能號、錯誤號）進行揭示，可以關注到系統中不同以往的事件點。動態閾值利用歷史數據，自動計算出上下限。對突破上下限的情況，進行告警。非常適合請求耗時這樣比較穩定的指標，也可以用于請求量突破歷史極限等情況的發現。請求有無不關注請求的量，關注請求是否出現。通過歷

9、史數據，計算出請求出現的概率?？梢杂糜诒O控關鍵時刻（如開閉市）關鍵請求是否出現。周期很多請求具有較強的周期性，通過歷史數據，計算出中位線和波動范圍，對突破正常范圍的情況進行揭示。GOP S 全 球 運 維 大 會 2019上 海 站真實客戶業務感知案例GOP S 全 球 運 維 大 會 2019上 海 站變更流程自測&系統集成測試變更申請驗收測試變更&驗證 升級說明 SLA 自測報告 部署方案 回退和應急方案 測試需求評審 測試方案 風險評估 關聯系統 功能測試手工和自動化用例 回歸測試日志回放 性能測試 混沌測試 恢復發布 健康檢測 流量鏡像 業務監控GOP S 全 球 運 維 大 會 20

10、19上 海 站自動化變更案例研發側IT資源管理系統自動化服務平臺變更墻變更流程變更指令變更結果變更內容變更通知GOP S 全 球 運 維 大 會 2019上 海 站應用高可用兩地三中心部署兩地三中心部署全鏈路調用關系繪圖全鏈路調用關系繪圖豐富的測試演練手段豐富的測試演練手段多層次的運行監控維護多層次的運行監控維護01020304GOP S 全 球 運 維 大 會 2019上 海 站強弱依賴關系&混沌工程案例-故障蔓延GOP S 全 球 運 維 大 會 2019上 海 站強弱依賴關系&混沌工程案例-設計思路交易MobileStock行情MobileStock資訊MobileStock漲樂UI自動

11、化用例測試集標記頁面步驟標簽程序交易主站日志行情主站日志資訊主站日志映射頁面與接口調度程序漲樂頁面與接口映射關系集GOP S 全 球 運 維 大 會 2019上 海 站強弱依賴關系&混沌工程案例-演練思路GOP S 全 球 運 維 大 會 2019上 海 站目錄漲樂財富通介紹1行業現狀&運維的挑戰2技術運營實戰3未來發展方向4GOP S 全 球 運 維 大 會 2019上 海 站應用CMDB的完善，與監控、變更等系統的聯動GOP S 全 球 運 維 大 會 2019上 海 站建立系統健康度評估模型GOP S 全 球 運 維 大 會 2019上 海 站其他 全業務鏈監控體系的完善 告警智能分析和收斂時間維度、縱向維度、橫向維度 故障自愈 GOP S 全 球 運 維 大 會 2019上 海 站Thanks高效運維社區開放運維聯盟榮譽出品