專場7.5-中國工商銀行分布式緩存架構及實踐經驗分享-武文斌.pdf

《專場7.5-中國工商銀行分布式緩存架構及實踐經驗分享-武文斌.pdf》由會員分享，可在線閱讀，更多相關《專場7.5-中國工商銀行分布式緩存架構及實踐經驗分享-武文斌.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、分布式緩存架構及實踐經驗分享中國工商銀行 分布式緩存團隊技術負責人 武文斌平臺能力介紹應用實踐未來規劃1234目 錄CATALOG01分布式緩存建設背景和目標已使用緩存服務的應用，針對緩存服務，缺少統一的管控視圖、監控系統和治理方案。使用緩存業務場景繁多，應用自行搭建緩存服務工作量大。緩存產品種類多，各應用選型不統一，需進行統一治理。Redis客戶端種類繁多，應用使用方式各異，存在安全隱患。Redis服務端版本繁多，服務能力、產品缺陷、漏洞風險等需進行統一管理。建設背景實現高性能、高可靠、可彈性伸縮、敏捷運維的企業級分布式緩存平臺。結合注冊中心、管控組件，對整體集群實現了可用性監控、故障自恢復

2、、高可用切換、事件報警、應急容災、自動化運維、一體化投產等能力。建設目標自研我行分布式緩存平臺并首次在三園區上線，試點金融市場、綜合前置、代理第三方快捷支付等9個應用接入。完成分布式緩存異地多活架構生產部署并上線試點，滿足我行“兩地三中心”部署架構落地，提升緩存服務性能，就近訪問RPO=0、異地高可用等核心能力。201720222015201901分布式緩存架構演進完成多租戶改造，打造具備多維度監控、故障自愈、全鏈路同城雙活、容災接管、自動化運維、一體化投產等能力的緩存平臺。實現主備強一致模式支撐我行秒殺平臺建設、紀念幣發行等業務場景，并適配單元化改造，控制爆炸半徑，規避系統性風險背景和目標應

3、用實踐未來規劃1234目 錄CATALOG 為滿足中國工商銀行在IT架構轉型及智慧銀行建設過程中各應用對業務數據的高并發、低延遲、便捷使用、高效穩定的訪問需求，建設了具備高性能、高可用、可擴展，多模架構、一體化運維的企業級分布式緩存平臺。02平臺能力 高性能主備模式 所有組件都是站點內高可用，副本間跨故障域搭建，具備自動高可用切換、故障自愈等能力，高可用級別較低，但性能最優。02多模架構 同城雙活模式 所有組件均達到同城雙活高可用能力，任一站點宕機，另一站點秒級接管，包括遵循Raft多數派協議的注冊中心也通過雙集群實時數據復制，達到互為主備的同城雙活能力，此模式適用于對高可用要求較高，且同時兼

4、顧低延時需求的業務場景。02多模架構 異地多活模式 通過數據同步組件實現了異地多活能力，提供站點內數據強一致，站點間數據最終一致的服務能力，應用訪問時采用就近原則，提升服務性能，同時達到了金融級的兩地三中心容災能力。適用于具有跨異地訪問、或對數據可靠性、系統高可用能力要求較高的業務場景。02多模架構 主備強一致模式 通過代理層、監控系統、注冊中心等多模塊協同處理，結合自定義副本間數據復制協議，實現自識別、自降級，按需可配的同步復制節點數，確保業務讀寫強一致，解決秒殺、庫存扣減，紀念幣搶幣等業務場景下的超賣問題。02多模架構 直連模式基于RedisCluster提供了兼容開源多語言SDK的直連模

5、式集群，配套完整的管控系統，包括集群的訪問負載，服務監控，運維治理，容災切換等。此模式可兼容外購產品、業界開源框架、多種編程語言接入等需求的業務場景。02多模架構SDK核心組件管控組件分布式緩存02平臺組件介紹 工商銀行分布式緩存平臺主要由客戶端SDK，代理層、存儲層、監控系統、性能分析系統、管理平臺等模塊組成，結合IAAS、PAAS、SAAS等平臺建設了具備云原生能力的分布式緩存平臺?；陂_源Jedis定制化改造基于Netty框架、開源Redis定制化改造自建監控系統、大數據分析、管理平臺。SDK01030402核心組件-客戶端SDK連接、鑒權管理采用連接池對連接進行管理，實現連接復用，自動

6、?；罴盎厥?，并按租戶維度實現鑒權管理02易用性封裝對于集合遍歷、分布式鎖等復雜訪問進行易用性封裝，提升API調用安全性全景式指標采集、自動熔斷回切收集租戶訪問量，成功率等多元化要素，實現熔斷異常時的自動回切主數據源或應急集群，保證服務連續性強容錯、一致性校驗針對網絡抖動等場景自動重試；通過唯一序號等方式實現訪問一致性校驗高危命令攔截02核心組件-代理層&存儲層異地多活、數據零丟失熱key負載能力提升支撐百萬連接副本數據強一致core020304050601自適應彈性伸縮采用Netty異步通信框架，可支持百萬連接。通過讀寫分離，提升熱點數據負載能力。對涉及風險操作，阻塞服務等命令進行攔截實現主備

7、切換時RPO=0，支撐秒殺類業務需求。提升共享數據跨異地訪問性能及高可用能力?；谌萜鞯仍圃芰崿F按負載量自適應伸縮02監控組件服務自愈數據采集高可用切換多維度監控報警合規性巡檢治理深度探測節點狀態，通過高可用切換等策略隔離故障節點，保證服務連續性自動拉起故障節點、恢復服務進程等。采集各類節點監控數據，上送PAS系統實時分析展示。按集群、租戶、節點、交易情況、性能容量等多維度進行監控報警。針對大事務、大key、熱key、過期key進行巡檢治理。ABDE便捷登錄，實時運維統計報表及訂閱多層級數據采集及分析C02性能分析組件多維度數據可視化提供單元化、集群、租戶、節點等多維度監控指標可視化展現

8、。采集分析客戶端、代理層、監控系統等多種數據源采集、分析各類指標數據形成報表，并支持訂閱。支持PC端、移動端自適應展示，實時掌握平臺運行狀態指標。02管理平臺平臺狀態單元化、業務運維板塊、集群、應用、租戶、節點狀態等統一視圖。集群管理租戶管理、在線擴容、個性化配置管理等。租戶管理集群掛載，元數據管理，核心組件、注冊中心等相關組件管理等。權限管理用戶信息管理、用戶角色管理，權限管理及審批，用戶操作審計等。運維管理注冊中心變更管理，可執行任務管理，生產演練任務管理等。配置管理個性化監控、日志級別變更、各組件的配置信息管理等。02單元化能力建設 架構部署支持單元化，防范重大系統性風險03云服務能力建設 云服務模式轉型，實現高效環境供應背景和目標平臺能力介紹未來規劃1234目 錄CATALOG接入應用數500+部署節點數1萬+QPS峰值200萬+分布式緩存01集群規模03應用實踐 主備強一致模式，助力紀念幣預約平穩發行03應用實踐 異地多活能力，確保手機銀行服務安全可靠背景和目標平臺能力介紹應用實踐1234目 錄CATALOG06未來規劃 智能伸縮能力建設，應對業務流量的多變場景06未來規劃 混合存儲，整合內存和磁盤二者優勢，提供高速數據讀寫能力的同時滿足數據持久化需求。