夏龍飛-核心銀行系統分布式轉型.pdf

1、核心銀行系統分布式轉型夏龍飛中國工商銀行軟件開發中心云計算實驗室轉型，構建分布式技術體系夯實，打造銀行系統技術架構底座賦能，助力智慧銀行轉型新形勢要求銀行信息系統向分布式架構轉型一、國家對使用安全可靠技術提出了更高要求。在中美貿易摩擦、全球戰略競爭可能加劇的背景下，加快在金融業推廣應用安全可控產品，促進信息產業核心技術突破發展，維護金融安全是明確的政策要求。二、銀行業務線上化及多樣化的新形勢下，要求銀行信息系統具備更高的性能容量水平。隨著銀行業務互聯網化，線上業務不斷出現秒殺、搶購等互聯網業務高峰，傳統集中式架構缺乏快速有效的橫向擴容能力，不能滿足大型銀行快速發展的業務需求三、金融服務場景化、

2、生態化要求銀行使用主流、開放技術來增強合作。在主流技術路線向分布式架構轉型的背景下，商業銀行需要采用開放、合作、共享的理念和態度來參與生態建設。四、商業銀行經營競爭及互聯網企業的跨界滲透要求商業銀行必須快速靈活創新。商業銀行需要在產品的推出效率、客戶體驗、精準營銷、業務場景方面隨需應變，傳統單體應用無法滿足靈活創新的業務需求?；陂_放平臺技術建設企業級分布式技術體系，推動IT架構從單體集中式架構向分布式服務化架構轉型。建立分布式開放平臺基于分布式技術體系，建設開放平臺核心銀行系統，為主機應用下移開放平臺提供可復制的解決方案。支撐開放平臺核心銀行系統建設實現靈活彈性擴展的能力，滿足對大容量、高并

3、發和突發峰值場景的需求，實現超越主機的性能容量和高可用水平。實現高容量、彈性擴展的能力實現應用系統分層解耦，通過組件化研發，快速組合服務實現靈活創新。實現靈活可復用的IT架構建設企業級分布式技術體系目標-建設企業級分布式技術體系2017分布式技術體系初步形成開展調研選型，研究主機業務下移后開放平臺架構選型方案。完成軟負載、分布式數據庫、事務、批量及消息上線；基于分布式技術體系，完成個人結算賬戶平臺、紀念幣預約落地。完成線下店商圈、e生活秒殺、電子銀行等互聯網場景大規模落地。構建開放平臺核心銀行系統，實施主機業務全面下移，完成快捷支付、積存金、賬戶外匯等重點產品下移主機。同業首家基于業界主流微服

4、務框架，建設分布式服務框架并完成試點；分布式緩存上線及使用。分布式架構技術預研2014構建開放平臺核心銀行系統2019分布式技術體系全面推廣2018分布式服務及緩存試點2015工行分布式技術體系建設歷程體系完備自主可控性能強大規模應用 服務、事務、消息、存儲等9大技術平臺，技術體系完備 訪問請求接入、服務集成、數據處理完整閉環，功能體系完備 參考業界主流開源軟件，結合行內應用特點，通過大規模的平臺自研及深度定制開發，實現性能、特性方面的全面提升。經過大規模生產考驗，在150個以上應用落地 日均服務調用量近140億筆 緩存日均訪問量200億+筆 消息發送峰值150萬筆/秒 n 同業首家建成自主可

5、控、體系完備的金融企業級分布式技術體系l 已達到主流互聯網企業的分布式技術能力水平l 同業最完善的分布式解決方案，形成面向應用實施分布式轉型的研發、運行、運維等全方位能力l 同業最廣泛的應用落地實踐：250+應用服務化，2萬+服務，3萬+設備，近140億日均服務調用量；在業務承載能力上，可支撐十萬+服務，日均千億級服務調用。l 已形成分布式服務共享體系，覆蓋個人、對公、資管、互聯網等領域服務復用。分布式技術體系特征 9：九大運行支撐平臺，面向生產運行環節，建設了分布式服務、軟負載、事務、消息、批量、緩存、數據庫、對象存儲、文件存儲等九大運行支撐平臺，實現公共技術能力的集約建設與運營；2：研發支

6、持平臺+運維支持平臺，提供高效運維支持平臺，為開發人員提供一站式解決方案；1：云平臺基礎支撐，提供計算、存儲、網絡等基礎設施資源云化供應，實現萬級集群支撐、秒級彈性伸縮能力。1、分布式系統運行支撐平臺3、基礎支撐彈性計算能力(IaaS/PaaS)接入處理服務集成數據處理容災能力(兩地三中心)2、研發支持平臺資產共享2、分布式運維支持平臺研發協同持續集成測試支持部署配置全息監控日志分析流量調度分布式服務分布式事務軟負載均衡分布式數據庫分布式緩存分布式消息分布式批量分布式對象存儲分布式文件存儲開發支持工行分布式技術體系：“9+2+1”技術特性深度定制、自主研發，實現同業最高自主可控水平基于Dubb

7、o、Kafka等39項業界主流開源技術，結合工行特色需求，通過深度定制+大規模自主研發，實現在性能、功能、穩定性方面的全面提升，其中分布式服務平臺較社區方案提升10倍以上性能容量，達到業內領先水平。大容量、易擴展，超越主機性能上限在應用層通過服務節點的云化快速彈性擴容，應對交易量爆發式增長；通過數據庫分庫分表對應用透明，具備海量數據的處理能力。整體具備遠超主機性能容量的集群處理能力。體系完備、行業領先，實現最佳整體性能針對銀行業務系統，工行面向生產運行建設的九大技術平臺完整覆蓋了分布式技術的主要領域，通過有機協同、相互補充可發揮出分布式技術的最佳性能。高可用、自恢復，達到99.999%高可用水

8、平通過綜合使用采用三園區三活部署、無狀態、可用性監控和一鍵切換機制等多種災備高可用技術，工行分布式技術平臺及相關應用已達到99.999%的高可用水平，可實現秒級自愈。組件化研發、松耦合架構，大幅提升研發效率依托服務化、松耦合的分布式技術支撐，實施應用分層解耦設計，通過組件化研發承接業務架構建模，提煉形成2萬個標準服務，113個業務組件，年服務復用逾18萬次，平均節省13%的研發成本，極大提升了研發效率?？梢暬\維實現分布式服務精準治理通過深度定制ElasticSearch，將日志分析能力提升至每日數百TB；采用孤立森林、邏輯回歸等算法實現交易級異常點檢測及波動報警；還通過結合字節碼增強、Dru

9、id和Zipkin等技術創新實踐，實現日均千億指標的實時聚合及百億鏈路信息的實時分析能力，實現交易端到端閉環監控，故障秒級發現。140億 日均服務調用量250+分布式架構轉型應用數92%開放平臺部署應用占比3萬+生產接入服務器l 客戶信息、會計核算、柜員管理等主機核心基礎服務l 網聯清算、積存金、賬戶外匯等重點產品峰值每秒10萬筆服務數超2萬個n 開放平臺分布式技術在境內系統已實現大規模應用，基于開放平臺分布式架構已能實現核心業務完整閉環處理，大型商業銀行的“平臺版”核心銀行系統已初具雛形。此外，工行基于開放平臺分布式技術體系建立了境外核心銀行系統，并已在印尼、莫斯科等境外機構的推廣應用，實現

10、了“平臺版”核心銀行系統建設的初步目標。落地實踐轉型，構建分布式技術體系夯實，打造銀行系統技術架構底座賦能，助力智慧銀行轉型n 分布式技術體系：“9+2+1”9：九大運行支撐平臺 2：研發支持平臺+運維支持平臺 1：云平臺基礎支撐1、分布式系統運行支撐平臺3、基礎支撐彈性計算能力(IaaS/PaaS)接入處理服務集成數據處理容災能力(兩地三中心)2、研發支持平臺資產共享2、分布式運維支持平臺研發協同持續集成測試支持部署配置全息監控日志分析流量調度分布式服務分布式事務軟負載均衡分布式數據庫分布式緩存分布式消息分布式批量分布式對象存儲分布式文件存儲開發支持分布式技術體系概覽九大運行支撐平臺軟負載均

11、衡n 產品介紹：工行軟負載均衡由四層負載節點（LVS/DP）和七層負載節點（Haproxy/Nginx）、管控平臺幾個部分組成，具備高可用、可擴展、動態配置等特性。n 技術特點：l豐富的負載均衡能力：支持四層、七層負載均衡，支持多種均衡算法、均衡策略和會話保持策略；l靈活的節點部署能力：通過與IAAS云平臺聯動，實現軟節點應用節點自動化管理，分鐘級實現環境搭建；l完善的故障隔離能力：支持后端應用節點基于連接、基于內容的健康檢查，自動隔離檢查失敗的節點；l豐富的定制擴展功能：實現PAAS云容器動態自發現、云容器動態自發現、SSL證書卸載、灰度流量調度、證書卸載、灰度流量調度、HTTPDNS等功能

12、。應用集群軟負載均衡SLB管控平臺管理請求系統管理七層軟負載管控臺Agent監控模塊安裝部署性能容量配置中心業務請求四層軟負載電子銀行電子商城快捷支付卡支付13軟負載均衡-解決方案n 為了解決開源軟件管理能力缺失的問題，工行自研實現了軟負載管控平臺，實現節點信息配置、健康檢查上送、遠程命令下發、自助化配置等功能。通過管控平臺，實現軟負載產品實現規?；渴鸷凸芾?，形成了企業級的負載均衡能力。軟負載均衡-解決方案（續）n 軟負載均衡可以用于支持分布式應用高可用架構，支持互聯網高并發場景，支持業務級靈活負載調度，支持PAAS云容器動態聯動流量調度。n 工行軟負載均衡廣泛使用，支持銀行核心互聯網應用系

13、統，如電子銀行、電子商城、快捷支付、卡組織支付等，提供銀行應用提供負載均衡支撐。日均處理請求60億，經歷了多次“紀念幣預約“雙十一快捷支付“的生產高并發考驗，滿足了”雙十一“每秒2萬筆處理需求。軟負載均衡-使用場景訪問庫存或會話更新網點庫存加載網點庫存同步到核心庫CDNCDN軟硬負載業務群組PaaSSET1主備節點庫主備核心庫軟硬負載業務群組PaaSSET4主備節點庫分布式緩存外高橋嘉定安全控制安全控制九大運行支撐平臺分布式服務n 工行技術路線：工行分布式服務采用高性能RPC調用模式，為應用提供了高性能、靈活、可擴展、高可用的運行方式，為業務研發提供了高效、標準化、可復用的開發模式。l 架構兼

14、容：自研服務網關協議轉換，提供傳統應用與分布式服務應用之間的互聯互通；l 高性能：毫秒級的RPC調用網絡延時，單節點超1萬TPS的處理能力；l 大規模：具備日均千億級的服務調用能力，統計監控數據實現秒級匯總；l 高可用：運行節點與注冊中心、監控中心解耦，服務節點故障與注冊中心、消費方自動重連。分布式服務-解決方案首創多點多活架構深度定制dubbo，實現多注冊中心訂閱，支持跨園區部署，具備就近接入、無損接管的多活能力。開源版本已規劃參考我行實踐建設多地多活的通用能力。業界領先的注冊中心減少97%的網絡流量，優化核心選舉算法，自研注冊熔斷機制，首創多中心異構架構，提高系統整體性能及可用性。超高性能

15、的RPC框架提供單節點萬級TPS、毫秒內延遲處理能力，可橫向擴展，實際支撐日均數十億次服務調用。深度定制內存模型，內存減少35%以上。支持分片路由、全鏈路灰度、多協議接入、二次擴展業務路由、同端口雙協議等13項金融級新特性。突破性的服務網關實現對應用透明的高性能服務網關，自動生成并熱加載服務存根，實現標準協議的透明轉換。填補開源版本服務網關的空白，為開源社區建設DubboProxy提供了思路、原型及方案。分布式服務-技術特征n 雙園區同時工作：多集群數據一致、多點接入n 開源增強：智能會話、觀察者模式n 異構部署：雙技術棧保護分布式服務-企業級注冊中心acbdabcdacbd消費者節點調用代理

16、緩存acbd嘉定acbd外高橋外高橋注冊中心嘉定注冊中心訂閱訂閱注冊自定義路由負載均衡調用代理bdd主備1234n 分布式平臺賬戶體系?；诜植际郊夹g平臺打造開放、融合的賬戶金融生態體系，實現“開在合作方的工行線上網點”，達到獲客、活客目標。l 建設分布式平臺賬戶體系，實現全行借記卡快捷支付、個人借記卡管理類、合作方電子賬戶類等高頻交易下主機，承載2.4億個人借記卡數據，日均1.1億快捷支付交易，超過全行總交易量的五分之一，全鏈路交易平均響應時間300毫秒以內。l 為合作方提供統一的金融解決方案：“工銀e錢包”以電子賬戶為載體，貫穿賬戶管理、支付結算、投資理財、融資信貸，為合作方提供一體化金融

17、服務輸出能力。l 為客戶提供開放的全新服務模式：實現與政府民生、互聯網、薪酬管理、類保證金等合作領域的深度融合。主機產品平臺產品平臺賬戶主機賬戶介質協議第三方快捷支付收單收單余額更新業務遷移協議賬戶賬戶介質余額余額理財存款貴金屬服務化改造客戶視角個人結算賬戶產品視角賬戶視角主機賬戶平臺賬戶分布式服務-典型案例九大運行支撐平臺分布式事務2.122n 事務一致性是分布式架構轉型的核心難題，我行采用完全自研的方式，在應用側形成了成熟的分布式事務解決方案，廣泛用于賬戶、客戶、介質等場景，支撐日均百億次跨庫事務的一致性處理，為應用服務化改造及主機下平臺過程中的跨服務、跨應用交易的事務最終一致性提供保障。

18、提供SAGA、TCC、可靠消息等事務解決方案，具備多級事務失敗處理機制。應用1應用2應用3應用4業務應用（參與者）業務應用（參與者）1N業務應用(發起方)分布式事務事務客戶端事務接收器事務Shard事務控制器事務掃描器MySQL事務管理鏈路回溯事務查詢人工補賬持久化事務記錄事務補償查詢、管理支持SAGA、TCC、可靠消息等模型，全面覆蓋金融級一致性場景。接入成本低，增加代碼注解即可使用事務微服務。提供多租戶、線性擴容、故障自隔離、灰度升級等高可用能力，日均處理上億筆分布式事務。事務具備多級失敗接管機制，確保事務100%最終一致。u 同業領先的事務一致性解決方案分布式事務-解決方案n 基于服務自

19、定義路由及動態配置熱更新能力，完成租戶隔離、動態水平伸縮、園區異常切換等核心企業級能力落地，全面提升服務端運行的穩定性。l隔離性：通過租戶區分不同接入應用，并單獨分配存儲資源，隔離應用間影響。l擴展性：服務無狀態部署，支持水平伸縮，實時切換流量到新增擴容分片。l高可用：三園區多點接入，對于園區級異常，通過配置中心設置可實時切換園區。分布式事務-解決方案（續）分布式事務-典型案例n 典型案例：主機核心通用轉賬業務分布式改造，通過分布式事務平臺提供的一致性協調能力，保障各類賬戶一借一貸到多借多貸的交易事務最終一致性。貸方渠道接入柜面電子銀行API網上銀行個人賬戶通用轉賬服務對公賬戶信用卡內部戶.借

20、方個人賬戶對公賬戶信用卡內部戶.分布式事務最終一致性協調九大運行支撐平臺分布式消息n 工行技術路線：基于業界主流消息引擎Kafka建設企業級消息服務平臺，為分布式系統內部以及系統間異步解耦、消息通知、流量削峰、數據共享等場景提供解決方案。n 消息服務平臺提供節點安裝部署、監控告警、水平擴縮容等完善的自動化運維能力。消息引擎 Kafka，包含服務端Broker、客戶端SDK。運行支撐組件Zookeeper：分布式協調器，負責Kafka消息集群元數據管理。Monitor：監控組件，負責節點狀態、性能數據監控。MirrorMaker：負責異地園區消息集群數據復制。HTTP REST Proxy：HT

21、TP代理組件，負責將客戶端HTTP收發請求轉發至Kafka。Stream Plugin：負責消息過濾/聚合等處理。運維組件 性能數據處理：性能數據分析，報表輸出。管理控制臺：運維操作、集群狀態展示。分布式消息-解決方案n 提供跨AB園區、C園區兩套Kafka集群，實現三園區三活架構，為業務系統跨多園區之間數據共享提供支撐。n Kafka集群，跨AB集群、C園區獨立集群，Topic分區多副本，A、B園區間數據延遲10ms。分布式消息-典型案例九大運行支撐平臺分布式數據庫n 開源分布式數據訪問層+MySQL+自研運維管理平臺l 分布式數據訪問層：采用開源產品DBLE；l MySQL數據庫集群：一主

22、多備架構，保障數據一致性；大規模實施云化部署，一鍵式快速供給；l 自研運維管理平臺：DBLE本身沒有配置運維管理功能，通過自研運維管理平臺，并對DBLE進行擴展，聯動實現安裝配置、監控告警、性能容量、健康檢查、高可用、節點擴展、數據備份/災備、安全審計等全生命周期的管理，提升我行運維自動化水平；分布式數據庫MySQL管理平臺數據操作狀態上報動態管理狀態上報動態管理數據庫管理系統管理節點Agent節點Agent服務端口管理端口配置中心高可用管理模塊性能容量監控模塊安裝部署備份恢復交易請求交易請求交易請求分布式數據訪問層負載均衡MySQL集群分布式數據庫l 多站點數據存儲，保證數據強一致性，實現同

23、城雙活RPO=0。l 本地故障秒級恢復，無需人工干預，業務系統無感知，園區級故障分鐘級同城切換。高度自主可控能力l 基于開源分布式數據訪問層和開源MySQL數據庫，構建分布式數據庫解決方案。l 自研運維管理平臺，實現大規模節點集群化、自動化、標準化管理。廣泛運用于各業務場景l 應用于多個重點業務場景。l 支撐雙十一、春節業務高峰萬級TPS。領先的數據云化服務l 在同業率先實現MySQL數據庫大規模云化服務，數據庫節點數量達到數千個。l 一鍵式快速供給，一體化運維管理。秒級恢復、分鐘級切換01020304分布式數據庫-技術特性n 實施效果：總記錄數超過160億，日均交易量超過2億，最高并發數76

24、00TPS，平均交易耗時小于30ms，支撐應用范圍同業最廣、日均訪問數量同業最高。渠道類應用分布式服務網關SET1B服務分布式事務渠道類應用分布式服務網關A園區B園區數據訪問集群A服務 公共服務數據庫集群1 （128片）數據庫集群2 （8片）SET2B服務分布式事務數據訪問集群A服務 公共服務數據庫集群1 （128片）對數據庫集群2 （8片）數據庫集群1 （128片）數據庫集群2 （8片）C園區RPC調用數據庫處理數據訪問群組異常處理數據庫主庫數據庫備庫數據庫同步31分布式數據庫-典型案例（全行性業務）九大運行支撐平臺分布式緩存2.1n 分布式緩存通過自研高性能、高可用、可擴展的分布式緩存服務

25、，提供高性能的主備模式，RPO=0的異地多活模式，主要技術能力如下：低延時高吞吐：主備模式站點內單筆請求可保證在1.5ms以內處理完成，同城跨站點在2ms以內完成。高可用：通過異地三活，同城雙活等實現高可用；通過自動預警及實時切換等機制避免緩存服務中斷；數據一致性保障：支持同城同步更新和異步更新兩種機制；動態擴容：通過準實時監控，支持緩存節點動態擴縮容，應對復雜的緩存負載場景；33分布式緩存管理平臺配置中心高可用管理模塊性能容量監控模塊安裝部署備份恢復狀態上報動態管理快捷支付電子銀行紀念幣嘉定負載均衡節點Agent代理節點（Proxy）存儲(Redis)集群數據請求轉發節點Agent外高橋負載

26、均衡節點Agent代理節點（Proxy）存儲(Redis)集群數據請求轉發節點Agent西三旗負載均衡節點Agent代理節點（Proxy）存儲(Redis)集群數據請求轉發節點Agent同步節點同步節點同步節點同步同步同步分布式緩存將高速內存作為數據對象的存儲介質理想情況下可以獲得DRAM 級的讀寫性能準實時監控，動態擴縮容，應對多變的負載場景可最大限度地提高資源利用率通過異地三活，同城雙活等機制實現高可用通過自動預警及實時切換等機制避免緩存服務中斷API 接口簡單易用、且與拓撲結構無關提供友好的圖形化管控平臺實現一體化運維分布式緩存-技術特性n 平臺個人結算賬戶通過分布式緩存集群，完成數據的

27、核對工作n 平臺個人結算賬戶在A園區首先將數據寫入B站點分布緩存集群，然后將數據寫入本站點Mysql，本站點Mysql會通過主備復制同步數據至B站點的備節點，B站點對Mysql的備節點與分布式緩存進行數據核對。n 通過lpush,rpop實現。提升服務性能，降低數據庫讀寫，連接數過多等壓力分布式緩存-使用場景n 電子銀行在分布式緩存中存放會話(session)信息A園區B園區redis-1(主)分布式會話集群Anos分布式會話集群Bnosredis-1(從)redis-2(從)redis-2(主)n 使用分布式緩存系統跨園區主從模式：實現A、B園區分布式會話雙活部署，支持園區內會話信息共享，實

28、現應用服務器無會話狀態。key:用戶sessionID field：登錄時間，IP等 value：登錄時間值，IP值等解決應用上云去狀態，緩存數據共享分布式緩存-使用場景九大運行支撐平臺分布式批量、文件存儲、對象存儲n 定位：解決傳統批量調度工具不能與分布式應用有效適配、存在單點故障、性能容量上限的問題。通過數據分片、作業編排、自動調度等功能提升批量并行處理能力，縮短運行時間；n 技術特點：l高可用：多活部署，執行器動態上下線、故障自動轉移，保障批量作業高可用；l易擴展：靈活設置作業分片，動態調整執行器數量，保障運行效率，控制資源開銷；l完善的運維能力：提供了可視化監控、依賴管理、預警管理、應

29、急處置等運維功能，提升批量運維管理效率；n 實施效果：已在平臺個人結算賬戶、外匯買賣等50多個應用落地，日均調度超過20萬次作業。.開發式基金外匯買賣實物黃金個人結算賬戶執行器-1.執行器-2執行器-n業務數據庫分布式批量任務數據庫調度控制器批量控制臺批量協調平臺&主機統一管理作業依賴調度作業容錯處理文件拆分合并數據分片并行調度作業斷點再續作業斷點重做重復批量控制分布式批量n 定位：解決傳統共享存儲高可用能力低的問題，支撐我行開放平臺業務系統文件共享存儲需求，并打通云上云下應用的文件共享；n 技術特點：l高可用：無元數據服務器的分布式架構，支持跨園區多副本，自動障域隔離機制，保障存儲數據的高可

30、用；l水平擴容：存儲卷的海量橫向擴容，具備橫向擴容后自動數據均衡能力，提升業務連續性；l集中管理：圖形化統一管理監控平臺實現一體化運維及監控指標展示，提升整體運維效率；n 實施效果：已落地工行應用50余個，對外提供總計300多TB的共享文件存儲。集群客戶回饋全球單證客戶信息企業財資管理平臺存儲管理員應用用戶分布式文件存儲門戶管控節點操作系統NFS/mnt操作系統客戶端/mnt掛載管理管控環境管理存儲管理副本管理卷存儲XFS存儲XFS存儲XFS卷存儲XFS存儲XFS存儲XFS讀寫讀寫分布式文件存儲n 定位：實現海量小文件快速讀寫，為行內的業務文檔類、影像類、音視頻類等非結構化數據提供高并發訪問平

31、臺；滿足行內的業務影像類、與業務流程密切相關的音視頻類，業務文檔類的服務；n 技術特點：l大容量：通過分級存儲架構，為業務系統提供海量非結構化數據存??；l易擴容：提供在線水平擴容，滿足業務彈性存儲需求；n 實施效果：已落地60多應用。解決以融e聯、融e購等為代表的互聯網應用的密集存儲需求，支持1萬TPS，數據存量已經達到2500多TB。分布式對象存儲對象服務 接口 信貸綜合檔案遠程授權個人網銀企業網銀融E購.存儲服務代理服務器chunkServerchunkServer塊存儲服務調用HTTPcoordinatorMETRICS序列服務注冊中心服務調用分布式對象存儲研發支持平臺+運維支持平臺運維

32、支持平臺n 定位：與分布式9大平臺匹配，建成涵蓋日志、指標、鏈路、診斷、治理等完備功能的運維系統；n 技術特點：l對應用透明：監控治理能力下層至基礎設施，應用無改造成本，標準統一；l監控能力完備：對齊日志、指標、鏈路三大業界監控標準，可實時在線診斷，提供全面的監控診斷能力；l治理能力豐富：具備熔斷/限流/降級、啟用/禁用、灰度調整等治理能力，滿足運維人員快速應急的需求；n 實施效果：全面覆蓋已轉型的150多個分布式應用，有序保證了快捷支付、ETC、電子銀行等重點業務的連續性。應用實例基礎鏡像OSJVMagent治理中心監控診斷中心配置中心Kafka流式業務拓撲分析鏈路監控指標聚合高可用保障平臺

33、報警聚合日志中心ElasticSearch智能運維監控網關診斷網關在線實時診斷熔斷/限流/降級服務啟用禁用灰度策略調整日志收集/存儲/查詢業務實時分析統計智能分析及運維細粒度指標聚合分析在線實時診斷全鏈路交易跟蹤業務拓撲實時分析應用一站式監控故障報警聚合快捷支付信貸電子銀行.ETC應用程序分布式運維支撐2.143n 全息監控平臺面向應用提供一站式可視化監控分析能力，通過打造以交易鏈路觀測為核心，整合提供鏈路、指標和日志等各專業系統集中展現的平臺，實現端到端問題分析、故障逐級鉆取、快速歸因、實時告警、架構感知等能力，幫助應用快速直觀掌握生產運行狀況。DSFSQLHSMNOSCTPEBTSprin

34、gHTTPDSRMyBatis概覽查詢壓縮報送規則設置測試團隊監控運維底座業務拓撲一站式分析鏈路中心指標中心告警中心開發部門架構管理部資源對象使用部門限流熔斷流量調度數據中心單元管控應急處置運維部門應用支持鏈路追蹤外部事件源AMC對接外圍基礎EAM標簽日志文件異?？煺諉卧O控架構感知故障診斷分析業務運維保障HMP場景化能力產品運營開發框架系統指標視圖應用全局視圖業務自定義視圖交易指標視圖系統指標采集交易指標采集調用鏈路采集應用層容器層物理節點元數據服務監控中間件專題批量監控事務監控事件告警指標告警ECC大屏展示掌上運維APPCMC配置DMQS消息跨單元流向圖單元流量分布圖在線實時診斷采樣率設

35、置業務標簽同步個金快捷支付信用卡信貸金融市場業務領域 。園區切換 全鏈路追蹤 在線實時診斷 一體化監控 業務拓撲分析全息監控2.1n 提供應用對日志進行統一的采集、存儲、檢索、下載與監控能力，目前接入應用數已達407個，日均 60T。44 統一的采集客戶端：提供統一的日志采集技術路線和部署，搜集應用、系統、設備日志，并通過加入采集特征信息對原始日志進行豐富。標準的投遞緩存能力：基于針對持久化存儲日志提供標準的日志投遞、消費接口，實現海量日志的可靠緩存存儲。分布式集群存儲能力：基于Operator技術實現日志集群云上快速搭建和擴容，提供百萬tps級分布式日志存儲能力。全面的日志服務能力：基于用戶

36、需求，提供按模板、容器、關鍵字等靈活的日志搜索和日志下載能力，實現基于日志指標的監控、報警、診斷分析功能，提高問題分析時效性。日志中心2.1n 自研企業級限流中心，解決分布式架構下治理能力分散、技術方案不統一、管控視圖缺失的企業級需求。45接入應用限流中心（服務端）限流中心（客戶端）統一管控視圖業務處理CTP調用fallback配置中心應急調整實時下發通過阻攔EBT調用HTTP調用遠端策略監聽請求攔截數據采集DDS調用SQL調用本地策略加載NOS、HSM調用JAVA內存調用信息上送動態變量管理限流中心配置中心接入應用DSF調用限流中心分布式治理場景全覆蓋：平臺總結提煉并形成標準化的限流、熔斷、

37、阻斷治理能力，提供對異常流量穩定防護的同時，滿足分布式領域的場景全覆蓋，填補之前邊緣場景治理能力的空白。生產快速止血能力：通過引入分布式配置中心，結合平臺“服務端+客戶端”的架構設計，運維人員可以對運行節點進行治理策略的秒級調整，實現對生產異常流量的快速閉環能力。監控治理一體化視圖：為提升運維效率，打破與全息監控的壁壘屏障，形成監控治理一體化視圖，真正做到“監控為治理提供依據，治理為監控展示成果”。推廣成效：目前平臺已在中心多個業務領域完成能力落地，核心場景守護效果明顯。截至目前，平臺已在生產運行6個月，接入應用59個，每日監控防護流量超20億筆，有效幫助應用快速應對生產異常流量，提升全行業務

38、運行穩定性。2.12.18 運維支撐體系-混沌演練平臺n 建設企業級的混沌工程演練平臺，提供系統級異常進行驗證的模擬和演練，促進基礎架構提升，促進應用架構提升，保證基礎設施平臺穩定運行，進一步保證上層應用的穩定性。46 統一的任務編排能力：通過搭建混沌工程管理平臺，實現混沌演練任務的可視化編排，任務狀態監控，任務的統一管理，以及生成演練評估報告。分布式集群調度能力：基于DCAP和PaaS平臺Ansible實現針對企業分布式集群下發混沌演練介質，并進行任務調度的能力，滿足混沌演練需求。豐富的混沌演練場景：通過自研+開源產品的方式，實現針對操作系統CPU、內存、磁盤IO、網絡等資源的故障演練能力，

39、同時支持針對Java程序以及Docker容器的故障演練，并根據演練經驗形成專家庫模型；推廣效果：目前全行已超過250個應用接入混沌工程故障演練平臺，共實施了一萬余次故障演練，發現并解決了400多個應用深層次的高可用問題，有效避免了在生產環境觸發這些問題?；煦缪菥毱脚_2.12.19 運維支撐體系-流量錄制回放平臺47n 自研流量錄制回放平臺，實現對生產環境流量進行錄制脫敏，并在測試環境重放交易進行程序邏輯驗證，幫助應用解決常規測試時邊界場景覆蓋不全的問題，提前揭示系統升級的風險，提升系統健壯性。生產流量應用服務流量錄制底座流量錄制回放管理平臺(F-TRRP)注冊中心F5/SLB網關網關網關DMQ

40、S消息數據處理節點數據處理節點數據處理節點ES回放工廠DMQS消息回放節點回放節點回放節點非生產環境配置中心錄制任務下發回放任務下發回放進度同步流量整形接入應用外部節點錄放平臺節點服務發現流量錄制流量持久化流量回放ES回放節點回放節點回放節點應用1應用2生產環境流量鏡像數據脫敏流量錄制回放管理平臺(F-TRRP)配置中心、zookeeper回放任務管理流量導出任務應用服務服務mock應用服務服務mockHTTPRPC文件導出FSS流量導出仿真場景流量錄放平臺獨創交易特征識別技術企業級的全鏈路監控產品深度定制的企業級日志中心一站式的診斷分析平臺獨創交易特征識別技術，提供智能的業務維度的監控預警能

41、力。自研鏈路在線聚合計算技術，提供百萬TPS性能的實時鏈路拓撲聚合，具備IT架構感知，故障逐級鉆取，快速歸因，快速識別影響范圍能力。全鏈路端到端覆蓋，支持每日數十億次服務無死角監控，可快速適配企業內部技術架構，具備同業產品輸出能力。通過深度定制ElasticSearch，將日志分析能力提升至每日數百TB；采用孤立森林、邏輯回歸等算法對應用日志進行實時分析，實現交易級異常點檢測及波動報警，大幅提升快捷支付等重點業務的可靠性。故障秒級發現，分鐘級定位。提供各系統監控指標的集中展現。打造云上云下線上實時診斷平臺，在不影響業務運行的情況下，提供從內存到代碼行級的7項實時在線診斷和故障定位手段。2.調用

42、鏈反查疑似環節1.定位異常點3.關聯日志、性能、診斷1.定位異常點運維技術特征49n支付交易TPS、支付交易成功率、交易響應時間、耗時過長交易、交易返回占比等多個交易指標的實時監控。n支持從具體模板和交易渠道維度精細化展現監控指標。n支持應用拓撲節點健康程度的實時檢測并對接集中監控。運維典型案例-快捷雙十一研發支持平臺+運維支持平臺研發支持平臺n 定位：提供面向分布式技術的工具及平臺，提升研發速度，促進各團隊之間的研發協作，加快線上問題分析效率；n 技術特點：l快速開發：通過一站式Java開發環境，支持聯機、批量各類應用開發；建設服務市場，推進應用服務組合創新；打造前后端協作平臺，規范化前后端

43、協作機制；lDevOps：通過一站式研發協同平臺，實現從需求受理到版本發布的一站式、可回溯、自動化處理能力，實現一鍵式DevOps快速開發及產品上線能力；l混沌工程：通過混沌演練平臺提供了一站式故障編排、運行分析、評價打分等功能，提升云平臺、各分布式平臺和業務系統承受生產環境中各類異常故障的信心；開發支持開發框架自助分析平臺文檔中心軟件倉庫服務市場一站式協同平臺環境供給自動化測試性能測試混沌工程構建部署前后端協作平臺資產共享研發協同持續集成測試支持研發支撐平臺云平臺基礎支撐 金融云n 隨著分布式、服務化工作的深入，對傳統運維模式帶來了新的挑戰l服務節點數量會呈現爆炸式增長；l服務動態橫向擴展需

44、求：快速擴容能力不足，難以滿足互聯網業務高峰；l服務快速交付：傳統的運維模式越來越難以為繼，搭建周期長（新集群環境準備耗時兩周以上）、成本高、擴展能力有限，不能支撐業務的靈活創新。分布式架構部署挑戰n 分布式與容器的結合：l 通過建設金融云，提供分布式系統應用快速部署、快速啟動、彈性伸縮等能力，支撐應用快速橫向擴展、以及靈活創新。n 金融云：l 基礎設施云IaaS：提供基礎的虛擬機、物理機和卷的全流程自動供應。以開源OpenStack+自主研發云管平臺，建設基礎設施云IaaS。l 應用平臺云PaaS：提供軟件資源（環境、中間件和應用程序）彈性快速供給能力。采用Docker、Kubernetes

45、等開源技術，架構PaaS平臺。通過自主研發結合本行技術特性，定制、擴展PaaS云平臺能力，有力支撐銀行技術架構發展。分布式與容器的結合n借助應用容器秒級啟動、應用集群分鐘級的彈性供給能力，提供業務快速彈性擴展，應對業務突發高峰場景n在定時彈性伸縮的基礎上，針對典型應用提供基于業務監控的自動化彈性伸縮支持n支持按業務均值配置設備，改變了應用按業務峰值配置設備的現狀，使設備大幅減配。n以紀念幣為例，5分鐘內完成300臺容器節點準備及對外服務。55金融云-秒級彈性伸縮n基于云平臺及分布式服務，提供快速彈性伸縮能力，可在分鐘級完成容器彈性伸縮，支撐了工行快捷支付“雙11”大促、春節紅包、紀念幣搶購、線

46、下店商圈秒殺等互聯網高并發場景。n基于云平臺及分布式服務，提升我行快捷支付彈性可擴展能力，支持20000筆/秒以上的支付能力，可在分鐘級完成容器彈性伸縮，有效支撐業務突發高峰。n所有交易全部運行于工行PaaS容器云上，紀念幣300個容器節點集群，5分鐘內可提供服務。秒殺完畢后，服務器快速回收，有效提升資源使用率。應用100%容器化入云，支撐互聯網業務高峰金融云-典型案例轉型，構建分布式技術體系夯實，打造銀行系統技術架構底座賦能，助力智慧銀行轉型n 基于分布式技術體系，我行初步構建起包括業務基礎服務、核心賬戶體系、重點產品服務等體系較為完整的開放平臺核心銀行系統。業務基礎服務提供企業級公共服務，

47、支撐業務交易在開放平臺閉環處理；核心賬戶體系提供核心金融服務；基于業務基礎服務和賬戶體系，實現重點產品下移主機，打造開放、融合的金融生態體系，有效支撐高頻業務快速增長。l平臺核心銀行系統在可靠性、可用性、可維護性、可擴展性、可監測性、容災恢復等方面已達到或超過主機水平；通過平臺核心銀行系統的建設，工行不再擴大主機規模，5年來累計節約資金近14億元。n 基于開放平臺構建的境外核心業務處理系統，是我行自主研發、功能完備、具備全球市場適應能力的核心銀行系統，滿足多國情、多幣種、多語言的差異需求，更好支持各機構多樣化、差異化的業務發展，適應不同國家地區的監管要求。l在中資銀行中，率先使用自主研發的開放

48、平臺境外核心業務系統，已在歐洲、亞太區域新設機構實際投產運營。開放平臺核心銀行系統業務基礎服務 用戶交互核心賬戶體系業務產品快捷支付分期付款貴金屬積存金 賬戶外匯柜面融e行自助終端融e聯API開放平臺融e購資金賬戶（個人II/III類賬戶等）交易賬戶（貴金屬份額賬戶等）權益賬戶（客戶積分、電子券等）客戶信息會計核算柜員管理機構管理身份認證工銀e錢包用戶APIATM借記卡構建開放平臺核心銀行系統，實現大型銀行IT架構關鍵性突破分布式賬務 億級賬戶數，覆蓋個人賬戶、權益類賬戶 6萬TPS，響應時間50毫秒 金融級數據一致性和高可用保障，RPO=0，RTO秒級快捷支付高并發，高可靠“雙十一”、“春節

49、紅包”，交易率瞬時增長5倍，2萬TPS，全鏈路交易響應時間70ms支付成功率100%紀念幣預約高并發，高彈性前5分鐘4000萬枚預約成功，30分鐘7000余萬枚預約成功請求數超8500萬，瞬時會話達140萬分布式客戶信息超大數據量高頻訪問6億個人客戶，千萬級對公客戶，日均2億次數據維護查詢金融級客戶信息一致性保障會計核算平臺超大數據批量核算10億級賬戶規模，日均超3億筆核算量30分鐘內完成會計核算處理支撐構建開放平臺核心銀行系統2.160n 行業最大規模應用：實現“應轉盡轉”，運行平穩，經受了大規模生產環境的實戰檢驗。n 全棧分布式解決方案：方案完整覆蓋了分布式技術的主要領域，通過有機協同、相

50、互補充，發揮出分布式技術的最佳性能，為金融行業進行自主可控的分布式轉型提供可借鑒的參考方案。140億 日均服務調用量250+分布式架構轉型應用數應轉盡轉網上銀行、手機銀行、紀念幣預約等瞬時熱點型應用資金收付、清結算、會計核算等強事務一致性應用客戶信息、歷史明細查詢等大規模信息型應用 建黨一百周年紀念幣并發峰值22.31萬筆/秒 雙十一可有效支持5萬筆/秒支付高峰分布式數據庫節點1萬+行業最大規模應用開放平臺核心銀行系統業務基礎服務 用戶交互核心賬戶體系業務產品快捷支付分期付款貴金屬積存金 賬戶外匯柜面融e行自助終端融e聯API開放平臺融e購資金賬戶（個人II/III類賬戶等）交易賬戶（貴金屬份

51、額賬戶等）權益賬戶（客戶積分、電子券等）客戶信息會計核算柜員管理機構管理身份認證工銀e錢包用戶APIATM借記卡全棧分布式解決方案超大規模的實踐n 工行以完備的分布式技術體系為支撐，探索形成了大型商業銀行開放平臺核心系統的建設方案，并通過了大規模生產的實踐檢驗，在體系規劃、路線選擇、定制開發、應用適配、轉型過渡方面積累的技術方案和實踐經驗可以作為金融行業打造分布式技術能力，實現分布式轉型的重要參考，后續可以通過產品輸出、方案輸出、服務輸出多種形式加速金融同業轉型過程。體系規劃方案設計轉型過渡金融同業核心系統分布式轉型提供最佳實踐與示范62業務隔離性數據處理流量調度業界多以服務框架中間件，或者通

52、過旁路代理，實現流量路由、故障隔離等能力，具備資源利用率高、易擴展、高可靠等特點。針對多地多中心場景，業界主流采用基礎能力單元化適配來支撐應用完成部署改造，降低故障爆炸半徑，提升切換靈活性，降低異地網絡延時。業界在開源數據庫方面，采用了主流的MYSQL8.0，同時面對錯綜復雜的上下游關系，具有較強的治理能力。平臺高可用各互聯網頭部企業逐步探索并落地，單元化高可用架構，并建設高度智能化、自動化高可用處理能力，從而控制故障的爆炸半徑，降低影響范圍。技術趨勢運維處置互聯網頭部企業均已建設了體系化的運維能力，具備成熟的業務監控運維模式，并形成了長效的攻防演練機制。研發支撐隨微服務架構、云計算的成熟，低代碼技術正在逐漸成為提升IT生產力的重要途徑；代碼智能補全、標準代碼檢索和插入，標準化代碼質量，提升研發效能。未來規劃THANKS!