2018年金融分布式中間件分享.pdf

1、金融分布式中間件分享阿里巴巴中間件高級技術專家金融科技分論壇新金融，新技術阿里巴巴基于分布式技術構建中臺演變之路案例分享用戶用戶用戶用戶銀行直接連接客戶互聯網是渠道獨立提供金融專業服務用戶遷移成本高銀行需要連接價值互聯網是經營平臺場景化、融入式的共同服務客戶共創共贏連接的邏輯連接的邏輯發生變化發生變化客戶在哪里？普惠產品創新？能力如何輸出？痛點金融“傳統金融模式”到“新金融模式”的轉移IT架構轉變：從交易型向交互型轉換應用服務器DB服務器存儲網絡數倉和BI業務請求業務交易業務分析交易型 IT客戶要求客戶服務業務分析傳統IT交互型 IT互聯網化借貸保險電子商務消費金融支付供應鏈金融理財眾籌客戶關

2、系客戶關系客戶關系客戶關系客戶關系客戶關系客戶關系客戶聚集點前移客戶交互創新渠道脫媒，客戶脫管如何識別，牽引和保有客戶業務在線帶來更多挑戰與機會技術變革數據驅動快速落地運營驅動業務域驅動力用戶為王觸達C端用戶用戶體驗移動化、實時在線智能化業務數據化數據業務化營銷活動運營推廣業務試點產品試點高并發、高可用、大容量數據能力業務敏捷能力應對不確定性技術域需求用戶體驗業務驅動技術技術拓展業務共享能力中心業務渠道基礎設施基礎架構平臺（IaaS）EDAS運維管控GTSMQ.開放緩存服務網銀能力開放交易來源第三方應用支付網關直銷銀行其它應用保險營銷系統分布式技術平臺外部第三方能力系統外聯代收通道用戶中心支付

3、中心賬務中心賬戶中心營銷中心交易中心積分、卡券理財中心產品中心其他清算中心代付通道人行征信公安聯網核查增值服務電商P2P企業直連客戶端開放平臺總賬及后線分析核心交易銀行核心其他互聯網金互聯網金融業務中融業務中臺臺基于分布式技術構建的互聯網金融業務平臺是支持“新金融”模式的基礎分布式架構是技術演進的方向：業務敏捷，應用彈性，持續交付傳統架構分布式架構分布式架構是技術演進的方向：業務敏捷，應用彈性，持續交付傳統架構分布式架構架構特點傳統IOE架構X86分布式架構業務支撐傳統銀行業務的適用場景；單體應用，交付周期長，缺乏業務敏捷性；銀行業務互聯網化的有效支撐；服務化應用，持續交付，業務敏捷；技術特點

4、高可用傳統架構存在單點（如F5）；分布式架構保障全局無單點；擴展性擴展存在瓶頸點，邊際效應遞減、擴容成本高昂；線性擴展，邊際效應不衰減、擴容成本低廉；性能中心化架構，存在中心點性能瓶頸（如：存儲）分布式架構，各層完全線性擴展，無理論性能瓶頸點；成本收益IOE架構后期維護成本較高，硬件設備集成在少數廠商；分布式技術一次性投入，后續維護成本低，硬件設備選擇范圍廣；自主可控過多依賴傳統IOE廠商；分布式技術開放且資源豐富，具備較好的自主可控能力；實施風險成熟方案，已經積累豐富的開發，生產運維經驗，實施風險較低；實施難度較大，生產運維經驗尚需要積累，需要控制實施范圍及有實施經驗的廠商提供支持降低實施風

5、險；單體應用小機大機集中式數據庫服務化應用X86分布式數據庫新金融，新技術阿里巴巴基于分布式技術構建中臺演變之路案例分享阿里早期技術架構JBoss淘寶MVCSpringIbatisJBossWebxSpringApp3OR_mappingJBossWebxSpringApp2OR-MappingJBossWebxSpringApp1緩存分布式存儲搜索OracleOracleNode1Node2NodeNNode1Node2NodeNNode1Node2NodeNiBATIS幾百人維護幾個人維護幾十人維護應用程序包的大小一直增長2002年2008年通過4項技術架構變革拓展商業邊界1.應用微服務化

6、，數據庫分布式，突破硬件設備天花板用戶中心交易中心類目中心店鋪中心商品中心評價中心共享服務業務應用拆分共享邁出第一步2007用戶中心千島湖項目交易中心類目中心五彩石項目店鋪中心商品中心評價中心經過67年的服務化演進，目前服務中心數已達50多個應用微服務化數據庫分布式 以服務化方式將系統專業分工 構建共享服務層，實現“厚平臺，薄應用”完善服務治理和監控，保證業務 應用與數據庫全面解耦 突破數據庫能力瓶頸 線性擴展應用服務器應用服務器應用服務器應用服務器應用服務器應用服務器DRDSDRDSServerServerDRDSDRDSServerServerDRDSDRDSServerServerRDS

7、RDSRDSRDSRDSRDSDRDSDRDSServerServerRDSRDS2.數據化運營體系建立，建立服務治理和自動化運營基礎1 12 2用戶級數據用戶級數據每用戶的服務鏈，全流程故障，性能數據積累提供每應用，業務鏈請求流程故障，性能，依賴數據積累積累整個系統架構中，服務化模塊中每個服務化模塊在系統中的依賴關系系統運營，提供整體系統風險點，容量優化數據基礎應用級數據應用級數據系統架構級數據系統架構級數據綜合優化建議數綜合優化建議數據據3.高可用架構建立：沉淀70多款產品實現高可用分布式架構鏈路負責人鏈路負責人服務提供者服務提供者誰調用了我的服務？在什么鏈路下調用，調用是否合理？調用趨勢

8、怎樣？產生的瞬間峰值有多少？我依賴了哪些應用、哪些服務？整個鏈路的依賴路徑是怎樣的？哪些容易出錯，哪些是鏈路的處理瓶頸？這些依賴如果出錯，會有什么影響？分組：業務差異化對待分組：業務差異化對待限流：不超過系統限定水位限流：不超過系統限定水位鑒權：對服務權限控制鑒權：對服務權限控制治理手段治理手段治理手段治理手段弱化：容忍異常，業務不中斷弱化：容忍異常，業務不中斷降級：對故障分支進行短路降級：對故障分支進行短路引流：分流或切換到其他通路引流：分流或切換到其他通路壓測：系統能力的估算壓測：系統能力的估算優化：提高瓶頸點和毛刺的性能優化：提高瓶頸點和毛刺的性能分布式服務治理分布式高可用分布式事務分布

9、式服務開放運營燎原燎原CSPCSPAthenaAthenaTDDLTDDLMetaQMetaQbutlerbutler全鏈路壓測全鏈路壓測一鍵建站一鍵建站BCPBCP應用隔離環境應用隔離環境灰度發布灰度發布4.異地多活架構建立，突破IDC機房規模天花板數據中心A數據中心B數據同步復制異地備份數據中心數據異步復制數據異步復制隨機訪問隨機訪問cdn2數據同步中心單元1cdn1服務層cdnN緩存層數據層單元2服務層緩存層數據層接入層中心服務層緩存層數據層單元N服務層緩存層數據層接入層接入層接入層中心備份同步調用異步消息兩地三中心異地多活 按用戶分片訪問不同單元的數據中心，單元封閉完成用戶交易；多個跨

10、地域的數據中心，每個數據中心均承擔用戶讀寫流量，多點寫 任意一個數據中心出問題，其他數據中心均可分鐘級接管用戶流量 EDASMQDRDSGTS是關鍵支撐產品。資源浪費，成本極高 單點寫，當壓力高時存儲層的壓力并未分散賣家維度寫入賣家維度寫入買家維度讀寫阿里巴巴互聯網分布式系統頂層架構支撐飛天平臺（虛擬化，大數據計算，安全等等）企業級互聯網架構平臺：實現業務能力云化的基礎，支撐業務微服務化共享。共享服務層：對集團業務的微服務化抽象共享運營，實現業務能力共享。技術層面：高可用，異地多活，數據化運營業務層面特征：創新快，敏捷 數據實時打通無孤島 高并發，線性擴展，所有業務同架構大平臺高可靠，無單點用

11、戶中心商品中心交易中心評價中心搜索中心數據服務中心營銷中心店鋪中心共享服務企業級互聯網架構平臺（Aliware）EDASMQDRDSARMSTXC中臺IDC1IDC2IDCn.在全業務鏈上真正實現業務數據實時、統一、在線企業數據層共享服務會員中心會員服務會員管理前端會員數據會員數據服服務務交交互互商品中心商品服務商品管理前端商品數據商品數據交易中心交易服務交易管理前端交易數據交易數據支付中心支付服務支付管理前端支付數據支付數據訂單創建流程訂單創建流程訂單創建流程訂單創建流程訂單創建流程訂單創建流程訂單創建流程訂單創建流程服服務務交交互互服服務務交交互互服服務務交交互互共享服務層中臺的共享服務框

12、架是支持新業務快速落地的最佳陣型1717中臺航空母艦中臺航空母艦 協同效率高協同效率高 把握戰機敏銳把握戰機敏銳 調整調整方向快方向快能力開放是企業構建生態的基礎中臺總結建設業務中臺和數據中臺，好的想法依托于中臺，可以進行快速的嘗試和改善，使業務創新能力有本質飛躍大數據中臺(數據萃取、標簽化)企業級互聯網技術架構多端（APPWEB微信釘釘微博|第三方應用）阿里大數據技術平臺業務中臺(商品、用戶、交易、評價)業務應用大數據應用讓新業務可以以更低的成本完成構建將各個煙囪系統變成基于服務的平臺讓我們更讓我們更架構關鍵點應用服務能力的線性擴展數據庫能力的線性擴展高并發下的高性能響應快速新業務開發上線多

13、區域間的業務協作分布式事務的支持服務治理能力數據化運營能力全鏈路監控跟蹤能力可控開放與后端系統的整合公共服務層應用層資源層數據中心基礎架構平臺（IaaS）分布式服務服務運維管控實時業務實時業務運營服務運營服務消息服務消息服務分布式事務分布式事務服務服務實時數據分析實時數據分析服務服務用戶中心商品中心交易中心統建應用分支機構創新應用能力開放平臺ApsaraApsara AliwareAliware提供的中間件能提供的中間件能滿足企業滿足企業在線交易類業務的支撐在線交易類業務的支撐技術類技術類業務類業務類 公有云應用訪問層第三方應用營銷中心財務中心CSBCSB將承載企業基將承載企業基于自身服務和數

14、據于自身服務和數據開放運營的使命開放運營的使命GTSGTS針對在分布式環境下針對在分布式環境下必然要面對的分布式事必然要面對的分布式事務難題，提供業界性能務難題，提供業界性能最高的分布式事務服務最高的分布式事務服務MQMQ為系統提供削峰填谷為系統提供削峰填谷能力的同時，也成為物能力的同時，也成為物聯網入口聯網入口ARMSARMS讓用戶對業務指標讓用戶對業務指標的變化做到實時感知，的變化做到實時感知，真正讓真正讓ITIT從運維走向運從運維走向運營營EDASEDAS為企業搭建了內部為企業搭建了內部高速公路網絡，為業務高速公路網絡，為業務快速、創新發展提供業快速、創新發展提供業界最專業的微服務架構界

15、最專業的微服務架構阿里巴巴 Aliware中間件成為構建業務中臺的基礎技術架構Aliware是基于線上業務驗證的分布式架構能力最佳實踐分布式服務服務框架服務注冊及發現服務容器分布式數據庫分庫分表數據庫運維平臺數據庫管理平臺服務配置數據復制分布式消息多種類型消息異地多活性能可靠性可用性HA能力分布式事務穩定性能力分布式運維能力鏈路分析流量控制降級能力在線日志分析CMDBAgent監控平臺調度平臺DEVOPS分層自動化持續交付生產持續發布環境分層持續部署全自動并行SCM配管彈性資源管理能力（計算，網絡及存儲）功能需求高可靠性高可用性高性能可擴展性可管理性安全性 分布式服務能力：服務RPC協議調用能

16、力，服務注冊和發布的基本功能，如Dubbo，EDAS；可擴展性：垂直擴展及橫向擴展的能力，線性擴展邊際效應不衰減；服務支持應用容器，應用全生命周期管理和彈性伸縮。分庫分表支持分布式事務，分布式復雜查詢,MySQL兼容，平滑線性水平伸縮，MQ支持分布式事務消息服務；高性能：高并發，低響應時間、高吞吐量、高資源利用率等等；比如HSF協議比Dubbo協議序列化性能提升30%。MQ支持高性能毫秒級消息通知系統，海量消息堆積能力；可管理性：具備規?；倪\維及管理的能力，線上管控；服務框架支持數字化運營，鏈路監控、服務降級、限流等；分庫分表工具，支持優秀的數據庫運維體驗，MQ支持消息全息排查。安全性：針對

17、金融行業安全需求，完善安全，支持等保相應級別；非功能需求 分布式消息能力：支持分布式隊列模型，如RMQ，阿里MQ；分布式數據能力：實現數據的分布式存儲能力，分庫分表，讀寫分離等功能，如Mycat，DRDS；高可用/高可靠：高可用，容災能力，單元化及異地多活能力；分布式架構需求Aliware是金融級分布式技術平臺新金融，新技術阿里巴巴基于分布式技術構建中臺演變之路案例分享案例1：某股份制銀行基于分布式技術的互聯網業務平臺：“架構轉型、厚平臺、薄應用”彈性系統性能和可靠性隨時適應業務增長要求敏捷靈活快速地實現新需求，支持業務變化和發展單體應用日漸臃腫無法針對熱點模塊擴展服務集群擴展難度大公共功能重

18、復開發集成和回歸效率低分布式應用服務架構隨著敏捷開發的要求以及輕量級部署技術的成熟，分布式架構成為演進方向，通過原子化服務縮短應用交付周期，通過P2P虛擬總線保證高可用高性能的分布式。注冊中心服務治理業務中臺渠道應用個人網銀手機銀行直銷銀行微信銀行用戶服務信用卡服務借記卡服務營銷服務理財服務增值服務貸款保險服務訂單服務第三方渠道支付服務清算中心厚平臺業務能力沉淀業務平臺運營薄應用應用“薄”、敏捷快速適應業務變化案例1：某股份制銀行現狀及重構策略手機手機APPAPP網絡金融HTTPJSONPCPC瀏覽器瀏覽器網上渠道HTTPJSON有米直銷E+盈月光寶盒無限城網絡投融資個人網銀app手機銀行微信

19、銀行發現精彩支付網關wap手機銀行E賬通前置虛賬戶資金往來應用was、jvm網銀平臺電子銀行營銷發布系統電子支付was、jvmDB2DB2DB2DB2虛賬戶資金往來DB2DB2DB2DB2網銀營銷發布DB2DB2支付內管應用was、jvm網銀批次作業網金批次作業支付批次作業柜面網關核心系統基金系統理財系統。HTTPHTTPHTTPHTTP網絡金融系統行內關聯系統網上渠道系統分布式服務架構改造思路：新建共享服務中心，分批建設各中心功能，快速提供業務集成基礎能力；網上渠道業務需求量旺盛，優先重構接入共享服務中心，利于創新業務的快速開展。第三方商戶HTTP案例1：某股份制銀行互聯網業務平臺目標架構業

20、務中臺業務應用基礎設施(IAAS)VMware分布式服務框架(EDAS)分布式數據庫(DRDS)分布式消息(MQ)分布式緩存(Redis)網銀能力開放(API、H5、SDK)交易來源第三方系統商城支付網關?；A服務(PAAS)外聯網關用戶中心賬戶中心清算中心交易中心權益中心產品中心基礎中心支付寶P2P企業直連展示端支付中心營銷活動中心直銷銀行分布式事務(GTS)日志分析中心電商財富通銀聯京東第三方系統信用卡核心借記卡核心理財系統基金系統行內系統保險系統。商品中心實時監控服務(ARMS)人行征信聯網核查互聯網金融。用戶數據用戶數據庫集群庫集群交易數據交易數據庫集群庫集群賬戶數據賬戶數據庫集群庫集群產品數據產品數據庫集群庫集群商品數據商品數據庫集群庫集群權益數據權益數據庫集群庫集群營銷數據營銷數據庫集群庫集群XXXX數據庫數據庫集群集群案例2：某股份制銀行分布式架構轉型：整體架構其他案例政府部政府部委：委：央企：央企：車聯網車聯網&物物聯網：聯網：金融：金融：其他行其他行業：業：物流物流&能能源：源：金融科技分論壇