2019年架構轉型實踐-金融業務場景下的新一代架構.pdf

1、金融業務場景下的新一代技術架構技術中臺的建設與實踐030201銀行面臨的挑戰與應對技術中臺的規劃與建設核心系統的轉型與實踐數字化數字化digitalizedigitalize目錄目錄1.1.1變革與挑戰-客戶需求轉變1.1.1變革與挑戰-客戶需求轉變q 服務：用戶普遍希望能夠得到高效、快速的金融服務。q 品牌：用戶對銀行品牌的感知度普遍較低，品牌差異化并不明顯。q 產品：銀行產品同質化，缺乏以客戶為中心的個性化精品，用戶往往同時使用數家銀行來滿足金融需求?；ヂ摼W加速銀行客戶對金融服務的需求變化：近年來，用戶在“花”、“貸”、“存”方面都在發生巨大轉變，79%的用戶資金主要往互聯網遷移，而簡單、

2、便捷已成為用戶選擇金融產品和服務的首要考慮因素，同時也希望金融平臺能夠一站式滿足多方面的金融需求。圖1 銀行用戶查看銀行信息的渠道圖1 銀行用戶查看銀行信息的渠道新中產q 18-35歲之間q 月薪3000-5000元q 沒有信用卡q 消費需求旺盛的城市白領及藍領傳統金融不能覆蓋新中產：截止2018年8月末，央行征信系統數據庫累計收錄了9.7億自然人，其中只有4.4億人有信貸記錄，征信的真實覆蓋率為35%，剩下5億自然人缺少征信數據。消費潛力巨大：2018年底，我國居民消費支出占GDP比重剛超過50%，和發達國家80%乃至90%的數字相比，還有較大差距。新技術引爆消費金融新技術引爆消費金融基于移

3、動互聯網、大數據及人工智能的反欺詐和大數據風控等技術日益成熟，使得信用下沉和批量放貸成為可能。消費升級和消費降級并存q 一部分消費者愿意花更多的錢，換取產品更多的附加價值，高端消費品、海外購物十分旺盛，18年上半年化妝品增長14.2%，運動型多用途汽車（SUV）銷售同比增長9.7%。q 一部分消費者在消費時更加看重“性價比”，低價銷售平臺火爆，拼多多一年銷售額2600億元，用戶數量達到3.4億人。1.1.2變革與挑戰-消費行為改變1.1.2變革與挑戰-消費行為改變1.1.3變革與挑戰-新業態的沖擊1.1.3變革與挑戰-新業態的沖擊 以BATJ為代表的互聯網企業，正以其獨特的經營模式和價值創造方

4、式，對商業銀行傳統業務形成直接沖擊，甚至具有一定的替代作用。動搖客戶基礎擠壓利潤空間-支付結算-融資理財沖擊資金基礎金融脫媒資金脫媒客戶脫媒信息脫媒渠道脫媒互聯網金融網絡支付移動互聯大數據云計算互聯網技術網絡融資網絡理財催生促使沖擊互聯網金融僅僅是敲開了傳統銀行向智能銀行邁進的大門，背后是互聯網經濟時代銀行業 商業模式、經營模式和組織模式的深層次變革。網絡支付：改變了用戶支付習慣以第三方支付為代表的網絡支付是互聯網金融的發源地，迅速改變了用戶的支付習慣。q2013年以前，第三方支付主要以淘寶為代表的電商引領；q2016年以春節微信紅包為契機，轉賬成為交易規模的增長動力；q未來線下消費（掃碼、刷

5、臉）將成為新的交易增長點。不同場景下支付方式選擇占比（%）支付是入口，入口打開了，理財和融資必然會被突破。支付的價值不僅止于支付本身，憑借支付活動所掌握的客戶信息、交易信息等大大增加，能夠對客戶信用、行為、愛好等進行全面的了解和掌握，從而為其他金融業務提供必要的基礎性支持。更多挑戰1.1.3變革與挑戰-新業態的沖擊1.1.3變革與挑戰-新業態的沖擊網絡融資：與生活、生產的深入融合發展路徑互聯網公司商業銀行消費場景生產場景按投放場景：消費金融，供應鏈金融，P2P等；按客戶類型：零售網絡融資，對公網絡融資業務分類-零售網絡融資的主要在網絡消費金融領域。-對公網絡融資主要創新在供應鏈金融領域?；ヂ摼W

6、金融公司利用其在原生業態的場景優勢（一是獲客的便利優勢，二是獲得客戶行為和交易數據的優勢）所進行的融資業務探索。其業務范圍主要發生在零售消費領域。2018年螞蟻金服的消費者借貸規模已經達到5450元人民幣（約合800億美元）。商業銀行則從自身長期從事信貸業務的客戶和風控基礎出發，進行了一些探索。97737.30100002000030000400005000060000700008000090000100000中國互聯網消費金融螞蟻花唄、借唄農行線上消費貸款（億元）2017年中國各互聯網消費金融市場參與方放貸規模占比2018年互聯網消費金融放貸規模1.1.3變革與挑戰-新業態的沖擊1.1.3變

7、革與挑戰-新業態的沖擊網絡理財：喚醒了公眾的理財意識2013年以“余額寶”為代表的互聯網“寶類”理財產品誕生，刷新了公眾對理財產品的認知。需求端供給端從供需兩端看寶寶類理財-降低理財產品的準入門檻（從5萬1元）；-喚醒大眾理財意識。-對于大部分互聯網金融平臺而言，貨幣基金類產品已成為標配，提升了金融的普惠性。1.1.3變革與挑戰-新業態的沖擊1.1.3變革與挑戰-新業態的沖擊1.1.4變革與挑戰-平臺型企業崛起1.1.4變革與挑戰-平臺型企業崛起阿里巴巴集合在線批發、零售電商、大文娛、交通出行、生活服務、金融科技、物流網絡等多板塊，構建電商、金融、物流三大生態系統，阿里巴巴旨在發展為全球第一個

8、基于虛擬空間的“互聯網+”經濟體，體量或超過10萬億元，成為全球“第五大經濟體”。圖1 瞄準全球“第五大經濟體”的阿里星系圖1 瞄準全球“第五大經濟體”的阿里星系騰訊從什么都自己做，到專注連接使命。目前，騰訊聚焦社交平臺、數字內容和金融的“兩個半”業務，其他垂直領域采取與伙伴合作模式，構建“去中心化”的“森林型”生態體系。q Bank 1.0，商業銀行完全以物理網點作為業務辦理場所。q Bank 2.0，以ATM機出現為起始點，在互聯網浪潮推動下，銀行紛紛推出網上銀行，客戶開始在線辦理查詢、轉賬等基礎類業務。Bank1.0 2.0q 2007年智能手機的出現，以移動金融的快速發展為主要特征，銀

9、行脫離了物理網點的束縛，能夠為客戶提供“因你而在”的服務。Bank 3.0q 技術不再改變銀行業務的某個元素，而是永久改變了人們使用銀行的方式。數字渠道將實現所有銀行業務的實時交付，讓銀行變得“無所不在”。Bank 4.0從Bank1.0到Bank 4.0，銀行服務因科技而變得無時不在、無處不在。銀行要提供基于實時場景的嵌入式銀行服務，提供基于人工智能的優質客戶體驗，推行數據分享和開放，構建基于數字化轉型的組織架構，成為Bank 4.0時代的鮮明特征。從Bank3.0到Bank4.0的關鍵在于銀行如何走出自身，從Bank3.0的移動化無處不在，到Bank4.0的服務觸點無處不在，如何將觸點遍布

10、到客戶需要的地方，融入產業生態，擺脫金融脫媒的危局，重鑄銀行服務。1.2.1 應對與轉型-銀行的數字化轉型-Bank4.01.2.1 應對與轉型-銀行的數字化轉型-Bank4.0風控方式創新數字化轉型的方方面面經營理念轉型運營模式轉型工作資源轉型產品服務轉型 風控體系轉型銀行的應對之道決策模式創新運營模式創新生產模式創新產品服務創新智能決策線上、線下、遠程三輪驅動人、財、物、考核向數字化轉型以數據為生產資料的產品創新模式信用評價體系 線上風控體系 反欺詐 數據資產化創新信息與數據轉型數據整合與共享、數據挖掘與分析服務、AI能力支撐1.2.2 應對與轉型-銀行的數字化轉型1.2.2 應對與轉型-

11、銀行的數字化轉型1.2.3 應對與轉型-銀行的數字化轉型-IT轉型1.2.3 應對與轉型-銀行的數字化轉型-IT轉型對客服務以客戶為中心組件化的移動端開發框架支持多團隊協同開發支持投產熱更新靈活可擴展的部署能力服務聚合、開放協作采用微服務技術組件化金融基礎服務實時向前臺輸出金融核心功能為前臺應用的靈活快速搭建提供全面、共享的服務支撐統一/共享能力輸出為全行提供統一、強有力的能力輸出和IT技術支撐打造強大的技術后臺構建先進的數據后臺薄前臺移動研發平臺新柜面應用平臺自助設備統一平臺厚中臺分行金融服務平臺分布式核心系統開放銀行數據服務數據分析數據應用強后臺計算、存儲、網絡個人（個金 三農 私行）存款

12、信貸支付結算資產管理投資理財金融市場信用卡托管客戶員工運營渠道營銷客服代理貿易融資風險控制信用評價反洗錢反欺詐產品維度服務維度流程維度客戶維度對公（公司 機構 大客戶 普惠）線上（掌銀 網銀 小程序）線下（自助 柜面）渠道維度數據中心業務平臺化產品線上化經營數據化服務生態化1.2.4 應對與轉型-銀行的數字化轉型-技術中臺1.2.4 應對與轉型-銀行的數字化轉型-技術中臺提供企業級開發框架、共享技術能力、支持服務化/微服務架構提供DevOps 工具鏈，將應用需求、開發、測試、部署和運營統一，優化整體協作響應提供企業級數據應用和 AI 服務能力薄前臺薄前臺技術中臺提供靈活調度、自動化管理的應用運

13、行環境厚中臺厚中臺強前臺強前臺030201銀行面臨的挑戰與應對數字化數字化digitalizedigitalize技術中臺的規劃與建設核心系統的轉型與實踐目錄目錄2.1 技術中臺總體視圖2.1 技術中臺總體視圖2.2 人機交互域-前端領域2.2 人機交互域-前端領域多端用戶體驗跨瀏覽器跨平臺移動桌面iOSAndroidWinIEChrome易用一致簡化開發支持客戶端能力服務能力標準規范開發工具腳手架模板工程樣板工程知識庫研發框架UI組件庫客戶端SDK移動網關移動發布消息推送數據同步移動分析CDN編碼規范設計規范易用性規范1234移動門戶移動門戶內插件式小應用移動H5獨立web應用 移動小型獨立

14、應用桌面H5獨立web應用 桌面H5單體web應用原生H5-PC H5-Mobile原生H5-PC H5-Mobile原生H5-PC原生H5-PCH5-Mobile技術收斂OCJavajQueryVue渠道類移動終端（掌銀）、營銷類移動終端、信貸類移動終端.管理類應用Web端、數據分析類應用Web端、客服類應用Web端.統一H5技術VUE17開發工具基礎服務客戶端框架、組件開發工具移動端UMAPWEB端UDesk1 2 3 41 2 3 4CDNH5-PCH5-M大前端平臺框架、組件統一H5技術VUE報文協議適配（灰度發布統一KV接口軟負載均衡路由配置及選擇面向方法的調用面向報文的調用服務自動

15、注冊服務自動發現軟負載均衡熔斷降級PaaS云支持服務調用運行數據采集13接口管控2交易量采集響應時間采集管理與展現全鏈路監控數據采集傳統模式微服務模式管理態運行態接口（含微服務接口）注冊、訂閱、變更、廢止等管理功能及流程。對接運行態管控接口消費關系統一視圖路由管理接口調用管控（傳統應用，微服務）對接管理態數據（手動、自動）接口測試支持接口描述及消費關系自動發布傳統模式微服務模式全鏈路監控數據采集交易量采集響應時間采集管理與展現微服務模式傳統模式AIR-RMC服務消費方服務消費方服務提供方服務提供方（主機、開放平臺）ISmart接口管控（管理態）接口管控（運行態）服務調用服務調用接口 定義訂閱

16、關系路由 信息服務發現 全鏈路信息接口管控分布式配置中心全鏈路監控AIR-ACC(JAVA/.NET/C)AIR-ACC-M(Taihang Boot)AIR-ACC-M(Taihang Boot)RSCRTC1112232配置參數訂閱關系服務注冊 1服務治理解決應用系統服務間的有序互聯互通問題。包括：技術上可聯通、治理上可管控、運行上可檢視，即：連得通、管得住、看得見。2.3 應用協同域-服務集成領域2.3 應用協同域-服務集成領域192.4應用協同域-數據集成領域規劃2.4應用協同域-數據集成領域規劃支持多種數據源實現消費關系管理機制提供穩定可靠的實時數據服務 數據庫數據采集；開放應用數據

17、發送；主機、開放報表下發；p 多語言客戶端支持；p 提供開源系統集成支持；數據生產方信息管理；數據消費方信息管理；管理態消費關系管理；p 運行態消費關系管理；p 數據接口注冊、申請、發布；提供統一的數據消費方式；提供穩定的數據緩存服務，實現應用系統間數據解耦；可靠的監控的告警機制；p 實現兩地三中心的部署架構；數據集成實時數據總線實時數據總線批量數據總線批量數據總線批量數據總線批量數據總線ISmartDOTA主機報表文件主機報表文件主機數據庫主機數據庫主機同步庫主機同步庫開放應用數據開放應用數據開放應用開放應用分行節點分行節點數據下移報表上傳數據接口發布/訂閱數據結構變動通知數據發送數據采集數

18、據抽取數據消費數據下發報表下發報表獲取報表下發報表發送報表下發實時數據總線實時數據傳輸數據獲取數據庫數據采集應用數據發送多語言客戶端開源系統集成統一消費方式數據緩存服務監控告警兩地三中心消費關系管理管理態消費關系運行態消費關系數據接口管理消費方管理生產方管理批量數據總線文件傳輸子系統數據抽取子系統管理端子系統傳輸控制子系統Sqoop數據抽取模塊BCI數據抽取模塊大數據平臺主庫-Hadoop模塊貼源數據預處理ODS數據預處理文件傳輸子系統管理端子系統20接口服務管理全域安全控制微服務API網關多云/混合云流量管理流量監控服務路由報文轉換健康檢查頻度控制1234超時管理流水記錄限流降級熔斷認證授權

19、對接反欺詐平臺、ISmart流量控制日志處理Session處理數據轉換跨區流量分發負載快速恢復流量快速擴容跨區交易安全跨區接口資源池分行特色傳統合作金融服務平臺網上貸款平臺線上支付平臺繳費中心銀企互聯交易銀行綜合網關平臺綜合網關平臺-GAP外聯服務平臺外聯服務平臺-ICC銀企互聯APP-SDKH5頁面服務API負載均衡黑白名單協議適配會話保持訪問控制安全過濾身份鑒權Web應用防護安全檢查認證鑒權服務聚合分行平臺總行專線外聯開放銀行平臺外部環境統一接入層內部環境外部環境統一接入層內部環境軟負載均衡路由控制管理門戶開發工具運行框架運行管理服務 軟負載均衡路由控制管理門戶開發工具運行框架運行管理服務

20、基于外聯開放技術統一基礎設施統一技術標準統一管理流程2.5外聯開放域2.5外聯開放域應用研發應用生態應用生命周期快速開發彈性可擴展簡單可依賴設計開發、測試構建、部署開源社區組件共建分布式架構/微服務分布式核心應用渠道交易類應用管理類應用分析類應用公共服務集成一站式開發環境PaaS云適配 配置托管批量應用場景最佳實踐 開發規范雙模架構開發腳手架1234567組件層框架層Util工具日志配置框架開發輔助測試框架Spring Boot星云監控線程池數據連接池TCPPoolHTTP服務服務器編號異步任務BJS報表USAPUFILE分庫分表緩存服務TCP服務RPC/REST發布全鏈路太行云引擎PaaS數

21、據庫配置分布式配置代理BootStudio(IDEA)輔助工具BootStudio(Eclipse)功能樣例樣例回歸樣例場景樣例配置服務管理接口分布式配置中心運行服務管理服務流程圖模式FlowStudio 太行云應用套件PaaS-API組件12345633343運行管理工作臺7Java開發規范規范手冊開發手冊平臺編碼規范88圖例：2.6應用服務域-后端服務(太行平臺)2.6應用服務域-后端服務(太行平臺)瀏覽器手機APP防護應用前置瀏覽器數據庫服務器身份認證微服務通用組件UPKI統一認證統一加密主機安全提供加密、解密、轉加密、摘要計算、密鑰管理等以加解密為核心的安全服務提供卡交易過程中的卡片驗

22、證、持卡人驗證功能。實現全行PKI 體系的有效統一，為上層應用系統提供證書全生命周期相關服務。實現微服務場景下的安全訪問控制：第三方接入場景中，管理對外權限；同時在微服務之間進行訪問鑒權。圖形驗證碼、密碼驗證組件、短信驗證碼、文件上傳下載安全控制組件等。提供面向行內用戶的認證服務和單點登錄服務。1交易安全存儲保密性配置安全安全審計身份認證安全審計輸入輸出安全控制剩余信息保護存儲保密性身份認證訪問控制會話安全輸入輸出安全控制會話安全訪問控制配置安全信息展示存儲保密性56342安全服務生態圈開放平臺系統.主機系統.5外網用戶內網用戶信息安全展示剩余信息保護身份認證訪問控制會話安全輸入輸出安全控制5

23、信息安全展示剩余信息保護2.7公共服務域-安全服務2.7公共服務域-安全服務集成服務公共服務基礎資源應用服務容器云平臺調度容器接入服務計算資源存儲資源網絡資源鏡像倉庫容器引擎資源調度容器編排資源管控存儲服務緩存服務消息服務負載均衡路由應用應用應用應用鏡像管理應用管理網絡管理存儲管理集群管理日志管理監控管理租戶管理用戶管理配置管理任務管理彈性伸縮灰度發布、不間斷升級服務發現、注冊服務代理PaaS管理平臺 資源環境：測試、生產 資源規劃：定期評估，加入到PaaS資源池中 資源分配：資源額度（CPU、內存）資源使用：基于容器（租戶）2.8云基礎設施服務-PaaS2.8云基礎設施服務-PaaSBI數據

24、存儲，為了利用BI引擎的計算能力，需要將大數據平臺（關系型數據庫）中的數據導入到hadoop環境。根據不同計算引擎的需求，存儲在hive或者habse上。BI計算引擎，使用kylin提供數據預計算能力，解決多維分析需求，使用impala/hawq技術解決大數據下的即席查詢需求。統一AI引擎，為AI模型訓練和運行提供數據、算法、算力支撐。模型訓練中心，提供全流程建模支撐。模型運行中心，提供模型運行功能，實現跨平臺模型的統一運行。AI數字資產中心，積累AI建模過程形成的數字資產，實現特征、模型和樣本的共享和復用。分析挖掘統一門戶，實現模型訓練、模型運行的圖形化界面。2.9大數據服務域-大數據+AI

25、+BI2.9大數據服務域-大數據+AI+BI門戶管理對象基礎服務應用應用WindowsLinuxAIX應用數據庫OracleSybaseDB2應用中間件WASIIS應用數據服務應用調度服務應用配置服務應用模塊應用|應用|應用|應用|數據可視化鏈路監控日志監控應用驗證數據操作持續交付應用發布數據更新數據適配報文還原應用監控應用操作任務編排定時調起批量執行網絡旁路應用信息人員信息Docker流式計算作業監控應用網頁端應用移動端待辦處理信息查詢性能展示告警展示數據變更程序部署待辦處理性能展示信息查詢運行分析數據集市健康檢查容量評估值班管理事件管理告警展示應用流程服務流程定制流程管理流程追蹤流程通知機

26、構信息分區信息鏈路監控應用驗證數據操作應用發布數據更新應用監控應用操作監控中心（紫薇）操作中心（織女）交付中心（北斗）分析中心（啟明）明確指標（TPS、響應時間、成功率）規范方式（平臺、網絡旁路、日志）告警管理（靜態閥值、動態基線）各類監控指標921個監控統一操作方式、實現平臺化、規?；\維數據查詢 工具數據變更 工具應用驗證、應用操作工具操作發布方式統一持續交付，開發、測試和生產一體化交付應用部署 工具交付運維數據集市、數據可視化、智能化系統評價、診斷預測、運行決策、AIOPS入庫運行指標（TPS、交易量、金額等），運維指標（事件、問題、變更等）分析2.10研發運維支持域-運維平臺2.10研

27、發運維支持域-運維平臺030201技術中臺的規劃與建設數字化數字化digitalizedigitalize銀行面臨的挑戰與應對核心系統的轉型與實踐3.1核心系統-概述3.1核心系統-概述“核心銀行系統（BoEing）”承載農行核心業務，包括存款、貸款、銀行卡、支付結算、投資理財等產品應用和基礎運營、客戶管理、賬務管理、產品工廠、合約管理等基礎應用。處理5億客戶10億賬戶的資金往來高可靠性高可靠性高性能高性能單體應用單體應用專用體系專用體系日處理8億筆交易，峰值TPS 1.5萬筆交易/s數百人的開發團隊，實現銀行對私、對公多種業務產品領域專用開發語言、大型主機、ZOS降低運行成本降低運行成本資源

28、彈性擴展資源彈性擴展提升交付效率提升交付效率 集中式（單體)架構分布式（微服務）架構3.2核心系統-架構轉型3.2核心系統-架構轉型技術自主可控技術自主可控3.3核心系統-架構轉型-分步實施3.3核心系統-架構轉型-分步實施v1.0 讀寫分離v2.0 基礎模塊拆分v3.0 產品模塊拆分核心業務平穩運行業務需求合理排期關聯系統平滑切換 數據一致可靠準確分步實施 小步快跑 快速迭代飛行中換引擎3.4.1核心系統-架構轉型-讀寫分離3.4.1核心系統-架構轉型-讀寫分離p 構建網關層，屏蔽系統拆分對外部系統的影響p 通過Qrep數據同步技術，實時將主機數據同步到開放平臺數據庫p 基于太行平臺搭建查詢

29、服務p 在網關層將對延時非高度敏感的查詢業務請求路由到查詢服務讀寫分離模式能夠快速實施，緩解主機業務壓力的同時，培養團隊適應新的開發體系3.4.2核心系統-架構轉型-基礎模塊拆分3.4.2核心系統-架構轉型-基礎模塊拆分PAAS大數據平臺將構建業務產品需要的基礎模塊進行拆分重構，為產品模塊下移打好基礎p 以較大的業務粒度進行應用拆分和服務化重構p 在spring-boot、spring cloud生態基礎上搭建應用與服務治理體系p 完善的運維監控支撐p 基于容器的云環境部署p 實時數據、批量數據交換p 安全、緩存等基礎服務3.4.3核心系統-架構轉型-產品模塊拆分3.4.3核心系統-架構轉型-產品模塊拆分PAAS大數據平臺基于搭建好的技術平臺與基礎應用，逐步拆分重構業務產品服務p 應用合理分層，避免循環調用p 從用戶少、影響小的產品開始試水p 采用事務補償模式處理跨服務的一致性問題p 引入分布式數據庫簡化分庫分表的復雜度