【郵儲銀行】分布式架構應用實踐及分布式技術在銀行業的應用趨勢（41頁）.pptx

《【郵儲銀行】分布式架構應用實踐及分布式技術在銀行業的應用趨勢（41頁）.pptx》由會員分享，可在線閱讀，更多相關《【郵儲銀行】分布式架構應用實踐及分布式技術在銀行業的應用趨勢（41頁）.pptx（41頁珍藏版）》請在三個皮匠報告上搜索。

1、郵儲銀行分布式架構應用實踐及分布式技術在銀行業的應用趨勢郵儲銀行總工程師 徐朝輝2016 年 11月,一、郵儲銀行分布式架構應用實踐,3,目錄,基于開放式平臺，采用分布式架構,郵儲銀行信息系統總的技術路線,4,傳統Linux/UNIX上分布式架構,基于云計算的分布式架構,基于負載均衡器應用軟件架構模式,基于Oracle RAC的數據庫架構模式,基于內容的負載均衡架構模式,基于PostgreSQL的輕量級數據庫架構模式,并行處理,負載均衡,故障切換,流量控制,異常處理,哈希分庫,可視監控,冗余災備,兩條平行的技術路線,5,整體架構目標,個人業務邏輯集中系統,開放平臺|分布式架構,支撐全國6億客戶

2、和15億賬戶，4萬個網點日均業務量7000萬筆，峰值業務量1.1億筆利用小型機集群技術，24小時服務全國邏輯集中的新一代核心業務系統,6,總體思路,7,架構思想,8,通過業務功能橫向、縱向拆分及流量分發實現高并發業務處理，持續優化：分解訪問熱點、數據及流程優化、提高并行性,高并發處理能力,處理能力擴展,應用部署擴展,處理性能,分散處理壓力,業務功能分散部署,分散至多節點,分離處理功能,依據性能影響分離,依據處理獨立性,簡化數據存儲,簡化結構,刪除冗余結構,處理流程優化,并行處理,簡化處理流程,分離處理流程,日終并行處理,批量并行處理,9,滿足總行級業務系統全天候對外提供穩定可靠的金融客戶服務,

3、高可用性,10,個人核心業務系統專注于實現業務相關處理剝離會計處理、渠道管理、客戶管理功能,整體邏輯架構,11,拆分為多個業務子系統協作交易處理，統一對外提供服務各業務子系統分別部署，具備物理獨立性支持應用擴展和數據庫擴展，提升性能容量和彈性通過中間件實現系統間通信及事物一致性差錯處理機制,應用架構,12,開始上云的試驗！,開始部署華為昆侖小型機,從2017年開始，（1）各子系統逐步上云；（2）應用架構進行調整,各業務子系統都擁有獨立的應用和數據庫服務器集群服務器集群具備良好的可擴展性,應用架構,13,14,目錄,私有云建設目標,15,郵儲“云化+智能”信息化體系,統一架構，統一平臺,技術先進

4、，實用適用,安全可靠，平穩過渡,充分利舊，務求實效,資源調配更彈性靈活,實現IT資源的統一管理、彈性調配、智能化服務、自動化運維，滿足業務應用一鍵部署、彈性伸縮和故障自愈的需要。,數據利用更集中智能,實現數據統一訪問、集中存取、高效計算與智能分析，完成從“搬數據”到“搬計算”的能力轉變，為數據中心提供運行支撐。,服務集成更統一高效,構建服務的統一注冊、發布與部署環境，實現分布式服務集成，為“多場景、微應用”提供支撐。,應用開發更快速便捷,提供應用在線開發、測試和發布全過程服務能力，支撐微應用、移動應用建設，實現應用“云端開發、敏捷交付、灰度發布”。,建成資源調配更彈性靈活，數據利用更集中智能，

5、服務集成更統一高效，應用開發更快速便捷的郵儲“云化+智能”信息化體系，支撐核心業務服務能力、創新業務支撐能力與智能分析應用能力建設。進一步提升信息儲存、傳輸、集成、共享等服務水平，促進業務集成融合，縮短應用上線周期，快速響應業務變化，提升用戶體驗，增強系統運行可靠性。,15,郵儲銀行私有云的系統架構（優化開源+自主創新）,原生功能,增強功能,增加功能,KVM,16,云平臺-多數據中心部署架構,17,目前已部署600節點,云平臺建設,開發測試云平臺,核心應用云平臺,互聯網金融云平臺,大數據云平臺,開發測試環境,生產環境,18,云平臺建設,開發測試云平臺,核心業務云平臺,互聯網金融云平臺,大數據云

6、平臺,開發測試環境,生產環境,渠道管理平臺,手機銀行系統,自助銀行系統,互聯網網貸系統,小微金融服務平臺,中郵消費金融公司業務系統,比傳統模式平均節約51%的CPU和20%的內存資源預計5年內節省15%投資資源動態伸縮，部署管理更加靈活,云交易量占比35%，生產云系統及云交易量占比行業領先云平臺應用軟件架構技術行業領先,19,云平臺-渠道管理平臺,用于云平臺的服務器設備共部署216臺,渠道管理平臺云,性能測試結果19000筆/秒,20,數據庫分庫設計,云平臺-渠道管理平臺,21,云平臺-小微金融服務平臺,借助互聯網、云計算技術，通過行內、行外數據綜合運用提升資產管理能力，促進業務發展模式升級,

7、22,云平臺-手機銀行,手機銀行600萬筆/日，滿足移動金融業務的創新和發展,23,不改變用戶使用習慣保障業務高峰穩定運行、彈性擴展應用資源開通部署快速靈活實現統一管理分配，提升資源管控能力,提高資源利用率,傳統資源利用率20%云平臺資源利用率71%,51%,資源利用,高效管理,業務支撐,縮短開通時間,50%,傳統需要14天云平臺需要2天,720%,縮短管理時間,傳統人工調度需要需要5天云平臺需要20分鐘,總結,云平臺技術成效,24,資源包,操作系統鏡像,應用服務中間件鏡像,數據庫鏡像,基礎資源鏡像,平臺組件鏡像,應用系統鏡像,A應用鏡像,C應用鏡像,A應用鏡像,V1.0,V1.1,提供操作系

8、統服務,1,2,4,提供中間件服務,3,1,1,2,+,提供數據庫服務,1,3,+,提供應用中間件和數據庫服務,1,2,+,3,+,提供人資應用服務,1,2,+,3,+,4,+,將從操作系統、平臺組件到應用系統所有資源標準化封裝成資源包，實際通過鏡像倉庫進行管理，可以根據不同應用場景，實現不同資源包的靈活疊加組裝。,基礎能力 一體化封裝,云平臺技術成效,25,26,業務應用運維人員，根據應用部署需求繪制應用部署拓撲圖，由云平臺統一為應用提供主機、存儲、網絡、操作系統、中間件、數據庫、負載均衡服務，通過服務的組裝為應用提供完整的運行環境，實現應用環境的自動構建。,應用成效 一鍵式部署,傳統方式，

9、每個環節手工操作，通常需要2-3周,拖拽構建應用部署拓撲圖,未來基于云平臺，部署過程自動完成，只需要幾小時,一鍵式,云平臺中自動完成,云平臺技術成效,26,數據中心服務器，網絡，存儲,資源封裝,云服務,應用負載,用戶訪問量增加,用戶訪問量下降,云平臺具備彈性伸縮能力，系統應用負載大幅提高，通過分布式云操作系統等云平臺組件可實現根據用戶訪問情況自動擴展資源，提高系統的業務應用承載能力；系統應用負載降低，云平臺自動回收空閑的基礎資源，提高資源利用率。,應用成效 彈性伸縮,云平臺技術成效,27,云平臺技術成效,28,29,目錄,30,基于混合架構的大數據平臺,大數據平臺是“平臺中的平臺”，是海量數據

10、集中整合的平臺，是復雜場景高性能計算的平臺，是深入應用數據資產價值的基礎平臺,整體架構,高性能計算環境（數據探索、模型建立）,ETL環境,準實時計算環境（ODS）,數據集市,數據展現集市,數據下載集市,風險集市,非結構化數據存儲,大數據平臺,財務集市,可視化展示平臺,源數據層,大數據平臺架構Hadoop環境：準實時、高性能、非實時復雜計算環境Vertical環境：主數據倉庫數據集市：財務集市、風險集市、,準實時計算環境（實時阻斷黑名單客戶交易、反洗錢等）,31,HP Vertica環境,176節點，18個機柜，每個機柜10個節點，第18個機柜6個節點分為2個集群：128節點，作為數據倉庫；48

11、節點，作為數據分析環境,Vertica 集群,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,控制節點,Rack#1,vxxx,vxxx,數據節點,圖例,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,Rack#2,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,Rack#3,v001,v002,v003,v004,v005,v006,Rack#18,32,數據應用成效明顯,完成數據倉庫移植提供22大類，1100張報表服務90%應用響應時間

12、控制在15秒以內,支撐個人綜合積分、掌柜貸、郵享貸、銀監會數據報送的大數據計算為信息統計、績效考核、FTP、CRM等18個系統提供數據服務,開展主題分析51項模型固化展示2項數據服務470份為各省拆分下發26個系統數據,接入26個業務系統；數據規模221T，提升6倍；每日處理量92T，效率提升10倍應用開源技術，獲取外部數據20萬條以上,分析挖掘深化,夯實數據基礎,數據倉庫移植,數據應用支撐,大數據平臺,33,大數據應用：基于大數據平臺構建綜合營銷體系,大數據平臺,支撐,個人綜合積分系統,1.系統為客戶價值提供多元衡量標準，以積分為橋梁增強客戶黏性2.掌握客戶360度信息，實現價值客戶精準營銷

13、3.提升客戶體驗將成為銀行業的變革核心4.銀行業的競爭演變將從客戶到用戶再到賬戶，這是一個客戶資產結構競爭的趨勢,業務價值,客戶營銷系統（O-CRM、A-CRM、C-CRM）,借助大數據平臺，通過個人綜合積分系統分析：資產1萬元以下的客戶數占比83%，而貢獻資產僅為5%，即17%的客戶貢獻了95%的資產。通過客戶營銷系統，要針對價值客戶實施精準營銷,83%,34,小型機和PC服務器相對不穩定,實際情況是：（1）電子產品工藝越成熟，批量越大，產品越穩定；（2）通過架構（冗余）可以用不穩定的產品構建穩定的系統；,開源的產品不穩定,實際情況是：（1）眾人拾柴火焰高；（2）關鍵是選好、用好；,商用的產

14、品有服務、可以分擔責任,實際情況是：（1）有服務不一定能夠解決問題；（2）沒有任何廠商為銀行信息系統的故障承擔責任和損失；,思想觀念的轉變很重要,35,二、分布式技術在銀行業的應用趨勢,趨勢一：集中式架構將逐步遷移到分布式架構，但集中式架構設計思想將長期存在,37,大量基于集中式架構構建的業務應用將逐步遷移到分布式架構，包括電子渠道處理，管理決策，數據挖掘與分析等領域的應用將更快的遷移到分布式架構。但基于CAP原理的約束，分布式架構無法實現實時強數據一致性，而這是銀行核心交易和賬戶數據所必須滿足的要求，因此集中式架構設計思想將在核心交易及賬戶數據處理上被采用。,趨勢二：核心銀行系統將進一步“瘦

15、核心”化,38,但隨著分布式數據庫應用的深入，部分銀行已經將核心系統的查詢交易（大約能占到核心交易量的70%左右）遷移到分布式系統中，這種既不影響核心系統的交易一致性，又能降低核心負載，同時提升系統整體穩定性的做法將被越來越多的銀行采用,趨勢三：分布式技術的普及將促使銀行的總體IT成本相對下降,39,在基礎設施層面，基于分布式架構構建的業務系統將主要運行在PC服務器+Linux環境上。分布式架構的一大優勢是對每個數據節點的計算能力以及單點可靠性的要求大幅降低了，這導致廉價的PC服務器可以憑借數量優勢取代之前主流的大型機，從而帶來IT總體成本和支出的下降。,趨勢四：開源分布式技術將是銀行的主流選擇,40,在過去的十幾年，開源技術獲得了較快的發展，以MySQL為基礎構建大規模Share Nothing架構的分布式、結構化數據處理平臺，以Hadoop為基礎構建大規模、非結構化數據處理平臺，在國內外銀行業，已經積累了不少的成功案例，這個趨勢將繼續發展下去，而且速度會加快。,謝謝！,