【上海農商】中小銀行分布式架構探索實踐（20頁）.ppt

《【上海農商】中小銀行分布式架構探索實踐（20頁）.ppt》由會員分享，可在線閱讀，更多相關《【上海農商】中小銀行分布式架構探索實踐（20頁）.ppt（20頁珍藏版）》請在三個皮匠報告上搜索。

1、中小銀行分布式架構探索實踐,上海農商銀行信息科技部 田立中,目 錄 Contents,1 上海農商銀行信息系統概述2 分布式架構實踐3 分布式架構運用思路,上海農商銀行信息系統概況（1）,張江數據中心于2013年6月投入使用，主要承擔生產機房和開發測試機房用途，機房面積約5300平米。桃浦數據中心于2010年初投入使用，主要承擔災備機房用途，機房面積1000平米左右。,上海農商銀行信息系統概況（2）,上海農商銀行信息系統概況（3）,三大總線,四大平臺,1）JavaEE三層架構為主2）應用服務器基本采用集群來提升可用性和擴展能力3）數據庫要為db2，少量使用了Oracele RAC4）本地高可用

2、手段：HA、vSphere群集HA、RAC1）單個OLTP系統內部為同步交易為主2）系統間交互以消息中間件異步交互為主1）占我行系統數量約70%2）應用服務器基本采用集群來提升可用性和擴展能力,上海農商銀行信息系統概況（4）,上海農商銀行信息系統概況（5）,1）利用Esxi按照業務區域組成群集2）池化了物理機資源和存儲資源3）虛擬機的統一管理1）報表、自助分析取數平臺，采用db2 dpf 的MPP架構2）大數據平臺，采用hadoop、HBASE、Hive等分布式技術3）數據倉庫采用了Teradata MPP架構,分布式架構實踐自助分析取數平臺,IBM P770DB2 dpf1個協調節點，9個數

3、據節點每個節點4C8G,光纖以太網絡,分布式架構實踐數據倉庫,1、近50個業務系統數據納入數據倉庫2、2個MPP物理節點，數據量達到30TB3、為包括行長駕駛艙、績效考核等近10個決策支持類系統和分析類系統提供數據,數據倉庫在我行發揮重要作用：,分布式架構實踐大數據平臺,2015年底構建了基于Hadoop分布式處理框架的大數據平臺，以高可靠、高效率、可伸縮的方式完成我行54個數據源系統的加載和處理，構建了包含邏輯回歸、決策樹、軌跡匹配算法等32種數據挖掘算法庫。,構建統一的大數據平臺,逐步建設基于大數據平臺的分析應用,2016年3月份實現基于大數據平臺的錄音錄像數據的查詢2016年6月份啟動基

4、于大數據平臺的日志分析應用建設,建立大數據分析能力,基于大數據平臺，結合我行業務發展及管理需求，逐步開展離線數據分析、實時/流數據處理、數據挖掘、機器學習等多場景分析應用系統建設。,核心賬務系統,SAP財務系統,結構化數據,ODS,信用卡前置系統,客戶費累加器表新舊賬號對照表存儲稅的明細,客戶主表卡賬戶信息表卡產品卡交易表,貸款信息主表貸款交易流水表存款收費流水,存款主表存款定期主表存款附加表_計提當月累計基數表,企業級客戶信息,綜合理財平臺,中間業務系統,金融IC卡,一,存儲54個數據源系統，90T數據,后續規劃計劃2017年底完成我行歷史數據存儲系統（HDS）92個應用服務，65個數據源系

5、統遷移工作2018年6月份完成影像平臺30T影像數據遷移工作,待遷移,26個物理節點 數據節點22個管理節點3個ETL節點1個,建設情況,分布式架構的運用思路新挑戰的需要,1）業務量是平時的數百倍；2）當前架構，數據庫是瓶頸；3）應用服務器水平擴展成本代價太高。1）傳統業務的互聯網化，數據累積越來越快2）歷史累積的數據越來越大3）數據分析即時性要求越來越高1）監管的要求2）聯合促銷,4、成本壓力的挑戰,分布式架構的運用思路架構選擇原則,1）安全可控 2）嚴格的可用性水平要求1）傳統業務的互聯網化，“秒殺”將逐漸成為常態2）適應互聯網金融的要求，跨業融合、API經濟將成為主流1）軟件逐步向Saa

6、S過渡，適應開放、互聯的趨勢；2）硬件逐步向PaaS、IaaS過渡，資源可以計量、計價。1）封閉向開放過渡，更多的開源產品的應用2）小型機向x86過渡，資源服務化將成為主流1）設備成本 2）軟件許可成本 3）運維成本,4、主流技術,5、全生命周期成本最低,分布式架構的運用思路分類處理,1）并發要求低、負載壓力相對均勻的系統，集中式處理還是比較好的選擇2）并發要求高、負載壓力極為不均勻的系統，分布式服務是目前的共識1）MPP數據庫2）非MPP分布式數據庫1）逐步將非結構化數據納入大數據平臺2）建設大數據分析能力,分布式架構的運用思路應對“秒殺”思路（1）,分布式架構的運用思路應對“秒殺”思路（2）,分布式架構的運用思路應對“秒殺”思路（3）,來源：http:/,分布式服務架構,分布式架構的運用思路應對“秒殺”思路（4）,來源：http:/,分布式架構的運用思路分布式服務架構挑戰,1）服務定義、配置管理2）服務的依賴關系3）服務授權等1）超時回退機制2）弱一致性帶來的問題1）監控及故障診斷2）批處理3）備份及恢復,分布式系統的運用思路分布式數據庫,1）遷移過程中的sql兼容性問題2）ACID向弱一致性過度需要克服的問題3）備份、恢復同集中式存在較大不同4）運維工作相對復雜5）分布式數據庫在銀行OLTP系統案例少,探索在OLTP系統中使用分布式數據庫,