【巨杉軟件】NewSQL技術加速互聯網金融發展（32頁）.pptx

《【巨杉軟件】NewSQL技術加速互聯網金融發展（32頁）.pptx》由會員分享，可在線閱讀，更多相關《【巨杉軟件】NewSQL技術加速互聯網金融發展（32頁）.pptx（32頁珍藏版）》請在三個皮匠報告上搜索。

1、NewSQL技術加速互聯網金融發展,徐云西,公司介紹,廣州巨杉軟件開發有限公司簡稱：巨杉軟件成立于2011年，專注于新一代企業大數據平臺研發核心產品：SequoiaDB（巨杉數據庫）中國第一款新一代分布式數據庫完全自主研發，數據庫引擎沒有基于任何開源數據庫源代碼核心研發團隊來自IBM北美DB2研發團隊已經成功部署并運行在多家世界500強企業的生產環境中與IBM,Cloudera,Databricks建立戰略合作獲得Spark產品認證發行權，并嵌入自有大數據產品中獲得風險投資機構DCM（B輪）、啟明創投（A輪）青睞中國第一款商業開源數據庫產品,巨杉的用戶,已擁有的客戶包括多家世界五百強企業和知名

2、IT互聯網公司。巨杉的發展依賴于合作伙伴，共同致力推動整個大數據軟硬件產業的發展。,佛山氣象局,太原市公安局泰州市公安局,“互聯網金融”已深入到金融業的每個環節,“互聯網+”：利用互聯網的平臺、信息通信技術把互聯網和包括傳統行業在內的各行各業結合起來，從而在新領域創造一種新生態。,傳統金融如何引領互聯網金融的發展？,以數據湖構建企業級數據存儲平臺,數據湖是利用低成本技術來捕捉，提煉，儲存和探索大規模的長期的原始數據的方法與技術實現。存儲全量歷史數據及其所有屬性其中的數據向多個下游系統借鑒使用不同的數據種類是構建數據湖的主要驅動因素數據湖可以提高信息的使用和共享,傳統數據集市為了優化數據分析的性

3、能，只存儲部分屬性，只操作已經聚合的數據。,業務人員可以更加快速和靈便的使用數據。,數據湖的操作區與分析區,回單查詢,實時風控,司法查詢,影像平臺,數倉報表,用戶畫像,風險管控,NewSQL近線數據平臺體現數據湖業務價值,近線數據平臺,SequoiaDB,熱數據（在線）,溫數據（近線）,冷數據（離線）,傳統數據庫,Oracle,DB2,數據計算層服務,數據生命期管理工具,存儲介質從磁帶改為分布式庫/文件存儲可用性大幅增加不可修改,低延時,高并發數據查詢,影像處理,熱數據可以根據數據生命期管理機制遷移為溫數據銀行在線對外業務，如核心交易、信用卡等重要模塊,近線數據平臺存儲原本離線與近線數據，不涉

4、及已有在線業務對已有業務不進行替換，而是補充達到離線數據近線化、與近線生產庫瘦身兩大目的,高延時,批量分析,數據挖掘,歸檔庫,歸檔文件數據,機器學習,事件流,以數據歸檔為核心目標，適當提供交互式查詢分析能力以公檢法數據查詢、提取統一接口為出發點，實現自由查詢能力以ECIF、回單數據為出發點，實現固定查詢能力,近線數據平臺一期,近線數據平臺一期應用方向1：司法查詢,近線數據平臺一期應用方向2：ECIF、回單查詢,ECIF,柜面、網銀、手機銀行等渠道,DB2,SQL增刪改,批量同步,SQL查詢,交易流水數據,全量的歷史流水數據,網銀/手機,柜面,基于一期項目，提供固定格式查詢、自由查詢兩大主題完善

5、元數據管理以及批處理任務管理功能制定與其他系統的對接規范,近線數據平臺二期,近線數據平臺二期總體架構,在線交易區,自由查詢執行區,自由查詢驗證區,管理區,歸檔管理,任務管理,資源管理,用戶管理,源系統數據,核心系統,卡核心,網銀系統,其它系統,近線數據使用ODS+FTP實現隔日同步數據,服務層,監控管理,SDB集群數據庫,CD,FTP,ECM近線數據,影像數據,文本數據,ECM在線數據,影像數據,文本數據,ECM歸檔數據,影像數據,文本數據,ECM內容管理平臺,存放自由查詢數據區一個月內最新樣本數據，用于驗證自由查詢請求語法效率,根據自由查詢需求存放原始數據存儲區數據表鏡像,數據加工調度層,根

6、據業務需求存放需要提供在線查詢的歷史數據,定制查詢數據區,數據服務區,沙盒區,原始數據鏡像,原始數據鏡像,原始數據鏡像,原始數據樣本,網銀集群,信用卡集群,。,核心集群,近線數據存儲區,歷史數據歸檔 和 查詢服務平臺,自由查詢數據區,加工后的數據,ODS,NAS,CD,FTP,ODS,票據,近線數據服務平臺搭建,SDB為存儲層，負責數據的存儲計算層SDB與Spark功能互補Spark適合自由查詢與數據加工SDB適合固定格式查詢與數據管理,SequoiaDB,Spark,全面深入分析互聯網金融客戶,建立以客戶為中心的經營理念，善于發現客戶的需求，以客戶的需求出發來指導互聯網金融產品的設計、服務、

7、營銷等工作。屬性：客戶本身的固有特征，用于指導客戶的分層分級工作；行為：客戶已發生的事件，用于挖掘客戶的偏好和傾向，并預測未來客戶可能的需求；需求：未來客戶可能發生的行為，由屬性和行為關聯分析產生，用于指導具體的客戶運營工作。,善于發現客戶需求的變化，特別是由需求帶來的客戶下一步行為，作出快速應對和調整，才能在“互聯網”時代的競爭中取勝。,客戶屬性的特征,客戶已發生的行為,客戶潛在的需求,完整的客戶標簽樹體現分析結果,客戶標簽分類,。,客戶分析成果的應用,金融行業標簽分類體系，基于業務主線，構建符合本銀行業務分類邏輯的標簽框架。,傳統實現方式面臨的挑戰,基于第三范式多個大表關聯客戶名單篩選性能

8、差標簽維護困難業務人員無法隨意增添標簽只能通過應用層生成衍生（計算）標簽不能直接修改數據模型需要IT開發人員進行字段級維護，實現周期長,NewSQL數據庫JSON對象數據模型,實現客戶標簽庫數據處理過程,數據模型簡單化按對象存儲降低范式層次化對象嵌套形式實現一對多模型轉換優勢數據處理邏輯簡單減少大表關聯操作，查詢效率高業務邏輯靈活業務人員直接增刪標簽，無需IT人員管理,文檔型JSON數據結構,customer_id:1,name:“孫悟空,accounts:account_number:13,account_type:“Checking”,balance:28000update_date:“2

9、016-09-30”,account_number:14,account_type:“Savings”,balance:1000update_date:“2016-11-21”,flags:flag_id:“00020003”,flag_id:“00100008”,flag_id:“06110001”,移動互聯網的網點智能化營銷推薦,排隊信息實時傳輸并打印推薦產品信息,根據當前客戶信息、網點信息和客戶行為和偏好做實時匹配，提供最合適的銀行產品和業務,實時營銷推薦系統,實時發送提醒和推薦信息,通知網點客戶經理及時聯絡客戶,網點自助設備,微信服務號,大數據平臺,客戶,客戶,互聯網金融快速發展下的大

10、數據體系研究獲得中國銀監會2014年度“信息科技風險管理課題一等獎”,實時行為信息對推薦的影響,不千篇一律的場景化推薦,通過對線上行為信息的采集和分析，我們發現客戶雖然從歷史交易信息體現為一個風險厭惡者，但是最近三個月瀏覽股票型基金以及短期高收益高風險理財產品的概率明顯上升廣義和狹義的“客戶行為”定義內部多個部門、多個渠道之間的數據整合外部客戶行為的采集和交換由客戶行為來對客戶短期喜好進行標簽（與傳統CRM的差異）用預定義的A/B測試進行實時驗證,理財產品推薦流程,推薦產品,可選基金產品,用戶全景畫像,1,2,根據歷史記錄和實時事件進行產品接受度的評分,推薦評分最高的產品,根據歷史記錄自動評價

11、用戶特征相關性,互聯網金融產品需要快速設計與迭代創新,設計快速簡單組件化個性化配置時間周期靈活動態產品套餐產品說明文檔、圖片,NewSQL數據庫支持各種旅游產品的設計存儲,支撐途牛旅游網每天超過3000萬次旅游計劃查詢支持包括酒店、機票、租車、大巴、景點門票等30多種不同類型旅游資源的快速更新替換傳統的關系型數據庫MySQL,互聯網旅游產品的設計,產品概念,廈門4日自由行,2016-08-01出發,機票8.1,酒店8.1,2016-08-01,酒店8.2,門票8.2,2016-08-02,酒店8.3,門票8.3,機票8.4,附加8.3,2016-08-03,2016-08-04,機票：去程8.

12、1，6家航空公司，每個航司有8個航班 回程8.4，4家航空公司，每個航司有5個航班酒店：30家酒店可提供住宿，每家酒店有10個房型門票：8.1必須優先使用X供應商提供的門票 8.3有15個供應商提供門票附加：80種券卡、15種巴士觀光票,機票：計算滿足8.1去，8.4號回的所有航班最低價格酒店：計算30家酒店，滿足8.1、8.2、8.3號有空房 計算有空房酒店連住三天單人住宿房間價格 計算酒店里面滿足以上計算的最低價格房間門票：計算8.1號必須使用X供應商的門票 計算8.3號15家供應商里面最低價格的門票附加：計算8.3號80種券卡最低價、15種巴士觀光票最低價 計算不同種類最低價之和,資源說

13、明,計算規則,NewSQL數據庫支撐旅游產品的靈活設計與存儲,團期起價,團期由多種資源根據行程排列組合而成不同類型、不同資源的組合方式最低價格。,互聯網金融拉近與客戶的距離,線上：直銷銀行移動互聯網上遠程貼身服務客戶線下：社區銀行O2O服務體驗社區民生服務社區金融拓展,巨杉ECM內容管理，降低互聯網金融影像存儲成本,CM API,OracleDBMS,運營管理,Documentum,存儲,CM API,分布式影像平臺,API訪問,SQL,文件API,存儲,IBM CM,信貸管理,運營管理,信貸管理,存儲,存儲,文件,直銷銀行,新一代分布式NewSQL數據庫SequoiaDB的定位,文檔型的Ne

14、wSQL分布式數據庫結構化、半結構化和非結構化數據，大對象存儲自動分區分片，低成本的分布式存儲和計算多索引，數據壓縮等企業級數據管理能力完善的管理工具事務處理、冷熱隔離高可用性、容災備份能力開放性整合SQL,MapReduce,Spark開發接口為Cloudera,HortonWorks,Spark認證和優化，獲得Spark發行權企業版集成多種SQL引擎，Spark，降低學習、部署和運維成本,海量數據存儲引擎，提供在線數據并發訪問能力及大數據分析能力。,SequoiaDB技術特點,NewSQL數據庫JSON數據模型靈活，更為適應業務應用的敏捷性要求。,NewSQL技術加速互聯網金融發展,成熟的產品開放的解決方案完整的業務發展思路靈活的多種商業模式,