陳曉新-超大規模數倉集群在大型商業銀行的落地實踐（23頁）.pdf

《陳曉新-超大規模數倉集群在大型商業銀行的落地實踐（23頁）.pdf》由會員分享，可在線閱讀，更多相關《陳曉新-超大規模數倉集群在大型商業銀行的落地實踐（23頁）.pdf（23頁珍藏版）》請在三個皮匠報告上搜索。

1、 全球敏捷運維峰會 廣州站超大規模數倉集群在大型商業銀行的落地實踐龍趺MPP DB演講人：建信金科 陳曉新 全球敏捷運維峰會 廣州站龍趺MPP DBMPP架構查詢能力超高的查詢性能標準SQL支持完善的生態系統云計算彈性無限的計算存儲能力動態伸縮高性價比的存儲大數據平臺靈活性計算和存儲分離優異的擴展性故障自動恢復龍龍趺趺MPP DBMPP DB龍趺MPP DB新一代云原生數據倉庫產品金山云其他數據庫、存儲等合作公司 全球敏捷運維峰會 廣州站信用卡信用卡20年年3月月境內貼源境內貼源20年年7月月公共訪問公共訪問20年年7月月旅程管理旅程管理20年年8月月集團并表集團并表海外貼海外貼源源20年年9

2、月月海外應用海外應用20年年11月月云化數倉云化數倉21年年1月月20年年10月月不良資產不良資產21年年3月月公共計算公共計算21年年4月月資產負載資產負載21年年6月月分行分行信息應用信息應用龍趺龍趺MPP DB運行現狀運行現狀集群規模集群規模數據量數據量表數量表數量/對對象數象數負載情況負載情況15000+服務器9PB百萬/千萬每天運行作業數達到百萬級別，SQL數千萬級別龍趺MPP DB上線和運行現狀 全球敏捷運維峰會 廣州站龍趺MPP DB上線和運行現狀 全球敏捷運維峰會 廣州站貼源集成應用運行效率對比050010001500傳統MPP龍趺MPP DB 龍趺MPP DB的計算資源和傳統

3、MPP的計算資源基本相等 龍趺MPP DB存儲和計算的數據量（1000TB）為傳統MPP（200TB）的5倍 每天7萬個作業、100萬個SQL，龍趺MPP DB和傳統MPP的運行效率無明顯差別 全球敏捷運維峰會 廣州站為什么需要研發龍趺MPP DBu并發能力和可擴展性不足，分庫分表造成大量數據冗余u木桶效應，服務器故障會導致集群性能嚴重下降u升級、擴容等操作復雜，運維成本高，應用影響大u數據的存儲和計算不分離，數據庫孤島情況嚴重u非云原生架構，難以融入建行云建設傳統MPP數據庫在建行落地實踐中遇到的困難 全球敏捷運維峰會 廣州站元數據集群共享存儲計算集群計算集群-1計算集群-2計算集群-n元數

4、據集群共享存儲（對象存儲）管理控制臺用戶模塊管理模塊用戶數據緩存元數據緩存用戶數據緩存元數據緩存用戶數據緩存元數據緩存對象存儲 1對象存儲 2對象存儲 n龍趺MPP DB架構 全球敏捷運維峰會 廣州站權限管理權限管理多租戶/用戶管理集群集群生命周期管理生命周期管理創建、刪除、擴縮容、升級、啟動、停止IaaS資源交互和調度資源交互和調度自動化申請基礎設施資源，包括計算、存儲和網絡資源等自動化自動化/智能化智能化運維運維自動化安裝部署監控、告警運維擴容、升級、備份故障自愈龍趺MPP DB管理控制臺 全球敏捷運維峰會 廣州站ETCDETCDETCDcatalogcatalogcatalog調度層調度

5、層無狀態無狀態服務層服務層分布式分布式K-VK-V存儲存儲FDBFDBFDBFDBFDB計算集群123456調度層調度層服務發現和監控負載均衡 無狀態服務層無狀態服務層服務層由一組服務節點組成，每個服務節點其實是無狀態的服務進程，負責接收和處理計算集群的元數據請求；元數據元數據持久持久層層 元數據持久化存儲服務，存儲數據字典、統計信息、表到對象映射等龍趺MPP DB元數據服務 全球敏捷運維峰會 廣州站計算集群-1計算集群-2計算集群-n元數據集群共享存儲（對象存儲）用戶數據緩存元數據緩存用戶數據緩存元數據緩存用戶數據緩存元數據緩存對象存儲 1對象存儲 2對象存儲 n資源靈活分配資源靈活分配按需

6、創建、刪除、擴縮容集群間資源完全隔離作業可在不同集群建靈活調配并發能力線性擴展緩存服務緩存服務本地SSD作為緩存介質小文件合并龍趺MPP DB計算集群 全球敏捷運維峰會 廣州站計算集群-1計算集群-2計算集群-n元數據集群共享存儲（對象存儲）用戶數據緩存元數據緩存用戶數據緩存元數據緩存用戶數據緩存元數據緩存對象存儲 1對象存儲 2對象存儲 n龍趺MPP DB共享存儲使用對象存儲作為數據持久化存儲使用對象存儲作為數據持久化存儲支持100億文件對象，200PB以上的壓縮數據使用標準Restful API，支持高并發訪問99.99%以上的可用性99.999999999%以上的數據持久性存儲訪問優化存

7、儲訪問優化多桶存儲列存+壓縮 全球敏捷運維峰會 廣州站計算計算計算計算計算計算計算計算存儲存儲存儲存儲存儲存儲存儲存儲集群1集群2集群3集群N計算計算計算計算計算計算計算計算共享存儲數據復制數據復制集群1集群2集群3集群N應用1應用2應用3應用N智能調度應用1應用2應用3應用N傳統MPP應用解決方案龍趺MPP DB應用解決方案傳統傳統MPP龍趺龍趺MPP DB數據復數據復制制大量集群間數據復制數據共享，無需作業動作業動態調度態調度每個集群運行作業基本固定，無法動態調整作業可以根據負載需求，在不同集群間動態調整數據冗數據冗余余大量冗余數據無數據冗余龍趺MPP DB應用解決方案 全球敏捷運維峰會

8、廣州站COSSeg2Seg1Master元數據集群計算集群Seg3Seg4Seg2Seg1Master計算集群Seg3Seg4Seg5Seg6Seg2Seg1Master計算集群Seg3Seg4Seg2Seg1Master計算集群Seg3Seg4Seg2Seg1Master新計算集群Seg3Seg4動態擴容動態縮容快速升級Seg2Seg1Master計算集群Seg3Seg4Seg4故障快速隔離恢復u數據分布：一致性hash的分布方式，避免數據大量重新邏輯分組u獨立的元數據共享存儲服務，計算節點無狀態，隨時可增加和減或少，也避免了數據重新物理分布Seg7Seg8龍趺MPP DB運維解決方案 全球

9、敏捷運維峰會 廣州站過去一年，建行龍趺MPP DB集群的服務器規模增加了50倍，數據量增加了45倍25610000200900000200040006000800010000120000100002000030000400005000060000700008000090000100000龍趺MPP DB規模服務器數量數據量龍趺MPP DB應用增長規模 全球敏捷運維峰會 廣州站u每天百億級別的元數據RPC請求如何穩定保障u銀行級別的高可用要求如何保障u超大規模的集群如何高效運行維護u對象存儲海量的數據存取需求如何高效滿足服務拆分、分布式擴展等分片、多桶、多線程，共享緩存等故障自愈、全流程監控、自

10、動化工具跨AZ/Region部署、多活、在線備份等龍趺MPP DB遇到的問題 全球敏捷運維峰會 廣州站元數據服務數據字典服務1事務服務1鎖服務1文件映射服務1數據字典服務2數據字典服務2數據字典服務3事務服務2事務服務2數據字典服務3數據字典服務4根據服務類型及負載需求，對元數據服務進拆分和分布式改造，提高服務和高可用能力龍趺MPP DB元數據服務提升單節點服務向分布式服務改造 全球敏捷運維峰會 廣州站Bucket1Bucket2Bucket3Bucket4Bucket5Bucket6Bucket7Bucket8Bucket9TableSpace1TableSpace2TableSpace3共

11、享存儲共享存儲應用1應用2應用3通過統一緩存服務，實現IO加速；減少對象存儲壓力每個應用創建獨立的tablespace，每個tablespace根據需求創建若干個bucket通過tablespace實現共享存儲IO能力隔離和流量控制龍趺MPP DB存儲服務提升統一緩存服務 全球敏捷運維峰會 廣州站龍趺MPP DB自動化監控和運維監控信息獲取服務是否存活RPC分類統計RPC分集群統計磁盤空間使用進程數、線程數SQL運行數、報錯數等CPUIO、IOPS內存（虛擬、物理等）連接數、運行數作業運行數、連接數性能是否正常負載是否傾斜統計信息和運行狀態集成關鍵作業完成異常低/高負載高連接低負載異常報錯歷史

12、值對比偏離趨勢軌跡資源是否充足長SQLSQL分類統計故障輔助定位表訪問統計字段訪問統計膨脹統計傾斜統計智能資源調度作業、SQL、存儲全流程數據收集數據聚合分析智能運維 全球敏捷運維峰會 廣州站龍趺MPP DB自動化監控和運維 全球敏捷運維峰會 廣州站數據庫服務集群級別整體故障數據丟失/誤刪除等AZ級別服務故障跨AZ部署數據備份雙活部署龍趺MPP DB高可用提升通過跨AZ部署、備份、雙活等方式，進一步解決集群故障、AZ故障、數據丟失等問題 全球敏捷運維峰會 廣州站架構設計和產品開發需求分析和產品設計應用開發和上線運行運行跟蹤和運維優化過去幾年，我們完成了無數次的版本迭代和上線優化。一款數據庫產品的成熟發展，需要產品、架構、研發、運維、應用等許許多多人的長期合作和投入。在龍趺MPP DB上，我們：集合了大批建信金科和業界優秀的研發人員；提供了業界最復雜、最豐富、負載最高的應用場景；擁有建行二十幾年的數據倉庫使用和運維經驗，能夠最快的發現產品痛點，提出最貼合用戶需求的產品設計?？偨Y 全球敏捷運維峰會 廣州站建設銀行銀保監龍趺MPP DB進出口銀行國家開發銀行恒豐銀行云南政務云南農信持續開拓中堅持產品研發投入、持續拓展用戶、豐富產品生態，打造更為先進、安全的數據倉庫產品！總結 全球敏捷運維峰會 廣州站THANK YOU！