金融核心系統數據庫演進趨勢與場景實踐-戴濤.pdf

1、1戴 濤平凱星辰（北京）科技有限公司上海|2024-08-16金融核心系統數據庫演進趨勢與場景實踐 2平凱星辰（PingCAP）公司：技術&開源軟件&國產化成為世界上最好且最受尊敬的基礎軟件公司100%自主研發安全可控3000+全球優質企業用戶軟件出海最大數據庫海外單筆訂單中國開源第一全球頂級開源基金會貢獻榜2100 代碼貢獻者根社區開源根社區覆蓋44 個國家和地區起源：三篇技術論文。公司使命：為開發者和企業賦能，以速度、敏捷、增長之道創新。3數據庫排名和國際開源社區情況入選 2024 Gartner 云數據庫“客戶之聲”最高分選，是唯一獲得該稱號的中國廠商，PingCAP 連續三年入選該報告

2、。Gartner沙利文頭豹研究院“2023 年中國金融級分布式數據庫市場報告”位列市場領導者梯隊。金融領導者梯隊2023年底工信部認可的“具有國際影響力的三大開源社區”工信部“三大開源社區”4IT 架構重構業務需求互聯網峰值流量提高服務質量和效率業務需求快速變化降低營銷成本渠道及產品多樣化提高風控能力用戶體驗優化提升拓寬業務范圍傳統金融核心系統特性 面向業務流程 產品開發周期長 數據龐大、業務繁雜 大而全豎井型的架構模式 信息交換和共享效率低金融數字化升級需求 面向客戶需求 系統可用性，架構靈活性需求 海量高頻的業務承接能力 分布式、微服務架構 智能化應用改造需求 人工智能技術應用雙輪驅動：I

3、T 架構重構+業務需求升級5單機/網絡核心 胖核心 瘦核心雙核心分布式核心/無核心互聯網分布式核心集中式核心結算業務現金業務資金業務憑證業務保函業務投資業務中間業務外幣業務存款貸款內部核算客戶管理信貸管理渠道管理賬戶數據分析產品數據分析交易數據分析胖核心瘦核心穩態集中式+敏態微服務分布式架構成為必然路徑微服務架構單元化架構分布式計算自主可控分布式架構成為銀行核心轉型的必然路徑從WTO時代的胖核心到SOA架構的瘦核心6面向未來的金融數據庫特點 開發運維透明化非常重要；分布式事務；讀寫熱點；金融跑批；建立技術生態。從研發視角看 同城雙活RPO=0；線性可擴展；運維簡便，可觀測性；多平臺適配；易用性

4、，整體滿足從可用到好用。從運維視角看 可靠性是第一位；重構好于平遷；微服務好于單元化架構；標準產品而非定制化能力。從架構視角看 先進架構理念；敏捷化的工程能力；面向全球的市場策略；Gen AI 數據庫前沿。從前沿視角看7架構視角：核心系統優先架構重構，其他系統優先技術平移系統遷移規劃保留淘汰平遷改造遷移新架構重構SDLCAgile遷移實施灰度/生產RehostingReplatformRearchitectureRetainRetire訪談/需求/戰略技術平移是科技部門內部能夠閉環的模式，在保持功能基本不變的情況下，將應用遷移到分布式平臺，或將應用適配到國產數據庫或云平臺上。架構重構則需要聯合

5、業務部門，結合全行業務發展戰略，整合業務需求，重新設計建設新一代核心系統。技術平移 56%架構重構 44%系統遷移5R模型*數據來源：分布式數據庫金融應用發展報告8架構視角：不同類型客戶核心系統構建路徑傾向架構管控模式大規模企業架構設計需求分析高可用模式單元化+微服務架構微服務架構交付模式嚴格IT交付工藝敏捷交付大型銀行（國有大行，股份制）大中型銀行（頭部股份制）中型+銀行（股份制/城商行/農信）重構成本高重構成本低9架構視角：對城商行而言，微服務架構好于單元化GSLBAPPDB業務單元APPDB業務單元APPDB業務單元APPDB全局管理單元APPDB全局批量單元APPDB數據匯聚單元 總分

6、總架構；優先水平擴展；大型銀行業務大單元設計，可以采用 TiDB；中型+銀行業務微服務設計，優先 TiDB；全局單元，采用 TiDB。金融核心實踐10運維視角：城商行核心系統采用分布式數據庫雙中心雙活架構 現狀只有兩中心；TiDB 首創3-2-1雙中心方案；雙中心5+1副本強同步；故障自動轉移，同城雙活。金融核心實踐11 存算分離架構，獨立擴容；準線性增長的實測性能；一鍵擴縮容，降低風險，提高效率；典型場景：季度結息交易洪峰。運維視角：數據庫在線擴縮容，更靈活、更方便金融核心實踐應用層 MySQL協議TiDBTiDBTiDBTiDB 計算集群TiKV存儲集群TiKVDistSQLAPIKV A

7、PITiKVTiDBTiKV按需擴容，每次可只新增一個節點+按需擴容，每次可只新增一個節點CapacityPerformance性能線性擴展TiDB/TiKV+TiDB/TiKV+TiDB/TiKV+12研發視角：數據庫應用開發透明化的意義應用開發透明運維擴容透明查詢分析透明熱點優化透明像使用傳統數據庫一樣設計應用和開發代碼，無需考慮 sharding key，跨單元 join 性能問題等。應用無需擔心數據庫表容量問題，單表大小可無限擴展且無性能拐點。智能優化器在 HTAP 場景，提供更高性能的 SQL 執行效率。熱點數據自動感知且自動打散，降低應用設計復雜度。13研發視角：讀、寫熱點解決方案

8、 寫熱點場景：讀熱點場景；熱點賬戶場景。金融核心實踐寫熱點讀熱點熱點賬號交易流水表散列寫入；索引熱點：LSM Tree避免索引分裂問題。參數表緩存化；合并高頻請求；緩存表；內部戶；集團戶；優化性能14研發視角：單元化架構，銀行核心批處理解決方案，應對峰值、提效單元化金融核心架構：TiDB 批處理參考架構 TiDB 作為全局批量單元；批處理效率提高3.8倍；線性擴展。金融核心實踐單元化數據庫實例業務單元A單元化數據庫實例業務單元B單元化數據庫實例業務單元CTiDB DM 數據同步TiDB 集群批量APP批量APP同城 IDC1批量APP批量APP同城 IDC3批量APP批量APP同城 IDC21

9、5研發視角：混沌工程全面檢驗和提升分布式系統穩定性 建立混沌工程體系；驗證功能邊界和非功能性需求；不同場景穩定性度量方案；全環境、全層級、全環節、全鏈路覆蓋，分層分階段進行。金融核心實踐數據庫能力邊界可擴展能力高可用和容災能力總結最佳實踐測試目的測試手段故障注入業務發壓工具運維管理工具觀測工具故障注入物理機、容器、數據庫、對象存儲集群高可用鏈路高可用測試場景最佳實踐驗證高可用容災集群能力邊界擴展性驗證評估標準業務指標數據庫指標系統指標Chaos Mesh強大的混沌工程平臺混沌工程全面檢驗和提升分布式系統穩定性16研發視角：銀行科技擁抱技術升級，建立技術生態銀行科技部門銀行業務部門/最終用戶需求

10、分析開發測試發布反饋規劃建立面向未來的技術生態監控運維建立面向未來的業務演進、規劃閉環 IT走出舒適區；建立技術生態：開發、測試、發布、監控、運維。金融核心實踐17技術創新視角：技術和需求推動 TiDB 演進A database for modern data-intensive applications數據訪問一體化NewSQL交易分析一體化HTAP多云使用一體化Cloud Native數據智能一體化Database&AI18技術創新視角：Vector TiDB，多庫合一APP關系型數據庫向量數據庫寬表數據庫圖數據庫Data SyncWrite/Query 起步成本高 技術棧復雜 人力成本高

11、 技術棧簡單 開發效率高 業務成本低APPWrite/Query復雜架構：需要同時面對多種數據庫技術棧簡化架構：All in TiDB，HTAP+Vector19TiDB 新一代分布式 HTAP 數據庫架構計算和存儲分離，解決高性能和高并發，在線擴容TiKV 分布式三副本解決高可靠和強一致TiKV 和 TiFlash 存儲與存儲分離應對 TP 和 AP 場景TiSpark 計算分離解決大數據使用完整周邊工具解決企業運維便利的需求核心實踐20TiDB：OLTP Based HTAP數據庫，應對企業不同場景C端互聯網用戶高并發讀寫場景企業重要核心系統大型聯機交易系統場景高價值數據使用實時分析和查詢

12、場景企業中小系統多庫合一場景核心價值：更好的用戶體驗；更好的系統吞吐；應對業務峰值；核心價值：系統穩定性；系統金融級高可用性；減少開發成本，提高敏捷性；核心價值：數據時效性；豐富數據使用場景；簡化技術棧；核心價值：簡化運維成本；節省硬件投入，并且獲得系統峰值靈活支持；21更可靠：銀行核心 TiDB 助力頭部城商行新一代核心系統成功投產 1.5倍 聯機交易提升倍數，平均交易延時小于100毫秒；2.5倍 日終跑批提升倍數，當前1小時完成；同城雙活 兩地三中心架構，同城PRO=0；投產新一代核心系統2021 上半年2021 下半年2023 年2022 年金融核心實踐 分布式數據庫選型 上線 CMMP

13、 客戶營銷 信創全平臺上線 服務 10+業務系統 投產第一階段互聯網核心 信創風洞實驗室適配攻關首個云原生+分布式數據庫+全棧國產化銀行核心業務系統22lA5類系統l實現銀行數百個業務系統數據的整合與實時供給，支撐數據消費場景 客戶需求業務價值l2,700+個應用虛擬節點，300+個物理節點，數據規模達到準 PB 級l一套 HTAP 數據庫替換了 Oracle、MongoDB、Hive 三套數據庫體系，簡化數據棧，降本增效更實時&海量：PB Scale 明細查詢國有大行的規?；瘧脭祿祿创婵詈诵慕栌浛ㄐ庞每ㄖЦ督Y算數據管道消息中間件文件交換數據應用實時數據處理數據匯聚實時匯聚離線加載聯機

14、批量聯機/MQ文件數據加工-流式計算網上銀行手機銀行智能柜面.交易銀行反洗錢公安刑偵分行客戶信息外圍系統.監管報送數據服務ODS(N)CDMADS(1)HTAP數據加工-離線計算多流關聯數據標準化標簽加工事中補償流程引擎邏輯分槽并行彈性計算查缺補漏增量合并數據轉換大數據分析分布式批量框架MPP 計算批轉聯多維度查詢實時分析通知推送回單下載文件下發三個“國外頂流數據庫”沒搞定，TiDB 拿下。23更敏捷：某四大行生活APP，免分庫分表，應用透明無侵入實現從Oracle RAC到 x86+分布式數據庫架構演進1）彈性擴容：原生分布式，提升數據高可用能力、彈性擴縮容、隨時調整業務資源用量；2）開發友

15、好：開發友好，應用透明無侵入，縮短業務上線周期；3）一站式：HTAP核心能力同時滿足事務級數據讀寫和實時統計分析需求；挑戰：1）可擴展性；2）傳統架構，數據庫承壓；建行生活 APP 是建設銀行官方出品的本地生活服務平臺，屬于Bank 4.0 開放銀行業務，首選免分庫分表 TiDB24金融機構生產場景的長期驗證TiDB 1.0-2.02017-2018年17OLTP 規?；瘮U展TiDB 3.02019年TiDB 4.02020年TiDB 5.02021年TiDB 7.02023年 OLTP 規?；瘮U展解決復雜 OLAP 需求OLTP 規?；瘮U展隔離事務與大數據負載全面 HTAP 能力提供一棧式數據服務服務金融級核心場景TiDB CloudTiDB 6.02022年中國企業版平凱數據庫多租戶提供數據庫整合能力TiDB ServerlessTiDB 8.02024年 大型集群穩定性多租戶架構向量和多模態25THANKYOU歡迎訪問TiDB中文社區