順勢而成大有可為：我眼中的數據庫這十年_林春.pdf

《順勢而成大有可為：我眼中的數據庫這十年_林春.pdf》由會員分享，可在線閱讀，更多相關《順勢而成大有可為：我眼中的數據庫這十年_林春.pdf（15頁珍藏版）》請在三個皮匠報告上搜索。

1、林春中國太保數智研究院首席數據庫專家“順勢而成，大有可為”我眼中的數據庫這十年 數據庫十年演變戰略防御（2014 2018）戰略進攻（2021 2024）在互聯網海量并發交易場景孵化、打磨國產分布式數據庫產品戰略相持（2018 2021）在新契機下，國產數據庫百花齊放，以 OceanBase 為代表的國產分布式數據庫多條技術路線快速發展，亟需金融核心場景打磨，處于從可用到好用演進階段經過金融核心攻堅及全方位復雜場景打磨，以 OceanBase 為代表的國產分布式數據庫趨于好用階段，奠定金融行業普遍推廣基礎2014OceanBase V0.5Paxos 復制承接支付寶 10%交易流量2015My

2、SQL 5.7新成本模型優化器、無損復制、多源復制、群組復制、支持 JSON2016OceanBase V1.0MySQL 兼容承接支付寶 100%流量2019Oracle 19c2021OceanBase V3.0混合負載能力提升2022OceanBase V4.0輕型化2023OceanBase 金融業首個深度綁定 Oracle 系統核心攻堅里程碑突破2013Oracle12.1多租戶2018MySQL 8.0數據字典、角色通用表表達式（CTE）Window 函數、直方圖2014云原生關系數據庫 Aurora成為日后亞馬遜云科技歷史上用戶數量增速最快的云服務2018OceanBase V2

3、.0Oracle 兼容非國產數據庫國產分布式數據庫20142018年金融行業數據庫市場狀態金融行業 Oracle 數據庫占據主導地位金融行業國外商業數據庫占據超過 90%，其中 Oracle占據主導地位。核心系統也包括大機 DB2、Informix。2014 年 IBM 將 Informix 數據庫出售給南大通用，給存量 Informix 核心系統維護、版本升級帶來較高風險。以 MySQL 為代表的國外開源數據庫開始使用金融行業 2016 年起開始使用 MySQL 數據庫，銀行業交在應對易瞬時高并發、多頻次、大流量的新型金融業務特征時，基于生態原因，大都采用了 MySQL 數據庫；部分銀行核心

4、系統主機下移，而 MySQL 單節點處理能力弱于 Oracle，因此 MySQL 實例數大幅增加?；ヂ摼W海量高并發場景孵育以OeeanBase 為代表的國產分布式數據庫OceanBsae 在 2014 年在支付寶使用，并開始應用于金融級業務場景。2014 年雙 11 大促，OceanBase 開始承擔交易庫部分流量。2016 年完成承載所有流量。2018 年大的變局下國產分布式數據庫迎來政策契機銀監會發布了關于應用安全可控信息技術加強銀行業網絡安全和信息化建設的指導意見，要求優先應用安全可控信息技術，“在操作系統、數據庫等領域要加大探索和嘗試力度”。2014年中國人民銀行印發的金融科技（Fin

5、tech）發展規劃（2019-2021年）的發展目標提出“金融科技應用先進可控”，在強化金融科技合理應用這項重點任務中，明確提出“以重點突破帶動全局，規范關鍵共性技術的選型、能力建設、應用場景和安全管控，探索新興技術在金融領域安全應用，加快扭轉關鍵核心技術和產品受制于人的局面”2019年10 月 10 日，國務院印發國家標準化發展綱要（以下 簡稱發展綱要），發展綱要明確強調“開展數據庫等方面標攻關?！?，將數據庫首次納入國家戰略。2021年主要體現在數據庫產品 bug 數量較多、金融業非功能性需求適配、數據庫開發及運維管理平臺不夠友好和數據庫周邊工具功能不足等方面。存量 Oracle 數據庫遷移

6、改造存在痛點，主要體現在應用適配評估工具需提升、存儲過程改造工作量較高、遷移工具性能及穩定性需提升等。分布式數據庫產品尚需金融業務場景打磨，尚無 100%成熟的分布式數據庫產品。20182021 年金融行業數據庫市場態勢尚未明朗以中國人壽、中國太保、中信銀行、郵儲銀行等為代表的頭部金融企業開始探索核心系統使用國產數據庫。市面上主流的分布式數據庫分為基于 proxy 的分布式數據庫和原生分布式數據庫。原生分布式數據庫產品具有對應用侵入性少等優點，但是比起基于 proxy 的分布式數據庫需要有更多的代碼研發和改動，數據庫產品可靠性方面需要更多的驗證；而基于proxy 的分布式數據庫也面臨如何將底座

7、集中式數據庫新版本的新特性整合的問題。不同的分布式數據庫各有優劣，需根據具體業務場景適配。分布式數據庫廠商的數據庫產品內核掌控及 bug 修復能力、應用改造成本及軟硬件成本綜合成本需要關注。分布式數據庫產品處于可用向好用的演進中間狀態。金融企業在分布式數據庫選型上和使用上需要采取高度兼容的策略，結合業務場景需求，在選擇通用性兼容及生態較好的分布式數據庫產品后，需要考慮在應用開發中簡化、優化、標準化 SQL，在適配分布式數據庫特點、提升應用性能的同時，做到技術產品靈活可控。分布式數據庫產品呈現多條技術路線同時快速發展的態勢。20212024 年金融行業數據庫市場狀態國內數據庫產品最終會分化為頭部

8、兩三家、中間四五家數據庫廠商的明朗格局。Oracle 核心代碼、技能是企業積累的寶貴資產，國產數據庫產品從降本角度，需要考慮對 Oracle 功能、性能兼容，實現平滑遷移；金融企業需要考慮數字化轉型既快又省，同時兼顧遠期業務發展的底座支撐，“攻堅牽引、改造前置、架構優化、工具創新、知識沉淀”是降低數字化轉型成本尤其是應用改造成本的有效手段。在穩定性前提下數據庫數字化轉型改造成本戰略。頭部金融企業核心攻堅成功會起到標桿示范效應，會在催熟數據庫產品、解決方案的同時，給更多項目組、企業信心去使用產品，從而形成越用越好用的良性生態循環。頭部金融企業核心系統攻堅催熟數據庫生態。數據庫數字化轉型不是單靠廠

9、商或用戶就能獨立閉環完成的，頭部金融企業需要提供核心金融場景以及業務側、應用側、產品側無解時的解決方案；攻堅廠商需要有能對數據庫內核代碼研發掌控的能力，應用改造還是產品改造需要從穩定性和成本角度合理化權衡；數據庫數字化轉型替代不是數據庫產品層面 1：1 的替代，需要合理拆解；數據庫數字化轉型方法論、工具創新需要從實踐來到實踐中去，做到“產品無解，問題有解”。頭部金融企業核心系統產、用聯合攻堅是加速產品向好用演進的孵化器。國產分布式數據庫產品加速分化，頭部數據庫產品趨于好用，加速形成完善生態。太保集團數據庫數字化轉型成果我司數字化轉型，核心、重要系統多為 OceanBase。實現從原來的集中式架

10、構向分布式架構轉變，具備良好的擴展性，在面對瞬時海量高并發互聯網業務場景具備良好的彈性擴容能力，滿足未來業務增長發展需求。硬件故障自動切換時間在 13 秒內，全面提升業務連續性水平數據庫層面提供適配應用雙活能力OceanBase 兼容 Oracle 版本和兼容 MySQL 均具備非常好的存儲壓縮能力，平均壓縮到原來1/31/4，服務器硬件擴容需求下降明顯，大幅降低場地成本，備份、恢復性能提升 5 倍。OceanBase 對 Oracle 良好的兼容性，且應用侵入性弱，大幅降低應用改造、數據庫遷移成本。實現了兼容 MySQL、兼容 Oracle 版本同集群部署、同 OCP 管控，實現多形態數據庫

11、邏輯集中、管控整合，大幅提升了資源利用率以及降低了運維成本。工具創新：研發數據庫數字化轉型評估工具、索引優化助手并經營化，幫助全集團數據庫數字化轉型改造提效賦能及成本評估參考，降低數據庫數字化轉型應用改造成本約 20%；架構創新：企業信息視圖 45TB 大庫首創行業分布式數據庫架構，解決保險大庫存儲瓶頸，并應用到產險銷管、費控系統，目前運行穩定；壽險中意險分布式架構創新方法創新：形成了大庫改造評估方法論、重負載系統國產服務器 CPU 瓶頸優化方法論、重 IO 負載系統優化方法論等。形成并不斷迭代完善信信息應用創新數據庫知識庫，目前知識庫沉淀問題已超過 1000 條；形成完善的集群設計規范、數據

12、庫開發規范、數據庫配置基線、應用開發框架及 JDBC 配置最佳實踐等知識體系；以 P17 核心攻堅、資金系統、增值稅系統、產險 P09、產險 M6 車險理賠、銷管系統、壽險自然人、中意險為代表的復雜系統上線，培養了國產數據庫研發及運維隊伍。推廣國產數據庫培訓，全集團獲得 OceanBase 數據庫認證人數達到 1125 人。96 分破紀錄通過OBCE 上機實驗考試。架構轉型降本顯著技術創新 能力沉淀 大量復雜系統上線后未出現風險事故，成為行業新標桿中國太保 P17 客服系統核心攻堅成功太保P17客服系統技術攻堅點包括：P17 太保 95500 客服系統，是太保產、壽、健康、長江等所有子公司客服

13、系統的整合，為公司 6 地 8 個 電話中心超過 2500 坐席提供系統服務。與一般熱線系統相比，P17 涵蓋了幾乎太保所有子公司業務的服務入口功能，對接周邊系統超過 200 個，是太保系統關聯關系最為復雜的系統之一。涉及到的上下游接口眾多，本身又是 7*24 小時服務平臺，對于數據庫高并發、高可用特性要求極高。存儲過程數量龐大，總代碼量近百萬行，對于 Oracle 產品特性使用非常深入；作為太保服務品牌，系統需要提供 7*24 小時的全天服務，系統可用性要求全年 99.9%以上，對停機時間有著嚴苛的控制，因此也是太保運維保障最高的核心系統之一。7*24h99.9%全天服務系統可用性要求全年配

14、套的 DS、cognos 等產品對于商業數據庫深度依賴，適配改造復雜度很高P17 系統國產數據庫升級項目收益自投產上線以來，持續平穩運行，廣泛服務于數千名柜面人員、百萬業務人員和億級外部客戶。通過數據庫產品的高級壓縮技術，結合“數據庫瘦身”，存儲成本平均節省 80%以上；經過架構和應用優化，分析型數據加工處理能力提升 10 倍，構建起全面的實時數據處理和服務能力；監管報送批量場景性能提升 3 倍；升級后的應用系統彈性擴縮容、處理速度、數據加工能力均實現大幅提升，為太平洋保險的數字化轉型奠定了堅實的技術基礎。實時分析型數據加工處理能力提升倍監管報送批量場景性能提升倍存儲成本節約以上OceanBa

15、se 在重負載情況下 CPU 性能優化方法論結合業務邏輯，從設計、應用優化角度大幅降低 CPU 負載，是解決當下重負載應用系統國產服務器 CPU 性能瓶頸的核心優化方案，從長遠看，也有利于業務系統數字化轉型降本增效，更好支撐未來業務的發展。OceanBase 通過應用側極致優化，形成可推廣的優化范式，可以很大程度上彌補硬件 CPU 性能不足，可以很好承載重負載系統 海量數據加工場景海量高并發場景標量子查詢改外連接虛擬表優化 inlist 問題索引設計全局索引改本地索引優化并發性能清理冗余索引優化 DML 性能For 循環優化以中國太保集團某系統海量數據加工場景為例，優化效果如下：1.固定費用查

16、詢報表模塊在服務器較差的情況下，性能較 Oracle 側提升 7.8 倍2.全成本文件下發模塊優化效果提升 40%，在服務器較差的情況下，性能較 Oracle 側相當3.支付清單數據批處理 8 小時滿足業務要求索引設計優化Queuing 表優化Sequence cache 優化以中國太保產險車險理賠核心系統優化為例，主節點 QPS 峰值超過 11 萬。優化前CPU使用率平均超過80%，峰值超過 87%。優化后，效果明顯，CPU 負載平均降低 25%左右。優化思路優化成果核心系統數字化轉型中的戰略思索改造降本方法論數字化轉型成本優化技術路線數字化轉型賦能（杠桿）應用改造測試成本遷移優化硬件成本架

17、構設計綜合軟硬件成本、業務場景需求、產品收斂原則推廣國產數據庫認證、數字化轉型攻堅大講堂案例分享、知識庫沉淀問題識別SQL 優化改造 Oracle 側前置太保應用預掃描工具“指南針”經營化，預期問題識別環節降本 50%研發優化輔助工具，結合 SQL 審核、調優培訓和開發規范，預期提升優化環節人工成本 30%影響遷移性能，OB 不兼容的關鍵卡點 降C縮容評估 高頻高邏輯讀SQL優化；游標未關閉泄露排查；數據庫瘦身等 數據庫降 C 縮容存儲利舊硬件資源估算模型OB 利舊（合并壓力）大對象從數據庫拆離存儲重AP場景拆離到數據中臺依賴OceanBase 對金融行業數字化轉型價值點及未來期待降本顯著未來

18、期待單機分布式一體化，提升資源利用率，日志治理，簡化運維；適應云環境，實現存儲和計算資源的獨立擴展與按需付費，降低成本并提升資源效率；通過 AI 技術結合，提升數據庫自治能力，降低運維復雜度，提升數據庫的整體可用性和服務質量。OceanBase 具備嚴苛金融復雜場景打磨過的良好兼容 Oracle 特性，對應用侵入性少，大幅降低應用改造成本；在不影響處理性能同時，兼容 Oracle 版本和兼容 MySQL 均具備非常好的存儲壓縮能力，平均壓縮到原來 1/3，大幅減少服務器硬件擴容需求，對于大機下移存在場地瓶頸、MySQL 大庫分庫分表痛點的企業極具價值，備份恢復較 Oracle 約提升了5倍性能

19、；實現了兼容 MySQL、兼容 Oracle 版本同集群部署、同 OCP 管控，大幅提升了資源利用率以及降低了運維成本。OceanBase 經過大量復雜金融場景打磨，穩定性有保障，硬件故障情況下，根據版本不同，自動切換時間在 813 秒之間，適合有很高業務連續性要求的互聯網金融場景。OceanBase 具備很強的數據庫內核研發掌控能力，bug 修復速度很快。從 OceanBase 的產品演進、生態體系建設、培訓體系建設、幫助文檔建設、工具建設可以看出，OceanBase 是金融用戶可以信賴、真正做技術的公司，能夠走的很遠。技術兜底業務系統數據庫由原來的集中式架構變成了現在的分布式架構，實現良好的擴展性，在面對海量高并發秒殺或開門紅場景具備良好的彈性擴容能力；滿足未來業務增長發展需求；可以很好適配金融監管或業務的應用雙活需求；穩定保障架構轉型謝謝謝謝謝謝