專場2.3-中國工商銀行開放平臺傳統集中式數據庫轉型實踐經驗分享-董勇明.pdf

《專場2.3-中國工商銀行開放平臺傳統集中式數據庫轉型實踐經驗分享-董勇明.pdf》由會員分享，可在線閱讀，更多相關《專場2.3-中國工商銀行開放平臺傳統集中式數據庫轉型實踐經驗分享-董勇明.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、開放平臺傳統集中式數據庫信創轉型實踐董勇明 工商銀行軟件開發中心 高級經理目 錄04未來展望03實踐經驗02轉型思路及成效01背景、挑戰與目標背景與挑戰01背景 支撐好金融業務創新發展是數據庫轉型內生動力 傳統業務線上化、移動化，服務場景生態化，業務規模增長迅速，傳統集中式架構面臨著諸多挑戰 金融應用數據庫系統需要支撐海量數據、超高并發、超高峰值等業務場景，傳統集中式數據庫越來越難以應對 保障好金融系統安全穩定是數據庫轉型的外生動力 當前國際形勢復雜多變，中美關系持續緊張，保障金融系統安全穩定是各方非常關注的課題。目前金融行業對國外商業數據庫產品的依賴程度依然很高，為保障國家金融安全，維護金融

2、穩定，加快數據庫信創轉型勢在必行。挑戰轉型挑戰服務連續性要求高金融核心應用7*24小時對外服務不中斷轉型改造投入大金融產品多、客戶體量大，對應系統數據量龐大、體系復雜歷史包袱比較重業務邏輯復雜、實時性要求高、大量使用存儲過程等特性工行面臨的挑戰處于快速發展期產品迭代速度快，穩定性、成熟度有待持續提升生態不夠完善周邊工具配套和軟硬件適配有待持續建設技術路線眾多產品百花齊放，為金融機構數據庫技術選型帶來較大挑戰數據庫產業存在的挑戰目標轉型目標平穩、高效、安全 原位替換、平滑遷移；工具化、自動化、標準化；功能不受損、服務不降級、生產安全有保證、高可用能力有提升。擔當、引領 發揮大行擔當，積極技術攻關

3、和應用創新，打造最佳實踐，為金融同業提供良好借鑒。融合共建，加強應用創新與技術創新的循環驅動，共建金融科技新生態，助力金融業實現高水平科技自立自強IT架構體系與全棧信創融合演進 依托信創云“一云多芯”和分布式體系，構建涵蓋服務器、服務器操作系統、中間件、數據庫、存儲、網絡等信創軟硬件的全棧信創轉型方案。創新發展與自主可控有機結合 統籌金融業務創新發展需求和自主可控要求，從業務價值、創新發展趨勢出發，綜合考機會成本和投入收益比，靈活制定Oracle數據庫信創轉型路徑。轉型思路及成效02轉型思路依托“揭榜掛帥”機制，跨地區、跨部門、跨專業方向整合各領域科技骨干，組建技術攻堅團隊，整合信創軟硬件產品

4、，結合金融應用場景具體需求，開展應用創新。并通過加大金融應用信創試點范圍和力度，多試多用，一方面促進信創產品不斷發展成熟，另一方面構建整套系統性技術資產、解決方案和轉型方法論。應用創新依托工行在數據庫技術金融應用方面的獨特優勢和數據庫設計、研發、運維等方面的豐富經驗，攜手科技企業，圍繞金融核心業務場景，聚焦重點技術領域開展技術攻關與融合共建，加快實現關鍵核心技術自主可控，發揮大行擔當作用。聯合創新轉型路徑開放平臺數據庫轉型業務增長應用業務穩定應用信創數據庫產品信創分布式數據庫信創加強分布式改造平滑遷移圍繞IT架構轉型和信創轉型工作要求，根據未來業務發展和轉型成本綜合評估轉型路徑 針對未來業務快

5、速發展的應用：一步到位開展應用架構和數據架構的分布式轉型，實現系統橫向擴展能力 針對交易量穩定、大量使用存儲過程（主要是Oracle應用）的系統：平滑遷移到信創數據庫產品，降低遷移成本和風險轉型成效2019年以來，工行已探索引入多款信創數據庫產品，已在包括實物貴金屬、中間業務系統等20 多個業務系統試點上線，覆蓋辦公系統、一般業務系統和關鍵業務系統各類典型業務場景，初步形成一套涵蓋我工行主要商用交易型數據庫（Oracle、DB2、SQL Server）的信創轉型方案信創數據庫產品辦公系統一般業務系統關鍵業務系統OracleSQL Server全應用場景全遷移路徑轉型成效2020年以來，工行聯合

6、頭部科技企業持續開展Oracle數據庫平滑遷移技術攻關，已在20個業務系統轉型中推廣使用，平均95%以上的數據庫代碼可以實現自動化遷移，數據庫對象遷移方面工作量均降低90%以上。涵蓋設計、開發、測試到投產運維全流程的8項系統級和應用級標準化工藝步驟。工藝標準化覆蓋辦公系統、一般業務系統和關鍵業務系統各類典型業務場景的解決方案和轉型方法論。方案體系化涵蓋自動化遷移、自動化測試、自動化仿真驗證和自動化數據復制的9項配套工具，形成完整遷移配套工具鏈。工具鏈條化經驗總結，沉淀資產，編寫各類技術方案、技術指引、工具手冊等涵蓋數據庫轉型全流程的20多項指導文檔。經驗資產化建 設成 果實踐經驗03總體原則

7、以平滑遷移并平穩支撐開放平臺核心銀行系統為原則，聯合頭部科技企業開展Oracle數據庫平滑遷移技術攻關，通過多試多用，不斷總結經驗，沉淀資產。數據庫高可用架構自動化遷移自動化仿真驗證自動化測試雙軌并行灰度切流 自動化遷移。梳理工行常用的傳統數據庫特性，分析實現差異，設計自動化遷移工具轉換規則和數據庫對等處理邏輯。自動化仿真驗證。構建交易錄放工具，通過一致性流量回放和性能回放，仿真階段實現業務功能全覆蓋測試和接近實際生產業務壓力的性能、可用性及可靠性測試。自動化測試。建設覆蓋單元測試、功能測試、性能測試、生產驗證和測試管理過程的自動化測試工具鏈，降低測試人力投入和測試復雜度，提升測試效率。雙軌并

8、行灰度切流。雙庫并行階段，通過數據復制工具進行業務高峰期增量歸檔數據在異構數據庫間的雙向復制，實現新舊系統業務數據的準實時一致，確保故障場景下能及時回切，提升對外服務的連續性 數據庫高可用架構。參照工行主機DB2數據庫同城雙活的部署架構和軟硬融合的設計思路，基于存算分離架構，設計雙集群架構，通過聯合創新落地，實現高可用能力的大幅提升。全流程一體化解決 整合數據庫、數據庫對象遷移工具、數據復制工具和交易錄放工具等信創軟硬件產品，研發自動化測試工具鏈，建設涵蓋設計、開發、測試到投產運維全流程的系統級和應用級標準化工藝，通過多試多用和不斷的經驗總結，構建整套系統性技術資產、解決方案和轉型方法論，形成

9、工藝標準化、工具鏈條化、方案體系化和經驗資產化的數據庫平滑遷移一體化解決方案自動化遷移工具預遷移數據復制目標庫信創數據庫源庫Oracle對象遷移開發工具可視化開發工具JDBC驅動交互式客戶端正/反向存量同步正/反增量同步數據訂閱數量比對抽樣比對內容比對斷點續傳自動化測試指引手冊對象采集對象畫像動態sql識別遷移評估應用內sql識別不支持對象提示語法改寫自動編譯腳本導出對象/特性比對應用內sql識別sql翻譯識別主備SQL執行PL/pgSQL執行PL/pgSQL調試識別主備負載均衡SQL執行PL/pgSQL執行數據導入導出識別主備腳本執行SQL執行PL/pgSQL執行數據導入導出技術測試比對測試

10、并發測試業務測試單元測試測試覆蓋率統計測試案例生成/執行流量監控自動化仿真驗證流量抓取一致性回放結果比對慢SQL報表存儲過程執行報表回放狀態監控并發回放工藝標準化 涵蓋設計、開發、測試到投產運維全流程的系統級和應用級標準工藝，包括預遷移、數據庫對象遷移、數據庫對象比對、數據遷移、應用代碼遷移、測試驗證、技術投產和業務切流8個標準工藝步驟。預評估預評估數據庫對象數據庫對象比對比對數據遷移數據遷移應用代碼遷應用代碼遷移移測試驗證測試驗證技術投產技術投產業務切流業務切流數據庫對象數據庫對象遷移遷移采集對象分析不支持對象工作量評估對象改寫自動編譯核對遷移結果檢查對象一致性存量數據同步增量數據同步存量數

11、據比對Java程序JDBC驅動動態SQLMaBatis批量文件技術測試業務功能測試性能測試環境搭建仿真驗證高可用演練增量數據準實時雙向復制灰度引流工具鏈條化 建設涵蓋數據庫轉型全過程的自動化工具鏈，有效降低數據庫信創轉型的技術復雜度和工作量，控制轉型風險，確保轉型的平滑、穩定、安全。遷移預評估工具，通過對象采集、對象畫像、動態SQL識別、應用程序SQL識別和不支持對象識別等開展轉型復雜度評估；對象遷移工具，主要包括語法改寫、自動編譯、對象比對、特性比對、SQL識別、SQL翻譯和腳本導出功能，實現對等轉換；數據復制工具，存量和增量數據雙向同步，具備數據比對、內容對比、抽樣比對、數據訂閱和斷點續傳

12、功能，確保數據一致性。遷移工具集可視化開發工具，自動識別主備節點，提供可視化的SQL執行、PLSQL執行和調試功能。JDBC驅動，除提供對等功能外，增加負載均衡、自動切換功能?？蛻舳斯ぞ?，自動識別主備節點，提供SQL執行、PLSQL執行、SQL文件執行、數據導入導出功能。批量文件導入工具，對標SqlLdr，兼容批量數據文件。開發工具集覆蓋單元測試、功能測試、性能測試、生產驗證和測試管理等研發測試全過程的自動化測試工具鏈：技術測試：通過SQL解析、分支預測等技術實現技術測試自動化；業務測試：復用存量業務測試資產實現業務功能測試自動化，整體自動化測試覆蓋率可達80%；仿真驗證：通過交易錄放工具分別

13、進行一致性流量回放和性能回放，實現業務功能全覆蓋測試和接近實際生產業務壓力的性能、可用性及可靠性測試測試工具集方案體系化 工行金融產品多、客戶體量大，業務系統數量大，技術和業務特點差異明顯，建設普遍適用、靈活高效的轉型方案體系，有效支撐不同類型業務系統高效、快捷、平穩轉型。方案體系容災方案部署方案切流方案測試方案遷移方案數據復制方案辦公系統、一般業務系統和關鍵業務系統各類典型業務場景聯機性能、批量性能、數據量、高可用及容災要求經驗資產化 傳統集中式數據庫對象類型多、高級特性多、用法靈活，轉型流程長和步驟多，工行將轉型實踐中轉型思路、經驗教訓、技術積累沉淀為資產，形成整套的系統性技術資產和知識庫

14、。010203 測試白皮書、數據庫特性對比分析報告、典型問題知識庫等。各類工具操作手冊、性能評估指導手冊、轉型復雜度評估原則等 數據庫設計開發規范、數據庫轉型技術方案、應用轉型技術指引等未來展望未來展望04未來展望 協同科技產業開展聯合創新，基于金融業務場景，加強應用創新與技術創新的循環驅動，不斷提升我國金融級分布式數據庫技術和生態建設水平，更好地滿足金融行業的轉型發展需要。打造好用易用的數據服務平臺屏蔽數據庫差異，即插即用由供應數據庫產品轉變為提供數據服務加快標準體系建設，提升異構數據庫平滑切換能力完善應用開發規范，實現應用與數據庫解耦打造遷移工具鏈，實現數據庫切換平滑高效提升金融級核心應用承載能力完善基本服務、異地災備、數據庫版本在線升級等能力建設提升部署靈活性、提升監控告警及自動化運維能力、豐富數據庫性能報表、持續完善生態體系建設持續提升數據庫應用安全水平持續加強數據庫在存儲加密、訪問控制、操作審計、網絡隔離、備份安全、脫敏安全、漏洞掃描方面的能力圍繞金融行業數據資產安全，持續構建具備縱深安全防御體系的數據庫系統