海量高并發數據庫國產化改造及應用.pdf

《海量高并發數據庫國產化改造及應用.pdf》由會員分享，可在線閱讀，更多相關《海量高并發數據庫國產化改造及應用.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、海量高并發數據庫國產化改造及應用鄭鴻健中移信息技術有限公司自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數據庫國產化的背景數據庫國產化的挑戰與探索主流的數據庫架構未來展望0 01 10 02 20 03 30 04 4目 錄Contents大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會

2、大數據技術標準推進委員會大數據技術標準推進委員會第一部分 數據庫國產化的背景Chapter 01大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數據庫國產化的背景數據庫國產化戰略要求核心技術要求：自主可控、安全可靠、高效開放業務要求業務高速發展單機數據庫瓶頸大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據

3、技術標準推進委員會大數據技術標準推進委員會第二部分 主流的數據庫架構Chapter 02大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會主流的數據庫架構紅色表示共享資源藍色表示無共享資源DBDBDBDiskDiskDiskProxyShared-NothingDB分布式存儲DBDBShared-StorageDBDiskShared-Everything大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數

4、據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數據庫采用集中式數據庫3+2部署主set：1主2備跨同城3IDC部署備set：1主1備異步復制架構優點1、簡單的主備模式，方案成熟穩定2、同城IDC間RPO=0，RTO秒級3、應用層實現多活架構缺點1、無法通過set拆分的業務容易達到瓶頸2、跨set事務復雜（但業務上極少使用）3、成本較高大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大

5、數據技術標準推進委員會大數據技術標準推進委員會負責SQL解析、事務等，無狀態，可擴展計算The log is the database基于物理日志復制采用Quorum機制確保數據保存多份存儲大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會GTM全局協調協助分布式事務管理，包括生成、釋放全局事務ID、維護活躍GTID的快照等Proxy/計算節點分布式優化、執行具體的分布式計劃、事務控制、存儲節點負載均衡等。存儲：MySQL（二開）

6、底層基于MySQL進行二開大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會調度：PD（Placement Driver）負責各副本的遷移調度，集群整體負載的均衡，數據收集等計算：TiDB負責將庫表中的數據映射至TiKV、SQL解析、運算制定及優化執行等存儲：TiKV基于raft協議解決副本間的一致性及可用性大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數

7、據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會傳統單機數據庫方案，目前絕大數公司首選擴展性：通過應用層垂直、水平拆分實現一致性：半同步Shared Everything云原生數據庫，主要有Aurora、PolarDB擴展性：計算節點橫向擴展存儲節點依賴分布式存儲一致性：Paxos/RaftShared Storage新興的數據庫，發展迅猛，國內主要為TiDB、OB擴展性：接入層橫向擴展數據層添加節點后動態均衡一致性：Paxos/RaftShared Nothing（NewSQL）單機數據庫自然演進，業內主要有TDSQL、DRDS等擴展性：通過Ran

8、ge、Hash等方案進行sharding一致性：半同步MGR(Paxos)Shared Nothing（類Proxy）新興的數據庫，發展迅猛，國內主要為TiDB、OB擴展性：接入層橫向擴展數據層添加節點后動態均衡一致性：Paxos/Raft大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會第三部分 數據庫國產化探索Chapter 03大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大

9、數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會選型測試同步改造灰度上線測試數據庫測試：功能測試 性能測試應用改造測試：分片 兼容性 應用改造功能改造兼容性改造切換平滑切換監控告警數據庫選型架構選型：集中式&分布式數據庫選型：GoldenDB、OB、TiDB數據同步全量同步增量同步灰度放量灰度切讀灰度切寫保障回流保障全局監控數據回流一鍵回切大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委

10、員會大數據技術標準推進委員會穩定成本效率生態容災方案、響應耗時RPO、RTO語法兼容性、改造成本軟硬件成本單實例吞吐量、事務性能擴展性監控告警、數據同步數據校驗、異常分析平滑大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會 01基礎功能測試標準SQL語句測試分布式事務讀一致性分布式事務寫一致性計算節點擴縮容存儲節點擴縮容管理節點擴縮容 02可用性測試計算節點單點故障存儲節點單點故障管理節點單點故障同城單數據中心故障異地數據中心故

11、障 03 可維護性測試備份恢復測試、數據誤操作保護、滾動升級、用戶權限管理、數據加密、安全連接、日志審計、監控 告警 04性能測試SysBench測試、TPCC測試業務壓測流量錄制、回放線上灰度引流大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會增量同步全量同步數據同步大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進

12、委員會大數據技術標準推進委員會大數據技術標準推進委員會數據同步庫表分析差異監控業務分析數據校驗數據分治語法適配大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會一致性有序性斷點續傳大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會適配改造應用驅動程序、語法兼容、數據對

13、象、工具腳本、API接口、SQL語法數據庫數據分片、冷熱分離、輕重隔離索引優化、讀寫分離大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會弱化DB明確邊界輕重隔離大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會應用關注適配改造不關注切換動作由數據層負責切換應用關注適

14、配改造數據層關注切換數據層中間件方案雙寫方案大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會App1DBApp2App3App1中間件DBApp2App3 大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會App1中間件DBApp2App3 DBApp1中間件DBA

15、pp2App3DB大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會Application中間件（SDK）分庫0分庫2分庫3分庫4分庫5Application數據庫中間件（SDK）老DB實例新DB00實例分庫0分庫2分庫0老寫1、全量同步分庫32、增量追平 大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技

16、術標準推進委員會大數據技術標準推進委員會 Application數據庫中間件（SDK）老DB實例新DB00實例分庫0分庫2分庫0老寫分庫31、停增量同步2、雙寫監控平臺日志上報對賬Application數據庫中間件（SDK）老DB實例新DB00實例分庫0分庫2分庫0分庫3(2)雙寫(新寫為主)(4)數據對賬和補齊監控平臺日志上報 (3)恢復老庫(5)下老寫大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會數據庫國產化可觀性故障快速

17、發現故障快速定位可控性故障快速響應故障快速恢復大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會1Logging日志2Metrics指標3Tracing鏈路追蹤大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會業務監控資源監控日志平臺調用鏈路大數據技術標準推進委員會大

18、數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會輕微問題執行預案、快速恢復中等問題降級服務、柔性可用重大問題切換回流庫大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會故障預案編排原子能力建設預案自動推薦大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推

19、進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會靜態數據有損服務過載保護快速超時服務限流請求降級過載保護請求丟棄熱數據緩存業務降級同步轉異步靜態頁面導入異構數據庫架構降級錯峰執行讀寫緩存讀寫分離數據庫降級語句改寫數據緩存慢SQL改寫數據降級自動擴讀慢SQL限流業務技術大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會AppSDKOld-DBNew-DB

20、App1中間件Old-DBApp2App3New-DB大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會第四部分 小結Chapter 04大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會小結2、沒有銀彈：不要指望用一種數據庫解決所有事情1、合適就好：大多情況下，集中式數據庫仍是當前最優解3、拆掉運維的墻：打破技術和業務的壁壘大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會THANKS感謝聆聽自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會