洪斌-如何打造穩健的數據庫管理平臺（26頁）.pdf

1、 全球敏捷運維峰會 廣州站如何打造穩健數據庫管理平臺演講人：洪斌 全球敏捷運維峰會 廣州站我是誰 洪斌 上海愛可生南區技術負責人12年開源數據庫技術咨詢與支持致力于開源數據庫技術的分享與傳播公眾號玩轉MySQL作者Oracle MySQL ACE 上海愛可生 開源數據庫解決方案和服務提供商為企業提供開源數據庫的整體解決方案與技術服務客戶覆蓋金融、電信、能源、零售、制造業等行業 全球敏捷運維峰會 廣州站數字化轉型催生產業互聯網，為運維帶來機遇與挑戰One size does not fit all數據庫種類的增多，運維難度增大數據庫數量的增多，運維工作量增大存儲數據量的增多，可擴展性增大業務連續

2、性要求高，運維敏捷增大希望運維效率提升，降低運維風險數據庫運維不同于其他無狀態應用運維企業使用的數據庫種類至少3-6種 全球敏捷運維峰會 廣州站開源數據庫正在成為主流，2021年首度超越商業數據庫Stack Overflow Developer Survey 2020 全球敏捷運維峰會 廣州站數據庫運維如此專業，怎么才能把運維的門檻(成本)降低點？全球敏捷運維峰會 廣州站我們需要具全生命周期管控能力的數據庫運管平臺數據庫全生命周期管理資源審批資源交付資源創建規范基線資源回收選型調研開發規范運維規范不斷改進架構基線(可靠性、穩定性）性能基線（高性能、高并發）部署基線（基礎運行環境）已有資源納管多

3、種架構（災備、高可用、分布式、讀寫分離）模板管理SLA確認（RPORTO)資源清單確認權限劃分與OA/ITIL等流程對接分鐘級別交付數據庫拓撲信息與CMDB對接資源使用監控告警數據庫開發及測試備份恢復性能優化（鎖、TOPSQL、慢SQL）故障分析資源變更數據庫在線遷移數據庫規格變更數據庫版本升級數據庫擴容參數變更高可用切換策略數據庫歸檔數據庫銷毀資源回收 全球敏捷運維峰會 廣州站服務編排平臺多種數據庫類型多種數據庫架構高可用切換平臺備份恢復平臺監控告警平臺故障診斷平臺SQL審核平臺擁有什么樣功能才算是一個比較完整的數據庫運管平臺 全球敏捷運維峰會 廣州站版本管理架構選型系統參數數據庫參數目錄規

4、范磁盤分區安裝方式賬戶安全系統運維的穩定性從規范化的部署開始 全球敏捷運維峰會 廣州站金融行業容災標準規范容災等級RTORPO年中斷時間數據備份、數據處理、網絡、運維技術要求（部分）復制方式選擇3級24小時24小時4 天至少有一個數據副本在同城或異地；支持完成切換準備后，自動或集中切換；異步復制雙副本4級4小時1小時10小時至少有一個數據副本在異地；異地處于就緒或運行狀態，支持自動或集中切換；異步復制雙副本5級30分鐘01小時同城、異地至少各有一個數據副本；其中至少一個應同步復制；同城、異地，至少一個處于運行狀態，可實時自動或集中切換；同城強同步復制3或4副本6級2分鐘05分鐘同城、異地至少各

5、有一個數據副本；其中至少一個應同步復制；同城、異地均處于運行狀態，可實時自動或集中無縫切換；同城強同步復制+異地異步復制4或5副本 全球敏捷運維峰會 廣州站A園區MasterSlave1B園區A園區B園區A園區B園區C園區半同步半同步異步半同步半同步半同步半同步Slave2Slave1Slave3Slave2Slave3Slave4MasterMasterSlave1Slave2半同步異步A園區MasterSlave1異步六級災備五級災備四級災備三級災備不同容災級別下的MySQL高可用容災架構 全球敏捷運維峰會 廣州站數據庫運維需要應對多種故障場景主機硬件網絡故障(腦裂)操作系統數據庫服務高可

6、用軟件自身 全球敏捷運維峰會 廣州站滿足企業級需求的高可用架構 架構介紹透明訪問：SIP綁定 或路由中間件，支持一主多備故障自動切換：檢測網絡、服務器、操作系統、服務進程等故障，實現故障秒級自動切換強一致性保證：A.支持異步復制，可選用binlog共享存儲方式，切換前數據補齊，確保數據零丟失B.支持MySQL半同步復制C.支持組復制（MGR）技術D.當半同步降級為異步復制，此時主庫發生故障，高可用軟件會優先嘗試采用主庫節點上的binlog日志進行數據補償，補償完成后新主庫對外提供服務，保證數據的一致性。故障自動恢復：主從節點故障自動修復數據復制自動修復：檢測復制狀態，自動修復復制故障，降級為異

7、步復制后自動恢復為半同步復制SLA協議保證：量化數據庫服務指標，保障數據一致性切換易用性：圖形化管理、一鍵式部署、數據自動備份、監控告警應用場景UcoreUcoreUcore核心配置組件切換決策組件Uguard_MGR(主)Uguard_MGR(備)UstatsUGuard_AgentUstatsUGuard_AgentMySQL主MySQL從數據庫復制狀態采集狀態采集管理任務管理任務管理區數據區 全球敏捷運維峰會 廣州站腦裂是指當發生網絡分區時可能雙主局面，即有兩個節點都綁定VIP，客戶端可對雙主寫數據，可能造成數據不一致。處理機制1.網絡采用多鏈路聚合，降低網絡鏈路分區的概率。2.多個視角

8、探測master節點的連通性，包括哨兵視角和slave視角，提高探測精確性。3.VIP漂移需發送免費arp包，避免原主被訪問4.網絡恢復后及時解綁VIP，降級為備節點如何避免腦裂 全球敏捷運維峰會 廣州站特性特性云樹云樹DMP(Uguard)MHAKeepAlived高可用架構高可用架構基于邏輯復制的單主多從基于邏輯復制的單主多從基于邏輯復制的雙主哨兵決策節點的高可用哨兵決策節點的高可用支持(多個哨兵節點以主備模式運行)不支持(單哨兵節點)對稱架構(無第三方哨兵節點)主節點可用性監測主節點可用性監測支持支持支持從節點可用性監測從節點可用性監測支持不支持支持(雙主架構)復制鏈路可用性監測復制鏈路

9、可用性監測支持不支持不支持GTID一致性實時監測一致性實時監測支持(發現GTID不一致告警并踢出高可用集群)不支持不支持從節點只讀保護從節點只讀保護支持(對從節點自動保持只讀設置)不支持(需手動配置，容易遺漏)不支持(需手動配置，容易遺漏)主節點故障自修復主節點故障自修復支持(服務重啟、主從切換)部分支持(主從切換)不支持從節點故障自修復從節點故障自修復支持(服務重啟，數據自動重建(可選)不支持支持(雙主架構)復制鏈路復制鏈路故障自修復故障自修復支持(復制通道重啟/重建)不支持不支持連續主從切換連續主從切換(1主多從架構主多從架構)支持(只要存在可用從機)不支持(一次性切換，manager進程

10、退出)不支持(僅支持雙節點)可用復制模式可用復制模式異步/半同步/組復制異步/半同步異步/半同步可配置切換策略可配置切換策略支持(基于權重/基于標簽/基于RTO和RPO指標要求)不支持不支持binlog日志補償日志補償支持支持不支持可觸發切換動作可觸發切換動作VIP綁定/可觸發自定義腳本需自行編寫切換動作腳本VIP綁定/可觸發自定義腳本腦裂防護腦裂防護支持(若主節點發生網絡隔離，選出新主后，舊主網絡恢復，降級)不支持容易產生腦裂，且無法防護告警通知告警通知支持不支持(可自定義通知腳本)不支持(可自定義通知腳本)從整體考慮數據庫可用性管理，不是簡單的主從切換 全球敏捷運維峰會 廣州站通過切片（s

11、harding）對集中式數據庫進行分庫分表，把數據庫的業務數據分成多個物理數據庫分片 每個Shard 只負責自己分片數據的修改 實現Sharding 需要解決一系列關鍵的技術問題：切片策略、節點路由、跨節點排序/分組/關聯、分 布式事務處理和Shard擴容等讀寫分離讀的橫擴展適合讀多寫少，讀寫比例極不均衡讀一致性要求不高水平分片讀寫橫向擴展容量的橫向擴展數據分散到不同節點誤區超過1000萬行就要分表讀寫分離架構讀只讀讀寫寫分片架構 主從主從主從SQL計算節點數據存儲節點MySQL架構的橫向擴展 全球敏捷運維峰會 廣州站l架構：1主3從2確認l切換策略：DC內自動，跨DC聯動l故障預警：主從gt

12、id實時監測，不一致踢出集群l故障自愈：復制重連；備庫重做l容災能力：RPO=0 RTO 30 m；園區A園區B管理節點管理節點一套高可用軟件，實現多種高可用容災架構不等ACK.APP ServerAPP Server等ACKDBLE 數據庫分布式中間件集群分片1分片NDBLE 數據庫分布式中間件集群 全球敏捷運維峰會 廣州站備份l全量/增量l物理備份/Binglog備份l備份自動回收轉儲lftp、磁盤、帶庫l自動轉儲，故障無憂lNBU/S3備份對接災備報告l展示RTO、RPOl備份數據有效性驗證編排l自動編排所有備份任務l發送每天編排報表l異常編排任務告警恢復演練l自動恢復演練l指定時間點恢

13、復l故障恢復預測Urman_mgrUrman_agent下發備份任務開始備份備份集DB1轉儲歸檔空間下發恢復任務Urman_agent演練DB演練恢復如果本地沒有則拷貝新DB1故障恢復備份策略備份、轉儲、恢復、演練一套完整閉環的備份恢復系統 全球敏捷運維峰會 廣州站l備份成功=！順利恢復；l高可用不能替代備份恢復；l可基于時間點恢復到指定event；自動恢復演練確保需要恢復數據時備份集可用，可恢復至任意時間點18 全球敏捷運維峰會 廣州站l融合十年以上百個大型MySQL數據庫系統運維經驗，總結出9大類，25個子類，監控指標MySQL200 多項、Redis 80多項、MongoDB 50多項。

14、l結合系統資源，主機、操作系統、IO、網絡等上百個監控指標，確保MySQL數據庫系統穩定可靠地運行。l支持對數據庫空間、性能、運行時間、報警、慢SQL等形成數據庫性能報告。監控中心事務相關連接與線程表相關網絡流量查詢類型命令統計查詢緩存MySQL排序InnoDB相關覆蓋最全面的監控指標 全球敏捷運維峰會 廣州站成千實例規模，成萬監控指標，實時指標展示，告警異常及時傳統監控面臨的問題：無法分布式部署，擴展性差初始化配置復雜，后期運維管理成本高數據量增長導致后端數據庫性能不足告警規則配置復雜，容易觸發郵件風暴愛可生監控的優勢：全分布式架構，擴展性好配置管理簡單，可視化展現豐富采用時間序列數據庫，高

15、效查詢和存儲支持兩種數據采集方式：直接pull采取和短時Job的push gateway可自定義多維度數據模型獨立的告警管理中心，提供API接口支持告警的抑制和收斂支持微信、郵件、黑洞等轉發專業的MySQL監控模板Umon_mgr 全球敏捷運維峰會 廣州站定時健康巡檢，快速診斷數據庫，將故障隱患扼殺在搖籃里健康巡檢庫表檢查慢日志分析鎖沖突分析磁盤容量分析DDL進度連接分析 全球敏捷運維峰會 廣州站l熱參數即時生效l重啟參數特別標識l敏感參數默認不顯示一鍵參數變更，避免誤操作、漏操作22 全球敏捷運維峰會 廣州站SQL審核落實開發規范，DBA不再為爛SQL發愁規范化數據庫設計對象審核SQL語句審

16、核邏輯設計反模式物理設計反模式查詢反模式數據反模式 全球敏捷運維峰會 廣州站應用特征應用特征交易特征:高并發、低延時，日均交易量2億交易延時10ms;業務數據量20T,7*24聯機服高可用架構:MySQL分庫分表,應用雙活實施效果實施效果日均交易量1億以上分庫分表,-致性Hash算法、智能路由,128個分日間聯機(讀)、夜間批量(寫)支持同城/本地高可用自動化切換,RPO=0,RTO30s某銀行A類業務MYSQL兩地三中心架構 全球敏捷運維峰會 廣州站高可用主從集群MySQL主庫MySQL從庫l異步復制l半同步復制高可用MGR集群MGR組復制writesetwritesetwritesetMySQLDB1MySQLDB2MySQLDB3同城容災集群MySQL主庫MySQL從庫MySQL從庫半同步復制MySQL從庫異地容災集群MySQL主庫MySQL從庫MySQL從庫異步復制MySQL從庫分布式集群讀MySQL從庫MySQL主庫寫半同步復制快速部署服務部署云樹DMP 數據庫集群管理平臺系統變更監控巡檢安全審計架構優化實例接管資源隔離版本升級參數變更備份恢復實例診斷自動巡檢平臺權限高可用讀寫分離分布式監控告警SQL審核數據庫權限組合開源數據庫幫助企業降本，用好數據庫運管平臺幫助企業提效 全球敏捷運維峰會 廣州站THANK YOU！