中亦科技-多元數據庫時代下數據庫智能運維的探索.pdf

《中亦科技-多元數據庫時代下數據庫智能運維的探索.pdf》由會員分享，可在線閱讀，更多相關《中亦科技-多元數據庫時代下數據庫智能運維的探索.pdf（39頁珍藏版）》請在三個皮匠報告上搜索。

1、多元數據庫時代下數據庫智能運維的探索黃遠邦 北京中亦安圖科技股份有限公司CONTENTS目 錄數據庫運維痛點解決之道分享與實踐Q&A客戶案例1 數據庫運維痛點開源NoSQL OracleMySQLPostgreSOLRedis MongoDBDB2SQLServer開源關系型商業關系型達夢金倉信創集中式OceanBase GaussDB信創分布式GoldenDBTDSQLTiDB.openGauss公有云私有云一體機物理機虛擬機RDSX86CPUARMCPU敲命令等人工運維數千個數據庫節點無法滿足大規模、規范化、精細化運維和業務連續性要求新上一個業務系統，或者存量的業務系統，一升級應用版本，系

2、統很容易就因為新功能或者被修改的存量功能沒有充分測試，而引發全局的性能問題或者系統可用性的問題！要是能建設一個平臺，在開發階段、測試階段對開發的SQL質量、schema設計進行上線前的審核，就好了！唉，現在做數據庫運維，壓力真是越來越大了。唉，現在做數據庫運維，壓力真是越來越大了。舉例來說，管理的數據庫種類真是越來越多了，之前只有oracle、DB2、SQLServer,后來又引入了開源的關系型數據庫，MySQL、PostgreSQL,還有開源的NoSQL如Redis、MongoDB、ES，隨著信創數據庫的落地,集中式的有什么達夢、金倉、openGauss,分布式的有OB、高斯、TDSQL、g

3、oldenDB、TiDB、巨杉，一個數據中心少則5、6種，多則十幾種不同品牌的數據庫。面臨幾個問題，1、學不過來 2、管不過來 3、每個數據庫都有一個平臺、風格、理念、菜單位置都不一樣，也很難推動原廠商去做定制、打通。要是能有一個平臺，可以直接在一個平臺上按照統一規范管理所有主流數據庫就好了！業務和數據庫的很多問題，過去了無法查。要是有個平臺，記錄數據庫的歷史會話、歷史SQL、歷史鎖、歷史爭用等信息就好了！能否協助我們從數據庫運維轉到數據庫運營上來，提升數據庫運維管理水平呢舉例來說，我們把數據庫DBA變為數據庫服務中心，將對外的服務能力全體體現在ITSM的服務目錄中，用戶（應用維護人員、項目組

4、開發人員）在ITSM提單，例如數據庫資源申請、創建用戶、授權、異機恢復、查殺會話等，在ITSM審批通過后，DBA直接調用數據庫管理平臺完成了資源交付的自動化、例行或標準變更，如此一來，工作可以被量化、也可以被計費，為后來可能的科技子公司做好準備！2 解決之道分享與實踐高可用體系主備高可用存儲高可用安裝規劃與工藝集群高可用兩地三中心高可用定期演練權限管控獨立賬號隔離細粒度權限控制危險/未授權操作攔截防統方操作導出數據管控水印防泄漏操作審計操作留痕越權操作、攔截操作未授權IP的操作提醒數據脫敏動態脫敏敏感表/列定義非生產環境需脫敏變更安全DML/DDL審核與執行數據修改前自動備份SQL審核體系代碼

5、提交就審核自助審核服務邊開發邊審核SIT/UAT階段審核壓測階段審核集成idea/jenkins環境一致性開發、SIT、uat、準生成、演練環境保持一致數據安全體系訪問安全統一維護入口雙因子驗證IP白名單備份恢復體系數據庫增量備份定期恢復演練數據庫全備日志定期備份數據庫恢復應急手冊備份介質管理預防性維護體系數據日常庫巡檢備份等專題檢查數據庫監控 1數據庫深度巡檢容量指標分析容量趨勢提醒日常運維/變更體系每年變更提前規劃，減少臨時變更次數ITSM/ITTL，變更嚴格管控流程先測試后生產，成熟的變更操作手冊應急體系業務應急流程慢SQL應急技術應急手冊根因分析 5-10鎖的查殺限流與熔斷主動性能分析

6、體系DBA、項目組、應用維護人員參與慢SQL分析全生命周期管理主動進行實例性能分析生產運行階段測試階段數據加密底層磁盤加密備份加密硬件、OS、數據庫版本、補丁和參數保持一致集中化管理標準化管理自動化管理可視化管理智能化管理統一管理事前預防-SQL審核事中1/5/10開發人員邊寫 代碼邊審核開發人員提交代碼即審核功能測試、壓力測試階段審核生產運行階段查缺補漏1分鐘發現問題5分鐘分析問題10分鐘解決問題經驗即產品一鍵故障診斷不斷豐富的場景相關系數等ML算法安全管控統一數據庫訪問入口細粒度權限管控實例、schema、表、列的查詢、增刪改、DDL、導出權限控制生產變更自動SQL審核與攔截，自動備份與自

7、動執行2.1 SQL審核的探索不可或缺的事前環節開發側:SQL質量80%運維側:BUG等20%導致數據庫故障的原因占比目標數據庫的數據字典、SQL緩存.sql文件（以分號;結尾的多條SQL）導入平臺資料庫sops_slow_sql表的多條慢SQL用戶輸入的SQLSQL審核服務2SQL審核服務1SQL審核服務N.SQL審核平臺開發階段：IDEA等開發工具（需插件支持）邊開發邊審核構建發布階段：GitLab/SVN 提交代碼觸發需與jenkins集成一提交就審核MyBatis.xml文件審核結果excel、htmlUAT、壓測階段：需支持定期掃描入庫評審發現新增則評審上線后運行階段：需支持定期掃描

8、入庫評審查缺補漏通過上線跟進評審結果不通過則改進慢查詢日志研發經理哪個開發人員沒提交評審;提交評審是否通過開發人員代碼倉庫gitLab/svnJenkinsCI/CD 構建發布Pre Step調用SQLCHECK服務git commit推送事件Build StepPost Stepmapper_pathnmapper_path2mapper_path1SQL審核服務1.SQL審核服務2.34567研發經理研發主管SQL管控專員審核結果8 91012改進跟蹤改進后IDEA插件審核或者自助審核通過入庫展現關注不通過部分2.2 數據庫運維1/5/10的探索1分鐘發現問題5分鐘分析問題10分鐘解決問題

9、平臺監控報警或發現故障2.3 建設平臺應具備的其他通用功能的建議DBaaS/DMP內部消息服務外部接口服務統一監控/告警平臺ITSMCMDB云管平臺短信平臺故障診斷性能分析數據庫監控數據庫巡檢日常運維容量管理高可用管理備份與恢復自動安裝SQL審核展示層故障診斷高可用管理性能分析備份與恢復數據庫監控自動安裝數據庫巡檢SQL審核日常運維容量管理功能層JDBC/ODBCAgentSSH分布式跨網段交互層物理機云主機信創數據庫商業和開源數據庫云RDS資源層一鍵診斷一鍵保存現場日志分析一鍵SQL優化數據庫整體報告歷史性能回顧精細化監控項自定義監控項監控數據分析一鍵批量巡檢自定義巡檢項異常匯總和對比日常操作服務化用戶/資源管理空間/日志管理主備一鍵切換高可用自動切換切換前評估一鍵異機恢復集中恢復驗證自定義備份策略單機/集群/災備內置模板自定義模板自動審核與執行開發規范審核索引和改寫建議異常發現趨勢分析預測與提醒鍛造凝煉IT服務 助推用戶事業發展400 1037 370www.ce-THANKS FOR WATCHING一同看海