雙背景下數據庫運維管理的新質生產力.pdf

《雙背景下數據庫運維管理的新質生產力.pdf》由會員分享，可在線閱讀，更多相關《雙背景下數據庫運維管理的新質生產力.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、雙背景下數據庫運維管理的新質生產力路新英上海愛可生信息技術股份有限公司自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會雙背景下數據庫運維管理面臨的挑戰愛可生公司介紹新質生產力-多元異構數據庫運維管理平臺0 01 10 02 20 03 3目 錄Contents大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據

2、技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會 雙背景下數據庫運維管理面臨的挑戰Chapter 01大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會當前數據庫運維管理面臨的挑戰 如何做好多技術棧復雜環境的數據庫管理 數據庫運行環境復雜：自建IDC、公有云、私有云、Docker 數據庫種類、架構、版本復雜：數據庫多樣性，一種數據庫無法滿足所有場景需求，結構化與非結構化并存，交易與分析并存數據庫架構、版本管理復雜

3、 如何做好多技術棧的SQL治理與優化 數據庫遷移替換后，業務上線數據庫問題頻發，DBA疲于救火大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會 新質生產力多元異構數據庫運維管理平臺Chapter 02大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會多元異構數據庫一

4、站式管理平臺計算資源池裸金屬虛擬化容器 云樹DMP（私有云平臺管理后臺）公有云主機自服務RDS安裝部署監控告警性能診斷備份恢復管理高可用容災數據安全自動巡檢報告SQL審核數據庫自服務租戶管理運營管理數據庫資源池數據庫服務數據庫運維人員業務人員/運營人員MySQLRedisMongoDBTiDBOceanbaseOracleOpenGauss PostgreSQL ClickHouse云樹DMP讓多種數據庫在同一技術棧上標準化交付，統一運維、融合發展，降低多元數據庫使用場景帶來的運維難度和成本提升問題，提高企業運維效率達夢大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大

5、數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會多種業務架構按需選擇，滿足不同業務場景需求數據庫服務多業務場景、多品類數據庫全生命周期管理聯機交易業務云樹DMP鍵值緩存業務文檔存儲業務HTAP業務聯機分析業務多種數據庫常見高可靠及災備架構Redis集群架構MongoDB集群架構MySQL+CKOceanBaseTiDBClickHouseOceanBaseTiDB大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委

6、員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會規范部署、固化基線操作系統參數版本管理架構選型數據庫參數目錄規范磁盤分區安裝方式賬戶安全變更規范大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會多維度監控，及時預知風險網絡數據庫主機存儲其他服務監控目標監控集群UmonUmonUmon監控管理Umon_mgr服務發現網關收集直接收集告警推送API調用可視化展示監控數據采集數據庫探活、可用性，性能數據表空間

7、大小、事務數、鎖、負載分析資源使用情況自動發現監控對象，無需額外配置操作可擴展采用云原生監控架構，支持監控數據sharding，可監控上萬個監控指標；采用錯峰采集機制，減小被監控對象的負載壓力及時告警告警自定義，閾值告警、多種告警渠道實時通知升級變更期間可設置告警靜默，避免無效告警大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會實時診斷，根因分析健康診斷報告（自動化定時+手工實時）故障診斷慢日志分析圖形化鎖分析錯誤日志&DDL進

8、度分析連接分析分析當前連接執行的SQL情況,找出運行時間較長的連接,kill高負載的連接磁盤空間分析一鍵清理日志,騰出可用空間,避免DB無法寫入圖形化鎖分析快速定位事務的阻塞關系,kill 阻塞事務.慢日志分析慢日志集中采集,篩選,快速分析需要優化的慢SQL，高頻的、延時高的故障診斷CPU、內存、磁盤使用分析診斷、會話分析、SQL分析診斷健康報告多維度掌握數據庫的健康情況，檢查出不合理的庫表設計,無主鍵表影響同步性能；冗余索引影響插入性能；主鍵uuid 影響插入性能大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術

9、標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會SQL問題治理挑戰數據庫服務相似SQL在同一數據庫上性能差異明顯相同SQL在MySQL與Oracle上性能差異明顯相同SQL在集中式和分布式架構上性能差異明顯多庫場景下SQL質量治理更為重要，強依賴數據庫專業經驗z需求創建代碼開發持續集成創建鏡像測試環境UAT環境部署上線業務運行開發生產幾天，不影響生產幾天或幾周，影響項目周期幾周或幾個月，影響生產SQL治理越早解決成本越低！幾小時，不影響生產代碼開發代碼測試部署與發布生產運維SQL整改效率問題處理大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準

10、推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會SQL質量“前控”提早發現問題SQL開發階段及早發現問題SQL，及時整改，避免問題SQL流向生產全量、增量審核，提升審核效率支持掃描配置路徑下的全量SQL與變化SQL審核CI/CD持續集成系統能力增強jenkins集成無縫對接現有流程，增強持續集成系統能力，不改變使用習慣，減低推廣難度大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推

11、進委員會大數據技術標準推進委員會大數據技術標準推進委員會SQL質量“后督”業務應用SQLE運行SQL采集獲取生產庫SQL獲取與審核審核結果（質量報告）預警（發給相關人員）問題SQL優化數據庫管理員TOP SQL采集審核1.根據采集周期SQLE定期獲取數據庫TOP SQL語句2.使用語法解析器解析SQL語句，獲取SQL執行計劃3.基于規則和執行計劃判斷SQL是否存在風險。慢日志采集審核1.SQLE通過其客戶端程序實時獲取數據庫慢日志 SQL語句2.定期審核：使用語法解析器解析SQL語句，獲取SQL執行計劃3.基于規則和執行計劃判斷 SQL是否存在風險。審計日志采集審核1.SQLE通過客戶端程序實

12、時獲取數據庫慢日志 SQL語句2.定期審核：使用語法解析器解析SQL語句，獲取SQL執行計劃3.基于規則和執行計劃判斷 SQL是否存在風險。SQL審核云數據庫審核1.SQLE調用RDS的慢日志、審計日志等API獲取運行SQL信息2.SQLE使用語法解析器解析SQL語句，獲取SQL執行計劃3.基于規則和執行計劃判斷SQL是否存在風險。分優先級反饋優化建議反饋開發協同優化庫表元數據審核1.根據采集周期SQLE定期獲取數據庫庫表元數據信息2.使用語法解析器解析SQL語句，獲取SQL執行計劃3.基于規則和執行計劃判斷SQL是否存在風險。大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進

13、委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會變更SQL標準發布SQL預審SQL上線工單是否通過SQL上線開發人員運維人員變更SQL否是審核結果、回滾語句上線審核流程審批通過手動/自動執行SQL執行執行失敗執行回滾是否通過變更取消否發布效率提升，發布留痕變更SQL一鍵執行上線，提升發布效率手動上線/定時上線發布留痕，可追溯建立標準化發布流程所有發布必須通過平臺執行，線下人情上線減少100%，問題SQL引起的性能問題減少60%大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委

14、員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會問題SQL跟蹤治理15問題SQL統計問題SQL處理與跟蹤SQL治理效果匯報SQL指紋去重SQL規則建議大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會做好多庫規范是SQL質量審核的關鍵用戶經驗專家經驗信通院SQL質量管理平臺能力分級要求SQL標準規范SQLE規則庫1000+專家經驗沉

15、淀規范標準數百家客戶經驗沉淀愛可生專家經驗沉淀參與信通院SQL質量管理標準編制，匯聚權威經驗規則庫覆蓋廣DDL規范、DML規范使用建議、全局配置命名規范、索引設計規則靈活調整規則參數靈活調整，滿足個性業務需求規則數量可按需定制增加，滿足個性化需求大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會云樹DMP為數據庫運維管理提質增效DMP平臺汲取100+資深數據庫工程師多年運維經驗和300+大型項目需求，運維經驗沉淀為標準化產品，滿足

16、高性能、高可用和數據安全的需求DMP平臺將運維規范體系融入平臺，提供數據庫全生命周期管理服務，降低運維復雜性、提升資源利用率、避免重復建設、提高數據庫運行效率數據庫全生命周期管理資源審批資源交付資源創建規范基線資源回收選型調研開發規范運維規范不斷改進架構基線(可靠性、穩定性）性能基線（高性能、高并發）部署基線（基礎運行環境）已有資源納管多種架構（災備、高可用、分布式、讀寫分離）模板管理SLA確認（RPORTO)資源清單確認權限劃分與OA/ITIL等流程對接分鐘級別交付數據庫拓撲信息與CMDB對接資源使用監控告警數據庫開發及測試備份恢復性能優化（鎖、TOPSQL、慢SQL）故障分析SQL審核與治

17、理資源變更數據庫在線遷移數據庫規格變更數據庫版本升級數據庫擴容參數變更高可用切換策略業務發版變更數據庫歸檔數據庫銷毀定時下線回收大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會某金融行業客戶一套平臺完成多種數據庫統一管理，滿足不同應用的使用需求，避免重復建設，降低運維復雜度項目背景隨著近幾年數字化轉型進程不斷推進，信托業務快速發展，公司積極推進IT架構轉型，引入并推廣開源數據庫。隨著開源數據庫種類和數量的增加給數據庫運維帶來不少

18、挑戰：開源數據庫推廣使用需要更多DBA人員投入，數據庫運維成本直線上升；開源數據庫多種架構的混合管理增大運維難度；數據庫的高可用能力建設如何滿足不同業務場景的個性化要求；容災架構如何搭建以滿足不同業務災備體系建設要求；IT資源如何通過資源隔離和容量管理進行資源高效利用；應對數量較多的數據庫如何做到精細化監控，及時發現數據庫問題解決方案 愛可生云樹DMP數據庫統一管理平臺，數據庫高可用及容災方案項目成果針對MySQL、Redis、MongoDB數據庫進行統一的運維管理。提供智能化、標準化數據庫運維能力，數據庫從被動式運維走向主動式運營。建立的數據庫管理平臺，為新數據庫選型、擴展奠定基礎。數據庫運

19、維降本增效，提高運維效率，實現了多元數據庫統一管理，減少運維成本。DMP已支撐中小企業業務系統、消費金融業務系統、證券投資業務系統、家族信托業務系統、財富管理業務系統、運管管理系統等20多個業務系統的穩定運行。大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會某金融行業客戶助力該客戶數字化轉型，促進開發測試階段到生產運維階段SQL規范設計，提高生產系統、數據庫運行穩定性。全全流流程程S SQ QL L采采集集和和審審核核治治理理

20、從開發設計到生產上線的一體化管理，并將整個SQL審核過程集成到DevOps流水線。項項目目管管理理按項目進行資源管理和權限配置，規范化數據管理流程。角角色色權權限限控控制制支持開發、項目經理、DBA等多種角色，滿足各角色參與數據全流程質量管理的要求。細粒度權限管控，支持實例、數據庫、表、字段、數據行級不同粒度授權。IDEA審核，為開發人員提供便捷的“自檢”手段，提高開發側SQL編寫和SQL優化質量，提升開發效率。對接DevOps和項目管理系統，完成SQL質量的管理和跟蹤，實現SQL自動化審核和上線。補充完善行內運維變更標準流程，形成了SQL全流程質量管理工具。接入一年SQL 審核次數已累計達到

21、了 78579 次，有效地發現并解決了大量潛在的數據庫SQL風險，平均降低了 66.84%的生產風險 SQL同時形成行內SQL優化知識庫。開發人員對SQL開發能力層次不齊，沒有太多SQL優化經驗；研發到測試過程由研發人員進行自檢，無法及時獲取SQL優化建議，過程沒有SQL質量卡點；在實際運行情況中出現慢SQL，系統卡頓等問題。人工審核，SQL數量大，DBA團隊壓力大，行內使用的數據庫種類較多，人工運維效率低下，技術棧復雜，缺乏專家經驗進行優化。SQL質量管理效率低，SQL治理需要人工拉平信息，缺少統一平臺自動化交互，信息不透明，數據的運維變更缺乏標準流程。接入層系統對接全流程管理平臺DevOp

22、s對接項目管理系統對接需求管理對接核心服務數據庫層SQL審核項目管理權限控制流程管理質量報表解決方案業務挑戰業務收益開發人員運維人員項目經理大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會 愛可生簡介Chapter 03大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委

23、員會愛可生深耕數據庫行業20年，專注做好數據庫智能化運維解決方案 云樹DMP-多元數據庫智能運維管理方案 ActionDB-國產數據庫解決方案 TenserDB-向量數據庫 云樹SQLE-SQL質量治理方案 云樹系列生態工具產品生態建設 愛可生開源社區（DBLE、DTLE、TXLE、SQLe）多種信創國產基礎環境適配(操作系統、CPU、整機)多家上下游廠商適配 加入OceanBase生態行業貢獻工信部-信息技術應用創新數據庫工作組成員人行金融科技產業發展聯盟-分布式數據庫專委會成員參與編寫多項數據庫行標、團標行業客戶 銀行 政企 保險 電信 零售 能源 制造服務輻射全國總部和研發中心位于上海，

24、下設北京、深圳、武漢分公司，成都、南京、廣州辦事處公司情況成立于2003年，20年數據庫技術服務經驗，國內領先的數據庫產品及技術服務提供商，國家級專精特新、科技小巨人企業大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會THANKS感謝聆聽自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會