穩筑基石云帆萬里 -- 構建極速穩定多元異構數據庫云化底座 - 胡自貴_云和恩墨.pdf

《穩筑基石云帆萬里 -- 構建極速穩定多元異構數據庫云化底座 - 胡自貴_云和恩墨.pdf》由會員分享，可在線閱讀，更多相關《穩筑基石云帆萬里 -- 構建極速穩定多元異構數據庫云化底座 - 胡自貴_云和恩墨.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、穩筑基石，云帆萬里構建極速穩定多元異構數據庫云化底座演講人：胡自貴云和恩墨趨勢挑戰：行業變化、客戶轉型、產業升級帶來的新挑戰行業變化：多元、國產、上核心IT棧硬件全線升級，性能倍增國產數據庫百花齊放，據墨天輪統計，品類總數近300 高性能、靈活擴展 應對外部爆炸式的業務并發和數據增長過去，硬件慢，軟件慢點無所謂現在，硬件快，軟件慢點大問題多元數據庫百花齊放多資源池，管理難客戶轉型：集中化、云化產業升級：新硬件潛力有待挖掘自主可控部署要求硬件架構多，適配難 政策驅動，全棧國產自主可控 國產軟硬件適配復雜，管理成本高，問題頻發國產數據庫上核心要求高性能高可靠的承載環境本地盤等部署方式，系統可靠性難

2、以支撐國產數據庫上核心的訴求集中化建設系統A系統B系統C統一資源池 規范業務、打通流程，離散業務集中化、標準化 外部壓力不變，內部壓力倍增云化建設云資源池7.5X每百萬用戶計費話單量1.2億 7.5億10X省級網元運維數據量13.7PB 111.5PB銀行業務辦理2-4周秒級利用新技術，軟硬件深度整合，充分挖掘整機性能成為當務之急實事求是：從一個用戶的案例看國產數據庫承載架構需求 數據庫架構現狀：1、使用某大廠分布式數據庫集中式部署版本。2、當前業務分了4套數據庫（按地市進行區分），每套數據庫一主兩備，一共12臺主機；數據庫存儲在服務器本地盤，當前數據量較小，僅1-200G?！緮祿亢苌?，國產

3、庫為什么都建議用本地盤？】3、服務器配置：全閃SSD，10T左右空間；CPU為鯤鵬920，64核；768G內存【存儲資源浪費嚴重，磁盤故障率高】4、2023年12月底開始上線，購買了2個月原廠服務，經過幾個月磨合，目前系統運行正常，CPU使用率一般處于20-30%之間，偶爾40%?！緸槭裁磿霈F數據量很小，但是CPU占用還不低？】數據庫承載架構思考：1、存算分離是架構設計的基本原則，也是解放單機架構下CPU能力的關鍵一環。2、本地盤性能好，但資源浪費，冗余性差，資源浪費？要實現既安全可靠又高性能，同時能實現存儲資源的共享？資源共享，降本增效？3、國產數據庫引擎相對Oracle還有一定差距，如何

4、彌補？同樣的車，高速VS國道？1km、100km抽絲剝繭1：決定數據庫性能的一些關鍵考核指標性能指標概念 IO：Input-Output，讀寫請求 IO大?。喝?K、8K、1M，讀寫數據大小，交易型（OLTP）系統一般為小IO，分析型（OLAP）系統一般為大IO IOPS：系統每秒可以處理的IO數量，考察IO的并發處理能力，一般小IO才考察該能力。時延：每個IO執行的時間，一般小IO才考察該能力 帶寬：系統每秒可以處理的IO帶寬總數，一般大IO考察該能力性能考察方法（見右圖）假設系統對每個IO的處理時間是1ms，系統可同時排隊的IO數量是8個。則該系統的IO并發處理能力是8（如果計算IOPS，

5、則需要計算1秒內的IO處理能力），因為隊尾的IO要等前面的IO執行完，所以隊尾的IO時延更大（可能達到7ms），整體平均時延也會更大。因此，考察一個系統的小IO性能，要同時考量IO并發能力和單IO處理時延，單獨考察其中之一都是沒有意義的。一個高性能系統，要在低時延的情況下，觀察IO并發能力（IOPS）。有些系統IOPS很高，但是時延也很高（甚至不可容忍），也說明系統性能較差。IO-1IO-2IO-3IO-4IO-5IO-6IO-7IO-8IO-9IO-11IO-10IO-12每個IO處理時間系統可以同時排隊的IO數量性能關鍵指標99%和99.99%的時延：時延從低到高排序，排在第99%和99.

6、99%的IO時延。這兩個時延是考察存儲時延的通用指標。相當于中位數（這里是99%位數）。舉例來說，小部分時延很高，大部分時延很低，平均時延則會很低。但存儲系統往往要考察這小部分高時延的表現，所以會觀察99%、99.99%位數的IO時延，這兩個時延越低，說明系統的IO處理能力越強。抽絲剝繭2：數據庫常用存儲協議類型：塊、文件、對象協議層存儲層FC/iSCSI/NVMe-oF硬盤讀/寫NFS/CIFS/Posix文件打開/修改/保存/刪除S3/SWIFT對象上傳/下載/查詢/刪除塊存儲文件存儲對象存儲對比場景：數據庫、虛擬化特點：二進制方式直接訪問存儲，性能最高，數據無法共享；用于結構化數據的存儲

7、場景：企業OA、HPC特點：通過文件系統訪問，實現局域網內共享數據；用于非結構化數據的存儲場景：大數據、備份歸檔、海量非結構化數據特點：通過HTTP承載對象存儲語義，實現遠距離共享數據；用于非結構化數據的存儲刨根問底1：傳統部署范式難以應對企業發展新挑戰單機服務器傳統集成架構ERP系統報表系統SCM系統FC交換機FC交換機磁盤陣列vERP系統報表系統SCM系統小型機小型機小型機本地盤本地盤本地盤傳統運行環境不夠快不夠穩不好用集中化、云化，要求極致性能數據庫種類多，要有海納百川式的高性能本地盤雖快，但犧牲了穩定性（盤故障，數據庫節點切換20秒，業務中斷；硬盤卡IO，系統掛起幾分鐘）硬件無監控，運

8、維靠人工0.5+0.51 小時15分鐘故障場景臨時離線場景穩定可靠：針對亞健康組件提前預警，事前預防卓越性能穩定可靠開放易用運行時間系統風險度故障亞健康健康節點亞健康亞健康：組件尚未故障，但出現慢速、壽命不足等降級問題，影響業務性能，有中斷業務的風險網絡亞健康硬盤亞健康IB降速亞健康處理 檢測并告警：系統發現IB降速，并給出告警 可視化查看：監控中可以查到IB降速情況 亞健康處理：網口組件處于亞健康狀態，為保證系統不降速，自動禁用該網口，系統正常運行 處理后告警：禁用網口時，觸發告警卓越性能穩定可靠開放易用開放易用：靈活按需擴展，組件開放兼容存儲網絡計算靈活擴展開放兼容容量性能性能、容量線性增

9、長1024節點3節點 全分布式架構，存儲節點3節點起配，并可輕松擴展至1024節點 性能隨容量線性增長數據庫操作系統物理硬件開放架構，支持各類架構數據庫、操作系統、物理硬件*卓越性能穩定可靠開放易用開放易用：事前事中事后全面數據庫安全操作管控事前分析預防事后快速恢復事中精準監控統一監控，精準告警性能容量分析，高可用管理100%問題0%問題提前規避80%問題問題發現效率提升10倍快速故障分析分鐘級主備切換智能巡檢，健康度評估圍繞數據庫及基礎設施，進行全棧全生命周期管理全面精準的采集指標項，包括數據庫狀態、性能、容量，構建精準數據庫畫像準確收斂告警，避免海量告警風暴場景化告警模板，精準、全面的設計

10、告警內容告警響應，精準控制傳播路徑和范圍，全程可追溯告警下鉆：從告警就可深入查詢、分析相關屬性，而不是簡單的發出告警就結束全面分析：多維度、多屬性記錄SQL性能事件一鍵查詢到底：無需從多個入口查找關鍵性能事件，一次就能查詢到所有內容一鍵部署高可用數據架構，實時探測和自動故障診斷，快速進行高可用切換，保障業務的連續性預制專家巡檢項、自定義場景化巡檢，靈活自定義巡檢項，滿足各類巡檢需求批量巡檢，統一匯總查看，提升巡檢效率，方便查看巡檢結果及問題巡檢結果跟蹤閉環業界認可：全棧國產，金獎方案，打造業務第二平面單平面第一平面第二平面國產他國OracleWindows/Linuxx86業務系統國產數據庫業

11、務系統OracleWindows/Linuxx86國產OS鯤鵬/海光業務層數據庫層OS層服務器層網絡層榮獲華為 主辦“2023鯤鵬應用創新大賽”鯤鵬一體機解決方案創新（泛政府）賽道 金獎國產生態圈獲得鯤鵬最高級別Validated認證行勝于言：助力某省衛健委構建全棧國產數據庫資源池18臺國產架構服務器+zData X構建全棧國產數據庫資源池vzData X數據庫一體機高速互聯交換機磁盤陣列升級替換v原系統數據庫環境FC交換機基衛醫療基衛綜合基衛醫療基衛綜合KunpengHygonHygonKunpengKunpengvzData X數據庫一體機高速互聯交換機KunpengHygonHygonK

12、unpengKunpeng主備容災客戶痛點差設備老舊滯后（10年）原有設備使用已10年，故障頻發，系統運行風險極高，設備替換迫在眉睫；慢難性能難以滿足（高并發）業務壓力倍增，系統并發高，要求新的架構必須滿足高性能的要求；國產信創要求（重點需求）要求實現全棧國產化，對整個系統改造難度極大；既要滿足系統高性能、高可用的改造需求，又要滿足國產信創的要求客戶收益：性能超預期，方案獲大獎性能全面提升IOPS 157萬，帶寬 31GB/s2023第六屆智慧醫療創新大賽全國總決賽“醫療信創賽道一等獎”“最佳實踐應用獎”行勝于言：池化整合，助力某證券公司架構創新升級數據庫種類多核心業務采用傳統數據庫，部分業務

13、系統逐步采用國產數據庫承載。傳統架構性能差數據庫量爆炸式增長，傳統架構無法滿足需求，嚴重時會影響部分業務性能。資源利用率低各個業務系統形成煙囪式體系，優質資源無法整合，IT成本居高不下；集中式存儲架構，無法橫向擴容?？蛻敉袋cv高速互聯交換機X86X86X86X86X86X86X86X86zData X 構建多元數據庫資源池承載Oracle、MySQL等 在整體性能上遠超X86+集中存儲架構，IOPS合計超過百萬。zData X上線后，各項性能指標顯著提升。DB Time降低至原來的1/20，SQL語句執行時間及I/O響應時間均有大幅提升！服務關系管理模塊改造前(秒)改造后(秒)提升倍數轉崗人員

14、統計 50.2 25人員崗位月報統計 150.5 30業務辦理情況統計 100.3 33人員職位信息變動 50.2 25執業資格每日變動 60.3 20轉崗人員每日變動 50.2 25員工考核角色設置 60.3 20 從業務角度上來看，常用業務功能的查詢速度大幅提升，多項業務模塊查詢速度提升20倍以上！前端客戶體驗效果顯著。行勝于言：某交通行業客戶核心數據庫自主創新改造項目緣起 采用 zData X 一主兩備架構部署，同城雙中心；4+5（全棧鯤鵬服務器）做生產及同機房容災，2+3（全棧鯤鵬服務器）做異機房容災；采用存算分離的基礎架構，提供高性能、高可靠、高擴展能力；通過一體機內置的監控管理平臺

15、提供數據庫及硬件設備的全面運維管理能力；通過云和恩墨 zStorage 采用多臺服務器構建數據庫存儲資源池，實現資源集約化管理。方案架構交換機冗余部署，高速互聯鯤鵬服務器SSDSSDSSD鯤鵬服務器鯤鵬服務器網絡層NVME SSD提供高性能、大容量存儲資源存儲層計算層TOSECSTOS備庫ECS備庫主機房TOS備庫ECS備庫數據同步SSDSSDSSD容災機房鯤鵬服務器鯤鵬服務器鯤鵬服務器SSDSSD鯤鵬服務器鯤鵬服務器交換機冗余部署，高速互聯NVME SSD提供高性能、大容量存儲資源數據庫1234保障數據安全技術創新順應自主創新趨勢成本優化基礎設施1234設備老舊，需要更換IT基礎架構發展趨勢

16、提高性能和可維護性保障業務連續性行勝于言：某交通行業客戶核心數據庫自主創新改造方案優勢業務收益010203適配性高、兼容性強，大幅降低數據庫改造難度，縮短上線時間構建安全、穩定、連續、高效的數據庫最佳運行環境0405開放性架構，提供高性能、高可靠、高擴展 能 力，實 現 T C O有效管控提供數據庫和硬件設備的自動化運維管理能力，顯著降低運維管理難度生態工具及服務能力保障數據庫平滑遷移，實現并軌運行全棧鯤鵬、自主創新，助力客戶在數據庫改造實踐中保持行業領先，并具備很好的行業示范效應；主備切換實現大壓力下快速故障恢復 RTO10s；客戶應用系統的性能有較大提升（150萬IOPS，MBPS超過30

17、GB/s）;極大地降低了TCO（降低50%），并走出了擺脫國外數據庫依賴的第一步。01020304恩墨愿景：助力構建極速穩定多元異構數據庫云化底座資源池分層體系架構達夢GaussDB MogDBKingbase數據庫云管平臺（zCloud）部署資源管理監控巡檢性能容量高可用統計計量智能診斷集中式分布式Gbase其他GuassDBOB 數據庫資源池 集中式國產庫池分布式國產庫池.物理機虛擬機私有IaaS云公有云l提供多元數據庫管理的平臺化、云化、自動化l標準化多元數據庫運維管理規范l提供標準化數據庫資源規劃與建設l提供高性能數據庫資源池的基礎架構基于zCloud平臺，支持多元基礎架構、多元數據庫的管理，提供數據庫運維各項運維管理。根據客戶的現狀，制定數據庫管理的標準規范建設標準化的數據庫資源池，提供共享的基礎資源以 zData X 為依托，提供多元數據庫的高性能一體化基礎架構l提供多元數據庫管理智能化智能化能力，集成專家智慧，實現智慧即服務云物理層云資源池層云服務層云運維管理層用戶終端全棧實施路徑zData X一體機謝謝觀看THANKS FOR WATCHING