專場13.4-分布式事務數據庫性能優化實踐-黃小慧.pdf

《專場13.4-分布式事務數據庫性能優化實踐-黃小慧.pdf》由會員分享，可在線閱讀，更多相關《專場13.4-分布式事務數據庫性能優化實踐-黃小慧.pdf（24頁珍藏版）》請在三個皮匠報告上搜索。

1、分布式數據庫的性能優化黃小慧 熱璞數據庫 解決方案工程師第一部分目錄CONTENTS第二部分第三部分第四部分分布式數據庫的技術架構分布式數據庫的性能瓶頸咽喉分布式數據庫的性能故障定位問答環節事務型分布式數據庫技術架構來源：計算引擎=計算模塊+管理模塊出處：數據庫系統概論 第三版 薩師煊 王珊著出處：分布式數據庫技術金融應用規范技術架構中華人民共和國金融行業標準 JR/T 0203-2020存儲引擎計算引擎計算引擎=計算模塊+管理模塊存儲引擎=存儲模塊金融標準發起單位金融標準名稱及發布時間信息通信研究院聯合中國支付清算協會金融分布式事務數據庫白皮書金融分布式事務數據庫功能檢測驗證金融分布式事務數

2、據庫性能檢測驗證中華人民共和國金融行業標準委托設立的北京金融科技產業聯盟分布式數據庫技術金融應用規范 技術架構分布式數據庫技術金融應用規范 安全技術要求分布式數據庫技術金融應用規范 災難恢復要求分布式數據庫金融應用系統檢測規范分布式數據庫金融系統應用檢測指南分布式數據庫金融應用標準體系通用技術類標準測評類標準技術架構安全要求災難恢復標準符合性金融場景性能測試軟硬件適配性測試標準符合性測試指南其它類標準2020年輸出分布式事務數據庫金融應用標準體系統一分布式事務數據庫的技術架構定義分布式事務數據庫的功能要求制定分布式事務數據庫的評測模型2017年 協助企業級數據庫選型標準制定2019年 受邀參與

3、行業級金融分布式事務數據庫標準2018年 受邀承擔團體級金融分布式事務數據庫標準行業標準：自2017年起，逐步推進金融領域分布式事務數據庫規范標準的建立事務型分布式數據庫金融應用標準體系國內主流事務型分布式數據庫的技術架構計算模塊、管理模塊、存儲模塊拆開模式計算模塊、管理模塊融合模式，存儲模塊拆開模式計算模塊、管理模塊、存儲模塊融合模式，計算模塊存儲數據存儲格式為關系型：騰訊TDSQL、中興GoldenDB為代表存儲格式為Key-Value型：TiDB為代表存儲格式為關系型：熱璞HotDB、紫光云UniCloud DRDS為代表存儲格式為Key-Value：OceanBase為代表第一部分目錄

4、CONTENTS第二部分第三部分第四部分分布式數據庫的技術架構分布式數據庫的性能瓶頸咽喉分布式數據庫的性能故障定位問答環節事務型分布式數據庫不同架構下的分布式SQL語句執行的網絡開銷分布式數據庫架構為計算模塊、管理模塊、存儲模塊拆開模式時：0）管理模塊從存儲模塊獲取元信息1）應用下發SQL給計算模塊，并在計算模塊進行SQL解析/轉化2）計算模塊向在管理模塊獲取元信息、分布式ID等3）管理模塊將元信息反饋給計算模塊4）計算模塊將轉化后的SQL下發至涉及分布式事務涉及的多個存儲模塊節點處理5）存儲模塊處理完畢后，返回結果給計算模塊6）計算模塊將結果集返回給應用即正常執行的分布式SQL完成，至少存在

5、6次網絡開銷132應用應用123存儲格式為關系型：騰訊TDSQL、中興GoldenDB等存儲格式為非關系型：TiDB等計算模塊管理模塊存儲模塊計算模塊存儲模塊管理模塊事務型分布式數據庫不同架構下的分布式SQL語句執行的網絡開銷存儲格式為Key-Value：OceanBase等分布式數據庫架構為計算模塊、管理模塊、存儲模塊融合模式時：1）應用APP下發SQL給Proxy訪問代理層，進行SQL解析和路由2）Proxy訪問代理下發至一個主混合節點進行處理3）主混合節點判斷是否需要和其他節點進行分布式事務交互，將需要交互的SQL語句發到對應混合節點進行處理4）所有相關混合節點匯聚結果集給第一個主混合節

6、點進行處理5）主混合節點處理完成后，將結果集返回給應用APP即正常執行的分布式SQL完成，至少存在4次網絡開銷計算模塊存儲模塊管理模塊事務型分布式數據庫不同架構下的分布式SQL語句執行的網絡開銷應用12存儲格式為關系型：熱璞HotDB、紫光云UniCloud DRDS等分布式數據庫架構為計算模塊、管理模塊融合模式，存儲模塊拆開模式時：1）應用APP下發SQL語句給計算管理混合模塊的計算節點，并在計算管理模塊計算節點進行SQL解析/轉化等2）計算管理混合模塊的計算節點計算出路由等信息后，將SQL語句下發至分布式事務涉及的多個存儲模塊節點進行處理及管控事務處理過程3）存儲模塊處理完畢后，返回結果給

7、計算管理混合模塊的計算節點4）計算管理混合模塊將結果集返回給應用APP即正常執行的分布式SQL完成，至少存在4次網絡開銷計算模塊存儲模塊+管理模塊事務型分布式數據庫不同架構下的技術架構瓶頸咽喉計算模塊、管理模塊、存儲模塊拆開模式計算模塊、管理模塊混合，存儲模塊拆開模式計算模塊、管理模塊、存儲模塊混合模式存儲格式為關系型：騰訊TDSQL、中興GoldenDB等存儲格式為Key-Value：TiDB等存儲格式為關系型：熱璞數據庫HotDB、紫光云UniCloud DRDS等存儲格式為Key-Value：OceanBase等不同架構的分布式數據庫性能瓶頸點是否存在？（計算密集型/事務密集型/IO密集

8、型等不同場景及規模）若分布式數據庫存在性能瓶頸咽喉，如何找到分布式數據庫性能的瓶頸點？若分布式數據庫存在性能瓶頸點，會有什么樣的影響？事務型分布式關系型數據庫不同架構下的響應時間毛刺現象計算模塊原主副本管理模塊存儲模塊新主副本2346管理模塊拆分模式：存儲副本異常情況下,SQL語句執行耗時至少多產生6個網絡開銷5應用層1計算管理模塊原主副本存儲模塊新主副本2應用層1管理模塊混合模式：存儲副本異常情況下，SQL運行無額外開銷存儲模塊緩存+持久化混合模式：如非緩存范圍內的數據更新時產生毛刺事務型分布式關系型數據庫不同架構下的主鍵自增列順序寫并發能力數據分片（Region）使用主鍵范圍數據分片使用H

9、ASH 算法VS順序寫場景下的熱點問題第一部分目錄CONTENTS第二部分第三部分第四部分分布式數據庫的技術架構分布式數據庫的性能瓶頸咽喉分布式數據庫的性能故障定位問答環節事務型分布式關系型數據庫的性能優化能力硬件及操作系統層面優化建議分布式數據庫軟件內部優化建議事務型分布式關系型數據庫的故障定位能力業務吞吐量實時監測：當出現業務流量波動異常情況下，立刻排查異常情況，做到盡快定位，減少業務服務受影響時間數據庫服務狀態實時監測優先排除數據庫內部服務異常，需要監控整體數據庫服務狀態，若存在服務異常情況下，能夠進一步監測具體異常點及故障原因事務型分布式關系型數據庫的故障定位能力智能監控數據訪問鏈路：

10、動態顯示從應用到物理數據庫端完整的數據訪問鏈路和數據存儲架構圖，幫助用戶直觀理解整個業務系統的運行狀態實時監控各節點的運行狀態，對不同的異常進行分等級顏色閃爍及異常指標凸出提示，幫助技術人員精準定位問題定位故障的位置和原因內置多種檢測算法，精準識別故障原因并在頁面突出顯示，包括數據庫延遲、延遲時間、主備切換時間、網絡問題等，故障恢復后會自動加入到集群，幫助技術人員定位故障并顯示故障原因事務型分布式關系型數據庫的故障定位能力物理服務器拓撲：通過物理服務器層面直觀排查是否存在硬件層面異常事務型分布式關系型數據庫的故障定位能力網絡質量監控：當排除分布式數據庫服務異常情況下，進一步排查是否存在服務器間

11、網絡質量異常，如延遲、丟包、重傳等情況事務型分布式關系型數據庫不同架構下同城容災雙活能力分區 P1分區 P2分區 P3OBServer分區 P4分區 P5分區 P1OBServer分區 P2分區 P3分區 P4OBServerZone_1:北京分區 P1分區 P2分區 P3OBServer分區 P4分區 P5分區 P1OBServerZone_2:上海容災雙活實現模式：一致性協議（RPO=0）單個機房網絡異常情況下，剩余機房數據庫服務是否正常？單個機房故障情況下，剩余機房是否能夠切換或承接所有服務？事務型分布式關系型數據庫不同架構下同城容災雙活能力容災雙活實現模式：數據同步（RPO=0）單個機房網絡異常情況下，剩余機房數據庫服務是否正常？單個機房故障情況下，剩余機房是否能夠切換或承接所有服務？第一部分目錄CONTENTS第二部分第三部分第四部分分布式數據庫的技術架構分布式數據庫的性能瓶頸咽喉分布式數據庫的性能故障定位問答環節小朋友，你是否有很多問號？分布式數據庫答疑群（熱璞分布式數據庫HotDB公開體驗版下載）講師個人微信