《TDSQL融合版發布打造極致去O精品.pdf》由會員分享,可在線閱讀,更多相關《TDSQL融合版發布打造極致去O精品.pdf(18頁珍藏版)》請在三個皮匠報告上搜索。
1、黃琳騰訊云數據庫產品專家主講人:據2022年9月國資委79號文件,截止到2027年“2+8+N”黨政與八大行業完成100%國產,替換范圍涵蓋芯片、基礎軟件、操作系統、中間件等領域,也包括了數據庫國產替換。根據IDC數據,2022年上半年,在國內關系型數據庫市場中,Oracle、微軟、SAP、IBM份額總和近45%。在金融、電信等重點行業,由于業務系統要求復雜,國外數據庫份額仍然較高。以金融行業為例,國外廠商占據90%以上的份額。其中,傳統商用 O 數據庫以其穩定性、功能黏性、服務保障體系完善性占據大比例市場份額,而DB2以一體機捆綁銷售方式,也根植于銀行現有數據庫體系中。DB-Engines
2、RankingOracle仍然是數據庫中的王者Top1特別是PL/SQL能力一騎絕塵上下游工具豐富,DBA/應用開發人數龐大TP/AP雙向性能優越一體機軟硬一體性能卓絕提供大量的視圖、報告、工具等便捷運維 舊設備到期 性能不足需擴容 業務需求需擴容 信創替換需求 降本需求承載核心TDSQL分布式數據庫將支撐業務風險可控兼容改造風險可控業務邏輯/應用改造業務精準業務邏輯在改造前后不發生變化,或變化完全可控不影響業務正確/準確性性能達標關鍵業務場景測試并發場景下性能達標不低于現有應用性能混合負載模擬Exadata的混合負載將關鍵業務場景做混合,并在48H長穩測試驗證數據延遲數據全量加載速度達到30
3、0G/h左右數據增量同步延遲5-6s數據庫QPS性能QPS-范圍查詢100并發 60sQPS-范圍查詢100并發 300sQPS-范圍查詢100并發 600sQPS-范圍查詢300并發 60sQPS-范圍查詢300并發 300sQPS-范圍查詢300并發 600sQPS-精準查詢100并發 60sQPS-精準查詢100并發 300sQPS-精準查詢100并發 600sQPS-精準查詢300并發 60sQPS-精準查詢300并發 300sQPS-精準查詢300并發 600s數據庫TPS性能TPS-寫入100并發 60sTPS-寫入100并發 300sTPS-寫入100并發 600sTPS-寫入3
4、00并發 60sTPS-寫入300并發 300sTPS-寫入300并發 600s全表掃描性能單表5.7億 count(*)全表排序性能單表6百萬 select*order by過濾聚合性能5.7億表 left join 3百萬表,過濾日期字段分組聚合性能三張表join,分別是3百萬+1百萬+600條,之后group by order by多類型數據過濾性能160萬+單表 order by范圍過濾統計性能160萬+單表 時間范圍全表掃描5.7億+單表 時間范圍全表掃描創建索引性能121GB單表增加索引表:6748序列:1247索引:3332視圖:115同義詞:1647觸發器:176類型:90函數
5、:61存儲過程:37包:283函數:2296包:452120存儲過程:6862觸發器:5075類型:2158總計:452120表:8159序列:1731索引:3596視圖:146同義詞:1679觸發器:197類型:93存儲過程:30包:304包:516051存儲過程:6986觸發器:5812類型:2268總計:488908表:3935序列:1444索引:3961視圖:64同義詞:2499 觸發器:200類型:94存儲過程:64包:409函數:2303包:500702存儲過程:7424觸發器:5992類型:2275總計:518696表:423序列:149索引:511視圖:23同義詞:810觸發器
6、:3類型:94存儲過程:3包:116包:51246存儲過程:332觸發器:82OLTP部分場景提升25倍,TPCC性能提升50%全并行架構,通用計算性能提升5倍TPC-H:提升10倍TPC-DS性能:突破,領先同一引擎行列混存Oracle/PG雙模式Oracle兼容性再度提升,全量70%-85%;PL/SQL高達90%;金融行業兼容度平均達98%新增單機模式,單臺可部署單機/集中式/分布式共管控新增單表模式,減少時延新增自適應高壓縮存儲同引擎自適應 TP/AP分流資源隔離:支持邏輯多租戶,根據CPU/內存/并發度隔離業務資源熔斷:CPU/內存/耗時/傾斜等超過閾值主動停止查詢主打復雜查詢場景列
7、存+向量化引擎分布式分析引擎版(行/列存)同時支持行存表,列存表,以及行列混存/混查同時支持單機、集中式、分布式架構混合部署,同一管控極致HTAP能力,TP/AP性能大幅提升,性能優越同時支撐兩套語法語義Oracle模式 OFF 時,兼容原生PG語法/語義Oracle模式 ON 時,兼容Oracle語法/語義+=融合+增強OLTP/HTAP,PG生態語法OLTP/HTAP,Oracle語法集中式+分布式分布式基礎版(行存)Oracle兼容版(行存)同一引擎版本內核級支持大量Oracle語法兼容能力,配套遷移評估和遷移校驗工具TMT,實現原業務的平滑遷移。極致HTAP性能,適合海量數據OLTP和
8、OLAP混合負載處理場景,提供高并發交易業務和高效復雜查詢處理能力。全面擁抱國產信創生態,支持國產上下游軟硬件,包括國產os,芯片;數據庫技術自主可控,通過相關機構測試,符合數據庫國產化需求。提供高并發、高可用、高安全、高性能能力,滿足核心交易系統所需。TDSQL無共享分布式MPP架構水平擴縮容高并發/海量數據具有主備數據復制能力,具有高可用和高可靠的架構能力,支持一主多備單體內核能力不強制帶管控輸出單臺可部署db Ndb Mdb1row tablePG Mode Oracle Mode column tablerow tablecolumn tabledb2row tablecolumn t
9、ablerow tablecolumn tablePG Mode Oracle Mode row tablecolumn tablerow tablecolumn tablerow tablecolumn tablerow tablecolumn table實例內部 單機 集中式架構 分布式架構 共管控 Oracle Mode PG Mode 同實例可支持雙mode,支持不同語法生態應用 表存儲類型:行存/列存 支持單表/復制表/shard表 同DB可以有不同類型表,根據業務表特征定義驅動:JDBC、ODBC、OCI、Pro*C 對內置數據類型、SQL語法、內置系統函數、PL/SQL等語法層面
10、兼容 對分區表、遞歸查詢、DBlink、偽列等功能層面兼容 異構數據庫靜態對象、應用SQL差異性評估 異構遷移自動改造 Oracle數據遷移和數據同步 JDBC配合內核能力做用法兼容 OCI對oracle接口用法做應用層兼容 Pro*C在嵌入式SQL做代碼層兼容內核:Oracle語法兼容、Oracle功能兼容資源:底層硬件和操作系統適配工具TDSQL Migration Toolkits(評估、改造、遷移)經過多年攻堅,TDSQL融合版性能,目前已處于行業第一檔MPP框架底層重構領先友商+50%自研列存設計領先友商+20%MPP數據轉發層:相比友商進一步優化高并發場景鏈接過多、流量控制等問題,
11、通用性能提升50%,并發能力最高提升20倍。列存重構:列存儲數據格式排列、計算下推、自動空間回收等設計領先友商,壓縮比領先20%,列存掃描性能提升20%。并行計算框架領先友商+100%向量化執行框架對齊友商+30%并行框架升級:采用業界最新pipeline并行設計重構,并行調度設計領先友商,通用分析性能提升100%。向量化框架:結合PG社區最新運行時編譯技術,在向量化框架設計上領先競品,通用性能提升30%以上。CPU指令級優化+10%并行執行調度優化+10%CPU并行指令:全流程優化CPU并行指令細節,在表達式計算等方面并行指令使用率領先,通用性能提升10%。執行調度優化:深入優化多計算分片查
12、詢的執行調度策略,通用性能提升10%。5521921830200400600復雜查詢處理基準測試 1TB(單位:秒,值越低性能越好)TDSQL(2022)TDSQL(2023Q2)GuassDB421966007207063612299020004000600080003表關聯5表關聯業務場景測試(值越大,性能越好)TDSQL(2022)TDSQL(2023Q2)GuassDB友商產品友商產品單臺OLTP增刪改點查性能逼近復雜關聯查詢性能超越PL/SQL性能提升,減小差距高并發承載能力超越OLTP group創建OLTP、OLAP獨立的資源池,相互獨立資源池根據業務負載動態調整資源配比根據業務
13、負載自動調整參數設置查詢優化器自動根據語句特點以及CBO評估進行OLTP/OLAP分類MPP節點支持彈性擴容縮容,應對業務峰值流量OLAP groupDefault groupOLTP groupOLAP groupDefault groupOLTP groupOLAP groupDefault groupOLTP groupOLAP groupDefault groupOracleDB2業務系統數據采集評估分析對象兼容性評估報告應用兼容性評估報告TDSQL融合版數據全量遷移數據增量遷移遷移轉換TMT架構設計割接與遷移開發規范運維工作數據遷移架構設計信息收集應用適配SIT測試PT測試UAT測試遷移演練生產割接生產重保 擺脫國外數據庫依賴,實現數據管理安全可控 關鍵數據資產安全可控,避免被綁定 平滑遷移,應用改造成本低 響應/吞吐量 多種軟硬技術的結合,實現更大的吞吐量和更短響應時間 軟件費用大幅下降,硬件/存儲可利舊 數據庫授權費用大幅下降;集成了高可用、多數據中心支持功能,無需額外付費;硬件與存儲可利舊,節約成本 運維便捷性 基于可視化管控平臺可以實現90%場景可視化、流程化 架構升級,單機/集中式/分布式靈活可選 分布式架構更靈活水平擴展,實現海量數據和高并發可達成 高可用架構,沒單點故障 技術自主可控,人才團隊穩定可成長TDSQL傳統商業數據庫