從行到列：探索 OceanBase 4.3 的列存儲引擎_曹暉.pdf

1、從行至列探索 OceanBase 4.3 的列存儲引擎曹暉OceanBase 資深技術專家Contents目錄01 背景02 實踐03 展望01背景SALARYIDNAMESALARYIDNAMESALARYIDNAMESALARYNAMEIDIDNAMESALARYIDSALARYNAMENSM(N-ary Storage Model)行存多值訪問/更新友好DSM(Decomposition Storage Model)列(組)存Cache/壓縮友好PAX(Partition Attributes Across)行列混存/列行混存列存存儲格式MEMORYDISK 內存列存 磁盤行存內存鏡像

2、TP 行存 AP 列存異構副本TPReplicaTPReplicaAPReplica 增量行存 基線列存Deleta StoreL-1 Delta StoreL-N Delta StoreMain Store列存存儲模式Merge on Read寫入快/讀取慢Copy on Write不適合頻繁更新Delta Store寫入慢索引難以維護Delete Bitmap寫入稍慢Upsert 帶來更新放大Delta StoreDelete BitmapXXXX列存更新模式 ROWPAXMajor SSTableMinor SSTableMemoryDiskIn-Memory HashIn-Memory

3、 B!-TreeMutationLogsScanQueryMemTableBlock CacheMultiple storage versionsOceanBase 存儲引擎 成熟的 LSM-Tree 引擎天然的 Delta Store完整的事務支持經過考驗的基礎算子性能完善的執行引擎行存模式已經支持計算下壓無縫對接的向量化執行引擎靈活的原生分布式分布式并行查詢靈活構建異構副本行存列存一體化OceanBase 的天然優勢Minor SSTableMemoryDiskIn-Memory HashIn-Memory B!-TreeMutationLogsScanQueryMemTableBlock

4、 CacheMajor SSTableMultiple storage versionsROWPAXColumnOceanBase 存儲引擎 4.302實踐OceanBase 4.3 存儲格式IDNAMESALARYIDNAMESALARYNAMESALARYIDROWIDROWIDROWID 行存/行列混存/列存 列組(簇)支持 索引元數據增加 rowidOceanBase 4.3 列存存儲模式TPReplicaTPReplicaAPReplicaTableSecondaryIndexMEMTABLEMINOR SSTABLESMAJOR SSTABLE 主表列存 列存索引 列存副本Ocea

5、nBase 4.3 列存更新模式MEMTABLESMINOR SSTABLESMAJOR SSTABLEMAJOR SSTABLECOMPACTION 增量數據格式不變 事務/多版本管理透明列存 COMPACTIONCG MAJOR SSTABLECG MAJOR SSTABLECG MAJORSSTABLECG MAJORSSTABLECS MAJOR SSTABLECG MAJORSSTABLECS MAJOR SSTABLECG MAJOR SSTABLEMinor SSTABLECG MAJOR SSTABLEMinor SSTABLECS MAJOR TASK-1CS MAJOR TASK-2CS MAJOR DAG-2CG MAJOR SSTABLECG MAJOR SSTABLEMinor SSTABLECS MAJOR TASK-1Minor SSTABLECS MAJOR TASK-2CS MAJOR DAG-1CS MAJOR SSTABLEMinor SSTABLECG MAJOR SSTABLECG MAJOR SSTABLE 自適應調度 水平/垂直并行加速 資源管控03展望未來展望 靈活的列組支持 增量旁路導入功能豐富性能優化 更豐富的 skip index 支持 格式一體化 異構副本 存算分離部署模式謝謝謝謝謝謝