OceanBase 社區版創新實踐_封仲淹.pdf

《OceanBase 社區版創新實踐_封仲淹.pdf》由會員分享，可在線閱讀，更多相關《OceanBase 社區版創新實踐_封仲淹.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、封仲淹OceanBase 開源態總經理OceanBase 社區版創新實踐01 OceanBase 社區版最新進展02 OceanBase 用戶場景探索03 OceanBase 社區版未來規劃Contents目錄01最新進展OceanBase 正在成為開發者喜歡的數據庫今天：OceanBase 社區版集群安裝量成功破萬57510041602250438925762660874249655108000300060009000120002023年7月2023年8月2023年9月2023年10月2023年11月2023年12月2024年1月2024年2月2024年3月2024年4月如何選型一款數據庫六

2、邊形戰士自測語言力承受力專注力熱情力執行力表達力穩定性功能運維性性能生態成本OceanBase 4.2.1 LTS 正式發布一體化數據庫的首個長期支持版本OLTP 完整功能更穩定更強的性能面向 OLTP 核心場景的全功能里程碑版本開源和商業用戶的匯聚主備庫TP 性能是 3.1 版本的 2.1 倍AP 性能是 3.1 版本的 5.7 倍4.2.1_CE2023.10.132023.11.12023.12.72024.1.22024.3.54.2.1_CE_BP14.2.1_CE_BP24.2.1_CE_BP34.2.1_CE_BP4穩定性性能運維性生態不斷提升 OLTP 場景下性能 TPC-DS

3、 提升16%Sysbench read-only 提升13%Auto DOP支持動態采樣自適應Runtime Filter統計信息強化只讀外表4.2.0_CE4.2.1_CE4.2.2_CE4.2.3_CE支持MemTable動態采樣并行讀取歸檔日志并發create table小規格 sysbench 優化 20%大in 優化統計信息和估行系統增強執行引擎優化Recursive cte 搜索優化Window Function 優化Adaptive Hash GBY 優化Hash Based Distinct Aggregate 優化PL 重新編譯邏輯優化 OBKV 性能優化GIS 性能優化Ou

4、tRow Lob 性能優化Create table as select 優化Select into outfile 優化CTE 大union 優化穩定性性能運維性生態OceanBase 4.3：TP 能力持續打磨，AP 產品能力初具形態大數據分析能力旁路導入+外部表+DBLink，快速集成外部數據數據集成高級存儲功能列式存儲，行式存儲，行列混合等存儲方式并支持格式互換，并支持行存索引，列存索引物化視圖、聯邦查詢、窗口函數、CTE、層次查詢、計算下推AP 計算能力分布式計算MPP 架構，數據分區，auto dop 并行計算支持 JSON 、GIS、XML和 LOB 數據類型非結構化數據處理流式分

5、析兼容 Flink CDC、Flink 狀態存儲，Flink外表查詢,Flink 流式分析性能提升相比 4.2，TPC-H 1T 提升25%，TPC-DS 1T 提升 111%AP 性能優化加載數據場景性能提升 6 倍旁路導入兼容性兼容 MySQL 協議，無縫接入 MySQL BI 生態軟件兼容 MySQL BI 生態支持 Oracle 數據倉庫建模 PL/SQL兼容 Oracle PL 腳本易用性白屏化、向導式選型OLAP 內核參數模版，基礎用戶免參數調優OLAP 參數模板提升索引使用效率，減少存儲空間浪費索引使用監控提供場景化指導文檔和DemoOLAP 場景化文檔OLTP 能力持續打磨提升

6、統計信息收集效率，估行準確性增強，引入自適應代價模型以自動適應不同硬件環境優化器增強降低日志傳輸帶寬；提升 PDML 并行執行擴展性事務&日志優化快速復制租戶，降低新業務試錯運維成本租戶快速克隆穩定性性能運維性生態OceanBase 云平臺（OceanBase Cloud Platform，OCP）具備易部署、高性能、高可用的特點，讓用戶能夠更加高效地管理、維護、使用 OB 集群。過去一年,OCP 的安裝部署問題得到有效解決穩定性性能運維性生態obdiag:開啟 OceanBase 自助診斷的鑰匙穩定性性能運維性生態OceanBase 敏捷診斷工具(OceanBase Diagnostic T

7、ool,簡稱obdiag)是一款源代碼開源敏捷黑屏診斷工具，可以對 OceanBase 集群進行一鍵集群巡檢、一鍵分析以及一鍵診斷信息收集。極致輕量完全開源高度可擴展一款30M大小的一鍵部署，開箱即用黑屏工具源代碼開源插件化的場景高度擴展性一鍵巡檢一鍵分析一鍵收集支持30+巡檢項的一鍵集群健康巡檢一鍵日志分析一鍵根因分析一鍵全鏈路分析支持20+故障場景的一鍵信息收集obdiag:開啟 OceanBase 自助診斷的鑰匙 穩定性性能運維性生態1.0.01.3.01.4.01.5.01.6.02.0.0一鍵診斷信息收集一鍵日志分析一鍵巡檢一鍵全鏈路診斷sysbench 壓測巡檢docker 部署集

8、群診斷場景化診斷信息收集場景化根因分析context 改造,場景擴展能力增強根因分析二期改造2.1.02.2.02.3.02.4.02.5.03.0.0tabledump 收集根因分析場景擴展根因分析場景擴展支持SQL診斷根因分析場景擴展適配ob日志壓縮改造服務化改造的一期增加2款內核工具的適配增加對OMS的一鍵診斷SQL 診斷二期，支持 SQL 問題的根因分析AI化探索已發布規劃中OceanBase 兼容性攻堅戰穩定性性能運維性生態 開始對MySQL 8.0 系統化兼容支持 系統函數 字符運算符 時間日期函數 加解密函數 Perf信息函數 窗口函數 其他函數 SQL Mode 獨立SQL M

9、ode 組合SQL Mode Information Schema 精度兼容 float(m,d)GIS 數據類型 支持Latin1 字符集4.1.0_CE4.2.0_CE4.2.1_CE4.2.2_CE支持函數索引字符集 GB18030-2022OBCDC 滿足MySQL BinlogService 兼容性需求Values Statement 支持Rename Column 支持Json Table 支持提升自定義變量兼容性兼容分頁保序功能INSERT.ON DUPLICATE KEY UPDATE Statement 支持MySQL JSON 表達式支持MySQL JSON Partial

10、 UpdateMySQL XMLMySQL GIS 增強支持utf8mb4/utf16_Unicode_ciShow EXTENDED 語法兼容MySQL COM_SET_OPTION客戶端導入支持PS 協議支持存儲過程出參Lateral Derived Tables 支持INTEGER 列類型增長支持Online DDL.Binlog Service 讓生態上下游無縫適配穩定性性能運維性生態110集群阿里云、AWS、華為云、騰訊云已經有超過 110 個集群開通Binlog 服務，并切換到生產訂閱200+實例Binlog 實例數目前在云服務上已經超過了 200 個BinlogServiceCa

11、nalFlinkDebeziumMaxwellMySQL 訂閱工具阿里云 DTS華為云 DRSDataworksAWS DMS基于 Binlog 的云服務60+客戶高德、泡泡瑪特、美年大健康、小電科技、二維火、映客、比心、三維家、蕉內、Palmpay 等10+下游工具目前已經平滑對接和適配了包括Canal、Debezium、Maxwell、DTS、DMS、DRS、Cloudcanal、FinkCDC 等近 10幾款工具和云服務02用戶場景探索原生分布式數據庫支撐支付網關 分庫分表+HTAP 頻繁 DDL,對分庫分表帶來嚴重挑戰 成本過高,單機群過百 TB,MySQL 和ElasticSearc

12、h 2 套存儲存儲 運維復雜,同時運維 MySQL 和 ElasticSearch ElasticSearch 數據實時性較差業務挑戰 機器數從80+下降到 20+,成本大幅下降 原生分布式替換分庫分表，在線支持 DDL 運維工作大幅減少 根據業務需求(寫入 TPS 和查詢 QPS)彈性擴縮容收益實時同步查詢分析MySQL_1 MySQL_2MySQL_N數據寫入Elasticsearch查詢分析數據寫入OceanBase歷史庫:存儲歷史庫海量數據，降低存儲成本 MyRocks 支撐歷史庫擴展能力不足 分庫分表需要人工負載均衡，且不支持跨庫操作業務挑戰 無需分庫分表，實現在線水平擴展，數據遷移

13、對業務透明 OceanBase 高級壓縮技術降低存儲成本85%左右 實現多點寫入和并行寫入，寫入性能提升數倍收益智能管控監控運行灰度流控均衡自愈歷史數據歸檔庫OceanBase配置中心任務調度源數據庫MySQLMySQLMySQL+執行節點1Job1Job2執行節點2Job1Job2讀取校驗刪除OceanBaseOceanBase多租戶能力適合 SaaS 場景，總體水位更健康，成本控制更好業務挑戰收益 數據庫實例多,大幅增加運維和開發復雜性 存儲成本壓力大,數據量超過8TB 面對大促,需要快速升降級應對流量洪峰 數據分析需求不斷增強 強大的可擴展性，應對節假日、促銷節等場景非常有幫助，擴容策略

14、能靈活非常多 多租戶大幅減少機器成本和運維成本 實測同等規格下業務 SQL 性能要遠優于 MySQL 三副本高可用保障業務的連續性 分析需求得到有效滿足OBServer1小商戶A中型商戶B日常業務增長中型商戶C增長為大商戶大商戶D大促擴容小租戶12C8G中型租戶28C16G大租戶332C128G中型租戶416C64G大型租戶432C128GOBServer2（彈性擴展）小租戶12C8G中型租戶216C32G中型租戶516C64GOBServer3（彈性擴展）大租戶348C160G小租戶62C8G大租戶72C8G原地升配彈性擴展多云異地容災KMS 加密系統負責將業務系統敏感數據進行數據加密OCP

15、 管控平臺 云中立產品,支持阿里云,騰訊云混合架構 穩定性要求高,RPO=0,RTO 15s 對數據有強一致要求 災備集群成本低,期望社區版 需要高度兼容 MySQL 協議業務挑戰 對比前分布式數據庫方案,成本下降50%滿足多云異地容災,RPO=0,RTO 15s 備集群成本低 OCP,OMS 統一管控平臺,降低混合云下運維成本和復雜度收益OB CloudRegion1Region2OceanBaseOceanBaseOceanBase阿里云KSM系統OceanBase 社區版騰訊云OceanBaseOceanBaseOceanBase數據校驗數據遷移回源保護CDC數據訂閱/同步OMSFlin

16、k CDC+OceanBase實時數倉方案改造前平臺UI/API業務微服務MPP引擎（Trino）HiveServer2Hadoop YarnHadoop Hdfs改造后平臺UI/API平臺UI/APIOceanBase文件存儲 MinIO引擎架構升級離線任務調度引擎流計算引擎Flink離線任務調度引擎流計算引擎增加CDC能力OBRedis 支持 Redis 冷熱分離方案 期望更穩定的持久化存儲系統，解決單機多實例互相影響的困境，持久化kv 系統,經常因為 compaction 而抖動 期望更低的成本，數據量已經超過10TB，Redis 機器磁盤空閑,持久化KV 系統內存空閑 期望更高的性能和

17、擴展性:Redis Cluster 最大分片1000,無法支撐業務擴展業務挑戰 多租戶保證實例間資源隔離 OBKV 持續穩定,無gc 問題,延遲穩定 存儲節省40%彈性擴容 更強的單核能力,平均單核6000 QPS收益業務讀DB寫Cache讀Cache寫DBOceanBaseMySQL/持久化KV 系統寫Cache讀Cache寫DB讀DB業務03未來規劃不斷提升自助能力診斷能力不斷強化 obdiag 診斷能力不斷強化 OCP 的監控能力內核生成更友好的報警日志內核提供更詳細的視圖培訓正在直播 OceanBaseDBA 入門與實戰Q3 推出 OceanBase 開發者最佳實踐沉淀知識庫將基于開源

18、團隊工單系統 Q3 推出開源知識庫引導更多用戶基于論壇答疑增強論壇答疑補充論壇專職答疑員工引入懸賞答疑,激勵更多社區小伙伴進行答疑引入版主機制4.2.x 不斷強化 OLTP 核心場景不斷強化穩定性兼容性診斷能力性能4.3.x 不斷增強分析能力2024 Q12024 Q22024 Q32024 Q4列存表列存索引物化視圖全新向量化引擎分區交換增量旁路導入物化視圖（多表連接、自動改寫）全文索引JSON 多值索引增量旁路導入增強（索引表，LOB列）BitmapArrayParquet、ORC 作為外表存算分離性能優化穩定性One more thing通過 OceanBase：構建向量引擎插件，實現

19、SQL+AI 一體化歡迎到Developer Hub 展區,體驗基于 OceanBase 向量化插件的知識庫 Demo Show利用 LLM+Embedding Model+OceanBase 向量檢索 快速構建文檔知識庫應用答案問題OceanBase 如何創建向量索引？大預言模型（LLM）向量嵌入模型（Embedding Mode)select.order by embedding?Limit 5 OceanBase 創建向量索引的語法是問題+關聯信息文檔知識庫文檔切片向量嵌入模型（Embedding Mode)OceanBase 向量檢索OceanBase 向量檢索使用.md創建向量索引的語法是 create index 例如：insert values(-3.1415926,2.7182818,);用戶管理員面向個人用戶Operator 擁抱 K8s 基礎設施Now&Future歡迎到 Developer Hub 展區,進行體驗Yum 安裝SystemCtlyum install 直接安裝使用 systemctl管理一體化數據庫15324簡化運維快速擴容靈活變配自動故障恢復優化成本6897云遷移多基礎設施云下上云監控告警自動擴縮容10謝謝謝謝謝謝