攜手開發者打造一體化數據庫_楊傳輝.pdf

《攜手開發者打造一體化數據庫_楊傳輝.pdf》由會員分享，可在線閱讀，更多相關《攜手開發者打造一體化數據庫_楊傳輝.pdf（47頁珍藏版）》請在三個皮匠報告上搜索。

1、攜手開發者打造一體化數據庫楊傳輝OceanBase CTO2022-202320242010 20152016 2021架構演進：從單機分布式一體化，到一體化數據庫全分布式架構單機分布式一體化架構一體化數據庫OceanBase 1.x 3.xOceanBase 4.04.2OceanBase 4.3OceanBase 0.1 0.5單寫多讀架構01回顧開源穩定性價比2021.6.1：為什么開源社區需要“另一個”原生分布式數據庫？14554797715782413378950796470728393671.08 萬025005000750010000125002023.062023.072023

2、.082023.092023.12023.112023.122024.012024.012024.032024.04今天：OceanBase 社區版集群數成功破萬客戶數突破 1000 家，OceanBase 正在受到越來越多的認可IDC顯示OceanBase 位列“領導者”類別。作為一款原生分布式數據庫，OceanBase 在產品能力上表現突出，處于領先地位。來源：GartnerMagic Quadrant for Cloud Database Management Systems,18 December 2023.。Gartner 是全球最具權威的IT研究與顧問咨詢公司之一，其研究范圍覆蓋全

3、部 IT 產業，為客戶提供客觀、公正的論證報告及市場調研報告。2023 年，全球僅有 10 家廠商入選 Gartner 全球云數據庫管理系統魔力象限“榮譽提及”，OceanBase 入選。來源：IDC MarketScape:中國分布式關系型數據庫 2023 年廠商評估。IDC 成立于1964 年，是全球著名的信息技術、電信行業和消費科技咨詢、顧問和活動服務專業提供商。Gartner顯示墨天輪顯示OceanBase 在“墨天輪中國數據庫流行度排行”中連續 14 個月排名第一（截至 2024 年 1 月），并持續保持領先趨勢。墨天輪中國數據庫流行度排行來源：墨天輪國產數據庫流行度排行。該排行自

4、2019 年 6 月推出，通過近 50 個維度的數據來考察近 300 個國產數據庫的流行度，每月 1 日更新排行數據，用于體現國產數據庫在互聯網上的流行度。用戶將 OceanBase 社區版應用在分布式 OLTP 場景通過 OceanBase：原生分布式替換分庫分表，解決無縫擴展問題PROXYWRITEREADDB1DB1DB5Table A1Table A2Table AnTable AOceanBase集群微信推送實時數倉KafkaFlinkOMSDB1DB1S1 DB1S2DB2DB2S1 DB2S2DB3DB3S1 DB3S2DB4DB4S1 DB4S2DB5DB5S1 DB5S260

5、%按需擴容15TB 6TBRPO=0RTO MySQL通過 OceanBase：存儲歷史庫海量數據，降低存儲成本Job1Job2Job1Job2流控任務調度均衡灰度自愈歷史數據歸檔庫OceanBaseOceanBaseOceanBase智能管控運行監控配置中心MySQLMySQLMySQL+源數據庫存儲校驗刪除讀取85%無需分庫分表存儲寫入提升數倍執行節點 1執行節點 2用戶也將 OceanBase 社區版應用在實時 AP、多模場景FlinkcanalHBaseCDC寬表topicDashboardstopic 2topic ntopic 1KafkaKafkaFlinkFlinkcanalD

6、ashboardstopic 2topic ntopic 1KafkaFlink通過 OceanBase：HTAP 彌補 TP 與 AP 之間的空白HBase+Kafka+StarRocksOceanBase時效50%50%成本Kafka實時 ETLOLAP 引擎API字典注冊字典生成存儲服務HBase-OceanBase字典服務FlinkKeyKey:Value通過 OceanBase：多模能力替換 HBase，提升性能并實現強一致不依賴 Hadoop 組件支持二級索引查詢 25 倍寫入 5 倍分布式LSM-Tree為什么開發者天然地把 OceanBase 當成一體化數據庫？分布式架構與 L

7、SM-Tree 存儲引擎適合海量數據場景開發者驅動 OceanBase 成為 All-in-one 一體化數據庫All-in-one 降低 IT 成本分布式 TP分布式 AP多模一體化存儲引擎一體化事務引擎一體化 SQL 引擎多模（KV&文檔&AI 等）多架構基礎設施一體化02一體化對開發者意味著什么單機分布式一體化：一套系統，從單機到分布式，對用戶完全透明平滑伸縮單機主備小規格部署可大可小RTO 8s多模融合 增加一種查詢接口，而不是增加一款數據庫一個數據庫一套引擎一份數據多種操作方式多種數據模型SQLKVHBase查詢插入插入kvKvkvkvOceanBase 分布式數據庫內核數據庫運維復

8、雜度降低數據庫成本降低易擴展數據操作更靈活HTAP=OLTP Plus交易型應用分析型應用一個系統，行存/列存混存主副本提供 HTAP 服務適合OLTP+輕量 OLAP數據無延遲保證一致性交易型應用分析型應用一個系統，行存+列存主副本 OLTP+備副本實時 OLAP適合OLTP+中等 OLAP 主備副本之間有毫秒級延遲通過 OceanBase：HTAP 實現一份數據兩份收益，助力海底撈數據化轉型挑戰1.OLTP：日常并發流量高，節假日流量突增，高峰過后需及時縮容避免資源浪費；2.OLAP：實時分析每個人的口味和喜好進行智能推薦，要求高實時性、低時延；3.現有架構(PolarDB+Analyti

9、cDB)鏈路復雜且同步存在時延，兩份數據帶來額外的成本；收益1.HTAP 實現一份數據兩份收益，簡化架構，AP 性能提升 30%；2.基于 Paxos 提供 7*24 小時持續服務，原生分布式提供無限擴展能力；3.OceanBase 高壓縮和動態伸縮特性避免資源浪費，TCO 下降 35%；Tenant 1Tenant 2Tenant 3Tenant 4Tenant 5可用區 1營銷交易可用區 3社區POSTenant 1Tenant 2Tenant 3Tenant 4Tenant 5Tenant 6可用區 2Tenant 1Tenant 2Tenant 3Tenant 4Tenant 5Ten

10、ant 6排號DTS會員Tenant 6AnalyticDBPolarDB-X分庫分表PolarDB單實例TP&AP 一體化的另一層含義：把分布式 TP 的核心能力融入到 AP分布式能力TP 能力融合實時寫入TP 查詢功能&兼容性可靠性擴展性容災能力數據導入&數據加工AP 查詢AP 生態&大數據生態AP 能力OceanBase 4.3 正式發布推出列式存儲引擎，強化 TP&AP 一體化，打造近 PB 級實時分析數據庫AP 分析能力物化視圖、聯邦查詢、窗口函數、CTE、層次查詢、計算下推支持 JSON、XML、GIS 和 LOB 數據類型列式存儲，行式存儲，行列混合等存儲方式并支持格式互換支持行

11、存索引，列存索引旁路導入+外部表+DBLink快速集成外部數據兼容 Flink CDC、Flink 狀態存儲Flink 外表查詢,Flink 流式分析數據集成高級存儲功能AP 計算能力半結構化數據處理流式分析MPP 架構，向量化執行引擎Auto DOP 并行計算SPM 執行計劃自動迭代分布式計算TP 能力持續打磨快速復制租戶降低新業務試錯運維成本相比 4.2.1，單行讀寫提升 70%批量讀寫提升 80%220%優化器增強，自適應代價模型降低日志傳輸帶寬提升 PDML 并行執行擴展性SQL&事務&日志優化KV 性能優化租戶快速克隆相比 4.2.1，TPC-H 1T 提升 25%TPC-DS 1T

12、 提升 111%AP 性能提升加載數據場景性能提升 6 倍支持 Oracle 數據倉庫建模 PL/SQL兼容 MySQL 協議無縫接入 MySQL BI 生態軟件AP 兼容性AP 性能優化旁路導入兼容 MySQL BI 生態兼容 Oracle PL 腳本白屏化、向導式選型 OLAP 內核參數模版基礎用戶免參數調優AP 易用性AP 參數模板提供場景化指導文檔和 DemoAP 場景化文檔OceanBase 4.3 正式發布強化 TP&AP 一體化，打造近 PB 級實時分析數據庫這一次，我們一起現場見證 OceanBase 分析型負載跑分測試PK 業內一流的列式大寬表數據庫 ClickHouse同等

13、硬件條件下，OceanBase 4.3 版本的大寬表查詢性能達到 ClickHouse 同一水平互聯網應用簡單的 CRUD SQL大量點查，高并發傳統行業應用，有復雜查詢大量 PL 和批作業KV 表模型訪問模式單分區訪問，無 SQL 層TP 增強混合負載在線分析處理和數倉OceanBase All-in-one 一套系統支撐各種應用場景Express OLTPComplex OLTPOBKVHTAP實時 AP基于 OceanBase 構建輕量級實時分析數據庫實時寫入批量寫入部分更新數倉&ServingOceanBase 4.3交互式查詢聯邦查詢報表BI即席查詢復雜查詢多維查詢ODS列存表DWD

14、物化視圖DWS物化視圖ADS行存表/列存表業務日志TP 數據庫隊列CDCOceanBase AP 致力于打造 PB 以下實時分析數據庫的最強六邊形戰士AP 工具生態數據流入流出、數據開發、數據可視化AP 存儲能力列式存儲TP 能力行式存儲、實時寫入，主鍵索引點查AP 計算能力向量化執行、并行計算、分布式優化器兼容性MySQL 語法、Binlog 兼容分布式可擴展、高可用、強一致、異地容災Whats NextQ1Q2Q4Q3列存表列存索引物化視圖全新向量化引擎分區交換增量旁路導入物化視圖（多表連接、自動改寫）全文索引JSON 多值索引基于 S3 的存算分離性能優化增量旁路導入增強（索引表，LOB

15、 列）BitmapArrayParquet、ORC 作為外表Vector 向量數據庫202405提升易用性一起看看來自用戶的易用性故事入門用戶高級用戶用戶體驗文檔/知識/內容OceanBase從入門到精通文檔檢索全面兼容快速部署監控告警參數模板圖形化開發性能評估obmarkfreetrial易于學習易于評測易于操作OBD/OATODCOMAOCP易于觀測異常診斷性能診斷執行計劃全鏈路追蹤等待事件耗時指標SQL 執行歷史活躍會話采樣Top 分析系統負載倉庫堆棧分析執行日志內存分析一鍵收集規范視圖驅動ObDiagOAS內核易學習：降低上手門檻1972 篇(2.x)2991 篇(3.x)3931 篇

16、(4.x)在線體驗+知識庫文檔參數模版性能測評融合 OBD 與 OCP安裝部署易診斷：提升診斷能力ASH：數據庫性能 Perf OAS：根因分析alert.log：常見系統事件日志性能診斷Serverless 按需使用，1 個月免費 Free Trial擴容普通實例Serverless 實例Free Trial 1C4G1 個月免費Serverless 按需使用for 阿里云 now更開放的技術生態Binlog Service 平滑對接 20+下游生態CanalBinlogServiceFlinkDebeziumMaxwell阿里云DTS華為云DRS阿里云DataworksAWSDMS基于 B

17、inlog 的云服務MySQL 訂閱工具開放底層能力接口 內核參數 監控接口 運維接口云計算基礎設施操作系統CPU&硬件AlibabaCloud Linux數據集成大數據集成數據遷移與處理數據治理BI 及報表數據開發數據庫運維與監控OceanBase Landscape：從基礎生態適配，到開放技術生態超過 750 個主流產品加入，共同構建開放技術生態云原生測試系統中間件應用集成ORM 框架連接工具易使用、易參與基于開源持續降低開發者參與門檻開源社區：從及時響應到社區互動從產品到社區，全面提升開發者體驗走進開發者，深度互動參與社區，實踐分享貢獻開源，社區共建 OUG 城市聚會在北京、上海、廣州、

18、深圳、成都等城市，開展 CTO 聊天室、嘮嗑了 O 技術交流 走進企業行知乎、58、vivo 等 線上技術社區月報、開發者周會 118 位開發者開通博客 20 篇開發者說和 DBA 大咖說，49 篇技術實踐，97 篇企業案例 1000+篇技術文章 OceanBase 入門實踐教程社區共建 6 個倉庫深度共建 核心倉庫 300+外部貢獻者 共建代碼量超 50000 行致敬開發者開源共建，更直接的幫助 OceanBase315位 contributors感謝感謝攜手同行的 應用開發者生態共建，更便捷的用好 OceanBase社區共建，更快速的學好 OceanBase108位社區月度之星感謝來自開發

19、者的嘗試：構建 OceanBase 向量引擎插件，實現 SQL+AI 一體化文檔知識庫文檔切片OceanBase 向量檢索使用.md創建向量索引的語法是 create index OceanBase 向量檢索問題向量嵌入模型（Embedding Mode)大語言模型（LLM)OceanBase如何創建向量索引？問題+關聯信息select.order by embedding?Limit 5 OceanBase 如何創建向量索引？創建向量索引的語法是 create index 用戶答案OceanBase創建向量索引的語法是向量嵌入模型（Embedding Mode)例如：insert values(-3.1415926,2.7182818,);OceanBase 分布式內核存儲引擎Lob分布式引擎SQL 引擎Table APIJsonGISHBase APIRedis API基礎模型OMSODPOCP備份恢復歷史庫平臺VectorOceanBase 向量檢索管理員用有趣的嘗試，連接你我！2024 年度發布會見！謝謝謝謝謝謝