MatrixDB：All in One 的超融合時序數據庫（40頁）.pdf

1、M Ma at tr ri ix xD DB BAll in One 的超融合時序數據庫北 京 四 維 縱 橫 數 據 技 術 有 限 公 司姚 延 棟Confidential 2021 四維縱橫About Me姚延棟MatrixDB 創始人Greenplum 北京研發中心總經理（2010-2020）Greenplum 中文社區創始人PostgreSQL 中文社區常委清華大學產教融合課程分布式數據系統基礎及應用產業方負責人Greenplum：從大數據戰略到實現作者Confidential 2021 四維縱橫l公司介紹l超融合時序數據庫l核心架構l案例分享目錄Confidential 2021

2、四維縱橫公司介紹Confidential 2021 四維縱橫5超融合時空數據庫締造者全新的角度看待數據從“畫面”到“動畫”是一種歷史、一種記憶時序視角指標數據地理數據點云數據配置數據幀數據關系數據Confidential 2021 四維縱橫時序是一種全新的視角，是歷史和記憶時刻1 指標數據 位置數據 點云數據 圖像數據 關系數據 KV/GIS JSON時刻2 指標數據 位置數據 點云數據 圖像數據 關系數據 KV/GIS JSON時刻3 指標數據 位置數據 點云數據 圖像數據 關系數據 KV/GIS JSON.指標數據 位置數據 點云數據 圖像數據 關系數據 KV/GIS JSON時刻n 指標

3、數據 位置數據 點云數據 圖像數據 關系數據 KV/GIS JSONConfidential 2021 四維縱橫7產品優勢All in One 時序數據 GIS數據 關系數據 KV數據 JSON數據 點云數據 可擴展穩定可靠 20年積累沉淀 全球上萬生產集群 幾十萬靜態測試用例 混沌工程動態測試大規模 100PB 級 300節點生產案例 大量PB級生產集群 線性擴展 最小單機部署高性能 大規模并行處理架構（MPP）10年打磨的優化器技術 為時序優化的執行器 為時序優化的存儲企業級特性齊全 監控報警 在線擴容 備份恢復 安全控制 并行導入導出 在線遷移 升級降級生態完備 PG12/GP 兼容 無

4、縫對接Hadoop 生態 內建ML學習 支持Python、R等UDFConfidential 2021 四維縱橫Greenplum 數據庫全球排名第三Greenplum原廠團隊姚延棟：Greenplum 原北京研發中心總經理高小明：Greenplum 原全球內核產品總監翁巖青：Greenplum 原云原生和分析架構師Greenplum內核團隊主力在北京Greenplum 6.0 北京團隊貢獻70%+新特性Greenplum 6.0 HTAP 發表SIGMOD頂會論文，整個特性均由姚延棟/高小明領導的北京團隊研發MatrixDB 團隊背景Confidential 2021 四維縱橫9400天完成

5、4輪融資，總融資額超1.5億2020/08公司成立2020/09天使輪融資清華啟迪中科創星晨山資本2021/01PreA融資順義產業基金2021/07A輪融資東方富海2021/10A+輪融資云廠商Confidential 2021 四維縱橫超 融 合 時 序 數 據 庫Confidential 2021 四維縱橫時空數據處處皆有l時序數據是時間序列數據，是帶有時間戳的一系列結構化數據 汽車 每秒鐘采集的位置、車速、轉速、溫度等數據 無人機 每秒采集的位置、高度、風力、風向等數據 數控機床 每百毫秒采集的軸坐標、移動量、速度等數據 智能冰箱 每小時采集的溫度、濕度、耗電量 用戶訪問網站 點擊事件

6、流等數據l空間數據是地理位置或者軌跡數據l關系數據：讓時空數據具有意義Confidential 2021 四維縱橫時序數據成為數據主體，如何應對新挑戰？2 20 02 20 0年年物物聯聯網網設設備備超超過過非非物物聯聯網網設設備備車聯網數據規模預估：l10萬輛車，每輛車秒級采集1000指標l一秒1億指標，800MB數據l一天24小時8.64萬億指標，69TB，一月2PB數據l一天3小時1.44萬億指標，8.6TB，一月259TBConfidential 2021 四維縱橫時序數據庫趨勢（DB-Engines）2017 過去12個月趨勢2021 過去24個月趨勢Confidential 202

7、1 四維縱橫時序數據基本概念時時間間風風向向風風速速設設備備編編號號城城市市2021/10/01 08:00:0023.43.4958D-7913上海2021/10/01 08:00:0045.11.1F3CC-20F3北京2021/10/01 08:01:0023.23.3958D-7913上海2021/10/01 08:01:0045.01.2F3CC-20F3北京2021/10/01 08:02:0023.33.3958D-7913上海2021/10/01 08:02:0045.21.2F3CC-20F3北京MeasurementFields（指標）Tags（標簽）Time Series

8、 Data（時序數據）Timestamp（時間戳）Data Point（數據點）Confidential 2021 四維縱橫時序數據庫分類窄表：一行一個數據點寬表：一行所有數據點時時間間指指標標名名指指標標值值設設備備編編號號城城市市2021/10/01 08:00:00風向23.4958D-7913上海2021/10/01 08:00:00風速3.4958D-7913上海2021/10/01 08:00:00風向45.1F3CC-20F3北京2021/10/01 08:00:00風速1.1F3CC-20F3北京2021/10/01 08:01:00風向23.2958D-7913上海2021/

9、10/01 08:01:00風速3.3958D-7913上海2021/10/01 08:01:00風向45.0F3CC-20F3北京2021/10/01 08:01:00風速1.2F3CC-20F3北京時時間間風風向向風風速速設設備備編編號號城城市市2021/10/01 08:00:0023.43.4958D-7913上海2021/10/01 08:00:0045.11.1F3CC-20F3北京2021/10/01 08:01:0023.23.3958D-7913上海2021/10/01 08:01:0045.01.2F3CC-20F3北京設設備備I ID D時時間間風風向向風風速速12021

10、/10/01 08:00:0023.43.422021/10/01 08:00:0045.11.112021/10/01 08:01:0023.23.322021/10/01 08:01:0045.01.2設設備備I ID D設設備備編編號號城城市市1958D-7913上海2F3CC-20F3北京2011201320172020Confidential 2021 四維縱橫真實的時序場景現狀ES（二二級級索索引引）KafkaHBase（時時序序分分析析）Flink（實實時時分分析析）MySQL（關關系系數數據據）Hive（數數據據倉倉庫庫）Spark（高高級級分分析析）S3（存存檔檔）ETL分分

11、析析結結果果回回寫寫分分析析結結果果回回寫寫ETLRedis（最最新新值值）2020年+Confidential 2021 四維縱橫超融合時序數據庫，實現時序場景 All in One將將復復雜雜留留給給用用戶戶將將復復雜雜留留給給數數據據庫庫Confidential 2021 四維縱橫超 融 合 架 構Confidential 2021 四維縱橫行存儲列存儲混和存儲內存存儲LSM樹關系數據時序數據空間數據JSON文本火山模型即時編譯向量化流計算PL動態規劃遺傳算法Cascade統計信息事務并發控制鎖管理快照認證角色審計加密監控備份恢復高可用SQLACIDHooksB+樹索引Hash索引GIN

12、索引GiST索引位圖塊索引多列索引表達式索引部分索引SP-GiST文本檢索時空應用關系應用機器學習應用流計算應用應用JDBC/ODBC/OLEDBMatrixDB超融合架構概覽，基于開源PostgreSQLConfidential 2021 四維縱橫MasterStandby MasterSegmentSegmentSegmentSegment文本檢索時空應用關系應用機器學習應用流計算應用應用JDBC/ODBC/OLEDBMatrixDB線性擴展至數百節點集群Confidential 2021 四維縱橫節點1節點2空間分片（Sharding）時間線時間分區（Partition）設備數據點35周

13、36周37周38周時空數據存儲模型Confidential 2021 四維縱橫設備id時間戳溫度100012021/03/11 10:0137.1100012021/03/11 10:0236.5100022021/03/11 10:0136.8100022021/03/11 10:0236.9濕度80.160.750.356.6100012021/03/11 10:0337.2100012021/03/11 10:0436.4100022021/03/11 10:0336.9100022021/03/11 10:0436.880.060.450.256.8100012021/03/11 10

14、:0337.0100012021/03/11 10:0436.8100022021/03/11 10:0336.1100022021/03/11 10:0437.080.360.850.256.3兩個設備，10:01-10:04分，溫度、濕度時間序列Partition內分塊，一個設備數據存儲在一個塊內分區內部按照設備分塊，塊內列式存儲 壓縮比高 分析查詢友好 向量化友好Confidential 2021 四維縱橫冷熱分級存儲設備指標數據表11月10月七年前六年前五年前熱數據溫數據冷數據l基于分區和表空間技術，為不同熱度的數據選擇合適的存儲介質，最優化存儲開銷l為不同熱度數據選擇不同的存儲引擎、

15、存儲格式和壓縮級別，支持RLE、Gorilla、Zstd、LZ4、delta等編碼壓縮算法l支持本地文件系統和遠程文件系統包括S3、HDFS等，支持Parquet、Avro等格式Confidential 2021 四維縱橫24存儲引擎全貌Confidential 2021 四維縱橫25執行引擎Confidential 2021 四維縱橫分布式查詢執行t2t1Confidential 2021 四維縱橫分布式數據shufflingt2t1Confidential 2021 四維縱橫CREATE CONTINOUS VIEW s1 as SELECT avg(1)FROM devices WHER

16、E(filter)GROUP BY tags_id，time_bucket(1 hour,time);持續聚集Confidential 2021 四維縱橫安全認證 Password GSSAPI LDAP Certificate SSL訪問控制 RBAC ACL 列級安全控制 行級安全控制數據加密 哈希函數 PGP加密 隨機數 透明加密 存儲透明 會話審計 對象審計 支持各種對象 支持各種操作安全審計360度安全防護Confidential 2021 四維縱橫30秒級圖形化安裝Confidential 2021 四維縱橫31一鍵Kafka消費數據KafkaMatrixGateMatrixDB數

17、據生產者數據生產者數據生產者Confidential 2021 四維縱橫32無縫對接BI/可視化生態Confidential 2021 四維縱橫監控一目了然圖形化運維.監控報警無縫對接Grafana等常用監控平臺Confidential 2021 四維縱橫超融合時序數據庫，實現時序場景 All in One將將復復雜雜留留給給用用戶戶將將復復雜雜留留給給數數據據庫庫Confidential 2021 四維縱橫場景和案例Confidential 2021 四維縱橫36某車企：數字孿生汽車平臺新能源造車新勢力快速發展，銷量年增長率超過200%，過去基于 O Op pe en nT TS SD DB

18、 B+H Hi iv ve e 的技術架構無法支撐其快速增長的數據量和業務，創新迭代速度受限，成為發展瓶頸MatrixDB數據庫智能座艙畫像分析行為預警數據集市建設方案建設效果 存儲 1PB+車輛原始數據 硬件成本節省 80%，50臺10臺 寫入效率提升10倍 查詢效率提升100倍，從分鐘到毫秒級 開發運維效率提升 1 倍Confidential 2021 四維縱橫37某物流企業：大型車隊智能運營管理某大型車隊擁有 20 萬輛卡車，燃油、維修和人力成本居高不下，運營管理效率低，嚴重影響企業效益 車隊效率提升25%成本降低10%車輛數據任務調度保養記錄維修記錄采購記錄MatrixDB數據應用BI

19、/報表數據科學預測性維護零件壽命估算備件批量購買車輛報廢預測建設方案建設效果Confidential 2021 四維縱橫某裝備制造企業：智能裝備1、空間節省50%、時序性能提升5倍：MySQL+時序數據庫+Hive+Spark MatrixDB+Python2、數字裝備、臂架泄露、狀態模擬、泵機異常檢測、運行優化等Confidential 2021 四維縱橫39某制造企業：降低次品率某國際知名制造業企業通過收集工廠的各種數據，分析影響成品率的主要因素，改進生產流程，降本增效，大幅提升利潤率。數數據據科科學學家家應應用用用用戶戶外部存儲歷s史數據數數據據庫庫Confidential 2021 四維縱橫40某制藥企業：云邊端協同的一站式工業大數據平臺傳統的工業大數據“復雜”、“低效”，投入巨大產出甚微，使得很多工業企業談“大數據”而色變?；贛atrixDB的工業大數據平臺解決大數據復雜度問題，把“極簡”、“極速”留個客戶 原架構包含MySQL、時序數據庫、Hive、Spark等多個組件，新架構使用MatrixDB一個數據庫搞定工業大數據，簡潔高效 云邊協同架構，避免不同架構的繁瑣建設方案建設效果