MatrixDB-流批一體化數據高速加載工具介紹（20頁）.pdf

《MatrixDB-流批一體化數據高速加載工具介紹（20頁）.pdf》由會員分享，可在線閱讀，更多相關《MatrixDB-流批一體化數據高速加載工具介紹（20頁）.pdf（20頁珍藏版）》請在三個皮匠報告上搜索。

1、 MatrixDB流批一體化數據高速加載工具介紹石敦斌北京四維縱橫數據技術有限公司MatrixGate MatrixGate功能介紹 MatrixGate架構原理及對比 MatrixGate支持的模式 MatrixGate性能Mxgate功能簡介MatrixGate是一款高性能分布式流批一體化數據加載工具，具有高度集成、跨平臺、支持多種數據源數據高速加載及MPP集群間大容量數據高速遷移的特點。l 多種數據源支持TEXT、CSV、JSON、Kafka數據格式l 跨平臺支持HTTP RESTful API支持多語言接口l 流式加載支持自動消費Kafka數據支持圖形化配置及命令自動化兩種方式l 跨M

2、PP集群高速遷移 支持Greenplum和MatrixDB集群間的數據遷移 支持MatrixDB和MatrixDB集群間的數據遷移MatrixDB實時采集、實時分析的一站式數據平臺MatrixGate MatrixGate功能介紹 MatrixGate架構原理及對比 MatrixGate支持的模式 MatrixGate性能GPFDIST加載架構圖Mxgate總體架構介紹數據加載原理對比MatrixGate MatrixGate功能介紹 MatrixGate架構原理及對比 MatrixGate支持的模式 MatrixGate性能MatrixGate的四大模式MatrixGate 離線加載模式CS

3、VTEXTJSONMxgateMatrixDB-高性能-分布式-微批提交-事務一致性-多核并行-分批上報-支持Merge插入更新-容錯機制-閾值控制（當錯誤數據行數超過5*gp_initial_bad_row_limit時，批量寫入失?。㎝atrixGate http API服務模式Mxgate Http APIJAVAPythonC#GOETCMatrixDB-跨平臺-高性能-分布式-事務一致性-分批上傳、自動合并-支持服務狀態查看-支持多種時間戳轉換格式-支持排除指定列-多表數據并發上報-開放服務狀態API-支持多語言編程調用MatrixGate 自動消費kafka模式kafkaMxgat

4、e/MXUIkafkakafkakafkaMatrixDB-圖形化自動消費-命令自動消費-實時同步加載-指標動態增減-微批提交-持續聚集-物聯網協議支持CDCAPIMQTTMatrixGate 跨集群遷移模式mxgate httpMasterMatrixDBMatrixDBMatrixDBMatrixDBMasterGreenplumGreenplumGreenplumGreenplum-從Master獲取元數據-高速壓縮導出CSV-點對點遷移-壓縮傳輸-多核并行-指定條件遷移-增量遷移-支持GP4 GP5MatrixGate MatrixGate功能介紹 MatrixGate架構原理及對比

5、MatrixGate支持的模式 MatrixGate性能MatrixGate性能采用tsbs工具生成三種規模不同列的數據MatrixGate小規模加載速度對比值越大代表寫入性能越好2.011.691.511.3511.611.111.4810.5310萬20萬50萬100萬1列1列1列1列MatrixDB與競品加載速度對比MatrixDB/友商MatrixDB/InfluxDBMatrixDB3,476,4053,258,2043,187,9402,779,127友商1,725,4321,922,9322,106,7952,064,622InfluxDB299,672293,654277,66

6、9263,97410萬1列20萬1列50萬1列100萬1列0500,0001,000,0001,500,0002,000,0002,500,0003,000,0003,500,0004,000,0001列數據 不同設備量數據加載速度MatrixGate中等規模加載速度對比值越大代表寫入性能越好MatrixDB2,802,3541,518,545753,012167,508友商502,356160,21963,4385,854InfluxDB169,26336,44511,0582,26810萬10列10萬50列10萬100列10萬400列0500,0001,000,0001,500,0002,

7、000,0002,500,0003,000,00010萬設備 不同列數數據加載速度MatrixDB友商InfluxDB5.589.4811.8728.6116.5641.6768.173.8610萬10萬10萬10萬10列50列100列400列MatrixDB與競品加載速度對比MatrixDB/友商MatrixDB/InfluxDBMatrixGate大規模加載速度對比值越大代表寫入性能越好MatrixDB750,975386,485191,60993,989友商79,00328,1848,1902,427InfluxDB9,4634,5532,3031,202100萬100列100萬200列100萬400列100萬800列100萬設備 不同列數數據加載速度9.5113.7123.438.7379.3684.8983.278.19100萬100萬100萬100萬100列200列400列800列MatrixDB與競品加載速度對比MatrixDB/友商MatrixDB/InfluxDB