奇點云:OLAP數據庫引擎選型白皮書(2023)(12頁).pdf

編號:126811 PDF  DOCX 12頁 8.48MB 下載積分:VIP專享
下載報告請您先登錄!

奇點云:OLAP數據庫引擎選型白皮書(2023)(12頁).pdf

1、O L A P 數 據 庫 引 擎 選 型 白 皮 書1.1 OLAP數據庫引擎概述1.2 OLAP數據庫引擎選型過程中存在的問題1.3 如何更好地對數據庫引擎進行選型?1.4 報告特色2.1 測評結果表2.2 測評綜述 2.3 引擎評述2.4 產品選型指南評分標準 0102020304040513171.0 背景2.0 測評結果附錄010417目 錄C o n t e n t s1.0背景 OLAP(Online Analytical Processing,聯機分析處理),主要應用于大規模數據分析及統計計算,為決策提供數據支持。OLAP數據庫引擎貫穿于數據時代發展的 3個階段。無論在哪一階段

2、,當企業需要積累數據并進行數據分析時,就會面臨 OLAP數據庫引擎的選型問題。1.1 OLAP數據庫引擎概述*.0203O L A P 數 據 庫 引 擎 選 型 白 皮 書本次測評在數據構造及測試過程中充分考慮到泛零售、地產物業、智能制造、金融證券、政企的業務場景,數據構造方案來源于真實客戶業務場景,評測維度充分考慮了引擎的易用性及可維護性。有以下特色:1.4 報告特色本次測評覆蓋泛零售、地產物業、智能制造、金融證券、政企共五大行業的真實客戶業務場景。測評過程中構造數據時,充分考慮了客戶在選型時關注的主要業務場景,如泛零售行業的數據計算、BI報表、不同規模數據即席查詢等;1.來自最佳實踐除基

3、本的性能測評外,本次測評還關注到了數據安全、運維成本、元數據等維度;2.關注更多維度除了非國內研發軟硬件環境下的測評結果,本次測評還兼顧國內研發軟硬件環境下的測評結果;3.擁抱自主可控結合多年來對離線數倉、實時數倉和數據湖的實踐經驗,可以根據具體的業務需求和數據特點進行選擇引擎;4.覆蓋不同數據存儲和處理模式通過客觀的數據建模方式進行計算,整體結論客觀中立;5.客觀中立整體指標及選型模型設計時更加貼合 OLAP場景。6.專注于 OLAP目前市面上可選擇的數據庫類型越來越多,數據庫呈多元選擇趨勢。在進行數據庫引擎選型時,可選項繁多,而目前市面上可參考的選型標準較少,選型流程長,耗費成本高。1.選

4、項繁多,選型流程長開源數據庫的成熟度開始逐漸超過商業數據庫。雖然避免了高昂的服務費及license費用,但開源數據庫在易用性、配套能力等方面存在一定缺陷,會產生額外的開發、部署、遷移等成本。因此,在選型過程中,除了考慮性能之外,運維成本、數據安全、生態影響力等維度也需要納入考慮范圍。2.開源逐漸成為大趨勢,選型時需進一步考慮的維度增加在選型過程中,針對不同的業務場景和環節,分維度對不同數據庫引擎進行測試和比對,能有效提升數據庫引擎選型的效率。選型時需要綜合考慮業務需求、性能、維護成本、數據安全等多種維度的信息。具體而言,至少需要考慮以下三個層面:1.3 如何更好地對數據庫引擎進行選型?測試業務

5、場景要與企業的實際業務場景類似,這樣提供的信息才能有效有效輔助決策者做出適合業務的決策;1.充分考慮業務相關性構造的數據集過于規則容易測試出較高的指標。但真實的環境,數據是有瑕疵和傾斜的。因此,在數據構造階段需要充分理解客戶的業務場景,并可盡量模擬出貼近真實應用場景的數據。3.保障測試數據真實有效基準測試一般有多個指標,不同業務場景關注的指標會有較大區別。在設計指標時候,需要充分考慮業務關注點;2.根據實際業務場景選擇合適指標如何通過測試比對,找到最適合的數據庫引擎?指標多維性數據真實性業務相關性中國數據庫行業研究報告(2022年)顯示,2021年中國數據庫市場總規模達 286.8億元,同比增

6、長16.1%。中國數據庫市場雖受疫情影響,但整體穩步增長。數據庫行業持續發展的同時,在數據庫引擎選型的過程中也存在著以下問題:1.2 OLAP數據庫引擎選型過程中存在的問題調研企業內部業務需求結合內部需求,對市場上的供應商進行調研及初篩調研結合初篩結果觸達供應商商務觸達供應商演示解決方案企業結合演示情況進行進一步篩選二次評估部分企業會通過POC項目進一步驗證供應商的產品及實施能力POC采購0405O L A P 數 據 庫 引 擎 選 型 白 皮 書2.0測評結果測評結果如下圖,共 11個分析維度在查詢、計算和分析三個場景的測評結果中,我們發現:Hive在國內研發軟硬件環境綜合性能表現為非國內

7、研發軟硬件環境的 76.2%,ClickHouse則為 92.2%,并且性能仍在逐步提升,全力幫助企業規避數據安全隱患與政經環境影響。詳細測評結果請看“引擎評述”。2.1 測評結果表2.2 測評綜述全表scan性能MySQLStarRocksImpala+Kudu維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據TiDBHivePresto+KuduClickHouse非國內研發軟硬件環境國內研發軟硬件環境以上評分從高到低依次為:GABCD全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并

8、發數據安全運維成本生態影響力元數據HiveClickHouse of DataKunClickHouse基本介紹:MySQL是目前最流行的開源數據庫,其本身屬于是 OLTP引擎,但是也具備一些 OLAP計算的能力。協議被眾多其他引擎采用,被廣泛地應用在Internet上的中小型網站中??傇u:MySQL在數據批量同步和高并發維度表現較好,其他維度表現一般,不支持統一元數據管理。整體而言,MySQL體積小、速度快、成本低,開源。單機版易操作,單機性能好,適合中小型表,業務量低于億級別,對計算和查詢性能都有一定需求的客戶可以選擇 MySQL。2.分析引擎評述2.3 引擎評述全表scan性能MySQL

9、維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據1.測評結果2.3.1 MySQL優點:1.輕量級性能高效引擎:MySQL 是一個高性能的數據庫管理系統,支持大量的并發訪問,適合在高并發的環境中使用;2.支持事務;3.低成本易上手:體積小,部署方便,資源占用少。技術成熟,使用標準 SQL語言,兼容性好。缺點:1.開發運維成本高:對存儲過程和觸發器支持不夠良好,開發和維護存儲過程比較難;2.海量數據處理的時候效率不

10、高,單表數據量達到千萬級,各種性能指標大幅下降,復雜 SQL執行效率低;3.版本更新慢。0607O L A P 數 據 庫 引 擎 選 型 白 皮 書1.測評結果2.3.2 TiDB基本介紹:TiDB由 PingCAP公司開發和支持,是一個開源的 NewSQL數據庫,支持混合事務和分析處理(HTAP)工作負載,與 MySQL兼容,并且可以提供水平可擴展性、強一致性和高可用性。TiDB是一個綜合性的引擎,兼顧 OLAP和 OLTP,本次測評時主要考慮 TiDB的 OLAP場景??傇u:TiDB事實表和寬表的即席查詢表現優秀,并同時兼顧 TP性能和 AP性能,運維成本較低。TiDB解決了 MySQL

11、單機和中小型數據庫表的瓶頸,事實表查詢、寬表查詢、TP、AP、高并發性能均衡。2.分析引擎評述優點:1.支持一鍵水平擴容或者縮容,支持高可用;2.云原生的分布式數據庫;3.兼容 MySQL 5.7 協議和 MySQL 生態;4.自帶運維監控系統。缺點:1.部署成本高,集群模式決定了需要更多的硬件成本;2.不支持分區,存儲過程。全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據TiDB1.測評結果2.

12、3.3 StarRocks基本介紹:StarRocks主要應用于實時分析場景,于 2018年在Apache社區開源。是一款面向多種數據分析場景、兼容 MySQL協議的分布式關系型列式數據庫??傇u:StarRocks在數據查詢處理性能方面整體表現亮眼,較好的高并發支持能力,統一元數據管理,運維成本相對低。但該引擎穩定性略顯不足,偶爾會出現大批量數據操作長時間延時。2.分析引擎評述優點:1.StarRocks 并不依賴于大數據生態,但其外表聯邦查詢可兼容大數據生態;2.提供了多種不同模型,能夠支持不同維度的數據建模;3.支持在線彈性擴縮容,可以自動負載均衡;4.支持高并發分析查詢,在單表查詢及多表

13、 join方面綜合性能均較優;5.實時性好,支持數據秒級寫入;6.兼容 MySQL5.7 協議和 MySQL 生態。缺點:1.周邊生態比較不完善;2.部分 SQL語法不支持。全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據StarRocks0809O L A P 數 據 庫 引 擎 選 型 白 皮 書1.測評結果2.3.4 Impala+Kudu基本介紹:Impala是 Cloudera主導開發的

14、查詢系統,Impala并沒有自己的存儲引擎,不提供數據存儲服務,但底層可集成多個數據源。Kudu 是針對 Apache Hadoop 研發的列式存儲管理器,支持橫向擴展和高可用。Impala和 Kudu深度集成,數據可實時寫入 Kudu,Impala提供 BI分析 SQL查詢??傇u:在即席查詢場景下,Impala的穩定性和速度已在工業界經過廣泛驗證,有較好的 AP計算能力并兼顧不錯的 TP計算能力。Impala+Kudu架構支持隨機讀寫,有良好的 Scan性能,對 Spark等流式計算框架有官方客戶端支持,為實時數據倉庫存儲提供了良好的解決方案。2.分析引擎評述全表scan性能維度引擎事實表查

15、詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據Impala+Kudu優點:1.Impala SQL語法與和 Hive SQL高度相似,學習成本低;2.Impala具備超大數據規模 SQL解析能力,能夠高效利用 CPU與內存,快速返回結果;3.Impala與 Hue深度集成,提供可視化的 SQL操作以及 workflow;4.Kudu能做類似關系型數據庫一樣的操作,數據可以存儲在 Kudu里面并隨時更新。缺點:1.Impala基

16、于內存計算,整體而言對內存依賴性比較大;2.Impala不支持 ANSI SQL,在 SQL聚合等方面功能相對較弱,對復雜 SQL計算能力略有欠缺;3.Kudu提高讀性能的同時犧牲了寫性能。其表必須設置主鍵,對于非主鍵列的過濾條件,只能進行全表掃描,性能較差。1.測評結果2.3.5 Presto+Kudu基本介紹:Presto是用于大數據場景的高性能分布式 SQL查詢引擎,用戶能基于該架構查詢各種數據源,并且可以在單個查詢中查詢來自多個數據源的數據。Presto本身不存儲數據,通常配合存儲管理器使用(本次測試與 Kudu配合使用)??傇u:Presto可以接入多種數據源,支持跨數據源的級聯查詢,

17、通過分布式實現對 TB和 PB級數據的查詢和計算。本次測試中受限于測試數據規模,各項維度表現均為一般。2.分析引擎評述優點:1.數據源支持豐富:支持的數據源包括傳統關系型數據庫、圖數據庫、Hive、Redis等;2.支持連接多個數據源,并且能夠進行跨數據源連表查詢,可以在一條查詢中對來自多個數據源的數據進行合并分析;3.Presto根據場景進行聚合運算,基于內存運算,根據場景聚合運算(如 Count,Avg等),邊讀數邊計算,再清內存,再讀數據計算。和傳統的MapReduce相比,消除了延遲和磁盤IO開銷。缺點:1.Presto支持 ANSI SQL,但在對 DML的支持方面相對較弱;2.跨數

18、據源連表查詢時有可能產生大量臨時數據,查詢時占用存儲多,查詢速度會變慢。全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據Presto+Kudu1011O L A P 數 據 庫 引 擎 選 型 白 皮 書1.測評結果2.3.6 Hudi基本介紹:Hudi是 Hadoop Updates and Incrementals的簡寫,它是由 Uber開發并開源的 Data Lakes解決方案。Apache

19、 Hudi是一個事務性數據湖平臺,將數據庫和數據倉庫的能力引入數據湖。Hudi通過一個強大的增量處理框架,重新構想了緩慢的傳統批處理數據處理方式,實現了低延遲、分鐘級別的分析能力??傇u:Hudi的各項測評維度與其他引擎對比表現一般,但是 Hudi與 Hive、Flink結合表現出很好的流計算能力、快速跨分區 Upsert能力能解決不少場景痛點。2.分析引擎評述優點:1.支持多種源的源數據,且支持多種數據存儲格式和分布式文件系統;2.處理海量數據的開源數據湖;3.可靠的 ACID 事務和增量拉取功能,以保證數據的一致性和完整性。缺點:1.高級查詢和分析功能支持不夠完善;2.Hudi的學習成本較高

20、。1.測評結果2.3.7 ClickHouse 基本介紹:ClickHouse是用于 OLAP的開源列式數據庫,允許分析實時更新的數據,以高性能為目標。該引擎為 OLAP查詢而設計,常見應用場景有日志分析,監控系統,用戶行為分析,特征檢測,BI報表,ABTest等。該項目于 2016年 6月開源??傇u:ClickHouse在事實表查詢、AP計算、數據批量同步速率性能方面表現亮眼,寬表即席查詢優秀,但寬表 join表現一般,支持統一元數據并且有落地場景,運維成本相對低。該引擎在并發維度表現較弱,DataX集成速度快,適合大規模批處理計算場景。2.分析引擎評述優點:1.列式數據庫管理系統:寫入速度

21、快,在一些其他系統中也可以將不同的列分別進行存儲;2.數據壓縮:數據壓縮空間大,減少 IO,處理查詢高吞吐量,每臺服務器秒級數十億行;3.資源利用率高,適合在線查詢;4.實時的數據更新,支持近似計算;5.不依賴 Hadoop復雜生態。缺點:1.不支持事務;2.不支持高并發查詢場景;3.不擅長根據主鍵按行粒度查詢;4.不擅長 Join;5.不擅長處理可變數據。全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響

22、力元數據ClickHouse離線數據入湖離線數據入湖維度引擎實時數據入湖實時數據入湖即席查詢即席查詢UpdateUpdate元數據元數據高可用高可用彈性擴容彈性擴容Hudi1213O L A P 數 據 庫 引 擎 選 型 白 皮 書1.測評結果2.3.8 ClickHouse of DataKun基本介紹:ClickHouse of DataKun,在社區版的基礎上,專門為用戶行為分析和數據倉庫場景做了優化??傇u:ClickHouse of DataKun,在社區版的基礎上,對于漏斗分析、留存分析、歸因分析、間隔分析、用戶圈選、用戶畫像等場景的性能提升了數倍。2.分析引擎評述優點:和社區版相

23、比:1、Join優化;2、Map 列優化;3、更豐富的分析場景支持;4、優化可變數據分析場景的支持。缺點:1.不支持事務;2.不支持高并發查詢場景;3.不擅長根據主鍵按行粒度查詢??蛻暨x型流程成本:硬件、軟件BI工具適配離線場景實時場景用戶運營場景數據湖場景學習成本在項目交付實施過程中,我們總結出了進行 OLAP數據庫引擎選型的通用流程。參考下方流程,基本可選出符合業務需求的 OLAP數據庫引擎。2.4 產品選型指南企業通常已有正在使用的 BI工具,在進行 OLAP選型的時候需要首先考慮對 BI的支持度。BI使用OLAP主要用于探索性報表、報表深度分析等。1.首先考慮BI工具是否能夠順利連接到

24、該OLAP引擎;2.在能夠順利連接的基礎之上,看哪一個引擎對該BI工具支持得最好,查詢數據響應最快。建議重點關注的指標有:全表 scan性能、事實表查詢性能、寬表查詢性能、TP查詢性能、AP計算性能。1.引擎與 BI工具是否適配1.硬件成本:部分行業,特別是泛零售行業對硬件成本控制比較嚴格,因此需要重點考慮部署引擎的硬件成本(本次測評暫不涉及硬件成本數據,如對相關信息感興趣,可聯系奇點云相關人員 );2.運維成本:考慮運維便利程度,如交付后續客戶無法自主運維,則還需要后續的運維支出。建議關注指標:運維成本,運維成本指標等級越高,運維便利性越好。2.成本:包含硬件成本、運維成本等全表scan性能

25、維度引擎事實表查詢性能寬表查詢性能AP計算性能TP查詢性能MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)運維成本維度引擎MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)BI工具適配場景建議關注指標成本場景建議關注指標全表scan性能維度引擎事實表查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據全表scan性能事實表

26、查詢性能寬表查詢性能TP查詢性能AP計算性能數據批量同步速率高并發數據安全運維成本生態影響力元數據ClickHouse of DataKun1415O L A P 數 據 庫 引 擎 選 型 白 皮 書2.在即席查詢相關指標滿足業務需求的基礎上,進一步考慮TP查詢性能、數據批量同步速率;3.進一步考慮全表scan性能。流計算場景對數據返回實時性要求比較高,關注瞬時流量帶寬及最長延時的底線。典型場景有注冊發券、訂單同時等。以注冊發券場景為例,用戶進行注冊之后根據用戶所選偏好、基礎信息、當前行為等信息立刻推送優惠券,該場景下需要對用戶的行為數據進行快速查詢計算,數據返回延時低。選型考慮以下方面:1

27、.引擎與消息隊列的兼容性:首先考慮引擎是否能對接 Kafka之類的消息隊列;2.進一步關注事實表查詢性能、寬表查詢性能;4.流計算場景(實時計算)批處理場景對時效性要求并不高,但需處理的數據量極大,因此對查詢性能及數據同步速率等有要求。典型的應用場景有人群計算、產出標簽和產出報表等。1.優先考慮即席查詢相關指標,包括事實表查詢性能、寬表查詢性能、高并發。OLAP本身就面向即席查詢,因此即席查詢相關的性能越高越好。3.批處理場景(離線計算)事實表查詢性能維度引擎寬表查詢性能MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse o

28、f DataKun(國內研發軟硬件環境)事實表查詢性能維度引擎寬表查詢性能高并發MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)全表scan性能維度引擎MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)TP查詢性能維度引擎數據批量同步速率MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of Da

29、taKun(國內研發軟硬件環境)批處理場景建議關注指標(1)批處理場景建議關注指標(3)批處理場景建議關注指標(2)流計算場景建議關注指標(1)數據湖場景建議關注指標(2)數據湖場景建議關注指標(1)如客戶需要對接用戶運營產品(如 UBA),則需要考慮 用戶運營產品與 OLAP引擎的兼容性及對接成本。數據湖場景對時效性要求相對較低,數據湖需要具備靈活性和強大的擴展性,以適應各種數據類型和結構的存儲和處理要求。典型場景有日志分析和監控,數據湖可以用于存儲和分析大量的日志數據,支持日志分析、故障排查和系統監控。選型考慮以下方面:6.用戶運營產品兼容性5.數據湖場景1.優先考慮離線數據入湖和實時數據

30、入湖,解決信息孤島;2.進一步考慮元數據與其他計算引擎實現數據的按需計算。流計算場景建議關注指標(2)3.此外流計算場景(實時計算)還需關注AP計算性能指標。AP計算性能維度引擎MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)離線數據入湖維度引擎實時數據入湖Hudi元數據維度引擎Hudi1.生態影響力:生態影響力包含了商業化程度、熱度等,生態影響力大的引擎,引擎的周邊配套軟件多。在行業內應用會較多,學習渠道及素材多,使用過程中出現的問題會有相應的解決方案;學習成本指的是,選型時需

31、要考慮到引擎的生態影響力及學習難度:7.學習成本生態影響力維度引擎MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)生態影響力指標1617O L A P 數 據 庫 引 擎 選 型 白 皮 書1.測試后根據以下評分表對每個細項進行評分,得出原始指標評分標準附錄分數角度/指標50(G)40(A)30(B)20(C)10(D)0遍歷全表遍歷全表平均小于1s平均小于3s平均小于10s平均小于30s平均大于30sNA查詢能力億級別事實表小于200ms小于300ms小于500ms小于1000

32、ms大于1000msNA十億級別事實表小于1s小于3s小于6s小于10s大于10sNA二十億級別事實表小于2s小于5s小于10s小于20s大于20sNA寬表(3E)小于1s小于3s小于5s小于10s大于10sNAOLTPupdatecase平均小于5scase平均小于20scase平均小于50scase平均小于100scase平均大于100sNAgroup bycase平均小于30scase平均小于100scase平均小于300scase平均小于500scase平均大于500sNAjoin查詢case平均小于10scase平均小于30scase平均小于100scase平均小于200scase平

33、均大于200sNAOLAPselectcase平均小于30scase平均小于80scase平均小于200scase平均小于500scase平均大于500sNAwithcase平均小于30scase平均小于80scase平均小于200scase平均小于500scase平均大于500sNA實時計算框架NA支持Flink、SparkNA支持Flink或SparkNA不支持DataX導入(5并發)大于20M/s大于15M/s大于10M/s大于5M/s小于5M/sNA存儲計算存儲空間:小于1T存儲空間:小于1.5T存儲空間:小于2T存儲空間:小于2.5T存儲空間:小于3T3T存儲空間:大于高并發sele

34、ctqps:平均1萬+qps:平均5000+qps:平均1000+qps:平均大于500qps:平均小于500NAselect joinqps:平均100+qps:平均30+qps:平均10+qps:平均3+qps:平均小于3NA事務事務NA支持NANANA不支持云平臺兼容性云平臺兼容性NA主流云平臺全部兼容NANA主流云平臺存在不兼容不支持云平臺安全數據權限分級支持庫、表、行、列、字段NA支持庫、表、行、列NA支持庫、表NA用戶權限分級支持庫、表、行、列、字段NA支持庫、表、行、列NA支持庫、表NA數據審計NA系統支持NA外部支持NA不支持自主可控國產&商業&開源&底層自研國產&商業&開源國

35、產開源國產商業化NA國外信創認證NA已認證NANANA未認證存取控制資源、SQL、數量、字段資源、SQL、數量資源&數量資源NA不支持運維部署&升級&修改部署簡單、升級簡單&修改配置無需重啟部署難度一般、升級難度一般&修改配置無需重啟部署難度一般、升級難度一般&修改配置需重啟部署難度繁雜、升級繁雜&修改配置無需重啟部署難度繁雜、升級繁雜&修改配置需重啟NA遷移命令和工具一鍵遷移NA數據同步遷移NA需要導出重新導入NASQL協議完全支持主體支持NA只支持部分協議NA不支持穩定性高可用多節點部署,自動分發NA多節點部署,不支持自動分發NA多節點部署,節點小于10個單節點伸縮性彈性伸縮,熱配置NA配

36、置伸縮,需要重啟NA部署伸縮,需要停服務不支持容災恢復故障自動恢復,自動保存災前數據NA自動保存災前數據NA手動恢復不支持監控引擎自帶,監控齊全無需配置引擎自帶,監控需要配置NA安裝第三方NA無合適的監控自動備份定時自動備份、故障自動備份NA故障自動備份定時自動備份NA無商業化商業化周邊配套軟件多,專利數多周邊配套軟件多有周邊配套軟件有周邊配套軟件NA無元數熱度據元數據支持,并有落地場景支持,并有落地方案支持NANA不支持百度熱度結果數大于1E,日指數大于1萬結果數大于1E,日指數大于5000結果數大于3千萬,日指數大于1000結果數大于1千萬,日指數大于300結果數大于1千萬,日指數小于30

37、0NAgithub熱度github項目數大于50萬github項目數大于10萬github項目數大于1萬github項目數大于1000github項目數小于1000NA數據安全維度引擎運維成本生態影響力元數據MySQLStarRocksImpala+KuduTiDBClickHousePresto+KuduClickHouse of DataKun(國內研發軟硬件環境)基礎能力項指標2.學習成本:考慮是否支持 SQL、是否需要學習額外的語言等(如 ClickHouse需要學習額外語法)。在各項指標中,數據安全、運維成本、生態影響力、元數據等指標為引擎的基礎能力項,其等級越高,引擎本身的安全及易

38、用性越高。在滿足業務場景所需達到的性能且成本允許的前提下,建議盡可能選擇基礎能力等級較高的引擎。1819O L A P 數 據 庫 引 擎 選 型 白 皮 書2.將原始指標在每個維度下進行加總平均,平均分即為每個維度下的分數。得分=維度下的原始指標分數總和/維度下的原始指標數量,例如,事實表查詢性能分數=(億級別得分+十億級別得分+二十億級別得分)/3角度遍歷全表查詢能力OLTP遍歷全表億級別事實表十億級別事實表二十億級別事實表寬表(3E)updategroup byjoin語句TP查詢性能TP查詢性能TP查詢性能事實表查詢性能事實表查詢性能事實表查詢性能高并發selectselect joi

39、n高并發/百度熱度github熱度生態影響力生態影響力寬表查詢性能OLAPselectwith實時計算框架DataX導入(5并發)AP計算性能AP計算性能AP計算性能數據批量同步速率運維部署&升級&修改遷移存儲計算SQL協議運維成本運維成本運維成本運維成本安全數據權限分級用戶權限分級數據審計自主可控數據安全數據安全數據安全數據安全數據安全數據安全信創認證存取控制穩定性高可用伸縮性容災恢復監控運維成本運維成本運維成本運維成本自動備份運維成本全表scan性能事務事務/云平臺兼容性云平臺兼容性運維成本商業化商業化生態影響力元數據熱度元數據元數據原始指標分析維度(因素)3.將上表結果中每個維度的得分換算為等級,得到最終評級等級分數段40,5030,40)25,30)20,25)(0,20)0無20O L A P 數 據 庫 引 擎 選 型 白 皮 書

友情提示

1、下載報告失敗解決辦法
2、PDF文件下載后,可能會被瀏覽器默認打開,此種情況可以點擊瀏覽器菜單,保存網頁到桌面,就可以正常下載了。
3、本站不支持迅雷下載,請使用電腦自帶的IE瀏覽器,或者360瀏覽器、谷歌瀏覽器下載即可。
4、本站報告下載后的文檔和圖紙-無水印,預覽文檔經過壓縮,下載后原文更清晰。

本文(奇點云:OLAP數據庫引擎選型白皮書(2023)(12頁).pdf)為本站 (拾億) 主動上傳,三個皮匠報告文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對上載內容本身不做任何修改或編輯。 若此文所含內容侵犯了您的版權或隱私,請立即通知三個皮匠報告文庫(點擊聯系客服),我們立即給予刪除!

溫馨提示:如果因為網速或其他原因下載失敗請重新下載,重復下載不扣分。
客服
商務合作
小程序
服務號
折疊
午夜网日韩中文字幕,日韩Av中文字幕久久,亚洲中文字幕在线一区二区,最新中文字幕在线视频网站