《中國軟件行業協會:中國軟件根技術發展白皮書(數據庫冊)(2023版)(57頁).pdf》由會員分享,可在線閱讀,更多相關《中國軟件行業協會:中國軟件根技術發展白皮書(數據庫冊)(2023版)(57頁).pdf(57頁珍藏版)》請在三個皮匠報告上搜索。
1、中國軟件根技術發展白皮書(數據庫冊)中國軟件行業協會2目 錄前言.1一、數據庫概述.3(一)數據庫相關概念.3(二)數據庫分類.5(三)數據庫架構標準.6(四)數據庫產業鏈.8二、全球數據庫競爭格局和發展態勢.9(一)全球數據庫行業競爭格局.9(二)主流數據庫廠商產品分析.10 1.Oracle.10 2.IBM.11 3.Microsoft.12 4.Amazon.12 5.Google.13(三)發展現狀.14 1.數據庫是數字經濟發展的基礎技術和設施.14 2.美國數據庫廠商長期壟斷全球數據庫市場.14 3.數據庫技術路徑分化帶來市場分裂與競合.15 4.“開源+云”已經成為數據庫革新的
2、關鍵力量.16(四)全球數據庫發展新態勢.16 1.數據庫和硬件協同成為新興競爭力量.16 2.數據庫領域的投資熱情正在逐年升溫.16 3.中國數據庫迎來技術積累爆發增長期.17 4.技術收斂是國產數據庫突圍有效路徑.183三、國產數據庫發展狀況.19(一)發展現狀.19(二)市場規模.20(三)國產數據庫主要廠商產品分析.21 1.達夢數據庫.22 2.南大通用.22 3.神舟通用.23 4.人大金倉.23 5.華為公司.24 6.阿里云.24 7.騰訊云.25 8.平凱星辰.25 9.云和恩墨.26 10.海量數據.27(四)國產數據庫在重點行業應用分析.27(五)國產數據庫廠商積極布局生
3、態建設.28四、主流數據庫技術發展分析.30(一)關系型數據庫.30 1.技術特點.30 2.主流產品.31 3.發展趨勢.31(二)非關系型數據庫.31 1.技術特點.31 2.主流產品.32 3.發展趨勢.33五、國產數據庫發展面臨的形勢、問題及機遇.36(一)面臨的主要形勢.364(二)存在的主要問題.38 1.產品種類繁多,競爭能力不足.38 2.技術基礎薄弱,專業人才匱乏.38 3.安全性能存憂,用戶使用存慮.38 4.產品標準各異,缺乏行業標準.39 5.產業資源分散,生態建設滯后.40(三)發展機遇.40 1.利好政策出臺釋放巨大紅利.40 2.數字化激發數據庫市場潛力.41 3
4、.數據庫國產化替代空間巨大.41 4.行業技術實力積累整體增強.41六、國產數據庫發展基本判斷.43(一)國產數據庫技術路線收斂勢在必行.43(二)國產數據庫廠商應重視用戶的需求.43(三)存算分離+多讀多寫成為發展新趨勢.43(四)開源是國產數據庫發展的有效路徑.44七、建立以 openGauss 為代表的國產數據庫體系.45(一)內核創新研究,打造堅實數據底座.45(二)聯合產業資源,共建資源池化架構.46(三)滿足行業訴求,打造關基行業標桿.47(四)打造開源社區,共建技術開發生態.48(五)走進高校課堂,培養專業技術人才.49八、發展對策建議.50(一)引導數據庫技術路線收斂提升競爭能
5、力.50(二)強化存算分離+共享存儲標準體系建設.50(三)出臺專項政策支持首臺套和規?;瘧?50(四)強化數據庫技術創新集聚全產業鏈資源.51(五)集中支持開源社區加大產業鏈生態建設.511黨的二十大報告明確提出,堅持創新在我國現代化建設全局中的核心地位,加快實現高水平科技自立自強,加快建設科技強國,并對完善科技創新體系、加快實施創新驅動發展戰略等作出了系列重要部署。當前,在錯綜復雜的國際環境和新技術快速迭代的背景下,基礎軟件根技術已經成為國家戰略科技競爭的制高點。要從根本上擺脫對單一技術供應鏈的依賴,必須堅持原始技術創新,堅定不移地摸索出一條獨立自主的軟件根技術產業體系發展之路。數據庫是
6、業界公認的最復雜、跨技術領域最多的基礎軟件,隨著數字化的深入推進,數據庫在技術架構、數據管理、數據安全創新,以及數據科學基礎研究、生態建設、“產學研用”深入合作等方面都面臨著巨大的挑戰?,F階段,我國數據庫行業市場前景廣闊,整體呈現出穩步上升的發展勢頭,經過多年的技術沉淀和市場洗禮,正在經歷從“引進”到“自研”,由“可用”向“好用”進階的關鍵節點,這為國產數據庫發展提供了良好的成長土壤。國產數據庫要實現突破式發展,需要與行業發展變化需求相協同,也需要產業界形成合力持續推動原始創新,還需要構建起完善健康的產業生態體系。前 言2我們倡導國產數據庫技術收斂路線,鼓勵產業上下游生態鏈資源聯合起來共同打造
7、具有國際競爭力的國產數據庫技術、產品和解決方案,推動我國數據庫產業高質量發展。3一、數據庫概述數字化正在改變世界萬物,而數字世界的底層,則是龐大的不斷產生、匯集、運算的數據。實現數字化的前提是數據化,而數據的可存、可用、可管、可流動、可分析,都離不開數據庫。數據庫作為信息系統的核心,在計算機中扮演著承上啟下的作用,向下實現調動計算、網絡、存儲等基礎資源,向上完成支撐各種應用軟件需求,是計算功能得以實現的基礎設施底座。數據庫的發展不僅影響著計算機技術的發展進程,也推動著經濟社會和數字中國的持續進步。(一)數據庫相關概念數據(Data):數據庫中存儲的基本對象,是描述實物的符號記錄。描述實物的符號
8、可以是數字,也可以是文字、圖形、圖像、聲音、語言等,數據有多重表現形式,它們都可以經過數字化后存入計算機。數據庫(DB):長期存儲在計算機內的、有組織的、可共享的、統一管理的大量數據的集合。數據庫中的數據按一定的數據模型組織、描述、存儲,其特點是冗余度小,具有較高的數據獨立性、共享性和易擴展性。專欄 1:數據模型是數據庫系統的核心和基礎數據模型是對現實世界數據特征的抽象。通俗地講數據模型就是對現實世界的模擬映射。4?概念模型,也稱信息模型。按用戶的觀點來對數據和信息建模,用于數據庫設計。邏輯模型:包括網狀模型、層次模型、關系模型、面向對象數據模型、對象關系模型、半結構化數據模型等。物理模型:對
9、數據最底層的抽象,描述數據在系統內部的表示方法和存取方法、或者在磁盤或磁帶上的存儲方式和存取方法。?嚴格定義的一組概念的集合。精確描述了系統的靜態特性、動態特性和完整性約束條件。數據庫管理系統(DBMS):一種用于管理、維護和操縱數據庫的大型軟件系統。它通過提供統一的管理和控制,保證數據庫的安全性和完整性,滿足多個應用程序和用戶在同一時刻或不同時刻建立、修改和查詢數據庫。DBMS 主要由管理模塊、控制模塊和各種數據庫操作語言組成。專欄 2:數據庫管理系統的主要特性獨立性:通過 DBMS,不同應用程序和用戶可以在同一數據庫下操作,各數據之間互相獨立,互不干擾。共享性:數據庫系統可以進行多用戶共享
10、,多個用戶或應用程序能夠同時訪問同一數據庫,進行數據的查詢和修改。集中性:通過 DBMS,可以將不同的數據集中到同一數據庫中進行管理和維護,提高了數據的管理效率和數據間的聯系性。安全性:通過 DBMS,可以實現對數據的安全保護,數據訪問控制和數據備份等功能。一致性:通過 DBMS,不論是在單用戶還是多用戶的情況下,數據的一致性能夠得到保障。5(二)數據庫分類歷經 70 年的不斷發展,數據庫已經衍生出多種技術路徑和方向。為了更清楚地掌握數據庫之間的特性差異,數據庫產品可根據不同標準進行分類,常見的分類依據包括數據模型、架構模型、業務負載特征、部署方式、適配硬件架構等,其中數據結構類型是最常用的分
11、類標準。根據數據模型分類:關系型數據庫、非關系型數據庫。根據架構模型分類:集中式數據庫、分布式數據庫。根據業務負載特性分類:事務型數據庫(OLTP)、分析型數據庫(OLAP)、混合型數據庫(HTAP)?,F階段,最常見的數據庫模型是關系型數據庫和非關系型數據庫,國內超過 90%的數據庫市場選擇使用關系型數據庫,故本文將以數據結構為重點對數據庫進行研究。關系型數據庫(RDB):一種采用關系模型來組織數據的數據庫,而關系模型是由二維表及其聯系組成的數據組織。在關系型數據庫中,對數據的操作幾乎全部建立在一個或多個關系表格上,通過對這些關聯表的表格進行分類、合并、連接或選取等運算來實現數據的管理。專欄
12、3:關系型數據庫的優缺點?使用表結構,格式一致,易于維護;使用通用的 SQL 語言操作,使用方便,可用于復雜查詢;數據存儲在磁盤中,安全性高。?讀寫性能比較差,不能滿足海量數據的高效率讀寫;不節省空間,6建立在關系模型上,要遵循某些規則,比如數據中某字段值即使為空仍要分配空間;固定的表結構,靈活度較低。非關系型數據庫(NOSQL):一種數據結構化存儲方法的集合,可以是文檔或者鍵值對等。作為關系型數據庫的一個補充,能在特定場景和特點問題下發揮高效率和高性能。非關系型數據庫可以分為 key-value 型(針對高性能并發讀寫場景)、文檔型(針對海量數據訪問場景)、列式數據庫、圖形數據庫四種類型。專
13、欄 4:非關系型數據庫的優缺點?存儲數據的格式可以是 key-value 形式、文檔形式、圖片形式等,使用靈活,應用場景廣泛;速度快,效率高,NoSQL 可以使用硬盤或者隨機存儲器作為載體,而關系型數據庫只能使用硬盤;海量數據的維護和處理非常輕松;具有擴展簡單、高并發、高穩定性、成本低廉的優勢;可以實現數據的分布式處理。?暫時不提供 SQL 支持,學習和使用成本較高;沒有事務處理,沒有保證數據的完整性和安全性。適合處理海量數據,但是不一定安全;功能沒有關系型數據庫完善。(三)數據庫架構標準產業數字化加速產生了諸如圖、流、時序和地圖空間等多種數據類型的海量數據,計算機體系架構正從以 CPU 為中
14、心的架構向多樣性算力協同的對等架構演進。在多模數據和多樣性算力雙輪驅動下,數據庫架構需要與時俱進,有效利用多樣7性算力,進行資源的集約化管理和調度,實現多模數據的高效處理和數據價值挖掘。數據庫組件化架構標準以 SQL 標準作為應用接入的標準界面,并進一步往下延伸,分層定義分發、執行、存儲引擎的交互接口,實現數據庫架構的可組裝可演進,打造面向未來的數據庫組件化技術生態。?圖 1 所示的數據庫組件化架構標準中,SQL 標準定義了全場景 SQL 標準;分發引擎實現 SQL 語句到執行計劃的生成;執行引擎實現高效數據處理;存儲引擎實現對多模數據的管理;存儲層實現數據的透明化企業級存儲能力;數據全生命周
15、期管8?理平臺實現智能運維、集群管理等公共能力。組件化架構標準在每一層都提供了擴展協同接口,以支持多樣性的 SQL 接口、多模優化器、多模執行器、多模存儲引擎。同時在部署形態上,每一層既可以單機部署,也可以集群部署,從而實現每一層基于業務負載的資源彈性伸縮。(四)數據庫產業鏈數據庫與芯片、操作系統并列為全球技術三大件,也是企業 IT 系統必不可少的核心技術。從圖 2 所示的數據庫上下游產業鏈圖譜中可以看到,產業鏈上游主要是以 CPU 廠商、服務器廠商、網絡設備廠商、存儲廠商組成的網絡和硬件廠商;中游主要是以數據庫、操作系統和中間件等組成的基礎軟件廠商;下游主要是以各行業的集成商、開發商組成的應
16、用開發廠商。從產業鏈發展視角來看,數據庫處在產業鏈中游樞紐位置,向上承接各類硬件、網絡服務資源,向下提供數據存儲、管理與分析服務,因此,數據庫的地位和作用突顯重要。9二、全球數據庫競爭格局和發展態勢數據庫最早起步于 1964 年,先后經歷了兩次發展熱潮。20 世紀 80 年代隨著關系型數據庫的理論突破和技術創新,全球數據庫行業迎來第一次發展熱潮。2000 年以來,隨著移動互聯網的發展興起,數據庫的應用場景越來越豐富,推動了全球數據庫在 2010-2019 年進入第二次發展高峰期,大批新興企業競相涌現,全球有將近50%的數據庫企業相繼在這一時期成立。進入云智能時代,全球數據庫產業正在進入第三次爆
17、發式發展周期,整體呈現百花齊放、百家爭鳴的發展態勢。(一)全球數據庫行業競爭格局全 球 數 據 庫 行 業 主 要 有 Oracle、IBM、Microsoft、Amazon、Google 等主流廠商。關系型數據庫依然是現階段市場成熟度最高、應用范圍最廣的數據庫產品,占據全球約 80%的市場份額,Oracle、IBM、Microsoft 是行業的佼佼者。近年來,隨著云數據庫產品異軍突起,Amazon、Google等國際云數據庫廠商快速崛起,市場份額快速增長。此外,在商業化和開源并行發展的背景下,也涌現出 MongoDB、?等一批以技術起家的數據庫獨立廠商,在各自的強勢領域深耕細作,占據了一席之
18、地。1023%7%6%21%24%19%AWSGoogleIBMOracleMircosoft?(二)主流數據庫廠商產品分析1.Oracle甲骨文(Oracle)是一家總部位于美國加州的跨國科技公司,是全球知名的數據庫管理系統供應商,作為全球領袖級別的企業級數據管理解決方案供應商,Oracle 提供的數據庫產品和系統已經逐漸成為業界標準,應用領域和范圍十分廣泛。Oracle旗下的數據庫產品覆蓋了不同的領域,包括企業級應用系統、小型應用程序、云環境等,產品形態也多樣化,適合不同類型的應用需求。主要產品:Oracle Database、Oracle MySQL、Oracle NoSQL Datab
19、ase、Oracle Berkeley DB、Oracle Rdb、Oracle TimesTen等。主要應用領域:甲骨文數據庫產品長期以來一直是全球市?11場份額最大的產品之一。甲骨文數據庫以其穩定性、安全性、易用性和強大的性能著稱,被廣泛應用于全球各行各業。專欄 5:甲骨文發展脈絡與啟示1977 年:拉里埃里森、鮑勃明頓和愛德華奧茨共同創建了甲骨文公司。專注于開發和銷售數據庫管理系統。1986 年:甲骨文公司在納斯達克上市,成為公眾持股的公司。1990 年:甲骨文開始轉型,從一個主要提供數據庫管理系統的公司變為一個提供全方位企業級解決方案的公司。甲骨文發布了第一個ERP 產品,使其開始在企
20、業應用軟件領域占據一席之地。2004 年:甲 骨 文 提 出 并 開 始 實 施 并 購 策 略,先 后 收 購 了PeopleSoft、Siebel Systems 等公司,進一步擴展了產品和服務的范圍。2010 年:甲骨文完成對 Sun Microsystems 的收購,標志著甲骨文進入了硬件領域,并開始提供硬件和軟件一體化的解決方案。2012 年:甲骨文發布了其首個公有云服務,開始轉型為云服務提供商。近年來,甲骨文在云服務、人工智能和大數據等新興領域進行了大量的研發和投資,以適應不斷變化的市場需求。啟示:甲骨文一直在不斷地調整和改變自身的發展策略,以適應不斷變化的市場環境。甲骨文始終保持
21、著數據庫技術創新優勢,積極應對各種挑戰,從而保持了其在全球科技領域的領導地位。2.IBMIBM 公司是全球領先的計算機科技公司,也是數據庫領域的佼佼者。IBM 數據庫是一款功能強大、安全可靠、適應性強的數據庫產品,廣泛應用于多個行業和領域中,可以為企業帶來高效、穩定、成本優化的數據管理能力。主要產品:IBM DB2、IBM Informix、IBM Cloudant 等。12主要應用領域:(1)企業級應用,支持企業級高吞吐量的應用開發,如金融交易系統、數據倉庫等;(2)物聯網應用,支持物聯網的數據存儲和分析處理,如傳感器數據、智能家居、工業自動化等;(3)移動應用,支持移動應用的后臺數據存儲和
22、處理,如社交應用、移動支付等;(4)云環境,支持云環境下的多租戶存儲和處理,如 PaaS、SaaS 等云服務模式。3.Microsoft微軟公司(Microsoft)是一家美國跨國科技企業,主要以研發、制造、授權和提供廣泛的電腦軟件服務業務為主。隨著互聯網和數字化時代的到來,數據管理越來越成為各個企業的重要課題。微軟公司順勢推出了一系列高效穩定的數據庫軟件,助力企業通過從海量數據中獲得有價值的信息,增強企業決策的數據支撐能力。主要產品:SQL Server、Azure SQL、Azure Cosmos DB、Access 等。主要應用領域:微軟數據庫軟件作為高效穩定的數據管理工具,廣泛應用于銀
23、行、電力、通訊、零售等行業,為企業在數據管理領域提供著強大的支持。4.Amazon近 10 年以來,全球數據庫市場加速變革,云數據庫尤其是云原生數據庫成為整個數據庫市場的關鍵變量。亞馬遜公司(Amazon)作為全球云原生數據庫的領導者,其基于云原生數據庫,構建起涵蓋數據存儲、查詢、數據分析、機器學習、13商業智能、編目與治理的端到端的數據戰略。主要產品:Amazon Aurora Serverless v2、Amazon DynamoDB、Amazon Timestream、Amazon QLDB、Amazon Keyspace、Amazon Neptune Serverless 等。主要應用
24、領域:AWS數據庫系統具有高可用性、高安全性、易于管理等優勢,在傳統應用、ERP、CRM、電子商務、游戲、工業、社交網絡、物聯網、銀行等各種應用場景中得到了廣泛的應用。專欄 6:亞馬遜成為全球數據庫管理系統領導者在Gartner公布的2022年全球數據庫管理系統的市場份額排名中,作為純云廠商的亞馬遜云科技,超越了老牌傳統數據庫廠商甲骨文和微軟,首次位居第一,市場份額達到 25.3%。亞馬遜云科技已經連續 8 年位居 Gartner 云數據庫管理系統領導者象限,更是在愿景完備性和執行能力兩個維度都超出所有對手。5.Google谷歌公司(Google)是全球最大的互聯網公司之一,谷歌數據庫為高性能
25、和大規模的數據處理、存儲和管理提供了出色的解決方案。主 要 產 品:Google Cloud SQL、Google Cloud Spanner、AlloyDB for PostgreSQL、BigQuery 等。主要應用領域:廣泛應用在金融、IT、生物醫藥、物流、電商零售、物聯網、政府等領域。14(三)發展現狀1.數據庫是數字經濟發展的基礎技術和設施近年來,數字技術加速融入經濟社會發展的各個領域和全過程,進入數字經濟時代的重要特征是生產力的全面數字化,產生的數據量也呈現爆炸式增長,數據要素價值日益顯現,海量數據需要領先且強大的數字基礎設施存儲與管理,數據庫則扮演了核心角色。只有建立起強大的數據
26、技術軟件體系,才能滿足數字經濟發展的需要,而數據庫為數字中國建設和數字經濟社會的穩定及健康發展提供了基礎技術和設施保障。2.美國數據庫廠商長期壟斷全球數據庫市場全球數據庫市場主要由傳統 IT 巨頭、云計算廠商、獨立數據庫廠商三大勢力進行角逐,傳統 IT 巨頭(Oracle、IBM、Microsoft)多在關系模型領域深耕,整體占據市場主導地位,同時隨著云計算、大數據的快速發展使得需求有了進一步的爆發,推動了云數據庫廠商(Amazon、Google)的快速崛起。美國 Oracle、IBM、Microsoft、Amazon、Google 五家科技巨頭公司聯合占據了全球數據庫 75%以上的市場份額,
27、全球數據庫行業呈現美國一家獨大的局面。在國內,Oracle、Microsoft 等國際廠商也占據了超過 65%的數據庫市場份額,與國際市場面臨著相似的境況。15專欄 7:全球數據庫市場呈現三雄爭霸局面在傳統數據庫領域,由于國外數據庫廠商起步較早,同時在發展過程中不斷進行戰略布局和產品迭代,已經形成了先發優勢,代表性企業有 Oracle、IBM、Microsoft 等。伴隨云計算、大數據等技術的快速發展,互聯網巨頭在數據庫市場大放異彩,云計算巨頭的數據庫產品借勢快速發展,代表性企業有亞馬遜、谷歌、華為、阿里、騰訊等。在商業化和開源并行發展的同時,也涌現出一批技術起家的數據庫獨立廠商,如 Mong
28、oDB、?等公司??傮w來看,傳統 IT 巨頭在關系型 OLTP 領域強勢,云計算廠商以及獨立數據庫廠商在非關系型領域以及 OLAP 領域更具競爭力。云計算廠商更多的是依靠云計算、大數據的快速發展崛起,同時,獨立數據庫公司更加依賴開源來快速提升產品影響力和市場認知度,同時社區的力量也可以讓公司的產品快速迭代升級。3.數據庫技術路徑分化帶來市場分裂與競合過去 10 年,全球有近 300 家數據庫企業相繼成立,而全球數據庫產業絕大部分市場份額主要被美國科技巨頭占據,其他 90%以上的數據庫企業生存艱難。這些數據庫企業中,一部分基于其他商業或開源數據庫做二次開發的數據庫產品,一部分通過自研開發數據庫產
29、品,還有一部分企業在一些垂直細分行業領域深耕,但由于市場發展空間有限,生存處境比較艱難。未來絕大部分數據庫企業可能會逐漸消亡或被頭部公司吞并收購,只有那些迎合市場發展需求,保持技術領先優勢、生態完善的企業才能存活下來,數據庫市場將有可能從分散逐步收斂走向集中化。164.“開源+云”已經成為數據庫革新的關鍵力量進入云時代,全球數據庫行業正在經歷大變局,而驅動這場大變局的關鍵因素,主要來自數據技術供需兩側的雙向巨變。在需求側,數字化在全行業的加速推進為數據庫產業帶來了持續的增長動力;在供給側,“開源+云”成為改變數據庫技術的內聚力量,正在把過去 20 余年分散多元的數據庫技術棧融合起來。未來借助“
30、開源+云”的力量,將會涌現出一批真正能夠解決企業數據管理瓶頸的服務企業,重塑全球數據庫產業發展格局。(四)全球數據庫發展新態勢1.數據庫和硬件協同成為新興競爭力量隨著新型硬件成本逐漸降低,充分利用新興硬件資源提升數據庫性能是未來數據庫發展的重要方向之一。在需求側,隨著數據量暴增和實時性的要求越來越高,數據庫圍繞處理器、內存、存儲和網絡四個硬件架構方向不斷突破和創新。新興硬件技術將塑造未來數據庫的發展趨勢,向著更高的性能、更好的可擴展性和更低的總體成本發展。數據庫和新興硬件之間的融合創新,將共同推動機器學習、人工智能、大數據分析、大語言模型等領域技術的發展進步。2.數據庫領域的投資熱情正在逐年升
31、溫2022 年全球數據庫市場規模超過 975 億美元,同比增長14%。中國軟協預測,未來 3-5 年內,全球數據庫市場將保持 10%-15%年復合增長率,預計到 2025 年市場規模有望突破1250 億美元。1702004006008001000120014002021?2022?2023E2024E2025E?據不完全統計,2021-2022 年共有 32 家開源商業公司獲得融資且有多家公司在短時間內獲得多輪融資,其中單輪融資數達到 1 億美元的企業數量占比接近 20%,達到 1000 萬美元的企業數量占比超過 50%。其中,數據庫領域成為開源融資界的寵兒。2022 年數據庫商業公司獲得融資
32、的數量占比接近所有行業融資額的 25%,明顯高于其他行業公司,這說明市場對數據庫行業的投資熱情仍然很高。3.中國數據庫迎來技術積累爆發增長期當前,中國數據庫市場迎來黃金發展期,國內擁有一個蓬勃發展的大市場,大市場帶來了豐富的應用場景,為國內數據庫技術實力的提升提供了優勢基礎。另外,開源模式為技術創新的擴散應用提供了良好的成長土壤,也為全球經濟的轉型發18展提供了廣闊的創新思路。我國在全球開源體系中占據重要地位,國內在數據庫、人工智能、操作系統領域的開源項目日益活躍,這跟中國互聯網行業的市場特點和當前技術發展緊密相關。以華為 openGauss 為代表的國產數據庫相繼開源,國內的數據庫開源社區、
33、開源人才、開源組織、開源項目的數量和質量正在持續提升,加速推動了國產數據庫技術的迭代升級發展。4.技術收斂是國產數據庫突圍有效路徑經過近十年的快速發展,國產數據庫已經具備應用在關鍵基礎設施行業的技術儲備。隨著政策利好、數字化轉型大潮以及市場教育逐漸成熟,國內企業的 IT 支出提升,推動著數據庫行業迎來發展機遇。但是國內廠商眾多、技術路線分散導致數據庫市場嚴重內卷,對于客戶來說也會出現難以選擇廠商的問題。預計未來 5-10 年,我國數據庫市場將會產生激烈競爭,最終可能突圍留下技術成熟度高、安全可控、生態布局完善的少數幾家頭部企業,其它更多的數據庫企業將會逐漸融入到頭部企業生態圈,實現良性循環發展
34、。19三、國產數據庫發展狀況國產數據庫在過去三十多年里一直處于追趕狀態,經過最近十年的細心打磨沉淀,國產數據庫已經取得了顯著進步,涌現出了一批較為成熟的國產數據庫產品,并與國外數據庫產品形成競爭態勢,國產數據庫市場規模也呈現出快速增長的趨勢。(一)發展現狀數據庫是數字基礎設施的根技術,在數據庫發展的歷史進程中,前五十年數據庫世界的主角都是美國科技廠商。自 2000年以來,我國開始陸續出現商業數據庫廠商,特別是國產數據庫軟件在過去幾年中快速成長,呈現出持續向好的發展勢頭。?國產數據庫軟件注重技術創新,國產數據庫開發不斷引入最新的技術和算法,提高數據庫的性能和功能。例如,一些國產數據庫產品采用了列
35、存儲、分布式架構、內存計算、存算分離、軟硬協同等先進技術,以滿足大數據、實時分析等新興應用需求。?國產數據庫不斷添加新功能和特性,以滿足不同行業和用戶的需求。國產數據庫軟件除了基本的 SQL 支持,還具備數據處理和分析功能。?國產數據庫在商業化方面也有了積極的進展。一些公司提供了商業許可證的產品版本,并提供了技術支持、培訓和咨詢等服務,以滿足企業用戶的需求。?國產數據庫中的一些產品越來越20重視開源模式,吸引了大量的社區貢獻者和用戶參與,形成了活躍的開發和生態系統。如華為公司開發的 openGauss 企業級開源關系數據庫,受到業內的廣泛關注和使用??傮w來看,隨著國家不斷提高對信息安全和自主可
36、控的重視程度,在國家政策的驅動下,國內數據庫企業更加重視自主研發創新能力,相繼推出了眾多具有自主知識產權、性能完備的數據庫產品,在國內數據庫市場已經占據了一席之地。(二)市場規模隨著數字經濟的興起,各領域數字化轉型深入推進,千行百業對數據庫的應用需求顯著增加,促進了我國數據庫市場的繁榮發展。根據中國軟協市場調查數據顯示,2022 年我國數據庫市場規模約 364.5 億元,其中國產數據庫市場規模約 27.4 億元,占比為 7.5%。中國軟協預測 2023-2025 年我國數據庫市場將保持高速增長態勢,年平均增速為 35%,預計 2025 年市場規模有望達到 900 億元。21364.5492.1
37、664.3896.8020040060080010002022?2023E2024E2025E?(三)國產數據庫主要廠商產品分析據不完全統計,國內現有數據庫企業數量超過 250 家,數據庫產品種類超過 280 個,本文選取了具有行業代表性的 10家企業進行重點分析。?221.達夢數據庫武漢達夢數據庫股份有限公司成立于 2000 年,是國內領先的數據庫產品開發服務商,國內數據庫基礎軟件產業發展的關鍵推動者。公司為客戶提供各類數據庫軟件及集群軟件、云計算與大數據等一系列數據庫產品及相關技術服務,致力于成為國際頂尖的全棧數據產品及解決方案提供商。達夢公司擁有數據管理與數據分析領域的核心前沿技術,擁有
38、主要產品全部核心源代碼的自主知識產權。主 要 產 品:DM8、DMDPC、GDMBASE、DMCDM、啟云數據庫等。主要應用領域:服務于包括建設銀行、中國人保、國家電網、中國航信、中國移動、中國煙草等在內的知名用戶,成功應用于金融、能源、航空、通信、政府、醫療、教育等多個領域。2.南大通用天津南大通用數據技術股份有限公司成立于 2004 年,自成立以來始終堅持自主創新,產品的核心技術及底層代碼自主可控,構建了覆蓋數據管理全生命周期,包括分析型、事務型、分布式事務型、云原生數據倉庫等全技術棧的數據產品體系及服務解決方案,在國內數據庫市場具有較高的品牌知名度。主要產品:GBase 8a、GBase
39、 8s、GBase 8c、GBase XDM、GBase 8d 等。主要應用領域:南大通用自主研發的 GBase 系列數據庫產品及服務范圍覆蓋海外 34 個國家,全國 32 個省級行政區域,23為金融、電信、政務、能源、交通等百余個行業上萬家用戶提供產品和服務,目前已建立節點超過 35000 個,管理數據總量超過 400PB。3.神舟通用天津神舟通用數據技術有限公司隸屬于中國航天科技集團,是北京神舟航天軟件技術股份有限公司控股子公司,是國內從事數據庫、數據挖掘分析產品研發的專業公司,是國內最具影響力的基礎軟件企業之一。神舟通用公司獲得了國家核高基科技重大專項重點支持,是核高基專項的牽頭承擔單位
40、。主要產品:神通關系型數據庫、神通 KStore 海量數據管理系統等。主要應用領域:神通數據庫已經廣泛應用于政府、軍隊、軍工、金融、電信、航天、郵政、能源、互聯網、交通運輸、制造業、教育、煙草、稅務、審計等各個領域的涉密信息系統和信息系統安全等級要求較高的核心信息系統等領域。在國民經濟支柱行業,尤其是對于具有自主可信需求的領域,神通數據庫也為其提供了可靠的數據存儲管理支持。4.人大金倉北京人大金倉信息技術股份有限公司成立于 1999 年,是較早成立的擁有自主知識產權的國產數據庫企業,也是中國電子科技集團成員企業。公司專注數據庫領域 20 余載,具備出色的數據庫產品研發及服務能力。曾先后承擔國家
41、“863”、24電子發展基金、信息安全專項、國家重點研發計劃、“核高基”等重大課題研究。主要產品:KES、KADB、KFS 等。主要應用領域:人大金倉具備國內先進的數據庫產品、服務及解決方案體系,廣泛服務于電子政務、國防軍工、能源、金融、電信等 60 余個重點行業和關鍵領域,累計裝機部署超百萬套。2022 年,金倉數據庫管理系統 KES 入選國務院國資委發布十項國有企業數字技術典型成果。5.華為公司華為公司是全球領先的數字基礎設施和智能終端服務商。openGauss 是華為公司自主研發的一款全面友好開放,攜手伙伴共同打造的企業級開源關系型數據庫。openGauss 提供面向多核架構的極致性能、
42、全鏈路的業務、數據安全、基于 AI 的調優和高效運維的能力。openGauss 深度融合華為在數據庫領域多年的研發經驗,結合企業級場景需求,持續構建競爭力特性。主要產品:openGauss、GaussDB 等。主要應用領域:華為數據庫產品廣泛應用于loT、電子商務、電子政務、移動游戲、金融保險、互聯網、工業制造、智慧城市、智能家居、車聯網等行業領域。6.阿里云阿里云是全球領先的云計算及人工智能科技公司,為 200多個國家和地區的企業、開發者和政府機構提供服務。阿里云25擁有強大且豐富的云數據庫產品家族,涵蓋關系型數據庫、非關系型數據庫、數據倉庫、數據庫生態工具四大版塊,可以為企業數據生產和集成
43、、實時處理、分析與發現、開發與管理提供全鏈路生命周期的服務。主要產品:PolarDB、RDS 等。主要應用領域:阿里云數據庫已經應用于多個行業,支持電商、金融、游戲、媒體、人工智能、物聯網等多種場景,為數據處理、存儲和管理提供多種解決方案,滿足不同業務的需求。7.騰訊云騰訊云是騰訊旗下云計算服務公司,提供全球領先的云計算、大數據、人工智能等技術產品與服務。騰訊云數據庫為企業提供完善的關系型數據庫、非關系型數據庫、分析型數據庫和數據庫生態工具。用戶可以通過產品選擇和組合搭建,實現高可靠、高可用性、高性能等數據庫需求。主要產品:TDSQL-C、TencentDB for MySQL、TDSQL f
44、or PostgreSQL、TencentDB for Redis 等。主要應用領域:騰訊云數據庫服務超過 2000+的金融政企,行業覆蓋銀行、保險、證券、政務、互聯網金融等各個領域。其中,TDSQL 目前已成功打造粵省事、深圳地鐵、中國銀行、富途證券、閱文集團、游族網絡、騰訊游戲等多個項目方案。8.平凱星辰北京平凱星辰科技發展有限公司(PingCAP)是業界領先的企業級開源分布式數據庫企業,提供開源分布式數據庫產品、26解決方案與咨詢、技術支持與培訓認證服務,致力于為全球行業用戶提供穩定高效、安全可靠、開放兼容的新型數據服務平臺,解放企業生產力,加速企業數字化轉型升級。主要產品:TiDB。主
45、要應用領域:TiDB 在全球已擁有超過 3000 家企業級用戶,其中海外用戶超過 1000 家,覆蓋美國、法國、挪威、愛沙尼亞、日本、澳大利亞、新西蘭、新加坡、印度、越南、秘魯等國家和地區,涉及政府、金融、電信、能源、制造業、教育、信息安全、互聯網、物流等各個行業,產品用戶數在國內處于領先位置。其中,TiDB 在金融、電信、互聯網、物流、高端制造業等對數據庫要求較高的領域廣受歡迎。9.云和恩墨云和恩墨(北京)信息技術有限公司創立于 2011 年,是中國領先的數據庫系統軟件提供商,在數據管理、承載、加工和應用領域為各個組織提供可信賴的產品、服務和解決方案。云和恩墨以數據庫為核心,向下提供數據庫一
46、體機平臺、向上提供數據庫云管平臺,形成了端到端的數據庫解決方案。此外,公司打造的墨天輪社區已成為國內最大的數據庫生態社區。主要產品:MogDB、Uqbar、zCloud、zData 等。主要應用領域:云和恩墨累計直接服務金融、保險、通信、能源、政務、制造、交通、醫療、商貿 8 大關鍵行業的 1000多家企業級客戶,特別是在電信、金融等領域擁有廣泛的成功案例。2710.海量數據北京海量數據技術股份有限公司成立于 2007 年,是國內以數據庫為主營業務的上海主板上市公司。海量數據始終堅持自主技術研發和創新,擁有北京、杭州、廣州三大研發基地,團隊技術人員占比超過 65%。主要產品:Vastbase
47、G100、Vastbase E100、AtlasDB 等。主要應用領域:海量數據庫可支持絕大部分業務應用場景、開發環境和 IT 架構,目前廣泛應用于政務、制造、金融、通信、能源、交通、國防、軍工、醫療、教育等多個重點行業。特別是在制造行業的細分領域中擁有較高的市場占有率。(四)國產數據庫在重點行業應用分析近幾年以來,國產數據庫在技術創新、市場競爭和用戶認可度等方面取得了顯著進步,國產 OLAP 和非關系型數據庫逐漸成為國內眾多企業和機構的首選數據庫解決方案,并且在黨政軍、金融、電信、能源、電力、醫療、教育、交通、公共事業等領域和關鍵行業取得了重要應用成就。同時,一些國產數據庫廠商開始瞄準走向國
48、際市場,積極主動地參與到全球競爭中。通過技術創新、合作伙伴關系和市場營銷等多種方式,爭取更多的國際用戶和業務機會,提升在全球數據庫市場的競爭力。分行業來看,金融、電信、政府、制造、交通五大行業占據數據庫服務市場的份額超過 85%。各行業的數據庫服務市場份額比例分別為金融 24.3%、電信 19.6%、政府 17.2%、制造15.3%、交通 9.8%。2824.3%19.6%17.2%15.3%9.8%13.8%?未來幾年,隨著我國在基礎軟件研究領域的不斷進步,國產數據庫技術將會在更多的行業領域發揮關鍵性作用,支撐千行百業實現數字化變革和高質量發展。(五)國產數據庫廠商積極布局生態建設數據庫作為
49、基礎軟件,需要完成芯片、服務器、操作系統、中間件的適配工作,ISV、集成商、二次開發商、IT 咨詢公司都是數據庫廠商生態伙伴體系中的重要參與者?,F階段,企業自建生態難度較大,兼容生態成為主要選擇。生態伙伴賦能企業不僅能夠快速實現業務擴張,還能最大程度地減少成本支出,使得企業能將有限的人員和資金投入到核心技術和核心產品研發中。?29隨著國產數據庫技術的快速進步,同時借助生態鏈的構建和逐步完善,國產數據庫企業不斷發力、崛起,涌現出了一批極具創新力的優秀產品,極大地推動了國產數據庫應用的遍地開花。華為 openGauss、阿里云 PolarDB for PostgreSQL、PingCAP TiDB
50、 等開源社區的發展駛入快車道,開源模式正在重塑國產數據庫生態新格局,也成為未來數據庫領域發展的重要驅動力。專欄 8:國產數據庫公司發展的戰略重點在于生態擴展做數據庫一定要重視生態建設,自從 X86 替換小型機,DB2 的市場份額逐漸下降;軟硬件分離的趨勢,導致 Intel+微軟的操作系統得以普遍應用,在此生態下才有 Oracle、MySQL 發展壯大的機會。合作伙伴生態是 Oracle 早期占領中國市場的核心要素之一,早期Oracle 中國區 90%以上收入來自 2000 多個合作伙伴。30四、主流數據庫技術發展分析數據模型決定了數據庫的邏輯結構以及數據的存儲、組織和操作方式,是數據庫的核心要
51、素,數據模型的變遷史是數據庫技術架構升級的主線。關系型和非關系型數據庫是業界使用最多最普遍的主流分類方式,故本文主要從數據結構分類的角度對數據庫技術的發展進行深入分析。(一)關系型數據庫1.技術特點關系型數據庫具備 ACID1特性,是常見的主流數據庫類型。關系型數據庫在維護數據庫完整性、數據一致性方面優勢突出,適用于對數據安全性及事務支持要求較高的應用場景。1)可擴展性能良好。關系型數據庫可以輕松地進行垂直和水平擴展,包括添加更多的 CPU、內存、磁盤等。同時,關系型數據庫還支持分區,可以將數據庫水平分成多個部分,從而實現更高的吞吐量。2)兼容性出色。由于SQL是關系型數據庫的核心查詢語言,因
52、此基于 SQL 的關系型數據庫可以無縫地與其他數據庫軟件(如 BI 報表、ETL 工具等)集成。這樣,用戶可以將數據頻繁地從一個環境轉移到另一個環境,同時也方便了開發人員在多個數據庫之間進行操作和查詢。?313)成熟和穩定性高。關系型數據庫走過了 40 多年的發展和完善過程,已經變得越來越成熟和穩定。與數據庫配套的相關軟件和工具逐漸趨于完善,有大量的模板和文檔可供使用,同時也有一個龐大和信息充沛的社區來維護、支持。4)數據一致性和可靠性好。關系型數據庫支持事務,可以在多個操作之間創建可回滾的模式,同時也支持記錄鎖和表鎖,這使得關系型數據庫在保證數據的一致性和可靠性時更加出色。2.主流產品市場上
53、主流的關系型數據庫包括 Oracle、MySQL、IBM DB2、Amazon RDS、Microsoft SQL Server、Microsoft Access、PostgreSQL 等多個產品種類,每種數據庫的語法、功能和特性也各具特色。3.發展趨勢關系型數據庫仍然在許多方面具有非常重要的功能作用,尤其是在企業應用場景中,關系型數據庫是最流行的解決方案之一。未來,隨著產生的數據量的不斷增長和數據流程的加速,關系型數據庫的優越性將得到更加充分的體現。同時,關系型數據庫也將繼續不斷地適應新的技術和需求,保持持續發展和創新。(二)非關系型數據庫1.技術特點區別于關系型數據庫,NoSQL 數據庫遵
54、守 BASE2模型。?32NoSQL 數據庫具有易擴展、大數據量、高性能、靈活和高可用的特點。1)易擴展。NoSQL 數據庫種類繁多,但都有一個共同的特點,即不具有關系數據庫的關系型特性。數據之間無關系,這樣就非常容易擴展。無形之間,在架構的層面上帶來了可擴展的能力。2)大數據量、高性能。NoSQL 數據庫都具有非常高的讀寫性能,尤其在大數據量下,同樣表現優秀。這得益于它的無關系性,數據庫的結構簡單。一般 MySQL 使用 Query Cache。NoSQL 數據庫的 Cache 是記錄級的,是一種細粒度的 Cache,所以 NoSQL 數據庫在這個層面上來說性能就要高很多。3)數據類型靈活。
55、NoSQL 數據庫無須事先為要存儲的數據建立字段,隨時可以存儲自定義的數據格式。4)高可用。NoSQL 數據庫在不太影響性能的情況下,就可以方便地實現高可用的架構。比如 Cassandra、HBase 模型,通過復制模型也能實現高可用。2.主流產品市場上常見的 NoSQL 數據庫包括鍵值型數據庫、列族數據庫、文檔數據庫、圖數據庫、時序數據庫、空間數據庫等。1)鍵值型數據庫:適用于內容緩存,如會話、配置文件、參數等。其擴展性高,靈活性好,大量操作時性能高,但數據無結構化,查詢方法單一。典型產品:MemcacheDB、Berkeley DB、Redis、Apache Ignite、Riak 等。3
56、32)列族數據庫:適用于分布式數據存儲與管理,將同一列數據存在一起,可擴展性強,查找速度快,復雜性低,但功能局限。典型產品:Hbase、Cassandra、Hypertable 等。3)文檔數據庫:適用于存儲文檔數據,數據結構靈活,但缺乏統一查詢語法。典型產品:MongoDB、Apache CouchDB、ArangoDB、Couchbase、Cosmos DB、IBM Domino、MarkLogic、OrientDB 等。4)圖數據庫:適用于圖像數據、社交網絡、推薦系統,專注構建關系圖譜,支持復雜的圖形算法,但只能支持一定的數據規模。典型產品:Neo4J、FlockDB、AllegroGr
57、aph 等。5)時序數據庫:為包含個體、時間、狀態信息的實時流數據進行存儲、檢索和管理數據庫,適合于物聯網、性能監控服 務。典 型 產 品:?、Kdb+、Prometheus、Graphite、TimescaleDB、阿里云 TSDB 等。6)空間數據庫:針對二維或多維的空間數據進行存儲和管理的數據庫,適合于地圖服務和時空分析場景。典型產品:Oracle Spatial、PostGIS、Microsoft SQL Server Spatial 等。3.發展趨勢NoSQL 數據庫擴展性好,儲存模式簡單,查詢速度更快。隨著云計算的發展和大數據時代的到來,關系型數據庫越來越無法滿足行業發展需要,No
58、SQL 數據庫將成為云時代數據庫領域的重要增長引擎。34?預定義的模式沒有預定義的模式?結構化查詢語言(SQL)沒有聲明性查詢語言?嚴格的一致性最終一致性?支持不支持?ACIDCAP,BASE?縱向擴展橫向擴展(分布式)(三)數據庫技術架構演進數據庫隨底層 IT 架構、數據特征、企業需求等因素的變化及發展而呈現出漸進式的演進特征,涌現出新的數據模型、產品架構、負載需求以及部署方式,數據模型變遷、分析型需求崛起、分布式架構的演進以及開源模式的流行等要素對推動數據庫架構的不斷革新產生重要影響。?數據模型作為數據描述的主要手段,是連接真實世界和邏輯世界的橋梁,數據模型的演進是貫穿整個技術架構升級的主
59、線,帶來了從層次、網狀、關系型,再到 NoSQL、NewSQL 的變遷。?伴隨著數據庫在各行業領域的逐漸滲透,場景應用累積的大量數據僅靠原來的業務支持系統已經無法完成信息價值的提取,因此,面向分析需求的OLAP技術路徑從OLTP中獨立出來,并預示著大數據時代的到來。?35?從 Scale Up 到 Scale out,分布式架構的誕生使得數據庫得以實現橫向擴容以及更好的并行處理能力。隨著技術的不斷發展和應用場景的不斷豐富、變化,分布式架構也在不斷進行演進和完善,未來可能向智能化、自動化及可信任的分布式架構演進。?開源作為一種高效開放共享的軟件開發組織模式,從MySQL 到 PostgreSQL
60、,開源生態圈的加速建立也在技術浪潮中影響著數據庫廠家技術路線的選擇。?數據庫面臨著技術收斂與新興技術潮流下的分化發展考驗。一方面,經歷幾十年的發展,數據庫技術不斷分化、豐富,然而隨著企業數字化進程的推進,部署多套系統帶來了數據一致性與運維管理等方面的挑戰,因此出現了技術收斂的趨勢,對應多模、數據湖倉等發展方向。另一方面,數據庫持續與新興的 IT 技術結合以進一步提升性能,主要對應原生分布式、云數據庫、智能自治、結合新硬件等發展方向。36五、國產數據庫發展面臨的形勢、問題及機遇(一)面臨的主要形勢?當前我國數字經濟的發展逐步走向深化應用、規模發展、普惠共享的新階段,需要逐步擺脫對國外根技術的嚴重
61、依賴,以確保我國的產業升級不受制于人,數據庫是需要重點關注的基礎軟件根技術領域。專欄 9:甲骨文數據庫斷供俄羅斯啟示長期以來,全球流行的 Oracle、SQL Server、DB2 等數據庫全部都被美國所掌握。隨著俄烏戰爭的爆發,美國眾多企業也開始配合美國政府的行動,對俄羅斯進行制裁。截至 2023 年 11 月,陸續已有百余家歐美企業對俄羅斯進行制裁,或暫停在俄羅斯的業務,或退出俄羅斯市場。美國最大的數據庫公司甲骨文也對俄羅斯進行制裁,暫停在俄羅斯的一切業務,這給俄羅斯銀行、能源等領域造成了較大的影響。啟示:在當前國際貿易摩擦加劇、國際局勢多變的情況下,數據庫軟件作為最重要的 IT 基礎設施
62、之一,我國必須做好防范,要加快實現數據庫國產化和自主可控。?從 2016 年信創概念被首次提出,到 2020 年信創運動的逐漸興起,再到 2022 年逐步深化發展,數據庫等核心基礎軟件產品,在相關政策的驅動下,逐漸從“能用”向“好用”轉變。37國產數據庫廠商獲得產品應用以迭代升級的機會,有望加速進步。黨政、金融、電信、石油、電力、交通等行業出臺相關政策,將推動其他關聯行業國產化替代進程。專欄 10:數據庫為什么實現國產化國家戰略高度:數據庫是信息化建設的基礎設施之一,國家需要加強對數據庫軟件的自主研發和掌控,以保障國家信息化建設的安全和可持續發展。技術革新驅動:國產數據庫軟件的研發和生產可以促
63、進國內技術的與時俱進,進一步提高國內企業的競爭力。數據安全形勢:關鍵行業的數據涉及到國家安全和經濟安全,如果使用國外數據庫軟件,可能會存在數據泄露和被竊取的風險。自主可控需要:使用國產數據庫軟件可以保證數據的自主可控,避免因為技術原因無法對數據進行有效管理和控制。?根據調查數據統計,排名前五的國產數據庫廠商的市場份額從 2018 年的 27.1%上升到 2022 年的 55.4%;而前五名國際廠商的市場份額則從 2018 年的 57.3%下降到 2022 年的 27.3%。國產數據庫產品與國際廠商展開競爭與替代,已經越來越廣泛地被使用到關鍵行業和企業核心系統中,特別是在分布式、云原生、HTAP
64、 等增量數據庫市場,本土數據庫品牌的優勢也愈發明顯。2023 年隨著疫情管控的放開,國內關系型數據庫市場格局正在重塑,數據庫廠商的業務開展加速步入正軌,企業數據庫建設項目廣泛開展,基于構建市場新格局角度,2024 年將是國產數據庫實現突破的關鍵轉折之年。38(二)存在的主要問題我國是全球數據體量最大,應用類型最豐富的國家之一。各種新業態、新場景正在國內蓬勃涌現,龐大的數據要素市場亟待釋放。數據庫產業作為數據價值的載體,當前還存在市場碎片化、技術創新迭代滯后、產業生態不健全等問題。1.產品種類繁多,競爭能力不足我國國產數據庫市場存在嚴重的碎片化現象,雖然廠商數量眾多,但“小、散、弱”的問題十分突
65、出,無法形成對國外數據庫巨頭的競爭優勢。據統計,我國數據庫廠商數量已超過250 家,國產數據庫產品超過 300 種。而大多數廠商的數據庫產品都是來自于開源項目,這些企業研發的數據庫產品缺乏核心技術,在國內數據庫市場競爭力較弱,發展空間比較有限。2.技術基礎薄弱,專業人才匱乏數據庫技術門檻高、研發周期長、工程要求高,做出一款好的數據庫產品需要大量的專業技術人才長期進行研發。但由于國產數據庫的研發歷史較短,技術成熟度欠缺,與國外產品相比還存在許多缺陷和差距。同時,經過調研發現國內數據庫研發人才儲備比較匱乏,研發人數占比過低,超過 60%的廠商研發人員不足百人,跟國際主流數據庫廠商對比差距明顯。專業
66、人才儲備不足,嚴重制約了數據庫技術的研發和創新,導致產品市場競爭力不足。3.安全性能存憂,用戶使用存慮國內目前很多代碼自主化率并不高,大部分國產數據庫都39是在現有的開源基礎上進行修改,這就導致自主性較低,發展空間受限。開源代碼的根社區位于海外,如果歐美對我國科技產業進行限制打壓,開源數據庫產品的安全性勢必受到嚴重威脅。特別是央國企用戶對于替代使用國產數據庫普遍存在擔憂,怕擔責任而不想也不敢嘗試選擇使用國產數據庫產品。在進行數據庫遷移時也面臨配套工具不完善、數據庫不穩定等難題,一般來說,一家企業完成數據庫的國產替代需要花上 2-3 年的時間,在這過程中需要評估改造難度。專欄 11:以 MySQ
67、L 構建的數據庫生態存在安全風險國內有大量的 MySQL 部署和基于 MySQL 提供運維服務的商業公司。但是,使用國外開源數據庫面臨風險,特別是 MySQL 所采用的 GPL 協議無法做到自主可控。MySQL 使用的 GPL v2 協議具有傳染性,基于開源 MySQL 以及二次開發的國產數據庫也必須開源和免費。GPLv2 協議規定任何修改或基于 GPL 軟件二次開發的代碼都要履行開源義務,使用不慎很容易導致私有代碼被動開源。此外,美國商務部工業和安全局(BIS)發布的信息安全控制:網絡安全物項,就美國實體對相關國家及地區分享網絡安全漏洞設立許可申請,限制中國等獲得網絡安全漏洞的能力。這意味著
68、國內企業獲取 MySQL 安全漏洞需要向美國申請,不能及時獲取 MySQL 安全漏洞,存在數據庫生態安全風險。4.產品標準各異,缺乏行業標準國內數據庫發展正處在百花齊放、百家爭鳴階段,市場上出現了不同的架構、不同的技術路線、不同的編程接口。由于各家公司的數據庫產品標準各異,導致系統與系統之間產生兼容性問題,基于對維護國產數據庫市場的長期穩定發展的考量,40國產數據庫行業亟需制定規范統一的行業標準規范。5.產業資源分散,生態建設滯后國產數據庫廠商普遍缺乏對產品的長遠發展藍圖和規劃,沒有清晰的產品路線圖,也未建立起長期持續發展的機制。由于當前國內數據庫產業研發缺乏明確的分工,各廠商將有限的研發人才
69、投入到數據庫技術堆棧的各個領域,導致各個數據庫廠商在研發過程中重復研發全棧技術,造成了大量的人力資源浪費。數據庫系統生態建設需要研發針對新應用場景的評測方法和工具,需要構建多方積極參與、密切互動、持續成長的社區,需要培育包括用戶、產業鏈廠商、研發梯隊的社區隊伍。國產數據庫系統廠商起步相對較晚,發展時間較短,做好生態建設也是難點問題。(三)發展機遇數據庫是數字經濟高質量發展的基礎設施,保障數據庫行業健康發展,對于促進數字經濟發展與實體經濟深度融合具有重要的底層支撐作用。1.利好政策出臺釋放巨大紅利 近年來,國家十分重視國產數據庫產業發展,圍繞信息技術、政務民生、金融、交通物流、工業制造、農業農村
70、、氣象、知識產權等多個領域相繼出臺了專門的支持政策。借助政策東風,國產數據庫廠商奮發有為,市場版圖快速擴張。另外,作為信創領域基礎軟件的重要組成部分,數據庫的國產化替代也41在加速進行中,GaussDB、PolarDB、DM8、GBase、TiDB 等數據庫產品是近年來備受關注的一批國產數據庫產品,在各自的領域和場景下都有著廣泛的應用。2.數字化激發數據庫市場潛力近年來,隨著數字經濟的蓬勃發展和數字化轉型的深入推進,各行各業數字化轉型對國產數據庫的需求顯著增加,產業生態也在逐步建立和完善布局,行業發展基礎已初步搭建完成,市場環境的變動也給國產數據庫廠商帶來了諸多利好,國產數據庫的應用領域范圍和
71、市場份額有望隨之進一步擴大,未來增長空間值得期待。3.數據庫國產化替代空間巨大很長一段時間以來,海外數據庫廠商在我國占據了絕大部分的市場份額。伴隨著我國數字經濟占比的逐年提高、數字基礎設施規模能級的大幅提升、數據資源體系的加快構建,各行各業對數字信息安全的重視程度不斷提高,國產化的替代意愿正在增強。同時國產數據庫產品在價格、性能、功能等方面都取得長足進步,基本具備了與國外產品同臺競爭的能力,應用領域也不再限于黨政、金融領域,開始廣泛拓展到電信、交通等諸多新場景、新消費、新服務領域,行業發展基礎已初具規模,國產數據庫市場有望迎來新的發展窗口。4.行業技術實力積累整體增強在 2013 年之前,我國
72、大多數公司主要使用美國企業的數據庫工具,其他國產數據庫也受到外國相關技術的支撐。近年42來,隨著互聯網的興起和快速發展,多種類型的數據呈爆發式增長,各種創新業務場景層出不窮,進而促進了供給端廠商技術和產品架構的持續創新。以華為公司為代表的一批國產數據庫廠商,重視基礎研究與根技術的創新投入,堅持自主獨立研發,擁有對關鍵基礎設施行業應用的技術和人才儲備,國產數據庫廠商的整體技術實力得到了顯著提升。43六、國產數據庫發展基本判斷(一)國產數據庫技術路線收斂勢在必行通過對行業用戶、數據庫廠商、專家學者的深入調研,結合對國內外操作系統發展進程的對比研究分析,我們認為,在當前錯綜復雜的國際形勢下,資源過度
73、分散、無效內耗競爭是國產數據庫難以與國外數據庫競爭、大規模應用的重要原因?,F階段有必要集中國家力量、集合行業資源,重點支持少數幾家國內領先的數據庫根社區推動技術收斂,短期內快速推進國產化替代、強化生態建設,持續推動中國標準和產業鏈出海參與全球競爭。(二)國產數據庫廠商應重視用戶的需求現階段很多客戶使用的數據庫還是以國外產品為主,換用國產數據庫產品則會面臨各種遷移和兼容性問題,客戶在進行應用遷移時普遍不愿花費額外的財力、人力進行應用改造,只想實現簡單便捷的無縫遷移,以減少數據遷移和運維成本??蛻魣鼍岸藭r效性要求倒逼數據庫廠商不斷提升產品兼容性能,提供異構數據庫的平滑遷移工具或者解決方案。(三)存
74、算分離+多讀多寫成為發展新趨勢隨著數字化轉型的深入,很多行業用戶存在著大量云與互聯網業務場景,業務形態逐漸變化,業務動態性增強,這對基礎設施資源的靈活性和利用率提出了更高要求。在業務場景、硬件技術快速發展等多重因素的驅動下,國產數據廠商正逐步44解決當前存算一體架構存在的問題。因此,新型存算分離架構正在迅速興起,未來2-3年有望成為基礎設施領域新的關注點,一些國產數據庫廠商將在這一領域進行優化探索,數據庫由“存算一體”向“存算分離”、由一寫多讀向多讀多寫架構演進。(四)開源是國產數據庫發展的有效路徑開源是當今基礎軟件在全球范圍內取得成功的最優路徑,開源軟件商業化能力得到市場的正向反饋,因此開源
75、將成為國產數據庫廠商吸引用戶、盤活生態和促進技術發展的重要手段。通過將底層技術開源,可以吸引更多專業人員加入開發、測試、維護,這不僅可以降低廠商售后和服務的成本,還可以進一步提高數據庫軟件的質量,同時有利于構建生態。華為公司的 openGauss 有望成為國內主流的數據庫技術路線之一,基于openGauss 的商業版公司有望脫穎而出。45七、建立以 openGauss 為代表的國產數據庫體系(一)內核創新研究,打造堅實數據底座openGauss 是華為公司全球 11 個研究所的上千名數據庫專家研究開發的一款數據庫產品,采用技術自立、發展獨立、長期演進的技術路線。openGauss 圍繞內核高性
76、能、高安全、高可用、高智能四大競爭力,構筑領先的企業級開源數據庫。1)高性能:基于 NUMA-Aware 架構優化,多版本并發控制等技術大幅提升單機性能;自研 In-place Update 引擎,采用原位更新和 Undo 空間統一分配機制,節約空間利用率。2)高可用:多層次可用性設計,提供同 AZ 內 RTO10s的業務恢復能力;引入 Paxos 分布式一致性協議,實現多地多中心的高可用能力;采用并行流水線解碼技術,支撐基于openGauss 的單元化多活容災架構業界領先。3)高安全:率先在開源數據庫中提供可商用的全密態能力,實現一次加密,全程保密,對敏感數據提供強大的保護;實現庫內原生區塊
77、鏈算法和多方共識技術,對于數據修改可追溯,防抵賴,實現數據真實可信。4)高智能:提供原生 AI 能力,DBMind 為系統性能調優、故障預測、系統運維提供高效助力;基于 AI 的優化器 ABO實現智能基數估計,貝葉斯網絡算法大幅提升多列基數估計準確度;DB4AI 內置幾十種常見的 ML 算法和模型,并通過SQL 語法對外提供 AI 能力,使用戶無障礙獲得 AI 訓練和推46理能力,實現會 SQL 就會用 AI。(二)聯合產業資源,共建資源池化架構數據庫組件化架構標準已經成為業界的普遍共識。openGauss推出了基于資源池化架構的數據庫組件 DataPod,為數據庫組件化架構標準提供了一個全棧
78、優化、軟硬協同的參考實現。?資源池化架構由計算池化層、內存池化層、存儲池化層組成,資源池化架構每層的功能劃分如下:1)存儲池化:對應組件化架構標準的存儲層,支持多種存儲,如分布式存儲、企業存儲、對象存儲,實現一份數據服務于多種計算。通過高效裸設備訪問,元數據共享,實現數據庫原生的文件系統;通過 SQL 算子卸載的 NDP 技術,大幅提升了 SQL 處理效率、消減網絡 I/O 流量。472)內存池化:對應組件化架構標準的存儲引擎,實現計算節點間內存的互聯,通過同步事務信息和數據庫緩存,實現多節點下的多版本快照一致性讀能力,結合 RoCE 和 SCM 等硬件,實現極致的 Commit 加速和大容量
79、內存訪問等能力。3)計算池化:對應組件化架構標準的執行引擎和分發引擎,支持多樣性算力,基于 X86、鯤鵬等算力,為應用提供 TP 行存加速、AP 列存加速、AI 訓練推理、向量數據庫等全方位的數據服務,實現多模融合,使用最佳的引擎滿足不同業務處理訴求。同時,openGauss 推出數據全生命周期管理工具 DataKit,實現包括資源管理、安裝部署、數據建模、數據遷移、數據開發、智能運維的全場景數據管理功能。openGauss DataPod 和openGauss DataKit 為組件化架構標準提供了參考實現,通過軟硬協同、全棧優化,全新打造了一個高性能、高可靠、高安全的數智融合處理平臺。(三
80、)滿足行業訴求,打造關基行業標桿openGauss 聚焦核心場景與客戶聯合創新,在多行業獲得廣泛商用,目前己累積部署超過 3 萬套。其中 2022 年部署超過 2 萬套,占非云新增市場的 10%。在金融行業,中國郵政儲蓄銀行、民生銀行都已經在核心系統中規模商用。在電信行業,中國移動不但選擇使用 openGauss 數據庫,實現分鐘級割接,整體性能倍增,同時還基于 openGauss 社區版做了更多的創新。48專欄 12:openGauss 典型場景應用案例2019 年底,郵儲銀行立項開始新核心建設,并在 2020 年中選型openGauss,通過 3 年的開發與建設,于 2022 年實現原舊核
81、心業務和用戶全量平滑遷移到基于 openGauss 的新核心上,這是全球首家大型商業銀行中,基于通用硬件和開源數據庫開發的個人核心交易系統。新核心建成后,有效支撐了 6.5 億用戶,18 億帳戶 4 萬個網點。性能與體驗大幅提升,如柜面交易時間下降 50%,而交易記錄查詢從1 年提升到 8 年。(四)打造開源社區,共建技術開發生態openGauss 社區是業界首個既面向 DBV、ISV 等乙方單位,又面向金融、運營商等行業甲方客戶的聯合社區,三大電信運營商、七大頭部銀行、頭部央國企加入社區理事會運作,共建、共享、共治,實現產業鏈合力共建根社區。當前社區用戶吸引貢獻人數超過 5500 人,下載量
82、超過 223萬,395 家單位會員。社區成立 24 個 SIG 組,涵蓋 SQL 引擎、存儲引擎、安全、OM、工具、AI 等數據庫主要模塊。華為公司積極構建起國產數據庫生態,與鯤鵬計算生態形成優勢互補,為國內數據庫產業貢獻力量,推動產業整體向更高水平發展。專欄 13:openGauss 提供三種產品形態,供行業客戶選擇?由行業知名數據庫廠商(DBV)基于openGauss社區版做二次開發,各個 DBV 立足對行業發展的認知和對客戶的理解,把長期積累下來的應用實踐融入自己的發行版中,形成差異化數據庫產品,為行業客戶49提供多樣性選擇。如云和恩墨的 MogDB,海量數據的 Vastbase G10
83、0,神舟通用數據庫 openGauss 版。?對于能力型客戶,需要敏捷支持自身業務的情況,社區會支持客戶基于社區版研發適合自身業務需求的數據庫版本,可以與自身的業務深度融合,更高效支撐業務發展和商業目標達成。如中國移動的CMDB、中國電信的 TeleDB for openGauss 以及中國聯通的 CUDB 都是此種模式的合作成果。?對于只關注數據庫性能、安全、可用性等基礎能力的客戶,如果同時擁有運維團隊和能力,可以選擇完全免費的社區發行版。也可以購買第三方 DBV 的服務,在成本可控的情況下,可以獲得強大的數據庫能力。(五)走進高校課堂,培養專業技術人才openGauss 依托智能基座,聯合
84、教育部輻射全國 2000 所高校,進課堂,進實驗室,成為高校研究創新的新動力,并與產業界合作,高校學生可以選擇進入企業實習,理論與實踐結合,實現產教融合、協同育人。同時 openGauss 已進入教育部的計算機等級考試,讓高校學生不但能學openGauss,還能從官方渠道獲得認證,實現學習、認證、實習端到端打通,擴大學生就業和企業求才的喇叭口,實現三方共贏。openGauss 與中國軟件行業協會深度合作,建立起了一套完整的職業培訓認證體系,從 openGauss 工程師到 openGauss 專家培訓,廣納社會數據庫人才,為企業提供高質量的數據人才輸入。50八、發展對策建議在數字化快速發展的時
85、代,發展國產數據庫離不開政府部門的統籌支持,同時也需要數據庫廠商在技術、市場、生態等方面聯合起來協同推進發展。(一)引導數據庫技術路線收斂提升競爭能力在當前復雜的國際形勢和環境下,為進一步加快國產數據庫快速突圍,改變當前國產數據庫廠商“小、散、亂”的局面,凝聚國內數據庫行業力量的關鍵是“技術收斂”。對數據庫技術路線的支持應當堅持主流少數的原則。要立根鑄魂,重點支持 2-3 個技術路線,遴選較為成熟、創新能力較強、市場占有率較高的國產數據庫產品,從上游根社區開始做技術收斂統一,減少碎片化和低水平重復開發,共同發揮國內各數據庫廠商的技術創新能力,將創新成果持續匯聚在國內數據庫原生根社區,為我國數據
86、庫產業發展增添新動能。(二)強化存算分離+共享存儲標準體系建設新的存算分離數據庫架構已成為趨勢,在此基礎上,政府和行業機構需要統一制定新的標準規范,包括存算分離+共享存儲架構中數據庫與存儲的接口標準,建立業界認可統一的技術規范,統一數據庫廠商、計算及存儲廠商的調用框架,更好地指引數據庫產業鏈發展方向,形成產業合力。(三)出臺專項政策支持首臺套和規?;瘧脭祿煨袠I不能完全依靠市場的無序競爭,更需要政府出51臺指導性、專項政策。國家和地方各級政府要主動牽頭,制定系統完善的落地規劃和免責機制,指導各行業和企業逐步使用國產數據庫,促進行業用戶“愿用、敢用、用好”,通過 3-5年逐步完成國產化遷移替代
87、。同時要建立良好的服務機制,推廣國產數據庫在金融、能源等重點行業的規?;瘧?,然后逐步將國產數據庫拓展應用到更多的領域和場景中,獲取更多的市場份額。(四)強化數據庫技術創新集聚全產業鏈資源技術創新是源動力,國產數據庫要堅持長期穩定的研發投入,不斷進行技術升級,深耕數據庫根技術原始創新,將自主安全可控作為重要目標,真正打造具有自主知識產權、安全可控的數據庫內核根技術和開發工具,具備可獨立演進能力,推出適應時代潮流、更加安全高效、性能穩定的國產數據庫品牌。同時要匯聚上下游產業鏈資源,在國內快速建立起更加專業的技術支撐體系,打造更加完善的數據庫服務工具和解決方案,幫助客戶更好地使用國產數據庫產品。(五)集中支持開源社區加大產業鏈生態建設全力扶持國產開源數據庫發展,提供能夠促使其快速成長的沃土。一是支持以 openGauss 為代表的開源社區發展,使之成為具有國際影響力的數據庫根社區;二是建立健全開源社區運營模式,激勵開發者加入社區,鼓勵數據庫廠商積極參與開源社區共建,貢獻開源力量,凝聚產業力量,構筑面向全球的產業競爭力;三是加大與行業領袖的合作,構建完善的國產數52據庫應用生態;四是充分發揮行業協會的橋梁紐帶作用,促進政府、企業與市場的有效銜接;五是鼓勵國產數據庫企業開拓海外市場,在成熟的歐美市場打造標桿客戶,到東南亞國家布局覆蓋新興市場,擴大國產數據庫在全球的市場份額和影響力。