百易傳媒（DOIT）：2022分布式存儲市場調研報告（30頁）.pdf

1、 百易存儲研究院 中國計算機學會信息存儲專委會中國計算機行業協會信息存儲與安全專委會 DOIT 傳媒 2022 年 4 月 14 日2022分布式存儲市場調研報告一、分布式存儲的定義與分類 1. 定義 2. 分類二、分布式存儲與其他相關技術的關系 1. 與集中式存儲的關系 2. 分布式存儲、軟件定義存儲和云存儲的關系 3. 超融合市場現狀 4. 超融合一體機還是存算分離 ? 5. 從超融合到混合云 ? 6. 純軟件還是軟硬一體機 ? 7. x86 還是專用設備 ? 8. 分布式存儲是否適用于“關鍵業務”應用 ? 9. IPFS 分布式存儲與去中心化 10. 對象存儲的話題三、分布式存儲市場狀況

2、 1. 分布式存儲市場規模 2. 分布式存儲市場英雄榜四、分布式存儲行業典型的應用場景 1. 電信 2. 汽車制造 3. 醫療 4. 基因測序 5. 高性能計算 6. 衛星遙感 7. 高校 8. 金融 10. 交通 11. 證券 12. 智慧城市 13. 基金五、總結P1P3P12P14P28目錄2022 分布式存儲市場調研報告 1一 . 分布式存儲的定義與分類1. 定義分布式存儲發展至今，市場上并沒有一個能夠被廣泛接受并引用的定義。對于分布式存儲，百度百科給出的定義是：為了簡化用戶端的使用，提供了一個分布式緩存系統來提供對此分布式存儲系統的訪問接口以及本地數據緩沖以降低網絡壓力。分布式存儲系

3、統是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。這個定義或者解釋，還非常拗口和難以理解。有幾個地方需要說明和解釋。首先：分布式存儲系統是將數據分散存儲在多臺獨立的設備上，這里的“多臺獨立的設備”，不要理解成為磁盤或者SSD， 可以理解為x86通用服務器、 Power服務器等， 也可以理解為專門設計和優化的專用存儲設

4、備。其中，以 x86 通用服務器最為普遍。為了幫助用戶理解分布式存儲，百易存儲研究院建議用“存儲節點”來代替“多臺獨立的設備”，這里的存儲節點，可以是 x86 服務器（或者稱為存儲服務器、服務器存儲）、Power服務器，也可以是專用存儲設備，甚至使用傳統陣列，其中，最為普遍的還是 x86 通用服務器，其市場較為成熟，非常容易獲得，產品性價比非常具有競爭力。其次，“傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸”的表述中，網絡存儲系統的表述多用于與直連存儲（DAS）的區分，主要突出其能夠通過網絡被多個應用系統共享，網絡存儲系統又可以劃分為：存儲區域網絡（SAN）

5、和網絡連接存儲（NAS），是 SAN、NAS 兩種存儲系統的統稱。 這里所說的“存儲服務器”主要指的是陣列控制器（也稱為機頭）+ 盤陣的設計方式，以往多采用專用集成電路芯片（ASIC）設計控制器，經歷了雙控到多控的變化，控制器與控制器之間采用專用網絡連接，控制器與磁盤之間通過專用后端網絡連接，從而實現了連接的全冗余架構設計，具有非常高的可靠性和穩定性。也因為如此，系統成本居高不下。2022 分布式存儲市場調研報告 2在系統的擴展性上，可以通過盤陣中盤的數量進行調節，系統具有一定的彈性，所謂 Scale Up，也就是縱向擴展，但受制于機頭的性能，整個系統仍然存在性能天花板，用戶只能夠借助入門級存

6、儲、中端存儲、高端存儲的升級來解決問題。根據以上的判斷和理解，百易存儲研究院認為用傳統存儲、傳統陣列或者傳統磁盤陣列的表述更為便于理解。最后，“分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展”的表述中，分布式網絡存儲系統就是我們要說的分布式存儲；可擴展的系統架構更多是指可以通過增加或者刪減存儲節點所帶來的橫向擴展（Scale Out）的架構，存儲系統的性能可以隨著節點的增加或者減少呈現動態變化的特征。這里提到的“位置服務器更好地理解應該是分布式存儲中的全局統一命名空間的元數據管理的部分。

7、通過上述分析，百易存儲研究院認為有關分布式存儲的定義應該關注幾個重要的特征：一是橫向擴展，一通過網絡連接的存儲節點，以及軟件統一調度管理全局統一命名空間的存儲資源池，這應該符合分布式存儲的發展規律。僅僅強調軟件定義，或者x86 通用服務器；強調云的彈性管理的特點，都不能夠完全準確的描述分布式存儲系統，也很難取得市場的廣泛共識。 根據以上的判斷和理解，百易存儲研究院認為用傳統存儲、傳統陣列或者傳統磁盤陣列的表述更為便于理解。最后，“分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展”的表述中，

8、分布式網絡存儲系統就是我們要說的分布式存儲；可擴展的系統架構更多是指可以通過增加或者刪減存儲節點所帶來的橫向擴展（Scale Out）的架構，存儲系統的性能可以隨著節點的增加或者減少呈現動態變化的特征。這里提到的“位置服務器更好地理解應該是分布式存儲中的全局統一命名空間的元數據管理的部分。2. 分類傳統存儲按照功能可以分為 SAN 和 NAS，分別用于塊數據、文件數據的存儲支持。隨著技術的不斷發展和用戶需求的變化，也出現了統一存儲和融合存儲的需求，在存儲系統的設計上，也出現了軟件、硬件分離的設計需求。對于新分布式存儲系統而言，最初設計需求就是替代傳統 SAN 存儲，并用 ServerSAN 以

9、示區分。但是相比于傳統存儲的全冗余連接設計，分布式存儲系統中的存儲節點可靠性相對不高，為此，分布式存儲系統通過多副本、糾刪碼的方式來提升系統的可靠性，為了提升這個存儲系統的性能，分布式存儲系統需要存儲節點配備 SSD，充分利用 SSD 高 IO 的特性。與此同時，分布式存儲橫向擴展的特性，非常適用于海量數據存儲，特別是非結構化的文件系統。一個分布式存儲系統往往同時滿足塊、文件、對象、大數據，以及 CIFS、NFS 等的數據訪問需求。因此，分布式存儲很難按照 SAN、NAS、對象進行分類。對于分布式存儲系統，根據是否對外提供應用計算能力，區分為分布式存儲和超融合。對于超融合系統而言，最主要的技術

10、突破就體現在存儲上，也因為如此，才會把超融合納入到分布式存儲的分類中。在超融合的產品形態上，最初是以一體機的形態呈現，但隨著市場的發展，超融合也提供純存儲的形態，支持將超融合一體機作為單一存儲系統的場景。分布式存儲、超融合也是相互滲透、融合發展的，并沒有嚴格意義上的形態區分，這一點應該引起大家的重視。2022 分布式存儲市場調研報告 3二 . 分布式存儲與其他相關技術的關系1. 與集中式存儲的關系從直連存儲到傳統磁盤陣列，再到分布式存儲的出現，從演進過程來看，傳統磁盤陣列要解決的是直連存儲無法被其他服務器應用共享的問題，傳統磁盤陣列可以被多個應用網絡共享。分布式存儲的出現，主要源于 CPU 算

11、力的提升和 SSD 固態盤的普及，閃存技術使得 IO 性能顯著提升（5 倍左右），這就為基于網絡的分布式存儲創造了條件，如果沒有閃存技術，磁盤 IO 性能是無法滿足分布式存儲的需求。對于用戶來說，事實上就存在著兩種存儲方式的選擇：傳統磁盤陣列后來發展到全閃存陣列，與分布式存儲后來發展到分布式全閃存，兩種存儲形式并存。兩種存儲形式并存無疑增加了用戶選型的復雜性，那么在兩種存儲形式之間，有沒有一個相對側重呢？從應用的角度來看，有穩態和敏態之分，其中，數據庫、ERP 等應用多屬于關鍵業務應用，特別強調可靠性、穩定性，比較吻合傳統存儲陣列的特征；相比互聯網應用大多屬于敏態應用，強調敏捷、彈性，這與分布

12、式存儲橫向擴展的特征比較吻合。按照穩態、敏態來選型存儲的類型，并不是絕對的。分布式存儲也可以使用在數據庫、ERP 等應用場景，提供塊存儲的支持。傳統存儲陣列中，NAS 應用也是針對文件存儲的需要，如今，數據爆炸性增長，主要來自文件等非結構化數據，而分布式存儲橫向擴展的特征，也完全符合這個趨勢。為了提升數據檢索的效率，對象存儲在互聯網行業得到了普遍使用。按照性能、可靠性等指標，也不適于劃分傳統存儲陣列和分布式存儲應用，原因很簡單，無論是 IOPS，還是延遲，都沒有一個適用的指標把二者區別開來。全閃存陣列性能指標，分布式存儲并非不能夠實現?？煽啃苑矫?，傳統存儲陣列的全冗余設計，的確提供了以盤為單位

13、的數據保護，具有很高的可靠性、穩定保障，但是隨著網絡技術的不斷進步，全閃存陣列等高端存儲也摒棄了傳統后端存儲連接的方式，也開始借助以太網、Infiniband 網絡對盤陣進行連接，出現了融合發展的趨勢；另外，分布式存儲也借助多副本、糾刪碼等機制對于數據進行保護，當節點或者單盤出現損壞的時候，可以借助全部節點的計算和存儲的資源，群策群力對數據進行恢復，確保數據的可靠、不丟失，確保系統性能的穩定。2022 分布式存儲市場調研報告 4在傳統存儲陣列、分布式存儲之間并不存在一個清晰、明顯的界線。你中有我，我中有你。2. 分布式存儲，軟件定義存儲和云存儲的關系？日新月異，新技術和概念迭出，這是信息科技（

14、IT）最基本特點，產品供應商為了突出品牌的領導地位，有意無意會選擇一些新的概念。分布式存儲也是如此，有的廠商選擇分布式存儲，也有廠商選擇軟件定義存儲，云廠商對外更愿意使用云存儲，三者之間會有什么不同嗎？我們通過調研問卷獲知了許多網友對問題的看法，從數據統計來看，85% 的用戶選擇了分布式存儲、軟件定義存儲和云存儲在概念上有差別，但是區別不大。85% 受訪者認為：分布式存儲、軟件定義存儲、云存儲在概念上存在差別分布式存儲軟件定義存儲云存儲雙層紙箱常用硬件類似軟硬件分離通常支持支持不支持專用硬件不詳x86 通用服務器軟硬件一體純軟件軟件 +推薦硬件云服務方式提供ToC：云盤 ToB：NAS、SAN

15、從市場產品的形式看， 分布式存儲大多以硬件加軟件一體化的形式來呈現， 用戶可以選擇配置， 但是無法選擇硬件產品的品牌。與之相比， 軟件定義存儲更加強調純軟件的方式， 會為用戶提供支持的硬件列表；而云存儲更多是以一種云服務形式來交付， 其中，被消費者最為熟悉的云存儲服務是所謂“云盤”，是一種 to C 性質的服務，主要提供網上的存儲空間?！霸票P”在企業級應用場景中也有應用，特別是跨國企業在不同國家和地區之間的數據存儲和共享。以往，這些跨國企業會租用專線，透過 VPN 傳輸和共享數據，但是帶寬的利用率不高，在性能上也存在差距。通過使用“網盤”的 CDN 加速能力，數據在節點之間自動復制和同步明顯加

16、速， 如此一來， 就減少了企業對廣域網連接帶寬的需求， 實現數據本地上傳， 就近訪問和使用；此外，網盤提供的數據目錄功能，也便于用戶組織管理和檢索數據。對于跨國企業而言，“云盤”提供了類似 NAS 的服務和功能，如今，企業出海已經成為趨勢和潮流，具有全球布局能力的“云盤”服務日益受到跨國企業的歡迎。盡管在概念上各有側重，著重點也不盡相同，百易存儲研究院的觀點認為三者之間的區別是不大的，特別在技術的本質上沒有什么不同。對于消費者而言，不用從概念或者表述上來理解彼此之間的差異，而是應該從所解決問題的角度來理解產品。盡管表述不同，但是它們有共同點，都具有透過網絡連接、可橫向擴展、支持全局單一命名存儲

17、空間的特征，從這個意義上說，他們所使用的技術是一致的，適用的場景也是非常接近的。一句話，分布式存儲、軟件定義存儲以及云存儲，沒有一個是采用存儲陣列技術來實現的，這是理解技術的最重要出發點。2022 分布式存儲市場調研報告 5一句話，分布式存儲、軟件定義存儲以及云存儲，沒有一個是采用存儲陣列技術來實現的，這是理解技術的最重要出發點。3. 融合市場現狀繼軟件定義存儲之后，一種被稱為超融合的系統快速發展，超融合的全稱是“超融合基礎架構（Hyper-Converged Infrastructure，HCI）”，它集計算、存儲和網絡于一身，在簡化部署、管理的同時，還可以透過增加或者減少節點，追求計算和存

18、儲資源橫向擴展，具有彈性伸縮的能力。對于超融合基礎架構而言，計算資源彈性伸縮完全可以借助服務器虛擬化技術實現，當時虛擬化技術已經非常成熟，比較難以實現的是存儲資源的彈性調度和伸縮，也可以理解為存儲虛擬化，但是從技術的演進發展來看，當時存儲虛擬化的主要用途在于實現不同品牌存儲陣列的集中管理和調度，以 IBM 為首，提供多種存儲虛擬化的設備，連接不同時期、不同品牌的存儲陣列產品。 所以當初存儲虛擬化強調的并不是存儲資源池的概念， 但是隨著軟件定義存儲技術的發展， 存儲節點透過網絡連接、 橫向擴展、全局單一命名存儲空間技術成為了現實，也為超融合基礎架構創造了條件，出現了超融合一體機的產品形式。也因為

19、超融合一體機主要突破的是存儲資源池的技術，所以很多分析機構將超融合一體機歸類到存儲的范疇，成為軟件定義存儲的一個分支。對外提供存儲資源服務的是軟件定義存儲，與此同時，利用存儲節點自身的計算能力，對于上層應用提供支撐的就是超融合，這成為了當時一種普遍的共識。超融合一體機易部署、易管理、彈性伸縮，與同樣流行的云計算的特點完全吻合，因此當時也有觀點認為超融合更像是云，并以此與軟件定義存儲進行區分。最初超融合一體機并不支持作為存儲系統來使用，強調兼容計算，但是隨著市場的發展，也開始支持純存儲的單一應用形式，這就是后話了。最初，超融合系統的分析、比較的對象并不是軟件定義存儲，而是一種被稱為融合基礎架構（

20、Converged Infrastructure）的系統，后者是一個工廠定制，整機柜交付的產品設備形式，通過這種方式，簡化系統的部署和管理，實現系統的快速上線。融合基礎架構（Converged Infrastructure）的價值在于系統集成服務，與超融合系統強調的資源池建設，特別是存儲資源池的實現，還是有本質區別的。簡單說，融合基礎架構（Converged Infrastructure）中所集成的存儲，完全有可能是傳統存儲陣列，不是超融合所強調的軟件定義存儲。這是二者的主要差別。2022 分布式存儲市場調研報告 64. 超融合一體機還是存算分離？超融合基礎架構最初是以一體機的形式交付的，具有

21、易部署、易管理和彈性伸縮的云計算服務的特征，這也是超融合一體機也被稱為云的原因，從單一應用的角度，通過超融合一體機來構建的應用，就相當于云的應用。超融合一體機也可以用來支持多個應用，前提是，其計算資源能夠滿足多業務應用的需求。超融合一體機云化的特征完美切合中小企業技術能力有限，管理和運維能力不足的問題，超融合一體機的出現，毫無疑問降低了用戶業務應用云化的門檻，在市場得到了普遍使用和歡迎。超融合一體機可以幫助業務實現云化，但是無法從根本上替代云計算，換句話說，超融合一體機不能夠作為企業私有云建設的基石。原因很簡單，云計算基礎設施需要集中承載企業的所有業務，動輒成百上千，超融合一體機可以承載少量的

22、應用，如果作為企業云計算基礎設施來使用，難免出現小馬拉大車的局面，勉為其難。云計算基礎設施承載的業務應用更加復雜，類型也更加多樣，有計算密集型和存儲密集型應用的區分，以節點為單元橫向擴展的超融合一體機的方式， 相比就不夠靈活。 云計算所追求的計算、 存儲資源分離的形式， 可以根據不同應用的需要， 靈活進行擴充，計算不足擴計算，存儲不足擴存儲。云計算應用最初的重點是計算資源的虛擬化，這也是為什么服務器虛擬化被稱為云操作系統的原因。云計算發展到存算分離階段，為了和已有產品方案進行區分，有廠商提出了“云計算發展下半場”的概念，并借用了超融合 2.0 的概念，賦予了超融合嶄新的含義。相比于超融合 1.

23、0 的超融合一體機，超融合 2.0 在市場上遠沒有得到普及和流行，很多人的認知還停留在于超融合 1.0的階段。5. 從超融合到混合云？企業私有云建設的首要問題是計算資源池化，服務器虛擬化技術滿足資源動態調度的需求，這也是為什么服務器虛擬化被稱為云操作系統的原因。在眾多私有云開源解決方案中，OpenStack 最終脫穎而出，OpenStack 最初提供的主要功能主要集中在計算資源的調度、監控、協同和管理。云計算下半場強調存算分離，并借用了超融合 2.0 的概念。云計算的發展經歷了從 IaaS、PaaS、SaaS 到公有云、私有云和混合云的變化，在國內，用 OpenStack 構建私有云得到用戶的

24、普遍認同，國外更加青睞使用公有云。與公有云相比，私有云更能滿足數據合規的要求，但在規模和成本上存在差距，混合云就成為國內用戶的目標，相比之下，國外更側重多云的管理。如何構建混合云？幫助用戶實現業務目標？對于混合云應用而言，以 OpenStack、vSphere、Hyper-V 為主構建的私有云，與公有云在本質上是異構系統，要實現混合應用是一件非常困難的事情。分步驟、分階段實施混合云就成為了現實的目標。2022 分布式存儲市場調研報告 7作為混合云應用的第一步，數據上云被提了出來，最初是備份數據上云，鑒于備份數據的特殊格式，不易造成數據泄露，且可以很好利用云存儲成本低的特點，類似冷數據上云就成為

25、了最初的應用。在這個基礎之上，合理利用公有云的計算資源，就可以實現業務應用的容災。數據上云的核心是數據管理，這是容災備份廠商的專長，也是數據存儲廠商的強項。數據存儲的核心，條帶化、RAID 也好，本質就是數據管理的問題。在數據管理的基礎上，數據存儲廠商推出了類似近云存儲的解決方案。與此同時，通過與 AWS、Google 等公有云廠商合作，采用 IBM、VMware 所提供的混合云解決方案，用戶可以使用所熟悉的技術，在私有云、公有云之間靈活使用資源。另外一方面，公有云廠商也面向大型行業企業用戶提供了專屬云解決方案，其本質也是一種同構、非異構環境的解決方案。數據與混合云應用需求， 為數據存儲廠商提

26、供新的用武之地， 他們也從存儲廠商上升為混合多云解決方案的供應商。 為了區分，這里也借用了超融合，提出了超融合 3.0，HCI 也從 Hyper-Converged Infrastructure（超融合基礎設施）升級為 Hybrid Cloud Infrastructure ( 混合云基礎設施 )，實現了概念到內容的升華。但是對于很多對技術缺乏了解的用戶而言，從一體機到混合多云的跨度有點大，讓他們很難跟上技術發展的步伐。6. 純軟件還是軟硬一體機？分布式存儲的核心是軟件，印象中，純軟件方案具有更好的適用性，也增加了硬件選擇的靈活性。但在市場實踐中，用戶往往會經歷一個看似不合邏輯的心路歷程，被稱

27、為“Crazy illogic Circle”。2022 分布式存儲市場調研報告 8我需要一個純軟件方案，我要能夠更好利用工業標準硬件，你們作為軟件方案供應商，有哪些硬件推薦？你們測試過哪些硬件？如果硬件出現問題，聯絡誰？你們可以提供硬件并提供支持嗎？你們可以提供一體化軟硬件產品嗎？Crazy illogic Circle 讓用戶從純軟件的一個需求，成功蛻變為軟硬件一體化的需求。這里需要關注一個概念：SDS 一體機。什么是 SDS 一體機？與分布式存儲、軟件定義存儲、云存儲有什么區別和聯系？還是堅持百易存儲研究院的一個原則：不拘泥于定義和概念， 而是從實際上應用需求出發， SDS一體機所能夠解

28、決的具體問題。從應用角度，可以劃分為需求如下：為 OpenStack 云提供后端存儲、為虛擬化提供所需的塊數據存儲服務、面向傳統架構的統一存儲、以及面向海量數據的對象存儲。目前SDS一體機強調的是開箱即用， 能夠提供iSCSI、 FC、 NFS、 CIFS、 FTP等全協議支持的支持， 顯然這比較適合中小企業使用。未來會不會有其他形式的 SDS 一體機出現，應該說一切皆有可能。7.x86 還是專用設備？2022 分布式存儲市場調研報告 9這個問題產生還是來自于分布式存儲沒有普遍接受的定義，在實踐中就出現了認知偏差，類似盲人摸象，每個人都從各自角度闡述對問題的理解。實際上，x86 還是專用設備在

29、市場上是并存的，此外還有其他的形式。如果從利用的角度，傳統存儲陣列是不是也可以作為節點存在呢？所以，問題的分析并不是 x86 vs 專用設備，不同的方案特點不一樣，需要用戶根據自己的需要靈活加以選擇。性能上的高低上下，可以透過 PoC 測試來解決?？煽啃院瓦\維的問題，需要專業人員結合實踐給出專業的判斷。對于用戶而言，重要的不是站隊，重要的是視野。8. 分布式存儲是否適用于“關鍵業務”應用？分布式存儲是否可以應用在關鍵業務應用的場景？市場上之所以有這樣的疑問，主要的原因在于缺乏分布式存儲的實踐。與集中式存儲陣列相比，分布式存儲還屬于新生事物，沒有更多的經驗作為參考。對于新生事物的應用，有一個逐步

30、探索和實踐的過程，用戶不會貿然從關鍵業務入手，往往會選擇邊緣業務，不斷積累實踐應用的經驗，這是一個審慎穩妥的做法。關鍵業務應用對于可靠性、 穩定性有著極致的需求， 強調業務應用的穩定和連續， 所以能夠用于關鍵業務應用的產品， 在可靠性、穩定性方面采取了非常多的措施，以存儲陣列為例，從前端網絡連接、控制器、到后端的磁盤連接，全部采用冗余設計，確保系統沒有任何單一故障點，這也是存儲陣列價格昂貴的主要原因，但是這種極致的可靠性、穩定性能夠確保關鍵業務應用的需求。與之相比，分布式存儲陣列也采取了非常多措施來確保系統的可靠性、穩定性，確保存儲數據不丟失，利用 x86 通用服務器的成本優勢， 分布式存儲采

31、用多副本、 糾刪碼的技術確保數據的穩定、 可靠性和安全， 多副本數據被分散到不同的節點、 機柜、 機架，確保不會因為單一硬件故障，造成數據的丟失和不可逆。但出現單一節點故障之后，分布式存儲系統會調用所有的節點，參與數據的恢復，可以確保系統始終處于多副本或者糾刪碼的保護之下。如今，x86 通用服務器等節點的性能和質量不斷提升，已經具備運行關鍵業務應用的能力，在很多計算應用的場景已經得到了證實，這也為分布式存儲奠定了穩定、堅實的基礎。此外，分布式存儲橫向擴展的能力更加有助于用戶應對海量數據存儲帶來的挑戰。如今，云原生成為了應用軟件發展的主要趨勢，透過容器 + 微服務化設計，云原生應用在適應容器的調

32、度、故障隔離的能力極大增強，也更加能夠適應迭代更新的需要，云原生應用的發展也降低了對于單一硬件可靠性的依賴，這種發展趨勢，也有助于分布式存儲的推廣和應用。2022 分布式存儲市場調研報告 109.IPFS 分布式存儲與去中心化？IPFS（Inter Planetary File System，星際文件系統）存儲的出現賦予了分布式存儲新的內涵，同時也加劇了市場上分布式存儲概念上的混亂。IPFS是一個分布式web， 點到點超媒體協議。 IPFS協議的目標是取代現有的互聯網協議HTTP， IPFS獨有的存儲和云計算技術，另辟蹊徑，也為企業級業務應用提供了新的選擇。IPFS 存儲是對市場現有存儲產品和

33、方案的顛覆性重建，它將 IPFS 存儲協議與區塊鏈無縫集成。使用時，IPFS 存儲將需要存儲的數據文件分片，然后分片存儲在各個節點上，如此，數據就被復制了 N+1 份并存放在不同的地區，如果某個地區的數據因人為或自然災害被毀，通過其他地區的數據備份照樣能完整恢復所有數據。區塊鏈技術和 IPFS 存儲的完美結合，無論是加密，還是防篡改都有助于保護用戶數據的隱私和數據安全性。目前 IPFS 目前仍處于初步發展階段，更多的應用還是內置經濟激勵項目 Filecoin 挖礦；與此同時，Filecoin 也提供了海量存儲資源，在 $/GB 成本上占據優勢，對于現有各種存儲應用形成了降維打擊。對于現有行業

34、/ 企業用戶而言，IPFS 存儲或稱 Filecoin 無疑具有巨大誘惑，如果它們能夠提供 SAN、NAS 或者對象的支持，就會對現有的方案帶來沖擊?，F有行業企業應用如何使用 IPFS 存儲，還存在一定的技術障礙，需要一定的技術突破。但是無論如何，IPFS 存儲 $/GB 的巨大優勢，充滿了無限遐想的空間。IPFS 存儲帶來的最大問題是其分布式存儲的稱謂，容易與現有產品混淆，帶來概念上的混亂。IPFS 存儲與本報告所說的分布式存儲，核心的技術都是去中心化，所不同的是 IPFS 存儲主要去的是 HTTP 網絡訪問的中心化，分布式存儲所去的是存儲控制器的中心化，二者還是有所區別。對此，應該有一個清

35、晰的界定。從這個思路出發，百易存儲研究院建議：用去中心化存儲、或者 Web 3.0 存儲來代指 IPFS 存儲，而將分布式存儲稱謂保留給現有存儲。2022 分布式存儲市場調研報告 1110. 對象存儲的話題對象存儲，也叫做基于對象的存儲，就像文件一樣，對象包含數據，但是和文件不同的是，對象在一個層結構中不會再有層級結構。每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里，一個對象不會屬于另一個對象的下一級。以上是百度百科給出的定義，相對還是比較費解的。簡單說，對象存儲在互聯網領域應用比較廣泛，如 S3、Swift，主要用于存儲海量非結構化數據。傳統行業 / 企業應用場景大多使用 SAN、N

36、AS，其中 SAN 用于存儲結構化數據，NAS 用于存儲各種文件數據，它會按照目錄結構的方式組織數據，便于文件的訪問和查找，類似個人電腦 C 盤的目錄和文件夾應用，但企業級 NAS 目錄更加復雜，在一些工業應用場景，這種目錄結構嵌套會有 5 6 層，100 多個層級。當目錄結構變大之后，就需要經過多次點擊才能夠檢索到所需要的數據文件，檢索速度變差，效率降低。與 NAS 數據組織方式不同，對象存儲的采用了扁平的數據組織結構，文件（切片）被直接存儲在根目錄的“桶”中，相當于將文件全部存儲在 C 盤根目錄下，這從根本上規避了維護龐大的文件目錄樹。拋棄了目錄樹的方式，結構變得簡單。但是文件如何檢索呢？

37、為了便于檢索和查找，在對象存儲的使用過程中，就需要對每個對象（文件切片）進行標注，生成元數據，每個元數據都對應、匹配一個 Index 或者 Key，按照 Key-Value 的方式存儲和檢索數據。對象存儲中的數據， 透過REST API接口， 可通過HTTP直接訪問和使用。 互聯網服務中的云盤應用， 大多是采用對象存儲的方式，對于相同的數據文件，直接返回 Index 或者 Key，并不需要重復存儲數據，這也是所謂“秒傳”的功能。在對象存儲的應用過程中，常常會使用到 Key-Value 數據庫、Elasticsearch 數據庫，主要作用就是數據文件的查找和檢索。當存儲目錄架構變簡單之后，數據檢

38、索的復雜性就會增加，需要使用到 Key-Value、Elasticsearch 全文檢索的能力。對象存儲很容易實現橫向擴展，最多可以支持 4096 個節點，輕松實現 PB 級海量數據存儲。目前已經投入使用的對象存儲，已經可以達到 960 節點規模。如今，存儲面臨的主要挑戰來自數據量的快速發展，互聯網技術應用縮短了企業和消費者的距離，消費者在網上的一舉一動，都可以成為企業了解用戶、了解市場的依據，產品技術創新和應用，完全基于數據分析，建立在數據分析的基礎之上。由此也帶來了海量數據存儲的需求，并且以非結構化數據為主。這個存儲需求與對象存儲的特征高度匹配，這也是為什么對象存儲在互聯網率先得到應用的原

39、因。傳統企業正在云化的過程中，數字化轉型、互聯網成為企業信息化強有力的工具，必然也會帶來對象存儲的需求，這個將是大勢所趨。與此同時，傳統企業有自己熟悉的行為和規范，習慣使用 NAS 存儲的方式，要讓他們從 NAS 轉型到對象存儲，會涉及到應用的少量二次開發，這會成為傳統企業應用對象存儲的瓶頸。如今，對象存儲的主流供應商，在功能上，除了提供最基本的對象存儲支持之外，也結合實際應用提供了行之有效的工具，如圖形格式轉換、人臉識別、視頻格式轉換、OCR 等，這些增值功能和服務，受到了用戶的歡迎，部分拉低了對象存儲的使用門檻。在這里，百易存儲研究院特別提醒用戶，對象存儲作為一種基礎的數據組織和存儲方式，

40、是一種最底層的基礎設施，它與NAS、SAN 存儲之間的關系，并不是一種競爭的關系。對象存儲、 NAS、 SAN不是排他的關系。 透過構建目錄服務， NAS完成可以構建在對象存儲的基礎上。 在一些典型的應用場景中，如電子郵件，完全有可能是對象存儲和 NAS 存儲、SAN 存儲的混合體，這個是應該引起高度關注的。2022 分布式存儲市場調研報告 12配合本次分布式存儲的調研報告，調查問卷有一項關于存儲引擎的內容，列舉了哈希存儲引擎、B+ 樹存儲引擎、LSM 樹存儲引擎等三種形式。百易存儲研究院的分析師雖然對存儲領域有一定的研究，但還有很多的細節搞不清楚，設置這樣的內容，我們是希望提醒用戶，B+ 樹

41、、LSM 樹在數據庫技術中經常被提及的技術，如今出現在存儲引擎中，說明這都是一種底層的結構，影響的都是數據檢索的效率，會在一定程度上，決定存儲系統的性能表現。對于性能，最好的做法是 PoC 測試，最能夠反映實際應用的性能表現。但是與此同時，既然存在這樣的技術發展和流派，也可以增加視野，幫助進行理解和分類。三 . 分布式存儲市場狀況1. 分布式存儲市場規模中國分布式存儲市場規模有多大？這是一個很難準確回答的問題，一來分布式存儲市場參與的廠商很多，其中很多廠商不是上市企業，沒有辦法獲得銷售數據，二來分布式存儲沒有一個市場可以普遍接納的定義和分類，會導致數據統計口徑混亂，例如分布式存儲是否包括去中心

42、化存儲、是否包括超融合、是否包括云存儲、內涵與界定的不同，市場規模自然也不一樣。IDC 給出的統計數據表明：2021 年中國存儲市場規模為 42.9 億美元，其中，軟件定義存儲 14 億美元，占比 26.1%；超融合為 12 億美元，占比 20.3%。本報告中的分布式存儲包括 SDS、HCI 兩個部分，總體市場規模 26 億美元，占比 46.3%。配合本次調查報告的調查問卷中，受訪者也對市場進行了估算，結果從 10 億美元 1000 億人民幣不等；超融合市場規模從 30 億美元 300 億人民幣不等；云存儲市場的規模 50 億（美元） 1800 億（人民幣）規模不等。差距和出入非常大，體現了不

43、同消費者的不同理解。目前百易存儲研究院沒有官方的渠道和數據對存儲市場規模進行統計，但是可以肯定，隨著數據量的快速增長，數據存儲市場會呈現一種快速增長的趨勢，IDC 給出的預計，市場增長速率為 54.2%，未來發展不會低于這個增速。在目前的情況下，分布式市場的規模也是仁者見仁、智者見智，但是無論如何，市場發展的趨勢是明確和清晰的，未來市場2022 分布式存儲市場調研報告 13潛力巨大。2. 分布式存儲市場英雄榜對于市場而言，2022 分布式存儲企業圖鑒的意義在于用戶可以按圖索驥，查找自己需要的產品解決方案線索。2022 分布式存儲企業圖鑒中的企業可以分為幾個類型：1. 綜合品牌產品供應商以戴爾、

44、 浪潮、 新華三、 華為、 聯想凌拓、 IBM、 Red Hat、 曙光等廠商為代表。 這類廠商具有非常強的綜合實力以及品牌影響力。它們不僅僅提供分布式存儲，也能夠提供計算、網絡和軟件服務，各個產品之間彼此呼應，市場相互滲透，擁有非常強大的市場服務能力，綜合實力保持領先。2. 專業存儲產品供應商一寸長一寸強，術業有專攻。作為存儲專業領域的垂直供應商，這類廠商在產品技術上保持領先，專業技術服務能力非常強，在很多時候，專業存儲廠商也為品牌廠商提供存儲的 OEM 服務。專業存儲產品供應商以國外的 EMC（被戴爾收購）、HDS（更名為 Hitachi Vantara）、NetApp 為代表，國內以同有

45、、宏杉為代表，這些廠商至少有 20 年以上的發展歷史，以存儲陣列見長，為了能夠兼顧到分布式存儲的市場，國際廠商多采用并購的方式，國內廠商主要依靠自研的力量。3. 創新存儲廠商數據作為行業企業最為重要的資產，用戶對于存儲可靠性的要求往往會超過計算，不容有任何閃失，也因為如此，創新品牌不易被用戶市場接受。 但是分布式存儲技術的出現， 改變了這樣一種局面， 特別是開源技術， 也在一定程度上拉低了存儲產品的門檻。從 ServerSAN 開始，創新存儲市場極為活躍。在資本市場的鼎力支撐下， 創新存儲市場如雨后春筍， 快速發展。 國內XSKY、 Smart X、 杉巖數據、 焱融科技、 霄云、 鵬云、 青

46、云、華瑞指數云、瑞馳、云信達、柏科、國鑫、大道云行等表現得比較活躍；國外市場以 Pure Storage、DDN、Cloudian、Scality、Swiftstack、ZADARA、Caringo 為代表，它們當中有些也已經進入中國市場。2022 分布式存儲市場調研報告 144. 云存儲服務供應商云計算改變了傳統產業的現狀，從購買產品轉移到購買服務，屏蔽了底層負載的技術和管理。受云計算服務的影響，存儲也正在經歷從產品到服務的轉型，這也是云存儲的由來。云存儲最初主要面向 ToC 的市場，其中以云盤作為常見，這也是至今仍然有很多人將云存儲稱為云盤的原因。但是隨著市場的發展，以阿里、騰訊、百度、網

47、易、華為云、青云、華云、金山云、京東云為代表，它們紛紛推出了面向行業的存儲定制服務，提供了“專屬云”的產品和服務，如此就把云存儲的市場從 ToC 向 ToB 進行延伸。云廠商提供的云存儲方案和以產品為核心的解決方案有所不同， 這些方案更好滿足了創新企業的需求， 但是與傳統產業的結合，還需要磨合。四 . 分布式存儲行業典型的應用場景在這個章節，我們特別征集了分布式存儲在一些典型行業應用場景中的應用案例。透過這些案例，我們希望能夠幫助大家深入了解分布式存儲的技術，打消類似“分布式存儲是否適合關鍵應用”的疑慮，舉一反三，擴大分布式存儲技術的應用。電信行業典型應用場景：SIM 卡認證和私有云計費業務應

48、用案例：在移動時代，手機號就如同人們的“第二身份證號”，有了它我們才能在現代社會里“吃喝玩樂、出行辦事”。只有當手機號經過電信運營商的認證，與我們個人身份相匹配，才能連接入網正常通訊，享受到運營商和服務商提供的各種服務。中國移動為全國 9.61 億戶手機用戶提供基本通訊和各類數據服務。同時，移動云平臺也為大量企業用戶提供了類型廣泛、規模龐大的云服務，為了更好地為廣泛移動手機用戶提供服務，同時優化自身云平臺運營，中國移動計劃對其塊存儲資源池進行更新和升級。中國移動塊存儲平臺承載著的大量業務應用：網絡云應用場景下的 SIM 卡認證、網絡認證、虛擬化網元管理平臺；IT 資源池下的私有云計費業務，如內

49、容計費、NGBOSS、BBOSS、網狀網、計費賬務中心；以及集團和各省的自有業務：移動商城、一級客服系統、安全監測平臺、國際漫游計費業務；這些服務都是移動的核心關鍵應用，一旦出錯，不僅給移動的日常運營造成難題，同時，也會嚴重影響每個人的使用體驗。這些業務類型都屬于數據庫應用，底層通常采用塊存儲模式為上層應用提供數據服務。中國移動原有的存儲系統存在成本高、性能差、可擴展性差、容量不足等問題，在移動基礎架構全面云化的大背景下，存儲系統的可管理性、可集成性較差，無法滿足云時代中國移動對海量存儲的需求。為此，中國移動需要打造一個高性能、高可靠、云化、敏捷、智能的塊存儲數據承載平臺。中國移動啟動了 20

50、21-2022 年分布式塊存儲新建部分集采，采購規?？倲禐?2100 套，其中，紫光股份旗下新華三集團 H3C UniStor X10516 G3 分布式塊存儲產品以優異測試成績中標，獲得 20% 份額，中標總金額達 1.15 億元。中國移動本次采購的分布式塊存儲系統，將會承載大量核心關鍵的移動業務數據，既包括熱數據，也包括海量冷數據，為中國移動提供個人通訊服務、以及企業級云服務提供計費、認證、運維管理等等關鍵運營活動提供底層數據平臺；同時，還需要與2022 分布式存儲市場調研報告 15Openstack 云平臺進行對接，與 Hadoop 生態做全面結合，以服務中國移動“上云”進程。作為承載關