什么是分布式存儲？技術有哪些？與傳統存儲的區別

1、分布式存儲

分布式存儲系統(Distributed Storage System，DSS)，也指分布式文件系統(Distributed File System，DFS)。分布式存儲，從原理上講，是將數據文件分散地存儲到集群服務器上，而構建集群的服務器往往由低成本的商用硬件組成。用戶利用系統提供的接口方便、快捷地訪問存儲系統，系統內部通過軟件和硬件共同協作完成用戶操作指令。

2、分布式存儲技術

(1)網絡存儲技術

①網絡連接存儲(Network Attached Storage，NAS)

NAS主要組件包括NAS頭和存儲陣列，NAS頭主要由四個部分組成，包括網絡接口、 文件共享協議、 專用的操作系統以及底層的存儲接口。存儲可以位于NAS內部，也可以獨立于NAS作為單獨的存儲陣列存在?？蛻舳擞脩艨梢酝ㄟ^專有的文件共享協議，如Windows用戶可以利用CIFS協議、Unix用戶利用NFS協議，經過普適的IP網絡訪問NAS設備上的存儲資源。NAS頭部在接收到用戶的文件訪問I/O后，通過其內部專用的操作系統將其轉換為數據塊I/O，并結合操作系統記錄的文件位置，進行文件的存取工作。

優點：提高傳統存儲環境的擴展性，并且整合服務器和存儲資源以進行統一管理，簡化管理任務

缺點：無法滿足高性能要求，不適合于對存儲介質進行復雜操作的任務

②存儲區域網絡(Storage Area Network，SAN)

根據數據在服務器和存儲設備之間傳輸協議的不同，SAN主要分為光纖通道SAN和IP SAN兩種類型，SAN主要由服務器、 存儲設備以及網絡連接三部分構成。服務器通過網絡連接和常見的串行SCSI協議FCP(Fiber Channel Protocol)，來遠程訪問存儲設備上的數據資源。SAN將應用與存儲分離，在降低了應用存儲耦合的基礎上，分離了兩者的管理工作。在光纖通道SAN中，服務器與存儲設備的連接渠道包括集線器，交換機和導向器，通過專門搭建的基于光纖通道的網絡，能夠實現數據的穩定、高速傳輸。而在IP SAN中，數據傳輸的渠道是通用的IP 網絡，可以利用現有的網絡連接迅速構建簡易的IP SAN，方便靈活。

優缺點：基于光纖通道的SAN由于需要搭建專用的網絡，成本高昂，維護難度較大，并且性能也與現有IP SAN相差無幾，無法體現出自身的性能優勢;而IP SAN受限于傳統IP網絡的性能和穩定性，無法達到光纖通道SAN的高速、穩定的特性。

(2)分布式文件系統

①Google File System(GFS)

GFS是Google公司云計算基礎設施中負責分布式數據管理的重要子系統，是一個面向大規模分布式環境的、 高可用、 高可靠、 高可擴展性的分布式文件系統，用于對大量數據的存儲和管理。

②Hadoop File System(HDFS)

GFS源于Google公司自身的業務和應用服務要求，其具體的工程實現細節并未完全公布。研究人員根據GFS論文的核心設計思想，在Amazon、Yahoo 等IT 巨擘的牽頭下，設計了一種新的面向分布式環境、高可靠性、高性能的分布式文件系統HDFS。該文件系統最初是作為Apache Nutch搜索引擎工程的底層基礎架構而研發的，屬于Apache Hadoop Core項目的重要組成部分，主要用于數據的分布式存儲以及計算任務。

③Ceph

Ceph是一種新的、開源分布式文件系統，是Sage Weil在加州大學圣克魯茲分校攻博期間負責的關于存儲研究的項目，用于面向高性能、高可靠性、大規模的分布式環境。Ceph的生態系統包括四個組成部分，它們是客戶端(Client)、元數據服務器(Metadata server cluster)、對象存儲集群(Object storage cluster)和集群監視器(Cluster monitors)，目前Ceph已經被用于實際生產環境中，許多大型IT及互聯網公司，如華為、沃爾瑪、Bloomberg、AT&T，eBay等均將Ceph用于其分布式文件系統以及存儲系統的構建。

(3)P2P存儲技術

在P2P存儲中，所有節點地位均等，既可以是客戶機，也可以是服務器。每個節點可以同時提供存儲服務和訪問其他節點的存儲服務，打破了節點角色的壁壘，充分利用了節點自身的存儲和計算資源?，F有P2P存儲技術主要包括OceanStore、PAST、CFS、Dynamo。

(4)新型存儲技術

①基于對象的存儲(Object-based Storage Devices，OSD)

OSD系統通常由三個組件構成，它們分別是OSD節點、 內部私有網絡以及存儲系統。OSD節點主要負責元數據服務和存儲服務，不僅如此，它還負責維護對象ID與文件系統域名空間的映射關系。內部網絡保證了節點與存儲系統、多節點之間的互聯互通。存儲系統通常由廉價、高密度磁盤組成，用于存儲對象。

②統一存儲

一個統一存儲系統主要包括底層存儲系統、存儲控制器、NAS機頭、OSD節點以及相應的訪問協議。存儲控制器可以通過iSCSI、FC和FCoE協議，為應用服務器提供基于塊級的數據存儲和訪問。NAS機頭通過CIFS和NFS協議，可以為NAS 用戶提供文件級的存儲和訪問服務。OSD節點通過REST和SOAP協議，以及對應的API為應用服務器提供對象級別的訪問服務。應用服務器或者用戶無需知曉底層實現細節，只需要根據數據訪問的粒度，選擇合適的協議就可以在統一存儲的平臺中進行數據的讀寫，方便快捷?，F有的統一存儲產品，如EMC VNX、Huawei OceanStor T系列，已經能夠為企業級用戶提供統一存儲的服務。

3、分布式存儲與傳統存儲的區別

(1)高性能，每個節點服務器都具有單獨的處理數據請求的能力，集群中所有節點并行執行不同的處理請求，每當有新的節點加入集群，總資源池都會得到增長，系統性能得到提升

(2)高可靠性，能夠有效避免SPoF問題的出現，當系統中某一節點服務器出現宕機或者其他故障時，系統服務不受影響

(3)低成本，能夠很大程度地減少建立基礎設施的成本，同時數據管理的成本也會有效減少

(4)高擴展性，可以通過更多的添加服務器節點實現系統的水平擴展，從而線性地提高系統總體容量與性能，并減輕對特定設備的依賴

推薦閱讀：《【研報】區塊鏈行業新基建(三)：分布式存儲給互聯網帶來了什么?》

《【研報】計算機行業：分布式存儲企業IT市場的新增長點-20200302[26頁].pdf》