1、 1 編 制 說 明 本報告圍繞基于量子安全的分布式容錯云存儲的應用場景展開研究。本報告首先介紹了存儲技術、容錯技術及量子安全相關概念,并列舉了分布式容錯云存儲技術在多個行業領域的應用場景,分析總結了當前分布式云存儲系統主流架構,接著本報告提出了基于量子安全的分布式容錯云存儲技術方案,包括需求分析、方案設計、技術路線實現、技術特點總結等內容。最后本報告對研究內容進行了總結,并給出發展建議。編寫組成員:編寫組成員:馬春利、趙勇、黃強、李東東、趙梅生、武宏宇、趙于康、王子、周曉剛、劉勇、劉繪 2 目目 錄錄 編制說明.1 目錄.2 1 前言.1 2 縮略語.1 3 相關技術介紹.2 3.1 存儲技
2、術.2 3.1.1 集中式存儲.3 3.1.2 分布式存儲.3 3.2 容錯技術.4 3.2.1 數據鏡像.4 3.2.2 糾刪碼.4 3.2.3 秘密共享.5 3.3 量子安全.5 3.3.1 基于數學方法.5 3.3.2 基于物理方法.6 4 分布式云存儲應用場景.6 4.1 應用場景介紹.7 4.1.1 電子政務云.7 4.1.2 金融科技.8 4.1.3 電力行業.9 4.1.4 廣電 CDN.10 4.1.5 航空電子系統.11 4.1.6 鐵路綜合視頻監控.13 4.1.7 車聯網.14 4.1.8 氣象數據.15 4.1.9 高校數據中心.17 4.1.10 醫療大數據.18 4
3、.2 應用場景總結.19 4.2.1 DHFS 架構.19 4.2.2 Ceph 框架.20 4.2.3 Swift 框架.21 4.2.4 總結及改進思考.22 3 5 基于量子安全的分布式容錯云存儲.23 5.1 需求分析.23 5.2 方案設計.24 5.2.1 量子安全保證數據的機密性.24 5.2.2 糾刪技術實現數據的完整性與容錯性.25 5.2.3 秘密共享增強用戶對密鑰的分散存儲及數據的管控.25 5.3 技術路線實現.25 5.3.1 三種存儲方案的比較.26 5.3.2 基于量子安全的分布式容錯云存儲架構.27 5.3.3 應用層密鑰秘密共享及數據預處理.27 5.3.4
4、系統層的數據存儲容錯處理.31 5.4 技術特點總結.32 5.4.1 存儲技術與量子安全相結合.32 5.4.2 密鑰的秘密共享及分散存儲.32 5.4.3 密鑰密文同存保護.32 5.4.4 糾刪碼與副本拷貝混合存儲策略.33 5.4.5 系統低速處理高速處理分離.33 6 展望.33 7 參考文獻.34 量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 1 1 前言 數據存儲已成為現代信息技術和數字化社會的基石,深刻影響著各行各業的發展以及人們日常生活的方方面面,其發展與研究的意義非常重大。通過存儲技術使得數據信息可以得到保存與傳承;企業和組織中,數據存儲已經成為業務運
5、營的核心部分;隨著大數據時代的到來,數據存儲也成為數據分析與決策的基礎;數據存儲技術的進步也不斷推動著科技創新的發展。比如在人工智能、機器學習等前沿技術方面需要大量的數據進行訓練和驗證,而高效的數據存儲解決方案為這些技術發展提供了堅實基礎。隨著云計算技術的發展,數據存儲也已進入云存儲時代,分布式云存儲成為數據云存儲的研究熱點之一。然而,隨著越來越多的個人和企業將敏感信息委托給云服務,數據安全和隱私變得至關重要。數據泄露或未經授權訪問的潛在后果是嚴重的,從經濟損失到聲譽損害。面對眾多的網絡威脅和復雜的攻擊技術,需要強有力的安全措施來應對防范這些風險。如何更高效更安全地存儲數據已經成為云存儲最為關
6、注的問題。QKD(量子密鑰分發,Quantum Key Distribution)是一種利用量子態實現安全密鑰分發的方案,常用于保障傳輸數據的安全性。本研究報告探索 QKD 在傳輸安全之外更豐富的量子安全服務應用場景,比如數據存儲、數據處理等方面,也提供量子安全的能力。本研究報告首先介紹了分布式云存儲及量子安全技術相關概念,總結了分布式云存儲當前現狀及相關背景研究。接著介紹了當前云存儲系統在政務、金融、電力、廣電、航空、交通、教育、醫療等多方面領域的應用場景,并對主流云存儲系統架構進行了分析總結,并提出了改進思考。本研究報告對三種當前主流的容錯存儲方案的優缺點對比分析、分布式云存儲系統如何融入
7、量子安全、如何高效容錯存儲、在單用戶和多用戶場景下的密鑰安全保護及分散存儲、數據擁有者對共享數據的管控等關于量子安全的分布式容錯云存儲系統的多個研究方向進行了重點分析,并提供了解決和改進方案。研究報告在基于量子安全的分布式容錯云存儲系統的需求分析、技術路線實現、技術方案設計、技術特點總結等多個方面進行了詳細闡述。最后,報告對基于量子安全的分布式容錯存儲在未來各個領域發揮的作用及研究方向進行了展望。2 縮略語 CDN:內容分發網絡(Content Delivery Network)CIFS:通用互聯網文件系統(Common Internet File System)CRUSH:可擴展哈希下的受控
8、復制(Controlled Replicated Under Scalable Hashing)量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 2 DAS:直接附加存儲(Direct Attached Storage)EBS:彈性塊存儲(Elastic Block Storage)EC:糾刪碼技術(Erasure coding)ECC:橢圓曲線密碼算法(Elliptic Curve Cryptography)FC:光纖通道(Fibre Channel)HDFS:Hadoop 分布式文件系統(Hadoop Distributed File System)IoV:車聯網(Int
9、ernet of Vehicles)iSCSI:互聯網小型計算機系統接口(internet Small Computer System Interface)MDS:元數據服務(Meta Data Server)MON:監控器(Monitor)MS:鏡像存儲(Mirroring Storage)NAS:網絡附加存儲(Network Attached Storage)NFS:網絡文件系統(Network File System)OSD:對象存儲設備(Object-based Storage Device)P2P:對等網絡(Peer-to-Peer)PQC:后量子密碼(Post Quantum Cr
10、yptography)QKD:量子密鑰分發(Quantum Key Distribution)RSA:RSA 公鑰加密算法(Ron Rivest,Adi Shamir,Leonard Adleman algorithm)SAN:存儲區域網絡(Storage Area Network)SCSI:小型計算機系統接口(Small Computer System Interface)SS:秘密共享(Secret Sharing)VD:虛擬盤(Virtual Disk)VM:虛擬機(Virtual Machine)3 相關技術介紹 本研究課題涉及存儲技術、容錯技術以及量子安全等方面內容,下面就這幾個方面
11、的相關技術做個簡要介紹。3.1 存儲技術 存儲技術主要分為集中式存儲和分布式存儲兩大類。集中式存儲屬于傳統的存儲方式,其特點是數據集中存放在一個物理位置。分布式存儲通過連接多臺獨量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 3 立的存儲設備的磁盤空間起來,構成一個虛擬的、邏輯上統一的存儲設備,實現數據的分散存儲和管理。3.1.1 集中式存儲 集中式存儲包括 DAS(直接附加存儲)、NAS(網絡附加存儲)、SAN(存儲區域網絡)等。DAS 是指將存儲設備通過 SCSI 線纜或光纖通道直接連接到服務器上,這種連接方式可擴展性差,而且在應用系統大量讀取文件時,SCSI 通道成為
12、 I/O 最大瓶頸,因此 DAS 法滿足大規模存儲的要求。NAS 是一種文件共享服務。NAS 擁有自己的文件系統,通過 NFS 協議或 CIFS 協議對外提供文件訪問服務,因此能實現不同的操作系統進行文件共享。NAS 依賴于業務網絡,其應用訪問存儲和存儲內部的數據備份、恢復管理等共用網絡,容易給網絡形成雙重負擔,特別是當網絡擁塞時,應用訪問存儲以及存儲的數據備份恢復等操作都會受到影響,容易形成單點故障。NAS 主要用于非結構化數據存儲。SAN 是一種通過網絡方式連接存儲設備和應用服務器的存儲架構,這個網絡專用于主機和存儲設備之間的訪問。當有數據的存取需求時,數據可以通過存儲區域網絡在服務器和后
13、臺存儲設備之間高速傳輸。目前常用的 SAN 結構根據協議和連接器的不同,主要分為兩種:一種是 FC SAN;另一種是 IP SAN。主流的存儲陣列由于同時提供光纖通道接口和普通網絡接口,因此能夠利用 FC SAN和 IP SAN 結構與主機連接。SAN 存儲主要用于結構化數據的場景。SAN,特別是 IP SAN,組網靈活,不受地域限制,存儲也相對高效,但其后端安裝復雜,價格比較昂貴。大數據時代,在數據急劇膨脹的情況下,集中式存儲存在容量擴展不易、性能瓶頸、運維成本高等諸多問題。3.1.2 分布式存儲 相較于傳統存儲方式,分布式云存儲帶來了全新的高性能、高擴展、高穩定、高性價比等優勢,特別是對于
14、非結構化的數據,分布式云存儲具備傳統存儲不可比擬的優勢。分布式存儲能夠有效地解決傳統集中式存儲在處理大規模數據時面臨的性能瓶頸、可靠性和安全性問題。分布式存儲通過將數據分布在多個節點上,實現了數據的冗余備份,提高了數據的可用性和可靠性。即使某個節點發生故障,其他節點仍然可以提供數據訪問服務,從而保證了數據的持續可用性。分布式存儲具備高擴展性,可以靈活地增加或減少存儲節點,以適應數據量量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 4 的增長或減少。這種動態擴展的能力使得系統能夠輕松應對大規模數據存儲的需求,降低了因數據量增長而帶來的存儲壓力。分布式存儲通過并行處理和負載均衡
15、等技術,提高了數據的訪問速度和系統的響應能力。多個節點同時處理數據請求,可以顯著提高數據訪問的吞吐量和效率。分布式存儲技術廣泛應用于大數據處理、云存儲服務、物聯網和人工智能等各種需要大規模數據存儲和處理的應用場景。云存儲是一種基于云計算技術的存儲技術,它將數據存儲在云服務器上,并通過互聯網進行訪問和管理。云存儲也屬于分布式存儲技術的一種,它采用分布式存儲架構,具備分布式存儲的所有特點,同時云存儲還提供了按需付費、數據安全和靈活性等額外優勢,是一種靈活、可靠、安全且成本效益高的數據存儲解決方案。3.2 容錯技術 對于任何一類存儲,采用容錯技術以保證數據不因節點失效而丟失都至關重要的。實現容錯有很
16、多種方式,比如數據鏡像技術、糾刪碼技術,以及秘密共享技術等。3.2.1 數據鏡像 數據鏡像(也稱副本拷貝)技術是一種重要的數據管理和備份方法,它通過創建原始數據的完整副本,并將這些副本存儲在不同的位置,以此來保障數據的完整性、可靠性和可用性。這種復制通常是實時的或近實時的,旨在確保在源位置發生故障或需要恢復時,能夠迅速地從目標位置獲取準確的數據。通過使用專門的軟件或硬件工具,數據鏡像在源位置和目標位置之間建立一個同步機制,監控和比較源數據的更新。3.2.2 糾刪碼 糾刪碼技術是一種數據保護方法,它將數據分割成片段,并通過編碼將冗余數據塊擴展、編碼后存儲在不同的位置,如磁盤、存儲節點或其他地理位
17、置。糾刪碼技術通過創建一個數學函數來描述一組數字,從而可以檢查數據的準確性,并且在數據丟失時能夠恢復。這種技術最早應用于通信行業,解決數據在傳輸中的損耗問題,后來被引入到存儲系統中,以提高存儲可靠性并降低存儲成本。糾刪碼的實現算法有很多種,其中較為常見的是 Reed-Solomon 算法,它通過計算原始數據的冗余部分,并將這些數據和冗余部分存儲起來,以達到容錯的目的。當原始數據或冗余數據丟失時,可以通過剩余的數據和冗余部分恢復丟失的數據,量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 5 從而保證數據的可靠性。糾刪碼技術提供了與傳統的副本機制相同的容錯能力,但能大幅度降低存
18、儲成本,因為它的存儲開銷通常不超過 50%,而傳統的副本機制通常會有 200%的額外開銷。3.2.3 秘密共享 秘密共享(Secret Sharing)是通過利用密碼技術將秘密信息分拆成 n 個份額,并分發給多個成員,只有閾值數量 k(kn)個合法成員的份額共同參與才能恢復出原秘密信息。在這個過程中,任何單個參與者或少于 k 個的參與者組合都無法獲得關于秘密的任何有用信息。秘密共享的主要目的是阻止秘密過于集中,以達到分散風險和容忍入侵的目的,是信息安全和數據保密的重要手段,秘密共享可以實現秘密的分散保存和容錯存儲。秘密共享在容錯上的應用具有顯著的優勢和廣泛的應用前景。它不僅能夠提高系統的容錯能
19、力和安全性,還能夠為分布式存儲系統、安全協議等領域提供有力的支持。3.3 量子安全 量子安全(Quantum Safe)是一種能夠抵御量子計算等超強算力威脅的信息安全技術。隨著量子科技的快速發展,傳統的信息安全技術面臨著前所未有的挑戰,量子安全技術的出現正是為了應對這一挑戰。在數據存儲領域中,量子安全不僅能夠保障數據的機密性和完整性,提高數據存儲安全,還能夠在節省存儲空間、增強數據容錯上發揮重大作用。未來隨著量子技術的不斷進步和應用的不斷拓展,量子安全在存儲領域的作用將會更加凸顯。實現量子安全方式主要分為基于數學方法和基于物理方法兩類。3.3.1 基于數學方法 隨著量子計算的發展,其強大的計算
20、能力給當前許多經典安全協議和密碼算法帶來巨大威脅和挑戰,如 RSA、ECC 等都很容易受到量子計算的攻擊。因此,量子安全技術需要尋找新的加密方法和協議,以確保在量子計算時代的信息安全?;跀祵W難題的后量子密碼(PQC)是指這類密碼算法可以抵御已知量子計算攻擊,其安全性同樣依賴于計算復雜度,但與傳統加密算法不同的是,它們在設計時就考慮到了量子計算的威脅。這類算法或協議通過采用新的數學難題或計算模型,使得量子計算無法在短時間內破解。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 6 3.3.2 基于物理方法 基于物理方法的量子安全是指基于量子物理原理實現的經典密碼學目標的密碼技
21、術。當前最具代表性和實用性的就是量子密鑰分發(Quantum Key Distribution)技術,它能夠在通信雙方之間安全地生成和分發密鑰,而無需擔心密鑰被竊取或破解。本文涉及的量子安全內容主要是指的就是量子密鑰分發技術。量子密鑰分發(QKD)是一種利用量子力學原理保證通信安全的技術。在經典密碼學中,密鑰的安全性通常依賴于算法的復雜性和計算的難度,但在量子計算出現后,這種安全性可能受到威脅。而 QKD 利用量子力學中的不確定性原理和量子不可克隆定理等特性,提供了一種理論上無條件安全的密鑰分發方式。目前,QKD 已經在一些特定的場景和實驗中得到了應用,如金融、政府、軍事等領域的高安全通信需求
22、。隨著量子信息技術的不斷發展,QKD 有望在更廣泛的領域中得到應用,成為未來保障信息安全的重要手段之一。4 分布式云存儲應用場景 分布式云存儲作為一種靈活、可擴展且成本效益高的數據存儲解決方案,已經廣泛應用于各個領域的多方面的應用場景:比如企業的數據備份與恢復以及資源共享與協作,企業可以利用云存儲進行關鍵數據的定期備份,以防數據丟失或損壞。云備份服務提供了快速恢復數據的能力,減少了因數據丟失導致的業務中斷。比如電商平臺的商品資料存儲與客戶數據與訂單管理,電商平臺需要存儲大量的商品圖片、視頻和描述信息,云存儲提供了經濟高效的解決方案,支持商品信息的快速檢索和展示;云存儲用于存儲客戶的個人信息、購
23、買歷史和訂單數據,便于企業進行客戶關系管理和訂單處理。比如醫療行業的患者數據管理和遠程醫療服務,醫院和診所將患者的電子病歷、影像資料等敏感數據存儲在云端,可以實現數據的集中管理和安全共享。醫生也可以通過云存儲平臺訪問患者的歷史病歷和檢查結果,進行遠程診斷和給出治療建議。比如教育機構可以通過云存儲方式建議教育資源庫,可以將教學資料、課件、視頻等教育資源存儲在云端,供師生隨時訪問和學習??蒲袡C構可以利用云存儲平臺存儲實驗數據、分析結果和研究成果,促進科研數據的共享和交流。比如政府的公民信息管理,政府部門可以將公民的身份信息、社保記錄等敏感數據存儲在云端,實現數據的集中管理和安全共享。以及智慧城市應
24、用,利用云存儲為智慧城市項目提供數據存儲支持,如智能交通、環境監測等系統產生的海量數據可以通過云存儲進行高效管理和分析。下面就政務、金融、電力、廣電、航空、交通、教育、醫療等領域的幾個應用場景做個簡單介紹。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 7 4.1 應用場景介紹 4.1.1 電子政務云1 隨著人們生活水平的提高以及公共云建設的推動作用,人們對政府信息資源的獲取也越來越重要。國家也制定相應的政策減少行政審批事項,簡化相應的審批流程,為了使得居民獲得更好的服務,加快政務資源的共享成為政府重點關注的問題。在社會信息化進程不斷深入的情況下,云計算技術也在社會的相關領
25、域中得到了較為廣泛的應用,也可以說云計算技術是現代化信息技術發展到一定階段的產物。面對當前數據信息資源不斷增加的情況,云計算技術能夠有效提高相關資源的利用率,同時也會降低對用戶終端性能的要求,在政府應用領域中,以云計算技術為基礎的政務云能夠更好的幫助政府發揮相關服務的功能,并且應用也越來越廣泛。政務云是一種基于云計算技術的平臺技術框架,對于政府部門的管理和服務職能,其能夠進行有效的優化,并且還能夠有效提升政務辦理的效率和政府部門的服務水平。政務云能夠有效整合和配置政府部門的 IT 資源,對居民、企業和相關部門而言,可以將這些資源進行共享,這在一定程度上,能夠有效提高政府部門相關資源的利用率。從
26、政務云應用的方面來看,其就像處于政府部門底層的一個基礎架構平臺,能夠將傳統的政務應用進行遷移,在政務云平臺上實現相關業務的辦理,并且實現各個部門資源的共享,提高政府的服務效率和服務能力。電子政務云模型如圖 1 所示。圖 1 電子政務云模型5 電子政務云平臺采用分層框架設計,結合了傳統的應用系統設計框架和云計算數據存儲平臺,從整體上看,政務云系統的服務應用架構可以分為服務層、管量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 8 理邏輯層以及數據處理層。服務層是一種功能界面,最終呈現在用戶面前,主要包含政務公開、信息共享和網絡審批的功能;數據處理層是完成政務云中數據的存儲,并根
27、據用戶的相關請求來處理數據;管理邏輯層主要負責用戶登錄、管理、任務管理,能夠將提前設計好的功能界面呈現給用戶,用戶通過應用這個功能界面,就能夠順利的完成相關政務業務的辦理。政務云平臺的總體設計框架如圖 2 所示。圖 2 電子政務云平臺分層框架5 電子政務云平臺中應用 HDFS 分布式文件系統,對于政務云平臺中數據的存儲而言,該分布式文件系統能夠很好地實現,Web 服務器與分布式文件系統集群中的相關結點進行交互,進而能夠很好地實現數據的相關管理功能,對于客戶端而言,這還能夠開放一些應用程序接口,用戶在使用客戶端的時候,就可以直接通過 Web 服務器來實現數據的相關操作。政務云平臺的建設依靠于數據
28、中心的服務器、存儲等資源,采用大數據、云存儲、云計算等前沿科技,努力實現電子政務從低效能分散的粗放式建設向高績效協同的集約化發展模式轉變,降低了政務服務的建設成本,全面推進了跨部門、跨層級的業務協同和政務資源信息共享,有效解決了政府間的“信息孤島”問題,推動了云計算、大數據在政府管理、公共服務、決策等領域的廣泛應用,形成了具有特色的智慧政務的良好局面。注 1:本小結內容參考文獻5政務云服務化探索研究J.軟件.2019,Vol.40,No.11。4.1.2 金融科技2 隨著時代和科技的飛速發展,金融科技企業在日常的業務運營中,會產生大量信息,TB 級數據已經很常見,PB、EB 級的數據已成為趨勢
29、。通過搭建 Hadoop大數據平臺,對金融科技企業海量數據實施分布式存儲,可以提高數據存儲性能和數據安全性,為企業節省數據存放成本。海量的業務數據,再加上許多非結構化的數據,傳統的關系型數據庫已經不能滿足存儲需求。數據的安全性也非常重要,如果數據僅存在于某個數據庫或者某臺機器,安全性達不到要求,那么數據的共享程度也不高。為解決這些問題,可以通過在多臺大容量 Linux 服務器上部署 Hadoop 大數據平臺,搭建 HDFS 分量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 9 布式集群環境,對數據文件進行分布式處理,能提高數據的存儲效率、安全性、可靠性。在 Hadoop 大
30、數據平臺上,構建 Hive 數據倉庫,在 Hive 數據倉庫中對海量結構化數據進行分析,能滿足大數據分析的需求。金融科技企業的大數據 Hadoop 平臺可以為企業發展的提供技術保障,通過大數據平臺,也可以對大數據進行分析,挖掘數據潛在的商業價值,進一步推動金融科技企業良好有序發展,為社會創造更大的價值。金融科技企業分布式存儲架構如圖 3 所示。其中包括三大核心組件:HDFS、MapReduce 和 Yarn,分別發揮著各自的功能和作用。圖 3 金融科技企業分布式存儲架構6 其中,HDFS 是分布式文件系統,主要將文件分布式存儲在多臺服務器上;MapReduce 是并行計算編程框架,其作用主要是
31、在多臺服務器上實現并行運算;Yarn 是分布式資源調度平臺,主要是幫助用戶調度大量的 MapReduce 程序,并能夠合理地分配分布式運算資源。在 Hadoop 系統架構中,HDFS 是 Hadoop 生態系統的分布式文件系統,主要負責數據的切片與分布式存儲。HDFS 可以提供高吞吐率的數據訪問服務,在超大數據存儲上的應用最為廣泛。注 2:本小結內容參考文獻6大數據分布式存儲技術在中小型金融科技企業的應用與推廣J.中國管理信息化.2021,Vol.24,No.11。4.1.3 電力行業3 在電力行業中傳統存儲方式應用范圍最廣的是 SAN 和 NAS。SAN 主要用于存儲結構化數據的場景,如數據
32、庫部署。NAS 相對應用較少,主要用于非結構化數據歸檔等。隨著當前電力數據急劇膨脹的情況下,集中式存儲存在擴充容量困難、存取性能低下、運行維護成本過高等問題,目前大多轉型分布式存儲。分布式存儲的實現方式是通過網絡整合多個節點的存儲資源,構成一個統一整體的數據存儲方式、技術和系統。參照分布式架構的 CAP 理論,系統無法同時滿足可用性(Consistency)、一致性(Availability)和分區容忍(Partition tolerance)量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 10 三個特性。向較于互聯網公司主要存儲的是類似圖片、視頻、文件等非結構化數據,其分
33、布式架構更關注于可用性和分區容忍,少量文件的不一致或丟失不會影響系統整體可用的應用需求,電力行業是數據一致性要求極高的關系型數據庫應用場景。一方面需要存儲節點故障時必須保證不影響系統的繼續使用,另一方面要求整個存儲系統必須具備高可用性。如圖 4 所示,電力存儲系統框架采用目前流行的開源分布式存儲 CEPH,底層使用 RADOS 對象存儲,客戶端塊存儲 IO 請求時,I/O 路徑包括:LibrbdNetworkingOSDFileSystemDisk,分布式存儲系統的性能表現基本能滿足需求。圖 4 電力分布式存儲 CEPH 框架7 電力分布式存儲系統主要采用副本方式來避免節點異常產生的數據丟失,
34、廠商建議和默認副本數為 3,雖然支持精簡配置,用戶也可自行設定副本數量或數據一致性強度,但事實是副本數越多磁盤利用率越低。從信息技術發展來看,分布式架構存儲系統較傳統存儲系統具備先進性。隨著硬件技術的不斷發展和系統解耦的不斷深化,分布式架構和硬件重構在未來存儲系統中存在更多發展可能。電力行業信息技術也在不斷發展,未來的電力存儲系統也需要能深入契合行業應用特點,開拓創新。注 3:本小結內容參考文獻7電力行業分布式存儲應用研究J.自動化與儀器儀表.2016,Vol.1。4.1.4 廣電 CDN4 廣電 CDN,即廣電系統的內容分發網絡(Content Delivery Network),是廣電行業
35、為了提升用戶體驗、解決網絡擁塞問題而采用的一種關鍵技術。它是在Internet 上建立的一張面向業務內容的分發網絡,該網絡能夠實時地根據網絡流量、網絡負載狀況、服務器與用戶的距離,以及服務請求的響應時間等一系列信量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 11 息,調整用戶的服務中心,將用戶的請求引向離用戶最近的服務中心,從而使用戶可以就近取得所需的內容。當前,分布式云存儲的主要技術方案包括 Ceph 和 Swift。Ceph 支持塊存儲、文件存儲和對象存儲;Swift 僅支持對象存儲,不支持塊存儲和文件存儲,如要支持對象存儲相關應用,需要進行接口對接,部分應用需要重新
36、開發。為滿足不同應用的存儲要求,貴廣網絡選擇 Ceph 作為云存儲的主要技術方案?;?Ceph 的分布式云存儲通過在通用服務器上部署分布式存儲軟件,構建一個開放、可擴展的對象存儲系統,其主要由硬件集群層、核心存儲系統層、接口層以及應用層組成,系統架構如圖 5 所示。圖 5 廣電 CDN 分布式云存儲架構8 廣電分布式云存儲系統采用 3 副本機制來保證數據的可靠性,即將存儲數據切分成固定大小的數據對象,每一個數據對象被復制為 3 個副本(1 個主用副本和 2 個備用副本),然后按照一定的分布式存儲算法將這些副本保存在集群中的 3 個不同節點。分布式云存儲除了適用于 CDN 存儲以外,也適用于廣
37、電行業媒資系統存儲、BOSS 用戶影像數據存儲、配置備份文件以及日志存儲等應用場景。注 4:本小結內容參考文獻8分布式云存儲在廣電 CDN 中的應用J.廣播電視網絡.2023,No.6。4.1.5 航空電子系統5 當今的航空電子系統已發展為分布式綜合化航空電子系統,由專用的大容量存儲模塊負責數據的存儲,其他模塊通過機載總線從大容量存儲模塊中獲取或記錄數據。因此,對于航空電子系統的分布式存儲技術的研究是十分有必要的。綜合化模塊化航空電子系統由可更換的 LRM 模塊組成,其中包括網絡交量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 12 換模塊、圖形圖像模塊、輸入輸出模塊、數據
38、處理模塊、電源模塊和大容量存儲模塊,模塊之間通過高速的機載總線相連。大容量存儲模塊提供數據存儲服務,其他模塊通過機載總線訪問存儲在大容量存儲模塊上的數據,如圖 6 所示。圖 6 航空電子系統分布式文件存儲系統架構9 大容量存儲模塊作為服務器,數據是完全相同的。由主服務器提供數據的訪問服務,其他服務器作為備份。航空電子系統的云存儲模型是將客戶端訪問大數據的任務分解成多個較小的子程序,各個子程序通過網絡向遠程的服務器請求數據的讀寫;每個服務器為任務提供部分數據;客戶端的讀寫任務最終將子程序讀寫結果綜合,向用戶提供最終的讀寫結果。通過云存儲技術,能為航空電子系統提供高速的數據存取服務。航空電子系統的
39、云存儲工作原理如圖 7 所示。圖 7 航空電子系統云存儲工作原理9 在云存儲系統中,數據在服務器上的存儲不再以完整的形式存在,而是被劃分成許多的區塊,并使用鏈條的形式串聯起來。每個數據塊在兩個或者多個服務器上都有存儲,避免單服務器故障導致數據丟失,可以由多臺服務器同時為用戶提供數據訪問服務,提高了數據訪問的速度。云存儲系統的數據存儲原理如圖 8所示。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 13 圖 8 航空電子系統云存儲的數據存儲9 為了避免單服務器故障造成數據丟失和提高數據的訪問速度,同一個數據塊必須在兩臺或兩臺以上的服務器上同時部署,避免單臺服務器故障造成服務器
40、的數據塊丟失。航空電子系統的云存儲架構是將訪問數據的任務進行多機分解,由多臺遠程服務器協同工作,為系統提供快速的數據訪問服務。注 5:本小結內容參考文獻9航空電子系統的云存儲技術研究J.電光與控制.2022,Vol29,No.3。4.1.6 鐵路綜合視頻監控6 隨著大數據、云計算、物聯網等技術的快速發展,鐵路綜合視頻監控系統規模迅速擴大,現有視頻圖像系統的規模、架構、系統應用已不能滿足新形勢的要求,鐵路綜合視頻云存儲系統的搭建勢在必行。云存儲則是一種云狀結構的存儲系統,通過集群應用、分布式文件等技術,將網絡中不同類型的存儲設備集合進行協同工作,并通過協議接口對外提供業務訪問和數據存儲備份等工作
41、。云存儲技術能夠很好地處理數據冗余和復制,具有良好的可擴展性,可以有效節約成本,提高部署效率。相比于僅含有硬件資源的傳統存儲,鐵路綜合視頻監控云存儲系統架構見圖 9。云存儲系統集合了網絡設備、存儲設備、服務器、公網訪問接口和用戶客戶端程序等多個部分,其功能結構可分為三層:第 1 層為存儲層,可以由多種不同類型的存儲設備構成,由一個統一的管理平臺進行管理,用于實現設備虛擬化、多鏈路冗余優化和設備狀態監控及維護;第 2 層為基礎管理層,是最核心的部分,通過集群、網格計算和分布式文件系統,實現存儲設備的協同工作,提供良好的設備訪問性能,并通過內容分發系統、數據加密技術和多種備份容災措施,保證數據的安
42、全性、完整性和穩定性;第 3 層為應用接口層,對外提供各種應用服務。系統采用的是分布式存儲 Ceph 框架,Ceph 是一個高度集成的框架,將云存儲需要的各個層級進行整合,主要由基礎管理層的監視器設備、元數據存儲設備和存儲層的對象存儲設備構成。其中,對象存儲設備負責對數據進行存儲、復量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 14 制、轉發和恢復,并定時上報給監視器設備;監視器設備負責對集群進行檢測維護,對集群中的成員進行管理,并對成員屬性相關的信息進行分發,當有新的數據需要進行存儲時,會根據對象身份信息和當前存儲狀態分配存儲地址;元數據存儲設備主要針對于文件存儲,一般
43、情況下不使用。圖 9 鐵路綜合視頻監控云存儲系統架構10 除了直接訪問外,Ceph 還提供了 Radosgw(對象存儲接口)、Rbd(Rados 塊存儲)、CephFS(文件系統)等存儲接口。Ceph 存儲容錯通常采用多副本備份或糾刪碼技術方式。隨著日益升級的智慧鐵路建設,綜合視頻監控網絡化、高清化、智能化開始普及,視頻數據的深度應用成為系統發展的未來導向,如何有效存儲和高效使用大量視頻監控數據,成為了新的研究對象。為此,將云存儲、云計算技術引入到鐵路綜合視頻監控系統中來,適應鐵路發展的潮流。云存儲的推廣和應用,可從容量、成本、空間可擴展性、服務可用性、接口通用性、數據可靠性等多個角度,提升綜
44、合視頻監控存儲及應用的質量和效率。注6:本小結內容參考文獻10 鐵路綜合視頻監控系統云存儲技術應用研究 J.鐵道通信信號.2021,Vol.57,No.9。4.1.7 車聯網7 隨著車聯網體系逐漸成熟,信息存儲量也呈指數增長并且信息類型復雜程度增大。因此,在車聯網系統中,可靠的數據存儲和高效的數據處理是必不可少的。結合車聯網數據在實際應用中的特點與需求,為實現海量車聯網數據存儲和處理目標,同時滿足系統對穩定性、實時性和高效性的要求,構建的以分布式存儲和處理為主的車聯網數據分布式系統總體架構如圖 10 所示,系統劃分為數據存儲層,數據處理層和應用層。量子科技產學研創新聯盟 基于量子安全的分布式容
45、錯云存儲應用場景研究 15 圖 10 車聯網數據分布式系統架構11 其中基于 HDFS 架構實現的高度容錯的分布式文件系統,能夠提供極高吞 吐量的數據訪問,適合用于海量車聯網離線數據的存儲,基于 HDFS 的車聯網數據分布式存儲架構如圖 11 所示。圖 11 基于 HDFS 的車聯網數據分布式存儲架構11 注 7:本小結內容參考文獻11 海量車聯網數據分布式存儲處理系統的設計與實現C.福建省電機工程學會論文集.2020.6。4.1.8 氣象數據8 近年來,隨著氣象業務的不斷發展,各類氣象探測數據和氣象產品數據的規量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 16 模都呈現
46、出快速增長的態勢,這不僅體現在數據種類上,也體現在數據的覆蓋范圍、數據的傳輸頻次以及數據應用與分析規模上。氣象數據具有以下幾個顯著特點:1)觀測數據實時存儲和長序列大數據集的歷史存儲需求并存;2)觀測數據和產品數據具有并發特性,即數據的存儲和數據的訪問都會按照固定時次出現峰值;3)數據種類多,內容復雜,結構化(如自動氣象站數據)與非結構化數據(如雷達、衛星等)共存;4)數據不間斷,全天候產生?,F有的氣象信息系統多采用關系型數據庫和文件系統相結合的數據管理構架,在有限數據規模情況下可正常運行,但當數據總量始終處于不斷擴大的狀態時,這種傳統的集中式存儲架構對于系統的高冗余性、高可擴展性、高并發性和
47、高可用性等方面的需求就會越來越力不從心。與集中式存儲相對的是分布式存儲,它并不是將數據存儲在某個固定的節點上,而是將數據分散存儲于多臺獨立的設備上,使這些設備共同分擔存儲負荷,它不但解決了傳統集中式存儲系統中單存儲服務器的瓶頸問題,還提高了系統的可靠性、可用性和擴展性?;?HDFS 的氣象數據分布式云存儲存儲系統架構如圖 12 所示。圖 12 基于 HDFS 的氣象數據分布式云存儲架構12 基于 Hadoop 的 HDFS 架構分布式存儲系統具備高吞吐量、高并發、高容錯性、高可靠性、低成本等優點,可滿足實現氣象數據分布式存儲的技術要求,適用于氣象數據中典型的非結構化數據,對于解決氣象數據目前
48、所面臨海量擴張、高并發讀寫、長序列大數據集數據檢索效率等問題有著重要的意義。注 8:本小結內容參考文獻12 基于 Hadoop 的氣象數據分布式存儲技術研究 J.信息技術.2022,No.1。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 17 4.1.9 高校數據中心9 隨著高校信息化的發展,高校各種業務數據越來越多,原有的傳統的專用存儲雖然能滿足數據存儲的要求,但隨著學校各種業務數據的急劇上升,如教學網絡平臺生成的課件和學生的作業,校園云平臺上快速增加的虛擬機等這些都需要大容量,高可用性,擴展能力強的存儲系統,專用存儲越來越無法滿足這些要求。以學校數據中心為例,由于學校
49、部署了校園云自助服務平臺和網絡教學平臺,每年的業務數據增量很大因此每年都要采購專用的存儲來滿足需求,然而這些專用存儲不僅價格昂貴,而且不便于擴展。由于采購的因素限制,學校每次采購的專用存儲可能型號不一,導致現有的存儲系統之間管理方式不兼容,存儲 I/O 帶寬也無法線性擴展,同時配置也很繁瑣。專用存儲系統可用性和數據持久性不能滿足學校教學網絡平臺和校園云平臺的需求,一旦存儲控制器故障和硬盤災難性損壞,數據將不無法保證可用性?;?OpenStack Swift 架構的云存儲技術具備高可用性,擴展性強,成本低等優勢,通過 Swift 架構組建的校園分布式云存儲平臺,可解決上述學校數據中心所面對的問
50、題?;?Swift 存儲技術的校園云存儲體系架構如圖 13 所示。圖 13 基于 Swift 存儲技術的校園云存儲體系架構13 Swift 面向對象的高可用分布式存儲最初由 Rackspace 公司開發,后來作為核心子項目被貢獻給 OpenStack 開源社區。部署 Swift 分布式面向對象存儲只需要廉價的標準服務器和硬盤,并且硬盤無需組建 Raid 也可以保證高可用性。Swift 通過在軟件層面引入一致性環形 Hash 散列技術和數據冗余備份機制來提供強大的擴展性、冗余和高可用性。傳統存儲的單點故障一直是困擾數據中心管理人員的難題,而 Swift 架構不存在單點故障,可用性高。Swift
51、 架構中并沒有單獨的元數據節點,所有元數據信息都均勻分布在所有節點上,并且存有副本,這樣任何一個節點故障都不會影量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 18 響到整個存儲系統的正常運行。該體系結構在線擴展性強,數據存儲容量和性能擴展不受限制,無單點故障,可用性高,無需采購專用存儲系統設備,采購成本低,能解決高校數據中心使用專用存儲所面對的難題。注 9:本小結內容參考文獻13 基于 Swift 云存儲技術在高校數據中心的應用 J.信息技術.2016.No.7。4.1.10 醫療大數據10 近年來,隨著信息技術飛速發展,醫療與醫學研究領域正步入大數據時代,醫療數據的日增
52、長量達到了 TB 級別。海量的醫療數據蘊含著巨大的價值,構建醫療數據存儲平臺,實現數據的統一存儲與檢索,有利于不同醫療機構之間共享數據。醫療數據屬于大數據,具有數據來源復雜、結構多樣、規模巨大、增長迅速、多模態性等特點。其中,多模態性包括二維數據、圖像、視頻、文本文檔等。然而,在當前醫療服務業務中,獲取數據的實時性、存儲設備的可靠性及數據分析的準確性仍是亟待解決的三大問題。傳統關系型數據庫無法存儲非結構化數據且受到單機性能限制,無法滿足數據存儲的需求。而分布式技術以其低成本、高可靠、大容量等優點在存儲領域得到廣泛應用,為存儲海量醫療數據提供了新思路。Apache Hadoop 是一款主流支持海
53、量數據存儲與處理的分布式系統,包括 Hadoop File System(HDFS)、MapReduce、Hadoop DataBase(HBase)等重要組件。其中,HDFS 是 Hadoop 系統數據存儲和管理中心,具有高容錯性、高效寫入等特點。其集群包括 NameNode 和 DataNode 兩大組成部分,NameNode 負責管理文件系統的元數據和 DataNode 節點,DataNode 是文件系統的實際工作節點,負責存儲和檢索數據,并定期將存儲的塊信息發送給 NameNode?;?HDFS的醫療大數據存儲架構圖如圖 14 所示。量子科技產學研創新聯盟 基于量子安全的分布式容錯云
54、存儲應用場景研究 19 圖 14 基于 HDFS 的醫療大數據存儲架構圖14 分布式技術可實現醫療數據的統一存儲與查詢,但目前研究仍然存在一些問題。例如,醫療數據中包含大量患者隱私信息,而目前的存儲方案均未很好地考慮數據隱私保護問題。注10:本小結內容參考文獻14 分布式醫療大數據存儲方案研究綜述 J.軟件導刊.2022,Vol.21,No.4。4.2 應用場景總結 綜合以上介紹的各領域的多個應用場景可以看出,當前實現分布式云存儲的架構技術主要包括 DHFS、Ceph 和 Swift。我們分別介紹如下:4.2.1 DHFS 架構11 HDFS(Hadoop Distributed File S
55、ystem)是 Hadoop 項目的核心子項目,是專為大數據環境設計的分布式文件系統,HDFS 分布式云存儲架構如圖 15 所示。圖 15 HDFS 分布式云存儲架構15 HDFS 架構采用 Master/Slave 方式,主要包括客戶端(Client)、NameNode(NN)、DataNode(DN)和 Secondary NameNode(SNN)四個核心組件??蛻舳耸怯脩襞c HDFS 交互的接口。它負責將文件切分成多個數據塊(Block),與 NameNode 交互獲取文件的位置信息,以及與 DataNode 交互進行數據的讀寫操作??蛻舳诉€提供了一些命令來管理 HDFS,如啟動或關閉
56、 HDFS,以及通過命令訪問 HDFS。NameNode 是 HDFS 的管理者,也被稱為元數據節點。它維護著整個 HDFS的命名空間(文件目錄樹)和數據塊映射信息。NameNode 管理 HDFS 的名稱空間,包括文件名、目錄結構,管理數據塊映射信息及副本信息,即文件被分割成的數據塊及其存儲位置以及處理客戶端的讀寫請求,指導客戶端如何與DataNode 交互。NameNode 是整個 Hadoop 集群中至關重要的組件。DataNode 是實際存儲數據塊的節點,是 HDFS 中的從節點(Slave),負責存儲實際的數據塊,并根據 NameNode 的命令執行數據塊的讀寫操作。周期性地量子科技
57、產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 20 向 NameNode 發送心跳信息和塊信息,報告自身的狀態和數據塊信息。與其他DataNode 同步數據塊,以達到數據副本數的要求。Secondary NameNode 主要是輔助 NameNode 進行元數據的合并操作。通過數據塊多副存儲方式,DHFS 架構具備高容錯性,同時 DHFS 架構還具備高擴展性(可動態擴展集群節點)、適合大數據處理、低成本運行等優點。DHFS 架構不適合低延時數據訪問、小文件存取、并發寫入和文件隨機修改等場景。作為主流架構之一,HDFS 架構可以為大數據環境提供高效、可靠的數據存儲解決方案。注 11
58、:本小結內容參考文獻15關于分布式存儲應用于智慧廣電建設的探討J.西部廣播電視.2022,No.1。4.2.2 Ceph 框架12 Ceph 是一種性能優越、可靠性高的分布式云存儲系統,也是當前熱門的開源云存儲架構之一,具有良好的可擴展性,可輕松擴展至 PB 級。Ceph 作為開源項目,從最初發布到逐漸流行,已經發展了近十年。當前在 Openstack 社區,Ceph 是最受歡迎的開源存儲項目,且國內外知名廠商如 Intel、Cisco、Dell、華為等,均采用 Ceph 作為存儲方案。與 HDFS 的間接通信不同,Ceph 不存在中心節點,Ceph 是典型的完全無中心架構,不同于傳統的存儲架
59、構,沒有主控制器,因此擴展性較高,并且整體集群性能會隨著節點數量的增加而線性增長。Ceph 使用 CRUSH 算法是一種基于隨機分布、復制的選擇算法,可以很好地實現集群容災域隔離、數據的副本規則,以及跨機架、機房的感知等。Ceph 集群中可以自定義數據的副本數量,并支持指定副本數據存儲在不同物理節點及故障域上,在單節點或單機架發生故障時,Ceph 通過 CRUSH 算法對損壞的數據在其他正常運行的節點進行自動重建,從而保持數據的高可用。Ceph 作為主流的分布式統一存儲技術,支持塊存儲、文件存儲、對象存儲三種接口,并且可以在一個集群內劃分不同存儲池分別掛載三種系統同時使用?;?Ceph 分布
60、式云存儲架構如圖 16 所示。底層為 RADOS(Reliable Autonomous Distributed Object Storage)集群,由大量的存儲節點組成對象存儲系統。當 Ceph 集群數據讀寫時,CRUSH 算法先確定存儲位置,RADOS 再以對象的形式將數據存儲在集群內,確定對象狀態一致性?;A庫 LIBRADOS 層對RADOS 層的對象進行封裝,對上層提供完整的應用訪問接口,用戶不用關心底層 RADOS 的邏輯,在 Ceph 上直接調用 LIBRADOS 層 API 進行開發即可。LIBRADOS 層之上為應用接口層,提供 RBD、CephFS 和 RadosGW,分別
61、對應塊設備、文件系統、對象存儲的應用,使 Ceph 集群可以同時滿足不同業務需求場景。應用層適用于不同外部需求的應用訪問,例如兼容 S3 和 Swift 接口協議量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 21 的對象存儲訪問,基于 RBD 的云主機訪問和基于 CephFS 的文件存儲等。圖 16 基于 Ceph 分布式云存儲架構16 隨著分布式存儲技術的日益成熟,傳統存儲業務應用部署已經向分布式存儲上遷移。從項目實際建設總結,基于 Ceph 的分布式存儲架構具備高可靠性和高可用性,以及豐富的數據訪問方式,可提高了集群存儲效率,節約了項目建設成本,是分布式數據存儲較好方
62、案。注 12:本小結內容參考文獻16基于 Ceph 的云存儲系統的設計與實現D.電子科技大學.2023.06。4.2.3 Swift 框架13 作為云存儲系統之一的對象存儲系統 Swift 框架具有擴展性強、無單點故障、簡單可靠等特性,因其能夠較好的滿足海量數據存儲的需求而被廣泛應用。Swift 分布式存儲系統最初是由 Rackspace 公司開發的項目,該公司在 2010 年將其貢獻給 OpenStack 開源社區作為子項目之一,十余年間,基于 Swift 框架的技術研究也在不斷發展進步。Swift 存儲系統是云環境下的分布式對象存儲系統,它向用戶提供整個對象的訪問,不提供對原始數據塊的訪問
63、服務或基于文件的訪問。在 Swift 存儲系統中,用戶可以通過類似基于 HTTP 協議的 URL 的 Swift URL 對系統進行操作,類似于使用瀏覽器訪問 web 服務器。對象存儲不直接提供數據的存儲位置,而是將其抽象成 URL,在擴展系統規模時,不影響數據的存儲位置,使得對象存儲能夠在較低成本下實現大規模和高并發。隨著系統規模的和擴大,對象存儲系統仍然能夠提供單一的命名空間,且不需要將數據分塊存儲到不同位置,用戶不需要關心底層存儲系統的情況,極大的減少了運維成本。Swift 存儲系統的總體結構可以分為兩層:訪問層和存儲層。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究
64、 22 訪問層主要包括代理服務、認證服務和緩存服務。代理服務對外提供對象服務 API,作為客戶端與后端存儲服務的橋梁,并轉發客戶端請求至相應的賬戶、容器或對象服務;認證服務提供用戶身份信息的認證和授權;緩存服務緩存令牌、賬戶和容器信息,可以提高數據訪問速度,減少后端存儲服務的壓力。存儲層由存儲服務器組成,負責存放實際數據。容器服務提供容器元數據和統計信息;對象服務提供對象元數據和內容服務,每個對象以文件形式存儲在文件系統中。復制服務負責檢測本地副本和遠程副本是否一致?;?Swift 分布式云存儲架構如圖 17 所示。圖 17 基于 Swift 分布式云存儲架構17 Swift 的架構設計充分
65、考慮了分布式系統的復雜性和挑戰,通過合理的組件劃分和高效的數據管理機制,實現了高可用、可擴展和容錯的云存儲服務。無論是從邏輯架構還是物理部署架構來看,Swift 都展現出了其作為云存儲解決方案的強大實力和靈活性。注 13:本小結內容參考文獻17基于 Swift 的存儲技術優化與研究D.四川大學.2021.04。4.2.4 總結及改進思考 當前主流的幾種存儲架構技術有著各自的特點:(1)HDFS HDFS 架構適合存儲大文件,如 G 級、T 級文件。HDFS 通過元數據進行文量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 23 件管理,元數據包括目錄信息和存儲塊信息,是占用管
66、理節點 NameNode 內存的,如果應用于小文件的存儲,會產生大量的元數據,耗費內存,導致系統性能下降。HDFS 適合低頻寫入,并行讀取。HDFS 一次只允許寫入單個文件,不支持動態修改文件,要求讓文件一次寫入就不再變化,要變化只能在文件末尾添加內容。HDFS 適用廉價 PC 設備。多副本的存在提高了存儲的容錯和恢復機制,使得 HDFS 可以應用于普通的 PC 設備上,相較于傳統的中心式存儲,降低了對單機設備的硬件要求。存儲的文件類型上,文件存儲適用 HDFS。(2)Ceph 支持小文件的存儲。在 Ceph 中,條帶設置通常為 KB 級別,而 HDFS 對應的塊大小默認為 64 MB。支持并
67、發寫入。區別于 HDFS,Ceph 支持多個并發寫入。Ceph 通過 CRUSH 算法運算 PGID 找到適合存儲的 OSD(數據存儲單元),完成數據的寫入,一份數據寫多個副本。保持數據的強一致性。設讀操作需要讀取的節點數為 R,寫操作需要更新的節點數為 W,數據復制的份數為 N。在 Ceph 中 R+WN,讀寫操作的節點存在交集,保證了數據的強一致性(CAP 理論)。統一存儲(塊/對象/文件統一體)適用 Ceph。(3)Swift 支持無單點故障。Swift 的元數據的存儲地址每個節點的地位是平等的,處理存儲的方式是一致的,保證了其具有強大的容錯性。相較于 HDFS 中的單一故障點 Name
68、Node,Swift 具有更好的容錯能力。擴展性。Swift 的架構是完全對稱的,可以通過新增設備來實現線性提升,系統會自動處理數據遷移,使各服務節點達到新的平衡。數據強一致性。Swift 默認配置是 N=3,W=2,R=2。這里 R=2,代表同時讀取兩個節點的元數據,然后比較時間戳以確定新舊版本。如果兩個節點的數據出現差異,后臺進程會進行數據同步,確保數據的強一致性。對象存儲適用 Swift。綜合上述,可根據應用場景和具體的存儲需求選擇部署適合的存儲架構。幾個主流的分布式云存儲系統框架也都存在共性,比如分層設計,并且分層結構基本一致,各層都提供對外接口,各層中功能模塊化等通用特性,這就使得對
69、基于這些分布式云存儲系統框架而實現的應用系統進行二次開發和優化提供了可能。5 基于量子安全的分布式容錯云存儲 5.1 需求分析 隨著云計算技術的發展,數據存儲也已進入云存儲時代,分布式云存儲是數據存儲的研究熱點之一。然而,隨著越來越多的個人和企業將敏感信息委托給云服務,數據安全和隱私變得至關重要。數據泄露或未經授權訪問的潛在后果是嚴重的,從經濟損失到聲譽損害。面對眾多的網絡威脅和復雜的攻擊技術,需要強有力的安全措施來應對防范這些風險。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 24 傳統數據安全云存儲也一直存在著數據保密強度不夠、數據傳輸和存儲資源消耗大、用戶對數據的管
70、控能力不足等問題。數據的私密保護、完整可用以及可管可控一直是數據存儲的重中之重。如何更高效更安全地存儲數據已經成為云存儲最為關注的問題。我們一直從事量子安全方面的研究,在量子技術尤其是 QKD 具有深厚的積累。我們希望探索除了將 QKD 應用于傳輸安全之外,是否能夠給社會提供更豐富的量子安全服務,比如在數據存儲、數據處理等方面也提供量子安全的能力。研究課題的內容包括如下幾個關鍵詞,同時這也是滿足項目研究需求的幾項目標:1.基于量子安全:方案采用量子隨機數和量子密鑰分發技術實現密鑰的量子安全,使用對稱密碼算法實現算法的量子安全。2.分布式云存儲:云存儲可滿足數據存儲的成本效益、可擴展彈性、靈活訪
71、問與共享等要求。數據的分布式存儲,減少單個節點故障或被攻擊的風險影響,增強數據的完整性和可用性。3.容錯存儲:增加數據冗余備份,增強數據的完整性和可用性。4.安全可控:通過技術手段保證密鑰和保護數據的安全性,同時增強對密鑰和保護數據的管控性。5.2 方案設計 我們項目研究目標是實現一種更安全、更高效可靠的基于量子安全的分布式容錯云存儲方案,用于滿足各個行業分布式云存儲應用場景。更安全實現途徑:量子安全,秘密共享。更高效可靠實現途徑:分布式,糾刪技術,數據容錯,冗余存儲。5.2.1 量子安全保證數據的機密性 加強數據云存儲安全的一個十分有前景的研究方向就是利用了量子通信技術的潛力。量子通信特別是
72、量子密鑰分發(QKD),提供了以量子力學基本原理為基礎的安全通信模式。我們希望探索除了傳輸安全之外,是否能夠給社會提供更豐富的量子安全服務,比如數據存儲、數據處理等方面,也提供量子安全的能力。加密密鑰來源于量子密鑰分發網絡和本地量子隨機數,實現信源與傳輸通道的量子安全。整體上實現基于量子安全的一體化分布式云存儲安全方案。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 25 5.2.2 糾刪技術實現數據的完整性與容錯性 為保證數據可用性,數據容錯機制對于保證云存儲可靠性十分關鍵。目前最廣泛使用的是副本冗余策略,如 GPFS,HDFS,GlusterFS,Ceph 等都提供這種
73、副本冗余容錯策略。另一種容錯機制是糾刪碼技術。相較于副本鏡像備份存儲方式糾刪碼技術可以大大減少了存儲成本。糾刪技術是一種實現數據冗余存儲的技術,從而實現數據的完整性和容錯性。糾刪技術的原理基于信息冗余和容錯編碼思想。具體來說,就是把原始數據分割成多個數據塊,然后通過編碼矩陣計算得到冗余塊,這些數據塊和冗余塊分散存儲在不同的位置,比如不同磁盤、存儲節點或者其它地理位置,以實現更安全的冗余存儲。糾刪技術具備高容錯、可擴展、高效率等特點。通過較小的冗余塊實現高可靠的數據恢復。調整冗余度,可以適用不同備份存儲要求。糾刪碼之前在通信中應用廣泛,這些年被高度關注在分布式云存儲應用中,糾刪碼技術在分布式云存
74、儲中的應用會越來越廣泛。5.2.3 秘密共享增強用戶對密鑰的分散存儲及數據的管控 密鑰尺寸相較與加密數據是非常小的,這非常適合采用 Shamir 秘密共享機制對密鑰實施保護和分散存儲。密鑰分為認證密鑰和數據加密密鑰,我們用認證密鑰保護數據加密密鑰,然后對認證密鑰實施 Shamir 秘密共享,并對生成的份額進行分散存儲。只要保證外部分散存儲的份額總額不足于閾值,密鑰就是絕對安全的。用戶保留的既不是數據加密密鑰,也不是認證密鑰,而是認證密鑰的部分份額,這樣大大降低了用戶保存密鑰的安全等級和風險,也大大增強了密鑰的安全性。秘密共享技術不屬于云存儲方式,它本質上是一種將秘密分割存儲和安全共享的方法,具
75、備信息論安全性特點。通過秘密共享,也可以實現用戶(單用戶和多用戶應用場景)通過對密鑰份額的分發而實現數據共享,從而實現數據擁有者對加密數據的管控。5.3 技術路線實現 本方案考慮融合當前可用的技術,如采用公認的信息論安全的密鑰分發技術(QKD)和公認的量子安全的加密算法(對稱密碼算法),信源和信道加密密鑰來源于量子密鑰分發網絡和本地量子隨機數,實現高安全的數據機密性和傳輸信道間的隔離性,確保信源及傳輸安全。方案整體上實現基于量子安全的一體化分布式云存儲安全。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 26 2021 年,日本團隊曾發布過一篇關于采用 Shamir 秘密共
76、享的量子安全分布式數據云存儲方案,并在東京 QKD 網絡上運行演示驗證2,包括這個日本團隊在其他研究文獻里的一些工作13,方案均采用 Shamir 秘密共享方法處理保護數據。這種處理方式需占用大量的云存儲空間資源,極大地限制了方案的實用性。我們對于采用 QKD、Shamir 秘密共享、糾刪處理等多方面技術如何與分布式云存儲如何有效融合利用進行了研究。Shamir 秘密共享機制更適用于密鑰的分散存儲,而對于加密數據采用糾刪方案或鏡像備份方式實現冗余存儲更合適。5.3.1 三種存儲方案的比較14 秘密共享、鏡像備份和糾刪碼技術三種存儲方案有各自特點,從數據機密性、數據可用性和存儲效率三個角度分析如
77、下:首先,從數據機密的角度來看:假設源數據是加密的,加密算法是安全的,不能通過量子計算等方法破解,那么三種方案的安全性是相同的。如果數據源未加密,則三種方案的保密性存在差異。設單個存儲節點的數據泄漏概率為 p(p1)。在鏡像方案中,完全數據泄露的風險是 p 乘以副本數量,以復制 3 個副本為例,這意味著風險將至少增加到 3*p。在基于秘密共享和基于糾刪碼方案中,設 k 是閾值,n 是數據塊的總數。數據完全泄漏的風險是,在 p 較小的情況下,秘密共享和糾刪方案都具有優勢,秘密共享方案中的每個數據塊都具有不泄露部分信息的信息論安全性,而沒有源加密的糾刪方案會泄露每個數據塊的部分信息。因此,從數據機
78、密性的角度來看:秘密共享方案糾刪碼方案鏡像備份方案。從數據可用性的角度來看:設單個存儲點損壞的概率為 q(q1)。在鏡像備份方案中,數據不可用的概率是 q*備份數。在秘密共享和糾刪碼方案中,數據不可用的概率為,這意味著超過 n-k 個存儲點損壞的所有可能情況的總和。因此,鏡像備份方案的魯棒性強于秘密共享和糾刪碼方案。因此,從數據可用性的角度來看:鏡像備份方案糾刪碼方案=秘密共享方案。從存儲效率的角度來看:鏡像備份是數據的完全拷貝復制,秘密共享并不會減少秘密份額的尺寸,而糾刪碼方案只會增加一些冗余塊尺寸,存儲空間利用率高。因此,從存儲效率的角度來看:糾刪碼方案鏡像備份方案秘密共享方案。三種存儲方
79、案比較見表 1 所示。表 1 三種不同云存儲方案的比較4 數據機密性 數據可用性 存儲效率 鏡像備份方案 秘密共享方案 糾刪碼方案 注 14:本小結內容參考文獻4Quantum-secure fault-tolerant Distributed Cloud Storage SystemJ.AIP Advances 13,115309(2023)。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 27 5.3.2 基于量子安全的分布式容錯云存儲架構 方案在現有的分布式數據云存儲系統(諸如 DHFS/Ceph/Swift 等)基礎上,主要關注三個方面的改進和增強:在上層應用的密鑰
80、管理上加入秘密共享機制以實現密鑰的保護、分散存儲及權限分配;在系統層數據存儲上選擇以糾刪技術為主或以糾刪碼和鏡像備份相混合策略的容錯存儲策略,實現數據容錯機制。系統整體上支持基于量子的安全保障,QKD 網絡通過系統各層接口為分布式數據云存儲系統提供安全密鑰,在系統的各個層間傳輸實現 QKD 安全通道,實現應用數據安全、數據傳輸安全和數據傳輸通道間的隔離?;诹孔影踩姆植际饺蒎e云存儲架構如圖 18 所示。糾刪碼或混合策糾刪碼或混合策略略(糾刪碼糾刪碼+鏡像鏡像)應用層秘密共享秘密共享接口層硬件層系統層各類接口各類接口庫庫客戶端客戶端APP分布式云存儲系統(DHFS/Ceph/Swift)低速處
81、理高速處理keykeykey數據預處理數據預處理key QKD網絡網絡 圖 18 基于量子安全的分布式容錯云存儲架構 5.3.3 應用層密鑰秘密共享及數據預處理 5.3.3.1 單用戶應用場景 秘密共享可以實現秘密的安全拆分和安全存儲??紤]到秘密份額的存儲空間的利用效率,秘密共享更適合用于小尺寸數據比如密鑰的秘密共享。在單用戶場景下,通過在存儲系統的應用層中增加密鑰秘密共享機制,可實現對用戶密鑰的分散存儲和安全備份。數據的預處理包括了由秘密共享生成的子量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 28 密鑰份額插入密文,與密文同存保護的過程。a)用戶數據上云處理流程描述如
82、下:1、用戶獲取量子安全密鑰 K 和 R(由 QRNG 生成的量子隨機數),其中 K 加密用,R 認證用,同時 R 也作為 K 的密鑰加密密鑰。2、用戶準備待加密的明文數據 D。3、用戶使用密鑰 K 加密數據 D 形成密文數據 E。4、用戶使用 K 與 R 異或生成數據 KR。5、用戶使用 R 生成隨機數 n1,n10,maxlen(E),maxlen(E)為密文 E 的最大長度。6、用戶采用 Shamir 秘密共享(3,4)方案,設 k=3,n=4,構造密鑰 R 的秘密份額 R1、R2、R3、R4(秘密份額 4 份中取 3 份即可重構出密鑰 R)。用戶自己保留 2 份,例如 R1、R2(保證
83、用戶手里保留秘密份額的大部分),R3、R4 分散到外部保存。7、用戶使用秘密份額 R1 與 R2 異或生成 R12,由 R12 生成隨機數 n2,n20,maxlen(E),maxlen(E)為密文 E 的最大長度。8、按值 n1 位置將 KR 插入密文 E 中,形成數據 E。9、按值 n2 位置將 R3 插入數據 E中,形成數據 E。10、用戶用密鑰 R 對數據 E進行完整性校驗,計算所得值 M,接入數據 E尾部,形成數據 N,N=(E|M)。11、R4 與 n2 合并形成數據 R4,R4=(R4|n2)。用 R1 對 R4 做完整性校驗生成 M14,用 R2 對 R4 做完整性校驗生成 M
84、24。M14 和 M24 與 R4 合并,形成數據 B,B=(R4|M14|M24)。12、用戶將數據 N 與數據 B 發送給云存儲系統,數據 N 由云存儲系統糾刪處理后上云分散存儲,數據 B 作為備份數據由云存儲系統本地保存。數據通信采用加密傳輸,由 QKD 網絡保證,實現網絡數據的量子安全。比如可采用QKD+OTP 方式可實現 ITS 安全。13、用戶將 K、R、KR、R3、R4、R12、n1、n2 等所有過程數據全部刪除,只保留 R1、R2,用戶需保證秘密份額 R1 和 R2 的安全,至少要保證 R1 和 R2 不能同時丟失。數據上云的密鑰秘密共享及數據處理操作流程如圖 19 所示。量子
85、科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 29 圖 19 單用戶場景的數據上云處理過程 b)數據下云(數據恢復)普通情況處理流程描述如下:1、通常情況下,用戶手中保留有 R1 和 R2,用戶只需向云存儲系統請求數據N。2、用戶對收到的數據 N 解析為密文數據 E 和 MAC 值 M。3、用戶使用手中保留的 R1 和 R2 異或生成數據 R12,由 R12 生成位置參數n2。4、用戶按 n2 位置在密文 E 中提取出秘密份額 R3,與用戶手里的 R1 和 R2 按Shamir 秘密共享 SS(3,4)方案(t=3,n=4)重構出原秘密,即認證密鑰 R。5、用戶使用 R 對數
86、據 E 進行完整性校驗,計算得值 M,M與數據 M 比對,相等執行下一步操作,不相等則操作終止。6、用戶用 R 生成位置參數 n1,按 n1 位置在密文 E 中提取出 KR。7、用戶將 KR 與 R 異或,還原出密鑰 K。8、密文 E 按先后順序,從 n2 位置剔除 R3,從 n1 位置剔除數據 KR,形成新的密文 E。9、用戶使用 K 對密文數據 E解密,恢復明文數據 D。數據下云(數據恢復)普通情況的密鑰秘密共享及數據處理操作流程如圖 20 所示。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 30 圖 20 單用戶場景的數據下云處理過程(普通情況)c)數據下云(數據恢
87、復)特殊情況處理流程描述如下:1、當用戶手里的 R1 和 R2 有一個丟失情況時(假設丟失了 R1),這種情況下,用戶向云存儲系統中的服務器請求數據 N,同時也請求服務器本地保存的備份數據 B。2、用戶對收到的數據 B 解析為 R4、M14、M24 三部分,B=(R4|M14|M24)。3、用戶使用手中剩余的秘密份額(R2),對數據 R4 進行完整性校驗,計算得值 M24,M24 與數據 M24 比對,相等執行下一步操作,不相等則操作終止。4、用戶對收到的數據 N 解析為密文數據 E 和 MAC 值 M,N=(E|M)。進一步將 R4 解析成 R4 和 n2 兩部分,R4=(R4|n2),從
88、R4 中提取出 n2。5、按 n2 位置在密文 E 中提取出秘密份額 R3,在 R4 中提取秘密份額 R4,R3、R4 與用戶手里的 R2 按 Shamir 秘密共享 SS(3,4)方案(t=3,n=4)重構出原秘密,即認證密鑰 R。6、用戶使用 R 對數據 E 進行完整性校驗,計算得值 M,M與數據 M 比對,相等執行下一步操作,不相等則操作終止。7、用戶用 R 生成位置參數 n1,按 n1 位置在密文 E 中提取出 KR。8、KR 與 R 異或,還原出加密密鑰 K。9、密文 E 按先后順序,從 n2 位置剔除數據 R3,從 n1 位置剔除數據 KR,形成新的密文 E。10、用戶使用 K 對
89、密文數據 E解密,恢復明文數據 D。數據下云(數據恢復)特殊情況的密鑰秘密共享及數據處理操作流程如圖 21所示。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 31 圖 21 單用戶場景中數據下云處理過程(特殊情況)5.3.3.2 多用戶應用場景 在多用戶場景下,存儲系統的應用層中增加密鑰秘密共享機制不但可以實現用戶密鑰的分散存儲和安全備份,而且通過系統層中服務器端的配合,還能夠實現數據擁有者對數據共享用戶的授權和共享數據的管控。代理重加密是當前數據共享的一種通用方法,在多用戶場景下,可以使用基于秘密共享機制的代理重加密方法,實現數據擁有者對數據共享用戶的授權和共享數據的管
90、控。以兩個用戶為例,數據擁有者,也是密鑰擁有者 Alice,首先生成一個會話密鑰,并將密鑰進行秘密共享,與單用戶應用場景相同,Alice 將共享數據上云處理,并將生成的一個密鑰分量分發給數據共享者 Bob。Bob 可以憑借此密鑰分量去系統層的服務器認證,以獲得數據授權。服務器用 Bob 的密鑰分量對加密的共享數據進行轉換加密,實現代理重加密。通過采用基于秘密共享機制的代理重加密方式,數據擁有者在保證數據安全的同時,實現共享數據的管控。5.3.4 系統層的數據存儲容錯處理 對于數據存儲容錯方面,目前主流分布式云存儲系統大多仍采用副本方式,但鏡像備份這種方式對存儲空間的利用效率太低。糾刪碼技術實現
91、的容錯方式能夠明顯提高存儲效率,因此,也越來越受關注,有很多分布式云存儲系統也升級或改造支持糾刪碼容錯存儲技術,比如 GFS 的后繼者 Colossus,以及 HDFS 的量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 32 升級版 HDFS-Xorbas,都是基于糾刪碼實現的數據容錯存儲方式的分布式存儲系統。更進一步,本方案的改進分布式數據云存儲系統建議是采用一種糾刪碼技術與鏡像備份相結合的混合策略來實現容錯存儲。不同于之前對冷熱數據的概念,系統可定期根據對數據的存儲頻率來判斷采用何種策略,動態設置標識和變更存儲策略?;旌喜呗钥梢员U显诖嫒⌒逝c空間利用率上達到一種平衡,
92、使系統綜合效能最優化,運行更高效可靠。5.4 技術特點總結 5.4.1 存儲技術與量子安全相結合 存儲技術與量子安全技術的結合是當前信息技術領域的一個重要趨勢和研究方向。量子安全是利用量子通信基本原理(如量子態不可克隆原理和量子態的測量塌縮等特性)保證信息傳遞安全。以量子密鑰分發(QKD)協議為基礎的量子密碼技術是現階段量子通信最重要的實際應用之一。量子密碼以量子力學為基礎,它的安全性是建立在測不準原理、量子的不可克隆及量子相干性等物理特性之上的,被證明是無條件安全的。方案的系統中使用的密鑰由量子密鑰隨機數發生器生成,由量子物理過程所產生的隨機性具備真隨機性,保證了密鑰源的安全,配合應用量子安
93、全的對稱密碼算法,保證了原數據加密的量子安全。分布式存儲系統中,不同存儲位置對應的傳輸鏈路由專屬 QKD 和對稱密碼算法加密保護,保障了復雜理由環境中數據傳輸的隔離。5.4.2 密鑰的秘密共享及分散存儲 方案中基于秘密共享機制設計實現密鑰份額分配及分散存儲保護方法,保證密鑰的安全性的同時,通過密鑰份額分散存儲,實現密鑰的存儲備份。用戶手中保留的是部分子密鑰份額,可減輕用戶維護手中密鑰資源負擔,降低因用戶密鑰丟失或損壞的安全風險。通過秘密共享,也可實現數據擁有者對擁有數據的管控。5.4.3 密鑰密文同存保護 密鑰份額與密文一同保存,首先可以提供存儲上的便利;其次,密鑰的份額是經過秘密共享產生的,
94、自身具備機密性。密文中隨機插入的子密鑰份額,相當于在密文中加入了隨機噪聲,也可進一步增強密文的安全性。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 33 5.4.4 糾刪碼與副本拷貝混合存儲策略 對于分布式存儲采用的容錯存儲策略,方案推薦采用糾刪碼與副本拷貝相結合的混合策略,在增強存儲空間利用率的同時,能充分地考慮數據存儲速率與存儲空間利用率這兩個關鍵指標,達到一種平衡,使系統運行更高效。5.4.5 系統低速處理高速處理分離 方案中相對耗時的密鑰秘密共享處理及數據預處理(密鑰密文同存等過程)存在于應用層客戶端,應用層增加的處理過程不影響分布式系統底層數據存儲過程,數據低速
95、處理與高速處理分離,不影響系統整體運行的高效性。6 展望 隨著 AI 大模型、大數據湖倉一體等新興應用的崛起,分布式容錯存儲技術將迎來更廣闊的應用前景。新的應用為分布式容錯存儲技術提供了更廣闊的發展空間,同時也對分布式容錯存儲系統的高性能、高擴展性和高安全性提出了更高要求。量子技術與分布式容錯存儲系統的融合將不斷深化,而當前以量子密鑰分發為主流的量子安全技術在效率和穩定性上會進一步提高,從而加快數據加密和解密的速度,減少數據傳輸和存儲的延遲,能更好地滿足大規模數據存儲和實時數據處理的需求。在不久的未來除了量子密鑰分發外,也會有更多的量子技術如量子糾纏、量子隱形傳態等技術引入分布式容錯存儲領域,
96、進一步提升分布式容錯存儲系統的安全性和性能,為數據的安全傳輸和存儲提供新思路和新方法。量子科技產學研創新聯盟 基于量子安全的分布式容錯云存儲應用場景研究 34 7 參考文獻 1 M.Fujiwara,A.Waseda,R.Nojima,S.Moriai,W.Ogata,M.Sasaki,Sci.Rep.6,28988(2016).2 M.Fujiwara,A.Waseda,R.Nojima,T.Tsurumaru,S.Moriai,M.Takeoka,M.Sasaki,IEEE Trans.Quantum Eng.3,4100111(2021).3 M.Fujiwara,H.Hashimoto
97、,K.Doi,M.Kujiraoka,Y.Tanizawa,Y.Ishida,M.Sasaki,M.Nagasaki,Sci.Rep.12,18530(2022).4 CL.Ma,DD.Li,YL.Li,etc.Quantum-secure fault-tolerant Distributed Cloud Storage SystemJ.AIP Advances 13,115309(2023).5 杜軍龍,周劍濤.政務云服務化探索研究J.軟件.2019,Vol.40,No.11.6 張巖,胡林生.大數據分布式存儲技術在中小型金融科技企業的應用與推廣J.中國管理信息化.2021,Vol.24,N
98、o.11.7 倪良穩,電力行業分布式存儲應用研究J.自動化與儀器儀表.2016,Vol.1.8 茍明宇.分布式云存儲在廣電 CDN 中的應用J.廣播電視網絡.2023,No.6.9 范超,韓忠,趙琳.航空電子系統的云存儲技術研究J.電光與控制.2022,Vol29,No.3.10 陳 彥 文.云 存 儲 在 鐵 路 綜 合 視 頻 系 統 的 應 用 研 究 J.鐵 道 通 信 信號.2019,Vol.55,No.5.11 陳思穎,陳其澤.海量車聯網數據分布式存儲處理系統的設計與實現C.福建省電機工程學會論文集.2020.6.12 周笑天,馮勇,陳益玲,陳澍.基于 Hadoop 的氣象數據分布式存儲技術研究J.信息技術.2022,No.1.13 謝超群.基于 Swift 云存儲技術在高校數據中心的應用J.信息技術.2016.No.7.14 朱承璋,劉梓汐等.分布式醫療大數據存儲方案研究綜述J.軟件導刊.2022,Vol.21,No.4.15 趙開宇,田蘭梅.關于分布式存儲應用于智慧廣電建設的探討J.西部廣播電視.2022,No.1.16 賈黃春.基于 Ceph 的云存儲系統的設計與實現D.電子科技大學.2023.06.17 黎頎.基于 Swift 的存儲技術優化與研究D.四川大學.2021.04.