《存儲產業技術創新戰略聯盟：2025年AIGC數據存儲技術研究報告（33頁）.pdf》由會員分享，可在線閱讀，更多相關《存儲產業技術創新戰略聯盟：2025年AIGC數據存儲技術研究報告（33頁）.pdf（33頁珍藏版）》請在三個皮匠報告上搜索。

1、AIGC數據存儲技術研究報告推薦語鄭緯民（中國工程院院士）人工智能已進入大模型時代，AIGC在各個領域廣泛應用，數據量的激增和存儲需求的變化對傳統存儲技術提出了新的要求。AIGC數據存儲技術研究報告不僅全面分析了AIGC帶來的數據存儲壓力，還詳細討論了如何通過創新的存儲架構和數據管理方法應對這些變化。報告中提出的解決方案和技術路徑，具有很強的前瞻性和實際應用價值。范科峰（中國電子技術標準化研究院副院長）生成式人工智能激發了海量數據存儲的復雜多樣需求，數據存儲技術已成為發展生成式人工智能的挑戰性問題和技術瓶頸之一。AIGC數據存儲技術研究報告以其系統深入的分析和獨到的視角，為數據存儲技術發展帶來

2、了全新的啟示。報告不僅提出了應對當前AIGC數據存儲技術難點的解決方案，還對未來數據存儲架構的發展趨勢進行了預判，為有關行業企業發展和學術研究提供了重要參考。李新男（科技部聯盟試點工作聯絡組秘書長）近年來，從關于推動未來產業創新發展的實施意見到生成式人工智能服務管理暫行辦法，國家出臺了一系列旨在鼓勵技術創新、規范行業發展和促進產業升級的政策，為AIGC關鍵技術的健康、可持續發展提供了強有力的保障。在數字經濟蓬勃發展的背景下，AIGC數據存儲技術研究報告的發布，無疑將會助力數據存儲領域的產業進一步創新發展。報告系統分析了AIGC產業的創新發展態勢，從數據存儲的角度揭示了AIGC技術的內在邏輯，為

3、推動AIGC技術的持續創新發展提供進一步的支撐。馮 丹（華中科技大學副校長）AIGC數據存儲技術研究報告解析了AIGC與數據存儲技術的緊密關系。清晰梳理了AIGC作業流程各階段中的差異化數據存儲需求，為應對AIGC場景的應用指明了技術方向。報告中所提數據處理能力、數據容納能力具有前瞻性，有利于從更多維度全面評價存儲系統。此報告有助于深入理解AIGC場景中數據存儲技術，可用于研究者及從業者參考。李 輝（浪潮存儲產品線總經理）在當今數字化轉型加速的時代，AIGC正逐漸成為推動各行業創新發展的重要力量。數據是AIGC的基礎支撐，隨著AIGC的應用呈現爆炸式增長，如何高效、安全地存儲使用這些數據，成為

4、制約AIGC產業進一步發展的關鍵因素。AIGC數據存儲技術研究報告應運而生，為數據存儲行業及AIGC產業的未來發展提供了重要的參考與指導，將推動數據存儲架構變革，新存儲技術的產業化落地，為AIGC產業的健康、可持續發展提供強有力的基礎支撐。曾令仿（之江實驗室研究員、博士生導師）數據存儲技術是AIGC發展和應用的重要支撐，AIGC數據存儲技術研究報告深入剖析了AIGC從數據采集到數據歸檔五個階段對存儲的不同的需求挑戰，并提出了數據處理、容納、管理、安全、共享、流動六個維度的存儲應對技術，并擘畫了存儲未來的發展趨勢。該報告內容全面而客觀，非常值得思考和閱讀。劉 剛（英韌科技股份有限公司首席執行官）

5、隨著AIGC產業的大力發展，數據作為爆炸式增長的重要生產要素，正在促使存儲技術與存儲體系不斷創新發展。這其中更大的容量、更高的性能、更靈活的擴展方式、更安全可靠的數據保護、以及更加綠色可持續的數據基礎設施建設，都是產業關注的重點。AIGC數據存儲技術研究報告，以全面發展的AIGC研究與應用為場景，全面展示了不斷更新迭代的全閃技術、存算一體架構技術、與創新性分布式存儲技術的相互結合的發展趨勢與落地點。報告匯集了來自產、學、研各界的豐富經驗和深入研究，不僅為行業人士提供了更全面的多維度視角，而且在推動技術發展及實現數據價值最大化上也發揮著關鍵作用。楊政和（聯泰集群（北京）科技責任有限公司董事長）A

6、IGC場景下面對的是海量數據和復雜需求，要求數據存儲具有大容量、可擴展、多協議、高性能、高并發、低延遲等特性。分布式融合存儲則是解決這一問題的重要方案，以此為突破口研究當下數據存儲技術的發展現狀以及未來的發展趨勢具有十分重要的意義。存儲產業技術創新戰略聯盟中國電子技術標準化研究院全國信息技術標準化技術委員會信息技術設備互連分技術委員會中國產業技術創新戰略聯盟協同發展網浪潮電子信息產業股份有限公司濟南浪潮數據技術有限公司柏科數據技術（深圳）股份有限公司北京同有飛驥科技股份有限公司北京星辰天合科技股份有限公司北京憶恒創源科技股份有限公司得一微電子股份有限公司杭州?？低晹底旨夹g股份有限公司華中科技

7、大學極道科技（北京）有限公司山東海量信息技術研究院山東省計算中心（國家超級計算濟南中心）天津中科藍鯨信息技術有限公司西安奧卡云數據科技有限公司西北工業大學英韌科技股份有限公司長江存儲科技有限責任公司之江實驗室中移動信息技術有限公司中山大學貢獻單位馮 丹 李 輝 李新男 張 曉 卓 蘭指導組（按姓名音序排序）編寫組（按姓名音序排序）白欣璐胡永欣劉希猛文中領張興海陳旭黃一周魯璐閆帥張業興程墨薊曉玲羅挺楊宇航趙金濤程 壯賈興振馬瀟玥游錄金周海杜松賈秀秀沈強強于 嘉周楊波馮 軼焦天一司杰慧袁鵬飛朱智力付印金孔 帥孫金洋萬勝剛鄒博引郭 雄李雅明孫 偉張 庚何水兵李 勇王 科張海軍安祥文何錫文劉洪棟王思揚

8、張文忠前言1.1 AIGC產業呈現創新發展態勢1.1.1 AIGC產業邁入發展新階段 1.1.2 AIGC產業支持政策全面布局1.2 AIGC加速企業數據存儲創新發展2.1 AIGC業務階段概述2.1.1 AIGC整體架構2.1.2 AIGC作業流程下的存儲數據流動2.2 AIGC各階段對數據存儲的需求2.2.1 階段一：數據采集2.2.2 階段二：數據準備2.2.3 階段三：數據訓練2.2.4 階段四：數據推理2.2.5 階段五：數據歸檔2.3 AIGC場景下數據存儲的關鍵需求010202020405050607070808090910目錄第一章AIGC加速數據存儲產業智能變革第二章AIGC

9、場景對數據存儲的挑戰1111131315151616181919202223242424252526263.1 從場景需求到技術應對：數據存儲技術概述3.2 數據存儲的應對技術3.2.1 數據處理技術3.2.2 數據容納技術3.2.3 數據管理技術3.2.4 數據安全技術3.2.5 數據共享技術3.2.6 數據流動技術4.1 AIGC數據存儲解決方案4.2 AIGC數據存儲經典案例4.2.1 案例一4.2.2 案例二4.2.3 案例三4.2.4 案例四5.1 未來趨勢5.1.1 數據綠色存儲愈發成為關注的焦點5.1.2 數據安全存儲的重要性日益凸顯5.2 展望：最近技術發展趨勢5.2.1 AI

10、GC催生新一代數據存儲架構5.2.2 AIGC加速數據存儲產業快速增長5.2.3 AIGC加速數據存儲標準完善第三章AIGC場景下數據存儲的應對技術第四章AIGC數據存儲解決方案及案例第五章AIGC場景下數據存儲發展的未來趨勢與展望01軟件定義存儲成為數據基礎設施領域的關鍵技術。數字經濟時代，數據是數字經濟的新型生產要素，在作為勞動工具賦能其他生產要素的同時，數據還可以作為勞動對象展現本身的經濟價值。存儲設備是數據的最終物理載體，是行業、企業和用戶數據的保險柜。業務需求和計算技術的更新推動存儲設備向高擴展、高性能、快迭代的方向演進，軟件定義存儲憑借橫向節點擴展、性能近線性增長和軟硬件技術快速迭

11、代的特點成為數據基礎設施領域的關鍵技術。分布式融合存儲是軟件定義存儲的發展趨勢。早期的軟件定義存儲，一套集群只能支撐一種數據的讀取和寫入，對外提供一種服務，數據存儲在單一介質中。隨著數字經濟的發展，一套作業流程往往包含不同的數據類型，跨集群進行數據處理無疑會增加用戶的操作復雜性。同時，一套作業采用多套存儲設備無疑會增加成本，只能將數據存儲在單一介質中的特性使用戶在數據存儲成本和效率之間不可兼得。立足于新時代數據存儲需求，基于多協議互通、多介質融合、多服務共享的分布式融合存儲將成為新的發展趨勢。AIGC具有廣闊的研究和應用前景。AI技術的快速革新極大地推進了AIGC的高速發展，其研究和應用亦被推

12、廣到多個行業。據統計，AIGC在內容創作領域，可以將內容生成效率提升數倍至數十倍，降低人力成本高達50%以上。在廣告、游戲、影視等行業，AIGC的應用不僅豐富了內容形式，還推動了行業的數字化轉型。未來，隨著技術的不斷進步，AIGC有望在更多領域實現突破，如教育、醫療、科研等，進一步拓寬其應用邊界。據預測，到2030年，AIGC的市場規模將達到數千億美元，成為推動全球經濟增長的重要力量。探討AIGC下的存儲應用具有十分重要的意義。當前，AIGC以其強大的創新能力和應用潛力，成為推動產業升級和經濟發展的重要力量。作為AIGC的核心支撐，數據存儲扮演著不可或缺的角色。數據存儲不僅為AIGC提供了海量

13、的數據資源，還通過其高效、安全、智能的特性，為AIGC技術的創新和應用提供有力保障。因此，深入探討AIGC與數據存儲之間的關系，對于推動AIGC技術的進一步發展，以及實現數據價值的最大化，具有極其重要的意義。為全面分析AIGC與數據存儲的緊密關系，從數據存儲的角度揭示AIGC技術的內在邏輯和發展趨勢，我們推出AIGC數據存儲技術研究報告。在報告中，我們將深入探討AIGC場景下對數據存儲提出的新要求和新挑戰，以及數據存儲對新要求和新挑戰的技術應對。同時，我們還將關注數據存儲技術的創新和發展，以期為AIGC技術的進一步應用和推廣提供有益的參考和啟示。在這個充滿變革與機遇的時代，AIGC與數據存儲的

14、融合發展必將開啟新的篇章，為我們帶來更加豐富的應用場景和更加廣闊的發展空間。讓我們共同期待并見證這一領域的繁榮與進步。前言縱觀AIGC（生成式人工智能）產業的發展歷程，大致可以分為三個階段，即早期階段、沉淀階段和發展階段。AIGC的早期階段可以追溯到20世紀50年代，人們開始探索如何利用人工智能（AI）技術來生成各種類型的內容。然而，受制于當時的科技水平，AIGC的應用主要停留在實驗室中。20世紀90年代中期至21世紀10年代中期，AIGC發展進入沉淀階段。這一階段，AIGC多數是通過預先設定的規則和算法來生成內容。例如，在自然語言處理領域中，研究人員嘗試利用規則和語法知識來生成語句，實現新聞

15、稿件的自動化生成。同樣地，由于規則和模板的缺陷，生成的內容往往缺乏個性化和創意性。隨著人工智能技術的進步和深度學習算法的發展，從21世紀10年代中期至今，AIGC進入了快速發展階段，其大規模應用逐漸成為現實，開始出現在新聞、廣告、音樂、電影、游戲等多個領域中。生產的內容更加逼真、富有創意和個性化。同時，一些新興的技術框架，如生成對抗網絡（GAN），也為AIGC產業的發展提供了新的動力。2021年底，隨著ChatGPT的嶄露頭角，AIGC進入了大規模爆發時代。ChatGPT的強大表現進一步證明了AIGC技術在內容生成領域的巨大潛力，促使越來越多的企業和研究機構投入到AIGC產業中，助推AIGC全

16、產業鏈的成形，涵蓋了數據層、算力層、算法/模型層和商業化應用層等多個環節。其中，產業鏈上游主要包括數據提供、算法模型訓練等環節，為AIGC提供基礎支撐；中游則是AIGC技術提供商，他們專注于開發和優化AIGC技術，為下游應用提供技術支持；下游則是各種AIGC應用場景，如媒體、娛樂、教育、廣告等，這些領域正在廣泛采用AIGC技術，實現內容創作的智能化和高效化。021.1 AIGC產業呈現創新發展態勢1.1.1 AIGC產業邁入發展新階段AIGC產業的發展不僅得益于人工智能技術的進步，與政府政策支持也是密不可分的。近五年來，政府出臺了一系列政策，鼓勵人工智能技術的研發和應用，為AIGC產業的發展提

17、供了良好的環境?，F將國家各部委支持、指導AIGC產業發展的主要相關政策梳理如下：1.1.2 AIGC產業支持政策全面布局第一章 AIGC加速數據存儲產業智能變革AIGC數據存儲技術研究報告03表1-1 AIGC產業支持政策時間發布單位政策主要內容政策類型2024.01支持類打造未來產業瞭望站，利用人工智能、先進計算等技術精準識別和培育高潛能未來產業。工業和信息化部等七部門2024.01指導類進一步加強人工智能標準化工作系統謀劃，加快構建滿足人工智能產業高質量發展需求的標準體系，更好發揮標準對推動技術進步、促進企業發展、引領產業升級、保障產業安全的支撐作用。工業和信息化部2023.08支持類以推

18、動新興產業創新發展和搶抓未來產業發展先機為目標，以完善高效協同的新產業標準化工作體系為抓手，聚焦新一代信息技術等8大新興產業，以及生成式人工智能等9大未來產業，統籌推進標準的研究、制定、實施和國際化。工信部等四部門2023.07規范類鼓勵生成式人工智能技術在各行業、各領域的創新應用，生成積極健康、向上向善的優質內容，探索優化應用場景，構建應用生態體系；推動生成式人工智能基礎設施和公共訓練數據資源平臺建設。促進算力資源協同共享，提升算力資源利用效能。推動公共數據分類分級有序開放，擴展高質量的公共訓練數據資源。鼓勵采用安全可信的芯片、軟件、工具、算力和數據資源。國家網信辦等七部門2023.01指導

19、類布局新興領域融合創新。加快數據安全技術與人工智能等新興技術的交叉融合創新，賦能提升數據安全態勢感知、風險研判等能力水平。工業和信息化部等十六部門2022.08支持類圍繞構建全鏈條、全過程的人工智能行業應用生態，支持一批基礎較好的人工智能應用場景，加強研發上下游配合與新技術集成，打造形成一批可復制、可推廣的標桿型示范應用場景。首批支持建設十個示范應用場景?？萍疾?022.07指導類場景創新成為人工智能技術升級、產業增長的新路徑，場景創新成果持續涌現，推動新一代人工智能發展上水平。鼓勵在制造、農業、物流、金融、商務、家電等重點行業深入挖據人工智能技術應用場景，促進智能經濟高端高效發展?？萍疾康攘?/p>

20、部門2021.07支持類新型數據中心以支撐經濟社會數字轉型、智能升級、融合創新為導向，以云計算、人工智能等應用需求為牽引，匯聚多元數據資源、運用綠色低碳技術、具備安全可靠能力、提供高效算力服務、賦能千行百業應用。統籌推進新型數據中心發展，構建以新型數據中心為核心的智能算力生態體系，發揮對數字經濟的賦能和驅動作用。工業和信息化部2020.09指導類關于推動未來產業創新發展的實施意見國家人工智能產業綜合標準化體系建設指南（征求意見稿）新產業標準化領航工 程 實 施 方 案（2 0 2 3-2 0 3 5年）生成式人工智能服務管理暫行辦法關于促進數據安全產業發展的指導意見關于支持建設新一代人工智能示

21、范應用場景的通知關于加快場景創新以人工智能高水平應用促進經濟高質量發展的指導意見新型數據中心發展三 年 行 動 計 劃（2 0 2 1-2 0 2 3年）國家新一代人工智能創新發展試驗區建設工作指引（修訂版）國家新一代人工智能創新發展試驗區（以下簡稱試驗區）是依托地方開展人工智能技術示范、政策試驗和社會實驗，在推動人工智能創新發展方面先行先試、發揮引領帶動作用的區域。試驗區建設以促進人工智能與經濟社會發展深度融合為主線，以解決人工智能科技和產業化重大問題為導向，創新體制機制，深化產學研用結合，促進科技、產業、金融集聚，構建有利于人工智能發展的良好生態，全面提升人工智能創新能力和水平，打造一批新

22、一代人工智能創新發展樣板，探索智能社會建設新路徑，形成一批可復制可推廣的經驗，引領帶動全國人工智能健康發展?？萍疾?020.07指導類國家新一代人工智能標準體系建設指南到2021年，明確人工智能標準化頂層設計，研究標準體系建設和標準研制的總體規則，明確標準之間的關系，指導人工智能標準化工作的有序開展，完成關鍵通用技術、關鍵領域技術、倫理等20項以上重點標準的預研工作；到2023年初步建立人工智能標準體系。國家標準化管理委員會等五部門AIGC數據存儲技術研究報告04總的來看，國家各部委發布實施的各項政策主要集中在推動技術創新、規范行業發展和促進產業升級等方面，而AIGC作為AI技術在內容生成領域

23、的應用，其發展前景與國家關于AI的政策也必密不可分。強力政策的全面布局為促進AIGC產業健康、可持續發展提供了強有力的保障，更好地提升數據要素在促進經濟高質量發展中的貢獻度。AIGC的廣泛應用使得數據處理的需求大幅增加。無論是生成文本、圖像、視頻，還是進行復雜的自然語言處理和機器學習任務，都需要大量的計算資源和存儲空間。以ChatGPT-3為例，共包含1750億的參數量，單個檢查點文件大小約為2+TB。為了能夠支撐這類大模型的訓練，千卡甚至萬卡的GPU并行計算快速發展。但是，僅關注GPU集群的高性能計算能力以及GPU集群間的高速通信是不夠的，若存儲性能不足，會使整個過程I/O占比高，計算等待I

24、/O，降低GPU使用率，嚴重拖慢整體訓練過程。因此，存儲仍然是AIGC端到端的過程中不可忽略的關鍵因素。目前，AIGC場景下存儲主要以分布式存儲和云存儲為主。很多企業或者組織在面對高昂的基礎設施成本，選擇使用云存儲以存儲AIGC的各類數據，特別是垂直行業的大模型構建，由于不需要大規模集群，更多的是選擇單一的云存儲方式。但是AIGC作為一種能夠自主生成新內容的智能系統，在其作業流程中涉及數據采集、準備、訓練、推理、歸檔不同階段，在其應用中涵蓋了從文本創作、圖像生成到音樂和視頻制作等多個領域，單一的存儲架構很難滿足整個AIGC的存儲需求。為了應對AIGC場景下帶來的存儲領域需求的挑戰，國內外存儲廠

25、商紛紛加大研發力度，競相探索AIGC場景下的數據存儲技術的最前沿。聚焦于國際領先的Data Direct Networks(DDN)與國內某存儲廠商，作為行業內的代表性企業，其在存儲技術創新方面分別展現出獨特的優勢。DDN作為全球領先的大數據存儲供應商，其A3I（Accelerated,Any-Scale AI）解決方案是專為AI和深度學習設計的，它針對數據密集型工作負載提供了前所未有的靈活性和高性能。滿足從大型企業、服務提供商、研究機構到政府機構的廣泛需求，其優勢主要體現在以下幾個方面：第一，并行架構的性能和效率。DDN的A3I解決方案采用真并行架構，確保在任何規模下都能提供高性能、高效率、

26、GPU利用率和存儲容量；第二，全面的深度學習加速。A3I解決方案能夠同時為所有工作負載提供實時加速，確保數據密集型任務能夠連續且高效地執行。第三，無縫部署和集成。A3I解決方案易于部署，是預配置、即插即用的，為AI工作負載和GPU支持解決方案提供了最強大的擴展平臺。第四，靈活的容量擴展。DDN的存儲平臺提供了靈活的容量擴展選項，支持從少量TB到幾十PB的擴展，滿足不同企業的需求。國內某存儲廠商針對AIGC數據高并發、大容量、低時延的特性，將分布式存儲技術作為研究重點。通過全局文件系統（GFS）及高性能緩存機制，滿足不同客戶的差異化需求，其優勢主要體現在以下幾個方面：第一，高性能與高效能。通過全

27、閃化設計和高性能緩存機制，使得存儲產品能夠在高并發、低時延的環境下穩定運行，滿足AIGC對數據處理速度的極高要求。第二，大容量與高密度。不斷創新介質技術和數據壓縮算法，實現了存儲容量的大幅提升和能耗的有效降低，為AIGC數據的長期保存和快速檢索提供了可靠保障。第三，智能度和靈活度。全局文件系統和多協議互通解決方案能夠實現數據的智能分級存儲和跨平臺共享，滿足AIGC數據的多樣化和靈活度需求。1.2 AIGC加速企業數據存儲創新發展AIGC數據存儲技術研究報告05AIGC數據存儲技術研究報告圖2-1 AIGC整體架構圖在AIGC的發展浪潮中，數據的按需流動和存儲是支撐這一劃時代技術變革的關鍵基石之

28、一。從數據的視角來看，AIGC數據的流動環節通常分為：數據采集、數據準備、數據訓練、數據推理、數據歸檔，這五個環節構成了AIGC數據處理的完整生命周期。橫向的數據流動各環節是分析存儲需求的著力點，而縱向的系統架構和各模塊作用及關系是厘清存儲需支撐對象的出發點。AIGC整體架構可歸納成應用、模型、數據、平臺、基礎五層以及每層的若干子模塊。通過這種分解期望能夠更清晰地理解存儲在AIGC整體架構中的地位，使得設計和優化的存儲解決方案更具針對性。AIGC整體框架如下圖所示。2.1 AIGC業務階段概述2.1.1 AIGC整體架構第二章 AIGC場景對數據存儲的挑戰數據采集數據準備數據訓練數據推理數據歸

29、檔應用SaaS應用智慧網點金融量化法律咨詢生物識別智能客服自動駕駛智慧醫療基礎IaaS數據底座計算資源池存儲資源池網絡資源池NFSHDDSSDTape/BDCIFSHDFSFTPHttpNFSS3Swift客戶端平臺PaaS租戶管理服務日志管理服務中間件服務數據庫服務網關服務鑒權認證服務傳輸交換服務安全服務數據調度文件服務塊服務視頻服務對象服務數據DaaS數據服務數據集成數據治理數據分析數據清洗數據源A元數據數據集數據集數據集數據集數據集數據集數據集數據集數據集數據集數據集數據總線數據源B數據源C數據源D數據源E數據源F結構化數據整合向量數據庫流式處理非結構化數據模型MaaS模型檢索下載訓練調

30、優推理部署應用定制06AIGC數據存儲技術研究報告如圖2-1所示，AIGC整體架構分為五層，自上而下分別是：應用層SaaS、模型層MaaS、數據層DaaS、平臺層PaaS以及基礎設施層IaaS。應用層SaaS是AIGC技術產生價值的窗口，模型根據輸入數據生成新的內容；模型層MaaS是AIGC的核心環節，主要通過大量的數據來訓練、驗證模型并支撐模型的運轉；數據層DaaS主要分為數據服務、數據集成、數據治理三個部分，其中數據服務主要負責數據的處理和高質量數據集的生成，數據集成主要對數據進行匯集，數據治理主要對各個來源的數據集進行統一管理、安全檢查等；平臺層PaaS對數據、計算、網絡和存儲資源進行調

31、度，例如網關服務、數據庫服務、多租戶管理、鑒權認證，其中對于存儲的服務主要有文件服務、對象服務、塊服務和視頻服務等；基礎設施層IaaS構建了AIGC的基礎設施底座，包括計算資源（CPU、GPU、NPU）、介質資源（磁帶、HDD、SSD、內存等）、網絡資源（TCP/IP、InfiniBand switchA等）。在AIGC的整體架構中，存儲隨著數據流動而存在。如圖2-1所示，存儲主要在數據層、平臺層和基礎層，同時對應用層和模型層起支撐作用。由此可見，在AIGC整體架構中，存儲起著至關重要的作用。當前得益于數據量的快速增長和摩爾定律的快速發展，在更多的場景下，用戶更傾向于借助強大的算力以及數據驅動

32、模型進步。而人工智能場景也逐漸從以模型為中心向以數據為中心轉變，算力、算法和數據已經成為推動AIGC發展的三駕馬車。就人工智能發展趨勢和實際應用而言，在AIGC場景中，存儲不再是簡單的數據容器，而是推動AIGC發展的核心組件。從數據的視角來看，數據采集、數據準備、數據訓練、數據推理和數據歸檔這五個階段緊密相連，共同支撐AIGC的整體業務流程。存儲系統在每個階段中都扮演著至關重要的角色，提供不同側重的支撐，以確保AIGC各層各業務模塊能夠高效、安全的運行。數據采集是AIGC流程的起點，它涉及從各種來源收集原始數據，這一過程要求存儲系統具備高吞吐量、可擴展性、低延遲高實時性、接口多樣性，以應對海量

33、數據的及時收集。數據準備階段要求存儲系統能夠高效讀寫和靈活組織，支持數據清洗、轉換和規范化以適應復雜的數據處理任務。在訓練階段，存儲系統需提供強大的I/O性能和充足的可擴展的存儲空間，以支持大規模數據集的高效處理。數據推理階段對存儲系統的穩定性和延遲響應速度要求極高，以保證內容生成的連續性和流暢性。數據歸檔是數據首輪生命周期的終點和次輪的起點，它涉及實現對數據進行長期有效存儲和經濟性的平衡。在傳統設計策略中，數據流動通常遵循一個線性且分離的過程，每個階段在物理或邏輯上相對獨立：數據采集階段通常照顧數據來源側的傳輸方式和協議，將采集的數據遷移到獨立的預處理系統上，進行清洗、格式化和轉換；然后將預

34、處理后的數據遷移到訓練集群上，這不僅增加了數據傳輸的時間，還可能因為數據傳輸的延遲影響模型訓練的效率；最后模型訓練完成后，會按業務需求發布到數據推理生成階段，并定期將數據從生產環境遷移到備份或歸檔存儲中。這種策略涉及到多次數據移動，耗時增加，并提高業務系統管理存儲的復雜性和出錯的風險，可能導致數據一致性和安全性問題。2.1.2 AIGC作業流程下的存儲數據流動07AIGC數據存儲技術研究報告在基于統一數據底座的設計策略中，存儲數據流動是一個連續的、無縫的過程，每個階段僅是邏輯上進行區分，在底層都是同一份數據以減少數據的移動和復制。數據采集一方面提供數據來源側的傳輸方式和協議，另一方面直接與后續

35、的預處理階段統一考慮數據布局與存儲管理方式，在采集時就已經準備好進行下一步的處理；數據準備、數據訓練、數據推理生成等后續階段均能夠根據規劃和授權無需拷貝直接訪問數據；數據歸檔是一個自動化的過程，以減少業務管理的復雜度并平衡好數據長期有效存儲和經濟性存儲。圖2-2 AIGC場景下存儲架構圖2.2 AIGC各階段對數據存儲的需求數據采集階段是整個AIGC流程的基礎，也是決定后續數據質量、模型訓練效果及最終生成內容質量的重要環節。以下是對AIGC大模型數據采集階段存儲需求的詳細闡述。（1）大容量：數據采集階段面臨的是海量數據的收集與處理。隨著互聯網的快速發展，數據呈現爆炸式增長，AIGC系統需要處理

36、的數據量動輒達到PB級別甚至EB級別。這些數據涵蓋文本、圖片、視頻、音頻等多種類型，每一種類型的數據都需要大量的存儲空間。因此，存儲系統必須具備基礎的大容量、可擴展的特點，以應對AIGC的數據存儲空間需求。（2）多協議：數據采集階段涉及的數據來源多種多樣，包括互聯網、企業內部數據庫、物聯網傳感器等。這些數據往往通過不同的協議進行傳輸和存儲，如HTTP、FTP、RTSP等。因此，存儲系統需要支持多種通訊協議，以便與各種數據源順暢對接，實現數據的無縫采集和傳輸。（3）高安全：在數據采集階段，還需要對數據進行有效的治理和安全管理。這包括數據清洗、去重、分類、加密等處理措施，以確保數據的質量和安全性。

37、存儲系統需要提供相應的數據治理工具和安全防護機制，以便對數據進行有效的管理和保護。同時，還需要遵守相關的法律法規和隱私政策，確保數據采集和處理的合法性和合規性。2.2.1 階段一：數據采集高速并行存儲系統Metadata serversAI計算節點胖節點管理登錄節點用戶&管理員CPU計算節點可視化節點國產加速節點Storage servers全閃存儲多協議存儲1Gb以太硬件監控網絡10Gb以太管理網絡100Gb高速HDR100IB計算網絡08AIGC數據存儲技術研究報告AIGC大模型的數據預處理階段，涉及對海量原始數據的清洗、整理、轉換和增廣等操作，以生成適用于模型訓練的高質量數據集。因此，存

38、儲系統需要滿足以下關鍵需求：（1）高I/O：數據預處理過程中，存儲系統需支持高速的數據讀寫操作，以減少數據加載和處理的時間，提高整體預處理效率。特別是對于大規模數據集，快速的數據訪問能力尤為關鍵。（2）高安全：數據預處理是數據從原始狀態到訓練輸入的關鍵步驟，任何數據丟失或損壞都可能對模型訓練產生負面影響。因此，存儲系統需提供可靠的數據保護機制，如數據備份、冗余存儲和故障恢復等，以確保數據的安全性和完整性。（3）易管理：數據預處理涉及多種操作，如數據清洗、格式轉換、特征提取等，這些操作往往需要根據具體的數據特性和業務需求進行調整。存儲系統應提供靈活的數據管理能力，支持數據的靈活組織、檢索和更新，

39、以滿足數據預處理過程中的多樣化需求。2.2.2 階段二：數據準備在AIGC大模型的數據訓練階段，存儲系統的帶寬、容量及IOPS直接影響到模型訓練的效率、穩定性和最終效果。以下是針對AIGC大模型數據訓練階段對存儲需求的詳細說明：（1）高I/O、低延遲：數據訓練階段需要頻繁地從存儲系統中讀取大量數據，用以更新模型的參數和權重。因此，存儲系統必須具備高性能的讀寫能力，如在萬卡集群、萬億參數大模型的快速訓練時，需要存儲提供TB級的帶寬，小模型的訓練推理則要求存儲系統提供超過百萬級的IOPS和低時延。確保數據能夠迅速加載到計算資源中，減少I/O等待時間，提高訓練效率。（2）快速數據檢索與索引:為了提高

40、數據訓練的效率，存儲系統需要具備快速的數據檢索和索引能力。這有助于快速定位到需要的數據塊，減少不必要的數據讀取和處理時間。為了實現這一目標，存儲系統可以采用高效的索引結構和算法，如哈希表、B樹等，以支持快速的數據檢索和定位。（3）高并發：AIGC大模型的訓練過程往往采用并行處理和分布式訓練的策略，以提高訓練速度和效率。存儲系統需要支持這種并行和分布式的工作模式，確保多個計算節點能夠同時訪問和修改存儲系統中的數據，而不會產生數據沖突或不一致。這通常要求存儲系統具備分布式鎖、數據同步和一致性控制等機制。（4）易管理：在數據訓練階段，存儲系統還需要提供靈活的數據管理和優化功能。這包括數據壓縮、去重、

41、緩存管理、冷熱數據分離等策略，以優化存儲資源的利用率和性能。同時，還需要支持數據的動態遷移和平衡，以應對訓練過程中計算資源和存儲資源的變化。2.2.3 階段三：數據訓練09AIGC數據存儲技術研究報告在AIGC大模型數據的生命周期中，數據歸檔階段是一個不可忽視的重要環節。此階段旨在將模型訓練、推理等過程中產生的大量數據，以及模型本身和相關的元數據，安全、有序地存儲起來，以便未來可能的查詢、審計、復用或進一步優化。針對AIGC大模型數據歸檔階段，存儲系統需滿足以下關鍵需求：（1）高可靠：數據歸檔的首要目標是確保數據的長期保存與耐久性。這意味著存儲系統必須具備高可靠性和長壽命，能夠抵御物理損壞、電

42、源故障、自然災害等風險，確保數據不會因時間流逝或外部環境變化而丟失。此外，還需定期執行數據完整性檢查和修復，以保證數據的持續可用性。（2）高擴展：AIGC大模型在訓練、推理等階段產生的數據量巨大，且隨著模型的不斷迭代和升級，數據量還將持續增長。因此，存儲系統必須具備大容量和可擴展性，能夠容納不斷增長的歸檔數據，并支持靈活的擴容操作，以應對未來可能的數據增長需求。（3）易管理：為了提高數據歸檔的效率和查詢的便捷性，存儲系統應支持數據的分類存儲和索引功能。通2.2.5 階段五：數據歸檔在AIGC大模型的數據推理階段，存儲系統直接影響著模型推理的響應速度、效率以及用戶體驗。以下是針對AIGC大模型數

43、據推理階段對存儲需求的詳細闡述：（1）低時延：數據推理階段要求存儲系統能夠快速響應數據請求，以支持模型在短時間內完成復雜計算并生成結果。因此，毫秒級或亞毫秒級的低時延的數據訪問是首要需求。這要求存儲系統具備高效的數據檢索和傳輸機制，能夠快速定位并傳輸所需數據至計算資源，減少等待時間，提高推理效率。（2）高并發：在實際應用場景中，AIGC大模型往往需要同時處理多個推理請求，特別是在高并發場景下，如在線服務、實時交互等。因此，存儲系統需要具備高并發處理能力，能夠同時支持多個數據讀寫請求，并保持穩定的性能表現。這通常要求存儲系統采用分布式架構，通過負載均衡和資源管理策略，實現高效的并發處理。（3）高

44、安全：在數據推理階段，保持數據的一致性和準確性至關重要。任何數據的微小差異都可能導致推理結果的顯著變化，從而影響用戶體驗和應用效果。因此，存儲系統需要提供可靠的數據保護機制，確保數據在傳輸、處理和存儲過程中不被篡改或損壞。同時，還需要支持數據校驗和驗證功能，以確保推理過程中使用的數據是準確無誤的。（4）多協議：AIGC大模型的數據推理可能涉及多種類型的數據和復雜的數據結構，如文本、圖像、視頻、音頻等。因此，存儲系統需要提供靈活的數據訪問模式，支持多種數據格式和訪問協議，以滿足不同推理場景的需求。此外，還需要支持數據的快速轉換和預處理，以便在推理過程中快速提取和使用有效信息。2.2.4 階段四：

45、數據推理10過對歸檔數據進行合理的分類和索引，可以方便用戶快速定位到所需數據，提高數據利用價值。同時，分類存儲也有助于優化存儲資源的使用，提高存儲效率。（4）高效能：在保障數據安全和長期保存的前提下，存儲系統還需考慮成本效益和能效問題。通過采用高效的存儲技術和優化存儲資源的使用，可以降低存儲成本，提高存儲系統的能效比。同時，合理的存儲規劃和管理策略也有助于降低數據歸檔的長期運營成本。AIGC數據存儲技術研究報告如下圖所示，AIGC的各階段對存儲提出了多方面的需求，對以上需求進行歸納總結，可以分為存儲對數據的處理、容納、管理、安全、共享和流動能力六個方面。其中，數據處理能力要求存儲具備高性能、低

46、時延和高并發處理特點；數據容納能力要求存儲容量大，可擴展；數據管理能力要求存儲可進行并行處理和分布式訓練，靈活管理數據；數據安全能力對存儲的數據安全、可靠數據保護機制、數據存儲的一致性和準確性提出了要求；在數據共享能力上，存儲要支持多協議，以保證不同類型的數據均能進行寫入介質，同時要求存儲對外提供多種服務，實現數據靈活訪問；數據流動能力要求存儲對數據進行長久保存，降低存儲的成本、提升能效。在AIGC場景下，數據的主要類型為非結構化數據，數據呈現大容量的特點，不僅需要存儲具備高性能，還需要有極佳的擴展性，能對數據進行長周期存儲?；谝陨戏治?，以上六種能力均需要具備，才能滿足AIGC場景下數據存儲

47、的多樣化需求。2.3 AIGC場景下數據存儲的關鍵需求數據處理能力數據管理能力AIGC存儲處理流動共享安全管理容納數據容納能力數據流動能力跨介質、跨設備流動長期保存和耐久性低時延、高并發處理、高性能讀寫橫向擴展大容量存儲靈活數據管理并行處理，分布式訓練數據共享能力多協議互訪互通，靈活數據訪問數據安全能力可靠數據保護保證數據的一致性和準確性圖2-3 AIGC場景下數據存儲關鍵需求圖11AIGC數據存儲技術研究報告在第二章中，我們詳細分析AIGC場景下從數據采集到數據歸檔的各個階段對存儲系統的特定需求。為了方便分析，對第二章中所提需求做進一步整理，對整個AIGC作業流程的需求分為軟件和硬件兩個層面

48、。在硬件層面上，為滿足海量數據存儲需求，存儲需要具有大容量、可擴展，同時在歸檔階段還需要存儲可長期保存數據，具有耐久性。在軟件功能上，為滿足多模態數據存儲需求，存儲需要支持多種協議，同時，為滿足高性能場景的存儲需求、提升大模型訓練效率，存儲需要具有高性能、高并發、低延遲和快速數據檢索的功能，支持并行數據處理和分布式訓練。此外，在整個流程中，數據管理和數據治理也是非常重要的需求。在面對海量數據存儲及其復雜需求時，分布式存儲與備份歸檔的組合方案展現出了獨特的優勢，能夠全面滿足這些要求。分布式存儲以其卓越的擴展性和大容量的特性，為海量數據的持續增長提供了堅實的基礎。它能夠根據實際需求無縫擴展存儲資源

49、，確保數據的靈活性和可用性，滿足不斷增長的數據存儲需求。同時，分布式存儲能通過優化算法和架構設計來提升性能，滿足高性能存儲需求。在數據歸檔階段，備份歸檔方案的重要性尤為凸顯。它確保了重要數據能夠長期保存，并且具備高度的耐久性，有效應對數據丟失或損壞的風險。不僅保護了數據的完整性，還通過合理的存儲策略和生命周期管理，優化了存儲資源的使用效率。在數據管理和數據治理方面，通過集成的數據管理工具，可以實現數據的集中管理和有效治理，確保數據的質量、安全性和合規性。無論是分布式存儲，還是備份歸檔，都是以數據存儲的技術發展為基礎的，厘清AIGC場景下復雜數據存儲需求的應對技術是必然要求，也是本研究報告重點討

50、論的內容。3.1 從場景需求到技術應對：數據存儲技術概述AIGC場景下對數據存儲的多樣化需求促使數據存儲技術進一步發展以適應其要求，具體來看，AIGC場景下數據存儲的應對技術可以從六個維度進行論述，分別是：數據處理技術、數據容納技術、數據管理技術、數據安全技術、數據共享技術和數據流動技術。3.2 數據存儲的應對技術第三章 AIGC場景下數據存儲的應對技術（1）數控分離AIGC應用在數據處理階段對存儲系統的訪問性能有極高的要求，包括數據采集、訓練、推理階段的海量小3.2.1 數據處理技術12AIGC數據存儲技術研究報告（2）內核親和力調度在當前的AI基礎設施平臺中，計算服務器配置非常高，更高性能

51、的CPU和更多的插槽數帶來了NUMA（Non-Uniform Memory Access）節點數據的增加。在多核處理器環境下，會產生大量的跨NUMA遠端訪問。如圖3-3所示，在未經過NUMA均衡的存儲系統中，存儲的緩存空間集中在單個NUMA節點內存內。當I/O請求量增大時，所有其他NUMA節點的CPU核的數據訪問均集中在單個Socket內，造成了大量跨Socket、跨NUMA訪問。這不僅導致了CPU核的超負荷運載和大量閑置，還使得單次遠端NUMA節點訪問造成的微小時延累積，進一步增大整體時延。為了降低跨NUMA訪問帶來的時延，通過內核親和力調度技術，在數控分離架構下使內核客戶端可自主控制數據頁

52、緩存分配策略并主動接管用戶下發的I/O任務。這種方式能夠更加靈活地實現各類客戶端內核態到遠端存儲池的數據移動策略。其中，針對不同的I/O線程進行NUMA感知優化，將業務讀線程與數據自動分配到相同的NUMA節點上，使所有數據均在本地NUMA內存命中，有效減少了高并發下NUMA節點間數據傳輸，降低了I/O鏈路時延并提升內存訪問效率，保證各NUMA節點的負載均衡。圖3-1 數控分離架構示意圖I/O密集讀寫和大文件讀寫等場景。存儲系統采用數控分離架構，通過將I/O的控制面和數據面解耦合，控制面主要負責管理數據的屬性信息，如位置、大小等，通過優化邏輯控制和數據管理算法來提高存儲系統的訪問效率和數據一致性

53、。而數據面則直接負責數據的讀寫操作。將數據管理流和數據傳輸流進行分離，分別在不同的I/O路徑進行處理，各存儲節點在收到數據訪問請求后，即可與客戶端之間直接建立連接發起數據傳輸，大幅降低了數據傳輸流在節點間東西向的轉發操作，可極大地降低由于數據在存儲集群節點間轉發所帶來的網絡和系統處理開銷，提高系統訪問性能?？蛻鬍C控制流節點1數據傳遞RDMA數控分離節點2節點3節點N13AIGC數據存儲技術研究報告（3）小文件聚合小文件聚合也是AIGC場景下實現文件性能加速的重要手段。具體來看，第一，寫入過程。首先，小文件寫入時先進入到快速層，介質是快于HDD的NVME或持久內存，配置的EC或副本模式也更快速

54、，對數據進行落盤，并記錄元數據；然后，文件拼接后形成4MB-10MB的大文件落向HDD層，如果聚合模塊中的數據需要釋放時，更改元數據文件，使其數據索引到HDD位置，整體過程根據文件的尺寸不同提升小文件5-10倍的性能。第二，讀出過程。根據數據所在位置分別從聚合層和HDD層讀取，EC算法支持從單分片中讀取，讀取通常不受影響，同時并發性能也會隨之提高。第三，GC過程。如果數據刪除過多或產生空洞，后臺需要進行GC的數據整理。GC過程的常用方法有兩種：一是搬移數據，搬移數據可以重新排列得到更多的可用空間利用率，但是大量的搬移則會占用帶寬和資源，適用于刪除一次就刪掉了大量數據且需要重新排布的數據較少的場

55、景；二是對空洞管理的方案，根據空洞的管理進行聚合，性能比較穩定，但是磁盤空間利用率低，適用于少量刪除或整體文件尺寸比較平均一致的場景。圖3-2 NUMA均衡效果示意圖GPU 0GPU 1GPU 2GPU 3GPU0123文件系統內核客戶端遠程存儲系統NUMA Node 0Socket0pagepagepagepagepagepagepagepagepagepageGPU4567NUMA Node 1pagepagepagepagepagepagepagepagepagepageGPU891011NUMA Node 2Socket1pagepagepagepagepagepagepagepage

56、pagepageGPU12131415NUMA Node 3pagepagepagepagepagepagepagepagepagepage圖3-3 小文件聚合流程圖File大文件大文件直接寫寫FileFile小文件EC Cache（聚合模塊）NVMEHDD123414AIGC數據存儲技術研究報告3.2.2 數據容納技術（1）高密硬件設計數據存儲中的高密硬件設計包括高密硬盤設計、免工具設計、高性能接口、高效散熱設計、簡易維護設計等。分開來看，高密硬盤布局可以在有限的機箱空間（如4U或5U高度）內，通過優化硬盤布局和排列方式最大化硬盤數量；免工具設計，旨在方便拆卸，大大縮短運維時間成本，如HDD

57、硬盤框抽屜設計，支持單獨抽出維護（內滑軌+坦克鏈）；高性能接口技術，如PCIe 4.0轉SAS 4.0、PCIe 5.0 SI設計等，能夠支持更高的帶寬和更低的延遲，滿足AIGC等高性能計算場景的需求；高效散熱設計，如優化氣流通道、使用高性能風扇和散熱器，以及通過智能溫控技術配合先進的風冷系統，可以實現最佳工作環境，保障系統穩定運行；簡易維護設計，如BMC技術，技術人員可以通過Web管理界面、故障診斷LED等指引設備，并可通過UID指示燈標記有故障的機器，提高系統可用性。（2）大容量存儲介質在大容量存儲介質方面，QLC NAND的崛起為大容量存儲介質的發展提供了契機。QLC NAND閃存每個存

58、儲單元可記錄4個位的數據，相比傳統的SLC、MLC、TLC，具有更高的數據密度，能夠在相同空間內存儲更多的數據。由于QLC技術的快速發展，當前NVMe SSD最大容量已經超過百TB，大大提升了高速存儲介質的存儲密度。同時，X-NAND等關鍵技術的誕生，也緩解了采用ALC介質所帶來的性能下降問題，提升TLC/QLC的性能，進而加速QLC的普及。而在數據的備份歸檔階段，HDD仍然是主要的選擇之一，在HDD內部，通過改進磁記錄技術，如采用垂直磁記錄（PMR）和疊瓦式磁記錄（SMR）技術，可以增加磁盤表面的存儲密度。對于以讀取為主的冷數據存儲場景，這種介質能夠在同樣的盤片數量下實現更大的存儲容量，滿足

59、AIGC系統中大量歷史數據和模型參數的存儲需求。（3）數據壓縮和重刪數據壓縮本質是通過使用算法和技術減少數據存儲或傳輸過程中所占空間或帶寬的過程。傳統的數據壓縮算法包含了無損壓縮（如Huffman編碼、LZ系列編碼等）和有損壓縮（分形壓縮、小波壓縮等），以上算法和技術很難滿足AIGC場景下量大、類多、速度快的數據的壓縮需求，新的數據壓縮技術順勢而生?；旌狭袎嚎s（HCC）技術以塊的形式組織數據，同時利用行存儲和列存儲的方法存儲數據。數據一旦被定位，一個行集合中的列值會被分組到一起，然后將其進行壓縮，待壓縮完成后數據會被存儲到壓縮單元中。利用HCC技術的倉庫壓縮和存檔壓縮都取得了高效的壓縮比，其中

60、，倉庫壓縮在典型情況下可以提供10：1的壓縮率，存檔壓縮比可以達到15：1，極大的節省了存儲空間。此外，存儲系統支持基于固定長度數據塊或可變長度數據塊的重復數據判斷和刪除機制，通過SHA256等算法計算數據指紋表記錄數據特征，當有相同指紋特征的數據寫入時只保留一份數據，將重復數據刪除，其中基于可變長度數據塊計算的指紋信息更加靈活和精確，可支持更高的數據重刪率。通過數據重刪技術可在重復數據占比較高的數據類型存儲時顯著節省存儲空間。15AIGC數據存儲技術研究報告（1）全局文件系統在AIGC數據采集階段得到的數據來源廣泛、格式多樣，存儲需要提供不同的接入協議，在數據訓練和數據推理階段產生的高價值數

61、據需要在溫冷存儲介質中長期保存，以及在異構存儲或跨地域存儲系統之間遷移和保存。大規模AIGC訓練集群可能需要分布在不同地域的多個智算中心的集群間進行數據協作，分享某個階段訓練完成的數據，通過存儲系統的全局文件系統管理能力，可支持數據在跨地域的存儲系統之間以及不同存儲介質之間自動流動，并支持按照設置的策略對過期數據自動刪除，實現數據高效管理。同時全局文件系統支持基于全閃存介質構建緩存加速層，提高系統整體的訪問性能。存儲系統管理本地存儲和后端冷存儲介質中的全量數據及元數據，采用全局統一的元數據管理機制，全局文件系統與后端存儲之間的元數據同步可采用快照或日志方案?？煺辗桨竿ㄟ^snapdiff獲取兩個

62、快照間變更的inode列表，再遍歷讀取每個inode的詳細元數據后對比元數據的差異，將差異部分進行同步更新。日志方案則需記錄每次元數據變更的日志，通過重放日志的方式在另一套存儲系統中將元數據構建出來，實現元數據的同步。從而保證全局文件系統與后端存儲之間元數據的一致性。通過全局元數據共享技術構建全局統一命名空間，對外提供統一的數據視圖，可視化呈現熱冷數據的分布，檢索系統任意位置的數據并進行訪問，在高速池上實現海量百億級文件秒級檢索。3.2.3 數據管理技術（1）故障恢復故障恢復技術通過多副本和糾刪碼算法實現數據的冗余保護，這與中國傳統醫學中的邏輯理念不謀而合,即“治已病”。存儲系統的K+M糾刪碼

63、級別有：K+1、K+2、K+3和K+4，其中，K代表數據塊的數量（K32），M代表校驗塊的數量（M4），即在不發生數據丟失的前提下，系統所允許的同時發生故障的節點數或硬盤數。例如，K+2允許系統在不同的節點上故障兩塊硬盤，或故障兩個節點。系統不僅能支持硬盤級的故障，而且還支持機柜級或節點級的故障。只要系統中同時故障的節點數不超過M，系統就可以持續提供服務。通過數據重構過程，系統可以恢復出損壞的數據，保證整個系統的數據可靠性。并且存儲系統支持按用戶需求指定機柜級或節點級的故障域策略，系統按設定的故障域策略可靈活調整數據分片的分發和存儲策略，機柜整體故障或機柜內節點故障時，如故障范圍在冗余規則內，

64、則集群業務不受影響，故障時間內的數據讀寫不受影響，故障消除后會自動對數據進行重構恢復。（2）故障預測與故障恢復不同，故障預測是要對可能發生的故障進行精準預測來實現對數據保護，即“治欲病”。存儲3.2.4 數據安全技術16AIGC數據存儲技術研究報告周期性的亞健康狀態檢測，提前診斷并發現系統仍在正常運行但已存在故障隱患的亞健康因素，推送至管理平臺提示系統管理員提前介入處理，確保系統故障隱患提前排除。另外，存儲管理平臺通過智能運維AIOPS算法實現系統容量、系統性能、SSD硬盤壽命和HDD硬盤故障的精準預測，在容量接近閾值或性能下降波動前提前上報預測。并通過機器學習算法和海量數據樣本分析，對存儲系

65、統全部SSD和HDD硬盤的健康狀態參數進行周期性收集分析，結合硬盤的失效模型對SSD壽命和HDD盤故障給出精確的預測結果，保障存儲系統長期穩定運行。（3）數據安全防護故障預測、故障恢復和數據安全防護構成了對數據安全的全方位保護體系，數據安全防護更強調在“治未病”中的保護作用，通過數據加密和防病毒技術實現數據保護。具體來看，數據加密是指存儲系統支持數據傳輸加密和數據存儲加密技術，使數據在傳輸過程到寫入落盤的全過程都保持密文狀態，防止數據被竊取篡改。對敏感數據的訪問擁有認證、授權或加密機制，對于認證憑據的安全存儲，在不需要還原明文的場景下，使用不可逆算法加密。通過加密機制確保了即使非法竊取物理磁盤

66、也無法獲取實際數據，保證非法途徑無法獲取明文數據。在讀取數據時通過加密密鑰解密后返回給客戶端，保證數據在解密后內容不發生變化。加密算法支持標準AES加密算法及國密SM4算法等，滿足客戶不同的加密要求。防病毒技術的實現主要通過對系統讀寫IO的實時捕獲并進行IO行為特征分析，與病毒庫樣本對比校驗，系統可發現正常的IO讀寫行為與勒索軟件/惡意軟件的行為差異，及時偵測出異常訪問行為，將存疑文件及時隔離并上報告警。另外也可通過機器學習模型，對未和病毒庫匹配的可疑IO行為并結合已知病毒樣本的特征進行分析，提高病毒攔截的準確率，確保數據安全。（1）多協議融合互通存儲系統支持文件、對象、大數據等非結構化數據協

67、議的融合互通和全局命名空間，減少數據在AIGC訓練、推理過程不同階段的重復存儲，并支持數據的跨協議、跨區域、跨系統調度能力，提高系統的數據處理效率。存儲系統采用統一的增值特性配置、統一的分布式存儲池，保證了各種協議共享同一份數據和元數據，各種協議訪問過程中無需數據轉換和拷貝，并且為每種協議提供原生語義服務，每種服務均可直接訪問，無需安裝網關或插件，也無需在計算側或應用層改造。實現了非結構化協議數據的融合互通，一份數據多種協議共享，語義無損和性能無損，提升了數據處理效率，降低了存儲成本。其中基于統一的數據訪問接口和元數據管理的架構設計，對外提供統一的增值特性服務，在NFS、CIFS、HDFS或S

68、3協議中的一種協議下設置了某個高級特性后對其他協議都同時生效，支持不同數據協議下統一的高級特性配置。并且不同協議下對同一個文件共享同一份數據和元數據，不同協議訪問的數據和元數據為同一份。從數據流動角度看，AIGC開發場景需要處理、提取甚至拷貝海量且類型多樣的數據，因此多協議融合存儲是必要的選擇，支持NFS、CIFS、POSIX、HDFS、S3等多種訪問協議訪問同一存儲池內的同一文件，避免因訪問協議不同造成的數據拷貝，極大提高數據訪問和處理效率。3.2.5 數據共享技術17AIGC數據存儲技術研究報告（1）數據分層單一形態的存儲已無法同時滿足用戶對于存儲性能、存儲容量和存儲成本的需求，可通過數據

69、分級功能實現在兼顧性能和成本的雙重需求下對數據進行分類管理和存儲。文件分級包括分級遷移和分級刪除。根據系統中文件大小、類型、路徑、存放時間等元數據屬性，將滿足用戶所設置分級策略的文件分別遷移到不同性能存儲介質的存儲池中，或實現數據的自動刪除，從而實現系統文件的生命周期管理。數據分層管理基于數據的訪問頻率、重要性以及其他相關屬性，通過機器學習、數據挖掘等技術，建立數據訪問頻率預測模型，準確識別出熱數據和冷數據，并分別存儲在不同的存儲介質或存儲層級上。當數據在變為溫冷狀態并滿足設定的分層遷移策略時，自動遷移到異地的存儲系統中或是不同存儲介質的異構存儲系統中，當后續的作業階段觸發了對已遷移數據的訪問

70、請求時，自動將數據回遷至原存儲系統中。通過數據分層管理策略實現數據在全生命周期內的自動遷移和透明流動，包括在后端存儲使用磁帶庫和藍光存儲等冷存儲介質的場景，實現數據在高性能的SSD介質、HDD磁盤、以及低成本的冷存儲介質之間的高效流轉。同時，存儲系統根據設定的存儲策略判斷匹配的存儲池資源，通過自動遷移功能按前端I/O負載的變化調整數據遷移速率，可最大限度地降低數據遷移動作本身對系統的性能影響。（2）數據跨域流動存儲系統支持遠程復制功能，實現數據在跨地域的兩套存儲集群間流動，提供系統級的故障冗余保護。數據復制可采用目錄級的快照技術，將主端存儲系統新增快照中的數據復制到從端存儲系統，使得從集群的數

71、據和主集群快照保存一致。數據同步包括初始同步和增量同步。初始同步采用目錄遍歷對比的方式，增量同步是基于snapdiff journal機制判斷不同時間點之間的變更操作，將數據差異點同步到從集群中?？赏ㄟ^定時快照功能實現周期性的定時同步，也可以通過手動創建快照，將從集群數據同步到某一個時刻。3.2.6 數據流動技術18AIGC數據存儲技術研究報告從存儲架構上，分布式存儲可橫向擴展，性能和容量線性增長，而隨著存儲單節點所容納盤位數的增加和單盤容量的增大，目前單存儲節點的容量可以達到1.4PB-2.3PB。同時，此方案使用HDD作為海量數據低成本歸檔存儲介質，隨著傳統硬盤的存儲密度近年來已經接近極限

72、(約1Tb/in2，in表示英寸)，存儲采用新型存儲技術，如AIGC數據存儲解決方案采用分布式存儲和備份歸檔作為存儲底座。采用不同盤位的分布式全閃和混閃存儲與備份歸檔存儲共同構建統一資源池，分布式并行存儲的burstbuffer功能，能夠智能識別熱點數據，精準分級。統一資源池和全局文件系統能保證數據跨介質、跨設備流動，防止形成數據孤島，備份歸檔的存儲特性則保證數據的長期保存和耐久性，具備數據流動能力?；跀悼胤蛛x架構、內核親和力調度、多任務并行無鎖I/O和GPU直通存儲等技術，當前方案可以讀寫速度不同的存儲介質作為AIGC不同階段的存儲池，滿足全流程的數據讀寫要求。在高速存儲池上，當前方案可提

73、供百GB/s的大帶寬、百萬級IOPS和毫秒級低時延，具備強大的數據處理能力。4.1 AIGC數據存儲解決方案第四章 AIGC數據存儲解決方案及案例圖4-1 AIGC場景下分布式存儲多協議融合互通文本生成音頻生成圖像生成視頻生成代碼生成多模態大容量、多協議共享百萬-千萬IOPS100GB-TB級帶寬節能、能耗、歸檔AI智能運維HDDHDDHDDHDDHDDHDDHDDHDDHDDHDDHDDHDDHDDNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeNVMeHDD數據采集數據準備數據訓練數據推理數據歸檔一套存儲提供全閃、混閃、帶庫、光盤四種

74、介質，提供文件、對象、大數據、視頻、塊協議AS13000帶庫/光盤19AIGC數據存儲技術研究報告疊瓦式磁記錄(SMR)、二維磁記錄(TDMR)、點陣式磁記錄(BPMR)以及能量輔助磁記錄，以降低冷數據歸檔存儲成本，具備強大的數據容納能力?；诜植际酱鎯軜嫼蛿祿?、元數據管理功能，則可對外提供數據并行處理、模型分布式訓練的數據管理能力。存儲系統發生故障時會導致數據讀寫操作失敗、降低CHK讀寫性能，影響訓練效率。字節級分布式鎖、系統故障快速恢復、系統故障預測和系統防護相結合，可以加快故障恢復、提前預測故障和進行系統防護，達到為存儲底座提供全方位保護的效果，保證數據安全?；诜植际酱鎯Χ鄥f議融合互

75、通的功能，該方案可實現同時支持文件、對象和大數據存儲服務，對外同時提供POSIX、NFS、CIFS、FTP、FTPS、HTTP、HDFS、S3和CSI等多種數據協議，實現不同協議下用戶權限共享、語義無損、性能一致，同時數據在存儲池內僅保存一份，但是可以通過多種協議訪問，避免不同協議下數據的拷貝，節省50%的數據存儲空間。而通過全局元數據共享技術則可以構建統一命名空間，支持跨平臺、跨形態、跨地域的全局數據管理，并對外提供統一的數據視圖，用戶可方便地檢索任意位置系統的數據并進行訪問，在高速池上可實現10億文件秒級檢索，體現了此方案的數據共享能力。綜上所述，基于分布式存儲和備份歸檔的AIGC數據存儲

76、解決方案具備數據流動、處理、容納、管理、安全和共享六種能力，滿足數據采集、數據準備、數據訓練、數據推理和數據歸檔五個階段的存儲要求，可以提供端到端的數據支持，滿足面向文本、音頻、圖像、視頻、代碼以及多模態和全模態的大模型數據處理的需求。4.2 AIGC數據存儲經典案例項目背景：上海某大學服務國家創新驅動發展戰略，瞄準基礎學科研究的前沿領域，推動學科交叉和科教融合，在光子科學、人工智能、生物醫藥、能源科學等重大創新領域積極布局，是一所小規模、高水平、國際化研究型、創新型的大學。該大學和某存儲廠商合作以計算和存儲為平臺融合新技術應用，推進重大科研創新平臺建設，提升創新體系效能，加速科技創新，共同搭

77、建跨學科多模態人工智能計算平臺。面向多模態大模型訓練，搭建了跨學科技術研究的平臺，滿足了數字材料、生命制藥、芯片制造、數字孿生、人機協作等多個研究方向的大模型科研需求。4.2.1 案例一20AIGC數據存儲技術研究報告解決方案：存儲集群采用先進的全閃存分布式存儲系統，提供高帶寬和高IOPS，同時存儲集群支持高冗余模式，即當某節點出現故障時，可以自動切換至備用節點，提供存儲系統的高可用性，保障科研平臺數據不丟失，保證了數據安全性和項目課題運行的持續性。根據后期業務的增長，長期存儲系統在線橫向擴展新的存儲節點，系統的性能和容量會隨著節點數量的增加線性增長，為科研項目的持續研究保駕護航?？蛻魞r值：以

78、上存儲解決方案為計算平臺提供超高的性能支持，可達400萬IOPS和500GB帶寬，滿足大模型訓練過程中大規模數據讀寫的帶寬需求，有效避免大模型訓練過程中大量小文件token讀取時延的問題，滿足整個存儲資源的整體性能。同時，該方案可提供全數據生命周期管理的能力，實現數據按熱度進行流動、提供熱、溫、冷、冰四級存儲介質，實現高效、節能的數據分級存儲。在上層，智能化運維管理平臺，采用AIOPS主動運維監控、預測分析、提升管理效率、降低運維成本。以上功能特性滿足AIGC模型訓練場景下極低時延與極高IOPS需求。滿足跨學科領域研究的需求，為智慧醫療、智能感知、人機協同、數字孿生、材料發現、芯片制造、視覺影

79、像多個研究方向的大模型研究提供了安全可靠的數據存儲底座。圖4-2 案例一解決方案圖項目背景：隨著AIGC大模型的快速發展，對于稀缺計算資源的需求越來越大，在拓展AIGC模型訓練和推理時，如何構建千卡、萬卡大集群，考驗的不僅是硬件的集成能力，更重要的是如何合理分配算力資源和存力資源，并最大化釋放算力。大模型的語料信息和參數越來越大，通過存儲系統在多臺算力節點之間交換數據的效率越來越重要，低效的數據存取也將成為整個計算集群的性能瓶頸。同時，參與AIGC訓練的海量數據特征復雜，對數據特征的操作包括選擇、提取、縮放等一系列特征工程，對提高模型的泛化能力至關重要，更好地管理數據特征是亟需解決的問題。4.

80、2.2 案例二需求痛點價值收益解決方案AI相關五學科、數百人、多站點導入，數據多源多態文件、對象融合存儲，TCO降低30%IOPS 400萬，模型毫秒級讀寫，縮短訓練等待時間40%多模型、百GB數據在線操作小文件快速訪問要求高20*AS13000 24盤位全閃節點HDR IB交換機全NVMe資源池計算節點計算節點計算節點數據匯集數據處理數據訓練數據推理21AIGC數據存儲技術研究報告解決方案：某存儲方案可以將各種異構計算匯聚，共享硬件資源（包括CPU、Memory、GPU、FPGA等），按需動態構建各種AIGC計算框架、模型并行、算法并行并內置多種機器學習算法，實現算法推薦、自動構建模型、可視

81、化數據特征、優化模型訓練，最大程度簡化用戶的工作；底層采用多套存儲系統組合方案，根據數據類型不同提供多種數據存取服務，全閃存并行文件系統提供超大帶寬和極速海量小文件的處理能力；該存儲數據管理系統通過獨特的數據感知引擎和分布式圖引擎，為AI特征工程提供有效支撐?？蛻魞r值：該方案的平臺配置的存儲系統采取分級策略，配置一級高性能存儲+二級大容量存儲，實現數據在不同層級間自由流轉。存儲模塊全部支持多種存儲類型，多種功能模塊協同工作，打破單一軟硬件技術壁壘，使業務運行更加順暢。并且該方案提供閃存存儲空間300TB，存儲吞吐可達100GB/s+。該解決方案配備高性能存儲系統，為用戶提供強大、高效的數據存儲

82、空間和數據訪問的能力，同時提供了多種數據特征提取、整合，多維度動態組織數據集的能力，為用戶“再創新，再發現”提供了強力的工具。計算模塊提供了異構計算框架的兼容能力，復雜流程的解析能力/并發能力和異構資源的高效利用能力。實現一套集群中多種業務并行，多種計算并行，多租戶共享。項目背景：某醫學研究中心，主要業務為醫學影像，如X光片、CT（計算機斷層掃描）、MRI（磁共振成像）等的分析和仿真影像生成，同時涉及多模態數據交互和跨模態生成。為滿足大規模醫學數據高效處理需求，該中心建設了一個包含500個節點的算力集群，專門用于醫學影像的深度學習訓練和內容生成。為支持大規模模型訓練和數據處理需求，中心決定采用

83、分布式存儲系統作為后端數據存儲底座，以同時滿足高性能、海量存儲、靈活擴展的要4.2.3 案例三圖4-3 案例二解決方案圖價值收益數據的分級策略有效管理熱溫數據協議高效互通，快速流轉異構數據管理和多租戶共享需求痛點最大化釋放大模型算力集群節點間的高效數據交換復雜數據特征的有效管理解決方案HOME目錄工具鏡像倉庫容器持久存儲文件存儲文件存儲塊存儲登錄服務器二級容量存儲池高速全閃存儲池計算節點高速網絡高速網絡22AIGC數據存儲技術研究報告求。其中，配置了全閃存儲集群來支持數百億參數的醫學影像生成模型的訓練和推理，通過提供高性能存儲解決方案，保證訓練、推理各個階段數據傳輸效率和數據的安全性?？蛻粜枰?/p>

84、一套高性能的全閃存儲系統，支持數百億參數的醫學影像生成模型訓練，規劃3PB全閃存儲集群，要求聚合帶寬200GB/s，集群OPS達到350萬。為了支持數據采集、預處理和歸檔，客戶還需要一套大容量的混閃存儲系統，規劃30PB混閃存儲集群，要求性能達到50GB/s，集群OPS為135萬。醫療數據的安全和隱私保護至關重要，客戶要求存儲系統在保證高性能的同時，必須具備強大的數據安全和隱私保護機制。解決方案：為滿足大規模醫學影像生成模型訓練的需求，提供一套3PB的全閃存儲集群，與500節點的算力集群進行交互。全閃存儲集群主要負責支撐AI模型訓練和推理流程，滿足客戶對存儲集群帶寬和OPS的高要求。針對數據采

85、集、預處理和歸檔階段的需求，配備30PB的混閃存儲集群。該集群采用多個獨立資源池，分別支持大規模數據的采集、預處理和歸檔存儲。針對數據安全和隱私保護需求，通過數據傳輸和存儲的加密以及嚴格的訪問控制和審計策略來確保?？蛻魞r值：數據預處理階段有大量醫學影像數據需要快速上傳和預處理。通過優化數據路徑，減少數據傳輸路徑中的瓶頸，提高上傳和預處理速度。通過并發優化算法，提升多客戶端同時上傳和處理數據的效率（上傳速率和性能），利用智能緩存技術，加快常用數據的訪問速度，高并發上傳和智能緩存技術使數據處理時間節省30%。模型訓練階段深度學習模型訓練需要高性能存儲系統，訓練過程中需要頻繁讀取和寫入大量數據，因此

86、需要較高的吞吐性能，3PB全閃存儲集群支持高帶寬和高OPS，滿足深度學習模型訓練需求。數據分片和并行處理技術通過將大文件分成多個小塊存儲和處理，提高數據存儲和訪問效率。通過內置的智能調度算法自動調整存儲資源分配，確保高性能需求的訓練任務順利進行。通過全局去重技術，減少重復數據存儲量，提升存儲利用率。全閃存儲集群優化后，聚合帶寬達到250GB/s，OPS超過400萬，訓練和推理效率提升110%。多層次的數據保護機制確保醫療數據的安全性和隱私保護，提升系統的合規性和可靠性，確保了研究中心醫療影像數據安全的相關保密規定得到嚴格落實?？蛻魞r值全閃存儲高200GB帶寬，350萬OPS數據生命周期管理分布

87、式架構在線靈活擴展需求痛點數百億訓練高性能要求多模態和跨模態數據管理海量數據，按需擴展數據采集數據處理數據訓練數據推理解決方案全閃集群混閃集群流轉圖4-4 案例三解決方案圖23客戶價值：該方案不僅提供了極高的IOPS，還具備了極低的延遲和極強的小文件讀寫能力以及元數據處理能力。在面對海量小文件場景下，性能無衰減。配合分布式計算系統，可以承載多種分析應用，并且通過進程和容器的方式運行批量計算、并行計算，動態高效分配資源。提供對GPU等稀缺資源的管理和調度能力，高效利用人工智能技術助力量化分析流程。面對智能分析數據處理過程中的性能瓶頸，通過計算和存儲的協同，解決了I/O瓶頸帶來的分析效率低下和計算

88、資源利用率低的問題。AIGC數據存儲技術研究報告項目背景：某金融公司的實際業務中數據量巨大，且以非結構化數據類型為主，除了需要存儲系統具備提供多種存儲服務的能力之外，對數據存取的性能也有較高的要求。在以往的業務流程中，數據存取性能是整個分析建模和訓練過程中的最主要的瓶頸。同時，該類用戶對數據處理和分析的性能也有嚴苛要求，要求具有充分利用資源進行并發計算的能力。解決方案：首先，底層采用分布式全閃系統來支撐金融數據的高效存取，配合端到端的Roce或者IB的網絡，提供卓越的數據存儲吞吐和IOPS，支撐金融數據的高效存取。其次，采用可以提供文件/塊/對象等多種存儲服務的統一存儲系統，為量化分析需要的結

89、構化數據和非結構化數據提供統一的存儲引擎。最后，在應用層配合分布式計算系統來整合計算資源，并且利用高級調度策略確保最大化的計算資源利用率。4.2.4 案例四圖4-5 案例四解決方案圖客戶價值文件/對象/大數據協議融合高性能全閃并行文件系統支持GDS GPU直通訪問需求痛點金融海量數據分析處理小文件高IOPS和低延時GPU訪問存儲的效率容器服務模型訓練分析任務高頻交易全閃存分布式存儲系統IB/RoCEIB/RoCEIB/RoCEIB/RoCE分布式計算系統解決方案24AIGC數據存儲技術研究報告隨著AIGC產業的大力發展，各地方政府也在積極推進大型智算中心的構建，例如北京、深圳、上海等地已經出臺

90、了多種布局算力基礎設施的實施方案。目前，國內單個智算中心的存儲規模均在EB級，智算中心的規模和數量不斷擴大，帶來了存儲的能耗的快速上升。相關數據顯示，2023年，全國數據中心耗電量達到2700億千瓦時，占社會總用電量的3%。而智算中心引入了更多的算力相關設備，其耗電量將遠高于同等規模的數據中心。根據斯坦福人工智能研究院發布的2023年人工智能指數報告顯示，GPT-3單次訓練耗電量就已高達1287兆瓦時，智算中心內綠色能源使用占比超過 20%，液冷機柜數量占比超過 50%，存儲能耗中80%以上來自于存儲介質。目前主流的存儲介質主要包括HDD磁盤和SSD磁盤。其中HDD磁盤功耗大約在6W以上，而S

91、SD磁盤在靜態無負荷條件下，功耗僅大約在0.05W到1.2W之間。然而，由于SSD單盤價格相對較高，且在相同容量下，需要更多數量的HDD，直接導致存儲的總能耗大幅上升，嚴重阻礙國內“碳達峰&碳中和”的進展。對于滿足AIGC高性能需求的同時提升存儲系統的能效比并降低能耗成本這一問題，各存儲廠商紛紛出臺了相應的解決方案。比較典型的有以下幾種，一是采用能耗更低的全閃存存儲（All-Flash Storage,AFS）和混閃存存儲方案。全閃存存儲利用固態硬盤（SSD）的高速讀寫能力，提供極低的延遲和高吞吐量，非常適合AIGC應用中的實時數據處理需求?；扉W存存儲則結合了SSD和傳統硬盤驅動器（HDD），

92、通過智能數據分層技術，將最活躍的數據存儲在SSD上，而將較少訪問的數據存儲在HDD上，從而在性能和成本之間取得平衡。二是智能數據管理策略。這些策略包括自動數據分層，它根據數據訪問的頻率和模式，動態地將數據在不同存儲層之間遷移。通過冷數據歸檔技術將不常訪問的數據移動到更節能的存儲介質上，減少對高性能存儲資源的需求，減少不必要的數據存儲和訪問。此外，還有在數據中心的存儲中實施數據去重和壓縮技術，減少存儲需求以及利用軟件定義存儲和存儲虛擬化技術提高資源利用率等技術。這些綠色存儲技術的實施有助于提高存儲系統的能效，降低企業存儲成本，為未來存儲技術的發展提供了新的思路。5.1 未來趨勢5.1.1 數據綠

93、色存儲愈發成為關注的焦點隨著AIGC在各領域的廣泛應用，數據已成為越來越重要的資產。目前來看，AIGC場景下性能成為廠商和用戶關注的焦點，嚴重缺乏對數據的嚴格監管和風險識別，尤其是在醫療、金融、法律等非公開的數據方面，由于缺乏數據安全防護，在各類惡意攻擊下，數據信息被嚴重泄露，制約AIGC應用的發展。5.1.2 數據安全存儲的重要性日益凸顯第五章 AIGC場景下數據存儲發展的未來趨勢與展望25AIGC數據存儲技術研究報告在模型攻擊中，攻擊者可通過逆向工程或者對抗攻擊，竊取模型訓練采用的隱私數據。在數據遷移或數據處理中，攻擊者篡改訓練數據內個人原始信息，操控模型生成意向。例如，攻擊者可在金融大模

94、型中篡改貸款用戶的貸款歷史和信譽度信息，從而降低各類人群的貸款信譽度。存儲作為數據的載體，除了考慮性能和管理，也需要制定安全等級，全方位識別數據風險和數據安全問題，從數據移動過程中涉及的存儲區域、存儲介質、軟件棧進行全面數據加密和權限認證，防止AIGC各個階段的數據篡改和惡意提取。就目前現有的存儲架構來看，主要有集中式存儲、分布式存儲、超融合存儲及云存儲四類。由于都是面向特定場景的專有設計，各類存儲架構都有其獨特的特點。相比之下，分布式存儲展現出來的大容量、可擴展、高性能及高可靠等特點極大地滿足了AIGC場景中對數據存儲的復雜需求。未來隨著存儲技術的不斷進步，分布式存儲將展現出強大的生命力，并

95、在原有架構基礎上向新的存儲架構持續演進。新的存儲架構總體設計思路是面向綜合負載場景，基于模塊化、服務化、平臺化的分布式設計理念，構建超大規模分布式融合智能存儲平臺，提供均衡存儲能力。新型存儲架構可以概括為三層空間視圖、三面功能視圖、兩體邏輯視圖的可組合架構。其中，三面功能視圖主要是用來強化功能的分類，包括控制面、數據面和智能面；三層空間視圖是新存儲架構的邏輯視圖，包含開放使能層、微服務化功能層和硬件資源層；兩體邏輯視圖是新存儲架構的空間試圖，描述存儲的構成和布局，包括存儲平臺本體和管理編排體。在三層空間視圖中，開放使能層實現數據與存儲系統解耦，建立數據流通技術規范，驅動數據跨應用、跨系統、跨云

96、共享；在微服務化功能層實現軟件解耦，使能按需融合資源、組合多樣存儲服務；在硬件資源層使設備解耦硬件模塊化，基于新型互聯網絡與協議定義節點，實現存算資源按需彈性組合。分布式融合智能存儲平臺實現了以數據為中心，圍繞數據容納、處理、安全、流動、共享和管理構筑多維均衡能力，按需組合硬件與軟件，定義多樣形態存儲平臺服務，提供數據訪問與管理調度的一體化視圖，滿足AIGC全場景綜合負載需求。另外，存儲介質方面，閃存將從三位存儲TLC，過渡到四位存儲QLC，每單位GB的成本在逐漸降低，容量大幅提升。QLC SSD憑借高性能、低功耗、高密度等優勢，將在讀密集型場景中成為主流存儲介質。同時，高帶寬內存HBM、CX

97、L、DPU等存儲技術也在持續發展。軟件方面，存儲將更加面向應用場景，提供豐富的數據管理服務和高效的數據卸載功能。新一代存儲架構將圍繞著更低成本、更高性能、更低能效、更大容量、更豐富的管理、更快速的運維的方向持續演進。5.2 展望：最近技術發展趨勢5.2.1 AIGC催生新一代數據存儲架構26AIGC數據存儲技術研究報告隨著AIGC技術在內容創作、數據分析、個性化推薦等領域的廣泛應用，數據量呈指數級增長，這直接推動了對高效、大容量存儲解決方案的需求。存儲產業因此迎來了前所未有的發展機遇。首先，AIGC作業流程中需要處理和分析大量數據，這要求存儲設備必須具備高速讀寫能力，以確保數據處理的實時性和效

98、率。固態硬盤（SSD）因其快速、可靠的特性，成為滿足這一需求的理想選擇。隨著AIGC市場的擴大，對SSD等高性能存儲設備的需求也將隨之增長。其次，AIGC技術的廣泛應用也促進了存儲技術的創新。為了滿足AIGC對存儲性能的高要求，存儲企業需要不斷研發新型存儲介質和架構，如3D NAND技術、新型存儲控制器等，以提升存儲密度和性能。然后，AIGC市場的增長還帶動了存儲產業鏈上下游的協同發展。上游的存儲介質和芯片制造商需要與下游的存儲設備制造商、系統集成商緊密合作，共同開發出更符合市場需求的存儲解決方案。這種協同效應有助于整個存儲產業鏈的技術進步和成本優化。最后，AIGC市場的快速發展也對存儲人才提

99、出了更高要求。既要求具備深厚的專業知識和技能，能夠不斷推動存儲技術的研發和創新，還要能夠敏銳地捕捉到市場和技術的發展趨勢，為產業升級和轉型提供有力的支持。高素質和高專業素養人才的引入為企業持續發展注入了不竭動力，如此形成良性循環，加速存儲產業飛速發展。5.2.2 AIGC加速數據存儲產業快速增長AIGC技術的快速發展，對數據存儲系統提出了新的挑戰，同時也對數據存儲標準提出了更高要求。目前我國對于數據管理以及數據存儲相關標準大多為基礎共性標準，暫無面向AIGC特定應用領域的標準發布。正在研究中的網絡安全技術生成式人工智能預訓練和優化訓練數據安全規范及網絡安全技術生成式人工智能數據標注安全規范均聚

100、焦網絡信息安全方面，尚未對數據海量存儲的具體需求進行規定。AIGC數據存儲標準的需求復雜且多樣化，需要各行業共同努力推動技術創新和標準制定工作。通過進一步豐富和完善AIGC相關的標準和規范，可以推動AIGC標準體系的規劃和建設，促進技術的健康發展，滿足用戶對高質量、高效率數據存儲的需求。AIGC數據存儲的新標準可以從以下幾個方面展開：（1）推動行業制定統一的數據存儲接口標準，以降低不同AIGC系統間的數據遷移和整合成本。為了滿足差異化的數據存儲需求，現有的數據存儲系統存在結構復雜、接口多樣、互操作性差等問題。超融合、多模態存儲系統得到越來越多的部署應用。制定統一規范的數據存儲接口標準，涵蓋數據

101、傳輸協議、數據格式、數據傳輸速率、吞吐量、響應時間、接口交互機制等方面，能夠有效提升數據存儲系統的互操作性和一致性。（2）規范高性能存儲技術的發展。AIGC數據存儲的標準規范與高性能存儲技術的發展相互促進。隨著AIGC技術的不斷發展，對存儲系統的要求也在不斷提高，極大推動了高性能存儲技術的不斷創新和發展。特別是，以閃存和固態存儲設備為代表的新型存儲介質以及存算一體技術的大量引入，鼓勵和支持高性能存儲技術的研發和應用，如全閃存儲、分布式存儲等。生成式人工智能對于數據存儲系統的吞吐量和并發處理能力的高要5.2.3 AIGC加速數據存儲標準完善27AIGC數據存儲技術研究報告求，也亟需制定相關標準進一步規范高性能存儲技術發展。（3）加強數據保護與安全技術的研究。隨著AIGC技術在各類場景的應用愈加廣泛，數據資產的使用和保護是AIGC技術發展需要重點關注的方向之一。目前尚無數據保護與安全方面的國家標準或行業標準發布。加強數據加密、數據鑒權、數據標注、訪問控制、審計日志等安全技術的研究和應用應成為今后持續推動的工作內容，以確保AIGC數據在存儲和傳輸過程中的安全性和隱私保護。此外，著力促進存儲技術的標準化與互操作性，以及在制定標準時更加關注綠色節能和可持續發展要求，也應是推動AIGC標準體系的規劃和建設的不可忽略的重要內容。