云原生存儲 CubeFS 在大數據和機器學習的探索和實踐-唐之享.pdf

1、云原生存儲CubeFS在大數據和機器學習的探索和實踐O P P O-安 第 斯 智 能 云/唐 之 享010203CubeFSCubeFS產品介紹產品介紹CubeFSCubeFS在機器學習的應用和實踐在機器學習的應用和實踐CubeFSCubeFS在大數據的應用和實踐在大數據的應用和實踐CubeFSCubeFS的未來演進的未來演進04CubeFSCubeFS是托管在云原生計算基金會(CNCF)的新一代云原生開源存儲產品，目前處于孵化階段，具備完整的文件和對象存儲能力。產品官網：https:/cubefs.iohttps:/cubefs.io系統組件系統組件資源管理子系統 元數據子系統 數據子系統

2、多副本引擎糾刪碼引擎 多協議客戶端Metadata SubsystemMeta NodeMeta NodeMeta Partition(In-memory)ContainerVMServerClientClientMasterData SubsystemData PartitionPOSIX/HDFS interfaceVolumeData NodeData NodeBlob NodeBlob NodeApplication AWS S3 SDKObjectObject NodeNodeObject SubsystemErasure Code Stripe/abcdeRootmp0mp0mp1

3、mp1mp1mp2mp2mp2二層索引inodeinodelocationmp0multi-raft元數據子系統特性元數據子系統特性可擴展：可擴展：支持線性擴展高性能：高性能：全內存緩存高可靠：高可靠：定期快照+Raft wal日志強一致：強一致：元數據分片(mp)在不同節點上，Raft保證強一致性多副本引擎多副本引擎多種復制協議：多種復制協議：順序寫采用NRW，隨機寫采用Raft協議。大小文件優化：大小文件優化：大文件分片存儲，小文件聚合存儲。高效回收機制：高效回收機制：基于文件系統punch hole機制提升已刪除空間回收效率。DataNodeDataNodeDataPartitionDa

4、taNodeDataNodeDataPartitionDataNodeDataNodeDataPartitionDataPartitionDataPartition大文件大文件分片分片小文件聚合小文件聚合順序寫順序寫multiraft隨機寫 在線編碼在線編碼 ：接入層直接在線計算糾刪碼后寫入存儲節點。高可用性高可用性 ：Raft秒級切換保證元數據服務高可用。高可靠性高可靠性 ：后臺服務數據巡檢、數據修補、壞盤檢測等保證高可靠性。多多AZAZ部署：部署：支持1、2、3AZ部署，支持AZ級別容災。access數據均衡后臺服務后臺服務元數據中心元數據中心接入層接入層存儲資源池存儲資源池數據巡檢數據修

5、補異步刪除accessaccessaccessClusterManagerAZ1AZ1nodenodenodenodenodenodenodenodenodenodenodenodeAZ0AZ0AZ2AZ2壞盤修復Raft多協議接入多協議接入支持S3、POSIX、HDFS多種協議。多協議共享同一套元數據和數據。提升數據復用效率。提升資源利用率。S3HDFSPOSIX圖片文本音視頻IOTFlinkTrinoSparkPytorchPaddlePaddleTensorflowS3HDFSPOSIX以前以前現在現在多協議多協議雙引擎雙引擎可擴展可擴展高性能高性能多租戶多租戶云原生云原生支持多副本及糾

6、刪碼引擎，用戶可以根據業務場景靈活選擇?？奢p松構建PB或者EB級規模的分布式存儲，各個模塊可水平擴展。元數據全內存存儲，支持多級緩存，大小文件優化。支持多租戶管理，提供細粒度的租戶隔離策略?；?于 C S I 插 件 可 快 速 在Kubernetes上使用CubeFS。兼容S3、POSIX、HDFS等多種訪問協議，協議間訪問可互通。CubeFS在機器學習中的應用多級緩存2019202020212022CephFS存儲CephFS與CubeFS混存CubeFS統一存儲CubeFS統一存儲與多級緩存加速 MDSMDS的性能瓶頸：的性能瓶頸：主備模式的MDS無法水平擴容，單個MDS承擔過多元數據導

7、致高負載和高延時，GPU整體利用率低。MDSMDS的穩定性的穩定性 ：單節點內存資源有限，超大目錄遍歷容易導致節點OOM，拆分目錄難度系數高，無法解決熱點問題。rootdir1dir3大目錄大目錄sbu1dir2sub1MDS2 MDS1MDS3sub2GPUGPUGPUGPUKubernetesCVNLPAudioOthers 多集群：多集群：大CephFS集群拆分多個小集群，一定程度緩解了MDS穩定性問題，但是監控、告警需要分開配置，運營負擔重。小集群：小集群：小集群模式無法支持大模型訓練；集群資源利用率較低，通常需要保證在存儲水位在70%以內才能應對業務突發寫增長。監控告警權限時延敏感時

8、延敏感超大目錄超大目錄熱點目錄熱點目錄大規模訓練對時延敏感，防止由于時延影響業務訓練效果。訓練任務的訓練集或者測試集目錄大小不可控，需要支持超大目錄的訪問。并 行 訓 練 任 務 的 訪問，容易使得元數據節點成為性能瓶頸，無法充分利用集群性能。m pm p 隨 機 打 散：隨 機 打 散：m p 隨 機 落 在 不 同metaNode節點上，避免熱點數據。支持水平擴展支持水平擴展 ：metaNode支持水平擴展，無單點故障，保證高可用。rootdir1dir3大目錄大目錄sbu1dir2sub1 sub2mp0mp0mp1mp1mp1mp2mp2mp2mp0私有云公有云 混合云的需求：混合云的

9、需求：私有云維護常態化的GPU算力水位，應對突發的算力需求，采用公有云的GPU算力，實現彈性計算，降低整體TCO?；旌显频耐袋c：混合云的痛點：私有云的內網延遲在0.1ms級別，私有云機房與公有云機房采用專線的時延在2ms左右，導致從公有 云 G P U 與 從 私 有 云 G P U 訪 問CubeFS性能相差幾倍。GPUGPUGPUGPUGPUGPUGPUGPU2ms0.1ms 使用公有云的文件系統：使用公有云的文件系統：該方案涉及到數據遷移，除了數據遷移成本高遷移成本高之外還存在以下缺點：如果全量遷移數據，任務無法彈回到私有云，無法實現彈性計算無法實現彈性計算。如果部分遷移數據，公有云和私

10、有云同時產生數據，解決數據一致性問題一致性問題是個難點。部分數據存在安全合規風險，遷移到公有云需要解決安全問題安全問題。私有云公有云GPUGPUGPUGPU文件系統數據遷移私有云公有云 公有云部署公有云部署CubeFSCubeFS：在公有云部署一套CubeFS系統，除了會面臨方案一的數據遷移代價高代價高、數據一致性數據一致性、數據安數據安全全等問題之外，還需要額外購買裸金屬服務器，增加額外存儲成本。GPUGPUGPUGPU數據遷移 元數據緩存：元數據緩存：緩存inode和dentry信息，可以大量減少fuse客戶端的lookup和open讀文件的開銷。數據緩存：數據緩存：數據緩存可以利用GPU

11、本地云盤，無需申請額外存儲資源，在保證數據安全同時提升效率。公有云GPUGPUGPUGPU2msinodecachedentrycachecfs-clientdisk cachedisk cacheGPUGPUGPUGPU0.1ms私有云2845945457833011287589383234813098310491057342RESNET18-w(1)RESNET18-w(16)AlexNet-w(16)AlexNet-w(24)RESNET50基準性測試基準性測試公有云GPU-未加速私有云GPU公有云GPU-加速 RESNET18在Dataloader worker=1、16時，性能分別提

12、升360%360%、114%114%。AlexNet在Dataloader worker=16、24時，性能分別提升130%130%、80%80%相比私有云部署，性能也有12%-27%12%-27%的提升。CubeFS在大數據中的應用HDFSCubeFS存儲冷數據CubeFS作為統一存儲對象存儲存冷數據NameNode單點瓶頸多個集群管理復雜彈性資源差，成本高。利用低成本對象存儲承接大數據存儲冷數據。利用CubeFS的低成本糾刪碼引擎承接冷數據，降低整體TCO。將CubeFS作為統一存儲，承接大數據的冷熱數據。階段一階段二階段三階段四0%10%20%30%40%50%60%70%80%90%s

13、earchcdh1ht_anaht_comht_dfht_adht_alght_browerht_bcsm_bjht_accht_com1ht_oorHDFS集群 多個集群長期資源不足。存算混合機型，單機成本高，能耗高。管理多個HDFS集群，管理難度大。DATAR1R2R3多副本系統多副本系統D1D2D3D4P2P1離線糾刪碼系統離線糾刪碼系統異步遷移異步遷移writewritereadread 缺少文件語義，list和rename操作的代價很大。相比HDFS集群，可以節約大概30%成本，有進一步提升空間。數據降冷需要多一次從對象存儲多副本遷移到糾刪碼的流量。使用CubeFS糾刪碼引擎存儲超過

14、100PB冷數據。在線糾刪碼系統，降冷流程更快。元數據操作比對象存儲性能好。存儲成本Spark數據產品TrinoFlinkYARN/Kubernetes Hive 存儲冷數據存儲冷數據：提供低成本、高可靠的糾刪碼存儲。存儲熱數據存儲熱數據：提升資源利用率，降本增效。例如Flink CheckPoint集群，有頻繁瞬時大IO，依賴擴容解決，整體資源利用低的集群可以使用CubeFS存儲。降本高可用性增效高耐久度易運維 降降 本：本：降低存儲總TCO。增增 效：效：提高訪問性能，對小文件友好。易易 運運 維：維：集群管理更加便捷。高耐久度：高耐久度：保證數據高耐久度。高可用性：高可用性：保證服務的高

15、可用性。RS(3,3)D1D2D3P2P1P3RS(6,10)D1D2D3P2P1P3P4P5D4D5D6P7P6P8P9P10RS(12,9)D1D2D3D4P1P2P3D7D8P4P5P6P7P8P9D1D2D3D1D2D3D4D5D6D1D2D3D4D7D8D1D2D3D1D2D3D4D5D6D1D2D3D4D6D7D8D11 D12D10D9D5 多副本引擎：多副本引擎：多副本數量彈性可調整，1、2、3副本模式可以選擇，例如為大數據shuffle業務提供單副本，節約存儲成本。糾刪碼引擎：糾刪碼引擎：提供多種不同冗余度的編碼模式，滿足業務不同場景的需求；提供12個9的數據耐久度保證；支持

16、跨AZ容災。dp0dp1dp1dp2dp2dp2單副本兩副本三副本單位存儲成本單TB成本單TB功耗2U12HDD 2S2U24HDD 2S4U40 HDD 2S4U36 HDD 1S10.80.680.5410.680.60.480.60.550.560.54U60 HDD 2S4U106 HDD 2S 降低單位存儲的存儲成本。降低單位存儲的機器功耗。存算機型區分，擴容成本更低。低碳存儲。低碳存儲。本地緩存：本地緩存：計算節點本地緩存元數據和數據，支持內存、PMem、NVMe、HDD不同類型介質。副本緩存：副本緩存：多副本引擎可以作為緩存使用，用于緩存糾刪碼的存儲數據。SSDSSDSSDSSD

17、HDDHDDHDDHDD多副本引擎多副本引擎HDDHDDHDDHDD糾刪碼引擎糾刪碼引擎ClientClient (Posix/HDFS/S3/CSI)(Posix/HDFS/S3/CSI)MEMMEMSSDSSDcachecache讀讀/寫寫緩存緩存讀讀低低高高成本成本生命周期生命周期多副本引擎多副本引擎性能性能多副本引擎小文件優化多副本引擎小文件優化:小文件聚合到單個大文件。糾刪碼引擎小文件優化：糾刪碼引擎小文件優化：小文件采用填充方式，以空間換時間。RS(n,m)編碼，寫數據采用quorum機制，任意寫n+1份就成功；讀任意n份就成功。72KB36KB36KB36KB36KBP(36KB

18、)36KBP(36KB)P(36KB)填充小文件聚合小文件聚合remote shuffleremote shuffle需求：需求：高吞吐低成本快清理CubeFSCubeFS解決方案：解決方案：單副本降低成本異步刪除同機部署加速訪問，提供吞吐Data ParttionParttionData PartitionData PartitionDataNodemapmapmapshuffle-workershuffle-workershuffle-workerreducereduceremote shuffleremote shuffleshuffle-workerrmmv異步刪除 低成本糾刪碼 副本

19、數彈性可調 無單點故障 raft保證高可用 多級緩存 大小文件優化穩定性提升穩定性提升總總TCOTCO下降下降快穩省shuffleshuffle效率提升效率提升0.99930.99940.99950.99960.99970.99980.99991HDFSCubeFSHDFSCubeFSCubeFS未來演進智能智能分層分層多版本多版本快照快照混合云混合云多云多云加解密加解密QoSQoS回收站回收站GDSGDS 產品官網：https:/cubefs.io 代碼倉庫：https:/ 公眾號 :涵蓋CubeFS架構設計、業務實踐、源碼剖析等多方面內容 小助手 :提供產品交流、技術討論等CubeFSCubeFS官方公眾號官方公眾號CubeFSCubeFS微信小助手微信小助手