新一代全閃 SDS 存儲系統.pdf

1、FLASHTaoCloudFLASH新一代全閃SDS存儲系統技術架構劉愛貴TaoCloud#page#開源SDS系統MooseFSHDFSFastDFSAlluxioCephOpensDSGlusterFSMinioSwiftSheepdogLustreBeeGFSTFSMongoDBG Taocloud北京大道云行科技有限公司#page#SDS大格局CISFILEHCImaxtaCOHOQ0BLOCKSNASUNIWdSARGOopen-eapernDtPivot3Open vstoragWcferarubrikATLANTISamayeCONVRGD+.PavillowwareparAun

2、aw.SDDataGvtyAINVLNcopaid DataCorepRoM15E2MToumuloSoEDariumFufirsuSCALEDDATERACSTARtegleINFINIDAT020E8toroaeCanN=XSANelastfleTreduxiozxceleroCnnNIHBUSDATAVERITASSgiMicrosof216FalconStor區QuantumTARMINtechnolog/StorMagic8e在flashgrid8HEDVIGAcronisStoPQinfortrendSStoregeCrafoodrivenNetAppHITACHIsYnetoHU

3、AKO FABRICTintrSeseuedIBM NECVEXATAkaminario.DONTnGkentiViolinMangstorWEKA.IOPEAXY/ORACLE OPURESTORAGDeLLEMC9NUMSTORNOLWOWirtuozzoCaringoSDS120MINIOoiuec）SCALTYLeonovwOBJECTCONDOR2017C Taocloud北京大道云行科技有限公司#page#AFA全閃陣列浪潮1st Wave AFAsDSSDPure StorageTexas MemSkyeraSolldFireViolinWhiptailXtremlOIncumb

4、entsCiscoDell EMCDDNEMCHitachiVantara）HDS(HitachiVantara）HPEHPEIBMNetAppNetApp2ndWave-Hybrid startups go AFANimbleTegileTintri3rdWaveNVMe-oF-inspired AFAsApeironE8ExcelereoMangstoPavilionVastDatIncumbentin WaitingWesternDigitaC Taocloud北京大道云行科技有限公司#page#Gartner：2020存儲技術成熟度曲線Hype Cycle for Storage an

5、d Data Protection Technologies， 2020TrigGertimeC Taocloud北京大道云行科技有限公司#page#為什么是全閃SDS？SSD成為存儲介質主流SDS已經是存儲市場主流技術成熟，成本不斷下降X86架構，橫向擴展全閃SDS是低延退高性能存儲自主可控存儲替代云計算、金融科技、新興市場硬件、OS、存儲軟件的全國產化G Taocloud北京大道云行科技有限限公司#page#SDS面臨的挑戰低延退：ms級延退，時延型應用無法適用低延退高性能：IOPS/帶寬低，性能型應用無法滿足高性能存儲效率：裸金屬性能和容量50-85%被浪費效率魯棒系統魯棒：故障修復或系

6、統擴容影響正常業務G Taocloud北京大道云行科技有限限公司#page#當我們說全閃SDS，我們在說什么500元NVMe軟件定義X86架構端到端高IOPS200橫向擴展RDMA分布式，非AFA低延退IB/ROCE網絡G Taocloud北京大道云行科技有限限公司#page#全閃SDS技術架構原則超高性能軟件定義百us級低延退基于標準X86平臺干萬級IOPSScale-out橫向擴展全閃SDS極致效率裸金屬架構NVMe/RDMA/NVMfKernel-bypass發揮裸金屬90%以上效率Stack-bypassG Taocloud北京大道云行科技有限限公司#page#一個實例：FASS全閃塊

7、存儲HD5GiSCSI/ iSER/NVMeoFFASS存儲資源池NVMNVMSSDG Taocloud北京大道云行科技有限限公司#page#全NVMe高速硬件架構高速主機通道100Gb（GEAB）481.58CPUOCPU1高速緩存處理能力高速硬盤通道UPIXeonXeon2nd2nd全NVMe硬盤6XPCEx44XPCEx4磁盤通道100Gb主機通道80200ebs1GB/s主機帶寬U2NMaSSDX6U2 NVMe SSDX4背板帶寬全閃存硬件架構G Taocloud北京大道云行科技有限限公司#page#OS成了性能殺手CPU調度（corescheduling）內存分配（Memoryal

8、location）6鎖競爭（Lockcontention）白數據拷貝（DataCopies）中上下文切換（ContextSwitches）C Taocloud北京大道云行科技有限公司#page#FASS高性能設計輕量級塊索引FASS存儲軟件棧普通存儲軟件棧分布式微控制器T私有CPU調度器0S管理與調度FASSXPE加速引擎虛擬內存管理1T11拿拿拿全NVMe閃存普通服務器硬件全閃存服務器硬件100GbE（RDMA）普通存儲系統FASS全閃存儲系統從根源解決問題C Taocloud北京大道云行科技有限限公司#page#全閃SDS統一架構AppOracleHadoopSparkBlockObjec

9、tFileServiceServiceServiceServiceVolumeMetadataElasticityBlockRepicaErasure CodeData ServiceBackendSPDK/IibNVMeLinux AIOG Taocloud北京大道云行科技有限公司#page#關鍵核心技術元數據（非完全DHT）c(SC/AUMof全用戶態（UserSpace）Core綁定（PMD:polling mode driven）Hugepage-based內存管理C裸盤管理（libnvme/libaio+KV）B十Yang CMac+l?異步通信（RDMA/TCP）訪問協議（NVMf

10、/iSER/iSCSI）bacil編程模型：協程G Taocloud北京大道云行科技有限限公司#page#分布式集群設計masterMonMonMonMonETCDETCDETCDETCDMDCMDCMDCMDCControllerControllerControllerControllerSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD#page#端到端NVMeFASS NVMe TargetRDMA FabricsTargetlLUNONVMeONVMe HostLUN1RNIC ONVMeOInitiatorLUN2NVMeORNICTarget2RNIC1NVM

11、eOLUNONVMe over Ethernet/IBNVMeOLUN1#page#XPE加速引擎10隊列1O隊列系統內存FASS專屬內存區5馬出無級方問協議解析10調度Page Locked S元數據處理數據落盤Core1Core2Core3專PageLockedS用COR核專屬專屬專屬心內存內存內存Page LockedS獨享內存PageLockedFww預留公共區FASSCPU調試器FASS虛擬內存管理G Taocloud北京大道云行科技有限公司#page#分布式微控制器并行作業IO流多種微控制器角色，高并發，流水線作業IB/RNICIB/RNICIB/RNICTarget控制器把多個I

12、O請求分發到多個FRCtlTGctlTGctlTGctFRCtI下發請求到子卷控制器，獲取子卷信息FRctlFRctlFRCt將數據寫入多個后端控制器（數據節點）RGctlRGctl每控制器分配專屬CPU核心MDctl1MDct3MDctl2C Taocloud北京大道云行科技有限公司#page#數據布局切片（Slice）4MB（Vol）ASS的存儲卷Virtual FASSVirtual FASSVirtual FASSControllerETGControllerControllerETCD集群：高效IO處理虛擬FASS控制器MDS集FASS的SSD存儲池G Taocloud北京大道云行科

13、技有限限公司#page#元數據管理volume1volume2volume3邏輯卷Pool1Pool2元數據索引切片組織K/V數據庫K/V數據庫/V數排存儲池（storage pool）金維物理資源node1node3node5node2node4G Taocloud北京大道云行科技有限公司#page#副本數據一致性（Raftlike）CBactCienmCRangc應用系統應用系統2dispalcdispatchABCDEFGHUKLeiuTFASS存儲資源池HUKEHGUEIFIGTH10皖AC廣皖AB101B1D16G Taocloud北京大道云行科技有限公司#page#數據寫入流程Cl

14、ient多副本寫61.應用主機發起寫入操作，請求轉發至前端控制器（FRctl）RGctlFRctl2.前端控制器訪問子卷控制器（RGctl）33.FRctI從RGctl獲取目標卷的元數據，得到數據卷的位置信息4.FRctl同時向多個節點（按副本策略）發起寫入操作5.各副本節點數據寫入完成后，返回確認消息Node1Node3Node2slice Nslice Nslice N6.FRctl向前端返回寫入完成信息，并更新相關Slice位置信息寫入C Taocloud北京大道云行科技有限公司#page#數據讀取流程APP數據讀取61.應用主機發起讀取操作，讀取請求被轉發至前端控制器（FRctl）FR

15、ctlRGctl2.前端控制器訪問子卷控制器（RGctl）33.FRctI從RGctl獲取目標卷的元數據信息，得到數據卷的位置信息4544.FRctl選擇時延最優的副本節點發起讀取請求選擇最優路徑5.FRctI從目標節點上獲取數據Node1Node2Node3slice Nslice Nslice N6.FRctl將數據傳回TGctl，由TGcti發送給應用主機讀取G Taocloud北京大道云行科技有限公司#page#實測性能（100G+NVMeSSD） cephGFASSFASS集群（4服務器）FASS優勢優化的Ceph集群（50SDs）10,800,0004K隨機讀2270,0005X倍

16、IOPs6,080,0004K70/30隨機讀寫IOPs691.1009X倍IOPs463,8003,370,0004K隨機寫10Ps7X倍IOPs166us3000s（6ms）18X倍低延退4K隨機讀延退4K70/30隨機讀寫延退6000s（6ms）165s36倍低延遲73倍低延退15054K隨機寫延退11000s（11ms）43%成本方案估算成本$185.320（HWonly）$80.000（HW+SW）存儲節點配置（四臺）CPUIntel（R）Xeon(R） Gold 6240 CPU 2.60GHz X2內存128GDDR4硬盤紫光得瑞D5457NVMeSSD3.2T5（存儲盤）512

17、GBSSDX2（系統盤）平區NVIDIAMCX516A-CCAT100GBIB卡（雙口）2（前端網、后端網）萬兆網卡X2（管理網）#page#實測性能（25G+NVMeSSD）單卷：48萬（RR）/55萬（RW）IOPS單客戶端：120萬（RR）/55萬（RW）IOPS多客戶端多卷：360萬（RR）/150萬（RW）IOPS#page#實測性能（10G+SATASSD）協議測試項平均延時（us）IOPSBWnumjobsiodepth服務端節點客戶端節點隨機寫4K29萬4K隨機讀55萬441M順序寫4cientvolume811MBSiSCS4SenVer5（3副本）1M順序讀19GiB/S有724klatency隨機寫11542隨機讀4klatency4K隨機寫27萬416隨機讀131萬4k順序寫IM4cientoume195GiB/s1ISER24server5盤順序讀（3副本）IM46GBS205隨機寫4klatency11隨機讀1674klatency節節點處理節點內存12868040數據盤數量5塊#page#典型應用場景￥其他云計算新基建金融科技數據庫加速5G、人工智能4K/8K非編云基礎設施加速高速云存儲高性能容器存儲工業互聯網、物聯網HPC、海量小文件#page#FLASH關注官方微信公眾號郵箱：THANKS智能存儲激發數據價值丨2020