2018年高性能NAS助力企業業務上云.pdf

1、高性能NAS助力企業業務上云飛天技術匯專場全球企業級存儲市場增長趨勢30%24%27%29%29%15%38%23%35%43%29%34%-50,000 100,000 150,000 200,000 250,000 300,000 350,0002015 ON-PREM2015 OFF-PREM2020 ON-PREM2020 OFF-PREMPETABYTES6.Other5.Web Infrastructure4.IT Infrastructure3.App Dev/Test2.Data Management1.Applications IDC Visit us at IDC.com

2、and follow us on Twitter:IDCSource:IDC Storage Workloads Model,July 2016存儲無法擴容存儲無法擴容設備過保設備過保升級換代升級換代數據遷移數據遷移機房擴建機房擴建CUSTOM APPS業務快速上線業務快速上線避免避免IT投資風險投資風險業務快速轉型業務快速轉型需要橫向擴展能力需要橫向擴展能力按需使用資源按需使用資源傳統企業業務傳統企業業務互聯網業務互聯網業務如何更好支持業務部門？如何更好支持業務部門？IT部門面臨的挑戰阿里云存儲之路2008年組建團隊探索阿里集團大規模存儲解決之道2009年分布式存儲引擎1.0為虛擬機、阿里金

3、融、郵箱、搜索提供通用存儲服務2013年單集群5k打破Sort Benchmark世界紀錄100TB排序377秒完成2015年單集群10k+阿里云存儲產品體系完成CloudSort$1.44/TB，打破亞馬遜紀錄，云計算效率第一2018年分布式存儲引擎2.0面向人工智能等未來存儲嘗盡構建起的全新一代存儲引擎Linux 高性能通用服務器集群伏羲資源管理安全管理夸父遠程過程調用女媧分布式協同天基數據中心管理和分布式部署神農分布式監控盤古分布式存儲全球部署的19個地區，幾十個數據中心表格存儲文件存儲對象存儲塊存儲對象存儲OSS表格存儲Table Store塊存儲文件存儲NAS低頻/歸檔IA/Arch

4、ive日志存儲日志中樞LogHubMaxMaxComputeComputeStreamStreamComputeCompute日志服務日志服務LogLog云監控云監控EMREMR內容分發內容分發CDNCDN視頻云視頻云消息通知服務消息通知MNS函數函數計算計算飛天統一存儲架構圖盤古產品適配層塊存儲適配盤古核心功能模塊單機存儲引擎多副本協議元數據管理磁盤管理數據放置策略數據校驗產品層塊存儲文件存儲對象/表格存儲日志/消息存儲離線計算實時計算糾刪碼新硬件新介質定制化軟硬件一體化層單機存儲引擎分布式文件系統適配盤古核心基礎層 用戶態的用戶態的TCP網絡協議棧網絡協議棧 減少用戶態與內核態的開銷 全面

5、兼容全面兼容RDMA網絡網絡(Infiniband,RoCE)軟硬件一體化增強網絡的穩定性 降低網絡延遲 逼近網絡物理極限 自適應的網絡自適應的網絡 針對不同場景自由切換識別網絡特征 全面優化的全面優化的RPC 全面改進Protobuf的性能 RPC針對線程模型進行全面優化盤古分布式存儲架構圖CapacityCapacityPerformance大容量容量型行業業務優化NAS Plus高性能性能型超高并發吞吐CPFSNAS文件存儲產品家族100 MILLIONIOPS1 TB/SBandwidth100 PBCapacity15 msLatency通用型NAS-架構盤古Frontend+Cac

6、heMetadata ServerNFSSMBNFSProtocol Load BalancerDirect Read/WriteNFS、SMB Client 高性能、高可靠、高可用高性能、高可靠、高可用 單文件系統：吞吐20GBps，IOPS 50K 性能隨容量線性增長 4個9設計高可用，11個9設計高可靠 多協議支持多協議支持 NFS v3.0/v4.0 SMB v2.0/v2.1/v3.0 安全安全 VPC，安全組，ACL 多租戶，主子賬號 彈性、按需彈性、按需 單文件系統：10PB，10億文件，最大文件32TB 按量付費，降低TCO 生態生態 容器、批量計算、GPU、EMR、高性能計算

7、歸檔備份目標介質公共文件夾文檔共享系統日志開發、設計Web 站點應用系統測試視頻存儲移動應用簡單易用企業應用無需修改NFS/SMB接口彈性擴展容量無限擴展性能按需滿足按需購買按使用量計費、無額外費用降低TCO即開即用無需Capex投入通用型NAS-場景通用型NAS CPFS并行文件系統-架構clientclientclientclient計算節點集群25Gb/RDMAOSTServerOSTServerOSTServerOSTServerMDS MGSMGS MDS元數據數據訪問集群PanguserverPanguserverPanguserverPanguserverPanguserverP

8、anguserver25Gb RDMA network盤古 高性能、高可靠、高可用高性能、高可靠、高可用 單個文件系統：吞吐1TBps，1億IOPS 4個9設計高可用 11個9設計高可靠 并行訪問并行訪問 POSIX MPI 安全安全 VPC，安全組，ACL 多租戶，主子賬號 彈性、按需彈性、按需 自動增加、縮減存儲節點，數據自動負載均衡 單文件系統：100PB 按量付費 生態生態 容器、批量計算、GPU、EMR、高性能計算大數據分析大數據分析無人機無人機人工智能人工智能安防大數據安防大數據工業制造工業制造生命科學生命科學高?？蒲懈咝？蒲袀€人信用畫像個人信用畫像CPFS并行文件系統 場景VPC

9、計算節點文件存儲阿里云企業數據中心VPN經典網絡計算節點NAS文件存儲-網絡訪問方式多種網絡連接模式多種網絡連接模式 VPC 經典網絡 IDC直連數據可以在用戶本地數據中心、阿里云NAS、阿里云OSS、阿里云云盤之間自由流動，以及跨區域復制數據生命周期管理，熱、冷數據分層101110101111010110111000011001011101100011101000111010企業數據中心阿里云文件存儲對象存儲塊存儲NAS File Sync 文件同步NAS File Sync 文件同步阿里云本地數據中心數據源數據源1創建數據源文件同步2創建文件同步任務華南 B文件同步華北 A文件同步跨區域復

10、制跨區域文件同步滿足企業滿足企業各種場景業務各種場景業務需求需求時延時延IOPSIOPS吞吐吞吐容量容量負載模型負載模型適用場景適用場景容量型容量型StandardStandard性能型性能型PerformancePerformance智能緩存智能緩存Smart CacheSmart Cache極速極速IOIOExtreme IOExtreme IO并行文件系統并行文件系統CPFSCPFS3 10 ms3 10 ms1 2 ms1 2 ms0.5 5 ms0.5 5 ms0.5 1 ms0.5 1 ms1 2 ms1 2 ms15K15K50K50K250K250K1M1M100M100M10

11、GBps10GBps20GBps20GBps20GBps20GBps4GBps4GBps1TBps1TBps10PB10PB1PB1PB10PB10PB256TB256TB100PB100PB通用通用通用通用順序讀寫順序讀寫隨機小隨機小IOIO并行讀寫并行讀寫網站文件網站文件、備份日志、備份日志制造制作、共享桌面制造制作、共享桌面廣電非編、動畫渲染廣電非編、動畫渲染虛擬桌面、容器服務虛擬桌面、容器服務 高性能計算、智能分析高性能計算、智能分析阿里云阿里云NASNAS/CPFS/CPFS 并行文件系統并行文件系統FPGAFPGA場景場景云上構建基因測序系統，云上構建基因測序系統，NASNAS/C

12、PFS/CPFS 并行文件系并行文件系統提供最高統提供最高1TBps1TBps吞吐，吞吐，1 1億億IOPSIOPS，100PB100PB的容量的容量，1717分鐘內加載完分鐘內加載完1 1萬個人類全基因組數據萬個人類全基因組數據結果結果利用云上利用云上NASNAS/CPFS/CPFS 并行文件系統，業務流程從并行文件系統，業務流程從5 5小時縮短到小時縮短到1.51.5小時以內小時以內云上資源按需使用，云上資源按需使用，TCOTCO降低降低70%70%NAS/CPFS 并行文件系統FPGAPangu下機數據上傳FPGA 基因測序集群ClientFPGAClientLustreLustreLu

13、streLustreLustreLustrePanguPangu基因測序NAS/CPFS 并行文件系統 基因測序存儲利器NAS Plus NAS Plus 極速極速IO IO 搭建高性能彈性搭建高性能彈性Web ServerWeb Server阿里云阿里云NAS Plus NAS Plus 極速極速IO IO NAS Plus NAS Plus 災備方案災備方案場景場景在阿里云上構建高性能在阿里云上構建高性能webweb ServerServer，NASNAS PlusPlus極速極速IOIO文件系統基于文件系統基于RDMARDMA網絡和網絡和NVMeNVMe SSDSSD提供穩定、超提供穩定

14、、超低時延低時延500us500us，1M IOPS1M IOPS結果結果通過壓測，滿足每天千萬數量級小文件讀寫能力通過壓測，滿足每天千萬數量級小文件讀寫能力通過異步數據復制，實現跨通過異步數據復制，實現跨RegionRegion災備能力，實災備能力，實現業務高可用現業務高可用華北 AZ A華北web server集群NAS Plus極速IORDMANVMeSSD華南 AZ B華南web server集群異步數據復制NFSECSNginxECSNginxNVMeSSDNVMeSSDECSNginxECSNginxNAS Plus極速IORDMANVMeSSDNFSNVMeSSDNVMeSSDN

15、AS NAS PlusPlus智能緩存智能緩存 支撐云上視頻非編系統支撐云上視頻非編系統阿里云阿里云NAS PlusNAS Plus智能緩存智能緩存GPU GPU 云圖站云圖站場景場景NAS PlusNAS Plus智能緩存提供最高智能緩存提供最高160Gbps160Gbps吞吐吞吐滿足同時滿足同時1616臺云圖站每臺臺云圖站每臺2020層層4K4K高清編輯能力高清編輯能力結果結果利用云上視頻非編資源，業務流程縮短利用云上視頻非編資源，業務流程縮短5 5倍倍TCOTCO降低降低60%60%視頻非編系統NAS云圖站Smart Cache視頻上傳視頻分發Smart CacheNASNAS 文件系統

16、文件系統 云上云上大規模渲染大規模渲染IDCVPCreadwrite渲染節點全局分布式緩存渲染節點渲染節點 渲染節點VPNGateway渲染管理NAS 文件存儲批量計算 BCSIDC阿里云阿里云美東美東美西美西歐洲歐洲中東中東新加坡新加坡香港香港日本日本澳大利亞澳大利亞香港香港華東華東1 1-2 2華南華南華北華北1 1-3 3西南西南華北華北5 5印尼印尼馬來西亞馬來西亞印度印度智能緩存CPFS極速IO容量型性能型Smart Cache并行文件系統Extreme IOStandardPerformance大規模GPU計算資源彈性高性能文件存儲云上模型訓練、深度學習訓練素材NAS NAS 文件系統文件系統 助力AI和機器學習NAS文件存儲-全球部署美西美東日本新加坡香港大利亞印尼馬來西亞印度全球19大Region，NAS已經在16個Region開服飛天技術匯專場