專場11.3-百億級分布式文件系統FastCFS架構與實現-余慶.pdf

《專場11.3-百億級分布式文件系統FastCFS架構與實現-余慶.pdf》由會員分享，可在線閱讀，更多相關《專場11.3-百億級分布式文件系統FastCFS架構與實現-余慶.pdf（21頁珍藏版）》請在三個皮匠報告上搜索。

1、百億級分布式文件系統百億級分布式文件系統FastCFSFastCFS架構與實現架構與實現余余 慶慶FastDFS&FastCFS創始人自我介紹自我介紹 分布式文件系統 FastDFS&FastCFS 作者 曾任職于新浪、雅虎中國和阿里巴巴 對分布式架構和高性能編程有著深入的研究和豐富的實踐經驗為什么要研發為什么要研發FastCFSFastCFS？幾款開源分布式文件系統：GlusterFS、MooseFS、Ceph 缺乏一款好用的DFS 數據庫云化是趨勢數據庫存儲面臨的挑戰數據庫存儲面臨的挑戰 數據一致性 系統可用性 IO性能數據庫對分布式存儲要求數據庫對分布式存儲要求 硬盤好 網絡好 軟件好F

2、astCFSFastCFS的定位的定位FastCFS 是一款強一致性、高性能、高可用、支持百億級海量文件的通用分布式文件系統，可以作為MySQL、PostgresSQL、Oracle等數據庫，k8s，KVM，FTP，SMB和NFS等系統的后端存儲。FastCFSFastCFS版本歷史版本歷史 V1.0：2020年12月第一個版本 V2.0：2021年4月支持k8s V3.0：2021年12月實現存儲插件 V3.3：2022年4月生產環境可用 V3.7：2022年11月當前最新版本FastCFSFastCFS核心模塊核心模塊faststorefaststore架構架構FastCFSFastCFS

3、架構特點架構特點 有中心和無中心結合 分組方式，簡單高效服務器分組數據分組 對等結構，自動failoverFastCFSFastCFS軟件特點軟件特點 保證數據強一致前提下實現了高性能 完全兼容POSIX文件接口，支持文件鎖，支持百億級海量文件 高可用：不存在單點，自動failover 簡潔高效的架構和原生實現，不依賴第三方組件 數據寫入性能強悍FastCFSFastCFS如何做到數據強一致如何做到數據強一致 數據版本號 集群動態拓撲信息 多數派機制，特有的公共選舉節點 冪等機制FastDIRFastDIR如何實現高性能如何實現高性能 支持命名空間 采用跳表（skiplist）數據線程無鎖化F

4、astDIRFastDIR如何支持百億級海量文件如何支持百億級海量文件 binlog+存儲插件：異步持久化修改的inode數目達到閾值超過特定時間間隔 按目錄結構淘汰 按數據線程淘汰FastCFSFastCFS性能對比數據（一）性能對比數據（一）FastCFSFastCFS性能對比數據（二）性能對比數據（二）FastCFSFastCFS性能對比數據（三）性能對比數據（三）FastCFSFastCFS如何做到極高性能如何做到極高性能 簡潔高效的架構和原生實現 內存池、連接池、線程池等 客戶端讀寫緩存FastCFSFastCFS后續工作計劃后續工作計劃 支持集群在線擴容 分級存儲&slice數據合并：支持兩級存儲（如SSD+HDD）S3、塊設備、NBD等接口方式