6-4 興業銀行基于 Alluxio 的數據加速緩存應用場景.pdf

1、興業銀行基于Alluxio的數據加速緩存應用場景興業數金 大數據技術負責人 羅煜輝中國銀保監會關于銀行業保險業數字化轉型指導意見到2025年對銀行保險業的數字化轉型提出了明確的要求，尤其對數據治理和數據資產管理提出了明確的細化。習近平總書記指出“沒有信息化就沒有現代化”，“十四五”規劃和2035年遠景目標綱要提出“堅持創新在現代化建設全局中的核心地位，把科技自立自強作為國家發展的戰略支撐”。這些論述都為堅定金融科技自立自強的信心和決心以及服務金融高質量發展指明了方向中國銀保監會主席郭樹清在2020金融街論壇上強調“所有金融機構都要抓緊數字化轉型，唯有如此，才能切實提高我們服務大眾的本領?！睌底?/p>

2、化轉型就是新一輪五年規劃金融科技工作的核心要務和主戰場。不斷加大科技資源投入，全力推動技術轉型升級和完善機制保障一、大力推進云化轉型二、持續優化科技與業務融合機制三、夯實數據基礎，加大數據治理和數據資產體系的建設四、深化敏捷轉型五、強化人才和文化保障70%當前底層基礎數據服務主要的挑戰在針對數據文件在集成過程中需要多次反復從HDFS或GPFS讀取文件，對于大文件多次重復讀取對存儲的IO性能和網絡帶寬帶來巨大的壓力。對于跨機房的數據加載場景，存在直接通過Spark進行數據加載對網絡帶寬消耗過大的情況。面對信創壓力，需要選擇新的文件存儲系統，但為了保證切換過渡穩定推進，需要同時滿足不同類型數據的存

3、儲要求，需要屏蔽底層不同文件存儲系統的差異，并兼容多種文件存儲系統（分布式文件系統和對象存儲）v準實時準使用alluxio建設緩存服務層的歷程當前數據緩存層應用情況GPFSHDFSDC-ADC-B數據交換數據入湖數據計算數據查詢HDFS數據緩存應用場景xxx.dat.gz解壓xxx.dat數據集成任務數據集成任務數據集成任務GPFSAlluxioSpark數據緩存分層結構熱數據溫數據冷數據RAMSSDHDD對應用透明的讀寫緩存機制數據持久化層計算緩存層大數據ETL大數據查詢跨機房數據加載/dataGPFSDC-A/dc_1_dataDC-BHive通過設置TTL、Pin等實現緩存管理策略統一數

4、據生命周期Java文件APIHDFS 接口S3 接口REST APIPOSIX 接口HDFS驅動NFS驅動S3驅動定制驅動接口GPFS信創文件系統對象存儲HDFS01030405數據采集/邊緣計算數據工程數據倉庫數據運營數據科學02采集加工報表服務預測大數據架構存算分離Hadoop8 nodesHadoop12 nodesHadoop15 nodesHadoop11 nodesHadoop10 nodesHadoop20 nodes彈性計算資源與環境計算集群計算集群統一HDFS/對象存儲Alluxio數據中臺搭集群 滿意的租戶噪音租戶不滿意的租戶HDFS計算集群計算集群緩存平臺帶來的讀寫效率提

5、升00.20.40.60.811.2HDFSAlluxio 冷讀Alluxio 熱讀Alluxio/HDFS數據訪問時間對比數據訪問模式:一次寫入，多次讀取相比HDFS讀數據,緩存命中后的效率提升將近1倍降低HDFS的NameNode壓力，提高底層文件系統的穩定性Alluxio 平臺帶來的網絡帶寬壓力降低在為對系統網絡架構進行重大調整的情況下，快速實現將網絡帶寬使用峰值從原來的30Gb/s，降低到2Gb/s左右。未來的數據編排優化與展望Cache緩存的優化與監控數據中臺集群存算分離架構的演進與技術方案遷移，實現更好的租戶隔離與SLA控管文件緩存系統與計算引擎結合的深度優化，與kubernetes集成總行與分行之間基于數據緩存系統的數據共享方案的設計與優化謝謝