當前位置:首頁 > 報告詳情

4-馬浩_沐瞳出海實踐業務分享之大數據成本優化_1_副本.pdf

上傳人: 張** 編號:169072 2024-07-06 32頁 3.90MB

word格式文檔無特別注明外均可編輯修改,預覽文件經過壓縮,下載原文更清晰!
三個皮匠報告文庫所有資源均是客戶上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作商用。

相關圖表

本文主要分享了上海沐瞳科技在大數據運維方面的實踐經驗,特別是他們在AWS平臺上進行大數據系統成本優化方案的探討。文章指出,大數據存儲面臨的主要挑戰包括如何提高計算資源利用率、對數據進行分層以降低整體數據成本,以及如何有效監控、管理、篩選存儲數據以解決冗余問題。 核心數據和關鍵點如下: 1. **計算資源利用率提升**:文章提出通過離線計算的彈性伸縮,針對工作周期性進行優化。例如,將一定比例的常駐機器轉化為彈性資源,僅在產生業務需求時對應拉起所需的計算資源,從而提高整體資源利用率。 2. **數據分層與成本優化**:為了降低數據上升帶來的整體數據成本,文章建議使用S3存儲層成本優化策略,對冷熱數據進行分層。通過使用不同的S3存儲類型(Standard、Standard-IA、Glacier),可以根據數據的實際訪問情況有效降低存儲成本。 3. **數據監控與管理**:文章提出使用S3 Inventory和S3訪問日志分析來有效地監控Bucket的數據情況以及增量情況。S3 Inventory能提供關于S3的所有存儲信息,而S3訪問日志分析可以幫助識別數據的冷熱,并實現自動化。 4. **自動化工具**:文章還提到了Class Analysis這個高級自動化工具,它能持續分析Object的訪問情況,幫助用戶決策將冷熱數據存儲到正確的存儲類中,進而監控與決策何時對什么文件進行操作。 5. **存儲策略優化實踐**:沐瞳科技采取了三階段的大數據存儲策略優化實踐,一階段通過存儲清單和日志分析刪除存量數據,目標是優化存量存儲30%;二階段通過日志分析對歷史低訪問數據存儲類進行優化,目標是成本優化20%;三階段則是通過長期分析自動寫入數據庫表,實現自動化策略執行,以長期優化S3存儲成本。
如何通過AWS優化大數據計算成本? 如何利用S3存儲分層降低數據成本? 如何通過S3 Inventory和日志分析實現數據監控和管理?
客服
商務合作
小程序
服務號
折疊
午夜网日韩中文字幕,日韩Av中文字幕久久,亚洲中文字幕在线一区二区,最新中文字幕在线视频网站