數據訪問支配著計算能力利用率。AI 運算涉及到大量數據的存儲與處理，根據 Cadence 數據，與一般工作負載相比，每臺 AI 訓練服務器需要 6 倍的內存容量。而在過去幾十年中，處理器的運行速度隨著摩爾定律高速提升，而 DRAM 的性能提升速度遠遠慢于處理器速度。目前 DRAM 的性能已經成為了整體計算機性能的一個重要瓶頸，即所謂阻礙性能提升的“內存墻”。除了性能之外，內存對于能效比的限制也成為一個瓶頸，Cadence數據顯示，在自然語言類 AI 負載中，存儲消耗的能量占比達到 82%。