除帶寬瓶頸外，內存 限制也是 LLM 訓練成本的重要因素。內存 從近及遠對應傳輸速度從快至慢，但相應代價是單位存儲的成本自高降低。一些團隊嘗試利用 SRAM 保存模型權重，從而緩解資源瓶頸，但根據Semianlaysis，當前 Cerebras 所開發的芯片也只有 40GB 的 SRAM93，甚至無法存儲 1000 億參數規模模型的權重。另外，即使通過大量芯片組成 SRAM內存池來存儲模型權重，按照 Nvidia A100 40MB/H100 50MB 的 SRAM，考慮單位 SRAM 的成本上，也至少是 100 美元/GB 以上（即使剔除英偉達 GPU 芯片本身的毛利率），遠高于DRAM 的成本，因此 SRAM 存儲的成本較高，更合理的方式還是結合 DRAM\SRAM。