在算力接近的情形下，AI 芯片可以通過擴容內存和帶寬提升模型訓練和推理性能，而內存迭代對 AI 芯片性能的提升可以英偉達 H200 為例。23 年 11 月全球超算大會（SC23）上， 英偉達推 出的 H200 搭載 6 顆 HBM3E，內存達 141GB ，帶寬 4.8TB/S。作為 H100（搭載6 顆 HBM3，內存達 80GB）的升級款，H200 依然采用 Hopper 架構和臺積電 4 納米工藝。兩者的算力指標基本相同，但在GPU核心數和頻率保持不變的情況下，僅通過內存從HBM3向 HBM3E 的迭代，就能實現在 Llama2 和 GPT-3 等大語言模型推理性能 40%-90%的提升