
3)內存帶寬:MI300 通過“統一內存架構”(Unified Memory)便利 GPU-CPU 間數據傳輸,效果類比英偉達 NVLink 技術。MI300 的 3D Chiplet 架構使其內部 CPU 和 GPU 可共享同一內存空間,針對相同數據同時展開計算,實現“zero-copy”(即 CPU 執行計算時無需先將數據從某處內存復制到另一個特定內存區域),便利單節點內 GPU-CPU 之間的數據傳輸,減少內存帶寬的占用。而英偉達 Grace Hopper 則通過 NVLink-C2C 實現 GPU-CPU高速互聯,雙方作為內存共享對等體可以直接訪問對方的對應內存空間,支持 900GB/s 的 互聯速度 。盡管 AMD 暫未公布 MI300 的傳輸帶寬, 但其創新的統一內存架構實現了GPU-CPU 在物理意義上真正的內存統一。AMD 雖未公布 MI300 HBM 的更多信息,但最新代 HBM3 內存帶寬約為 819GB/s,與英偉達 NVLink C2C 900GB/s 帶寬相近。因此 MI300內 GPU-CPU 的統一架構可繞過傳統連接協議速度的障礙,突破 GPU-CPU 之間的數據傳輸速度限制,滿足未來 AI 訓練和推理中由模型大小和參數提升帶來的海量數據計算和傳輸需要。但值得一提的是,英偉達 Grace Hopper 還通過 NVLink Switch 實現多達 256 個 GPU的互聯,支持高達 150TB 的高帶寬內存訪問,可有效解決 GPU 大規模并行運算中“單節點本地內存不足”的痛點,在內存帶寬表現上或更勝一籌。