
該推論可以交叉驗證,據華泰計算機 6 月 10 日研報《國產大模型“憑”什么降價?》,以A100 80G 推理 34B 參數模型為例,34B 模型的參數數據加載到 A100 的 HBM(高性能 DRAM)中 需要占用 68GB 的內存空間(相當于全部空 間的 85%),類比 Apple 端側 3B 模型常駐 iPhone DRAM 中,也需要消耗一定量的內存。這種模型常駐內存的形式,消耗了有限 DRAM 的部分空間,因此導致 A16 配置的 6GB 無法在滿足日常 App 運行的情況下,常駐 3B 大模型進行推理。我們預測,未來為了保證 Apple Intelligence 的正常推理,Apple或將加大手機的內存起始配置,DRAM 存儲等相關標的包括美光等。