影響大模型推理算力需求主要因素：月活人數、單人次訪問次數、平均提問Token數、模型本身參數等。推理端算力需求長期維度有望遠超訓練階段算力消耗，主要系用戶使用峰谷差異、算力利用率、推理端單芯片算力通常較訓練端較小等因素影響所致，隨著 H100/H800產品投入使用以及用戶要求提高，以A100作為推理用芯片，則在假設情形下，A100需求或超 3萬張。