正如 Netflix 高級人工智能研究員 Cameron R. Wolfe, PhD 在博客《Scaling Laws for LLMs: From GPT-3 to o3》中所述，Scaling Law 定義了一種基于冪律的關系，即訓練計算量（或模型/數據集規模）與 LLM 的測試損失之間的關系。然而，這種關系的本質常常被誤解。從計算量的對數增長中獲得指數級性能提升的想法本身是一種謬誤。如圖 7 所示，擴展定律更像是指數衰減。這意味著隨著時間的推移，研發人員將不得不更加努力才能獲得進一步的性能提升。換句話說，擴展定律會隨著時間自然趨于平穩。因此，當前業界所經歷的“放緩”可以說是 LLM Scaling Law 中一個預期的部分。