GPT 是目前規模競賽下的勝者。隨著基于 transformer 的模型越來越大，它們開始可以輸出達到人類水平的結果甚至超人的結果。從 2015 年到 2020 年，用于訓練這些模型的計算量增加了 6 個數量級，其結果在書寫、語音、圖像識別、閱讀和語言理解方面超過了人類的表現水平，我們將通過大數據、大算力來提升性能的模型競爭階段稱之為規模競賽。我們認為，盡管之前 BERT 以優越的文本理解能力被更多人選擇，但在大規模數據、算力的加持下目前 OpenAI 的 GPT 表現更為突出。此外，ChatGPT 則通過對話初步改變了 transformer 模型過于龐大而不能被更多人廣泛使用這一特點。而對于之后的發展，我們預測，在規模競爭模式下，可能會形成 GPT為主，BERT為輔的文本生成競爭格局。