構筑行業發展基石，大型基礎模型持續優化升級。谷歌最早在 2017年提出 Transformer 網絡結構，成為了過去數年該領域大多數行業進展的基礎。隨后在 2018 年，谷歌提出的 BERT 模型，在 11 個 NLP領域的任務上都刷新了以往的記錄。和 GPT 相比，BERT 最大的區別就是使用文本的上下文來訓練模型，而 GPT 專注于文本生成，使用的是上文。BERT 使用了 Transformer 的 Encoder 和 Masked LM 預訓練方法，因此可以進行雙向預測；而 OpenAI GPT 使用了 Transformer 的 Decoder 結構，利用了 Decoder 中的 Mask，只能順序預測。BERT 無需調整結構就可以在不同的任務上進行微調，在當時是 NLP 領域最具有突破性的一項技術。