百度 ERNIE 模型有近 4 年的迭代史，獲得多個 SOTA 結果。最早的 ERNIE 1.0 是百度在2019 年 3 月提出的，該模型基于谷歌 BERT 模型，引入了真實世界的語義知識，增強了模型的語義表示能力。2019 年 7 月 ERNIE 2.0 問世，引入了持續學習和多任務學習概念，在16 個中英文數據集上獲得 SOTA（state-of-the-art，目前最好的意思）結果。2021 年 7 月，ERNIE 3.0 問世，提出了多范式統一預訓練框架，將自回歸和自編碼網絡進行了融合，并在訓練時加入了知識圖譜類數據，在 SuperGLUE 測試基準上獲得 SOTA 結果。