
ERNIE 3.0 vs GPT 系列:更適合中文 NLP 模型 ERNIE 3.0 最大特點在于多范式統一和知識圖譜引入。OpenAI 的 GPT 系列模型問世于2018 年 6 月,經過近 5 年的時間迭代了 GPT-1、GPT-2、GPT-3、Codex、InstructGPT、ChatGPT 等多個大版本。2022 年 11 月 ChatGPT 問世后,5 天之內用戶突破百萬。2023年 2 月,微軟宣布旗下瀏覽器 EDGE 和搜索引擎 Bing 接入 ChatGPT,用對話的方式取代傳統的搜索。將 ERNIE 3.0 與 GPT 系列相比,其最大特點在于采用多范式統一的大規模預 訓練框架 ,融合了自回歸網絡+自編碼網絡,并在訓練時 引入大規模知識圖譜類數據。經過ERNIR 3.0 訓練后的模型可以通過零鏡頭學習、少鏡頭學習或微調輕松地為自然語言理解和生成任務定制,其英文版在 2021年 7月SuperGLUE基準測試(SuperGLUE是 Facebook人工智能研究中心、Google DeepMind、華盛頓大學以及紐約大學共同推出的用于衡量高性能語義理解 AI 的基準測試)中取得第一名,超過人類績效 0.8%(90.6% vs 89.8%)。