ERNIE3.0TITAN引入自監督對抗性損失及可控語言建模損失函數,實現對生成內容的自反饋學習優化 modeling loss)。其中,前者主要區分模型生成內容與事實,這實際上是一個二進制的分類問題,最終通過交叉熵損失函數(cross-entro py loss)訓練模型參數;后者是在 ERNIE 3.0 可控數據集 Dc={x1, x2, . . . , x|Dc|}上使負對數似然損失最小。 行業數據 下載Excel 下載圖片 原圖定位