常規的模型訓練即序 列訓練模式，即后一個模型訓練是建立在前一 個模型訓練結束后，從模型參數的角度，后一個模型訓練初始參數為前一個模型，但訓練結束后參數有所調整，且由于訓練是基于后一個任務，其對此前任務的預測準確率可能低于此前的訓練結果。學界此前的解決思路是將多個任務同時訓練，確保模型對不同時序加入的任務等權學習，但每新增一個任務，模型都需要重新訓練此前所有的任務，這對應較高的訓練成本。ERNIE 2.0 提出序列多任務學習（Sequential Multi-task Learning）模式，通過給每個任務分配 N 個訓練迭代，自動將每個任務的 N 個迭代分配到不同訓練階段，兼顧學習效果和效率，較 BERT 框架繼續優化。