Zero-shot、one-shot和few-shot隨著模型參數增加準確度越來越高 特點二:采用 few-shot 學習完成下游任務 Few-shot 取代 zero-shot,訓練效果得到進一步加強。GPT-2 模型中,在下游訓練時采用zero-shot 學習理念,在執行各類子任務時不給任何樣例,屬于較為極端的情況。雖然在GPT-2 在某些測試中取得了不錯的效果,但在一些任務上結果不達預期。因此,OpenAI引入了 few-shot,即對于特定任務僅給予少量的樣例(10-100 個),沒有任何梯度更新或微調,任務和 few-shot 示例均通過與模型的文本交互指定。從多種訓練基準綜合訓練結果來 行業數據 下載Excel 下載圖片 原圖定位