務效果將會隨模型參數規模和預訓練數據規模的增加，而不斷改善，OpenAI 的三個模型——GPT-1（1.1 億參數）、GPT-2（15 億參數）、以及 GPT-3（1750億參數），其中GPT-3 在沒有微調的情況下，可以僅通過上下文學習完成多種任務，甚至在某些任務上超過當時最好的專用模型。