訓練參數與 GPT-3 相比降低了超 100 倍。InstructGPT 訓練參數最大為 13 億，與 GPT-3的 1750 億相比減少了 100 倍之多，且 InstructGPT 輸出的訓練結果更符合人類的要求。InstructGPT 證明了對人類反饋進行微調是使語言模型與人類意圖保持一致的重要發展方向，且基于 RLHF 的訓練方法能夠大大減少對模型參數量的要求，提高訓練速度，降低訓練成本。此外，由于 InstructGPT 是在 GPT-3 基礎上做的微調，且涉及了人工標注，數據集總量并不大，總計 77K，其中涉及人工的為 46K。