
Google研究推動規模競賽加速,規模界限分別是62B和175B。2022年1月,Google團隊開創了思維鏈(CoT)領域研究《Chain-of-Tho ught Prompting Elicits Reasoning in Large Langu age Models》,通過 prompt 中引導大模型進行邏輯推理的方式實現性能優化,并且這種優化幅度大于此前規模提升帶來的線性提升。而下一個自然的問題則是參數規模的界限,Google 團隊在 2022 年 12 月3比較了不同參數規模下直接 prompt 以及 CoT 下的表現,得出以下結論:對于所有小于 62B 的模型,直接用提示詞都好于思維鏈。結合 GPT-3 模型規模,至少需要大于 175B4,思維鏈的效果才能大于 Fine-tuned 小模型的效果。