“涌現”可能是度量選擇的結果。斯坦福大學團隊在《Are Emergent Abilities of Large Language Models a Mirage?》對大模型涌現現象提出思考,過往模型能力非線性的提升被稱為涌現,而這種現象背后可能是打分函數的非線性導致的。研究團隊重構打分函數并基于 GPT 系列模型進行測試,結果顯示涌現現象消失。
“涌現”可能是度量選擇的結果。斯坦福大學團隊在《Are Emergent Abilities of Large Language Models a Mirage?》對大模型涌現現象提出思考,過往模型能力非線性的提升被稱為涌現,而這種現象背后可能是打分函數的非線性導致的。研究團隊重構打分函數并基于 GPT 系列模型進行測試,結果顯示涌現現象消失。