
Transformer 架構未能完全表達人腦的思考機制。當前 LLM 的主流框架依舊是Transformer 架構。Transformer 通過模仿人腦的思考機制,利用自注意力機制并行處理序列元素,顯著提升了訓練速度和長距離依賴建模能力。然而,從神經科學的角度來看,人腦的復雜性依然遠遠超過當前的 LLM。盡管 LLM 的參數和連接數已達到數萬億個,但仍無法與人腦的復雜性相提并論。人類大腦的進化依賴于選擇和投注機制,以較低的容量實現更高效的信息處理。當前 AI 的局限性可能不僅在于數據不足,還在于其學習效率的低下。真正的智能不僅僅是數據量的堆積,更在于對信息的壓縮和提煉,類似于通過總結第一性原理的方式獲取更深層次的智能。與此同時,除了 Transformer 架構中提出的注意力機制外,人腦中仍有許多尚未被算法表達的思考機制。這些機制在未來可能會進一步推動大語言模型實現能力的躍升。