
“預測即壓縮,壓縮即智能”。從神經科學的角度來看,人腦依然遠遠超過當前的大型語言模型(LLM)。盡管 LLM 的參數和連接數達到數萬億,但仍無法與人腦的復雜性相提并論。人類大腦的進化依賴于選擇和投注機制,以較低的容量實現更高效的信息處理。人工智能的注意力機制主要是基于算法和模型來實現的,雖然在功能上與人類的注意力機制有相似之處,但在實現原理和靈活性上存在顯著差異,例如對定性描述詞的理解。當前 AI 的局限性或在于其學習效率的低下,而非數據不足。真正的智能不僅是數據量的堆積,而是在于對信息的壓縮和提煉,類似于通過總結第一性原理的方式獲取更深層次的智能。