我們認為，之所以長上下文會在當下成為趨勢，主要原因包括，1）階段性需求：ChatGPT和 GPT-4 問世已經超過 1 年，在基于 Transformer 解碼器架構沒有重大革新的情況下，模 型的推理 能力（GPT-4 能力）、成本控制（GPT-4 Turb o 的降價）、多模態能力（GPT-4V等）、智能體能力（GPTs 等）已經取得階段性成果，而上下文支持能力尚未被顯著開發。2）場景需求：尤其是對于虛擬陪伴類 AI 產品（如 Character.ai），用戶希望在交互過程中，模型能夠記憶長期的用戶信息，需要依賴模型的長下文能力。以及對于逐漸豐富的大模型垂類場景，如金融分析、法律輔助、個性化教育等，需要模型分析較長的文檔。3）AGI 的需求：更遠期的看，長下文能夠很好的解決模型在執行下游任務時需要做 fine-tune（微調）的問題。只需要將知識通過上下文輸入，即可實現上下文學習，這是更加通用的方法，更符合 AGI 的定義。