特點#3：上下文作為 LLM 的內存，是實現模型通用化的關鍵 國外 LLM 廠商較早實現長上下文，國內廠商通過長上下文找到差異化競爭優勢。國外較早實現長上下文的廠商是 Anthropic，旗下 Claude模型在 23年 11月，將支持的上下文從 100K tokens 提升到 200K，同時期的 GPT-4 維持在 128K。24 年 2 月，Google 更新 Gemini 到1.5 Pro 版本，將上下文長度擴展到 1M（5 月更新中擴展到 2M），并在內部實現了 10M， 是目前已 知最大上下文長度。國內方面，23 年 10 月由 月之暗面發布的 Kimi 智能助手（原名 Kimi Chat），率先提供 20 萬字的長上下文，并在 24 年迎來了用戶訪問量的大幅提升。24 年 3 月，阿里通義千問和 Kimi 先后宣布支持 1000 萬字和 200 萬字上下文，引發國內百度文心一言、360 智腦等廠商紛紛跟進長上下文能力迭代。我們認為，國內 LLM 廠商以長上下文為契機，尋找到了細分領域差異化的競爭路線，或有助于指導后續的模型迭代。