對于一段通常的中文文本，1 個 token 大約相當于 1.5-2 個漢字。谷歌 2024 年 2 月推出的 Gemini 1.5 pro 可在生產環境運行 100 萬 token，Kimi 上下文長度達到了業內頂尖水平。大模型無損上下文長度的數量級提升有望進一步打開對 AI 應用場景的想象力，包括完整代碼庫的分析理解、可以自主幫人類完成多步驟復雜任務的智能體 Agent、不會遺忘關鍵信息的終身助理等。