國內外主流大模型Token定義 各廠商對 token定義存在差異。token是廠商用來計量大模型輸入、輸出的基本單位,也可以直觀的理解為“字”或“詞”。但各大模型廠商對 token的定義存在一定差異,例如通義千問及千帆對一個 token的定義為一個漢字,騰訊混元則定義一個 token等于 1.8個漢字,國內主流大模型對 token定義差異在50%-80%。 行業數據 下載Excel 下載圖片 原圖定位