著技術進步的新浪潮。自2017年Transformer架構的誕生以來，OpenAI的GPT系列到Meta的LLaMA系列等一系列模型崛起。這些模型傳統上主要部署在云端服務器上，這種做法雖然保證了強大的計算力支持，卻也帶來了一系列挑戰：網絡延遲、數據安全、持續的聯網要求等。這些問題在一定程度上限制了LLMs的廣泛應用和用戶的即時體驗。正因如此，將LLMs部署在端側設備上的探索應運而生，不僅能夠提供更快的響應速度，還能在保護用戶隱私的同時，實現個性化的用戶體驗。