曾國洋-端側模型的知識密度：邁向 AGI 的關鍵技術實踐.pdf

1、曾國洋面壁智能：端側大模型主要內容大模型技術發展歷史趨勢大模型前沿技術與實踐大模型未來發展格局的預測：了解大模型技術趨勢，提前布局應用：掌握行業應用發展規律，輔助長期研判：交換認知收獲靈感，推動 AGI 早日到來開源大模型利好大模型應用落地沒有智能的產品會落后于時代，跟不上趨勢將會被洗牌。DS 出圈將智能的需求植入到廣大消費者的心中，大模型正在改變工作模式+LLM+LLM+LLM大模型技術發展歷程大模型的技術迭代在優化什么？大模型技術發展歷程價格效果=模型知識密度不斷提升密度越高的模型技術越先進大模型技術迭代的刻度尺知識密度是什么知識密度=模型效果推理價格如何評估模型知識密度？知識密度的定量計

2、算知識密度=等效參考模型規模實際模型運算規模Densing Law of LLMs：大模型的知識密度法則大模型知識密度發展規律密度規律在各行各業普遍存在知識密度的盡頭在哪知識密度的上限如何提升知識密度上限如何提升知識密度上限如何提升知識密度上限如何提升知識密度上限合成數據之間亦有差別數據本身的信息量不同012300123110322230133210012303200131312130232210通向更高知識密度的路徑更容易學習的數據更容易學習的數據012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210012303200131312130232210更容易學習的數據模型規模與思維鏈的猜想如何獲取思維鏈利用思維鏈提升知識密度通向更高知識密度的路徑總體判斷：不要高估短期技術發展，不要低估長期應用價值技術趨勢：知識密度之外還需要攻克的挑戰應用落地：面向未來模型能力布局大模型正在重新定義軟件Large Language Model Is Redefining The Software