《高通（Qualcomm）：2025 AI變革正在推動終端側推理創新研究報告（10頁）.pdf》由會員分享，可在線閱讀，更多相關《高通（Qualcomm）：2025 AI變革正在推動終端側推理創新研究報告（10頁）.pdf（10頁珍藏版）》請在三個皮匠報告上搜索。

1、1 AI變革正在推動 終端側推理創新 生成式模型的激增和演進，將如何改變AI格局并釋放價值 2025年2月 驍龍、高通、以及其他Snapdragon與Qualcomm旗下的產品系高通技術公司和/或其子公司的產品。2 目錄 摘要.3 高質量AI模型目前已變得豐富且經濟實惠.4 創新推動模型質量提升，減少開發時間和成本.4 小模型在邊緣側實現了強大功能.5 AI推理創新時代已經到來.6 高通將成為AI推理時代引領者.7 擴展覆蓋所有關鍵邊緣細分領域.8 手機.8 PC.8 汽車.8 工業物聯網.9 網絡.9 總結.10 3 摘要 尖端AI推理模型DeepSeek R1一經問世，便在整個科技行業引起

2、波瀾。因其性能能夠媲美甚至超越先進的同類模型，顛覆了關于AI發展的傳統認知。這一關鍵時刻是更廣泛趨勢的一部分，凸顯了行業在打造高質量小語言模型和多模態推理模型方面的創新，以及這些創新正在為AI的商用應用和終端側推理落地做好準備。這些新模型能夠在終端側運行，將加速強大邊緣側芯片的規?；瘮U展，并創造對此類芯片的需求。四大趨勢正在顯著提高目前可在終端側運行的AI模型的質量、性能和效率，從而推動上述變革：當前先進的當前先進的AI小模型已具有卓越性能。小模型已具有卓越性能。模型蒸餾和新穎的AI網絡架構等新技術能夠在不影響質量的情況下簡化開發流程，讓新模型的表現超越一年前推出的僅能在云端運行的更大模型。模

3、型模型參數規模參數規模正在快速正在快速縮小?？s小。先進的量化和剪枝技術使開發者能夠在不對準確性產生實質影響的情況下，縮小模型參數規模。開發者能夠在邊緣側打造更豐富的應用開發者能夠在邊緣側打造更豐富的應用。高質量AI模型快速激增，意味著文本摘要、編程助手和實時翻譯等特性在智能手機等終端上的普及，讓AI能夠支持跨邊緣側規?；渴鸬纳逃脩?。AI正在成為新的正在成為新的UI。個性化多模態AI智能體將簡化交互，高效地跨越各種應用完成任務。高通技術公司在引領并利用從AI訓練向大規模推理轉型，以及AI計算處理從云端向邊緣側擴展方面具有戰略優勢。公司在開發定制CPU、NPU、GPU和低功耗子系統領域取得了廣

4、泛的成就。通過與模型廠商展開合作，以及面向跨不同邊緣終端領域的模型部署提供工具、框架和SDK，高通技術公司賦能開發者在邊緣側加速采用AI智能體和應用。近期對AI模型訓練方式的顛覆變革和重新評估驗證了AI格局即將向大規模推理轉變的趨勢，這將形成全新邊緣側推理計算的創新和升級周期。盡管模型訓練仍將在云端進行，但推理將受益于采用高通技術的廣泛終端規模，并催生更多邊緣側AI賦能處理器的需求。4 高質量AI模型目前已變得豐富且經濟實惠 創新推動模型質量提升，減少開發時間和成本 AI模型訓練成本的下降和開源合作相結合，讓更多的開發者和組織能夠進行高質量模型開發。這種轉變是由多種技術進步共同推動的。使用更長

5、上下文文本和簡化一些訓練步驟，能夠節省計算成本。從混合專家模型(MoE)到狀態空間模型(SSM)等較新的網絡架構，正在以更少的計算開銷和功耗不斷實現技術突破。新一代 AI模型還集成了諸如思維鏈推理（Chain-of-Thought Reasoning）和自我驗證等先進方法，能夠在數學、編碼和科學推理等各種頗具挑戰性的領域獲得出色表現。蒸餾（Distillation）是開發高效小模型的一項關鍵技術。它能夠讓大模型“教學”小模型，保持準確性的同時遷移知識。蒸餾技術的使用促使小型基礎模型激增，包括眾多面向特定任務調優的模型。圖1展示了蒸餾的強大能力。這里比較了Llama 3.3 700億參數模型和同

6、類DeepSeek R1蒸餾模型的LiveBench平均測試結果，顯示出在相同參數規模下，蒸餾能夠在推理、編程和數學任務中顯著提高性能。圖1：Meta Llama 700億參數模型和DeepSeek對應蒸餾模型的LiveBench AI基準測試平均結果對比。來源：LiveBench.ai，2025年2月。5 小模型在邊緣側實現了強大功能 得益于蒸餾和上述其他技術，小模型正在接近前沿大模型的質量。圖2顯示了DeepSeek R1蒸餾版本與其他領先模型的基準測試結果對比?；谕x千問模型和Llama模型的DeepSeek蒸餾版本展現了諸多明顯優勢，尤其是在GPQA基準測試中，與GPT-4o、Cla

7、ude 3.5 Sonnet和GPT-o1 mini等先進模型相比，取得了相似或更高的分數。GPQA是一個關鍵評估指標，因其涉及解決復雜問題的深層次、多步驟的推理，這對許多模型頗具挑戰性。圖2：數學和編程基準測試。來源：DeepSeek，2025年1月。許多主流模型系列包括DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral都推出了小模型版本，且面向特定任務的性能和基準測試都表現出色。將大型基礎模型縮減為更小、更高效的版本，不僅能實現更快的推理速度、更少的內存占用和更低的功耗，同時可以保持較高的性能水平，從而使此類模型適合在智能手機、PC和汽

8、車等終端上部署。量化、壓縮和剪枝等進一步優化技術，有助于縮小模型規模。量化能夠降低功耗，且在不明顯影響準確性的情況下通過降低精度加速運算，剪枝則可以消除不必要的參數。這些技術進步推動了高質量生成式AI模型的激增。根據Epoch AI整理的數據（圖3），在2024年發布的大規模AI模型中，超過75%的模型參數在千億規模以下。6 圖3：每年發布的大規模AI模型數量（按參數量分類）。來源：Epoch AI，2025年1月。AI推理創新時代已經到來 大量高質量小模型的涌現讓推理工作負載再次受到關注，這是應用和服務利用模型為企業和消費者提供價值的關鍵環節。高通技術公司已經優化了大量AI模型，以支持新一代

9、面向AI的Windows 11 AI+PC商用。同樣，高通還與三星和小米等OEM廠商合作推出了眾多支持豐富AI賦能特性的旗艦智能手機。AI推理功能在終端側的廣泛普及賦能打造了豐富的生成式AI應用和助手。文檔摘要、AI圖像生成和編輯以及實時語言翻譯現在已成為常見功能。影像方面的應用可以利用AI進行計算攝影、物體識別和實時場景優化。這之后迎來了多模態應用的發展，這類應用結合多種數據類型（文本、視覺、音頻和傳感器輸入），以提供更豐富、更具情境感知能力且更加個性化的體驗。高通AI引擎結合了定制NPU、CPU和GPU的能力，能夠在終端側優化此類任務，使AI助手能夠在不同溝通模式間切換，并生成多模態輸出。

10、智能體AI（Agentic AI）是下一代用戶交互的核心。AI系統能夠通過預測用戶需求，并在終端和應用內主動執行復雜工作流，進行決策和管理任務。高通技術公司注重高效、實時的AI處理，支持智能體在終端側持續安全地運行，同時依靠個人知識圖譜準確定義用戶偏好和需求，無需依賴云端。隨著時間推移，這些技術進步正在為AI成為主要UI奠定基礎，通過自然語言和基于圖像、視頻與手勢的交互簡化人們使用技術的方式。7 展望未來，高通技術公司在將AI功能融入機器人的具身AI時代也同樣具有優勢。利用推理優化技術專長，高通技術公司旨在支持機器人、無人機和其他自主設備（Autonomous Devices）進行實時決策，在

11、動態的真實環境中實現精確交互。盡管許多AI模型在云端訓練，但通常蒸餾小模型在幾周或幾天內即可投入運營并在終端上運行。例如，在不到一周內，DeepSeek R1蒸餾模型已經能在搭載驍龍平臺的PC和智能手機上運行。在終端內部署推理能夠通過降低時延實現即時性，提高隱私性，依靠本地數據提供更多情境信息，以及實現AI特性和應用的持續運行。此外，還通過規避云推理服務相關費用，為用戶和/或開發者降低了成本。這一切都將激勵軟件和服務提供商在邊緣側部署AI推理。高通將成為AI推理時代引領者 作為終端側AI的引領者，高通技術公司憑借面向邊緣終端的行業領先硬件和軟件解決方案，在推動AI推理時代發展上具有戰略優勢。這

12、些解決方案涵蓋了數十億臺智能手機、汽車、XR頭顯和眼鏡、PC以及工業物聯網終端等。高通技術公司長期致力于開發定制CPU、NPU、GPU和低功耗子系統，同時擁有封裝技術和熱設計的技術專長，構成了其行業領先系統級芯片（SoC）產品的基礎。這些SoC能夠直接在終端側提供高性能、高能效的AI推理。通過緊密集成這些核心組件，高通技術公司的平臺可在保持電池續航和整體能效表現的同時處理復雜AI任務，這對邊緣側用例至關重要。為了在平臺上充分釋放AI潛能，高通技術公司構建了強大的AI軟件棧，旨在賦能軟件開發者。高通AI軟件棧包括庫(libraries)、SDK和優化工具，可簡化模型部署并提升性能。開發者可以利用

13、這些資源，面向高通平臺高效進行模型適配，縮短AI賦能應用的上市時間。高通技術公司采取開發者為中心的策略，通過簡化在消費和商用產品中集成先進AI特性的過程，不斷加速創新。最后，作為高通面向各行各業規?；瘮U展AI戰略的核心，高通與全球AI模型廠商積極合作，并提供高通AI Hub等服務1。在高通AI Hub上，僅需簡單三步，開發者即可：1）選擇模型，或引入自主模型又或基于他們的數據創建模型；2）選擇任意框架和runtime，在基于云的物理設備場(cloud-based physical device farm)上撰寫和測試AI應用；以及3）使用工具商業化部署其應用。高通AI Hub支持主流大語言模型

14、和多模態大模型（LLM、LMM）系列，讓開發者可在搭載高通平臺的終端上部署、優化和管理推理任務。借助預優化模型庫和支持定制模型優化與集成等特性，高通技術 1 高通AI Hub不向中華人民共和國境內公眾提供生成式人工智能服務。高通AI Hub相關法律文件要求使用者在使用高通AI Hub時，遵守所有適用法律法規的規定。8 公司賦能加速開發周期，同時增強了與廣泛AI生態的兼容性。這種合作方式強化了高通技術公司在推動規?；?、實時化AI應用方面的領導地位。擴展覆蓋所有關鍵邊緣細分領域 得益于終端側本地AI處理帶來的增強的性能、效率、響應速度和隱私性，高通技術公司利用終端側AI賦能眾多行業、釋放商業價值并

15、支持全新用戶體驗。手機 驍龍移動平臺（如最新的驍龍8至尊版）通過賦能多種先進多模態生成式模型和智能體AI在智能手機上原生運行，正在推動終端側AI功能的發展。AI在多個方面增強了智能手機功能，如通信優化、生成式圖像編輯工具、個性化和無障礙功能。終端側生成式AI正用于開發更直觀、以用戶為中心的特性，并在移動終端上自主執行任務。在三星、華碩、小米、OPPO、vivo和榮耀等主要制造商基于驍龍平臺推出的最新旗艦智能手機中，這種由AI驅動功能的發展趨勢尤為凸顯。PC 驍龍X系列平臺憑借專為實現高性能、高能效的生成式AI推理而打造的、業界領先的定制NPU核心，對定義全新AI PC品類發揮了關鍵作用。該NP

16、U為Windows應用帶來顯著加速、增加全新特性、提升性能，并增強隱私保護和電池續航。開發者可在終端側運行生成式AI推理，提供首次亮相在驍龍X系列PC上的Windows 11 AI+PC先進特性。Zoom、Affinity、Djay Pro、剪映、Moises Live和Blackmagic Design的DaVinci Resolve等流行的第三方應用，充分利用NPU在驍龍X系列平臺上提供特定的AI賦能功能。汽車 驍龍數字底盤解決方案在其情境感知智能座艙系統中使用終端側AI，旨在增強汽車安全和駕駛體驗。該系統利用先進攝像頭、生物識別、環境傳感器以及先進的多模態AI網絡，提供根據駕駛員狀態和環

17、境條件而調整的實時反饋和功能。針對自動駕駛和輔助駕駛系統，高通技術公司開發了端到端架構，利用大規模訓練數據集，基于真實世界數據和AI增強數據的快速再訓練、OTA更新以及包括車內多模態AI模型和因果推理在內的先進軟件棧，應對現代自動駕駛和輔助駕駛的復雜性。9 示例：LLM智能體偵聽艙內對話，一位乘客提到咖啡，幾分鐘后地圖POI顯示咖啡店，LLM智能體提議停車喝咖啡 圖4：簡化的車內AI系統架構以支持智能座艙、自動駕駛和先進駕駛輔助。來源：高通技術公司，2025年1月。工業物聯網 對于工業物聯網和企業應用，高通技術公司近期推出Qualcomm AI本地設備解決方案（一款可靈活擺放的本地硬件解決方案

18、）和Qualcomm AI推理套件（一套覆蓋從近邊緣到云端的AI推理軟件和服務）。邊緣AI方案讓敏感客戶數據、調優模型和推理負載能夠保留在本地，增強隱私性、可控性、能效和低時延。這對于AI賦能的業務應用至關重要，比如智能多語言搜索、定制AI助手和智能體、代碼生成以及用于用戶安全、安防和現場監控的計算機視覺。網絡 高通技術公司已推出AI賦能的Wi-Fi聯網平臺高通A7 Elite專業聯網平臺。該解決方案集成Wi-Fi 7和邊緣AI，讓接入點和路由器可以代表網絡中的網聯終端運行生成式AI推理。它支持安全、能源管理、虛擬助手和健康監測等領域的創新應用，通過在網關處理數據，從而增強隱私性和實時響應。該

19、聯網平臺有望將Wi-Fi路由器、Mesh系統、寬帶網關和接入點轉變為家庭和企業內部私有、本地且基于AI的小型服務器。感知 LLM智能體（AI助手）增強的AR抬頭顯示（AR HUD）駕駛多模態LLM 直觀的 人機交互界面（HMI）規劃建議和 駕駛員狀態 人類 駕駛員 DeepPoints,POI 環境 詞元化 決策 轉換 ADAS 詞元化 環境從感知到先進駕駛輔助系統（ADAS）高效場景理解和識別 提升空間推理和實時規劃功能 從感知到車載信息 娛樂（IVI）10 總結 在訓練成本下降、快速推理部署和針對邊緣環境的創新推動下，AI正在經歷重要變革?？萍夹袠I不再僅僅聚焦于競相構建更大的模型，而是轉向

20、如何在邊緣側實際應用中高效地部署模型。對大型基礎模型的蒸餾已催生大量更智能、更小型、更高效的模型，使各行業能夠更快地規?；葾I，特別是在終端側加速集成。憑借高能效芯片設計、先進AI軟件棧和面向邊緣應用的全面開發者支持等技術專長，高通技術公司具有引領和受益于這一變革的獨特優勢。高通技術公司通過將NPU、GPU和CPU集成到終端設備中，實現了跨智能手機、PC、汽車和工業物聯網領域的高性能、高能效AI推理。高通技術公司為各行業帶來了高性能、經濟實惠、快速響應和注重隱私的變革性AI體驗。公司的生態系統策略包括高通AI軟件棧、高通AI Hub和戰略性的開發者協作加速了自適應AI技術的部署。這些解決方案有助于滿足注重實時性能、隱私和效率的相關行業需求。隨著AI創新在邊緣側爆發，高通技術公司在可擴展硬件和軟件方面的投入將進一步鞏固其領導力。公司正在推動一個全新時代的到來，讓AI應用更加觸手可及、更高效，并且融入日常生活的方方面面，推動全球多個行業的變革。