《高通：2023混合AI是AI的未來白皮書（第二部分）（14頁）.pdf》由會員分享，可在線閱讀，更多相關《高通：2023混合AI是AI的未來白皮書（第二部分）（14頁）.pdf（14頁珍藏版）》請在三個皮匠報告上搜索。

1、 1 混合 AI 是AI 的未來 2023 年 5 月 第二部分：高通在推動混合 AI 規?；瘮U展方面獨具優勢 2 目錄 1 摘要.3 2 高通技術公司是終端側 AI 的領導者.3 2.1 持續創新.4 2.1.1 我們 AI 技術的發展歷程.4 3 我們在終端側生成式 AI 領域的領導力.4 3.1 突破終端側和混合 AI 邊界.5 3.2 負責任的 AI.5 4 卓越的終端側 AI 技術和全棧優化.6 4.1 算法和模型開發.7 4.2 軟件和模型效率.7 4.2.1 量化.9 4.2.2 編譯.9 4.3 硬件加速.10 5 無與倫比的全球邊緣側布局和規模.11 5.1 手機.12 5.

2、2 汽車.12 5.3 PC 和平板電腦.12 5.4 物聯網.13 5.5 XR.13 6 總結.13 3 1 摘要 正如白皮書第一部分所言，在云端和終端進行分布式處理的混合 AI 才是 AI 的未來?；旌?AI 架構，或僅在終端側運行 AI，能夠在全球范圍帶來成本、能耗、性能、隱私、安全和個性化優勢。高通正在助力實現隨時隨地的智能計算。高通技術公司作為終端側 AI 領導者，面向數十億手機、汽車、XR 頭顯與眼鏡、PC 和物聯網等邊緣終端提供行業領先的硬件和軟件解決方案，對推動混合 AI 規?；瘮U展獨具優勢。高通的硬件解決方案具有行業領先的能效，智能手機解決方案的能效與競品對比，大約有兩倍的

3、優勢。憑借一系列基礎研究，以及跨 AI 應用、模型、硬件與軟件的全棧終端側 AI 優化，我們的持續創新讓公司始終處于終端側 AI 解決方案的最前沿。高通技術公司還專注于為全球數十億、由高通和驍龍平臺支持的終端提供開發和部署的簡便性，從而賦能開發者。利用高通 AI 軟件棧，開發者可以在我們的硬件上創建、優化和部署 AI 應用，一次編寫即能實現跨我們芯片組解決方案的不同產品和細分領域進行部署。憑借技術領導力、全球化規模和生態系統賦能，高通技術公司正在讓混合 AI 成為現實。2 高通技術公司是終端側 AI 的領導者 憑借賦能數十億邊緣終端的終端側 AI 領導力，高通技術公司正在助力打造混合 AI 新

4、時代?？蓴U展的技術架構讓我們能夠采用一個高度優化的 AI 軟件棧即可在不同終端和模型上進行工作。我們的 AI 解決方案旨在提供最佳能效，讓 AI 無處不在。高通 AI 引擎是我們終端側 AI 優勢的核心，它在驍龍平臺和我們其他眾多產品中發揮了重要作用。高通 AI 引擎作為我們多年全棧 AI 優化的結晶，能夠以極低功耗提供業界領先的終端側 AI 性能，賦能當前和未來的用例。搭載高通 AI 引擎的產品出貨量已超過 20 億，賦能極為廣泛的終端品類，包括智能手機、XR、平板電腦、PC、安防攝像頭、機器人和汽車等。1 高通 AI 軟件棧將我們所有相關的 AI 軟件產品集成在統一的解決方案中。OEM 廠

5、商和開發者可在我們的產品上創建、優化和部署 AI 應用，充分利用高通 AI 引擎性能，讓 AI 開發者創建一次 AI模型，即可跨不同產品部署。1 https:/ 驍龍和高通品牌產品是高通技術公司和/或其子公司的產品。4 2.1 持續創新 我們開發的低功耗、高性能 AI，已經形成了一個跨智能手機、汽車、XR、PC、筆記本電腦以及企業級 AI 等現有市場和新興領域的龐大終端 AI 生態系統。多年來，我們在照片與視頻拍攝、先進連接、語音指令、安全和隱私等關鍵用例領域，持續利用 AI 賦能芯片組產品、打造差異化優勢，以獲得市場領先地位。2.1.1 我們 AI 技術的發展歷程 高通深耕 AI 研發已超過

6、 15 年。在高通 AI 研究2，我們的使命是實現 AI 基礎研究突破，并實現跨行業和用例的規?；瘮U展。高通正在推動 AI 進步，讓感知、推理和行為等核心能力在終端上無處不在。我們的重要 AI 研究論文正在影響整個行業，推動高能效 AI 發展。通過匯聚領域內的杰出人才，高通正在不斷突破 AI 可能性，塑造 AI 的未來。圖1：高通持續的AI研發投入是產品領導力的基礎。3 我們在終端側生成式 AI 領域的領導力 多年來，高通 AI 研究團隊一直在探索生成式 AI。生成式 AI 可追溯到生成式對抗網絡（GAN）和變分自編碼器（VAE）。最初，我們探索了生成式模型是否能夠很好地壓縮，并進一步提升生成

7、痕跡（Artifact）的感知效果。我們利用 VAE 技術創建更好的視頻和語音編解碼器，將模型規模 2 高通 AI 研究是高通技術公司的機構。5 控制在 1 億參數以下。我們還將生成式 AI 理念延伸到無線領域來替代信道模型，讓通信系統更加高效。近期，我們已在終端側實現支持超過 10 億參數的生成式 AI 模型，比如 Stable Diffusion，并計劃未來在終端側支持參數高達數百億的模型。我們不僅在研究如何將生成式 AI 模型用作通用代理來構建計算架構并使用語言來描述相關任務和行為，同時也正在研究如何能夠通過增加感知輸入（比如視覺和音頻），進一步開拓這一能力以及環境交互能力，比如對機器人

8、生成指令或運行軟件。3.1 突破終端側和混合 AI 邊界 高通技術公司具有獨特專長，我們能夠提供在邊緣側終端上低功耗運行生成式 AI 所需的處理性能，例如大語言模型（LLM）等。若要讓生成式 AI 得到廣泛采用，就不能像目前這樣僅在云端進行推理，還必須在終端側進行大量 AI 處理。為了讓生成式 AI 融入日常生活，AI 處理需要同時使用云端和終端。最終，AI 能力將成為用戶選購下一款手機、PC 或汽車的主要影響因素。通過 AI 硬件加速和簡化開發的軟件解決方案（比如高通 AI 軟件棧），高通已經在引領終端側 AI推理。目前，我們能夠支持在終端側運行參數超過 10 億的模型，預計在未來幾個月，終

9、端側將可以支持超過 100 億參數的模型。我們的 AI 加速架構具備靈活性和穩健性的特點，能夠應對生成式 AI 模型架構的潛在變化。隨著大語言模型和其他生成式 AI 模型持續演進，高通 AI 軟件棧和技術將隨之不斷發展。能夠輕松開發混合 AI 應用是關鍵所在，而我們跨產品組合的通用 AI 架構以及 AI 工具正是面向這一未來而設計。3.2 負責任的 AI 高通力求創造能為社會帶來積極影響的 AI 技術。高通的終端側 AI 愿景基于透明、負責、公平、管理環境影響和以人為本等原則，我們的工作將產生廣泛深遠的影響，因此我們致力于負責任地管理 AI，并采取措施以規避潛在危害。高通終端側 AI 解決方案

10、旨在賦能增強的隱私性和安全性，這對打造穩健可信的 AI 生態系統至關重要。高通密切關注并配合參與全球各地政府的監管框架、指導方針和最佳實踐，包括政府間政策指導（比如，世界經濟合作與發展組織推出的人工智能發展建議）和區域與國家框架（比如歐盟制定的人工智能法和美國國家標準與技術研究所發布的人工智能風險管理框架）。這些 6 法規和政策指導方針為負責任地開發和部署 AI 技術提供了重要的法律和道德考量標準。遵守 AI法規和最佳實踐是高通致力打造道德、負責的 AI 創新的基礎，我們的工作實踐將持續看齊不斷演進的 AI 治理格局。最后，作為我們參與和領導行業協作、標準機構組織和聯盟的一部分，高通支持并倡導

11、 AI 標準、數據與隱私保護和穩健的網絡安全。一直以來，高通深知擁有穩健的綜合性標準，對于指導負責任的新技術開發部署具有重要意義。攜手合作開發穩健有效的 AI 標準，是邁向打造可持續且可信賴的 AI 生態系統的關鍵一步。4 卓越的終端側 AI 技術和全棧優化 高通為應用、神經網絡模型、算法、軟件和硬件進行全棧 AI 研究和優化。異構計算方法利用硬件（比如 CPU、GPU 和 AI 加速器）和軟件（比如高通 AI 軟件棧）來加速終端側 AI。我們的團隊跨上述全部領域聯合工作，共同開發最為優化的解決方案。圖2：高通全棧AI研究和優化賦能技術持續改進并引領高能效解決方案發展。上圖展示的循環創新方式讓

12、我們能夠基于最新神經網絡架構，針對硬件、軟件和算法持續改進高通 AI 軟件棧。高通在 AI 基礎研究方面具備獨特能力，能夠支持全棧終端側 AI 研發，賦能產品快速上市并圍繞終端側生成式 AI 等關鍵應用實現優化部署。7 高通演示的全球首個在 Android 智能手機上運行的 Stable Diffusion，突顯了我們全棧策略的優勢。所有讓 Stable Diffusion 實現 15 秒內完成終端側運行的全棧研究和優化，現已集成進高通 AI軟件棧，并將助力提升未來硬件設計。此外，讓 Stable Diffusion 能夠在手機上高效運行的優化方式也可以用于其他平臺，比如高通技術賦能的筆記本電

13、腦、XR 終端和幾乎任何其他終端。4.1 算法和模型開發 高通研究團隊從事神經網絡架構開發和調整工作，以在不犧牲準確度的前提下提高效率，例如動作識別和超級分辨率。面向動作識別設計的傳統深度學習模型會逐幀、逐層地處理視頻序列，雖然這會帶來準確的處理結果，但它是計算密集型的、時延高，并且能效低。高通現已推出的 FrameExit 模型能夠自主學習，針對較簡單視頻處理更少幀，針對較復雜視頻處理更多幀，以減少能耗并提高性能。除模型結構創新之外，高通全棧 AI 優化還包括最先進的量化技術和創新的編譯器（compiler）棧。我們在移動終端上演示了這一技術，在常用動作識別基準測試平臺上相較于其他方法計算量

14、和時延（平均）可減少五倍。面向高清屏幕上的游戲和視頻播放等應用，超級分辨率能夠讓圖像更清晰、銳利，實現分辨率升格。盡管基于 AI 的超級分辨率相比傳統解決方案能夠實現出色的視覺質量，但在移動終端上實時運行頗具挑戰性。高通對 AI 全棧進行了優化，包括基于我們 Q-SRNet 模型的算法、采用 INT4量化的軟件，以及支持 INT4 加速的第二代驍龍 8 硬件。我們利用 INT4 模型實現全球首個實時超級分辨率終端側演示，大幅改善了時延和功耗。實際上，與 INT8 相比，INT4 性能和能效提高了1.5 倍至 2 倍。4.2 軟件和模型效率 高通 AI 軟件棧旨在幫助開發者實現一次開發，即可跨高

15、通所有硬件運行 AI 負載。高通 AI 軟件棧全面支持主流 AI 框架，比如 TensorFlow、PyTorch、ONNX 和 Keras，以及包括 TensorFlow Lite、TensorFlow Lite Micro 和 ONNX Runtime 等在內的 runtime。此外，它還集成了推理軟件開發包（SDK），比如我們廣受歡迎的高通神經網絡處理 SDK，包括面向 Android、Linux 和Windows 的不同版本。高通開發者庫和服務支持最新編程語言、虛擬平臺和編譯器。在更底層，我們的系統軟件集成了基礎的實時操作系統（RTOS）、系統接口和驅動程序。我們還支持廣泛的操作系統（

16、包括 Android、Windows、Linux 和 QNX），以及用于部署和監控的基礎設施（比如 Prometheus、Kubernetes 和 Docker）。8 高通 AI 軟件棧還集成了 Qualcomm AI Studio，支持從模型設計到優化、部署和分析的完整工作流。它將高通提供的全部工具集成到一個圖形用戶界面，并利用可視化工具以簡化開發者體驗，支持開發者實時查看模型開發進度，這其中包括高通 AI 模型增效工具包（AIMET）、AI 模型增效工具包模型庫、模型分析器和神經網絡架構搜索（NAS）。3 圖3：高通AI軟件棧旨在幫助開發者一次編寫、隨處運行，實現規?；渴?。高通專注于 A

17、I 模型效率研究以提高能效和性能?？焖俚男⌒?AI 模型如果只能提供低質量或不準確的結果，那么將失去實際用處。因此，我們采用全面而有針對性的策略，包括量化、壓縮、條件計算、神經網絡架構搜索（NAS）和編譯，在不犧牲太多精度的前提下縮減 AI 模型，使其高效運行。即使是那些已經面向移動終端優化過的模型我們也會進行這一工作。3 高通 AI 模型增效工具包（AIMET）和 AI 模型增效工具包模型庫是高通創新中心公司的產品。9 圖4：高通AI研究采用整體AI模型效率研究方法。4.2.1 量化 面向高效整數推理的量化是我們的重點關注領域之一。過去幾年，我們通過論文和演示分享了高通領先的 AI 量化研究

18、，包括訓練后量化（PTQ）技術，比如無數據量化和自適應舍入(AdaRound)，以及聯合量化和剪枝技術，比如貝葉斯比特。量化不僅能夠提高性能，降低內存要求，還能通過讓模型在高通專用 AI 硬件上高效運行，降低內存帶寬占用，以節省功耗。例如，將FP32 模型量化壓縮到 INT4 模型，可帶來高達 64 倍的內存和計算能效提升。對于生成式 AI 來說，由于基于 transformer 的大語言模型（比如 GPT、Bloom 和 LLaMA）受到內存的限制，在量化到 8 位或 4 位權重后往往能夠獲得大幅提升的效率優勢。包括高通在內的多項研究工作顯示，4 位權重量化不僅對大語言模型可行，在 PTQ

19、設置中同樣可行，并能實現最優表現。這一效率的躍升已經超越了浮點模型。高通 AI 模型增效工具包提供基于高通 AI 研究技術成果開發的量化工具，目前已納入 Qualcomm AI Studio。借助量化感知訓練和/或更加深入的量化研究，許多生成式 AI 模型可以量化至 INT4 模型。INT4 支持將在不影響準確性或性能表現的情況下節省更多功耗，與 INT8 相比實現高達 90%的性能提升和 60%的能效提升，能夠運行更高效的神經網絡。使用低位數整型精度對高能效推理至關重要。4.2.2 編譯 編譯器作為高通 AI 軟件棧中的關鍵組件，讓 AI 模型能夠以最高性能和最低功耗高效運行。AI 編譯器將

20、輸入的神經網絡轉化為可以在目標硬件上運行的代碼，同時針對時延、性能和功耗進行優 10 化。編譯包括計算圖的切分、映射、排序和調度等步驟。高通在傳統編譯器技術、多面體 AI 編譯器和編譯器組合優化 AI 研究方面的技術專長已經實現了諸多先進的技術成果。例如，高通 AI 引擎 Direct 框架基于高通 Hexagon處理器的硬件架構和內存層級進行運算排序，以提高性能并最大程度減少內存溢出。我們的優化有助于減少 DRAM 存取量，并顯著降低runtime 的時延和功耗。4.3 硬件加速 高通硬件提供行業領先的能效，是移動領域競品的近 2 倍。圖 5：與移動領域競品相比，第二代驍龍8提供領先的AI能

21、效。高通 AI 引擎由多個軟硬件組件構成，能在驍龍和高通平臺上實現終端側 AI 加速。在硬件方面，高通 AI 引擎采用異構計算架構，包括 Hexagon 處理器、高通 Adreno GPU 和高通 Kryo CPU，全部面向在終端側快速高效地運行 AI 應用而打造。通過異構計算的方式，開發者和 OEM 廠商可以優化智能手機和其他邊緣側終端上的 AI 用戶體驗?；诙嗄甑膶ｍ椦芯客度?，Hexagon 處理器不斷演進，已經成為了高通 AI 引擎最關鍵的部分，并能夠應對不斷變化的 AI 需求。2007 年，我們在驍龍平臺上推出了首個 Hexagon 處理器。2015年，驍龍820 處理器推出，集成了

22、首個專門面向移動平臺的高通AI 引擎，以支持圖像、音頻和傳感器的運算。2018 年，我們在驍龍 855 中為 Hexagon 處理器增加了張量加速器。2019 年，我們在驍龍 865 上擴展了終端側 AI 用例，包含 AI 圖片、AI 視頻、AI 語音和始終在線的傳感器中樞。11 2022 年，第二代驍龍 8 為整個系統提供了開創性的 AI 技術，搭載了迄今為止最快、最先進的高通 AI 引擎。用戶可以體驗更快速的自然語言處理所帶來的多語種翻譯，或享受由 AI 賦能的電影模式視頻拍攝所帶來的樂趣。最新的 Hexagon 處理器采用專用供電系統，能夠按照工作負載適配功率。特殊硬件提升了分組卷積、激

23、活函數加速和 Hexagon 張量加速器的性能。支持微切片推理和 INT4 硬件加速能夠在提供更高性能的同時，降低能耗和內存占用。Transformer 加速大幅提升了生成式 AI 中充分使用的多頭注意力機制的推理速度，在使用 MobileBERT 的特定用例中能帶來高達 4.35 倍的驚人 AI 性能提升。5 無與倫比的全球邊緣側布局和規模 高通技術公司部署的邊緣側終端規模十分龐大，搭載驍龍和高通平臺的已上市用戶終端數量已達到數十億臺，而且每年有數億臺的新終端還在進入市場。4 我們的 AI 能力賦能一系列廣泛的產品，包括手機、汽車、XR、PC 和物聯網。我們開發 AI 加速解決方案（比如高通

24、 AI 引擎）以及所有面向頂級產品的其他關鍵 IP 創新和技術，通常每年作為高通可擴展技術架構的一部分進行迭代，跨細分領域快速普及相關功能并下沉到主流和入門級產品。正因如此，高通技術公司對在全球范圍賦能混合 AI 規?；瘮U展獨具優勢。圖6：搭載驍龍平臺的終端能夠推動混合AI擴展至跨不同細分領域和層級的數十億產品。4 Counterpoint Research，2023 年 5 月 12 5.1 手機 驍龍是提升頂級 Android 體驗的領先移動平臺，其中就包含已出貨的 20 多億個具備 AI 能力的處理器。驍龍平臺在移動平臺 AI 基準測試中也處于領先地位，比如在行業知名的 AI Bench

25、mark 中占據前 20 位。5 2023 年第二季度，領先的市場調研公司 TechInsights 預測，高通技術公司將以超過 40%的市場份額保持 AI 智能手機處理器出貨量的領導地位，遠遠超過蘋果(25%)和聯發科(24%)等其他公司。6 5.2 汽車 高通技術公司是座艙和車載信息娛樂解決方案的領導者，全球所有主要汽車制造商都選擇驍龍座艙平臺來賦能他們的數字座艙系統。其中許多汽車制造商已經啟動量產項目，或目前正在設計采用高通解決方案的平臺。這些汽車制造商包括本田、梅賽德斯、雷諾、沃爾沃、捷豹路虎、Stellantis、寶馬、通用汽車/凱迪拉克、長城汽車、Mahindra、Togg、豐田、

26、小鵬汽車、廣汽集團、捷途汽車、蔚來和威馬汽車。隨著最新一代驍龍座艙平臺的推出，高通汽車解決方案旨在提供業界領先的車內用戶體驗，以及安全性、舒適性和可靠性，在網聯汽車時代為數字座艙解決方案樹立全新標桿。Snapdragon Ride平臺能夠提供擴展的產品路線圖，包括基于 5 納米工藝制程打造的首款可擴展自動駕駛 SoC 平臺，擁有更廣泛的軟件生態系統，提供經行業驗證的視覺感知、泊車和駕駛員監測軟件棧。5.3 PC 和平板電腦 驍龍計算平臺集成高通 AI 引擎，支持強大的終端側加速，能夠為最新應用帶來更佳質量、性能和效率。除文本、圖像和視頻創作等生成式 AI 應用外，高通 AI 引擎還支持一系列傳

27、統 AI 用例，從提升安全性的快速威脅檢測，到增強視頻會議體驗的眼神接觸和降噪。利用 Hexagon 處理器能夠提升性能和效率，實現長時間電池續航，同時不占用 CPU 和 GPU 等其他系統資源，能夠幫助用戶提高生產力。5 基于 ai- 分數，截至 2023 年 5 月 6 TechInsights，2023 年 4 月 13 5.4 物聯網 高通技術公司是物聯網領域的主要技術提供商，擁有跨不同垂直領域超過 16,000 家的客戶。嵌入高通物聯網芯片組和平臺的 AI 處理能力支持以高效可行的方式進行終端側數據分析（比如視頻），推動跨多個細分領域的創新和轉型，包括機器人、智能攝像頭、零售和城市基

28、礎設施。5.5 XR VR 頭顯和 AR 眼鏡等 XR 終端也集成了高通終端側 AI 和 Snapdragon Spaces技術，以提供更具沉浸感的體驗，更好地適應周圍世界。迄今為止，已有超過 65 款采用驍龍平臺的 XR 終端發布，包括 Meta、PICO 和聯想等品牌推出的眾多廣受歡迎的終端。6 總結 混合 AI 勢不可當。云端和終端將協同工作，依托強大、高效且高度優化的 AI 能力打造下一代用戶體驗。終端側 AI 領導力賦予高通面向混合架構轉型的獨特優勢。隨著大量的工作負載正從云端轉向邊緣終端，因此需要邊緣側處理的高性能和出色能效。憑借具備前瞻性的早期研究和產品開發投入，目前驍龍平臺能夠

29、支持參數超過 10 億的生成式 AI 模型，并即將支持 100 億或更多參數的模型。高通擁有無與倫比的邊緣側布局，全球搭載驍龍和高通平臺的終端裝機量已達到數十億臺，有望推動生成式 AI 規?；瘮U展，為無數人的生活帶來積極影響。高通技術公司將支持開發者、OEM廠商和其他生態系統創新者快速且經濟高效地構建全新生成式 AI 應用和解決方案。技術領導力、全球規模和生態系統賦能完美結合，讓高通技術公司在推動混合 AI 開發和應用方面獨樹一幟。欲了解更多相關內容 歡迎訂閱未來移動計算技術簡訊歡迎訂閱未來移動計算技術簡訊 14 本資料內容不是銷售本文所提及任何組件或終端的要約?！案咄ā笨赡苤父咄ü?、高通技術公司和/或其他子公司或事業部。2023 年 高通技術公司和/或其關聯公司。保留全部權利。高通、驍龍、Snapdragon Spaces、Hexagon、Adreno 和 Kryo 是高通公司的商標或注冊商標。其他產品和品牌名稱可能是各自所有者的商標或注冊商標。請關注我們：欲了解更多信息，請訪問