《高通：2023混合AI是AI的未來白皮書（第一部分）（18頁）.pdf》由會員分享，可在線閱讀，更多相關《高通：2023混合AI是AI的未來白皮書（第一部分）（18頁）.pdf（18頁珍藏版）》請在三個皮匠報告上搜索。

1、 1 混合 AI 是 AI 的未來 2023 年 5 月 第一部分：終端側 AI 和混合 AI 開啟生成式 AI 的未來 2 目錄 1 摘要.3 2 生成式 AI 簡介和當前趨勢.4 3 混合 AI 對生成式 AI 規?；瘮U展至關重要.5 3.1 什么是混合 AI？.6 3.2 混合 AI 的優勢.6 3.2.1 成本.6 3.2.2 能耗.6 3.2.3 可靠性、性能和時延.7 3.2.4 隱私和安全.7 3.2.5 個性化.7 3.3 AI 工作負載的分布式處理機制.8 3.3.1 以終端為中心的混合 AI.8 3.3.2 基于終端感知的混合 AI.9 3.3.3 終端與云端協同處理的混合

2、 AI.10 4 終端側 AI 的演進與生成式 AI 的需求密切相關.11 4.1 終端側處理能夠支持多樣化的生成式 AI 模型.11 5 跨終端品類的生成式 AI 關鍵用例.12 5.1 智能手機：搜索和數字助手.12 5.2 筆記本電腦和 PC：生產力.13 5.3 汽車：數字助手和自動駕駛.13 5.4 XR：3D 內容創作和沉浸式體驗.14 5.5 物聯網：運營效率和客戶支持.16 6 總結.17 3 1 摘要 混合 AI 是 AI 的未來。隨著生成式 AI 正以前所未有的速度發展1以及計算需求的日益增長2，AI 處理必須分布在云端和終端進行，才能實現 AI 的規?；瘮U展并發揮其最大潛

3、能正如傳統計算從大型主機和瘦客戶端演變為當前云端和邊緣終端相結合的模式。與僅在云端進行處理不同，混合 AI 架構在云端和邊緣終端之間分配并協調 AI 工作負載。云端和邊緣終端如智能手機、汽車、個人電腦和物聯網終端協同工作，能夠實現更強大、更高效且高度優化的 AI。節省成本是主要推動因素。舉例來說，據估計，每一次基于生成式 AI 的網絡搜索查詢（query），其成本是傳統搜索的 10 倍3，而這只是眾多生成式 AI 的應用之一?；旌?AI 將支持生成式 AI 開發者和提供商利用邊緣終端的計算能力降低成本?；旌?AI 架構或終端側 AI 能夠在全球范圍帶來高性能、個性化、隱私和安全等優勢?；旌?A

4、I 架構可以根據模型和查詢需求的復雜度等因素，選擇不同方式在云端和終端側之間分配處理負載。例如，如果模型大小、提示（prompt）和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終端運行?；旌?AI 還能支持模型在終端側和云端同時運行，也就是在終端側運行輕量版模型時，在云端并行處理完整模型的多個標記（token），并在需要時更正終端側的處理結果。隨著強大的生成式 AI 模型不斷縮小，以及終端側處理能力的持續提升，混合 AI 的潛力將會進一步增長。參數超過 10 億的 AI 模型已經能夠在手機上運行，且性能和精確度水平達到與云

5、端相似的水平。不久的將來，擁有 100 億或更高參數的模型將能夠在終端上運行?；旌?AI 方式適用于幾乎所有生成式 AI 應用和終端領域，包括手機、筆記本電腦、XR 頭顯、汽車和物聯網。這一方式對推動生成式 AI 規?；瘮U展，滿足全球企業與消費者需求至關重要。1 https:/ https:/ https:/ 2 生成式 AI 簡介和當前趨勢 ChatGPT 激發了人們的想象力和好奇心。自 2022 年 11 月推出后，短短兩個月內其月活用戶便達到 1 億，成為有史以來增長速度最快的消費類應用和第一個殺手級的生成式 AI 應用。隨著創新節奏的加快，想要緊跟生成式 AI 的發展速度，難度越來越大

6、。大型聚合網站的數據顯示，目前已有超過 3,000 個可用的生成式 AI 應用和特性4。AI 正迎來大爆發時期，就像此前電視、互聯網和智能手機的問世，而這僅僅是一個開始。ChatGPT 和 Stable Diffusion 等生成式 AI 模型能夠基于簡單的提示創作出全新的原創內容，如文本、圖像、視頻、音頻或其他數據。這類模型正在顛覆傳統的搜索、內容創作和推薦系統的方法通過從普通產業到創意產業的跨行業用例，在實用性、生產力和娛樂性方面帶來顯著增強。建筑師和藝術家可以探索新思路，工程師可以更高效地編寫程序。幾乎所有與文字、圖像、視頻和自動化相關的工作領域都將受益。網絡搜索是生成式 AI 正在變革

7、的諸多應用之一。另一個例子則是 Microsoft 365 Copilot，作為一項全新的生產力特性，它能夠利用生成式 AI 幫助編寫和總結文檔、分析數據，或將簡單的書面想法轉化為演示文稿，嵌入于 Word、Excel、PowerPoint、Outlook 和 Teams 等微軟應用中。生成式 AI 的出現也標志著用戶開始向探索更加多樣化、個性化的數字世界邁出了第一步。由于3D 設計師可以借助生成式 AI 工具更加快速高效地進行內容開發，3D 內容創作有望得到普及。這不僅將加速沉浸式虛擬體驗的創建，而且能夠降低個人創作者自主內容制作的門檻。我們即將看到從生成式 AI 中涌現出各種各樣的全新企業

8、級和消費級用例，帶來超越想象的功能。GPT-4 和 LaMDA 等通用大語言模型（LLM）作為基礎模型，所具備的語言理解、生成能力和知識范疇已達到了前所未有的水平。這些模型大多數都非常龐大，參數超過 1 千億，并通過 API 向客戶提供免費或付費服務?；A模型的使用推動大量初創公司和大型組織利用文本、圖像、視頻、3D、語言和音頻創建應用。例如，代碼生成（GitHub Copilot）、文本生成（Jasper）、面向藝術家和設計師的圖像生成（Midjourney），以及對話式聊天機器人（Character.ai）。4 截至 2023 年 4 月，生成式 AI 應用和特性：https:/ 圖1：生

9、成式AI生態鏈使應用數量激增 據初步估計顯示，生成式 AI 市場規模將達到 1 萬億美元5，廣泛覆蓋生態鏈的各個參與方。為把握這一巨大機遇，并推動 AI 成為主流，計算架構需要不斷演進并滿足大規模生成式 AI 日益增長的處理和性能需求。3 混合 AI 對生成式 AI 規?；瘮U展至關重要 擁有數十億參數的眾多生成式 AI 模型對計算基礎設施提出了極高的需求。因此，無論是為 AI 模型優化參數的 AI 訓練，還是執行該模型的 AI 推理，至今都一直受限于大型復雜模型而在云端部署。AI 推理的規模遠高于 AI 訓練。盡管訓練單個模型會消耗大量資源，但大型生成式 AI 模型預計每年僅需訓練幾次。然而，

10、這些模型的推理成本將隨著日活用戶數量及其使用頻率的增加而增加。在云端進行推理的成本極高，這將導致規?；瘮U展難以持續?；旌?AI 能夠解決上述問題，正如傳統計算從大型主機和瘦客戶端演變為當前云端和 PC、智能手機等邊緣終端相結合的模式。5 瑞銀，2023 年 2 月 6 3.1 什么是混合 AI？混合 AI 指終端和云端協同工作，在適當的場景和時間下分配 AI 計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務。而在以云為中心的場景下，終端將根據自身能力，在可能的情況下從云端分擔一些 AI 工作負載。3.2 混合 AI 的優勢 混合 A

11、I 架構（或僅在終端側運行 AI），能夠在全球范圍帶來成本、能耗、性能、隱私、安全和個性化優勢。3.2.1 成本 隨著生成式 AI 模型使用量和復雜性的不斷增長，僅在云端進行推理并不劃算。因為數據中心基礎設施成本，包括硬件、場地、能耗、運營、額外帶寬和網絡傳輸的成本將持續增加。例如，當前面向大語言模型推理的云計算架構，將導致無論規模大小的搜索引擎企業負擔更高運營成本。試想一下，未來通過生成式 AI 大語言模型增強的互聯網搜索，比如 GPT，其運行參數遠超 1750 億。生成式 AI 搜索可以提供更加出色的用戶體驗和搜索結果，但每一次搜索查詢（query）其成本是傳統搜索方法的 10 倍。目前每

12、天有超過 100 億次的搜索查詢產生，即便基于大語言模型的搜索僅占其中一小部分，每年增量成本也可能達到數十億美元。6 將一些處理從云端轉移到邊緣終端，可以減輕云基礎設施的壓力并減少開支。這使混合 AI 對生成式 AI 的持續規?；瘮U展變得至關重要?；旌?AI 能夠利用現已部署的、具備 AI 能力的數十億邊緣終端，以及未來還將具備更高處理能力的數十億終端。節省成本也是生成式 AI 生態系統發展的重要一環，可以支持 OEM 廠商、獨立軟件開發商（ISV）和應用開發者更經濟實惠地探索和打造應用。例如，開發者可以基于完全在終端上運行的 Stable Diffusion 創建應用程序，對于生成的每個圖像

13、承擔更低的查詢成本，或完全沒有成本。3.2.2 能耗 支持高效 AI 處理的邊緣終端能夠提供領先的能效，尤其是與云端相比。邊緣終端能夠以很低的能耗運行生成式 AI 模型，尤其是將處理和數據傳輸相結合時。這一能耗成本差異非常明顯，同時能幫助云服務提供商降低數據中心的能耗，實現環境和可持續發展目標。6 摩根士丹利，How Large are the Incremental AI Costs.and 4 Factors to Watch Next，2023 年 2 月 7 3.2.3 可靠性、性能和時延 在混合 AI 架構中，終端側 AI 處理十分可靠，能夠在云服務器和網絡連接擁堵時，提供媲美云端甚

14、至更佳的性能7。當生成式 AI 查詢對于云的需求達到高峰期時，會產生大量排隊等待和高時延，甚至可能出現拒絕服務的情況8。向邊緣終端轉移計算負載可防止這一現象發生。此外，混合 AI架構中終端側處理的可用性優勢，讓用戶無論身處何地，甚至在無連接的情況下，依然能夠正常運行生成式 AI 應用。3.2.4 隱私和安全 終端側 AI 從本質上有助于保護用戶隱私，因為查詢和個人信息完全保留在終端上。對于企業和工作場所等場景中使用的生成式 AI，這有助于解決保護公司保密信息的難題。例如，用于代碼生成的編程助手應用可以在終端上運行，不向云端暴露保密信息，從而消除如今眾多企業面臨的顧慮9。對于消費者使用而言，混合

15、 AI 架構中的“隱私模式”讓用戶能夠充分利用終端側 AI 向聊天機器人輸入敏感提示，比如健康問題或創業想法。此外，終端側安全能力已經十分強大，并且將不斷演進，確保個人數據和模型參數在邊緣終端上的安全。3.2.5 個性化 混合 AI 讓更加個性化的體驗成為可能。數字助手將能夠在不犧牲隱私的情況下，根據用戶的表情、喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等方面來體現一個用戶，并且可以隨著時間推移進行學習和演進。它可以用于增強和打造定制化的生成式 AI 提示，然后在終端側或云端進行處理。用戶畫像保留在終端內，因此可以通過終端側學習不斷優化和更新。個性化不僅

16、僅適用于消費者，企業或機構可以借助它標準化代碼的編寫方式，或者制作具有特殊語氣和聲音的公共內容。7 https:/ 8 https:/ https:/ 8 3.3 AI 工作負載的分布式處理機制 我們期望打造能夠支持不同工作負載分流方式的混合 AI 架構，可以根據模型和查詢復雜度進行分布式處理，并能持續演進。例如，如果模型大小、提示和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終端運行；如果需要更多最新信息，那么也可以連接至互聯網獲取。3.3.1 以終端為中心的混合 AI 在以終端為中心的混合 AI 架構中，終端將充當錨點

17、，云端僅用于分流處理終端無法充分執行的任務。許多生成式 AI 模型可以在終端上充分運行（參閱圖 2），也就是說終端可通過運行不太復雜的推理完成大部分處理工作。例如，用戶在筆記本電腦上運行 Microsoft 365 Copilot 或必應 Chat 時，包含高達數百億參數的模型將在終端上運行，而更復雜的模型將根據需求在云端進行處理。對用戶來說，這種體驗是無縫的，因為終端側神經網絡或基于規則而運行的判決器（arbiter）將決定是否需要使用云端，無論是為了有機會使用更好的模型還是檢索互聯網信息。如果用戶對請求處理結果的質量不滿意，那么再次嘗試發起請求時可能就會引入一個更好的模型。由于終端側 AI

18、 處理能力隨著終端升級和芯片迭代不斷提升，它可以分流更多云端的負載。圖2：在以終端為中心的混合AI架構中，云端僅用于分流處理終端無法充分運行的AI任務。9 對于各種生成式 AI 應用，比如創作圖像或起草郵件，快速響應式的推理更受青睞，即使它在準確度上會稍有損失。終端側 AI 的快速反饋（即低時延）可以讓用戶使用改進的提示來快速迭代推理過程，直至獲得滿意的輸出結果。3.3.2 基于終端感知的混合 AI 在基于終端感知的混合 AI 場景中，在邊緣側運行的模型將充當云端大語言模型（類似大腦）的傳感器輸入端（類似眼睛和耳朵）。例如，當用戶對智能手機說話時，Whisper 等自動語音識別（ASR）的 A

19、I 模型將在終端側運行，將語音轉為文字，然后將其作為請求提示發送到云端。云端將運行大語言模型，再將生成的文本回復發回終端。之后，終端將運行文本生成語音（TTS）模型，提供自然免提回答。將自動語音識別和文本生成語音模型工作負載轉移至終端側能夠節省計算和連接帶寬。隨著大語言模型變為多模態并支持圖像輸入，計算機視覺處理也可以在終端上運行，以進一步分流計算任務并減少連接帶寬，從而節省成本。在更先進的版本中，隱私將得到進一步保護，終端側 AI 能夠承擔更多處理，并向云端提供經過改進且更加個性化的提示。借助終端側學習和終端上的個人數據，比如社交媒體、電子郵件、消息、日歷和位置等，終端將創建用戶的個人畫像，

20、與編排器（orchestrator）程序協作，基于更多情境信息提供更完善的提示。例如，如果用戶讓手機來安排與好友會面的時間并在喜愛的餐廳預訂座位，編排器程序了解上述個性化信息并能夠向云端大語言模型提供更佳提示。編排器程序可在大語言模型缺乏信息時設置護欄并幫助防止產生“AI 幻覺”。對于較簡單的請求，較小的大語言模型可在終端側運行，而無需與云端交互，這類似于以終端為中心的混合 AI。圖3：對于基于終端感知的混合AI，自動語音識別、計算機視覺和文本轉語音在終端側進行。在更先進的版本中，終端側編排器程序能夠向云端提供經過改進且更加個性化的提示。10 3.3.3 終端與云端協同處理的混合 AI 終端和

21、云端的 AI 計算也可以協同工作來處理 AI 負載，生成大語言模型的多個 token 就是一個例子。大語言模型的運行都是內存受限的，這意味著計算硬件在等待來自 DRAM 的內存數據時經常處于閑置狀態。大語言模型每次推理生成一個 token，也就是基本等同于一個單詞，這意味著GPT-3 等模型必須讀取全部 1750 億參數才能生成一個單詞，然后再次運行整個模型來生成下一個 token，完整的推理過程可以以此類推。鑒于內存讀取是造成推理性能的瓶頸因素，更高效的做法就是同時運行多個大語言模型以生成多個 token，并且從 DRAM 一次性讀取全部參數。每生成一個 token 就要讀取全部參數會產生能

22、耗和造成發熱，因此使用閑置的算力通過共享參數來推測性并行運行大語言模型，可謂是在性能和能耗上實現雙贏。為了生成四個 token，一個近似的大語言模型（比原始目標大語言模型小 7 至 10 倍，因此準確性更低）要在終端上按順序連續運行四次才可以。終端向云端發送這四個 token，云端高效運行四次目標模型來檢查其準確度，而僅讀取一次完整的模型參數。在云端 token 是被并行計算的，每個目標模型都有零個、一個、兩個、三個或四個預測 token 作為輸入。這些 token 在被云端確認或校正之前被認為是“近似的”。上述推測性解碼過程將持續到完整的答案出現時為止。我們的早期實驗和其他已發布結果10顯示

23、，通過四個 token 的推測性解碼，平均兩到三個 token 是正確可被接受的，這會帶來單位時間內生成 token 數的增加，并節省能耗。圖4：協同處理混合AI的四個token推測性解碼示例。10 Leviathan,Yaniv,Matan Kalman 和 Yossi Matias。Fast Inference from Transformers via Speculative Decoding。arXiv preprint arXiv:2211.17192(2022)11 4 終端側 AI 的演進與生成式 AI 的需求密切相關 終端側 AI 能力是賦能混合 AI 并讓生成式 AI 實現全

24、球規?；瘮U展的關鍵。如何在云端和邊緣終端之間分配處理任務將取決于終端能力、隱私和安全需求、性能需求以及商業模式等諸多因素（參閱第 3.3 章節）。在生成式 AI 出現之前，AI 處理便持續向邊緣轉移，越來越多的 AI 推理工作負載在手機、筆記本電腦、XR 頭顯、汽車和其他邊緣終端上運行。例如，手機利用終端側 AI 支持許多日常功能，比如暗光拍攝、降噪和人臉解鎖。圖5：AI處理的重心正在向邊緣轉移。4.1 終端側處理能夠支持多樣化的生成式 AI 模型 如今，具備 AI 功能的手機、PC 和其他品類的便攜終端數量已達到數十億臺11，利用大規模終端側 AI 處理支持生成式 AI 有著廣闊前景，并且將

25、在未來幾年穩步增長。關鍵問題在于，哪些生成式 AI 模型能夠以合適的性能和準確度在終端側運行。好消息是，性能十分強大的生成式 AI 模型正在變小，同時終端側處理能力正在持續提升。圖 6 展示了可以在終端側運行的豐富的生成式 AI 功能，這些功能的模型參數在 10 億至 100 億之間12。如 Stable Diffusion 等參數超過 10 億的模型已經能夠在手機上運行，且性能和精確度達到與云端處理類似的水平。不久的將來，擁有 100 億或更多參數的生成式 AI 模型將能夠在終端上運行。11 https:/ 12 假設使用 INT4 型的參數 12 圖6：數量可觀的生成式AI模型可從云端分流

26、到終端上運行。5 跨終端品類的生成式 AI 關鍵用例 基于基礎模型的生成式 AI 迅速興起，正在驅動新一輪內容生成、搜索和生產力相關用例的發展，覆蓋包括智能手機、筆記本電腦和 PC、汽車、XR 以及物聯網等終端品類?；旌?AI 架構將賦能生成式 AI 在上述這些終端領域提供全新的增強用戶體驗。5.1 智能手機：搜索和數字助手 面對每日超過 100 億次的搜索量且移動端搜索占比超過 60%的情況13，生成式 AI 的應用將推動所需算力的實質性增長，尤其是來自智能手機端的搜索請求。由于基于生成式 AI 的查詢能夠提供更令人滿意的答案，用戶的搜索方式已經開始發生轉變。對話式搜索的普及也將增加總體查詢

27、量。隨著對話功能不斷改進，變得更加強大，智能手機將成為真正的數字助手。精準的終端側用戶畫像與能夠理解文字、語音、圖像、視頻和任何其他輸入模態的大語言模型相結合，讓用戶可以自然地溝通，獲取準確、貼切的回答。進行自然語言處理、圖像理解、視頻理解、文本生成文本等任務的模型將面臨高需求。13 https:/ 5.2 筆記本電腦和 PC：生產力 生成式 AI 基于簡單提示就能快速生成優質內容，它也正在憑借這項能力變革生產力。以筆記本電腦和 PC 上的 Microsoft Office 365 為例，全球有超過 4 億 Microsoft Office 365 商業付費席位和個人訂閱者，如果將生成式 AI

28、 集成至用戶日常工作流將帶來重大影響14。此前需要數小時或數天的任務，現在僅需幾分鐘就能完成。Microsoft 365 Copilot 同時利用大語言模型的功能和Microsoft Graph 與 Microsoft 365 應用中的用戶數據，能夠將提示轉化為強大的生產力工具15。Office 工作者可通過后臺運行大語言模型，在 Outlook 中閱讀或撰寫電子郵件，在 Word 中編寫文檔，在 PowerPoint 中創建演示文稿，在 Excel 中分析數據，或在 Teams 會議中協作。生成式AI 模型（比如自然語言處理、文本生成文本、圖像生成、視頻生成和編程）需要經過海量處理，才能支持

29、這些被重度使用的生產力任務。在以終端為中心的混合 AI 架構中，大部分處理能夠在PC 上進行。5.3 汽車：數字助手和自動駕駛 得益于車內和車輛周圍環境相關數據所提供的信息，如今 AI 驅動的座艙能夠提供高度個性化的體驗。類似于智能手機和 PC，車載數字助手將能夠讓駕乘人員通過免提的友好用戶界面保持無縫互聯，同時為生態系統創造全新的創收機會。數字助手可以訪問用戶個人數據，比如應用、服務和支付信息；以及來自車輛的傳感器數據，包括攝像頭、雷達、激光雷達和蜂窩車聯網（C-V2X）等。企業 API 也支持第三方服務提供商集成他們的解決方案，將客戶關系延伸到車上。例如，主動式駕駛輔助將大幅改善導航體驗，

30、比如會影響駕駛員常用出行路線的交通和天氣信息更新，汽車充電或購買停車券提醒，此外，用戶可以通過簡單地請求即可用已綁定的信用卡預訂自己喜歡的美食。如果汽車能夠識別每位駕乘人員并提供定制化的音樂和播客等體驗和內容，座艙的媒體娛樂體驗也將會變革。隨著車載 AR 應用變得更加普遍，數字助手可以按照駕乘人員的偏好提供定制化的顯示。汽車維修保養和服務也將變得更加自主和無縫。通過分析傳感器輸入、維修保養歷史和駕駛行為等數據，數字助手可以預測何時需要進行保養。利用生成式 AI，數字助手可針對汽車如何維修提供信息，或為用戶提供咨詢，找到合適的服務提供商，提高車輛可靠性，同時減少時間和成本。14 微軟財報 15

31、https:/ 感知軟件棧從未遇到過的罕見或陌生物體，經常會對高級駕駛輔助系統和自動駕駛（ADAS/AD）解決方案產生干擾。這種情況通常由光線不佳或惡劣天氣條件造成，會導致駕駛策略軟件棧產生難以預測、有時甚至很危險的結果。為了在未來預防類似情況，必須妥善采集和標記這些極端場景的數據并重新訓練模型。這個循環可能耗時費力，而生成式 AI 可以模擬極端場景，預測不同道路行為主體的軌跡和行為，比如車輛、行人、自行車騎行者和摩托車騎行者。規劃者可以利用這些場景確定車輛駕駛策略。圖7：生成式AI可用于先進駕駛輔助系統/自動駕駛（ADAS/AD），通過預測不同行為主體的軌跡和行為，幫助改進駕駛策略。駕駛策略

32、軟件棧以及感知軟件棧始終在汽車的 AI 算力可支持的情況下本地運行。嚴苛的時延要求決定了云端無法針對這些 AI 工作負載在決策過程中發揮任何作用。隨著 ADAS/AD 解決方案采用支持適當后處理的生成式 AI 模型，汽車必然需要具備顯著高能效的 AI 計算能力。5.4 XR：3D 內容創作和沉浸式體驗 生成式 AI 能為 XR 帶來巨大前景。它有潛力普及 3D 內容創作，并真正實現虛擬化身。下一代 AI渲染工具將賦能內容創作者使用如文本、語音、圖像或視頻等各種類型的提示，生成 3D 物體和場景，并最終創造出完整的虛擬世界。此外，內容創作者將能夠利用文本生成文本的大語言模型，15 為能夠發出聲音

33、并表達情緒的虛擬化身生成類人對話?？偠灾?，這些進步將變革用戶在 XR 設備上創造和體驗沉浸式內容的方式。圖8：生成式AI模型將面向XR賦能對話式AI和全新渲染工具。生成式 AI 為 XR 提供的前景無疑令人興奮，但很難預測這些技術何時才能被廣泛采用。不過，根據近幾個月快速的創新步伐，可以肯定地說，我們可以期待在未來幾年內取得重要進展。對于沉浸式世界，Stable Diffusion 等文本生成圖像類的模型很快將賦能內容創作者在 3D 物體上生成逼真的紋理。我們預計，一年內這些功能將在智能手機上實現，并延伸到 XR 終端。XR 中的部署需要“分布式處理”，即頭顯運行感知和渲染軟件棧，與之配對的

34、智能手機或云端運行生成式 AI 模型。未來幾年，首批文本生成 3D 和圖像生成 3D 類的模型將可能實現邊緣側部署，生成高質量的 3D 物體點云。幾年后，這些模型將通過提升，達到能夠從零開始生成高質量 3D 紋理物體的水平。在大約十年內，模型將更進一步，支持由文本或圖像生成的高保真完整 3D 空間和場景。未來，文本生成 3D 和視頻生成 3D 類的模型最終或能讓用戶踏入從零開始生成的 3D 虛擬世界，例如自動構建滿足用戶任何想象的 3D 虛擬環境。16 圖9：生成式AI將有助于基于簡單提示創造沉浸式3D虛擬世界的過程，比如“超現實世界、水母四處游動、美麗的瀑布、神秘的湖泊、巍峨的高山”虛擬化身

35、將遵循類似的發展過程。文本生成文本的模型，比如有 130 億參數的 LLaMA，將運行在邊緣終端，為虛擬化身生成自然直觀的對話。此外，文本生成圖像的模型將為這些虛擬化身生成全新的紋理和服裝。未來幾年內，圖像生成 3D 和編/解碼器模型將能夠為人類生成全身虛擬化身，支持遠程通信。最終，人們將能夠利用語音提示、圖像或視頻生成逼真、全動畫、智能、可量產的類人虛擬化身。5.5 物聯網：運營效率和客戶支持 目前，AI 已廣泛應用于各種物聯網垂直領域，包括零售、安全、能源和公共設施、供應鏈和資產管理。AI 依靠近乎實時的數據采集和分析改進決策質量，優化運營效率，并賦能創新以打造差異化競爭優勢。通過生成式

36、AI，物聯網細分領域將進一步從 AI 的應用中受益。以零售業為例，生成式 AI 可以改善顧客和員工體驗。在售貨亭或智能購物車旁的導購員可以基于每周特價商品、預算限制和家庭偏好幫助顧客定制帶有菜譜的菜單。商店經理可以根據即將發生的事件預測非周期性的促銷機會并進行相應準備。如果一個運動隊來到其所在的城市，那么商店經理可以利用生成式 AI 查詢粉絲喜愛的商品品牌，并相應地增加庫存。另一個用途是參考來自相似社區的商店的優秀案例和成功經驗，重新進行店面規劃。生成式 AI 可以利用簡單提示幫助商店 17 經理重新排列貨架商品，為利潤高的產品騰出空間，或者利用附近連鎖店的數據，盡可能降低產品缺貨情況的發生。

37、圖10：以零售業為例，生成式AI有助于提升顧客和員工體驗，比如提供庫存和商店布局推薦。能源和公共設施領域也將受益于生成式 AI。運營團隊可以創建極端負荷場景并預測電力需求，以及特殊情況下潛在的電網故障，比如農村地區在炎熱的夏季出現強風和局部火災的情況，從而更好地管理資源、避免電力中斷。生成式 AI 也可以用于提供更好的客戶服務，比如解答斷電或賬單計費問題。6 總結 混合 AI 勢不可擋。生成式 AI 用例將持續演進并成為主流體驗，云端和其基礎設施需求將不斷增加。憑借終端側 AI 的先進能力，混合 AI 架構將規?；瘮U展，以滿足企業和消費者的需求，帶來成本、能耗、性能、隱私、安全和個性化的優勢。云端和終端將協同工作，依托強大、高效且高度優化的 AI 能力打造下一代用戶體驗。欲了解更多相關內容 歡迎歡迎訂閱未來移動計算技術簡訊訂閱未來移動計算技術簡訊 18 本資料內容不是銷售本文所提及任何組件或終端的要約?！案咄ā笨赡苤父咄ü?、高通技術公司和/或其他子公司或事業部。2023 年 高通技術公司和/或其關聯公司。保留全部權利。高通是高通公司在美國和其他國家/地區注冊的商標。其他產品和品牌名稱可能是各自所有者的商標或注冊商標。請關注我們：欲了解更多信息，請訪問