《華為:AI終端白皮書-AI與人協作、服務于人(2025年5月更新版)(41頁).pdf》由會員分享,可在線閱讀,更多相關《華為:AI終端白皮書-AI與人協作、服務于人(2025年5月更新版)(41頁).pdf(41頁珍藏版)》請在三個皮匠報告上搜索。
1、?序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人序 言AI 終端白皮書AI 與人協作、服務于人前 言AI 終端白皮書AI 與人協作、服務于人?FOREWORD?CONTENTS?-2-產業趨勢AI 終端白皮書AI 與人協作、服務于人生成式 AI 對各行各業的產業提升效應是巨大的,行業研究數據表明,隨著企業改變經營方式并對產
2、品和服務進行強化,到 2032 年,生成式 AI 有望在硬件、軟件、服務、廣告、游戲等眾多領域創造 1.3 萬億美元收入,占科技領域總支出從目前的不足 1%擴大到 10%-12%,復合年增長率達到約 42%1。而在生成式AI對消費者的影響方面,一項針對全球37個國家和地區的公眾調查顯示,2023年,認為人工智能將在未來三到五年內極大影響他們生活的人比例從 60%上升到 66%。此外,52%的人表示對人工智能的產品和服務感到緊張,比2022年上升了13%,36%的人認為在未來5年內,AI 將取代自己的工作2。人們對 AI 充滿了既愛又怕的矛盾,既認同 AI 能夠改變世界,又擔心 AI取代人,人類
3、變成了機器的仆人。AI與人協作、服務于人,是華為終端一貫堅持的技術理念。正如計算機幫助人類提升生產效率、手機幫助人類讓溝通無處不在一樣,AI 可以幫助人類突破自身身體局限,讓自己看得更清、聽得更清、記得更牢、理解得更透徹。同時,AI 還能幫助人類增強、擴展信息的處理能力,面對海量信息,能夠化繁為簡,面對碎片信息,能夠見微知著,面對無序信息,能夠歸納推理。通過無處不在的全場景智能,華為終端致力于讓 AI 幫助提升人的工作效率和生活品質,并賦予人們實現夢想和創造未來的能力。當前,生成式 AI 技術與消費終端的融合正在加速,不斷推動行業創新和社會變革。華為終端與多家頂尖智庫、研究機構及學術高校合作,
4、通過深入調研和分析,總結出了四大終端 AI 產業發展趨勢。-3-產業趨勢AI 終端白皮書AI 與人協作、服務于人AI 技術在終端產品落地時,一般經歷“應用層集成 AI”、“系統層融合 AI”、“以 AI 為中心的全新 OS”三個階段:?AI 技術在終端產品的融入度逐步深化,推動性能與體驗雙重升級1.1階段一,應用層集成 AI:單點特性的智能增強,如在翻譯,圖片處理,文字識別等領域引入 AI 能力,以增強單點特性的功能體驗。階段二,系統層融合 AI:AI 能力全面下沉 OS,為上層應用和服務提供開箱即用的原子化、控件級 AI 能力。同時,對系統高頻應用和服務進行智能化改造,如圖片一鍵消除、圖庫檢
5、索、圖片文字提取、日程自動生成等,提升 OS 系統的智能感。階段三,以 AI 為中心的全新 OS:下一代原生智能 OS 架構,統一的 AI 子系統底座使得 OS 各個組件內部和彼此之間都能夠靈活高效地使用 AI 技術;此外,內置于 OS 內的系統級 AI Agent 出現,使得原生智能 OS 不僅僅是一個操作系統,更是能夠深度理解用戶、自主閉環用戶任務的、智慧的、常駐的超級智能體。-4-產業趨勢AI 終端白皮書AI 與人協作、服務于人?20162017?201820202021202220232024?一?以華為終端為例,在歷經三個階段的終端 AI 能力進階后,將實現系統級原生智能,開啟全場景
6、智能新時代。實時在線的服務:系統級入口和全局可用的超級智能體,實現智能服務無處不在。更自然的多模態交互:基于 LUI(Language User Interface,自然語言用戶接口)與 GUI(Graphical User Interface,圖形化用戶接口)相結合的交互和反饋,多維度識別用戶意圖,讓用戶更便捷地使用智能服務。全場景智能體驗:通過端云協同、AI+元服務的全場景智能,在生活、辦公、出行、創作等全場景領域為用戶提供個性化、超預期的創新服務。全面開放的 AI 生態:從開放 AI SDK/API、到開放高階 AI 服務、再到開放 Agent開發平臺和開放 Agent 應用市場,助力提
7、升每一個終端應用的 AI 濃度。-5-產業趨勢AI 終端白皮書AI 與人協作、服務于人模態是指承載信息的模式或方式,不同類別的信息來源或形式都可以稱為一種模態。模態基于人的感官可分為聽覺、視覺、嗅覺、味覺、觸覺,基于信息傳遞的媒介可分為圖像、語音、視頻、文本等,除此之外還有傳感器的模態數據,如雷達、紅外、GPS、加速度計等各種模態數據。人類生活在一個由多種模態信息構成的世界,會同時收到多個互補的、融合的、不同模態的感官輸入,多模態更符合人類感知周邊、探索世界的方式。生成式 AI 為終端設備帶來更自然、更全面、更多維的人機交互方式,打破了傳統單一獨立 I/O 通道輸入方式的限制,極大地豐富了人機
8、交互的維度。多模態理解大模型可以讓用戶使用文本、圖像、聲音、視頻、傳感等多種數據類型與終端進行交流,大大拓展了用戶同終端的交互形式。多模態生成大模型能夠生成各種跨媒體內容,為用戶提供更為直觀的信息表達,從而實現更加高效豐富的溝通體驗。這也為更多樣性的終端硬件形態如穿戴設備、機器人等提供了更有力的支撐。1.2.1 多模態大模型帶來更自然、更全面的人機交互體驗智能體將引領終端進入全新人機交互及智能協作的時代1.2?-6-產業趨勢AI 終端白皮書AI 與人協作、服務于人華為HarmonyOS通過其分布式軟總線的通信協同能力,實現了多設備、全場景下的無縫連接,此外,HarmonyOS 充分利用其豐富的
9、硬件傳感和軟件感知能力,結合 AI 意圖框架、語言大模型、多模態大模型,深入理解用戶意圖和當前所處場景的上下文,為用戶提供觸摸、手勢、語音、眼動、自然語言、圖像等更自然、更全面、更貼合使用習慣的交互體驗。1.2.2 AI 自主化程度越來越高,“以意圖為中心”的 AI 與人協作方式正在建立目前,基于生成式AI的LLM(Large Language Model,大語言模型)在自然語言理解、推理、思維鏈等能力上取得的突破性進展,受益于此,AI 完成任務的能力越來越強,從簡單指令執行,演進到自主拆解目標并自主完成任務的高階智能體?!癆gent”(智能體)這一概念起源于哲學,描述了一種擁有欲望、信念、意
10、圖以及采取行動能力的實體?;?LLM 的 AI Agent 更多是指“一種智能體,可以自主地理解意圖、規劃決策、執行任務、調用工具,并具有記憶能力?!盇I Agent 的出現,意味著 AI 與人的協作方式將發生顛覆性變化,從傳統的“以用戶指令為中心”,轉變到“以用戶意圖為中心”?!耙砸鈭D為中心”是一種提升用戶體驗的設計理念:用戶只需要表達出需求或期望,而將實現需求的過程交由系統來完成。以手機為例,當用戶希望在飛行途中繼續觀看視頻劇集,早些時候,他只能自己告訴手機上的 AI 智慧助手逐步執行“打開華為視頻”、“找到 xx 視頻”、“下載第 58 集”等操作。但在以意圖為中心的設計理念下,AI
11、智慧助手演進成 AI Agent,用戶只需要告訴 AI Agent“我坐飛機時想看我正在追的劇”,AI Agent 就能夠自動處理如下任務:?-7-產業趨勢AI 終端白皮書AI 與人協作、服務于人1.檢索到用戶第二天有一班從北京飛深圳的航班,航班飛行時長為 3 小時。2.根據用戶日常習慣,發現用戶近期正在華為視頻上看 xx 視頻,看完了第 4 集,每集視頻時長約 40 分鐘。3.推理出 3 小時飛行時長需要下載 5 集。AI Agent 會主動規劃并執行上述步驟,同時確保視頻下載時手機處于 Wi-Fi 連接狀態?,F在大多數應用的設計是以功能為中心的,是復雜專業且具有技術門檻的,比如辦公類軟件中
12、有 10000 多個細微功能,但前端只有 100 左右按鈕位置,大部分好用的功能并沒有被普通用戶感知到。隨著 AI Agent 的出現,在以意圖為中心的設計理念下,AI Agent 將成為處理用戶需求的第一入口:用戶只需要向 AI Agent 說出自己的需求,AI Agent 基于用戶的意圖直接調用后端對接的應用服務的細粒度功能,或是進行多個功能的組合、編排,以滿足用戶訴求。AI Agent 的出現,可以讓應用“既簡單又專業”。近年來,終端操作系統經過持續優化變得更加直觀和友好,但從根本上講,它們仍然是建立在靜態規則和預定義邏輯流程上,其設計初衷是滿足通用化和普適性需求。然而,面向未來,更智慧
13、的操作系統應該是動態的、自主的和自適應的,它將像一個值得信賴的伙伴,不斷適應用戶,滿足他們的需求,預測他們的訴求,并迎合他們的喜好。在大模型和智能體的技術驅動下,未來真正理解用戶、為用戶量身定制的原生智能 OS 將進一步拓展傳統終端 OS 的內涵和外延:1.2.3 大模型和智能體驅動下一代更智慧的操作系統 1.OS架構AI化:終端OS將不再局限于傳統的內核層、硬件抽象層、運行時和核心庫層、應用框架層、應用層等功能分層,而是將大模型、Agent 等放置于 OS 的中心位置,實現以 AI 為核心的系統全面重構。-8-產業趨勢AI 終端白皮書AI 與人協作、服務于人?2.計算體驗定制化:通過對用戶習
14、慣的自主學習以優化資源管理決策,如對高頻應用進行前臺化、重新分配帶寬和存儲等方式來提升系統性能,為用戶提供量身定制的計算體驗。3.智慧助手 Agent 化:終端上的智慧助手將演進成 AI Agent,像一位秘書或管家一樣,一直關心、實時在線、適時服務,站在距離用戶最近的位置,代表用戶超前思考,為用戶帶來智能的服務體驗。-9-產業趨勢AI 終端白皮書AI 與人協作、服務于人2023 年,全球存量消費終端設備達到 228 億臺,其中智能手機占 29.8%,智能家居設備(不含 TV)占 26.3%,PC 和 PAD 占 17.6%,智能電視占 13.1%,智能耳機占 8.8%。根據預測,到 2030
15、 年,全球消費終端市場規模將進一步提升,達到約 32 萬億人民幣,全球消費電子終端預計將達到 325 億臺,人均約 3.8 臺。其中,智能物聯類生活場景消費設備增長最快,從人均 0.9 臺增長到 1.9 臺,包括穿戴設備產品、智能家居(不含 TV)產品和智能汽車產品等。3隨著我們進入每個人都擁有多個電子設備的時代,消費場景將會潛移默化地發生改變:從單設備拓展到多設備、從有限場景拓展到全場景、全空間。華為一直遵循如下多設備全場景的設計準則:從設備孤島到全面連接:物聯設備接入主設備的比例越來越高,要確保設備之間的高效穩定通信。從有限感知到全面感知:從對單設備上的有限感知,到對多設備、時空信息、用戶
16、全空間的動作、手勢等全面感知。從單場景應用到多場景多設備服務流轉:從面向單個場景的單個設備上應用,到多個設備互聯、服務跨端流轉、全場景體驗一致。?1.3.1 多設備、多場景成為消費者使用終端設備的常態 消費者需要更加智能化、互聯化和人性化的全場景智能服務體驗1.3-10-產業趨勢AI 終端白皮書AI 與人協作、服務于人當用戶在不同的場景中使用多個互聯設備時,期待服務是自然連續且能夠跨端流轉的。暢想一下,我們應該如何打造未來多設備多場景下的用戶體驗?例如,如何讓“好音樂與用戶一路同行”?用戶在戶外跑步或是騎行時,可以用連接手機的耳機聽音樂,用手表控制播放,在開車時將音樂流轉到車機,而回到家里流轉
17、到智慧電視大屏上。又如,如何為用戶打造“數字運動私教”?用戶開始跑步,手表 Sensor 檢測到心率變化、手機定位檢測到移動速度、麥克風檢測到環境聲音,操作系統的場景感知模塊基于場景定義和策略,判斷出用戶處于運動場景,并基于用戶個人跑步習慣調用各種元服務,如播放音樂、導航跑步路線、檢測道路擁堵情況并實時提醒、基于用戶心率情況提示用戶調整呼吸和速度等等。傳統 APP 被限制在為用戶提供預定義的功能或工作流的集合上,無法應對未來多設備、多場景下更多樣性、更泛化的用戶需求。為了支撐服務的全場景跨端流轉,一部分傳統 APP 將逐漸向更加輕量化、便捷化的原子化服務演進,具備免下載、免安裝、即用即走、易于
18、分享、開發成本低的特性。原子化服務將成為未來全場景智能應用生態中的重要組成部分?;谌A為 HarmonyOS 構建的元服務,不僅具備上述原子化服務的全部優勢特性,還為消費者提供了更多隱私和便利的設計:純凈生態、隱私保護。通過構建合理的生態規則,打造純凈流暢的元服務生態,確保用戶數據資產、隱私信息的授權和使用“透明可控可回溯”。安靜不過擾,推送恰逢適宜。從 OS 系統層面規范服務狀態消息提醒,有效減少對用戶的打擾。同時,基于用戶意圖、狀態、場景的識別主動推送或喚起元服務,確保服務連續、不突兀、不跳出。自定義卡片組合、實時便捷。用戶可自定義元服務萬能卡片組合,在桌面即可一眼獲取多項服務信息,做到桌
19、面實時提示,重要信息淺層外顯、一步直達。1.3.2 全場景跨設備流轉的服務需要更加輕量化和便捷化-11-產業趨勢AI 終端白皮書AI 與人協作、服務于人?內置多設備、多模態融合感知能力的華為 HarmonyOS 全面感知用戶場景,深度理解用戶顯性和隱式意圖,從后端海量生態服務中匹配合時宜的服務,并對服務進行高效編排、調度推送、跨端自由流轉。對消費者的價值:用戶可以在不同場景下、不同終端設備上便捷地獲取服務,也可以基于服務狀態穿插使用不同服務,享受場景化智慧化的“服務合時宜、服務不間斷”的新體驗。對生態伙伴的價值:生態伙伴的服務發現和服務推送入口獲得極大豐富,可直接被系統調用并完成服務閉環,服務
20、的觸達路徑更短更直接。1.3.3 AI 驅動的服務分發提供服務連續性體驗,構建服務分發新范式當用戶的終端設備變多、使用場景變多、原子化服務變多,如何實現“服務隨人而動,體驗無縫銜接”,將對服務的分發機制提出更高的挑戰。我們認為,未來服務分發模式會發生變革,從人找服務,到服務找人;從離散性服務,到連續性服務;從被動調用、到主動服務。而 AI+元服務正是支撐這一變革的核心要素。-12-產業趨勢AI 終端白皮書AI 與人協作、服務于人盡管生成式 AI 在多種任務中表現出了顯著的性能,但由于運行和存儲這些大尺寸規格模型需要大量的計算資源和存儲空間,這些大規格模型無法直接部署在設備端,通常只能部署在云上
21、(數據中心)。一方面,業界在積極研究模型輕量化、高質量數據工程、低功耗高性能 AI 芯片、高性能系統優化等技術手段和解決方案,使得在 PC、手機上部署的生成式 AI 模型能力不斷提升,但端側模型性能仍然與云側大模型有較大的差距。另一方面,輕量級終端設備集成生成式 AI 能力的訴求越來越強烈。隨著未來集成了高清攝像頭、麥克風陣列、以及重量更輕、續航能力更高的可穿戴設備的出現,用戶希望這些設備也越來越智能,戴著它就可以實現“聽你所聽、見你所見、感你所感”。例如,用戶在博物館參觀中,可直接同 AI 對話,了解博物館各個藏品詳細的歷史故事;或者,用戶在上課時,可以隨時向 AI 提問,讓 AI 幫助記錄
22、或是澄清課堂中的疑問,課后進行解答,或是幫助整理課堂筆記、梳理知識要點。因此,可以預見,當未來圍繞在用戶周邊的大大小小的終端設備都集成了生成式 AI 能力時,需要強大的云側 AI 能力進行統一的、跨端的、全局化協同。1.4.1 輕量級終端設備集成生成式 AI 功能將成為主流更強大、更高效的終端智能需要打破設備和應用邊界1.41.4.2 基于用戶場景的端云協同 AI 將構筑真正強大的全局化智能端側部署的模型有著端到端推理速度快、隱私數據不出端、離網可用的好處,能夠滿足部分高敏感場景的需求。然而,受限于端側模型的性能和處理能力,這些模型僅能應對一些簡單的業務場景,如信息問答、文章摘要、圖片文字識別
23、等。更復雜、更高階的場景則需要交給云側大模型處理。云側部署的模型不僅能夠提供更高階的規劃和決策能力,解決復雜問題,還能夠打破設備和應用邊界,應對跨端、跨應用、需要使用長期記憶能力的場景。-13-產業趨勢AI 終端白皮書AI 與人協作、服務于人因此,使用端側 AI 能力還是云側 AI 能力,需要基于用戶不同場景進行最恰當、最合適的選擇。在用戶的隱私許可和授權下,基于云端一體化的安全可信體系架構,云端模型與端側模型相互配合,構筑真正強大的全局化智能,為用戶提供基于場景的、主動的、連續性的服務和體驗,激發出全新的生態價值。?-14-產業趨勢AI 終端白皮書AI 與人協作、服務于人-15-未來場景展望
24、AI 終端白皮書AI 與人協作、服務于人目前,AI 在多個基準測試上展現出了驚人的能力,已經超越了人類表現,如圖像分類、基礎閱讀理解、視覺推理和自然語言推理等領域。但仍有一些任務類別 AI 的表現未能超越人類,這些任務往往是更復雜的認知任務,如競賽級數學等。隨著 AI 能力持續發展,相信 AI 將在更多的領域達到高級別人類專家水平4。展望一 工作2.1研究報告顯示,56%的中國職場人認為 AI 的普及是不可避免的趨勢,并且對此持積極態度,對 AI 的利用能力正在成為職場關鍵競爭力:78%的職場人認為 AI 提升了日常工作的效率,94%的職場人認為 AI 可以極大地促進學習和成長,有助于掌握新知
25、識和技能5。AI 已經幫助職場人在工作中提升生產力、加速學習并提高工作效率。2023 年的一項針對軟件開發人員使用AI工具的調研表明,77%的受訪者對集成AI的開發工具表示支持和非常支持,并且,82.6%的人表示經常使用AI來編寫代碼,48.9%的人用于調試和協助,34.4%的人用于文檔編寫,23.9%的人使用 AI 進行代碼測試6。此外,AI 也幫助職場人在各種大賽中嶄露頭角。我們已經看到各種 AI 影像、視頻作品大賽中,參賽者不僅僅有設計師、產品經理、影視從業者,還包括很多此前毫無 AI 基礎的普通人,有的甚至接觸 AI 僅有 1 個月,也能創作出超出想象力的作品。2023 年,在華為公司
26、內部舉行的一次編程競賽中,冠亞季軍均利用了 AI 大模型的編程輔助功能,而去年的大賽冠亞軍未使用 AI,名次排在 TOP10 之外。未來,隨著 AI 在感知、認知和自主任務閉環能力的持續增強,基于生成式 AI 的 Agent 幾乎能夠在各個領域達到或超過人類專家的水平,人和 AI 將協同工作,具有知識和技能的 Agent 將成為一種經濟商品,大量面向大眾的 Agent 產品將會出現,每個人可以購買或租用他人的 Agent,或訂閱Agent云服務,未來將屬于能夠更好地與Agent協作、在多個領域實現專家級能力的職場人。-16-未來場景展望AI 終端白皮書AI 與人協作、服務于人當 AI 增強了人
27、類不擅長的能力,未來的生活將會有多美好。AI 能夠幫助卸載人類的繁瑣記憶,我們的大腦每天要接收并處理高達 34GB 的信息,利用 AI 作為“儲存和管理信息”的數字外腦,人類大腦可以更多地被釋放出來用于“思考”和“創造”7;AI 可以擴展人類的多事務處理能力,我們可以在駕駛的同時讓 AI 在網上檢索演唱會的售票信息,并在出票時第一時間幫助搶票;AI 還可以增強我們的感官系統,在夜跑視線受限時,AI 可以提醒地上的水漬污跡,注意繞開。展望二 生活2.2當 AI 為人們提供了不同模態、不同表達之間的理解和轉譯,我們的生活記錄將會有多少驚喜。我們用手機拍下所看到的景觀,AI 可以直接生成詩歌或者文章
28、,讓攝影機去“所見”,讓人工智能去“所感”,用技術的手段去實現文學中最難以量化的表達和情緒,為每一張照片、每一段視頻記錄獨特的故事和情感色彩,全方位多維度地捕捉和傳遞生活中的美好瞬間。當AI圍繞著家庭生活的方方面面為我們服務,我們的生活將會有多輕松。具身智能(Embodied intelligence)的 AI 智能體(機器人)不僅能理解圖像和視頻,還能在真實環境中四處移動,與周圍環境交互,執行多個步驟以完成復雜的類人任務,為我們提供既科技又便捷的家庭服務。AI機器人可以自動清潔、整理家居、照顧寵物,并根據家庭成員的日常習慣調整室內環境,如光線、溫度和音樂。在 AI 服務下,人們可以擁有更多自
29、由時間,享受更高品質的生活。當 AI 為我們提供創意實現的手段,每個人的創意將會被放大到更遠的地方。如今,生成式 AI已經能夠生成真假難辨的視頻、極具藝術感的圖像、人聲與樂器相結合的逼真歌曲,AI 作品創作將不再局限于具備專業技術背景的開發者,越來越多的大眾人群都能輕松地向 AI 提出自己的創意,與AI協同創作出令人驚嘆的畫作、繪本、短劇、電影等。傳統創作需要大量時間來培養人的專業技能,而 AI 讓普通人的天馬行空不再眼高手低,它用隨處可得、平易近人的工具打破了創作的門檻,催化靈感的多元實現,它公平地歡迎每一個有創意的人。-17-未來場景展望AI 終端白皮書AI 與人協作、服務于人學術研究指出
30、,一對一的定制化輔導是學習最有效的方式之一,但人類家庭導師通常是價格昂貴且不易獲得的,AI 有望成為每個人隨身攜帶的 7*24 小時導師8。如今,已經有多個語言類AI 產品為用戶提供寫作、外語、數學、編程等不同領域的輔導。與人類導師相比,學生們更愿意向 AI 導師尋求幫助,他們認為 AI 導師不那么正式,不容易引起答錯問題的恐懼。展望三 學習2.3AI 導師還可以走得更遠,它可以幫助我們開展個性化教學。AI 導師根據學生的能力、興趣、性格特點和學習進展,不斷調整和優化教學路徑,在補齊學習上的薄弱點和短板的同時,幫助發現和發展學生的技能和潛力。除此之外,AI 導師在對學生的評估和反饋上也具有獨特
31、的優勢。對學生作業和考試的反饋是幫助學生掌握知識并取得進步的重要手段,AI 導師不僅可以提供即時的反饋并鼓勵學生再次嘗試,還可以訪問學生歷年來完整作業和考試記錄,跟蹤學生的成長情況,更全面地了解他們知道什么、掌握了什么。進一步的,AI 導師還可以洞察就業市場和未來技能需求,為學生提供量身定制的學業途徑和職業選擇建議,同時,推薦所必需的課程、社交活動或實習機會,以確保學生能夠獲得理想的大學或職業道路。-18-未來場景展望AI 終端白皮書AI 與人協作、服務于人未來,隨著傳感器技術、AI、VR/AR 技術的進一步發展,人們不再僅僅在視覺和聽覺上體驗到數字技術,還可以聞到、嘗到和感覺到數字世界里的氣
32、味、味道和觸感,從而獲得身臨其境的體驗。預計到 2030 年,全球聯接總數將達到兩千億級,傳感器數量將達到百萬億級,這些傳感器持續不斷地從物理世界采集數據,如溫度、壓力、速度、光強、濕度和濃度等,讓數字世界也擁有“視覺、觸覺、聽覺、味覺、嗅覺”的感知能力,甚至超越人類感官的能力。在一項消費者 2030 年 10 大趨勢調研9中,感官互聯網(IoS,Internet of Senses)的概念被提出,這項技術旨在彌合數字世界和現實世界之間的差距,使我們與數字世界的互動更加逼真,為用戶帶來超越現實的體驗。展望四 娛樂2.4此外,隨著各電磁波頻段技術的不斷發展,無線感知技術日益成熟,已有大量基于 W
33、i-Fi 信號等中長波的姿態感知技術。下一代無線通信即 6G 的規劃中,提出了通信感知一體化的概念,6G 通信涉及更高的頻段如亞毫米波和太赫茲波,可以提供超寬帶寬以實現更高的感知精度和分辨率。太赫茲感知可以進行光譜分析,識別食物、藥物、空氣污染的組分,進行物體的層析成像和隱藏物體檢測等。未來無線感知技術將大幅度拓展 AI 系統的感知能力。當數字世界中融合更多與物理現實密不可分的感官感知和無線感知,用戶的數字體驗將會發生顛覆性變化。在這樣的世界里,日常的娛樂會是什么樣子?我們可以在網絡購物時,先在屏幕上進行數字觸摸,感受家具和服裝的質感,然后再決定是否下單。我們可以在看電影時,親身感受到電影中所
34、有嚴寒和酷暑,聞到大雨滂沱時卷起的泥土腥氣,熏風拂過時梔子花搖曳的馥郁香氣。我們可以在網絡上游覽名勝古跡時,不僅可以品嘗到當地的街頭小吃,觸摸到鐫刻著歷史印跡的城墻,還可以控制我們聽到的聲音,過濾掉嘈雜紛亂的背景聲音,聆聽那熟悉的那一抹鄉音。-19-未來場景展望AI 終端白皮書AI 與人協作、服務于人-20-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人AI 為未來場景提供了可實現的技術手段,推動著創新快速發展和產品應用落地。近年來,隨著生成式 AI 這一技術取得的顯著進展,也引發了生成式 AI 同終端產品深度結合的創新浪潮:為了讓消費者對 AI 終端的能力有更
35、清晰、更直觀的認知,同時也為了讓產業界對 AI 終端的能力演進達成統一的共識,協同產業有序發展,參考汽車駕駛自動化分級,以及清華大學PERSONAL LLM AGENTS(個人大語言模型智能體)10中的智能體能力分級,我們提出 AI終端智能化 L1L5 分級標準,并期待產業界同仁一起來完善、優化該分級標準。從應用的角度看,各終端廠家和應用廠家密集推出基于大模型的 AIGC 應用產品,涵蓋對話、寫作、學習、媒體創作、辦公商務等領域。從硬件設備的角度看,各終端廠家的 AI 能力也在不斷推陳出新,產業界也紛紛提出AI 終端、AI PC 不同維度的概念定義。?L5?L4L3L2L1?AI 終端智能化分
36、級標準3.1-21-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人針對 AI 終端分級標準,進一步高階抽象出支撐該分級標準的 AI 終端六大關鍵技術特征。?關鍵技術特征3.23.2.1 原生智能 OS我們認為,原生智能 OS 需要具備統一的 AI 系統底座、原生智能應用、系統級智能體、開放生態四大核心要素,以能夠更好地支撐 L1L5 智能等級的終端 AI 技術演進。如下以華為HarmonyOS 原生智能技術架構為例來展開四大核心要素。?-22-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人 統一的 AI 系統底座:全新打造的 AI
37、 系統底座,在 OS 層提供統一的 AI 基礎模型、數據接入、模型與算力的調度能力、模型加載與升級的工程化治理框架等,同時為OS 其他子系統(如媒體子系統、文件子系統等)提供協調一致的智能化改造。原生智能應用:對用戶日常使用的系統應用(如電話、消息、圖庫等)和服務(如掃碼、圖片編輯等)進行智能化升級,提供超越預期的智能化體驗。小藝超級智能體:作為系統級智能體,具備高效精準的多設備、場景融合感知和意圖理解能力、高階任務規劃和反思能力、廣泛的工具調用和操作執行能力,為用戶提供體系化、可擴展、全場景智能能力,并與領域 Agent 一起相互協作,共同完成更復雜的任務。生態開放:為三方生態應用提供開放的
38、模型開發和部署能力、高價值 AI 組件能力、領域 Agent 開發平臺能力,為生態應用開發和應用部署、應用運行進行全流程價值賦能。感知領域碎片化,每個軟件只能感知軟件內的行為和數據;感知過程和結果碎片化,軟件在有限的感知視野內根據自身需求各自實現和執行感知步驟,得到局限在某特定領域的感知結果,并通常不互相分享感知結果;時間碎片化,系統出于能耗和隱私考慮往往不允許執行長期感知動作。感知是指通過傳感器數據獲得上下文信息的過程。這里的傳感器包括硬件傳感器和軟件傳感器,硬件傳感器指具有物理結構的感知單元,如加速度計等。而軟件傳感器則泛指廣泛的軟件數據,如聊天記錄、日程安排等?,F有終端設備、系統和軟件中
39、已經有大量的感知過程,比如短視頻軟件分析行為感知用戶喜好、智能手機感知環境光照自動調節亮度、智能手表識別用戶心率和IMU數據感知用戶動作等等。然而,目前大部分感知都是“碎片化”的,這種碎片化主要體現在幾個方面:3.2.2 全場景融合感知-23-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人碎片化的感知難以得到更全面的感知結果,進而無法支撐下一代 AI 終端對物理世界全方位的感知需求。在未來全場景智能的愿景下,原生智能的 OS 需要打破碎片化:AI 要超越今天的能力,我們需要的不僅僅是能夠看到或對話交流的 AI,我們還需要可以做到的 AI。當 AI 結合了更高維度
40、的感知結果,將觸發思考,進而影響自主行為。與人類常見的行為模式一樣,看到烏云即可聯想到下雨從而帶了一把傘出門,AI 將學會感知復雜世界并與之互動,并在此過程中觸發智能的、可按需編排調度的主動服務。在不久的將來,更高維度的智能感知、更智慧的基礎模型、更高階的空間智能將為具身智能賦能,開啟智能社會的更多可能性。從多終端多源頭匯總軟件、硬件的感知數據,構建統一協同的感知數據底座;在系統層做最大程度的過程共享、調度優化,降低長時間感知的資源占用和整體功耗,實現系統級全局最優的感知過程。打破多個終端硬件、不同應用之間的隔離,從用戶上下文、設備上下文、場景上下文中抽象出更高維度的感知結果。?-24-AI
41、終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人通用意義的 AI Agent 智能體實現了“以意圖為中心”的 AI 與人的協作機制,系統超級智能體則進一步結合 OS 系統的底層能力,為用戶提供體系化、可擴展的智能能力。OS 系統資源中的各項能力(感知能力、記憶能力、工具能力等)向系統超級智能體開放并由其進行管理。系統超級智能體主要由以下四個邏輯功能模塊組成:?Awareness+Memory?(Plan+Reflect)?(Tools)?(Action)?感知和記憶:感知模塊主要用于系統超級智能體獲取各種原始的、以及高維度抽象后的感知結果;記憶模塊是系統超級智能體中存儲
42、并管理的用戶信息的記憶體,以優化用戶個性化需求下的表現。自主規劃:能夠基于用戶隱式或顯式訴求,自主拆解子任務,編排形成閉環目標的子任務鏈。同時,能夠根據子任務執行結果進行迭代反思,自主提升規劃和編排能力。工具:可供調用的工具和服務集合,包括 OS 系統工具(如日歷、計算器、網頁檢索等)和三方服務(如元服務、領域 Agent),基于良好的接口定義規范,系統超級智能體能夠實現對海量工具和服務高效的檢索和分發。行動:按照規劃拆解的子任務(包括調用相關工具)進行執行,以閉環任務目標。3.2.3 系統超級智能體-25-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人類似于終
43、端操作系統(HarmonyOS、Android、iOS)的系統級 APP 和普通 APP 一樣,除了系統超級智能體之外,下一代 AI 終端中還將存在多個領域智能體(領域 Agent)。系統超級智能體和領域 Agent 相互協作,為用戶提供全局性與專業性結合的智能服務體驗。3.2.4 端云協同端側側重感知執行,云側側重規劃決策,端云協同構筑真正強大的全局化智能,同時,端云協同一體的芯片、算子、模型的設計,還可以釋放更強大的硬件資源。以華為端云協同解決方案為例,AI 計算生態同棧,端云模型同源,為業務帶來極致性能體驗。端側自定義算子編程:業界首次開放端側 NPU(Cube)的自定義算子編程,使能更
44、多樣的模型能夠運行在硬件加速器上,并可根據需要進行專門的定制優化。端云統一的 AI 計算生態:業界首次實現端云統一的 AI 計算生態,端云的算子優化可以互相使能或借鑒,并借助社區力量,推動端云硬件加速的協同發展。端云芯片同源:有利于端云算力動態互助,以端助云降成本,以云助端提升體驗,同時便于業務在多設備間流轉時,保持能力、體驗的一致性。?-26-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人 端云模型同源:有利于模型能力、數據分布、詞表、端云體驗一致性的對齊,助力端云算法協同、數據協同、業務場景協同。智能感知與動態防護的軟件安全:1)集成自我學習與適應能力的 A
45、I 安全引擎,實時監控系統行為,識別異?;顒?,有效抵御病毒、木馬和 0 Day 攻擊。2)采用微服務架構,實現服務間最小權限原則和隔離,降低單一服務受損對整體系統的影響。3)內置的隱私保護機制,將確保用戶數據在處理、存儲和傳輸過程中的加密與匿名化,保護個人隱私。內置安全與可信執行環境的硬件安全:通過集成安全芯片(如 TPM、SE 等)實現硬件級的密鑰管理、身份驗證和數據加密,為系統提供不可篡改的信任根。此外,基于可信執行環境(Trusted Execution Environments,TEEs)為敏感操作提供獨立的執行空間,同時實現基于密碼學的機密計算,保證了數據和計算過程的保密性、可靠性、
46、不可篡改性。隨著 AI 在未來的智能社會中扮演著越來越重要的角色,AI 系統需要處理更豐富更全面的個人信息,一旦 AI 系統被攻破,大量用戶敏感數據可能會被竊取和濫用,此外,AI 大模型本身也可能成為攻擊目標,比如攻擊者可以通過設計出特殊的提示詞進行越權訪問,獲得其本來無權訪問的用戶隱私數據,或引導智能體執行一些不該執行的動作。生成式 AI 系統的可信安全體系需要從芯片、硬件、操作系統、大模型、智能體等多個維度全新設計。以華為AI終端為例,通過深度整合軟件、硬件、芯片與云端各層防護機制,形成立體、動態、自適應的“軟硬芯云一體化安全架構”,確保數據、應用和用戶交互的安全無虞。3.2.5 安全可信
47、-27-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人定制化安全指令與硬件加速的芯片級安全:在芯片設計階段融入安全理念,開發定制化的安全指令集,以硬件加速的方式執行加密運算和安全協議,確保從底層硬件到上層應用的全程安全。策略統一和風險共享的端云安全協同:安全云作為軟硬芯云架構的中樞,承擔著安全策略的集中管理和跨設備協同防御的任務。鴻蒙能夠實時接收最新的安全補丁和威脅情報,實現安全策略的統一部署、更新與威脅預警,并協調不同設備間的防御行動,形成強大的協同安全效應。生態在 AI 終端中占據著非常重要的一環,推動了應用和服務的多樣化發展。通過建立開放的生態系統,開發者
48、可以輕松接入和利用 AI 能力,從而快速開發出創新的應用和服務,滿足用戶的多樣化需求??傮w上,華為 AI 終端基于“分層開放、全流程價值賦能”的原則助力鴻蒙 AI 生態開發。3.2.6 生態開放AI?AI?Core AI API?Core DeepLearning API?-28-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人 模型開發部署能力開放:Core Deep Learning API,基于軟硬芯云垂直整合,提供硬件加速的端側模型推理、訓練和構圖接口,支持三方模型通過 Tools(統一 IR)轉換為缺省 MindSpore Lite,實現一次開發即可在多
49、芯片(CPU、GPU、NPU、DSP)運行,確保海量存量 AI 應用極易遷移的同時,在麒麟芯片、HarmonyOS 上更能夠發揮出 AI 應用的極致性能體驗。高價值 AI 能力開放:為應用提供與 HarmonyOS 深度適配的,極具競爭力的原子化AI 接口(Core AI API),以及高階 AI 系統能力組件(AI 控件、意圖框架),應用可直接集成,實現快速開發與迭代,提升用戶體驗和應用性能。領域 Agent 開發平臺開放:小藝開放平臺為領域 Agents 提供一站式、無代碼開發集成環境,同時提供移動終端獨特的工具/插件,如位置服務插件、事件通知插件等,賦能 CP 高精準、高效率地開發移動終
50、端領域 Agent。應用智能化推薦:基于多設備融合感知、意圖框架體系以及系統級多入口,小藝建議幫助應用&服務多維度、多頻次、多場景、高效率地觸達用戶,實現從人找應用,到應用找人。服務智慧化編排:在小藝系統超級智能體的統一協同下,服務可分可合、自動化編排,實現服務按需組合,入口一步直達。應用運行階段:應用開發和部署階段:-29-AI 終端智能化分級標準與關鍵技術特征AI 終端白皮書AI 與人協作、服務于人-30-倡 議AI 終端白皮書AI 與人協作、服務于人2021 年 8 月,我國汽車駕駛自動化分級標準正式發布,推動了智能駕駛產業進程的加速發展,截止 2023 年年底,乘用車 L2 級輔助駕駛
51、技術的滲透率已經超過了 50%,隨著政策的進一步支持,L3 和 L4 級別自動駕駛正在成為引領汽車產業創新的主導方向,整個產業呈現快速、健康、繁榮的發展態勢。我們認為,同智能駕駛一樣,共建智能化分級標準體系對 AI 終端產業也將具有里程碑意義,牽引產業高質量發展:因此,我們倡議全產業共同努力,共同探索、制定、推動 AI 終端分級標準體系,共建智能美好未來。有助于牽引產業戰略,凝聚產業共識,提升產業影響力;增強 AI 終端的透明度和信任感,幫助消費者更清晰、更直觀地了解各終端的 AI 能力等級。為產業上下游開發產品和服務建立明確的參考依據,促進技術的快速迭代和創新;為產業政策的制定提供支持,幫助
52、產業有序和健康發展,確保技術進步同消費者安全、隱私、社會倫理等因素的平衡;共建 AI 終端智能化分級標準體系,牽引產業高質量發展4.1-31-倡 議AI 終端白皮書AI 與人協作、服務于人研究表示,2023 年全球人工智能市場收入預計達 5132 億美元,同比增長 20.7%。截止2023 年三季度,全球人工智能企業達到 29524 家,中國企業數量僅次于美國,占全球總數的15%11。此外,一項 AIGC 應用調研顯示,2023 年全球 AIGC 應用下載量突破 8 億次,季度使用時長超 20 億小時12。生成式 AI 的產業規??焖僭鲩L,為 AI 開發者帶來新機遇。2024 年 1 月,鴻蒙
53、生態千帆計劃發布,預計到 2024 年年底,鴻蒙生態將迎來超過 5000 款應用完成原生鴻蒙開發,展望未來,華為的目標是支持百萬級鴻蒙應用。在這些群星璀璨的鴻蒙生態應用中,元服務、領域 Agents 將是其中極為亮眼的類別。鴻蒙元服務,具有便捷開發、高效分發的天然優勢。用戶在使用不同終端設備過程中,無需感知設備的切換,指令可以順暢地在不同終端設備執行,服務體驗無斷裂?;邙櫭稍悄芎托∷嚦壷悄荏w的調度,AI+元服務支撐服務隨人走、服務跨端流轉。領域 Agent,基于“模型+數據”驅動的 AI 應用開發新范式,每個具有領域知識和技能的CP(content provider,內容供給者)都可以
54、成為領域 Agent 的開發者,代碼能力不再成為 AI應用開發的必備品。與傳統 APP 和元服務比較起來,領域 Agent 的開發將更加多元、更低門檻、更快上線,并在系統超級智能體的協同下,為消費者提供更具內容價值的服務。鴻蒙 AI 智匯萬物、智領未來。我們歡迎各企業、開發者和個人加入鴻蒙 AI 生態,共同構建一個開放、創新、合作的智能世界。鴻蒙 AI 生態開放協作,共建共贏4.2-32-參考資料AI 終端白皮書AI 與人協作、服務于人參考資料REFERENCE MATERIAL1.“生成式 AI 機遇和顛覆:演變中的萬億美元市場”,彭博行業研究,https:/ VIEWS ON A.I.20
55、23”,Ipsos,https:/ Statista,IDC,Gartner,TechInsights 數據庫,埃森哲分析4.“Artificial Intelligence Index Report 2024”,Stanford,https:/aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_2024_AI-Index-Report.pdf 5.“2024 人工智能與職場研究報告:數智新職場與企業高質量發展”中國人民大學、明略科技,http:/ 6.“2023 Developer Survey”,Stack Overflow,https:
56、/survey.stackoverflow.co/2023/#section-sentiment-and-usage-ai-tools-in-the-development-process 7.“Building a Second Brain:A Proven Method to Organize Your Digital Life and Unlock Your Creative Potential”,Tiago Forte 8.“THE IMPRESSIVE EFFECTS OF TUTORING ON PREK-12 LEARNING:A SYSTEMATIC REVIEW AND ME
57、TA-ANALYSIS OF THE EXPERIMENTAL EVIDENCE”,NATIONAL BUREAU OF ECONOMIC RESEARCH,https:/www.nber.org/system/files/working_papers/w27476/w27476.pdf 9.“10 Hot Consumer Trends 2030”,https:/ 10.“Personal LLM Agents:Insights and Survey about the Capability,Efficiency and Security”,Institute for AI Industry Research(AIR),Tsinghua University,https:/arxiv.org/abs/2401.05459 11.“全球數字經濟白皮書(2023 年)”,中國信通院,http:/ 12.“2023 年 AIGC 移 動 市 場 洞 察 報 告”,data.ai,https:/www.data.ai/cn/insights/reports/aigc-app-report-2023/?