《中國移動智慧家庭運營中心:2024家庭元宇宙場景化應用白皮書(44頁).pdf》由會員分享,可在線閱讀,更多相關《中國移動智慧家庭運營中心:2024家庭元宇宙場景化應用白皮書(44頁).pdf(44頁珍藏版)》請在三個皮匠報告上搜索。
1、家庭元宇宙場景化應用白皮書1家庭元宇宙場景化應用白皮書虛擬現實與元宇宙產業聯盟2024 年 3 月家庭元宇宙場景化應用白皮書1前 言本文件由 XRMA 聯盟融合應用工作組制訂,并負責解釋。本文件發布日期:2024 年 3 月 22 日。本文件由虛擬現實與元宇宙產業聯盟提出并歸口。本文件歸屬虛擬現實與元宇宙產業聯盟。任何單位與個人未經聯盟書面允許,不得以任何形式轉售、復制、修改、抄襲、傳播全部或部分內容。本文件牽頭單位:中國移動智慧家庭運營中心本文件核心參編單位:中國信息通信研究院、華為技術有限公司本文件參編單位:深圳創維新世界科技有限公司、上海蛙色網絡科技有限公司、烽火通信科技股份有限公司、北
2、京凌宇智控科技有限公司、天元瑞信通信技術股份有限公司、鵬博士電信傳媒集團股份有限公司、聚好看科技股份有限公司、深圳納德光學有限公司本文件參編人:王新寧、王國棟、周英能、李達、何婷婷、向瀟、吳小軍、呂亞蘭、羅云鐘、袁野、周明洋、肖婷、仇昌棟、廖長軍、王昊蛟、冀煜康、李誼、宋倩雯、鄭曉剛、王明強、許彩云、李樹磊、李韜然、陳曦、陳浩、彭華軍、魏文浩、張東東、安雁芬、朱家林免責說明:1,本文件免費使用,僅供參考,不對使用本文件的產品負責。家庭元宇宙場景化應用白皮書2目錄1.元宇宙概述.31.1 元宇宙起源與發展分析.31.2 元宇宙終端發展分析.51.3 元宇宙內容生態分析.62.家庭元宇宙發展分析.
3、92.1 千兆網絡技術分析.92.2 家庭元宇宙入口終端分析.152.3 家庭元宇宙發展路徑分析.173.家庭元宇宙場景應用分析.173.1 家庭娛樂.173.2 智慧文旅.193.3 家庭教育.213.4 居家健身.223.5 家庭康養.243.6 家庭物聯網.254.家庭元宇宙交互技術分析.264.1 家庭元宇宙交互內容標準.264.2 家庭元宇宙交互技術實現方案.314.3 家庭元宇宙終端交互協議.365.總結與展望.396.附錄.416.1 縮略語.416.2 引用.43家庭元宇宙場景化應用白皮書31.元宇宙概述1.1 元宇宙起源與發展分析1.行業發展歷史概述1992 年,美國著名科幻
4、小說家尼爾斯蒂芬森發表了科幻小說雪崩,并在其中首次提出元宇宙概念。尼爾斯蒂芬森為讀者呈現了一個與現實世界平行的元宇宙世界,這個虛擬世界具有較強的開放度和自由度,參與者能夠以元宇宙公民的身份實現任何行動,理論上行動僅受想象力的限制。雪崩作者天馬行空、別具匠心的構想,奠定了元宇宙基本雛形,讓全球資本、學者對元宇宙世界產生了無限遐想,一場全新的科學技術革命正在悄然醞釀中。作為元宇宙的技術核心,虛擬現實的起源早于元宇宙概念的誕生,自 20 世紀 50 年代首款虛擬現實設備出現后,虛擬現實概念萌芽,經歷了 60 年代的初始探索,70、80 年代的理論與技術沉淀,在 90 年代進入應用轉型階段。然而此時的
5、軟硬件技術發展水平尚未成熟,特別是顯示技術、3D 渲染技術、網絡運算等虛擬現實關鍵技術,因此相關硬件設備性能、尺寸等未達“可用”標準,距離消費級產品仍有較大差距。經過了二十幾年的技術積累和沉淀,元宇宙入口終端打造初具雛形。2012 年 Google Glass 的發布以及2016 年 Oculus Rift 的問世使得 VR 技術重回大眾視野,推動行業在 2016 年至 2018 年進入創業和資本狂熱期,這一時期眾多科技廠商相繼推出了眼鏡、頭盔等多種形式的硬件設備,先進的產品概念發布引發行業暢想,虛擬現實設備被認為可能成為替代智能手機的下一代通用計算平臺。但由于軟硬件以及網絡等核心技術的限制,
6、終端設備未能完全滿足用戶的期望,體驗感欠佳、性價比較低、內容生態相對匱乏等問題導致行業再次進入冷靜期。新型數字技術的突破升級為元宇宙行業的進一步發展提供了助力。2019 年,5G 網絡的正式商用為行業的發展提供了堅實的基礎保障,在一定程度上緩解了頭顯設備因時延導致的眩暈感、停頓感等用戶體驗不佳的問題,網絡性能的提升,區塊鏈、人工智能、數字孿生等新型技術的進一步成熟提振了行業信心。2021 年,隨著全球頭顯銷量首次破千萬臺,扎克伯格重提元宇宙概念,Facebook 更名為 Meta 等大事件發生,元宇宙迎來第二次爆發,全球科技巨頭紛紛面向元宇宙領域做出重大戰略布局,全面加強技術研發與產業賦能,積
7、極推動元宇宙生態構建。2023 年,蘋果公司發布首款混合現實設備 Vision Pro,Vision Pro 的發布對于整個元宇家庭元宇宙場景化應用白皮書4宙行業具有舉足輕重的意義,一定程度上重拾了資本市場對于元宇宙未來發展的信心,為行業發展注入了新的活力。表 1.1 元宇宙發展關鍵事件時間關鍵事件1952 年莫頓海利格創造了第一臺沉浸式虛擬現實設備1992 年尼爾斯蒂芬森發表雪崩,首次提出元宇宙概念2012 年Google Glass 的發布引發行業廣泛關注2016 年Oculus Rift 問世,這一時期眾多科技廠商相繼發布終端設備2019 年5G 正式商用,VR/AR 作為 5G 制高點
8、應用被重新激活2021 年Facebook 更名為 Meta,元宇宙概念火熱出圈2023 年Apple Vision Pro 發布,對元宇宙行業起到積極的促進作用隨著科學技術的飛速發展,元宇宙的展現形式也從文學、電影等科學幻想方式逐步向技術實現方式發展,成為人類持續追求極致體驗過程中技術升級達到奇點催生出的數字科技集大成者。在區塊鏈、Web3.0 等技術的孕育下,具有去中心化特征的元宇宙平臺相繼崛起,為元宇宙的構建奠定了基礎;在渲染引擎、建模軟件等工具廠商的長期耕耘下,3D 建模、實時渲染技術難度大幅降低,為元宇宙內容創作提供了有力保障,孕育了良好的元宇宙生態建設基礎;國內外科技廠商推出的 A
9、R/VR 設備性能逐步提升、體積輕量便攜,也為在消費級市場打造元宇宙入口提供了條件。2.行業發展現狀分析在經歷幾年的元宇宙話題熱議后,2022 年全球頭顯出貨量達千萬量級后見頂回落,作為元宇宙入口的虛擬現實行業逐步回歸理性發展狀態。在行業發展降速的情況下,一批國內廠商另辟蹊徑,以元宇宙內容為突破口,結合實際業務需求,賦能景區、地產、家裝、娛樂、交通等剛需場景,形成了完備的商業模式和較強的行業競爭力。VR 內容的繁榮發展和多樣化的業務場景需求促進元宇宙入口終端向多元化方向發展,手機、電視等智能設備也在元宇宙發展浪潮中擁有了獨特的舞臺。頭顯端以打造沉浸式精品內容為主,但用戶活躍度較低,尚未形成規模
10、化發展態勢;手機端以打造即時輕交互內容為主,但因其屏幕較小,沉浸感弱,無法產生高粘性用戶;電視端以打造家庭場景下的輕、中交互應用為主,但存在操作系統型號繁多、內容格式與交互標準尚未統一等問題,現階段無法實現規?;茝V。經過眾多科技廠商在虛擬現實領域的多年耕耘,元宇宙行業已初步形成頭顯端、手機端、電視端等多終端發展格局,但各端生態建設相對獨立,資源利用率不足。為突破行業發展困境,應當充分發揮已沉淀資源與技術優勢,打通各終端流量互導鏈路,實現內容互聯互通,完善多終端協同發展體系,加速規模擴張效應,共同助力元宇宙行業實現規?;?、高質量發展。家庭元宇宙場景化應用白皮書51.2 元宇宙終端發展分析虛擬現
11、實、人工智能、5G、云計算等新興技術的發展催生了元宇宙行業,然而目前受限于一體機用戶規模,元宇宙行業尚未形成規?;l展,為突破行業發展困境,元宇宙入口終端正逐步向多元化方向演進,形成頭顯、手機、電視多形態終端協同互補的產業格局,構建小屏(智能手機)、中屏(平板類終端)、大屏(大尺寸智能電視、投影儀類終端)、虛擬屏(VR、AR 眼鏡)、行業屏等多屏互聯互通的“三端多屏”產品體系,共同推動元宇宙產業實現高速發展。1.頭顯端頭顯端致力于打造深度沉浸的精品內容,主要服務于特定化應用場景,且隨著蘋果首款空間計算設備Vision Pro 發布,進一步奠定了當前頭顯設備更傾向于面向專業級用戶以及在固定場景下
12、使用的產品定位,并逐步向集娛樂、辦公、社交等為一體的通用計算平臺發展。Vision Pro 的發布在技術創新、產業升級、生態建設、用戶教育等方面對元宇宙行業起到積極的促進作用,然而多元化、輕量化內容的缺乏仍然是導致頭顯用戶覆蓋面不足的關鍵因素之一,一方面深度交互的精品內容創作成本高、生產周期長,內容創作效率低;另一方面在行業輕交互趨勢明顯的背景下,輕量化內容不足無法滿足用戶碎片化娛樂的需求。近兩年在經濟環境欠佳、設備價格上漲的大背景下,全球頭顯出貨量不及市場期望,總用戶規模仍處于千萬量級,尚未實現“硬件-內容-應用-用戶”正向循環。頭顯用戶總量不足、活躍度較低成為制約元宇宙產業發展的重要因素,
13、亟待行業上下游由供給關系轉向生態協同關系,逐步形成多形態終端協同發展格局。2.手機端隨著移動互聯網發展,手機已經成為我國網民上網的主要設備,截至 2023 年底,我國互聯網上網人數10.92 億人,其中手機上網人數 10.91 億人,占比高達 99.9%1。手機具有便攜性、娛樂性、多功能、易操作等優勢,已成為移動互聯網時代全球用戶規模最大的移動智能終端。以手機為入口構建輕交互、低沉浸元宇宙場景,可實現元宇宙與頭顯設備的解耦,通過手機端向用戶推廣和普及元宇宙應用,可有效降低用戶使用門檻、快速提高元宇宙認知度。手機的高普及率使其具備強大的培育引流優勢,可快速解決元宇宙用戶量問題,實現用戶規模上量。
14、手機作為培育元宇宙用戶、引導用戶認知的重要入口終端之一,可承載豐富、輕量化的元宇宙內容,同時作為元宇宙領域重要的輔助交互、控制與顯示設備,與頭顯相互補充共同促進元宇宙規?;l展。3.電視端電視端作為家庭場景下的觸達媒體,具有家庭滲透率高、用戶規模大、活躍度高等特點,截至 2023 年,我國 IPTV 用戶數超過 4 億戶2。隨著電視屏幕大屏化趨勢越來越明顯,內容視聽效果逐步升級,沉浸感體驗家庭元宇宙場景化應用白皮書6持續增強,用戶對電視端內容的類型、數量和質量的需求顯著提升。將虛擬現實技術應用于電視端,有利于進一步提高電視內容的豐富度,拓展家庭電視用戶的娛樂方式。在千兆網絡寬帶的加持下,以電視
15、為載體,通過構建云游戲、家庭教育、居家健身、3D 巨幕影院等多形態場景化內容矩陣,形成以中度沉浸、輕中度交互為主的應用發展模式,著力打造家庭元宇宙入口,為元宇宙在電視端的規?;l展探索出一條全新可行路徑。在 VR 頭顯實現硬件輕量化、內容豐富化、市場普及化之前,電視端憑借大尺寸屏幕具備的較強沉浸感優勢、海量用戶規模積累和較高的用戶活躍度,有望成為元宇宙內容的主流入口和開拓家庭元宇宙市場的主力軍。但目前市場上的電視大多基于深度定制的 Android TV 系統,加上元宇宙內容創作方的差異,在電視端引入元宇宙內容時存在內容格式、交互標準不統一的問題,導致電視端家庭元宇宙規?;茝V受到阻礙,因此亟需
16、打造統一開放的電視元宇宙生態。立足家庭市場,以發展家庭元宇宙為契機,聯合上下游產業合作伙伴,統一電視端內容生態、交互標準,激活產業發展活力,推動家庭元宇宙向標準化、規?;?、集約化方向發展。表 1.2 元宇宙入口終端對比終端形態評價維度呈現形式手機端電視端頭顯端H5 頁面、裸眼 VR APP裸眼 VR APPVR APP 定制化 APK應用場景個人場景家庭場景特定場景漫游、直播、娛樂、社交教育、游戲、電影、健身文旅、廣告、工業、醫療用戶規模10 億+1(全國手機網民用戶)4 億+2(全國交互式網絡電視用戶)千萬量級(全球頭顯銷量)用戶體驗輕交互、低度沉浸輕中度交互、中度沉浸強交互、深度沉浸行業痛
17、點 屏幕小,沉浸感不足 應用少,內容展示不全 規模大,卻難形成質變 型號多,操作系統繁雜 內容格式、交互標準不統一,現階段難推廣 用戶量少,且活躍度低 內容生態建設稍遜一籌,行業發展受阻1.3 元宇宙內容生態分析1.元宇宙內容生態發展現狀虛擬現實是元宇宙內容生態的關鍵連接技術之一,其內容規模的持續增長為元宇宙的積累打下了堅實基礎,保障了元宇宙內容產業的繁榮發展。海量的內容是元宇宙持續發展的重要基石,而優質的內容則是元宇宙的核心競爭力。元宇宙的數字內容包括圖像、視頻、音頻等多種媒體形式,并通過跨模態的內容生成,保證高度的真實感和多感官互動?,F階段游戲和娛樂是元宇宙內容的重要應用場景,跨領域發展也
18、是元宇宙的趨勢之一,家庭元宇宙場景化應用白皮書7元宇宙內容可廣泛應用于城市規劃、室內設計、工業仿真、古跡復原、橋梁道路設計、房地產銷售、旅游教學、水利電力、地質災害、教育培訓等眾多領域,通過 VR 技術加持為各行各業提供更多的可能性?,F階段國內元宇宙內容廠商以全景漫游類和 3D 建模類為主,形成了較為完備的商業模式。全景漫游類廠商以蛙色 3D VR、720 云、酷雷曼等為代表,為用戶提供了高品質、多內容、多體驗的元宇宙場景。蛙色 3DVR 基于全景技術提供 VR 直播、VR 景區、VR 全景逛街等眾多平臺方案,目前已為數十萬家商企提供服務,其中全景圖全景視頻數量已超過 200 萬,VR 智慧景
19、區數量已超過 1000 家3;720 云內容覆蓋地產、家裝、文旅、電商、工農業等眾多行業,聚集超過 100 萬的內容創作者和企業,累計超 4000 萬組內容4。3D 建模類廠商則聚焦實景三維重建,構建 3D 數字空間,廣泛應用于房產開發、建筑裝修、工業園區等領域,助力產業實現數字化和智能化轉型。2.元宇宙內容制作工具內容制作工具是實現高質量內容創作的基礎設施和支撐平臺,為創作者提供了內容創建、內容編輯、內容管理等功能,幫助創作者更高效的利用時間和資源,提升內容質量。傳統內容制作工具包括文本編輯工具、圖片編輯工具和視頻編輯工具等,元宇宙內容制作工具則是集 3D 建模、貼圖、動畫編輯、光照渲染、交
20、互式元素制作等功能為一體的內容創作平臺,幫助創作者構建逼真的三維虛擬場景、角色、動畫和交互元素等,有效地提高了元宇宙內容的創作效率和內容質量?,F階段元宇宙內容制作工具可分為傳統制作工具和 AI 類制作工具。傳統制作工具主要包括 3D 建模軟件、動畫和渲染軟件等,需要專業知識和大量的制作時間,更適用于大型制作公司或團隊使用。AI 類制作工具主要利用機器學習、人工智能等技術,通過學習和模擬現實世界的數據,輔助生成或自動生成元宇宙內容。AI類制作工具能夠快速生成海量內容,降低了制作成本和時間,適用于小型制作公司或個人創作者使用。傳統元宇宙內容制作可采用 Unity 和 Unreal 等 3D 建模引
21、擎,通過人工進行詳細的內容設計、動畫設計、建模來完成內容創作,需要程序員、美工、動畫師等各個團隊的協作配合,通常會耗費大量時間和人力,但能夠創作出具有獨特風格的高質量作品,滿足不同用戶的個性化需求。AI 類元宇宙制作工具,如蛙色 3D VR、720 云等以 AI 技術輔助建模,打造元宇宙內容創作平臺。蛙色VR 全景編輯器支持多平臺、多種全景維度、智能圖像匹配、智能分享等功能;720 云 VR 全景及元宇宙創作工具平臺提供全景漫游制作工具、三維空間重建工具、3D 模型互動工具等,使得元宇宙場景搭建更簡單。同時,ChatGPT 等 AIGC 的逐步落地應用,也給數字內容創作帶來了新的降本增效思路,
22、AIGC 通過對大量數據的分析和學習,可自動生成高質量、個性化的數字內容,有利于提高內容生成的效率、增加內容的多樣性、降低內容創作的門檻,進一步促進行業內容生態的繁榮。家庭元宇宙場景化應用白皮書8傳統元宇宙內容制作工具與 AI 類制作工具的結合,可以推動元宇宙內容生態的進一步繁榮和發展,為用戶提供更加豐富、多樣、真實的元宇宙內容資源。AI 類制作工具可以吸引更多的個人創作者和中小型團隊參與元宇宙內容的創作,推動內容創作向 AIGC 方向發展,同時 AI 通過學習和模擬現實世界的數據可提高元宇宙內容的真實性和可信度。傳統制作工具和 AI 類制作工具的結合能夠創造出新的內容形式和風格,利用 AI
23、類制作工具生成基本場景和角色,再通過傳統制作工具進行細節調整和個性化定制,可以創作出獨具特色的元宇宙內容。3.元宇宙產業應用隨著元宇宙概念的爆發,行業逐漸形成了“元宇宙+產業”的新發展模式,開啟了一種新的經濟現象?!霸钪?娛樂”可以使用戶身臨其境地體驗各種電影、游戲中的場景,也可以創造屬于自己的虛擬世界,并與虛擬角色進行互動;“元宇宙+教育”則為傳統教育行業打開了一扇新的大門,可通過構建虛擬環境模擬現實世界的物理規律和化學反應,使得學生在安全的環境下進行實驗,加深對知識的理解,提高對學習的興趣;“元宇宙+醫療”也展現出巨大的潛力,遠程醫療、患者教育、手術導航等均發揮著至關重要的作用?!霸钪?/p>
24、+產業”的發展新形式推動著傳統行業的變革與升級,同時也面臨著諸多挑戰,如技術突破、隱私保護、法律制定等,需要更深入的研究和討論以確保元宇宙產業健康、可持續的發展。圖 1.1 元宇宙產業應用家庭元宇宙場景化應用白皮書92.家庭元宇宙發展分析家庭元宇宙是元宇宙產業的重要落地場景之一,是對家庭物理環境的復刻模擬和拓展延伸,將大幅提升用戶在未來數字空間的生活體驗。在家庭元宇宙中,每個用戶可以定義自己專屬的數字家庭空間,購買數字資產個性化裝扮虛擬世界,啟用數字人作為智慧家庭管家并提供主動式服務,實現物理空間與虛擬空間的互助互補、相融共生。家庭元宇宙的落地與應用離不開網絡技術升級和電視大屏化發展,千兆寬帶
25、的高速率、低延遲、大帶寬等性能,為家庭元宇宙發展提供了關鍵條件,是推動了元宇宙產業高速發展的基礎;電視作為家庭場景重要的算力與顯示終端,具有更大顯示屏幕,更沉浸交互體驗,更多用戶群體,將成為家庭元宇宙的主要入口。依托網絡技術和電視終端,通過技術升級、場景升級、業務升級、體驗升級,推動家庭元宇宙實現規?;l展。2.1 千兆網絡技術分析以 5G 和千兆光網組成的“雙千兆”網絡能為用戶提供千兆移動和固定網絡接入能力,5G 網絡具有靈活性高、移動性強、連接數大等優勢,適用于室外移動場景;千兆光網采用固定光纖連接,具有傳輸帶寬大、抗干擾性強、微秒級連接等優勢,適用于家庭、辦公室、寫字樓等室內或固定場景。
26、二者互補互促,是新型基礎設施的重要組成部分和承載底座,為元宇宙、虛擬現實、超高清視頻等高帶寬應用的發展提供了網絡保障。1.移動通信網絡技術發展史移動通信技術從 1G 開始發展至今已經經歷了五個代際,每個代際的面世都帶來新的通信技術革新,同時也催生了各類新產業與新業態形成,具體地:(1)1G 時代,采用模擬調制技術,屬于純模擬通信技術時代,“大哥大”、“BB 機”成為時尚與潮流象征;(2)2G 時代,通過數字調制技術代替模擬技術,正式開啟數字通信時代,通信的穩定性和安全性得到極大提升,以文字、圖片作為信息傳輸媒介的網上沖浪、短信等交互形態促進了初代互聯網誕生,代表公司包括百度、騰訊、阿里、網易、
27、新浪、人人、搜狐等;(3)3G 時代,通過 TD-SCDMA、WCDMA 和 CDMA2000 三大標準,實現更大的接入帶寬和網絡容量,網絡性能的大幅提升保障了音頻、視頻、多媒體文件等各種大數據量信息傳輸媒介通過移動互聯網高速、穩定傳輸,騰訊視頻、愛奇藝、優酷、土豆等互聯網視頻平臺崛起;家庭元宇宙場景化應用白皮書10(4)4G 時代,基于 TD-LTE 和 FDD-LTE 標準的 4G 網絡具備更高傳輸速率,網絡性能的提升催生了移動支付、短視頻、直播等行業,自媒體、支付寶、快手、抖音、小紅書等新興產業和應用走入大眾視野,正式開啟了移動互聯網浪潮;(5)5G 時代,通過網絡切片、毫米波、MIMO
28、、全雙工等關鍵技術推動全球進入萬物感知、萬物互聯、萬物智能時代,依托于 5G 的超大帶寬、超低時延、超高速率等網絡性能,推動虛擬現實、元宇宙行業進入新的飛速發展周期,網絡信息傳輸媒介從二維逐漸走向三維,布局虛擬現實領域的 PICO、NOLO、蛙色、720云、貝殼如視等企業應運而生。圖 2.1 移動通信發展歷史2.家庭寬帶網絡技術發展史家庭寬帶網絡的發展以業務需求為驅動、以技術發展為支撐,經歷了以 PSTN/ISDN 技術為代表的窄帶時代(64Kbps)、以 ADSL 技術為代表的寬帶時代(10Mbps)、以 VDSL 技術為代表的超寬帶時代(30200Mbps)、以 GPON/EPON 技術為
29、代表的超百兆時代(100300Mbps),目前正跨入以 10G PON 技術為代表的千兆光網超寬帶時代,未來則可能是以 50G PON 技術為基礎的萬兆時代。千兆光網超寬帶時代以基于 10G PON+FTTR 的全光接入為技術支撐,具備超高帶寬、全光聯接、極致體驗三大關鍵特征:(1)超高帶寬:網絡帶寬具備上/下行對稱千兆寬帶能力,通過 Wi-Fi 6 技術打通千兆寬帶的最后 10 米瓶頸,實現云時代一點即達的聯接體驗。(2)全光聯接:基于全面覆蓋的光纖基礎設施可支持泛在聯接,包括家庭的聯接、IoT 的聯接、每個房間甚至每個桌面的聯接。同時拓展了垂直行業應用,實現業務場景擴展 10 倍以上、連接
30、數提升 100 倍以上,推動全球進入光纖聯接萬物時代。家庭元宇宙場景化應用白皮書11(3)極致體驗:在網絡側引入網絡切片與內置 AI 技術,支持“0”丟包和微秒級時延,配合云平臺 AI+大數據智能運維可滿足用戶的極致互動娛樂體驗要求。通過持續優化家庭終端上網體驗,降低 Wi-Fi 時延,提升家庭用戶觀看 4K 視頻和交互游戲等業務的實時性。圖 2.2 家庭寬帶發展歷史預計到 2025 年,全球智能終端聯接數量將達到 1000 億,千兆寬帶普及率將達到 30%5。通過“雙千兆”深度協同,結合兩者的海量聯接優勢,共同推動 2H/2B/2C 全場景智能生活的到來,為千行百業創新應用提供關鍵基礎支撐。
31、同時,規?;膭撔律逃靡矊⒎床腹叹W資源升級和 5G 投資需求,促進垂直行業應用和網絡基礎設施投資形成良性的持續發展閉環。3.雙千兆網絡性能根據歷史發展軌跡,5G 和千兆光網的商用落地,也將迎來新一輪信息革命浪潮?!半p千兆”網絡性能,為新興技術和產業發展提供了基礎保障,具體包括:(1)更高速率:5G 和千兆光網 FTTR 傳輸速率均可達到 1000Mbps,可支撐超大文件、無損音頻、超高清視頻、8K/12K VR 視頻、VR 游戲和其他帶寬密集型應用實現快速加載和傳輸。(2)更低延遲:5G 網絡通過大幅度降低空口傳輸時延和盡可能減少轉發節點,來降低數據傳輸的延遲和端到端響應時間;千兆光網則以 1
32、0G PON+FTTR 的全光接入為技術支撐,為 VR 云游戲、VR 直播等實時應用提供超低延遲的網絡保障。(3)更大帶寬:5G 網絡采用更大的頻譜帶寬,通過引入高階調制、Massive MIMO 等技術手段提升了頻譜效率;千兆光網方面,FTTR 能夠提供更大的帶寬容量,可以支持處理更大容量的數據流量,全面提升全景視頻的分辨率和傳輸碼率,從而達到更好的 VR 視頻觀看體驗。家庭元宇宙場景化應用白皮書12(4)更低功耗:5G 網絡通過 RedCap 和微蜂窩技術,有效降低終端功耗,提高電池續航時間,推動手機、頭顯等智能終端實現輕量化發展;千兆光網方面,FTTR 則通過 ONT+AP 二合一技術,
33、結合智能休眠技術實現每戶節省能耗 30%。(5)更強可靠性:5G 和千兆光網能夠長時間為用戶提供網絡連接穩定性,避免 VR 游戲、超高清 VR 點播、VR 直播等高占用網絡資源應用場景下,網絡出現連接中斷或不穩定的情況,為 VR 產業進一步發展與應用落地提供保障。(6)更廣連接:5G 網絡具有移動性強、連接數量大的優勢,能夠在交通樞紐、大型體育場館、熱門景區等流量密集區域實現網絡的深度覆蓋;千兆光網具有微秒級連接的優勢,支持更多設備接入并保證網絡連接的暢通,其中 FTTR 技術支持 128 個以上的家庭 IoT 設備接入,實現全屋千兆光網共享。4.雙千兆網絡覆蓋率隨著 5G 基站與千兆光網的覆
34、蓋與普及,5G 與千兆寬帶用戶規模穩步提升。截至 2023 年,我國移動電話用戶總數達 17.27 億戶,其中,5G 移動電話用戶達 8.05 億戶,占移動電話用戶的 46.6%,占比較上年末提高 13.3 個百分點;三家基礎電信企業的固定互聯網寬帶接入用戶總數達 6.36 億戶,全年凈增 4666 萬戶,其中 1000Mbps 及以上接入速率的用戶達 1.63 億戶,占總用戶數的 25.7%6。雙千兆網絡的落地推動了虛擬現實、元宇宙等新興技術和領域的高速發展,依托于千兆寬帶性能與用戶規模優勢,家庭元宇宙將成為元宇宙的關鍵應用場景之一。5.雙千兆網絡應用在家庭場景中,依托于千兆網絡性能,家庭元
35、宇宙包含由實向虛、由虛向實、虛實共生三個發展路徑。由實向虛通過對現實世界的數字化,建立虛擬世界,為用戶帶來沉浸式的生活體驗,如完全虛擬化的平行宇宙,包括巨幕影院,智慧文旅等應用;由虛向實基于虛擬世界的想象,對現實世界產生影響,包括游戲、社交、虛擬社區等應用;虛實共生通過感知、檢測及傳感器等設備,將虛擬世界和現實世界連接起來,為用戶帶來虛實結合的真實體驗,包括 XR 運動健身、AR 騎行導航、家庭物聯網等應用。不同應用場景網絡需求不同,以 XR 視頻、XR 游戲、XR 運動健身三個典型應用場景為例,具體需求如下:(1)XR 視頻是家庭用戶最容易獲取的服務內容,主要包括影院、直播、360視頻等應用
36、,通過 XR 頭顯、裸眼 3D 屏幕、高清大屏電視、高清投影儀等設備,可為用戶提供視覺包裹感,提升視頻沉浸體驗?,F階段 XR 頭顯主流單目分辨率為 2K(雙目 4K),可支持 8K 及以上全景視頻播放;Apple Vision Pro 單目分辨率超 4K(雙目 8K),在解碼能力足夠的條件下,理論上可支持 12K 及以上全景視頻播放,其發布推動產業升級的同時也對網絡性能提出新的訴求,表 2.1 給出家庭元宇宙 XR 視頻業務的網絡需求。另一方面,多視點裸眼 3D 顯示技術逐漸成熟,千兆光網為其提供網絡支撐,讓電視大屏實現裸眼 3D 沉浸式體驗成為可能。多家庭元宇宙場景化應用白皮書13視點大屏顯
37、示技術通過屏幕上附著的固定式光柵或透鏡陣列完成子圖像分離,以實現裸眼 3D 效果。根據視點數量,3D 大屏顯示技術可分為裸眼 3D 大屏和全息光場大屏兩個分支。其中,裸眼 3D 大屏視點數較少,以 2、9 視點為主,用戶通過雙目視差原理可在大部分視角感受立體顯示效果;全息光場大屏大多為 45100 視點,用戶可在不同位置和視角感受差異化 3D 內容。多視點裸眼 3D 視頻業務在不同的終端形態、分辨率中對應不同的網絡需求,具體需求如表 2.2。表 2.1 家庭元宇宙 XR 視頻業務網絡需求全景分辨率8K12K24K幀率30fps60fps60fps平均碼率80Mbps280Mbps760Mbps
38、帶寬要求(必須)160Mbps560Mbps1520Mbps網絡 RTT(建議)30ms20ms20ms來源:基于電信網的云化虛擬現實網絡技術要求表 2.2 家庭元宇宙裸眼 3D 視頻(點播)業務網絡需求業務類型裸眼 3D 大屏裸眼 3D 光場屏視點數2996060內容分辨率2K(25601600)8K(76804320)12K(115202160)8K(76807200)16K(1536014400)幀率30fps60fps60fps60fps60fps平均碼率20Mbps130Mbps293Mbps217Mbps868Mbps帶寬需求40Mbps260Mbps586Mbps434Mbps1
39、736Mbps時延20ms20ms20ms20ms15ms來源:家寬多業務并發體驗分級白皮書(2)XR 游戲是家庭元宇宙主要的娛樂場景,通過 VR 技術讓用戶在虛擬的游戲世界擁有沉浸式視聽感受,并配合身體姿態實現人機交互。傳統的 XR 游戲對終端性能要求較高,隨著云計算技術的發展,通過將內容上云、渲染上云,可有效降低用戶側對終端性能的要求。同時,隨著家庭網絡和接入網帶寬資源的日益豐富,原本應用在視頻編輯、媒體制播、交互式遠程圖像回傳等專業領域的淺壓縮技術標準,如 JPEG-XS/AVS 及其相關變種,有望在運營商邊緣云架構上得到規?;茝V和應用,以滿足 XR 云游戲低時延(4K60FPS 時編
40、解碼3ms 以下)和高質量要求(主觀無損),具體的網絡需求如表 2.3 所示。表 2.3 家庭元宇宙 XR 游戲(云渲染)業務網絡需求主流終端屏幕分辨率(雙目)4K8K16K幀率60fps90fps90fps平均碼率65Mbps270Mbps770Mbps帶寬(必須)130Mbps540Mbps1.5Gbps網絡 RTT(必須)20ms10ms8ms來源:基于電信網的云化虛擬現實網絡技術要求家庭元宇宙場景化應用白皮書14(3)XR 運動健身將 XR 技術融入智能電視端,通過實時動作捕捉、AI 智能指導和負荷統計,并配合云端渲染實現智能健身。相比于傳統健身館固定的營業時間和高昂的私教費用,XR
41、運動健身能夠幫助用戶實現居家享受專業教練般的指導,具有時間更靈活、費用更低的優勢。在電視大屏場景中,舒適體驗階段內容以4K 為代表,幀率達到 60fps;進一步地,理想體驗階段內容以 8K 及以上為代表,幀率超過 120fps 及以上,具體的網絡需求如表 2.4 所示。表 2.4 家庭元宇宙 XR 運動健身(電視大屏+云渲染)業務網絡需求顯示屏分辨率4K8K幀率60fps120fps平均碼率65Mbps200Mbps下行帶寬130Mbps320Mbps上行帶寬2050Mbps2050Mbps網絡 RTT20ms15ms來源:云游戲白皮書隨著運營商網絡的不斷升級以及 XR 云游戲、XR 運動健身
42、、8K IPTV、8K XR 直播等家庭業務類型的豐富,家庭應用場景進一步向多業務組合并發擴展,如同時享受 8K IPTV 與 XR 運動健身,多業務組合對家庭網絡的需求將進一步提高。綜上所述,以 XR 視頻、XR 游戲及 XR 運動健身為例,表 2.5 匯總了家庭元宇宙場景化應用及網絡需求。表 2.5 家庭元宇宙場景化應用及其網絡需求匯總應用視頻游戲運動健身備注說明內容類型影院、直播、360 視頻虛擬游戲體感游戲、動感騎行等顯示方式XR 頭顯、裸眼 3D 終端、電視大屏等XR 頭顯、電視大屏等XR 頭顯、電視大屏等交互體驗低,幾乎無交互高,6DoF 手柄、觸摸屏等實時輸入高,攝像頭、可穿戴等
43、傳感器實時交互交互類應用對網絡上行有要求網絡需求(示例)下行帶寬:XR:160Mbps8K 全景560Mbps12K 全景裸眼 3D 大屏:260Mbps8K 9 視點1736Mbps16K 60視點下行帶寬:XR:130Mbps4K540Mbps8K上行帶寬:XR:0.52Mbps下行帶寬:電視大屏:130Mbps4K320Mbps8KXR:同游戲場景上行帶寬:2050Mbps(攝像頭、激光雷達等)上行帶寬取決于6DoF 手柄、攝像頭、可穿戴等傳感器帶寬優化建議提供多樣化終端選擇,如 XR 頭顯、裸眼 3D 屏降低大型游戲設備性能要求優化動作捕捉精度和時延家庭元宇宙場景化應用白皮書152.2
44、 家庭元宇宙入口終端分析家庭場景雖然具備了網絡技術基礎,但家庭元宇宙的落地與廣泛應用仍然受一體機銷量和用戶規模制約,因此在一體機廣泛普及前,電視作為家庭場景普及率最高的智能終端將有望成為家庭元宇宙的入口終端,推動元宇宙在家庭市場實現規?;l展。1.電視發展現狀電視從誕生之初已發展近百年,從早期普及的 CRT 技術到現代的 LCD、OLED 技術,從小型屏幕到大型屏幕,電視技術發生了翻天覆地的變化。如今市場上流行的電視技術主要分為 LCD 和 OLED 兩大類。LCD 使用背光源和液晶屏來顯示畫面,其中 LED、MiniLED、QLED 等都屬于 LCD 液晶電視,只是背光源用 LED 光源替代
45、了傳統的熒光燈管。OLED 則無需背光源和液晶顯示屏,通過有機材料自身發光產生畫面,是一種新的顯示技術。LCD 和 OLED 電視提供了更高分辨率、更廣色域的顯示技術,目前 4K 電視迅速普及,各大電視廠商積極投入 8K 電視研發,超高清分辨率、超廣無差視角、裸眼 3D 視效、語音控制、智能操作系統等為 8K智能電視增添了極大的優勢?,F階段電視服務包括傳統電視、IPTV 和 OTT TV,傳統電視由地方級有線網絡公司提供服務,IPTV 通過電信運營商專網獲取廣播電視服務,OTT 通過互聯網電視集成播控平臺獲取廣播電視服務,表 2.6 說明了傳統電視、IPTV 以及 OTT TV 的區別。隨著家
46、庭網絡和硬件基礎的蓬勃發展,智能電視集網絡化、數字化、高清晰度于一體,已成為三網融合的核心和重要落腳點,為休閑娛樂、運動健身、家庭教育、家庭影院等多場景融合提供了智能載體。表 2.6 傳統電視、IPTV、OTT TV 的區別電視服務傳統電視IPTVOTT TV信號傳輸有線電視網絡電信運營商提供的 IP 城域網公共互聯網操作系統無有有直播信號有有無應用平臺無有有應用管理用戶無法下載安裝軟件由增值服務運營商安裝軟件,用戶無法安裝、下載第三方軟件用戶可自行安裝、卸載第三方軟件觀看內容以電視臺播放內容為主,不可點播以網絡視頻資源和電視臺播放內容為主,用戶可進行點播、回看等操作用戶可觀看多種視頻客戶端的
47、視頻內容,不可觀看電視臺的直播節目2.電視用戶規模家庭元宇宙場景化應用白皮書162023 年全球電視出貨量為 2.01 億臺7,消費市場對電視的需求為電視用戶規模的維持提供了穩定基礎。2023 年國內 IPTV 用戶超過 4 億2,龐大的電視用戶規模表明,在以手機為主要娛樂終端的移動互聯網時代,智能電視仍然是家庭場景中不可或缺的數字媒體中心,在家庭娛樂、信息獲取、智能家居控制等方面扮演著越來越重要的角色。得益于電視日益豐富的應用場景和 IPTV 用戶的穩步增長,智能電視延續了傳統電視在家庭市場的重要地位。通信技術的發展和新興技術的應用使得用戶對電視內容形式和視聽體驗有了更高的要求,網絡電視為用
48、戶提供了更多樣化的內容形式,高清視頻、家庭云游戲、家庭教育等內容豐富了用戶的選擇,高清的畫質和極致的視聽體驗將用戶的視線重新吸引回客廳。3.電視創新發展與應用電視作為家庭場景中的娛樂視聽中心,經過漫長的發展,在形態、顯示、內容及功能等方面都發生了重大的變化,形態更纖薄、顯示更高清、內容更豐富、功能更多樣。電視正逐步演變為集硬件、軟件和內容于一體的全新智能終端設備,逐漸成為家庭娛樂、信息交互以及智能家居控制的共同載體。大屏化、場景化、創新化或成為未來電視發展的重要方向。大屏化成為消費市場的主流趨勢。近年來,國內用戶對大屏電視的高需求促使大屏智能電視的出貨量逐年增多。2023 年全球電視出貨的平均
49、尺寸達到 49.3 英寸7,75 英寸液晶電視成為市場中的主流,同時 80 英寸以上的超大屏消費意愿也持續增強。大屏電視能夠提供更加震撼的視覺和聽覺效果,提升用戶沉浸感,滿足用戶對畫面效果和視野沖擊的追求。越來越多的廠商開始布局超大屏電視領域,大屏化成為電視行業穩定發展的趨勢之一。場景化應用成為未來電視的發展方向之一。隨著技術發展與革新,智能電視功能不再局限于單純的視聽終端,遠場語音、視覺交互等能力使其擔任著娛樂中心、信息交互平臺、智能家居控制中心等一系列角色,智能電視將全面融入用戶的數字生活。家庭游戲、家庭影院、家庭教育、居家健身、家庭互聯等多樣化的應用需求推動電視實現迭代更新。同時,智能電
50、視與網絡、虛擬現實等技術的深度融合推動視聽體驗向超高清視頻、沉浸式視頻、三維聲、XR、互動視頻、全息影像等多技術、多功能融合方向發展,全面提升了場景化應用的發展空間。創新化驅動電視行業實現突破發展。內容上,視聽產品持續向多維度、多領域、沉浸式方向演進;技術上,積極探索新形式的電視互動方式,以創新技術驅動產品更新。通過大數據、云存儲、分布式計算、5G 通訊等技術完善智能電視關鍵能力,提升用戶視聽體驗;運用虛擬現實、增強現實、混合現實等技術創新視聽娛樂方式,提高視聽內容豐富度;依托 6G、人工智能、全息投影等技術創新電視交互方式,推動電視向智能化、個性化、融合化方向發展。家庭元宇宙場景化應用白皮書
51、172.3 家庭元宇宙發展路徑分析依托于千兆網絡高速率、低延遲、大帶寬等性能,高度依賴高品質網絡性能的元宇宙應用可真正意義上融入基礎生產生活,智能電視具備大尺寸屏幕的優勢,結合千兆網絡、虛擬現實、空間音頻、智能交互、云化等技術,衍生出日益豐富的高沉浸式、多維度交互式應用模式,助力電視應用突破原有家庭視聽媒介的定位,逐步向功能更全面、內容更豐富、交互更智能、體驗更貼心的智慧家庭中樞轉型,形成 VR 影視、VR 游戲、VR健身、VR 教育、VR 家裝、VR 助老等多領域應用的電視端裸眼虛擬現實應用矩陣,提升用戶在居家場景下休閑娛樂的內容豐富度,滿足垂直應用場景下用戶的個性化需求。元宇宙與 VR 技
52、術結合,通過電視端承載服務于家庭用戶,賦予了電視極致震撼的視聽效果,提升了用戶沉浸式人機交互體驗,豐富了家庭場景下休閑娛樂方式和應用場景,推動元宇宙在電視端實現繁榮發展。構建“千兆+VR+電視”的家庭元宇宙入口,將促進家庭場景下的消費升級,滿足人民對美好生活的熱切向往。一方面,將虛擬現實技術應用于電視能夠拓展新型家庭休閑娛樂方式,使得用戶能夠足不出戶體驗萬千世界,加強用戶與自然、社會之間的聯系;另一方面,通過持續挖掘電視應用新場景,能夠推動居家場景下的娛樂模式從個人娛樂回歸到家庭娛樂,加強家庭成員之間的互動溝通頻率,有效促進家庭成員感情升溫,從而提高家庭生活品質。電視也將從單純的視聽設備逐漸向
53、家庭娛樂中心、家庭物聯網控制中心轉變。千兆網絡、虛擬現實、電視應用相輔相成、互利共生,逐漸形成協同發展的有機整體,為元宇宙在家庭場景應用與規?;茝V奠定基礎。依托“千兆+VR+電視”的發展模式,將推動家庭生活向數字化、虛擬化、智能化、線上化、便捷化方向發展。3.家庭元宇宙場景應用分析3.1 家庭娛樂電視作為家庭場景下的主要娛樂載體,為家庭成員之間提供了良好的互動環境。千兆寬帶的普及和顯示技術的提升為 4K、8K 畫質的內容提供了硬件基礎,使電視不再局限于傳統的視聽內容,元宇宙游戲、全景漫游、元宇宙直播、3D 巨幕電影等新型娛樂內容豐富了大屏內容生態,滿足了家庭用戶更高的精神娛樂需求。娛樂領域是
54、元宇宙應用最早、最廣泛的領域之一,在數量規模和應用范圍上占據主導。元宇宙為用戶提供了更多樣化的娛樂內容、更沉浸的娛樂體驗和更多維度的互動方式,提高了用戶的參與度和留存率,推動了娛樂行業的發展。家庭元宇宙場景化應用白皮書18游戲是元宇宙產業主要的消費級場景,游戲玩家被視為元宇宙的“種子用戶”,相較于傳統游戲,元宇宙游戲更具真實性、交互性和可玩性。真實感是元宇宙游戲最顯著的特征之一,基于虛擬現實、人工智能、三維建模等技術可構建出高度仿真的虛擬環境,光影效果、顏色深度以及紋理質感等細節的呈現方式都給用戶帶來更加真實的視覺效果;沉浸式的音頻效果也能增強元宇宙游戲的真實感,同時幫助用戶更好地理解游戲的任
55、務與情節;模擬觸感也是增強真實性的關鍵因素之一,生動的觸覺感應會讓用戶產生更接近于真實環境的感受。交互性是元宇宙游戲的另一大特點,現階段 VR 頭顯、數據手套等可穿戴設備是接入元宇宙的主要途徑,手勢追蹤、眼動追蹤、動作捕捉等技術為其提供了更自然真實的交互方式。手勢追蹤包括光學追蹤和數據手套追蹤,光學追蹤采用攝像頭或紅外傳感識別手勢從而實現用戶與虛擬環境的交互;數據手套則通過在手套上集成慣性傳感器來追蹤用戶手指或手臂的運動。游戲畫面的真實性和良好的交互性提升了可玩性,使元宇宙游戲更具優勢。圖 3.1 元宇宙游戲應用示意圖全景漫游是基于圖像處理、三維建模、計算機仿真等技術實現的虛擬實景系統,具有真
56、實度高、沉浸式感強等特點,廣泛應用于虛擬景區游覽、虛擬博物館漫游等場景,是元宇宙較為成熟的呈現方式。全景漫游首先采用具有重疊視野的多個魚眼相機拍攝真實場景的多視角畫面,然后通過圖像拼接算法制作為全景圖像,最后基于數字圖像處理等技術利用全景圖像構建出多維的全景空間。全景漫游通常具有 360 度或 720 度視角,用戶可通過觸摸屏、手柄、轉頭等方式控制視野變換,實現多角度、全方位的場景游覽。與傳統的畫面展示相比,全景漫游更具沉浸感、交互性和可塑性,高度的沉浸感和多維的交互性呈現了全新的信息表現形式,高質量的圖像和生動的細節使用戶更加身臨其境。家庭元宇宙場景化應用白皮書19元宇宙 VR 直播是結合虛
57、擬現實、5G 等技術實現的一種新型直播方式,主要應用于體育賽事、演唱會、發布會等直播場景。傳統直播僅給用戶提供一個觀看視角,VR 直播則不再局限于導播展示的觀看角度,用戶可以多角度自由切換視角,捕捉到直播現場的任意角落,有效地提升了用戶的沉浸感和觀看體驗。VR 體育直播從視角上拉近了觀眾與比賽現場的距離,營造了現場感的觀賽氛圍。在中國職業籃球聯賽 2022-2023 賽季總決賽中,中國移動將 5G+VR 技術賦能體育賽事直播,推出首個 VR+8K 體育直播行業解決方案,為用戶帶來更豐富立體的細節體現和沉浸式觀賽體驗。VR 演唱會直播聚焦視覺和聽覺兩大方向,持續提升用戶的視聽體驗。用戶可觀看 3
58、60 度的實體表演舞臺和全自由視角的虛擬互動場,實體舞臺可在視覺上融入虛擬互動場,并且具備 VR 實時動態音效跟隨功能。VR 直播憑借近距離、多視角、高沉浸體驗等特點逐漸成為直播行業新趨勢,未來有望打破線上和線下活動的壁壘,實現無差別視聽體驗。在家庭元宇宙場景中,元宇宙游戲、全景漫游、VR 直播也鑄造了家庭娛樂的新方式,電視大屏作為家庭場景中的重要媒介,在觀影舒適性、互動體驗上具備一定的優勢。相較于手機、平板電腦等小屏設備,電視有更大的屏幕和更好的音效,可以提升畫面沉浸感和真實感,提供更生動的視覺感知體驗。相較于 VR 頭顯,電視大屏在保證一定沉浸感的同時緩解了頭顯久戴不適的問題,提供了更舒適
59、的視聽方式。在家庭場景中,電視大屏更利于家庭成員的互動,共享元宇宙的樂趣從而增進家庭成員之間的感情。然而,目前大部分電視仍然采用傳統遙控器的按鍵進行交互,單一、不靈活的交互方式會讓用戶產生較強的割裂感,缺乏交互的自然性。智能化的大屏交互方式是實現家庭元宇宙場景快速發展的關鍵,多樣靈活的交互方式有利于打造更多的家庭互動場景和應用模式,滿足用戶多樣化的娛樂需求。智能化、個性化、融合化或成為大屏交互的發展方向,語音識別、人臉識別、手勢追蹤、眼動追蹤等前沿的交互視聽技術也將應用于大屏交互場景中;根據用戶偏好和習慣進行定制化的交互方式會極大地提升用戶的交互體驗;融合化的大屏交互技術將實現不同平臺和設備之
60、間的數據共享和互聯互通,從而實現更加全面、智能、高效的虛擬現實交互和服務。3.2 智慧文旅隨著新一輪產業變革和技術變革的持續推進,數字化轉型為文旅產業高質量創新發展提供了新的方向。5G、云計算、人工智能、虛擬現實、增強現實等元宇宙基礎技術為文旅產業的轉型升級提供了重要技術支撐,文旅產業與元宇宙的深度融合打造了虛擬文旅新模式。元宇宙文旅以歷史人文資源或現代社會的地域文化、自然風光為基礎,通過虛擬現實、云計算等技術構建更加真實的虛擬環境,打破空間和時間限制,讓用戶體驗世界之美,感受不同時空的歷史事件和人文故事,與新興技術的融合極大地提高了用戶的參與度和沉浸感。家庭元宇宙場景化應用白皮書20圖 3.
61、2 智慧文旅應用示意圖元宇宙將數字科技應用于文化藝術,突破藝術形式的限制,為傳統文化注入新的能量和無限創意。數字皮影戲融合虛擬現實技術、非物質文化遺產和傳統故事,在沉浸式、多感知性的呈現形式中展現中國古老民間戲曲皮影戲的藝術魅力。數字京劇以“文化+科技”的創新形式,將新時代國粹文化的創新傳承故事以全新的方式進行呈現,鑄造了演播行業的新標桿,實現社會效益和經濟效益雙贏。元宇宙互動記錄片利用 360 度全景視覺技術讓用戶“站”在歷史里,深切體驗古人所生活的時代??臻g音頻技術帶來了更具方位感和真實感的視聽體驗,6DoF 傳感器則可以讓用戶觸碰、拿起、旋轉、放大文物,深入探索文物的歷史文化和背景,實現
62、與文物的零距離接觸。元宇宙博物館以 5G、虛擬現實、云計算等技術為支撐,通過多方位、生動立體的線上虛擬博物館再現真實場館和展品。用戶可在各個虛擬展區中自由穿梭,實現與線下參觀同樣的體驗?;谔摂M現實、3D 建模等技術還可將展品從靜態轉化為動態置入適當場景中,通過多維立體的呈現形式使沉睡的文物“活”起來,讓用戶更加深刻地感受歷史的厚重感。云旅游是一種通過元宇宙技術實現在云端游覽景區、觀展、直播的新型虛擬旅游形式,為景區營銷和品牌形象塑造提供了新的方法,推動了數字化旅游建設和智慧旅游發展。云旅游以全景視頻、3D 圖像等多種形式展現觀賞內容,并融合游戲化的互動環節以及主題場景等,使游覽體驗更加立體化
63、、具象化、故事化。對于用戶/游客而言,一方面,云旅游提供了一種更便捷、更低成本的旅游方式,足不出戶就能觀賞到不同地區、不同季節的風景,利用碎片化的時間享受旅游的樂趣;另一方面,用戶可以通過云旅游預覽目的地景色后再決定是否前往,能有效降低出行前期的規劃時間成本。對于旅游景區而言,云旅游能夠打破時間和地域的限制,使家庭元宇宙場景化應用白皮書21景區面向更多游客,提升景區的知名度。同時,云旅游還可為景區提供實景導航、智能解說等數字化運營工具,實現景區的智能化服務。文旅行業與新興科技的深度融合有利于探索智慧文旅發展的新方向,元宇宙的加持在促進文旅產業數字化轉型、推動文旅產業鏈的協同創新等方面發揮著重要
64、的作用,智能化、互動化、沉浸化的文旅體驗有助于提高文旅產業的經濟效益和行業競爭力。電視大屏作為家庭元宇宙文旅場景的重要入口,讓家庭用戶足不出戶就能體驗到大自然的鬼斧神工、領略不同地域的風土人情。電視端不僅提供了更優質的視聽體驗,而且幫助家庭成員間建立連接,用戶在觀賞體驗的同時促進了家庭成員之間的良好互動,滿足了家庭用戶的文旅新需求。3.3 家庭教育2023 年 5 月教育部等十八部門聯合發文提出“探索利用人工智能、虛擬現實等技術手段改進和強化實驗教學,并注重利用先進技術彌補薄弱地區、薄弱學校及特殊兒童群體優質教育教學資源不足的狀況”8。元宇宙與傳統教學的深度融合創新了教學模式,虛擬現實、人工智
65、能等元宇宙基礎技術逐漸成為教育現代化的重要手段,為教育信息化提供了強大的技術支撐。圖 3.3 家庭教育應用示意圖元宇宙與教育的融合在提升教學效果方面具有顯著優勢。傳統課堂主要通過講課、演示、實驗等方式進行教學,學生被動地接受知識與信息。元宇宙課堂則可以將抽象的概念轉化為具體的視覺形象,構建逼真的虛擬學習場景以實現情境式教學,身臨其境的學習有利于加深學生對知識的理解和記憶,從而達到提升教學效果的家庭元宇宙場景化應用白皮書22目的。例如在化學課堂中基于虛擬現實技術構建分子的三維結構,或是模擬化學反應過程,通過具象化的畫面讓學生更直觀地了解文字表達的含義。元宇宙在教育領域的應用有利于提高學生學習的積
66、極性和趣味性。一方面,相較于傳統教學模式或電子學習資源,元宇宙課堂更具沉浸感和交互性,互動式、智能化的課堂能夠充分調動學生的積極性和思維擴展能力,虛擬現實、人工智能、物聯網等元宇宙技術打破了傳統課堂的空間局限,為學生提供了更大的想象空間,有利于提升學生學習的積極性和探索知識的主觀能動性。另一方面,元宇宙教育多樣性和創新性的特點能夠激發學生的學習興趣,有利于培養學生創新思維能力和自主解決問題的能力,例如將元宇宙小游戲與教學內容融合能夠避免文本知識的乏味,提高學生自主學習的興趣。元宇宙教育可以提供更豐富、多樣化的學習內容和形式,有利于學生探索不同學科領域,實現全面發展。在物理、化學課堂上,對于難以
67、控制過程的實驗可以通過虛擬現實技術呈現,在得到更直觀結論的同時能避免實驗的危險性和破壞性。對于詩詞歌賦的學習,元宇宙課堂能提供意境感更強、更沉浸的知識呈現形式。元宇宙教育不限制學習方式和場景,能提供更加靈活和多樣化的學習體驗。學生可以選擇在不同的時間、地點和環境下進行學習,例如通過虛擬實驗室進行科學實驗、在虛擬辦公室中學習職業技能、或是在虛擬旅游中學習歷史文化。靈活的學習方式能更好的滿足學生的個性化需求,提高學生的學習興趣、積極性和學習效果。家庭教育在學生的成長和發展過程中扮演著至關重要的角色,社會的變遷和生活方式的改變為家庭教育帶來了新的問題和挑戰??旃澴嗟墓ぷ魇乖S多父母無暇顧及孩子的教育和
68、輔導,其次,專業知識的缺乏也提高了家庭輔導的門檻。以電視大屏為入口的元宇宙教育為學生提供了一種更加專業、高效、個性化的家庭教育方式,以逼真的虛擬場景和多樣化的交互形式提升了學生的學習效果和興趣,讓家庭教育更貼合學生的需求和期望,未來元宇宙與家庭教育融合將成為重要的家庭教育輔助手段,解放家長的課業輔導壓力,增強家庭教育的可持續性發展。3.4 居家健身隨著大眾運動健身的意識提升與定期運動健身的習慣養成,家庭元宇宙場景下的運動健身正成為用戶的新型剛性需求。大屏顯示、動作捕捉、多人協同等技術為元宇宙運動健身提供了重要技術支撐。在家庭領域,電視大屏與智能機頂盒的組合實現健身內容高清顯示,提高運動健身的沉
69、浸感體驗。相較于傳統的手機、平板等小屏,頭戴設備可以提供更好的沉浸感和視覺體驗,但由于頭戴設備與外界完全隔絕,長期佩戴存在眩暈、不適等問題,因此不適用于健身場景。眩暈感是影響用戶體驗的重要因素之一,引起眩暈感的主要原因是終端設備的處理延遲導致視覺接收信息和身體感知信息不對稱,從而引發用戶視覺與其他感官通家庭元宇宙場景化應用白皮書23道沖突,產生整體紊亂。電視作為家庭場景中重要的娛樂和信息獲取中心,為家庭用戶創造了無數的美好記憶?,F階段電視的普遍分辨率已達到 4K、8K,圖像分辨率達到了 7680 4320 像素,視場角超過 100 度,并且具備 AI 圖像畫質增強、動態運動補償、超分辨率等性能
70、,在視聽感受上為用戶帶來極致體驗。大屏幕、超高清晰度的特點不僅滿足視聽沉浸感,而且沒有頭戴設備的不適感,適宜在家庭場景下長時間使用,尤其是運動健身等需要大范圍、長時間活動的場景下,高分辨率的電視大屏是首選顯示設備。同時,元宇宙運動健身內容逐漸豐富,包括舞蹈、瑜伽、拳擊、跑步、騎行等多種運動類型,推動家庭健身從簡單娛樂性發展到專業化階段,用戶足不出戶就可以跟著教練進行活動,享受等同專業健身場館的健身體驗。圖 3.4 居家健身應用示意圖電視端通過定制機頂盒與移動終端,實現用戶肢體、動作捕捉,對健身動作進行科學評估與實時糾正。傳統的居家運動健身主要存在三個問題:一是健身過程較為枯燥、單調,導致用戶無
71、法長期堅持;二是健身動作、健身負荷等缺乏科學性的統計方法,健身效果不可量化;三是健身過程中缺乏交互性,動作標準程度和動作安全性缺乏指導,容易造成運動損傷。在家庭元宇宙場景下,基于電視大屏端的 XR 運動健身能有效解決上述問題。通過電視大屏向用戶提供豐富想象力的虛擬場景,如海底、太空、以及國家體育運動中心等特殊意義的場所,讓運動健身充滿樂趣從而解決健身枯燥的問題。其次在智能電視機、智能機頂盒上搭配智能傳感器,如HDR 攝像頭、雷達、拾音器及 IMU 等,可在健身過程中實時檢測活動對象的身體姿態、動作幅度、運動力量、角度、加速度等數據,并通過 AI 算法實時捕捉動作進行標準化分析。同時基于電視音響
72、、圖像畫面和可穿戴傳感器等方式進行實時反饋,實現雙向交互,提升運動健身體驗。新一代智能電視和智能機頂盒不僅在視聽方面追求極致體驗,還集成 AI 攝像頭、神經網絡處理器等新興硬件,豐富 Wi-Fi/藍牙等多樣化網絡接入能力,家庭元宇宙場景化應用白皮書24支持與各類智能傳感設備互聯互通。通過高效的分布式傳感技術,可以快速識別各類外圍設備,進行高效率的通訊,提供低延時、安全可靠的聯接,支持 AI 結構化數據傳輸,將外圍設備虛擬成本地設備進行操控,為用戶提供最佳的使用體驗。多人協同的運動健身能提高居家健身運動的娛樂性與社交性,有效緩解傳統運動健身枯燥、單調的問題。多人協同指同時支持多人在一個虛擬地點或
73、多個地點同時接入,當用戶與其家人、朋友在同一個虛擬環境下健身運動,即使遠隔千里也如同近在身旁,可以實時的交流、碰觸,提高了健身過程中的娛樂性。同時家庭元宇宙健身支持運動記錄的統計、排名、朋友圈分享等功能,大幅度提高了運動健身的社交性。為保證運動健身活動中良好的多方協同效果,高效的音視頻實時通信技術是關鍵。實時通信的關鍵技術指標包括清晰度、端到端延遲、首幀加載時長、卡頓率等,這些技術指標將對用戶等待時長、使用時長、用戶滲透率等用戶體驗產生直接影響,進而影響業務營收。通常來說,運動健身等業務場景對延遲要求極高,從用戶觸發指令到首幀響應的往返時延需小于 100 毫秒,最佳體驗情況下需要小于 70 毫
74、秒。5G 千兆網絡支持大帶寬、低時延、高并發,可以為實時通信提供可靠的接入網絡,是支撐 XR 運動健身業務順利開展的基礎。3.5 家庭康養家庭康養通過結合元宇宙技術和家庭護理服務,以數字化手段賦能健康醫療行業,為家庭成員提供了更多維護和改善健康的選擇。針對有健康管理需求的家庭,家庭康養可為用戶提供健康數據監測、健康檔案建立、心理健康管理、醫療知識教育、數字人問診、遠程診斷等全方位的數字化健康服務。隨著用戶對個人健康數據關注的提升,在物聯網技術下的實時監測成為家庭康養不可或缺的一部分。健康數據監測通過實時監測家庭成員的血壓、血糖、心率等指標及時反映用戶身體狀況,并通過 AI 數據分析為每位家庭用
75、戶定制個性化的健康管理方案。智能手表、手環等可穿戴設備的飛速發展,實現了對心率、血氧飽和度、體溫、睡眠等重要健康指標的實時監測。血糖監測軟件通過微創式血糖傳感器提升了居家血糖監測的便捷性,光學血壓傳感器等新型便攜式血壓檢測設備通過算法分析血壓變化數據得到血壓值。同時,通過大數據、深度學習等技術對個人健康數據進行分析并預測疾病風險指數,提高自我防范意識。虛擬現實技術則為心理健康管理和醫療知識普及教育提供了更有效的方法。以電視大屏為呈現終端,結合云渲染技術,通過 VR 技術為家庭用戶構建安全、舒適的虛擬環境,促進用戶神經功能恢復,減輕焦慮、抑郁等情緒;并以 VR 形式進行醫療知識教學,一比一還原真
76、實的急救案例與操作方式,增強家庭用戶對急救技能的理解和掌握,提高對突發情況的處理能力。家庭元宇宙場景化應用白皮書25在技術和需求的雙重推動下,數字人可基于歷史健康數據進行針對性的診斷,為家庭用戶提供便捷化、精細化、平民化的問診服務。同時,遠程診斷也是家庭用戶健康管理的重要手段之一,通過視頻通話、傳感器數據傳輸等實時通信技術,可將通話功能集成到電視大屏中,利用電視大屏幕、高清晰度等優勢為家庭成員與醫生搭建更便捷的通話渠道。一般情況下,通話場景中端到端時延在 200 毫秒以內不影響用戶體驗,家庭千兆網絡支持大帶寬、低時延、高并發,為大屏實時通話提供了可靠的傳輸通道。圖 3.5 家庭康養應用示意圖3
77、.6 家庭物聯網家庭物聯網系統是家庭元宇宙場景化應用的重要能力底座,是實現虛擬世界與真實世界互聯互通的技術支撐。家庭物聯網技術通過智能終端、傳感器等設備將家庭中的各種物品、設施與環境連接成一個智能化的網絡,構建一個智能家居服務平臺,從而實現家庭內部的智能化管理和控制,提供全方位的信息交互?;诩彝ノ锫摼W系統,用戶可在元宇宙中操控各類智能家居或與家庭環境進行互動,如通過虛擬界面控制家庭智能設備、監控家庭安全情況、調節家庭環境等。同時家庭物聯網系統通過收集和分析家庭中的各種數據為用戶提供更加個性化的服務和體驗,為家庭元宇宙場景化的可持續開發提供重要的數據支撐。中國移動智慧家庭以和家親 APP為入口
78、,打造統一的控制平臺,通過移動終端實現連網、遠程操控和多設備聯動等功能,構建家庭物聯網系統,為用戶提供跨終端、跨場景的連接、應用和服務,滿足家庭用戶對便捷、貼心、智能家居生活的向往。家庭物聯網的發展對家庭網絡提出了更高的要求,FTTR 基于 P2MP 系統架構將千兆光接入能力進一步延伸至各個房間,實現全屋千兆以上的網絡覆蓋能力,成為構建家庭高質量信息基礎設施的關鍵。FTTR 具有頻家庭元宇宙場景化應用白皮書26率高、速率高、抗電磁干擾能力強、保密性好等特點,智能終端可在 FTTR 主從設備網絡之間無感切換,實現Wi-Fi 全屋覆蓋,消除網絡切換導致的訪問中斷或卡頓等問題。同時光纖絕緣性能好、壽
79、命長、體積小,便于施工和維護,FTTR 組網方式可規避頻繁更換網線、電力線速率低、易受電器干擾等問題,達到“一次部署,長期演進”的效果,推動家庭元宇宙與 IoT 融合發展,助力打造未來數字家庭聯接新體驗。圖 3.6 FTTR 架構示意圖4.家庭元宇宙交互技術分析4.1 家庭元宇宙交互內容標準隨著元宇宙與虛擬現實技術的蓬勃發展,旅游、醫療、工業、教育等行業涌現了越來越多的三維內容,其數量、質量和豐富度不斷提高和完善。電視大屏作為家庭元宇宙娛樂、教育、健康等應用場景的主要入口,缺乏家庭元宇宙相關的內容標準和內容播放能力。為了讓用戶體驗到更真實、豐富的家庭元宇宙互動內容,白皮書制定了統一的家庭元宇宙
80、內容格式標準,包括家庭元宇宙基礎內容和家庭元宇宙內容規范方案。1.家庭元宇宙基礎內容圖片內容是家庭元宇宙中應用最多的數據類型,包括傳統圖片、全景圖片和紋理圖片等。傳統圖片,如jpeg、png、gif 等格式,在家庭元宇宙場景中常用于信息傳輸及表達。全景圖片是目前應用最廣泛的元宇宙素材,可用于 VR 旅游、VR 看房、VR 戶外活動等多種場景。其制作方式通常是由一組或多組前期拍攝的環360 度圖片拼接而成,然后通過計算機技術在線還原為真實場景,實現全方位的互動觀看,讓用戶沉浸式的感家庭元宇宙場景化應用白皮書27受到真實的環境和場景。按照幾何結構全景圖片可細分為球形全景圖片和立方體全景圖片,球形全
81、景圖片將多張照片拼接成一張球體狀圖像,可呈現出一個連續的、無縫的全景視野,展開后的長寬比例通常為 2:1,如圖4.1(1)。立方體全景圖片則將多張照片拼接成一張寬度、高度相等的圖像,通常以正六面體為主,包括前、后、左、右、上、下共六張圖,如圖 4.1(2)。按照分辨率全景圖片有 1K、2K、4K、8K、12K、16K 等多種不同的規格,尺寸大小通常以像素為單位,表 4.1 為全景圖片各分辨率具體的尺寸。紋理圖片是一種貼在幾何表面上的圖像,用于增強 3D 模型的表現力。虛擬現實中的幾何表面通常由計算機生成,并使用紋理圖片來模擬真實世界中的材質和紋理,如木紋、石紋、金屬反射等,增加虛擬環境的視覺細
82、節和真實感。(1)球形全景圖片(2)立方體全景圖片圖 4.1 不同結構全景圖片展開圖表 4.1 全景圖片的分辨率與尺寸分辨率尺寸(px)1K1024*5122K2048*10244K4096*20486K6144*30728K8192*409612K12288*614416K16384*81923D 模型內容在元宇宙領域發揮著重要作用,在游戲、教育、文旅、醫療、建筑等方面均有深度的應用,為元宇宙場景化應用提供了更加豐富、生動和逼真的視覺效果,讓用戶更具沉浸感。常見的內容格式包括 obj、fbx、gltf、Unity 等。音頻內容是元宇宙應用中不可或缺的部分,按音頻的業務類型可以分為背景音樂、解
83、說和語音交互。元宇宙場景中的聲音通常以立體聲或環繞聲的形式呈現,常用的音頻格式包括 wav、mp3、Ogg、aac 等。視頻內容是元宇宙應用主要的承載形式,包括普通視頻和全景視頻,格式以 mp4 為主。其中全景視頻通過拼接多個多視角視頻畫面制作而成。家庭元宇宙場景化應用白皮書282.家庭元宇宙內容規范方案本章節提出一種家庭元宇宙內容規范方案,開發者可基于此內容規范在電視大屏、手機應用、VR 一體機、H5 等多類型終端渲染全景內容和虛擬現實基礎內容。如圖 4.2 所示,內容規范包括內容描述文件和內容資源目錄,其中內容描述文件包含了內容空間結構和資源描述等方面。圖 4.2 家庭元宇宙內容規范結構(
84、1)內容空間結構內容空間結構是案例數據組織存儲的重要依據以及全景應用解析展示全景內容的基礎,主要描述了項目資源類型和各個資源類型層級結構。如圖 4.3 所示,基本結構包括項目、分組(一級、二級)和全景。項目是當前整個案例的抽象表述,具有唯一性,一個項目由多個分組構成。分組是指具有相似特征的多個對象的邏輯集合,集合可以是多個全景或多個分組,方便用戶依據不同的空間特征進行虛擬場景的瀏覽,例如一棟樓里的多個客廳全景構成客廳的二級分組,餐廳全景構成餐廳的二級分組,兩個二級分組構成該樓的一級分組。全景是帶有各類渲染資源的最小組成單元,表示虛擬空間,通過解析全景中的素材數據可實現對虛擬場景的渲染。家庭元宇
85、宙場景化應用白皮書29圖 4.3 內容空間結構(2)內容資源描述根據內容空間結構分別從項目、分組、全景描述各個結構資源,整體結構如圖 4.4 所示。圖 4.4 內容資源描述整體結構項目包括基礎信息項、一級分組和全局自動導覽配置?;A信息在項目、分組、全景中均包含,包括 ID、父級 ID、名稱以及內容描述。一級分組屬于邏輯單元,用于承載各二級分組、沙盤或全景信息。全局自動導覽配置數據主要包括路徑信息、字幕、相機動畫、展示圖片素材以及背景音樂/解說等。通過路徑信息提供的全景點位和配置的相機動畫參數,虛擬相機可自動實現各點位的實時轉換,并在整個案例場景的瀏覽過程中,在不同的時間及點位播放對應的字幕、
86、音樂與圖片。家庭元宇宙場景化應用白皮書30一級分組包括基礎信息項、二級分組和沙盤信息,二級分組又包含沙盤和全景信息。每個分組中均包含用于表示整體平面結構的分組沙盤信息,其中沙盤數據主要包括名稱、沙盤背景圖、熱點、狀態、樣式和平面相機。沙盤背景圖即平面結構圖,在沙盤背景圖上按點位分布對應的熱點用于展示各個虛擬場景的位置,點擊熱點則可實現虛擬場景的切換,狀態用于控制沙盤與熱點的展示行為,樣式用于個性化熱點的繪制,操作平面相機則可旋轉虛擬相機。全景包括基礎信息項、全景沙盤信息、興趣錨點、嵌入媒體內容、相機控制、特效信息、背景解說以及全景素材信息。全景沙盤信息數據與分組沙盤一致,但全景沙盤具有更高的優
87、先級。興趣錨點數據通過標注虛擬場景中的感興趣點位或關鍵點位來提升用戶的參與度,包括類型、樣式、行為、素材、名稱、尺寸以及承載內容等信息,其中內容包括各種媒體內容和動畫參數內容,例如圖片、文字、音頻、視頻、地理位置、場景切換等。錨點類型可分為圖標錨點、幾何錨點和個性化錨點,不同類型的錨點具有不同的素材資源,例如幾何錨點的數據是一組幾何路徑數據,個性化描點則依據樣式及尺寸數據,并結合用戶行為數據和內容數據實現個性化繪制,依據不同的數據信息呈現不同的內容。嵌入媒體數據用于豐富虛擬場景實時展示的媒體內容,包括類型、樣式、行為、素材、名稱、狀態、內容以及動畫等信息,其類型主要有圖片、視頻、文字、標尺與遮
88、罩(僅在極點方向上展示的圖片),結合素材資源實現不同媒體內容的渲染。文字樣式、標尺樣式、圖片/視頻樣式(顏色去除)等樣式數據可實現嵌入內容的個性化繪制。狀態數據用于設置嵌入媒體內容的展示行為,例如場景跟隨旋轉、固定水平垂直展示。行為數據與內容數據用于處理用戶的點擊交互,動畫數據則主要用于圖片內容自動或手動切換。相機數據方便用戶控制虛擬相機以實現在不同視角下瀏覽虛擬場景,主要包括視角、范圍控制、行為動畫等信息。其中視角數據表示進入場景的初始視角,范圍控制用于控制虛擬相機的可視范圍,行為動畫則包含小行星動畫參數和自動旋轉動畫參數。特效信息數據用于提升虛擬場景的真實感和趣味性,主要包括類型、位置、素
89、材等信息。特效類型包括粒子動畫和陽光透鏡特效,位置數據用于設置陽光特效的位置,素材資源則用于展示個性化的粒子效果。背景音樂/解說數據通過烘托虛擬場景氣氛從而提升用戶的沉浸感,包括類型、狀態、素材等信息。類型數據用以區分背景音樂和解說,狀態數據用于設置播放狀態,素材則是音頻資源數據。全景素材數據是虛擬場景展示的主體部分,主要包括尺寸、類型和素材資源,依據類型數據結合素材實現多形態的全景渲染。(3)內容資源目錄內容描述文件以 cmpt 私有文件格式存儲,cmpt 中依賴的資源,如圖片、視頻、音頻、模型等分別存儲在對應的資源目錄下。在實際應用過程中,可將 cmpt 及其依賴的資源通過其他形式服務化,
90、例如通過 API 提供 cmpt,視頻、音頻等靜態資源利用單獨文件服務器托管。家庭元宇宙場景化應用白皮書314.2 家庭元宇宙交互技術實現方案1.全景應用架構設計和執行流程(1)全景應用系統架構如圖 4.5 所示,家庭元宇宙全景應用系統整體采用 B/S 架構,在 Web 前端層面基于 HTML 和 WebGL 對整個應用進行渲染,通過開源框架搭建整個業務系統,并采用 Unity3D 構建客戶端應用框架。圖 4.5 全景應用系統框架(2)全景應用功能架構圖 4.6 為全景應用功能框架,功能架構采用模塊化的方式最大限度地解耦合各個功能模塊,提高代碼復用性和可維護性。包括內核數據模塊、場景管理模塊、
91、全景生成模塊、錨點管理模塊、嵌入內容模塊、自動導覽功能模塊、相機控制模塊、特效模塊以及 UI 組件模塊九個功能模塊。家庭元宇宙場景化應用白皮書32圖 4.6 全景應用功能架構內核數據模塊主要用于管理全景案例的原始數據,在全景應用的創建過程中生成基礎數據結構對象,提供相關的對外接口,方便其他模塊獲取所需的數據,實現創建、渲染、更新等功能。場景管理模塊主要用于管理場景對象,控制不同場景之間的切換。其中場景對象是渲染三維全景以及全景中其他展示內容的媒介,包含主場景與待切換場景兩個場景對象,主場景始終通過前臺展示內容,而待切換場景則在切換過程中渲染待展示的全景。該模塊可根據案例中的相關數據選取不同的場
92、景切換策略實現全景場景的切換。全景生成模塊主要用于全景對象的創建,根據案例中全景數據的格式可分別創建盒模型全景、球模型全景、全景視頻對象,創建的全景對象會加入到場景對象中,最終利用通用圖形 API 渲染(OpenGL、Vulkan、WebGL、DirectX、Metal)家庭元宇宙場景化應用白皮書33實現。錨點管理模塊用于錨點對象的創建,根據案例錨點數據的類型可分別創建圖標錨點、個性化錨點以及幾何錨點。其中圖標錨點與個性化錨點的數據形式為圖片與文字,采用 DOM 渲染實現;幾何錨點的數據形式是三維頂點與文字,采用通用圖形 API 結合 DOM 渲染方式實現,通用圖形 API 用于渲染三維頂點構
93、成的幾何圖形,DOM 實現文字的渲染。嵌入內容模塊用于創建嵌入內容對象,包括圖片、視頻、文字、標尺、掩膜對象,其中文字對象與個性化錨點類似采用 DOM 渲染方式實現,圖片、視頻、標尺、掩膜則利用 GPU 繪制實現。自動導覽功能模塊與相機控制模塊作用的對象都是相機。其中自動導覽功能模塊的作用是根據設置的點位,實現相機自動瀏覽各個全景。相機控制模塊主要實現小行星效果、相機旋轉控制、相機 FoV 更改、自動巡游與重力感應功能。特效模塊為場景實現粒子動畫特效以及鏡頭光暈特效。粒子動畫特效包括雨、雪、自定義圖片特效。UI 組件模塊管理各個 UI 組件的創建,包括全景列表組件、全景視頻控制組件、沙盤組件、
94、自動導覽內容組件、功能按鈕組件、內容展示組件。(3)全景應用執行流程全景應用執行流程如圖 4.7 所示。首先,創建全景應用對象,加載個性化靜態配置文件以實現個性化功能設置;其次,初始化 UI 組件模塊,創建對應的組件對象,準備渲染 UI 樣式;然后,對各個功能模塊進行初始化,以便執行后續的渲染以及交互操作;最后,讀入 cmpt 數據,基于 cmpt 文件數據渲染 UI 組件,同時利用通用圖形 API 渲染整個場景。圖 4.7 全景應用執行流程2.多形態全景應用渲染方案全景內容在游戲或影視動畫中一般作為背景,提供烘托場景氣氛的作用,對其自身表現力要求不高,通常使用通用圖形 API 提供的 Cub
95、e Map 功能即可實現全景效果,但在交互操作性上受到一定限制。而 VR 全景漫游則是將全景展示作為主體,使用戶感受到身臨其境的效果。VR 全景內容展示在不同遠近的視角下細節表現不同,視角較遠時遠端景物細節模糊,視角較近時遠端景物細節清晰。為適配全景內容遠近切換的細節效果,本方案基于視野大小構建 FoV 金字塔分層模型,不同大小的 FoV 對應不同清晰度的全景圖片。同時,為優化高分辨率圖片加載效率,自建切片分割式模型,將高分辨率圖片按照 512512 的大小進行分割,并建立高分辨分割圖片與場景模型分割面之間的映射關系。在繪制時通過瀏覽器的并行下載功能實現場景資源的快速加載,通過視錐體剔除、幾何
96、數據合批繪制等實現全景的高性能繪制和流暢交互。(1)盒模型全景渲染家庭元宇宙場景化應用白皮書34盒模型分別設置上(Face 2)、下(Face 3)、左(Face 1)、右(Face 0)、前(Face4)、后(Face5)六個面,每個面長寬相同,且每個面右上角的 uv 坐標系用于圖像采樣,主要用于對立方體全景圖進行渲染。立方體全景圖由六張 1:1 的圖片構成,與盒模型的六面一一對應,首先在全景金字塔模型中選取當前FoV 下的圖像進行切片處理,并對當前 FoV 圖像對應的幾何面片進行網格切片,建立 FoV 圖像切片與每個網格切片的映射關系;然后依次遍歷網格切片,構建用于通用圖形 API 渲染的
97、標準頂點數據,同時將對應的圖像切片轉換為圖形 API 提供的紋理對象,實現每個面的全景渲染。當 FoV 改變時,獲取全景金字塔中新層級的全景圖像,重新執行切片過程構建新的渲染數據。圖 4.8 盒模型全景渲染(2)球模型全景渲染球模型主要用于球形全景圖的渲染,其特征是寬高比為 2:1。首先獲取不同的 FoV 層級基于球模型切片的幾何數據。球體的分割通過經度和緯度實現,每一個全景圖切片被映射到由經緯度分割的幾何切片中,切片的頂點位置需要通過球坐標計算,利用半徑、水平角以及垂直角計算最終的幾何頂點位置,將幾何切片數據轉換為可渲染數據,全景圖切片數據轉換為紋理對象,實現球模型全景的渲染,在渲染過程中,
98、相機視角始終位于球心處。家庭元宇宙場景化應用白皮書35圖 4.9 球模型全景渲染(3)全景視頻渲染全景視頻可看作多張球形全景圖的集合,其寬高比為 2:1,同樣采用球模型進行渲染,無需對球模型與視頻進行切片處理,一次性生成完整球體的頂點數據,綁定視頻資源,生成通用圖形 API 提供的紋理對象,將視頻數據寫入紋理緩沖區中,在運行于 GPU 的著色程序中對視頻紋理進行采樣,最終渲染到屏幕上。3 全景渲染規范(1)渲染數據組織規范全景渲染數據主要包括幾何頂點數據與紋理數據。對于全景場景中所有基于 GPU 繪制的幾何數據,采用如圖 4.10 的組織形式。圖 4.10 基于 GPU 繪制的幾何數據形式其中
99、 x、y、z 表示頂點坐標,用于幾何繪制;u、v 表示紋理坐標,用于紋理采樣;nx、ny、nz 表示頂點法向,用于額外的光照計算;r、g、b 表示頂點顏色,用于著色;textureId 表示紋理單元,用于合批繪制。家庭元宇宙場景化應用白皮書36對于以三角圖元繪制的數據,頂點坐標及紋理坐標是必須的,其余數據根據業務需求進行設置;對于以非三角圖元繪制的數據,頂點坐標是必須的,其余數據根據業務需求進行設置。全景渲染中原始紋理素材格式包括 jpeg、png、bmp、gif、mp4、WebM、Ogg 等,可分為靜態圖像、動態圖像及視頻。使用 Image 對象加載靜態圖像(jpeg、png、bmp 等),
100、利用通用圖形 API 提供的 2D 紋理對象(texture2D)管理靜態圖像資源;動態圖像包括 gif 和序列幀圖,gif 需要轉換為對應的序列幀圖,同樣利用 Image 對象加載,利用通用圖形 API 提供的 2D 紋理數組對象進行管理(texture2DArray);視頻資源(mp4、WebM、Ogg 等)則利用 video 標簽進行加載,同樣利用通用圖形 API 提供的 2D 紋理對象進行資源管理。(2)渲染管線規范通過如圖 4.11、4.12 所示的標準硬件渲染管線,可將上述資源數據渲染至屏幕。圖 4.11 web 端渲染管線流程圖 4.12 客戶端渲染管線流程4.3 家庭元宇宙終端
101、交互協議智能電視憑借其優質的視聽體驗以及能減少用戶長時間佩戴 VR 頭顯的不適感等特點,有望成為家庭元宇宙的主要入口,但受限于傳統遙控器僅支持上下左右的按鍵操作,用戶在交互控制、文本輸入等方面體驗欠佳。為提升智能電視、機頂盒等設備的元宇宙交互體驗,基于移動終端、手柄、可穿戴設備等智能硬件,通過 Wi-Fi/藍牙/UWB 等協議建立近距離通信,制定家庭元宇宙終端交互方案,解決家庭元宇宙應用交互難的痛點問題。家庭元宇宙場景化應用白皮書371.整體方案設計家庭元宇宙終端交互方案主要通過移動終端設備控制電視大屏,構建虛擬化控制終端以實現更加靈活的交互操作體驗,并支持文本輸入、視野控制等功能。如圖 4.
102、13 所示,交互方案基本架構包括控制終端、交互協議和電視大屏端??刂平K端為具有陀螺儀傳感器的手機、智能遙控器、手柄、可穿戴硬件等,用于發送陀螺儀數據和交互協議定義的操作指令。交互協議定義了控制終端與電視大屏端傳送數據和指令的方式,并通過 Wi-Fi/藍牙/UWB 等協議建立近距離通信實現信息傳遞。電視大屏端通過軟件適配的方式與控制終端建立通訊連接,處理交互協議中的各項數據與指令,從而實現對家庭元宇宙內容的交互控制。圖 4.13 交互方案基本架構為減輕集成復雜性、增強可擴展性,本方案可采用 SDK 的方式集成到電視大屏端運行的單個應用中,避免對電視端硬件或者系統層進行集成,針對不同的應用引擎可根
103、據實際情況進行相應的 SDK 實現。電視端應用集成 SDK 后,采用本方案的所有控制終端均能與其建立連接并使用。同時可結合實際使用場景、業務權限或設備類型,選擇電視端是否與請求連接的控制終端設備建立連接。2.交互方案主要功能(1)虛擬手柄在電視大屏端顯示的元宇宙場景中,基于控制終端的陀螺儀數據生成虛擬手柄,使其方向與控制終端保持一致。虛擬手柄可通過末端發出的射線與場景內其他元素交互,通常情況下虛擬手柄應具有確定和返回按鍵。額外功能按鈕,如音量控制或自定義按鍵可根據業務需求增加,手柄支持的各個按鍵通過控制終端實體/虛擬按鍵映射?;诳刂平K端的陀螺儀數據,虛擬手柄可以實現 3DoF 的運動追蹤,對
104、于具備高性能陀螺儀的控制設備方案支持擴展到 6DoF,6DoF 手柄可以追蹤用戶的位置和姿態,提供更加精準和沉浸式的交互體驗。(2)視野控制家庭元宇宙應用中,電視端可通過獲取控制終端的陀螺儀數據實現視野控制,達到趨近于頭顯設備的便捷視野控制體驗。視野控制功能需使用控制終端的陀螺儀數據,應與虛擬手柄的操作有所區分??稍O置視野控制操作按鈕,在控制終端長按該按鈕時,電視端忽略虛擬手柄的顯示,將陀螺儀數據用于視野控制;當該按鈕未被按下時,電視端視野固定并僅顯示虛擬手柄。由于視野控制按鈕僅需長按,確認按鈕僅需短按,因此兩個按家庭元宇宙場景化應用白皮書38鈕可在控制終端合并。與虛擬手柄類似,當控制終端支持
105、 6DoF 時,視野顯示功能也應同時支持對視野位置和姿態的控制。(3)虛擬遙控器對于具備多點觸控屏幕的移動終端設備,可通過構建虛擬遙控器實現與電視端的交互。遙控器作為傳統的電視控制方式,對電視端內容具有較好的適配性。虛擬遙控器應至少支持傳統遙控器的基礎按鈕(包括上下左右方位控制、確定、返回、音量控制、設置、功能鍵等),所有響應均需與直接使用傳統遙控器保持一致,并可根據應用場景額外支持數字鍵、功能鍵等。受硬件限制,非多點觸控屏幕的移動控制終端無法實現虛擬按鍵,即無法支持虛擬遙控器功能。(4)文本輸入用戶在電視端進行文本輸入的操作較為困難,通過建立電視與移動控制終端之間的文本輸入連接,能夠大幅提升
106、用戶文本輸入的便捷度與效率。當電視端需要輸入文本內容時,首先通過交互協議與控制終端建立連接,控制終端在收到請求后彈出本地文本輸入框;然后用戶可在控制終端進行輸入,并且輸入內容將實時同步到電視端顯示;最后在控制終端輸入完成后,電視端將同步觸發大屏輸入完成事件??刂平K端文本輸入僅可通過電視端觸發,并且電視端取消輸入時控制終端也將同步取消。由于文本輸入依賴于控制終端本身的文本輸入功能,對于不支持多點觸控屏幕的控制終端將無法支持該功能。(5)擴展邏輯控制除以上通用功能外,控制終端還應結合實際需求額外支持特定的控制邏輯和操作指令,因此在協議層需預留額外的指令發送功能,支持對特定控制邏輯和操作指令的傳輸。
107、對于具備多點觸控屏幕的移動終端設備,可在控制終端實現額外的 UI 界面,并通過自定義指令的方式將用戶行為發送至電視端,實現更為復雜的多屏交互。對于不具備多點觸控屏幕的移動終端設備,系統通過未占用的按鍵實現額外指令,并通過電視端實際運行的元宇宙應用響應傳輸信息。3.交互方案關鍵環節(1)建立近距離通信連接近距離通信連接由控制終端發起,電視端集成的 SDK 響應終端請求。建立流程如圖 4.14 所示,電視端在收到連接建立請求后,將控制終端信息交由正在運行的元宇宙應用校驗請求的合法性,合法性通過則建立連接,不同的通信協議在實際建立連接過程中可能存在細微差別。在無額外需求時,通常僅對連接設備的類型等信
108、息進行校驗,若控制終端存在定制開發則可增加權限校驗等安全校驗環節。家庭元宇宙場景化應用白皮書39圖 4.14 近距離通信連接(2)發送坐標與指令控制終端與電視端發送的數據主要包括陀螺儀坐標數據和指令數據。陀螺儀坐標數據是實現虛擬手柄、視野控制的核心要素,其發送的連貫性和及時性對用戶體驗有較大影響,因此為保證坐標數據最快同步到電視端,在傳輸協議中可將指令數據附帶在坐標數據的數據包中。近距離通信的延時和丟包率相對較小,但在不同的通信協議和實際應用場景中,仍需要考慮指令丟失的可能性。為最大程度減輕數據丟失對整體控制邏輯的影響,每個數據包均應包含當前的控制狀態(如是否處于視野控制),并建立關鍵性指令確
109、認機制以保證實際執行的完整性。(3)坐標轉換與應用不同控制終端采用的坐標系可能存在細微差異。對于控制終端傳輸的陀螺儀歐拉角度數據,電視端 SDK將根據控制終端類型統一將其轉換為應用內坐標系數據。除了坐標系本身的轉換差異外,還需考慮初始歐拉角的校準,在建立近距離通信連接后以及通過按鈕手動觸發時均需進行視野校準。校準過程中以當前控制終端的歐拉角為基準,即將此角度數據作為轉換到應用內坐標系的初始值,然后根據初始角度數據重置手柄位置與視野位置并以此作為初始位置。視野控制操作可通過轉換后的應用內角度數據確定當前視野角度,而虛擬手柄則通過角度數據確定控制射線的方向,并通過與可交互元素的碰撞點坐標確定用戶當
110、前交互元素。5.總結與展望隨著 5G 及千兆網絡的普及和虛擬現實技術的日漸成熟,元宇宙行業得到了蓬勃發展,但近兩年受一體機終端銷量回落以及元宇宙退熱影響,行業發展逐步回歸理性。其中手機端受限于屏幕尺寸,無法滿足用戶深度沉浸體驗的需求;頭顯端現階段用戶活躍度不足,出貨量見頂回落,客群覆蓋率低;而電視端用戶基數大、活躍程度高,具備中等沉浸感等優勢,在一體機廣泛普及前有望成為家庭元宇宙場景的主要入口終端。為進一步推動家庭元宇宙規?;l展,可聚焦電視大屏,構建多終端協同發展體系,推動行業向多形態終端共生、產業共贏方向發展。家庭元宇宙場景化應用白皮書40“雙千兆網絡+虛擬現實”,打造元宇宙技術底座。自
111、2019 年雙千兆網絡正式投入商用以來,虛擬現實行業迎來了新一輪發展機遇,千兆網絡的大帶寬、低時延、高速率為虛擬現實發展提供了網絡基礎。一方面,在千兆網絡性能的加持下,數據傳輸得更快、更穩定,滿足了虛擬現實對低時延、高數據量處理的需求,使元宇宙產品的用戶體驗得到跨越式提升。另一方面,千兆網絡的云、邊、端技術架構,支持元宇宙內容的云化存儲和數據的邊緣運算,有效降低了對終端存儲和算力資源的依賴,使得終端輕量化發展成為可能。千兆與虛擬現實技術相互結合、互相促進,共建元宇宙技術底座,加速推進元宇宙產業落地,激活消費終端、智慧家庭、教育、零售、工業制造等產業發展活力。構建多形態終端協同產品體系,推動家庭
112、元宇宙規?;l展。隨著一體機出貨量的見頂回落,其用戶規模不達預期導致行業面臨新的市場挑戰和發展的不確定性。為推動行業走出終端銷量困境,從家庭市場尋求突破,構建以電視大屏為核心載體,多形態終端協同產品體系,助力家庭元宇宙規?;l展。其中手機端擁有全球最大規模、最高活躍度用戶群體,以手機端為初級入口可以快速實現多用戶群體覆蓋,用戶不依賴一體機也能直觀體驗元宇宙產品,然而手機端受限于屏幕尺寸,導致沉浸感弱、交互性差,因此無法產生高粘性用戶群體;電視端同樣擁有超大規模用戶群體,且憑借大尺寸屏幕可為用戶帶來更沉浸、輕交互體驗,家庭用戶通過觀影、游戲、健身、教育、購物等應用場景,足不出戶即能實現智能、多維
113、、沉浸的視聽體驗。依托電視大屏功能和用戶規模優勢,聚焦家庭領域,有望推動家庭元宇宙規?;l展。統一元宇宙內容格式,推動實現元宇宙內容生態共建。元宇宙帶動全景、3D 等新型內容形態興起,大量企業進入元宇宙內容生產賽道,由于各廠商之間存在技術壁壘,導致元宇宙內容格式繁雜,互不兼容。各廠商間內容生態封閉,造成市場供給不足、用戶端內容匱乏、資源浪費嚴重等問題,制約多維內容行業發展。規范元宇宙內容格式標準,一方面能夠實現全行業內容資源整合,解決內容格式不統一、不兼容的問題;另一方面,整合后的內容生態可為用戶提供多種交互模式、改善內容同質化問題、增強人機交互智能性、提升用戶的產品使用體驗和應用場景的豐富度
114、。因此,內容格式標準化將有效促進不同內容形態、不同文件格式、不同交互模式的元宇宙內容融合統一,實現小而精、大而全的內容資源供給,推動元宇宙內容向生產規?;?、流程規范化、質量品牌化方向發展。創新電視大屏交互技術方案,實現控制端與顯示端隔空聯動。傳統按鍵式遙控器是電視大屏的主要交互控制設備,然而在家庭元宇宙應用場景下,通過遙控器方向按鍵操控三維內容選擇與視野調整,存在操作鈍感強、自由感知度低、沉浸感弱、交互性差等問題。電視大屏交互控制方案實現了手機、手環、手柄等控制設備與大屏顯示終端的隔空聯動,為家庭元宇宙應用打造靈活、精準的交互體驗??刂贫嘶谕勇輧x數據,完成對大屏顯示端的內容選擇和視野調整,實
115、現 360全景觀影;方案基于私有數據傳輸協議實現高性能交互,大幅縮短控制端與顯端的交互時延,實現更流暢的操控體驗。以創新型大屏交互控制技術為基礎,打造家庭元宇宙交互家庭元宇宙場景化應用白皮書41空間,通過手機、手環、手柄等控制終端實現連接、控制、搜索等交互功能,為用戶帶來新穎、便捷、流暢、沉浸的人機交互體驗,推動家庭生活向數字化、虛擬化、智能化、線上化、便捷化方向發展。激發家庭元宇宙發展活力,搭建行業技術與產業經濟融合發展橋梁。依托“雙千兆網絡+VR+多形態智能終端”家庭元宇宙發展模式,搭建供需對接橋梁,推動鏈主企業引領家庭元宇宙產業上下游協同發展。連接上游硬件制造公司,拉動硬件設備銷售,促進
116、后續家庭智能終端、可穿戴設備市場化推廣;連接下游內容生產廠商,統一內容格式標準,實現行業內容全量匯聚,補齊內容產能不足短板,推動元宇宙內容生態整合與發展。激發家庭元宇宙發展活力,賦能千行百業。從引領行業發展角度,推進新型技術與千行百業融合,激發信息消費、促進就業創業、繁榮數字經濟、為社會高質量發展提供新動能;從支持產業空間化轉型角度,通過手機、電視、一體機及可穿戴設備的優勢互補,為垂直行業的視聽信息媒介升維與體驗變革提供基礎;從滿足人民生活需求角度,網絡基礎建設和元宇宙新興技術的相互結合與蓬勃發展,將重新定義家庭場景下的娛樂、教育、康養、物聯網等應用形態,為更多家庭用戶打造數字科技美好新生活。
117、6.附錄6.1 縮略語下列術語和定義適用于本文件:3DoF:3 Degrees of Freedom,三自由度6DoF:6 Degrees of Freedom,六自由度ADSL:Asymmetric Digital Subscriber Line,非對稱數字用戶線路AI:Artificial Intelligence,人工智能AIGC:Artificial Intelligence Generated Content,人工智能生成內容AP:Access Point,接入點API:Application Programming Interface,應用程序接口AR:Augmented Real
118、ity,增強現實CRT:Cathode Ray Tube,陰極射線管DOM:Document Object Model,文檔對象模型EPON:Ethernet Passive Optical Network,以太網無源光網絡家庭元宇宙場景化應用白皮書42FoV:Field of View,視場角FTTR:Fiber To The Room,光纖入房GPON:Gigabit Passive Optical Network,千兆無源光網絡GPU:Graphics Processing Unit,圖形處理器HDR:High Dynamic Range Imaging,高動態范圍成像IMU:Inert
119、ial Measurement Unit,慣性測量裝置IoT:Internet of Things,物聯網IPTV:Internet Protocol Television,交互式網絡電視ISDN:Integrated Services Digital Network,綜合業務數字網LCD:Liquid Crystal Display,液晶顯示器LED:Light-Emitting Diode,發光二極管MIMO:Multiple Input Multiple Output,多入多出OLED:Organic Light-Emitting Diode,有機發光二極管ONT:Optical Net
120、work Terminal,光網絡設備OTT TV:Over The Top Television,互聯網電視P2MP:Point to Multi Point,點對多點PON:Passive Optical Network,無源光纖網絡PSTN:Public Switched Telephone Network,公共交換電話網絡QLED:Quantum Dots Light-Emitting Diode,量子點發光二極管RedCap:Reduced Capability,降低能力/輕量能力RTT:Round Trip Time,往返時延UWB:Ultra Wide Band,超寬帶VDSL:
121、Very-high-bit-rate Digital Subscriber Loop,超高速數字用戶線路VR:Virtual Reality,虛擬現實XR:eXtended Reality,擴展現實家庭元宇宙場景化應用白皮書436.2 引用1 中華人民共和國中央人民政府,”中華人民共和國 2023 年國民經濟和社會發展統計公報“,https:/ 中華人民共和國工業和信息化部,”2023 年 1-12 月通信業主要指標完成情況(二)”,https:/ 蛙色 3DVR,”蛙色 3DVR 平臺是什么?“,https:/ 720 云,https:/ 盧毅權,”以全光業務承載網,構建五星品質專線”,https:/ 中華人民共和國工業和信息化部,”2023 年通信業統計公報“,https:/ 洛圖科技,”全球電視品牌市場出貨季度追蹤“,http:/ 中華人民共和國教育部,”關于加強新時代中小學科學教育工作的意見“,http:/