1、中興通訊5G 云XR應用白皮書 2019 ZTE Corporation. All rights reserved.2019 版權所有 中興通訊股份有限公司 保留所有權利版權聲明:本文檔著作權由中興通訊股份有限公司享有。文中涉及中興通訊股份有限公司的專有信息,未經中興通訊股份有限公司書面許可,任何單位和個人不得使用和泄漏該文檔以及該文檔包含的任何圖片、表格、數據及其他信息。本文檔中的信息隨著中興通訊股份有限公司產品和技術的進步將不斷更新,中興通訊股份有限公司不再通知此類信息的更新。本文檔信息僅供參考,不構成任何要約或承諾。 引言XR是指通過計算機技術和可穿戴設備產生的一個真實與虛擬組合的、可人
2、機交互的環境,包括VR、AR、MR、HR等多種形式。從上個世紀八十年代起,平均每十年一個周期,IT和CT技術都會有一輪技術的變革浪潮,每一輪的科學技術變革浪潮都帶動了XR技術的同步發展。首先是上個世紀八十年代末,美國VPL公司創始人Jaron Lanier第一次提出VR概念,SEGA、任天堂和SONY等公司隨后在VR游戲領域進行了積極的應用。進入九十年代,美國波音公司研究員Tom Caudell和同事開發了AR頭戴式顯示系統,工程師可以使用AR技術進行圖解組裝電路板上的復雜電路束,此后AR技術不斷地被應用于賽事直播、教育、工業生產等諸多領域,到2012年谷歌公司更是推出了谷歌眼鏡這一具有里程碑
3、性質的AR產品。進入新世紀后,全息HR技術開始被廣泛地應用于防偽印刷、舞臺演出等日常生活領域并取得了極好的應用效果和社會效益。與此同時,VR、AR及MR等技術在支持應用和企業數量上也迎來了新一輪的高峰。隨著移動技術和顯示技術的快速發展,對傳統XR的使用方式和使用效果帶來了革命性的改進,比如,對移動性的要求和普及,使得XR云端應用成為了可能和必然。毫無疑問,5G技術將是本世紀二十年代最具革命性的技術,隨著5G第一階段標準的凍結及規范發布,我們已經站在了5G商用的前夜。相對于4G網絡,5G采用更寬的無線頻譜、大規模天線陣列、超密集組網、新型多址、SDN/NFV、邊緣計算、網絡切片等新全新技術,將為
4、我們呈現出令人振奮的數據:1Gbps的平均體驗速率、10Gbps的峰值速率、每平方公里超過100萬的連接數、1ms的超低空口時延等等。5G技術使得XR應用不再局限于本地內容和傳輸限制,結合5G技術的云XR將會極大地改變我們未來娛樂、學習、工作、生活的方式,它將波及諸多不同的細分領域?;趯R應用面臨的挑戰及其發展趨勢的分析,本白皮書重點闡述了5G時代下云XR典型應用場景的業務需求和解決方案,并就云XR尚存的挑戰給出了技術解決途徑和用戶體驗評估指標體系。5G 云XR應用白皮書12 XR及其應用發展趨勢11.1 什么是XRXR即擴展現實,全稱為Extended Reality,是指包含了VR(虛
5、擬現實)、AR(增強現實)、MR(混合現實)、HR(全息現實)等多種視頻呈現和交互方式的總稱。擴展現實分為多個層次,可以從通過有限傳感器輸入的虛擬世界到完全沉浸式的虛擬世界,也可以從通過輔助設備疊加得到的混合世界到可以完全裸眼感知的混合世界,擴展現實技術使真實世界的物理對象和虛擬世界的數字對象得以共存并相互作用,最終實現完美的融合效果。VR(虛擬現實:Virtual Reality):VR是仿真技術的一個重要方向,是仿真技術與計算機圖形學人機接口技術、多媒體技術、傳感技術、網絡技術等多種技術的集合,是一門富有挑戰性的交叉技術前沿學科和研究領域。VR主要包括模擬環境、感知、自然技能和傳感設備等方
6、向。VR技術具有三大特征,分別是:沉浸感(Immersion)、交互性(Interaction)和構想性(Imagination)。AR(增強現實: Augmented Reality):AR是一種能將真實世界信息和虛擬世界信息“無縫”融合的新技術,是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息(視覺、聽覺、味覺、觸覺等),通過電腦等科學技術,模擬仿真后疊加應用到真實世界,被人類感官所感知,從而達到超越現實的感官體驗。AR主要包含多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等技術與手段。AR技術具有三大特征,分別是:真實世界和虛擬世界的信息集成、具有
7、實時交互性、是在三維尺度空間中增添定位虛擬物體。 MR(混合現實:Mixed Reality):MR是虛擬現實技術的進一步發展,該技術通過在現實場景呈現虛擬場景信息,在現實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路,以增強用戶體驗的真實感。MR包括增強現實和虛擬現實,指的是合并現實和虛擬世界而產生的新的可視化環境。MR可以將虛擬物體置于真實世界中,用戶可以看到真實世界,也會目錄1XR及其應用發展趨勢1.1 什么是XR? 1.2 XR應用場景和業務價值 1.3 XR應用市場發展趨勢 2 5G賦能云XR應用規模發展2.1 什么是5G?2.2 云XR是XR規模發展的最佳形式 2.3 5G給云
8、XR應用規模發展提供了機遇 2.4 5G云XR應用業務需求和解決方案 35G 云XR未來的挑戰縮略語29264結束語32333.1 5G 云XR尚存的技術挑戰和解決途徑分析3.2 5G 云XR應用用戶體驗的挑戰和評估指標體系5G 云XR應用白皮書3411.2 XR應用場景和業務價值比較典型的并具備商業價值和大規模推廣前景的XR應用場景主要包括以下幾個。新聞、賽事、音樂會等場館直播XR是提供場館直播沉浸感體驗的載體。聯合國贊助的XR項目旨在設身處地體會陷入2015年敘利亞危機中人們的感受,體會他們的掙扎。同時XR提供了更好遠程呈現方式,既現場全景視頻界面,方便用戶更好的通過該界面參加體育賽事和音
9、樂會等實時轉播,并獲得第一人稱視角感受。教育在教育領域,XR提供的歷史和自然等題材的360度全景視頻帶給老師和學生全新的教育學習體驗,同時通過XR提供的虛實結合的互動能力讓學生對其學習的內容有更深刻的認識。游戲 人們幾十年來一直夢想著進入視頻游戲的世界。通過XR技術的運用,玩家可以通過一個虛擬實景探索更大、更現實的世界。XR構建出未來游戲的全新圖景,它賦予游戲玩家更身臨其境的帶入感,使得游戲從平面真正走向立體。XR技術發展成熟使得游戲行業將徹底改變,原本處于二維空間的電子游戲就會徹底被拋棄,單純依靠鍵盤或手柄操作的游戲模式則會永久成為歷史,取而代之的是能夠調動五感的全方位游戲體驗,XR游戲也將
10、成為主流,為玩家帶來仿佛置身異次元空間的真實體驗。工業制造和智能電網在工廠的環境中,工人可以借助XR能力在需要組裝的零件上看到標識,或者可以直接看到機器的內部來確定潛在的需要替換的零件。在智能電網巡檢中,工人利用XR技術與遠程專家進行溝通,利用專家的標注信息來指導現場工人的操作。電影和電視 VR可以用來作為一種現存電影的“包裝”。VR影院允許用戶在虛擬的影院中任意選擇座位。VR提供了將原先屏幕上觀看的內容轉變為沉浸式VR體驗的渠道,甚至許多簡單的擴展可以在不修改影片內容的前提下實現。比如在一部關于僵尸的電影中,一些虛擬的僵尸能進入到劇場并開始追逐觀眾。觀眾也可以通過電影體驗社交,想象跟來自世界
11、各地的朋友在虛擬的劇場中坐在一起,共同度過一個“電影之夜”。 醫療在醫療領域,當前遠程醫療的發展趨勢越來越明顯。醫生能通過遠程呈現提供指導建議,并且運用XR技術來培訓。在XR的另一用途中,醫生可以讓自己沉浸在利用醫療掃描數據生成的3D器官模型中。另外的一類應用是通過XR直接提供理療以幫助病人,包括通過重復地暴露克服恐懼癥和壓力失調,改善或維持認知技能以對抗老化,改善運動技能以克服平衡,肌肉或者神經系統紊亂失調等問題。地產在地產領域,XR提供的虛擬原型設計能力使設計師能夠與包含原型的虛擬世界快速地進行交互并修改,也能夠帶客戶進入構造的虛擬世界以便交流想法。市場和廣告在廣告領域,XR提供了用戶以輔
12、助能力,可以通過疊加一些附加圖形來觀看廣告的發布內容,以增強其外觀并充分了解其操作,比如通過在廣告及圖標中中放置文本、圖標以及其他圖形??吹教摂M物體,并讓用戶可以與這些虛擬物體進行互動。HR(全息現實:Holographic Reality ):HR也稱虛擬成像技術,是利用光的干涉和衍射原理記錄并再現物體真實的三維圖像的技術。HR包括拍攝過程和成像過程,拍攝過程利用干涉原理記錄物體光波信息,成像過程利用衍射原理再現物體光波信息。全息圖像再現的圖像立體感強,具有真實的視覺效應。HR技術最主要的技術特點是用戶無需任何穿戴設備,利用裸眼即可直接看到360度全方位的3D影像。其中,HR技術比較新穎,也
13、代表了顯示技術驅動下的信息通訊系統的發展趨勢,為擺脫頭盔或手機并徹底回歸自然的觀察方式提供了可能,也為云技術/光場技術等下一代數字視頻編碼技術的普及奠定了基礎。5G 云XR應用白皮書561 HR 建筑設計 VR 景區設計 AR 地產MR 醫療 AR 教育AR 汽車銷售 圖1 XR典型行業應用場景零售在零售的真實世界場景中,XR技術可以賦予用戶通過對現實場景中的物品疊加一些附加圖形來完成真實世界輔助操作,包括實現利用互聯網的力量完成銷售和評價。 XR可視化方面、培訓引導、交互方式引入了突破性的革命,為安防監控、工業互聯網、智能電網、家庭娛樂、智慧零售、教育引入了廣闊的行業應用場景和增值空間,同時
14、也成為產品全生命流程中引入變革的一個重要因素。據已有的行業實踐,XR可以帶來突破性的生產效率提升和產品價值提升,并為工程人員賦能提供極大空間。 在產品開發階段,對比近30年來工程師們一直在使用(CAD)來創建三維模型,但是限于他們一直通過電腦上的2D屏幕與模型進行交互,這使得他們很難進行完全的概念化設計。XR技術可以使3D全息影像疊加在物理模型世界,提高工程師的評估能力和改進設計。例如大眾等汽車公司使用XR技術在數字設計評審中檢查最新的設計與原型是否完全一致。XR全息影像使每一處差異都顯而易見,這提高了質量保證過程的準確性。 在制造生產階段,通常制造業過程非常復雜,需要的數百甚至數千步驟,錯誤
15、代價是昂貴的。如我們所知,XR能在流水線上的工人在需要時提供正確的信息,減少誤差,提高效率,提高生產力。同時,XR也可以捕獲來自自動化和控制的信息系統、二級傳感器、資產管理系統和每個機器或進程的監控數據的信息。技術人員通過XR可以看到生產環境中的效率、次品率等信息,這些可以幫助技術人員了解潛在的問題,提醒工人進行提前的維護以縮短昂貴的停機時間。在物流倉儲階段,XR應用使Intel的新員工比受過傳統培訓的員工分揀速度要快15%,減少了29% 的分揀時間,錯誤率幾乎為零。在DHL,XR技術以提高分揀產生了更少的錯誤,更敬業的員工,提高了25%的生產率。該公司現在開始在全球范圍內推廣XR引導分揀技術
16、。而據統計,倉庫運營估計約占整個物流成本的20% ,而分揀又占倉儲成本的65% 。注:數據引自2017年11月12月Harvard Business Review:A Managers Guide to Augmented Reality。在市場銷售階段,XR不僅重新定義了產品展廳和演示的概念,并且將完全顛覆傳統的客戶體驗。當客戶在購買前看到幾乎真實的產品在實際環境中的功能和表現,他們會有更加準確的期望,更充足的購買信心以及更高的產品滿意度。將來的某個時候,AR或許可以完全不再需要實體的展廳。以建筑產品公司AZEK為例,使用AR向建筑商和客戶展示建材和裝飾品的各種顏色和組合??蛻粢部梢钥吹角榫?/p>
17、模擬:如果你通過手機或平板電腦看一所房子,AR應用程序可以在上面加一層裝飾效果。這種體驗減少了客戶選擇時的不確定性,縮短了銷售周期。通過AR APP,還可以收集用戶選擇的數據,作為不同地區生產的參考。1.3 XR應用市場發展趨勢5G 云XR應用白皮書78XR產業鏈主要包括以下幾個部分。硬件廠家:VR/AR頭顯、組件、周邊配件或以硬件為主要產品形態(例如芯片、傳感器、硬件模 組)進行交付的技術公司。工具廠家: 包括內容創建工具、中間件、3D轉換、用 戶界面插件、數據可視化、用戶數據跟蹤 及分析工具、廣告投放工具等。底層技術廠家:跨平臺應用的基礎技術(例如計算機視覺、SLAM、流媒體和壓縮、ARC
18、loud、眼動 追蹤等),一般以軟件或授權形式交付。游戲廠家:創作VR/AR游戲或交互“體驗”的工作室,或 以VR/AR游戲發行為主業務的公司。娛樂:除游戲以外的其他娛樂(例如360或交互式電影工作室、影片發行商、視頻平臺等)。企業/垂直行業應用公司:企業服務或解決方案(例如VR/AR定制項目 、企業協助工具)或垂直行業應用(例如 醫療、教育等)。其他企業:社交應用(例如VRChat、RecRoom),線下體驗店和解決方案(如VR體驗館、主題公園等),行業媒體(例如Upload、RoadtoVR等),任何不屬于上述其他類別的企業。隨著物聯網、AI以及5G的蓬勃發展,XR相關產業持續受到市場和企
19、業界的關注和推崇。有關數據統計,2018年,VR/AR/MR的全球投資額接近70億美元。在內容生態上,以VR為例,2018年底全球VR消費應用數量大約6200款。AR方面,在2018年隨著蘋果ARkit和谷歌ARCore的發布,截至2018年底手機AR在蘋果商店和谷歌商店就有3000款內容,覆蓋游戲、影視、商業應用等,并開始逐步成為每部手機的基本功能。 MR 方面,微軟更是一舉獲得了美國軍方4.8億美元10萬臺設備(MR)的訂單。 據預測,AR/VR行業到2020年總規模將達到1200億美元,AR占比75%。詳細數據如圖4所示。從細分應用結構上看,硬件設備是AR/VR行業的主要盈利來源,AR盈
20、利來源比VR豐富但短期看到變現的為VR在電子游戲、視頻直播、影視娛樂方面的落地。詳細數據如圖5所示。從地域結構上看,亞洲國家將切分近50%的市場蛋糕,中國、日本、韓國、印度有望成為AR/VR的主要市場。詳細數據如圖所示。01002003004005006007008009001002018年2019年2020年96160120570300900VR市場規模AR市場規模圖2 全球AR/VR市場規模預測圖3 2025年AR/VR軟件收入規模及其細分結構預測(單位:十億美元)4.13.25.14.72.61.61.40.711.6醫療工程房地產零售業軍事教育電子游戲視頻直播影音娛樂氣泡尺寸=2022
21、年的收入2022年全球收入長期增長速率(2017 2022)中國美國日本韓國德國法國英國意大利俄羅斯印度圖4 五年全球各國AR/VR市場收入和增長率 5G賦能云XR應用規模發展2.1 什么是5G?5G 云XR應用白皮書9102圖5 移動通信演進歷程模擬時代數字時代移動互聯網時代萬物互聯時代1G2G3G4G5G速率提升場景升級速率提升場景升級速率提升場景升級速率提升19801990200020102020應用場景傳輸速率模擬 語音數字 語音 短信115Kb-384Kb384Kb-100Mb100Mb-1Gb10Gb+移動互聯網應用數據業務占主導數據洪流 物聯網1103504005003x1002
22、010100 x1061051x101110 x1x0.1連接密度(devices/km )時延(ms)移動速度(km/h)頻譜效率用戶體驗速率(Mbit/s)峰值速率(Gbit/s)單位面積容量(Mbit/s/m)網絡能效圖6 從IMT-Advanced到IMT-2020的關鍵能力提升22廣義上,所有移動體間通過無線電波進行實時連接的通信都屬于移動通信范疇。移動通信系統主要有:蜂窩系統,集群系統,衛星通信系統等。蜂窩系統是覆蓋范圍最廣的陸地公用移動通信系統,我們談論的1G到5G都屬于蜂窩系統。從1G到5G,移動通信網絡之所以不斷升級換代、性能不斷提升,是因為人們對于高性能移動通信服務的需求一
23、直未被充分滿足。移動通信系統每十年變遷,4G升級5G,可類比2G到3G,從移動互聯時代到萬物互聯時代。3G、4G的發展得益于移動互聯網,5G除了移動互聯增強,另一驅動力來自于行業應用。新技術從引入到成熟要20年左右:GSM的巔峰到2012年,發展了20年,至大范圍退網接近30年。4G從2010年引入,還會發展很長時間,至少共存到2030年。將來5G網絡規模建設始于2020年內,融合4G演進和5G新空口技術。5G是通信技術的另一次變革。如果說2G向3G的轉變實現了業務由語音通信向移動寬帶應用的跨越,那么4G向5G的轉變將成為通信歷史上最重大的變革,實現了由個人應用向行業峰值速率:20Gbit/s
24、以上的峰值速率,指可以達到的最大用戶/設備數據速率。用戶體驗速率:1001000Mbit/s的用戶體驗速率,指在覆蓋區域內用戶/設備實際達到的速率。時延:1ms以內的無線時延,數據包在空中接口MAC層,由信源到達信宿經歷的時間。這里指單程時延。移動速度:大于500km/h的滿足標稱QoS條件下可支持的最大移動速度。連接密度:1km2內百萬連接設備數量。 網絡能效:在網絡側,無線接入網絡消耗的每單位能量發送或者接收的數據比特數。在終端側指通信模組消耗單位能量發送或者接收的比特數。5G要求比IMT-A提升100倍,要求1瓦特能傳輸100Mbits的數據。應用的轉變。機器類和人機無線通信在眾多經濟領
25、域和行業的應用不斷增多,對無線網絡提出了大量而廣泛的需求,具體表現在成本、復雜性、功耗、傳輸速率、移動性、時延和可靠性等方面。下圖展現了ITU定義的5G所具備的八大關鍵能力。IMT-advancedIMT-20202.2 云XR是XR規模發展的最佳形式 2.3 5G 給云XR應用規模發展提供了機遇 5G 云XR應用白皮書1112自然語言處理機器視覺數據處理聲紋識別數據清洗分析決策分析決策TensorflowCaffeTorch分類特征提取規劃目標檢測深度學習預處理離散數學矩陣分布數值分析概率統計分析智能硬件智能傳感器攝像機話筒優化聚類.沉浸式頭盔式全是虛的虛實疊加圖像識別半真半假混合現實AR+
26、VR真假難辨全息現實特殊介質裸眼3DSaaS最強大腦并行處理分布式公有云私有云混合云社區云AI技術大數據數據訪問-負載均衡數據存儲-分布式存儲云計算XRVRARMRHR圖 7 XR與主流ICT技術的關系本地單機XR難以大規模發展,其主要受以下幾個因素制約:(1)用戶體驗待提升,無法有效促進協助和社交功能:同時沒有云化的XR終端存在佩戴沉重,舒適性欠缺的缺點。(2)用戶消費成本高:XR強交互類業務的場景識別和混合渲染主要在本地主機和終端進行,對GPU資源要求很高,終端的性能和成本壓力大。(3)內容缺乏統一分發平臺:很多優秀的XR內容分散在多個廠家,難以有效共享和快速分發給用戶;用戶即使有XR頭盔
27、,也很少有內容豐富且能不斷更新的XR內容發布平臺。(4)內容版權缺乏有效保護:內容以下載到本地居多,版權得不到有效保護。云XR有效解決制約XR發展的痛點,同時強化了XR的社交和協助屬性,為數字媒體通訊的發展提供了強大的助力,是當前XR產業最佳的規?;l展之路。云XR主要特點是:XR頭顯無繩化、XR應用所需的計算機視覺對象感知云化和計算機圖形實時渲染云化、內容分享管理和存儲云化。它將云計算、AI、云渲染、云計算機視覺的理念及技術引入到XR業務應用中,借助高速穩定的網絡,將云端的顯示輸出和聲音輸出等經過編碼壓縮后傳輸到用戶的終端設備,實現XR業務內容上云、識別上云和渲染上云。云XR的優勢:將計算復
28、雜度高的識別和渲染上云,大幅降低配置XR終端的人工智能和圖形渲染的計算壓力,使XR終端以輕量的方式和比較低的消費成本讓更多的用戶更容易接受;計算機圖形渲染移到云上后,內容以視頻流的方式通過網絡推向用戶,借助Wi-Fi、5G等網絡技術,可將連接終端的HDMI線減掉,實現終端無繩化、移動化;內容云化、集中化,便于內容的統一分發和版權管理。云XR的終極階段功能是協助實現人物互動,是實現XR前端輕薄化的同時、為用戶提供個性化互動業務和視覺個性呈現,為物聯網的繁榮提供融合通訊的多媒體智能通訊平臺,將最終實現視頻數字化和內容語意網絡輔助信息的混合,進而完成所有數字信息的云端組織和云端渲染。對于未來萬物互聯
29、的信息數據系統,云XR為人類完成跨越當前現實與數字世界的鴻溝提供了可能;同時,其與當前主流ICT信息部署和處理技術存在著密不可分的關系。如圖7所示。AI技術AI框架AI算法基礎算法XR的核心是傳感器和顯示技術,云端是計算力的中心XR終端的核心是用戶交互和信息呈現,云端負責數據3D建模、數據分析、信號處理(根據業務場景可能包含AI、深度神經網絡的更復雜運算)、數據庫存儲等計算密集的操作。只有真正通過云計算解決VR/AR/MR/HR端CPU、GPU的計算和渲染速率,XR才具有真正價值。XR與AI技術緊密結合這不光源于XR技術中不可獲取的對象及環境感知技術,同時XR內容制作和實時圖形渲染也越來越需要
30、通過人工智能來提升效率。人工智能的加持能真正發揮XR的優勢,XR所開發出來的各種應用和對應配套工具才具有競爭力。XR 需要引入大數據的知識和數據智能的支撐作為一個領域應用,具備了大數據功能,使其可以完成更服務的信息加持和業務交互,為應用帶來穩定長期的現金流,并具備更好的商業模式。同時,作為AI的基礎之一,大數據能助力XR快速發展。因此,云XR應用對整個通信過程的低延時、高帶寬、大并發提出了極嚴格的要求。例如,提供一個很好的人機交互體驗,或者高效融合生產制造、工作協同,或者交互娛樂等應用場景。圖8圖9分別展示了云XR應用場景客戶體驗因素與移動通訊關鍵指標之間的關系和不同云XR業務有不同的網絡指標
31、要求。在5G時代,云XR獲得了又一次騰飛的燃料。云XR之于傳統流量入口,猶如三體之于地球,維度大幅提升,必將開啟新一代流量入口即視覺入口時代。同時,5G帶來的技術優勢也促使云XR向新的階段發展,必將成為下一代計算平臺以及新一代流量和場景入口,邁出重要的一步。這源于5G 所帶來的技術變革。頻譜效率:指每單位頻譜帶寬能發送或者接收的數據比特數。5G要求比IMT-A提升3倍以上。單位面積容量:指服務地理區域內全部流量的和,5G要求10Mbit/s/m 以上。25G 云XR應用白皮書1314體驗關鍵因素:業務指標:網絡指標:真實感真實感愉悅感帶寬時延丟包分辨率 幀率 色深視場角 編碼壓縮技術視頻初始緩
32、沖時長運動感知沖突操作響應時間卡頓(次數、時長占比)花屏(次數、時長/面積占比)游戲畫面有效幀率圖8 云XR應用場景客戶體驗與移動通訊關鍵指標如,提供一個很好的人機交互體驗,或者高效融合生產制造、工作協同,或者交互娛樂等應用場景。圖8圖9分別展示了云XR應用場景客戶體驗因素與移動通訊關鍵指標之間的關系和不同云XR業務有不同的網絡指標要求。階段VRARMR商用時間預測20182020年20212025年20212025年視頻分辨率4K8K(全景)2K4K2K4K2K4K2K4K2K4K3D業務內容分辨率視場角色深(bit)編碼標準幀率(幀/秒)碼率要求帶寬要求RTT要求丟包要求90110度8H2
33、65H265/H266H265/H2668840度80度30(視頻)5090(強交互)5090509040Mpbs 60Mpbs 20ms 15ms 15ms 40Mpbs 40Mpbs 20Mpbs 20Mpbs 9E-5(視頻)1.00E-5(強交互)1.00E-51.00E-5圖9 不同云XR應用和網絡指標*注:因無編碼標準,HR當前階段無法進行評估。在5G時代,云XR獲得了又一次騰飛的燃料。云XR之于傳統流量入口,猶如三體之于地球,維度大幅提升,必將開啟新一代流量入口即視覺入口時代。同時,5G帶來的技術優勢也促使云XR向新的階段發展,必將成為下一代計算平臺以及新一代流量和場景入口,邁出
34、重要的一步。這源于5G 所帶來的技術變革。圖10 5G移動通訊技術相對于4G移動通訊的優勢 首先,帶寬和延時保障據中興通訊 5G 外場測試:5G 相關測試條目已完成高頻 26GHz 外場測試,空口性能表現優異, 小區峰值超過 19Gbps。在三大場景下, 可以同時達到 eMBB 場景下 15Gbps 吞吐率,超過 ITU 定義的 10Gbps;mMTC 場景下達到 9000 萬連接數 /MHz/ 小時,遠超 ITU 定義的 100 萬連接數 / 平方公里;URLLC 場景達到 0.416ms,優于 ITU 定義的 1ms。同時,針對云 XR 多人協同和交互娛樂等場景,作為至關重要因素的上行鏈路
35、吞吐量,5G NR 都提供了大大優于 4G FDD 1.8GHz (2R)的性能。詳細如圖 10 所示。其次,邊緣計算平臺的保障邊緣計算是在靠近物或數據源頭的網絡邊緣側,融合網絡、計算、存儲、應用等核心能力的開放平臺,就近提供邊緣智能服務。5G網絡將是以中央、區域、邊緣數據中心為基礎的彈性網絡,虛擬化網元功能可按照場景部署在網絡相應的位置上,MEC將主要部署在邊緣DC,使得MEC與網元功能相互協同,為垂直應用提供網絡邊緣計算能力,適用于對時延、帶寬要求特別高的業務場景。5G中的MEC不僅可以提供云端強大的計算力及極低的通信延時,而且由于云XR多方協同的交互信息的高度本地化和上下文化,因此通過M
36、EC服務器在本地托管信息比在云中托管更有優勢。中興通訊推薦如下圖部署MEC于5G網絡中,MEP與UPF、APP共部署,實現邊緣云由運營商主控, 利益最大;分層解耦,不同廠商集成,節約資源。5G 云XR應用白皮書1516圖11 MEC邊緣云內嵌于5G SA網絡的部署NSSFUDMNRFPCFNEFAMFSMFUPFUE(終端)DUCU UPF(核心網下沉)RANMEPMESer-vice3rd MEAPP3rd MEAPPMEC NFV Infrastructure本地卸載流量本地卸載流量DN(Internet/CDN)GroupA:完全獨立GroupB:部分控制面共享GroupC:控制面共享,
37、媒體面獨立切片1切片2切片3切片4切片5切片6PCFUDMAMFSMFUPFCUCUDUAAUPCFSMFPCFSMFUDMAMFUPFUPFCUDUDUAAUAAUPCFSMFUDMAMFUPFUPFUPF遠程醫療車載娛樂視頻監控手機視頻智能抄表圖12 針對不同XR垂直應用域的切片共享類型圖13 5G切片與MEC的協同NSMFNSSMFNFVOMEAOMECMECAPPsAPPsMEPUPFMEPMEPM-VMEPM-VUPFUPFNS1NS2NS3最后,業務安全和業務質量保障5G網絡需要同時滿足用戶XR類多元化應用的差異化SLA需求,5G網絡切片為實現這一需求而設計。網絡切片將網絡資源靈活
38、分配,網絡能力靈活組合,基于一張5G網絡虛擬出多個具備不同特性的邏輯子網絡,提供面向不同場景的按需定制網絡服務。5G網絡場景下,核心網絡切片技術,既對網絡拓撲資源,如鏈路、節點、端口及網元內部資源如轉發、計算、存儲等資源,進行虛擬化形成虛擬資源,并按需組織形成虛擬網絡。針對不同場景下不同的網絡功能性能要求,網絡切片把物理上的一張網絡虛擬成邏輯上的多個網絡,以滿足不同業務需求,這既增強了業務的隔離性,也提高了網絡資源的使用效率。5G切片結合MEC邊緣云,實現端到端低延時高可靠,支持關鍵業務。切片與MEC的角色關系主要分兩種:一種是單切片獨享MEC,如下圖中的切片NS1,適用在要求高價值、高網絡質
39、量、高計算能力業務場景,發揮專用硬件,如智能網卡的專用優勢;另一種是多切片共享MEC,如下圖中的切片NS2+切片NS3,適用在資源受限情況下的較低延時業務(如視頻、物聯網),能實現資源共享,提升資源的利用效率。2.4 5G云XR應用業務需求和解決方案5G 云XR應用白皮書1718AR眼鏡5G終端gNB專家PC端專家組會議端wifi操作現場MECMEPUPF圖文識別云AR云端遠程專家云會議視頻會議協作云圖14 中興通訊5G可視化云AR遠程專家指導系統解決方案XR真正意義上的云化可以實現數字和物理世界的社交屬性的充分放大,可以有效實現基于共同的物理空間分享“不可能”的事,如云AR;也可以有效實現基
40、于共同的虛擬空間分享“不可能”的事,如云VR,運用“真實”的虛幻和創造力,讓人和人的情感交流和協作升華。 中興通訊近年來一直在積極探索云XR系統解決方案和挖掘相應的應用市場。云AR遠程專家指導“5G+視訊+云AR”的解決方案,具備高清、智能特性。利用5G的高帶寬,一方面擺脫對有線線纜的束縛,支持快速擴容;另一方面可以支持4K/8K/16K高清碼流的傳輸?;贏R的視頻會議將使得終端更加多樣化、與AI結合系統更加智能化、便捷化,可廣泛用于眾多場景。如應用于遠程巡檢,AR技術可快速準確定位、分析、解決現場故障。應用于教育通過AR視頻會議遠程演示,解決涉及危險材料、昂貴器械等傳統無法實施的教學實驗,
41、解決教學難題。中興通訊憑借在視頻會議領域多年的產品和技術積累,提供基于5G的可視化云AR專家指導系統,遠程教育,遠程黨教等多個落地的解決方案。下圖為中興通訊5G可視化云AR遠程專家指導系統的解決方案。(1)業務需求針對各類移動、戶外等復雜環境的業務作業,專家通常無法直接去現場進行作業?;谶h程指導的思路,需要高帶寬傳輸高清音視頻,需低延時滿足實時音視頻、協作交互的應用場景。實時視頻通信,上、下行數據傳輸需保障帶寬要求比較高,同時為了避免影響圖像流暢度和實時性,網絡延時低于20ms,支持實時圖像疊加批注,手冊查詢和自動識別對比。同時滿足在一些特定場景下現場通過AR眼鏡可以自動進行抽檢和巡檢的需求
42、。(2)解決方案現場人員佩戴AR智能眼鏡,可呼叫遠端專家(專家團隊)給予指導,取代專家工程師親自到現場。專家也可同時支持多個地點操作指導,提高工作效率。遠端專家可通過視頻會議系統實時看到現場眼鏡所拍攝高清實景,并通過視頻會議、白板協作會議等多種方式與現場人員溝通交互?,F場人員可通過AR智能眼鏡與專家實時音視頻溝通,在顯示屏中可看到專家視頻、分享的文檔資料、對現場實景的標注信息等。同時,基于云AR技術,定義識別的內容和識別規則,以滿足現場巡檢人員產品(或物料)的外形檢測、標識圖文識別、條形碼識別,實現現場質檢人員巡檢抽檢和自動抽查功能。該方案有效指導作業標準化,可廣泛用于遠程指導普通工程師和第三
43、方協作人員作業等場景?;谠芃R的遠程應用示教“5G+視訊+云MR的遠程示教”解決方案,將具備同步定位和建圖的增強現實技術引入視頻會議中,使能視頻會議,滿足更廣泛應用場景。利用5G的高帶寬、移動性,一方面擺脫對有線線纜的束縛,支持移動便捷性;另一方面可以支持4K/8K/16K高清視頻碼流(雙向音視頻和云MR內容)的傳輸。而帶有云MR的視頻會議,使得會議終端更加多樣化,利用MR眼鏡增強現實顯示視頻會議數據內容,使得用戶視頻交互更直觀、更立體、更真實。該方案可廣泛應用多個場景,如立體的物品互動演示培訓、直觀的室內裝潢互動設計等。云MR作為MR內容制作平臺、存儲中心、分享中心以及處理中心(圖像渲染等
44、),供大家制作、上傳、分享、觀看各種MR內容。下圖為中興通訊基于5G云MR的遠程示教解決方案。5G 云XR應用白皮書1920gNBMECMEPUPF云MRgNB個人終端接入MR 眼鏡視頻會議軟終端桌面平板視頻會議終端麥克風會議室MR 眼鏡攝像頭會場屏幕云會議視頻會議協作云云端圖 15 中興通訊基于云MR的遠程示教圖16 中興通訊基于5G MEC的云AR智能安防解決方案(1)業務需求針對各類智能終端(MR眼鏡、手機、平板、筆記本電腦、會議室)用戶,通過智能終端就可以體驗到超高清視頻會議,以及對視頻畫面的MR顯示?;谠芃R技術在實時的視頻畫面上同步呈現更多輔助信息的思路,滿足移動智能終端用戶高帶
45、寬傳輸高清音視頻,低延時同步定位、協作交互等應用場景需求。實時視頻通信,上、下行數據傳輸需保障帶寬要求比較高,同時為了避免影響圖像流暢度和實時性,網絡延時低于20ms,還要支持隨時隨地與云MR交互(視頻畫面上傳到云MR,云MR對上傳內容進行實時識別分析處理,再回傳到各個智能終端)的需求。(2)解決方案個人終端用戶佩戴MR智能眼鏡,隨時隨地組織視頻通訊。在視頻通訊過程中,選擇是否開啟云MR功能,開啟該功能后,視頻畫面會在服務端與云MR對接,對視頻畫面進行實時疊加、標注額外信息(文字、圖像等)。多用戶可對同一視頻畫面進行同步MR顯示,也可以對統一3D模型進行不同視角的MR顯示。云AR安防隨著科技巨
46、頭們在AR領域的紛紛布局,使得AR從概念不斷滲透入教育、醫療、游戲娛樂等各行各業,與安防監控相結合創造出全新的價值也成為不可逆轉的大趨勢。結合5G高帶寬的優勢,AR具有變革公安,軌道交通,檢察院等安防監控行業的巨大潛力,將在傳統的安防監控向基于5G的AR智能安防方案演進,提升效率降低成本。下圖給出了中興通訊基于5G MEC的云AR智能安防解決方案。 (1)業務需求安防監控領域的特點是需要海量數據實時采集,如某城市每天800萬過車數據,峰值1萬條/秒,每天60億條WIFI數據的實時處理要求,要求基于車型、車款、標識物等進行車輛識別分析,同時基于多軌聯偵、同行車分析建立人臉庫、車形庫、聲紋庫等專題
47、數據庫,做到“知車、知人、知聲”海量數據接入的大數據分析。某公安安防監控需求的二代身份證庫支持2000萬人臉靜態識別,高鐵車站出入口人臉動態布控。要求千萬級數據秒內返回,作為抓捕罪犯的依據。(2)解決方案無人機搭載高清攝像頭,通過5G網絡實時傳輸高清路面情況,同時與地面固定點位安防監控系統對接,構建全方位立體安防系統。AR眼鏡利用掛在巡邏車或固定在室內的CPE 通過 5G網絡傳送視頻到5G邊緣計算平臺MEC邊緣云側的本地視頻分析中心進行基于深度學習的視頻結構化分析,視頻分析的結果返回疊加顯示在AR眼鏡上,為安保人員提供遠程信息支持。MEC側部署智能視頻分析平臺,通過AI+賦能,將大量低價值監控
48、內容就近分析本地化處理,節省傳輸資源,降低成本,提升系統性能。該解決方案支持人臉識別,車牌識別,身份證識別及事件檢測等能力,為平安城市保駕護航。MECMEPUPF視頻分析AI識別gNB5GC安防操作中心本地視頻分析中心WIFIi視頻AR傳至責任人提取高關注度內容大規模視頻流傳送無人機AR眼鏡攝像頭巡邏車云端5G 云XR應用白皮書2122MECMEPUPF云VR/ AR教育平臺gNBVR/ AR 一體化STB+TV管理系統流化系統/識別分析圖17 中興通訊5G MEC云VR/AR互動教育解決方案gNBBackhaul5GC手機+VR盒子VR一體化頭盔無人機攝像機全景攝像機OTT平臺視頻流推送ME
49、P視頻編排系統vCDNUPF攝像頭推流終端拉流gNB視頻推送至OTT運營商gNBMEPvCDNUPFMECMEC場內場外場外實時直播多角度視頻直播Internet圖 18 中興通訊5G MEC 云VR場館直播解決方案云VR/ AR互動教育對于VR/AR互動教育來說最大的前景在于人文和自然學科,例如歷史、社會學、自然、災難教育、地理和文化的學習。用戶將既可以通過虛擬現實界面觀看實體博物館,也可以直接在虛擬博物館中掃描和展示文物。中興通訊推出的基于云VR/AR互動教育解決方案如下圖所示。(1)業務需求通過全景圖片與全景視頻以及3D模型呈現歷史、文化等方面的教育課程,既滿足老師針對一個或多個學生的V
50、R教育的需求,又滿足用戶觀看AR虛擬模型的互動需求。(2)解決方案部署在5G MEC上的云VR/AR教育平臺包括云VR/ AR管理系統,云VR流化系統和云AR識別分析系統。其中云VR/ AR管理系統包括基本的業務管理,業務運營和資源管理等管理功能,云VR/ AR管理系統也可以基于中心云進行部署。云VR流化系統實現VR教育內容的流媒體FoV傳輸。AR識別分析系統主要是基于用戶一體機的AR眼鏡的攝像頭識別物體(比如手持的一個可以掃碼的物體),獲取相關信息后傳輸到MEC云上的云AR識別分析系統后進行分析對比發現用戶需要觀看的AR內容,比如一個3D恐龍的模型,然后用戶就可以在手持物體的位置看到對應的A