1、1/32目錄前言.21、從 5G 向 6G,新視頻應用與新終端的發展特點及技術需求.31.1 3D 技術與應用的發展趨勢.31.2 VR/XR 技術與應用的發展趨勢.42、“未來電視”不同終端應用場景的特點及技術需求.52.1“未來電視”的概念與發展趨勢.52.2 呈現方式多樣化與視聽體驗沉浸化制作的特點.52.3 6G+超高清相關應用場景的發展.143、8K VR 沉浸式視頻直播的技術流程與特點.203.1 8K VR 直播系統整體框架.203.2 VR 內容采集與拼接.213.3 VR 視頻編碼.213.4 VR 內容分發.233.5 VR 流媒體傳輸.233.6 云 VR.243.7 8
2、K VR 現場直播系統的技術特點.244.未來電視對 6G 移動網絡的需求.285.總結.30參與單位及人員.322/32前言從中國進入 5G 時代伊始,5G+超高清技術與應用結合,成為了 5G 相關應用中發展和普及速度最快的場景。大量優質超高清內容的涌現滿足了 5G 移動終端的用戶體驗需求,特別是 4K、8K 直播場景借助于 5G“大帶寬、低延時”特性,為制作域提供了更高效、靈活的大帶寬無線傳輸方案。同時,超高清技術作為 5G 技術拓展的核心支撐技術,賦能于多個領域的跨行業數字化轉型,為工業、醫療、軍事、教育等提供了更豐富的數字解決方案。隨著移動通信技術的進一步發展,下一代移動通信技術 6G
3、 概念推出與更多應用場景的需求涌現,“更大帶寬”、“更低延時”的技術迭代升級和超高清 8K、沉浸式交互式視頻體驗應用開發,推動了 VR/XR 與 3D 立體呈現等新的終端體驗的快速發展。廣大用戶也將充分享受到新技術、新終端升級帶來的全新視聽和感觀體驗。廣電總局等多部委從 2023 年開始推動中國面向“未來電視”的發展規劃,“電視”這一概念將不再局限于傳統平面電視這一單一平臺,戶外大屏、手機/PAD 等移動互聯網終端、VR/AR 等交互式頭顯終端、新一代 3D 立體呈現終端(包括 3D LED 屏幕,應用裸眼 3D 技術的手機和 PAD 等)乃至一些還在開發中尚未面世的新型視頻終端載體,都將成為
4、“未來電視”理念中的“電視”內容傳播載體。每一個視頻終端載體的呈現方式不同,使用場景也有差異,對于技術規格的需求也不盡相同。但是,觀眾對于視聽體驗的質量隨著技術優化而不斷升級的愿望是不會改變的,4K/8K 及 HDR、三維聲等新型視聽技術的加持,更大尺寸的平面終端,VR 等超大視角范圍的交互式終端,都對 8K 分辨率、高幀率以及更大的實時傳輸能力提出要求;同時不可忽視的一點,用戶對于不同終端之間的視頻內容切換,如手機到大屏到頭顯等不同終端之間(“屏”與“屏“之間的,廣電、運營商、自媒體等不同內容提供方的內容在不同終端之間的顯示投射方式的轉換)的“投射”轉換的平滑程度(無縫和高同步、無延時感的信
5、號切換銜接能力),對于最終用戶的體驗感受同樣至關重要。本白皮書主要針對于“未來電視“所涉及場景中對于多重直播應用的特點、技術需求、建議解決方案,以及與 6G 技術和應用場景如何更緊密結合,實現更多創新型的內容直播、體驗及跨行業應用解決方案提供相關建議和參考。3/321、從 5G 向 6G,新視頻應用與新終端的發展特點及技術需求用戶對豐富應用的需求,驅動了網絡技術的不斷升級。從通信領域提出 6G 的概念到今天,6G 標準、技術、應用得到快速發展。技術的迭代升級也加速了應用創新,如果說 3G 推動了微博、推特等社交媒體,4G 推動了微信、電商等應用場景,5G 帶來高清的移動短視頻、互動直播體驗,也
6、同時加速垂直行業的數字化轉型。6G 網絡正在逐步走來,6G 將使用中頻率上段等更多頻段進一步提升網絡傳輸速率。同時需要借助新能力、新應用場景來兌現網絡價值,賦能千行百業,通過應用創新加速產業和商業的正循環。6G 網絡的峰值傳輸速率將達到 100Gbps 以上,大幅超過了 5G 網絡的 10Gbps,理論上通信時延僅為 0.1 毫秒,也只有 5G 的十分之一。這樣的技術規格,即使是用于專業超高清 4K/8K 廣電視頻制作領域,已經能夠達到有線無壓縮傳輸的技術規格,理論上可以大幅降低過去由于視頻信號深度壓縮帶來的編解碼延時,所以實際發生的延時總量(鏈路+處理)也將大大降低,過去無線傳輸所帶來的時延
7、影響對專業化制作帶來的不便,也將從根本解決,同時也為更多的視頻應用創新帶來了可能。而 5G 向著 6G 演進,將為消費者帶來哪些與眾不同的應用創新?這些應用創新何時能實現規?;逃寐涞啬??目前圍繞視頻應用場景,我們認為在 6G 階段,在原有的 5G+4K/8K 超高清技術結合基礎之上,裸眼 3D 的應用以及 VR/XR 等場景隨著新終端不斷升級將迎來新的爆發增長機會。1 1.1 1 3 3D D 技技術術與與應應用用的的發發展展趨趨勢勢隨著 5G 技術發展,消費者業務呈現云化、3D 化和智能化的新趨勢。同傳統 2D 視頻相比,3D 視頻同樣經歷了漫長的發展過程,雖然受制于制作技術的復雜和成本、
8、播放終端的技術局限(包括院線和頭戴式終端)、舒適性體驗等不足,市場占有率一直受限,目前尚不具備替代 2D 成為主流的實力。然而觀眾對于 3D 體驗的喜愛以及對 3D 應用場景的消費意愿卻始終不減,在主題公園(迪斯尼樂園、環球影城等)、電影院線(特別是科幻類、動畫等題材)中 3D 體驗和影片的票房及受歡迎程度,充分證明 3D 技術與應用具備足夠的市場競爭力。事實上,3D 的發展和關注度隨著各種缺陷與不足,雖然不斷經歷起伏變化,但隨著鏈路中各個環節技術的不斷升級,幾乎每十到十五年都會迎來一次爆發。上一次的爆發點是 2010 年前后隨著電影阿凡達的上映,3D 數字院線普及觸發了優質 3D 體驗的升級
9、,以及同階段 3D 電視面世引發銷售推廣熱潮,3D 電視頻道不斷涌現,帶來了一次 3D 爆發式增長。然而隨著內容制作的復雜性及高昂成本,終端體驗的舒適度和佩戴 3D 眼鏡帶來的不便,裸眼終端清晰度不足和效果不佳等問題,和后來快速普及的4K 超高清終端相比,3D 終端缺乏足夠的市場競爭力,在 2016 年前后 3D 又步入低潮期。2021 年 5 月舉行的谷歌 I/O 大會上,谷歌公布了全息視頻聊天技術 Project Starline(3D 視頻聊天室),基于計算機視覺、機器學習、空間音頻和數據壓縮技術打造的突破性光場顯示系統,旨在取代一對一的 2D 視頻電話會議,讓用戶感覺就像坐在真人面前一
10、樣的溝通交互體驗,在行業內引發了巨大反響。4/32近兩年來,新一代的 3D 顯示終端開始逐步成熟,包括中興電子發布的裸眼 3D PAD,GOOVIS 等廠家推出了 可以直連 5G 手機的“頭戴式家庭影院”便攜型頭顯,將優質 3D 內容體驗與 5G 移動終端緊密綁定;再加上 VR 頭顯終端本身也是 3D 內容體驗的載體之一,新一代的便攜型終端出現也為 3D 再次復蘇提供了絕佳機會。伴隨 3D 云化視頻、裸眼 3D 通話、XR 元宇宙等應用創新,特別是超高清技術賦能于3D 內容制作與現實,將過去的高清 3D 提升到 4K 3D 水平,真實感、沉浸感大幅升級,同時對現有網絡也提出更高要求,從云到終端
11、的網絡傳輸要求更快。6G 技術讓消費者未來不僅可在家里觀看裸眼 3D 視頻,也可在戶外、地鐵、公交車等地方隨時用手機、專用設備體驗 3D 視頻等豐富應用。裸眼 3D 產業發展,離不開優秀的視頻內容特別是直播內容支撐。6G 提供的網絡高帶寬,以及快速發展的 AIGC,將大幅提升內容創作的效率和質量,勢必將極大促進 3D 裸眼視頻等的產業應用的快速發展。1 1.2 2 V VR R/X XR R 技技術術與與應應用用的的發發展展趨趨勢勢在 5G 時代,5G+VR 已經成為了 5G 標準化應用場景之一,而各大視頻和游戲平臺已經出現一批虛擬現實(VR)類應用,比如 VR 全景視頻、VR 云游戲等。在
12、8K 技術的加持之下,VR 視頻內容的呈現效果大幅提升,特別是當蘋果 VISION PRO以單目 4Kx4K 的 LED 分辨率加持,在接近 100沉浸視角下實現了 35-37PPD 的高解析力,將 VR 頭顯終端的還原力提升到了前所未有的高度??梢哉f,在 360 VR 的全沉浸視角下,8K 乃至今后更高級別的清晰度規格真正成為了剛需。隨著優質 8K 及以上分辨率級別 VR 直播內容不斷涌現,規?;某两絻热輰崿F高效量產,借助于 6G 大帶寬的傳輸能力和低延時優勢,為觀眾能夠提供適配 8K 以上更高分辨率量級的高碼率實時數據傳輸能力及低延時交互響應,高清晰的立體空間視頻借助于新一代的 VR
13、頭顯終端,可能將真正成為互聯網時代用戶的新寵。同時,擴展現實(XR)作為元宇宙的重要技術支撐,越來越受到業界關注。隨著頭顯的輕便化發展,增強現實(AR)、混合現實(MR)類應用也越來越多。目前這些頭顯主要通過有線或者 Wi-Fi 連接到服務器,而這限制了用戶使用業務的范圍。隨著未來 6G 網絡覆蓋的逐漸完善,6G 超大帶寬、超低時延、超高速率的連接特性可滿足更廣泛的 XR 業務的需求。隨著更多新視頻應用場景和終端在 6G 時代的不斷涌現,我們可以預測在不遠的將來,觀眾無論身處何處,都可以采用不同的體驗方式(大屏超高清、手機豎屏、3D 電視、VR和 AR 等,或者戶外車載設備、互聯網接入設備、帶
14、有觸覺感知的體驗設備)來觀看節目內容,并根據自身的需求和喜好,形成多樣化的觀看及交互體驗。5/322、“未來電視”不同終端應用場景的特點及技術需求2 2.1 1“未未來來電電視視”的的概概念念與與發發展展趨趨勢勢“未來電視”是一個廣義的視聽概念,它代表著視聽產業的未來發展趨勢。它不止于電視,是新的理念模式,是系統性、革命性的迭代升級。其中的主要特征包括:呈現方式多樣化、視聽體驗沉浸化、應用場景全景化、服務形態智慧化、服務供給協同化。其中,呈現方式多樣化表示,呈現載體不限于電視機,可能是生活中隨處可見的各種顯示介質,包括各種手持終端、可穿戴設備、室外大屏等各類顯示載體;視聽體驗沉浸化,包括超高清
15、、沉浸式、三維聲、VR/AR、MR、XR、互動視頻、自由視角、立體 3D、全息成像等多種體驗方式,觀眾可以自由選擇視聽服務。應用場景全景化希望實現在生活中需要視聽的各種場景中應用,全方位融入群眾的數字生活。服務形態智慧化則考慮將實現現實世界和虛擬世界的緊密融合,節目內容自由選擇、實時交互、需求定制、智慧分發,高度人性化,將帶來豐富的互動體驗,滿足消費者多層次需求。服務供給協同化,“未來電視”將帶動行業上下、內外大協同、大融合,形成網絡互聯、業務互通、數據共享的全新制播體系、服務體系和管理體系。圖 2.1.1 視聽體驗多樣化和沉浸化,不同終端載體為觀眾提供更豐富的視聽選擇2 2.2 2 呈呈現現
16、方方式式多多樣樣化化與與視視聽聽體體驗驗沉沉浸浸化化制制作作的的特特點點一方面,面向不同媒體終端提供針對性更強的定制內容體驗,已經成為了剛需。無論6/32身處何處,觀眾可以采用不同的體驗方式(大屏超高清、3D 電視、VR 和 AR 等,或者戶外車載設備、互聯網接入設備、帶有觸覺感知的體驗設備)來觀看相同的節目內容,形成多樣化的觀看體驗。圖 2.2.1“未來電視“場景下將面對豐富的終端體驗圖 2.2.2“元演播室“復合型節目制作形態為“未來電視“提供多形式內容7/32圖 2.2.3 不同拍攝前端,基于標準 4K/8K 制播系統和格式,組成復合型的制作系統形態基于此需求和應用場景,面向規?;墓澞?/p>
17、制作需求,可以考慮采用不同的前端拍攝設備,如 4K/8K 訊道轉播攝像機、8K VR 攝像機、4K/3D 攝像機等,遵循同一廣電制作規格,連接入 4K/8K 廣播級轉播系統,以實現高質量的節目制作流程,最終通過編碼器根據不同終端及平臺的具體要求提供相應規格的直播流,再借助 5G 網絡或者其他信道方式進行傳輸。表 2.2.1 面向不同終端的制作規格參考值另一方面,視聽體驗的沉浸化,是所有視頻內容創作者的終極目標,也是視聽技術發展的源動力。我們希望創造出更加清晰、更為真實的視覺體驗,讓觀眾獲得身臨其境的觀感。終端的技術演進和產品設計,也希望為觀眾提供更佳的沉浸式體驗。8/32圖 2.2.4 采用巨
18、幕提供盡可能大的視角范圍,是提供沉浸感體驗的常規手段為了獲得視聽體驗的沉浸感,我們首先力求為觀眾創造一個盡可能大的觀影范圍,盡量覆蓋觀眾的有效視野,最大程度提供有效信息(包括滿足視覺和聽覺需求)。通常 60水平視角是一個標準,一般電影院、劇場的最佳觀看位置以此定義。4K 電視也以此視角來設計合理的分辨率,基于一視角分的原則(1視角需提供不低于 60 個像素以保證觀看清晰),最終將 4K 影像分辨率定義為 3840 x2160(寬高比 16:9)。而 8K(7680 x4320)則在此基礎上進一步提升觀影范圍,加入了更多的環境邊緣信息,使標準的觀看視角提升到 96,觀眾相當于在 1 米多遠的距離
19、來觀看 100 寸 8K 電視。圖 2.2.5 4K 和 8K 分辨率的設計和水平視角的關系VR 頭顯終端雖然體積不大,卻能夠為觀眾提供更大的觀看視野,其專門制作拍攝的VR 沉浸式影像內容可以達到 180或者 360的觀看視角,實現真正意義上“無邊框“的全景體驗模式。9/32圖 2.2.6 VR 頭顯終端可提供 360的觀看視角,實現完全沉浸式、無邊界體驗由于 VR 頭顯終端所配置的 LED 液晶屏的視野范圍 FOV 都超過了 90視角,和 8K 大屏標準觀看影像視角接近,也就是理論上這塊 LED 液晶就應該具備 8K 分辨率的顯示能力(PPD 接近 60),那么對應于 360的 VR 全景影
20、像,其清晰度應該滿足 30K 的水平清晰度。就目前的軟硬件制作與顯示端的處理能力,僅能滿足到 8K 視頻的編解碼能力,所以目前所規定的行業標準中,建議全景 360視頻達到 8K 分辨率,而其 LED 液晶屏的顯示范圍大約能接近 HD 高清水平,距離真正的超高清體驗尚有提升空間。圖 2.2.6 VR 頭顯的觀看視角大于 90,8K 分辨率的影像內容只能滿足基本清晰要求隨著蘋果 VISION PRO 頭顯終端的問世,“空間視頻”這一概念被廣泛提及。也包括前幾年由谷歌推出的裸眼 3D 全息視頻聊天技術 Project Starline 項目,都可以認為是基于雙眼立體視覺 S3D(Stereoscop
21、ic 3D)呈現技術的進一步升級和拓展應用。立體影像(這里主要指雙目立體 S3D),基于雙眼視覺產生視差和視線匯聚的原理,可以使觀眾感受到真實的距離和空間感。采用雙鏡頭攝像機同步拍攝模擬人的雙眼視覺方式,可以獲得空間立體視頻,再借助于 3D 屏幕或者 VR 頭顯、AR 頭顯終端就可以正確顯示出10/32具有立體感的 3D 影像。3D 立體效果是人類感知空間感和沉浸感的重要因素,該技術可與平面影像技術、VR/AR 等顯示方式相結合,根據不同終端的視場角 FOV 和 PPD 需求,輸出如 4K/HD 雙目3D 或者 8K 360或者 180 3D VR 等信號,提供不同的空間立體效果。圖 2.2.
22、7 8K 3D 180 VR 的沉浸式節目內容(Side by Side 方式)圖 2.2.7 180 3D VR 與雙目 3D 的拍攝方式與輸出效果3D 視頻與 3D VR 視頻相比,最大的區別在于視場角,3D 視頻的視角范圍與普通 2D視頻一致,主要取決于鏡頭的焦段影響,為了獲得較好的立體感,通常會采用中廣角鏡頭來覆蓋更多的空間范圍;但是也因為普通鏡頭視角范圍以及所采用的 16:9 畫幅比所帶來的限制,觀眾在觀看普通 3D 影像時,空間感和沉浸感會收到“畫框”的局限,當立體空間中的畫面主體逐漸“走近”觀眾時,由于“畫框”的存在,主體可能無法完整的呈現在觀眾面前,也就是所謂的無法完整的“出屏
23、”,觀眾會感覺不能完全融入到創作者所呈現的數字空間之中。11/32圖 2.2.8 普通 3D 影像中的主體會受到“畫框”限制無法完整出屏3D VR 影像是將全景拍攝和雙目立體拍攝兩項技術與呈現方式的優勢相結合,觀眾可以在幾乎無邊框范圍的數字影像中獲得完全沉浸的效果,同時借助于 3D 拍攝帶來的立體視差,可以獲得極強的空間感,相比于普通 3D 影像,觀眾就可以完全進入到 3D 數字空間之中,獲得真正意義上的沉浸式體驗。當然,3D VR 與普通 3D 還有平面大屏幕 4K 和 8K 所獲得效果不同,內容表現形式和創作手法也不同,制作的難度也不盡相同,應該講各有優勢和不足,不能單純的評價孰優孰劣。不
24、同的制作與呈現技術可以根據不同內容進行合理的選擇,也可以在相同的場景下混合使用,為觀眾帶來不同的體驗感受,這也是“未來電視”場景下面向不同終端帶來的復合制作模式,讓觀眾根據自身喜好自由選擇希望的觀影形式。圖 2.2.9 3D 180 VR 拍攝,可以將觀眾真正融入虛擬空間,獲得觸手可及的交互感在這里,超高清視音頻技術中所涉及的 HDR 高動態范圍、WCG 寬色域技術、HFR 高幀率和沉浸式空間音頻等,均可以賦能于以上提到各種終端顯示與制作系統中,為不同終端提供最佳的技術適配,為觀眾帶來最好的沉浸式體驗。12/32圖 2.2.10 數字視音頻技術演進方向為了保持制作、播出平臺和終端播放適配標準的
25、統一性,在 4K/8K 領域的以上應用場景,可以遵循目前國內的超高清影像制作和傳輸標準規范??蓞⒖贾醒霃V播電視總臺于2021 年正式對外發布了8K 超高清電視節目制播技術要求(暫行),其中定義了國內 8K超高清電視節目視音頻基本技術參數執行標準。以分辨率 7680 x4320、幀率 50 幀/秒、10bit 量化、HDR 標準 HLG1000、寬色域標準 BT.2020 等作為 8K 廣電制播規格要求。如 VR頭顯等終端可以根據自身的實際情況(如 VR 畫幅比為 2:1,8K 分辨率實際為 7680 x3840)進行局部調整。13/32圖 2.2.11 中央廣播電視總臺 2021 年 1 月發
26、布8K 超高清電視節目制播技術要求(暫行)中定義了 8K 超高清電視節目視音頻基本技術參數表同時,總臺還規定了 8K 超高清電視播出信號編碼標準及碼率:8K 超高清電視播出信號視頻編碼時,采用 AVS3 標準信息技術智能媒體編碼第 2 部分:視頻(T/AI 109.22020),對 8K 超高清信號(76804320/50P/HDR)采用基準 10 位檔(profile)、10.0.60級(level),視頻編碼碼率不低于 120Mbps。音頻編碼標準及碼率:采用 5.1 環繞聲編碼,編碼碼率為 448Kbps。針對 8K 超高清電視互動點播,總臺規定了文件格式參數為下表要求,其中視頻編碼要求
27、 AVS3/H.266/H.265,總碼率需高于 80Mbps??梢钥吹?,隨著 8K 技術標準的提升,新型應用場景對于高帶寬和低延時的實際需求,對于制作域還是傳輸域都提出了更高要求,特別是傳輸帶寬、網絡傳輸和處理時延、編解碼的軟硬件性能要求等,對于當下的硬件基礎和網絡條件都提出了新的要求和挑戰?,F階段的 5G 網絡,受限于傳輸速率,及各終端的數據處理能力,必須使用高壓縮編碼(如H.265 等)對 4K 和 8K 等視頻內容進行處理,一方面壓縮與編解碼過程對于信號本身的還原效果會帶來影響,同時編解碼所產生的延時量也會與信道延時疊加,從而拉開了無線鏈路與有線鏈路時延的差距。在 5.5G 乃至 6G
28、 階段,可以逐步考慮采用低壓縮視頻編碼如JPEG-XS 等,使用更低的壓縮比(如對 8K 信號采用 10:1 壓縮比,將單路數據量控制在 1-10Gbps 范圍內)和相對計算復雜度低的編解碼處理過程獲得更高質量的信號,同時降低編解碼端的整體延時。14/32圖 2.2.12 中央廣播電視總臺 2021 年 1 月發布8K 超高清電視節目制播技術要求(暫行)中定義了 8K 超高清電視互動點播文件格式參數2 2.3 3 6 6G G+超超高高清清相相關關應應用用場場景景的的發發展展5G 發展初期,將 5G+4K 作為典型應用場景,基于 5G 無線網絡“大帶寬”主要特性,滿足超高清內容傳輸的需求,同時
29、借助“切片“技術,實現可靠穩定傳輸鏈路,替代有線專線網絡或者光纖、衛星傳輸,提供更高性價比的傳輸方案。在此基礎之上,進一步發揮網絡優勢,拓展應用場景,為觀眾提供“多視角自由切換“等新交互功能體驗,實現多路 HD 或 4K 信號的并行同步傳輸,基于”邊緣計算“部署,完成超低延時的高質量信號同步切換和處理能力,讓觀眾獲得無延遲感的內容平滑切換體驗,將”大帶寬“帶來的高畫質與”低延時“帶來的強交互能力更好結合。15/32圖 2.3.1 5G+超高清+多視角結合,帶來更好的交互式用戶體驗圖 2.3.2 5G+4K+多視角制作系統框圖面向移動終端的豎屏制作,其制作系統本質與橫屏并無區別,主要是畫幅和構圖
30、的變化。在制作手段上,可以直接采用攝像機豎置直接拍攝 9:16 畫面,也可以基于 4K 或 8K 橫屏拍攝后通過后端進行豎屏裁切輸出,也可以兩個方式組合使用。呈現方式也可以根據用戶觀看習慣和導演設計,發揮豎屏觀看的特點及用戶交互式需求,引入一些新的表現方式,如雙屏縱向顯示帶來多視角、多場景體驗等,與橫屏的觀看形式和內容形成更好的差異化。16/32圖 2.3.3 2024 中央廣播電視總臺春晚豎屏直播采用了豐富的鏡頭拼接組合,為豎屏營造不同于橫屏的豐富體驗5G+VR 的應用同樣是最先出現的 5G 落地場景之一,而隨著 8K 技術逐漸成熟,VR 頭顯終端的配置逐步升級并支持 8K 信號的實時解碼能
31、力,相比于 4K VR 在全景視頻下的清晰度依然稍顯不足,8K 的高分辨率真正實現了 VR 體驗的清晰真實感受,5G+8K+VR 成為剛需。字節跳動旗下的 VR 平臺 PICO 在 2022 年 4 月舉辦的王晰演唱會中首次實現 8K 3D VR實時互動演唱會,而后鄭鈞、汪峰的演唱會也均采用 8K 3D 180VR+實時互動的形式。這幾次演唱會在清晰度、視角設置、場景交互等關鍵觀感因素方面實現巨大突破,VR 直播體驗大幅提高。圖 2.2.4 PICO 8K 3D VR 鄭鈞演唱會直播虛實結合體驗效果2023 年,4K 花園與中國移動咪咕合作,面向移動終端咪咕 VR 平臺和頭顯終端咪咕云 VR
32、平臺用戶,提供定制化演藝內容 8K VR 直播,包括 LIVEHOUSE 和 CGT48 女團現場等精彩內容,為 VR 平臺注入不斷更新的高質量、高清晰的直播 VR 節目。區別于以往節目的現場 VR 套拍模式,該檔節目的制作方式完全以 VR 終端用戶的沉浸式和臨場感體驗為優先,還加入了虛實結合的制作手段,提供了“觀眾藝人面對面“近距離、沉浸式和交互式體驗。17/32圖 2.2.5 4K 花園與中國移動咪咕合作推出 8K VR 現場奔赴計劃,為 VR 觀眾提供面對面的沉浸交互體驗除了線上用戶的 VR 頭顯終端,8K VR 直播應用場景還可以面向線下用戶設計更多沉浸式場景和體驗方式。包括將全景直播
33、影像通過大尺寸半球幕 LED 屏方式呈現,以類似 XR的技術方式,觀眾無需佩戴 VR 眼鏡就可以獲得如同身臨現場的真實體驗。圖 2.2.6 8K VR 直播也可以在全景式 LED 屏上投放,為線下觀眾提供現場沉浸體驗4K 花園與中國傳媒大學合作在 2023 級中傳開學典禮中,使用多機位 8K VR 直播系統及 VR 群播呈現方案,實現線下群體沉浸直播觀影體驗,該場景也可應用于更廣泛的跨行業應用中,如文旅和商業活動、醫療教學直播、工業現場檢測、教育教學和沉浸式體育健身等。18/32圖 2.2.7 4K 花園與中國傳媒大學合作在開學典禮中實現多機位 VR 直播和現場群體VR 觀看圖 2.2.8 6
34、G+8K VR 多機位直播及線上、線下觀影體驗系統框圖19/32圖 2.2.9 6G+8K VR 直播場景的多行業跨領域應用方式2023 年起一批新的 3D 顯示終端逐漸涌現,特別是移動端手機、PAD、便攜 AR 頭顯等產品,可以基于 5G、5.5G 技術加持實現更好的移動式立體觀影體驗,無論是 3D 空間視頻體驗,或者是基于商用 3D 模型應用開發等,在娛樂、教育、工業、醫療等場景中均能廣泛應用。其終端特點相對于 VR 頭顯來說,更偏輕量級,制作復雜度也相對較低,更利于普及。圖 2.2.10 3D LED 大屏、裸眼 3D PAD、3D 頭戴頭顯等新型 3D 顯示終端目前市面上常見的 AR
35、頭顯和 3D 裸眼 PAD 等移動終端,屏幕的 3D 顯示分辨率通常在高清 1080P 水平,也可以支持 4K 3D 的解碼,所以制作端可以根據需要來輸出 4K 或 HD 級別的雙目 3D 信號,其直播系統設計與 3D VR 多機位直播系統類似,主要差異在鏡頭選擇(VR 使用魚眼鏡頭,3D 一般使用中廣角鏡頭)。在制作端需要支持實時的立體匯聚調整(3D 出入屏控制)、3D 畫面誤差校正(如雙鏡頭垂直、旋轉誤差等)以及保證高精度的雙目畫面同步等功能,以避免觀眾在觀看 3D 時出現不適感。20/32圖 2.2.11 小型化多機位 5G+4K/HD 3D 直播系統3、8K VR 沉浸式視頻直播的技術
36、流程與特點本章節主要針對“未來電視“場景下的 8K 直播應用中,較為復雜的典型應用場景 8K VR沉浸式視頻直播流程的技術特點進行分析和描述。3 3.1 1 8 8K K V VR R 直直播播系系統統整整體體框框架架圖 3.1.1 8K VR 直播系統整體框架如圖 3.1.1 所示,常規 8K VR 直播系統分為 8K VR 內容采集、8K 實時拼接和編碼、視頻流媒體處理,CDN(Content Delivery Network)分發傳輸,終端流媒體傳輸和渲染等。主要工作流程如下:現場直播團隊通過 8K VR 攝像機采集會場多路視頻信號并回傳到 8K 拼接和編碼服務器;8K 拼接和編碼服務器
37、進行實時全景視頻拼接,并編碼成 8K 視頻流,然21/32后通過 SRT 等傳輸協議推流到直播流媒體服務器;直播流媒體服務器對 8K 全景直播信號進行實時處理和編碼,生成適合傳輸和終端播放的編碼格式;直播云 CDN 將已經編碼的直播流分發到用戶最近的邊緣服務器;最后終端進行 VR 全景直播流的下載、解碼、渲染和呈現。下面對上述關鍵業務流程進行介紹。3 3.2 2 V VR R 內內容容采采集集與與拼拼接接VR 直播要求實時的內容生產,內容采集依靠 360或 180 8K 攝像機。全景攝像機通常具有多個鏡頭,覆蓋當前場景全部視角。生成的視頻分辨率越高,則需要攝像機具有越高的分辨率以及越多的鏡頭數
38、量。直播時多個攝像頭同步拍攝生成多個不同角度的畫面內容,隨后在內置模塊或外置服務器上進行拼接。目前,主流的全景攝像頭基本自帶內置拼接模塊,支持較低分辨率的實時全景拼接。而高清晰度的 8K 視頻畫面由于計算復雜度較高,則需要在外置的服務器上進行拼接。常用的視頻拼接算法可分為基于變換的圖像拼接算法和基于拼接線的圖像拼接算法?;谧儞Q的圖像拼接算法的核心思想是通過對單應性矩陣進行調整,通過網格化的扭曲使重合區域拼接的縫隙盡可能減小,該算法適合小視角變換的情況?;谄唇泳€的圖像拼接算法核心思想是通過對圖像拼接線部分的重新調整,確保拼接的自然性,該算法適合大視角變換的情況。為了達到全方位、沉浸式渲染效果
39、,全景視頻實際上是以球面形式呈現,然而其傳輸過程必須遵守現有的視頻編碼標準,即多相機拍攝的分視角視頻在經過拼接后,需要映射成平面矩形幀。目前主流的映射方式有圓柱型映射 ERP(Equi-Rectangular Projection)和立方體映射 CMP(Cube-Map Projection)兩種。圓柱型映射 ERP 方式與世界地圖的產生相類似。立方體映射 CMP 首先將完整球面均分為六個區域,分別投影到立方體的六個面上,其中底面、背面和頂面需要再通過特定的旋轉操作與其他三個面共同排列成矩形幀。為了提高編碼效率,三個旋轉面的操作原則是使排列時面與面銜接處的媒體內容保持連貫性。3 3.3 3 V
40、 VR R 視視頻頻編編碼碼VR 直播系統中存在兩個編碼環節,一是拼接映射的視頻需要編碼為 8K 的直播信號,方便再次傳輸至云端流媒體服務器;二是流媒體服務器需要將信號編碼為不同目標碼率的適合傳輸和終端播放的編碼格式。全景視頻的編碼與 2D 視頻編碼方法相似,都需要采用混合編碼框架對序列進行壓縮,但是全景視頻高分辨率、高形變的特點又使其比 2D 視頻編碼面臨更多困難。將傳統編碼方案直接用于全景視頻主要會產生以下問題:1)全景視頻或多或少地存在不均勻采樣,由此引入了幾何失真;2)全景視頻由球到面的投影增加了人工邊界并導致不連續,影響空間預測效率,編碼后視頻碼率高。以上兩點都會降低視頻編碼效率。為
41、了克服這些困難,研究者開發了各種專用于全景視頻的編碼工具,以在編碼效率和視覺質量之間取得更好的折衷,這些工作可分為以下幾類:區域自適應平滑技術。該技術的出發點是在 ERP 投影平面中,兩個極點附近的區域要比球形區域中實際對應的區域大很多,而實際上人眼對其不是很敏感,因此這些區域的變形變得不那么重要。具體方案是在編碼之前對 ERP 投影平面的頂部和底部區域進行平滑處理,經過平滑處理后的編碼可以節省很多比特,因為平滑區域只需要較少的變換系數。該方案的優點在于在節約碼率的同時幾乎不會引起22/32感知質量的下降;缺點在于難以推廣到其他投影方式中。率失真優化技術。通過分析球面上的失真變化并探討其對率失
42、真優化過程的影響,采用修改編碼優化目標,實現了在球面上進行率失真優化。由于該算法是基于全景視頻的質量評價指標的修改,因此可應用于各種投影。但是率失真模型的建立十分困難,由于目前它使用的依然是基于像素變化的評價指標,并不能很好地表示人的真實主觀感受,優化效果仍有待提高。在流媒體服務器側,流媒體服務器在接收到 8K 直播視頻流后,需要通過轉碼、封裝等操作,形成適合在互聯網上進行傳輸的 Dash、HLS 等流媒體格式,并通過 CDN 網絡進行分發和傳輸。VR 常用的視頻流有兩種方式:全畫幅傳輸和基于 FoV(Field of View)的分塊傳輸。全畫幅傳輸方式將 360環繞畫面都傳輸給終端,當用戶
43、頭部轉動需要切換畫面時,不需額外下載任何視頻分塊,因此能夠較好地響應用戶頭部運動。該方案的缺點在于傳輸帶寬需求非常大,現有網絡條件難以有效承載。如圖 3.3.1 所示,基于 FoV 的分塊傳輸將視頻在時間上切分為多個分片(Segment),將分片在空間上劃分多個分塊(Tile),每個分塊擁有不同的碼率等級。服務器對源視頻進行轉碼,以 Tile 為基本單元保存不同碼率等級的視頻文件??蛻舳丝梢愿鶕枰M行碼率選擇,向服務器請求指定碼率等級的分塊。碼率選擇的基本思路是為視窗內的分塊請求高碼率,不請求或僅以較低碼率請求視窗外分塊。圖 3.3.1 分塊 VR 視頻編碼基于 FoV 的分塊傳輸方案雖然能
44、在最大程度上利用帶寬,但高度依賴于視窗預測(Viewport Prediction)。預測窗口較長時,FoV 預測算法的精度非常有限,預測視窗和實際視窗偏差較大,因此終端側的接收端緩沖區不宜過大;而網絡帶寬劇烈波動時,接收端需要較大長度的緩沖區以應對抖動。兩者之間存在的天然矛盾極易造成視頻黑邊和卡頓的發生。圖 3.3.2 分層 VR 視頻編碼為了解決該問題,一種分層傳輸方式開始被廣泛使用。它將視頻的每個分段編碼成一個低分辨率(比如 2K)、全畫幅的基礎質量分段,以及多個高分辨率的增強質量分塊。終端在觀看上述編碼的 VR 視頻時,需要首先下載全畫幅、低分辨率的基礎質量分段,以獲得基礎觀看體驗;根
45、據實際網絡條件,選擇性下載視場內的增強質量分塊。如果視窗預測是正確的,并且增強質量分塊按時交付,這樣視窗內的視頻質量得以增強。如果預測是錯23/32誤的,或者增強質量分塊從遠端取回后已經錯過了播放時限,用戶仍然可以觀看基于基礎質量分段渲染的低質量視頻。因此,這種分層全景視頻傳輸方式流在應對動態網絡和視窗預測誤差方面都具備了較高的魯棒性。3 3.4 4 V VR R 內內容容分分發發編碼后的多碼率全景視頻將會采用與傳統直播類似的方式進行 CDN 分發。CDN 通常采用層次化網絡結構,包括中心節點、區域節點和邊緣節點。通過 CDN 分發網絡,可以快速地將 8K VR 直播視頻內容推流至更接近用戶的
46、邊緣節點,從而大量減少直播數據流在骨干鏈路中的并發數量,在提升用戶體驗的同時,可以有效降低網絡流量壓力。隨著 5G/6G 和 MEC(Multi-access Edge Computing)技術快速發展,CDN 邊緣節點可以部署在距離用戶更近的地方,比如熱點區域、5G 接入網側等,因此更能適應 8K VR 視頻直播的低時延、高帶寬需求。同時,借助虛擬化技術和人工智能技術,CDN 邊緣節點可以更為高效地管理計算、存儲和網絡等資源,提供智能化的內容緩存、超分辨率視頻增強、云渲染等能力。3 3.5 5 V VR R 流流媒媒體體傳傳輸輸在 8K VR 直播視頻流媒體傳輸中,自適應碼率選擇和下載調度是
47、重要的關鍵技術之一??紤]到不同的編碼方式,自適應碼率選擇是指在 VR 客戶端在下載高分辨率 Tile 分塊時,根據動態的網絡鏈路條件,如何選擇以哪個碼率來下載相應的分塊;而下載調度是指,應該何時下載基礎質量分段,何時下載增強質量分塊。自適應碼率選擇和下載調度算法的目標是如何在有限的帶寬下為用戶提供更好的用戶體驗,考慮視頻卡頓、清晰度,以及對用戶頭部運動的響應速度等因素。自適應碼率選擇和下載調度算法依賴于視場預測的結果,為視場內的不同 Tile 選擇合適的碼率進行下載。由于 Tile 碼率的選擇會影響到視頻質量、卡頓、視頻質量波動等決定用戶最終 QoE 的因素,因此上述問題是一個復雜的動態規劃問
48、題。目前解決方案主要分為基于規則的啟發式方法和基于學習的方案。傳統基于規則的啟發式方案計算復雜度低,但由于其通常僅考慮短期優化,總體性能差強人意;近年來,基于深度強化學習的方案引起了研究人員極大的興趣,其優勢在于在特定場景下能夠學習到更優的策略,但往往會面臨魯棒性差、計算復雜度高等問題。因此,設計低復雜度、高魯棒性的 VR 碼率自適應和下載調度算法對于提升 8K VR直播用戶體驗至關重要。視場預測是 8K VR 直播視頻流媒體傳輸的另一項關鍵技術,視場預測的準確性將直接影響用戶體驗和傳輸效率。目前視場預測主要有兩種方式:一是基于用戶頭部運動歷史軌跡進行未來視場的預測;二是基于內容本身的視覺顯著
49、性特征進行預測?;陬^部運動軌跡的預測方式僅適用于短時預測,即未來 12 秒的視場預測,長期預測的準確性不足;而基于視覺顯著性特征的預測方式可以反映用戶的共同關注區域,能夠用于長時預測,但是難以體現用戶的個性化行為,并且計算復雜度較高。因此,近年來視場預測的技術發展趨勢是將二者結合起來進行聯合預測,包括采用邊端協同的視場預測方法。盡管如此,低復雜度、高準確性的視場預測方法仍然是當前面臨的重要技術挑戰。24/323 3.6 6 云云 V VR R8K VR 通常需要在終端側進行解碼和實時渲染,因此對于終端性能要求較高。為了降低 VR 終端成本,云 VR 方案引起了人們的廣泛關注。云 VR 是指云
50、端對交互行為進行計算,并實時渲染和編碼壓縮后,以視頻流形式推流到終端。依托于云渲染技術,云 VR 將 VR 虛擬現實的內容和計算能力部署在云端,利用高速網絡將渲染后的圖像和聲音傳輸到用戶終端,實現無需高性能設備也能享受沉浸式 8K VR 體驗。云 VR 可大幅降低用戶所需投入的硬件成本與使用門檻,用戶僅需一款輕便的頭戴顯示器或智能手機,通過云端強勁的 GPU渲染能力,用戶可盡情享受高清晰、高幀率、低延遲的 VR 體驗,提升了 VR 的普及程度和便利性。云 VR 涵蓋的關鍵技術包括:分布式計算和渲染。云 VR 將計算和圖形渲染任務從終端設備卸載到云服務器上,通過云端強大的計算資源進行高效處理,減
51、輕終端設備的負擔??紤]到 8K VR 直播場景,單用戶對計算資源和網絡帶寬需求比較高,在并發用戶較多下,分布式計算和渲染將成為一項重要關鍵技術。低時延傳輸技術。利用 5G/6G 網絡的高帶寬和低延遲,實現對云端渲染的視頻流進行快速、穩定地傳輸到終端設備,將有助于保障用戶體驗的即時性和流暢性。另外,將 CDN 等計算資源下沉到網絡邊緣,通過在邊緣節點進行數據處理,減少傳輸延遲,提高用戶體驗的響應速度,特別是在處理實時的交互和渲染任務時。用戶交互技術。實時交互,確保云端執行的應用能夠實時響應用戶的交互操作,包括手勢、頭部運動等,使用戶在虛擬環境中獲得自然而流暢的交互體驗。手勢識別和追蹤,實現對用戶
52、手勢和頭部動作的高精度識別和追蹤,以提供更真實的用戶交互體驗,增強虛擬現實的沉浸感。3 3.7 7 8 8K K V VR R 現現場場直直播播系系統統的的技技術術特特點點前面重點討論了基于云端處理的 8K VR 直播流程。本章節討論的直播主要以面向 B 端用戶的 8K VR 本地化直播系統服務,其系統和制作標準需求以專業級內容制作規格為主。這里的 8K VR 直播,根據不同場景需要,既可以是單機位直播,也可以是多機位大轉播系統級別直播??紤]到節目內容制作的實際需求,這里介紹的拍攝方案主要以 180 2D或 3D 為主;360更適合無主體的全景影像(如風光人文類 VR 紀錄片)或轉播現場中表現
53、環境的全景機位。專業級的 8K VR 單機位直播系統,可以由以下部分組成:25/32圖 3.7.1 單機位 180 8K VR 直播系統示意框圖系統可以支持單鏡頭 2D(4Kx4K 50P)或雙鏡頭 3D(4Kx4Kx2 50P),可以實現所有的參數控制和影像處理。針對于 8K 3D VR 攝像機信號,可以完成實時的 VR ERP 校正(將魚眼 180畫面拉伸為等距柱狀投影畫面)、3D 雙目影像誤差校正(如光軸垂直誤差的數字校正)、攝像機影調控制(畫質優化處理)、攝像機參數遙控調整(如攝像機光圈、白平衡、ISO、視音頻延時等關鍵參數等)。另外,考慮到 VR 現場制作的用戶需求,本系統還可以直接
54、連接 VR 頭顯,將 8K VR 信號轉換至 VR 頭顯進行實時高質量監看,幫助導演確認 VR 拍攝效果,做到“所見即所得”。單機位直播制作方式,比較適合表演方向固定的中小型舞臺類表演或者類似場景的活動(如商業電商直播、醫療工業教育類培訓等),觀眾在一個視點位置基本可以獲得現場全貌也可以關注到細節。圖 3.7.2 單機位 8K VR 現場直播的機位設計和拍攝效果(咪咕歌舞青春 8K VR 現場)在單機位系統基礎上,可以擴展為多機位大型 8K 2D/3D VR 現場轉播系統。用途一般是大型體育賽事、大型演藝活動等。26/32圖 3.7.3 可用于小型節目 3 機位 8K 2D 360 VR 直播
55、的小型系統(前 1803 機位切換+后180虛擬包裝縫合為 360全景)圖 3.7.4 籃球比賽中 3 機位 VR 轉播機位點設計圖 3.7.5 支持 8K 3D VR 50P 制作的大型多機位沉浸式直播系統27/32圖 3.7.6 在動感地帶街舞大賽中采用 6 機位 8K 3D VR 進行直播的機位設計將多套 8K 3D 180 VR 相機直播設備,連接到廣播級 8K 切換臺即可進行專業級的 8KVR 直播制作。由于 8K 3D VR 信號標準為 7680 x3840(2:1)寬高比,需要 8K VR 攝像機控制處理單元在信號輸出時,采用信箱模式(上下加黑邊填充)將輸出格式轉為廣電 8K 分
56、辨率標準7680 x4320(16:9),才可以進行信號傳輸和制作;但在前端直播系統末級,建議在編碼器端,將最終的輸出 VR 信號格式再調整回 2:1 寬高比 7680 x3840 信號,以適配 VR 頭顯終端,避免由于輸出格式不當造成終端顯示畫面出現變形。一般根據現場節目呈現和終端輸出效果的需求,也可以將 2D 攝像機拍攝畫面(如 2D 直播的 PGM 或者特寫鏡頭)以及賽事數據模板或演藝節目介紹等信息,通過 VR 處理器轉換為 VR 適配的球面效果,再嵌入進 VR直播畫面中;或者疊加到通過 VR 信號處理單元生成的后 180虛擬包裝畫面,再與前 180實拍畫面縫合為 360的 VR 全景直
57、播影像。圖 3.7.7.8K 3D VR 格式轉換鏈路圖制作完成的 8K VR 信號,接入主備路兩臺 8K 編碼器中,即可進行推出 8K 流媒體信號。目前在 4K 花園與咪咕合作的 8K VR 直播場景中,主要是基于 SRT(Secure ReliableTransport)協議進行編碼傳輸,在 8K 50P VR 視頻規格下傳輸速率為 80Mbps,以保證足夠的 8K 畫面品質。28/32圖 3.7.8.8K 3D VR 直播信號處理流程RTMP(Real-Time Messaging Protocol)流媒體傳輸協議作為公網下在高清和 4K 階段使用較多、平臺支持度較高的協議標準,通常被用
58、于較為穩定的網絡環境中,對網絡質量要求較高。對于 8K 編碼直播推流,其高分辨率和高碼率可能會需要更高的帶寬和更強大的服務器支持,RTMP 在不穩定網絡條件下可能會出現問題。盡管 RTMP 沒有設定固定的視頻碼率上限,但在面對非常高的碼率時可能會受到限制,特別是在不穩定的網絡條件下。另外,RTMP 在傳輸時可能會有較大的延遲,對于要求較低延遲的應用場景可能不太合適。SRT 被設計用于在不穩定網絡條件下提供可靠的流媒體傳輸,它包含了多種技術,例如錯誤糾正、動態調整帶寬、重傳機制等,這些特性使得 SRT 在處理高碼率視頻時表現更為穩定和魯棒。在傳輸 8K 視頻這樣高分辨率和高碼率的內容時,SRT
59、可能比 RTMP 更適合。因 SRT 有能力在網絡條件不佳的情況下,保持較高的傳輸品質,而且能夠靈活地調整帶寬以適應不同的網絡狀況。即使在網絡不穩定的情況下,SRT 也有可能更好地維持高碼率視頻的傳輸穩定性和質量。4.未來電視對 6G 移動網絡的需求6G 移動網絡和 5G 網絡相比,最顯著的優勢在于用戶的實際體驗速率可以躍升至 Gbps這個級別,包括更低的時延,這也是 5G 網絡所不具備的條件。用戶體驗速率時延=1Gbps2.5ms在“未來電視”應用場景中,前端制作域所需的實時數據處理和傳輸量級是遠遠大于用戶接收和觀看需求的。由于廣電級別視音頻信號制作對于信號質量和傳輸處理延時都有極高要求,過
60、往在現場轉播系統中,基本都是采用非壓縮視頻信號規格,其 10bit 4:2:2 標準下的高清 50i、高清 50P、4K 50P 和 8K 50P 的信號數據碼率分別達到 1.5Gbps、3Gbps、12Gbps、48Gbps。如此大的數據量對于無線傳輸來說,在 6G 時代以前,無論是 5G 還是微波等,都不可能滿足,所以就必須使用高壓縮編解碼流程來降低數據量以便傳輸,而這樣的代價除了圖像質量下降之外,還有就是會額外增加高壓縮復雜處理算法所帶來的編解29/32碼處理延時,從而導致為了使用 5G 無線網絡進行傳輸,所產生的實際延時總量可能遠遠超出了理論值或者理想預期。6G 移動網絡所帶來的實際用
61、戶體驗速率指標,大于 1Gbps,也就意味著,無需采用復雜高壓縮編碼,特別是針對大數據量的 4K 乃至 8K 視頻,采用 10:1 左右的前壓縮比,將實際數據量降低到 1.2Gbps 和 4.8Gbps 這個量級,如 JPEG-XS 前壓縮編碼方式,就可以兼顧高質量圖像和高編碼效率,同樣帶來更低的編碼延時。JPEG-XS 是 JPEG 國際委員會制定的新國際標準,該標準可在低壓縮比的場景下,實現視覺無損壓縮。JPEG-XS 是一種采用 ST 2110-22 標準基于小波算法的幀內淺壓縮編碼算法,可以支持到 16bit 精度,120FPS,8K 分辨率。JPEG-XS 編碼復雜度低、硬件平臺親和
62、性強,現有硬件平臺都可以高效支持,同時 JPEG-XS 主要在幀內進行編碼,不執行時間維度方面的預測,雖然壓縮比例不會很大,但會極大降低時延。這些優勢可以提升制作過程中的編輯效率,降低傳輸過程中 8K 文件數據量太大導致的一些問題(8K 無壓縮處理所需的 12-SDIx4 接口或 100G IP 流等),可以將 8K 視頻以 10G帶寬下傳輸,具備高性能和高穩定性及多層實時編輯能力。圖 4.1 6G+4K/8K JPEG-XS 無線攝像機拍攝傳輸鏈路可以說,如果在確定傳輸穩定、可靠的前提下,6G+4K/8K JPEG-XS 的組合方案,對于高級別的專業現場制作要求,相比于過去微波傳輸等無線信號
63、傳輸解決方案,已經有了質變,同時將有線和無線機位的畫質差距無限拉近,甚至可以達到差別忽略不計,同時也為輕量化制播系統設計和更多的特種應用無線拍攝場景提供了更多的創作可能性。在 ITU 定義的 6G 場景中,未來電視屬于沉浸式通信(Immersive Communication)這一應用場景,也是 5G eMBB 的衍生場景??梢灶A期,在 6G 時代,隨著網絡速率的提升和傳輸時延的優化,包括 8K 直播等應用未來電視將會得到更好的應用。30/32圖 4.2 IMT-2030 的六大場景和四大原則對于“未來電視”的后端用戶應用場景需求,6G 無線網絡帶寬能力的大幅提升,同樣可以進一步降低終端側對于
64、 8K、3D、VR、XR 等高碼率數據流的解碼和處理壓力,對于 8K分辨率超高清視頻、8K 2D 和 3D VR 視頻、4K 3D 視頻等,乃至未來更高分辨率標準的2D/3D/VR 等視頻內容,其數據量均數倍于常規的 4K 50P 視頻,如果采用 H.265 高壓縮編碼如將 8K 50P 視頻壓縮到 100Mbps 左右,雖然可以控制在 5G 用戶體驗速率范圍,但對于終端側的硬件解碼能力同樣有很高的要求,雖然數據量看似不大,但編解碼的負荷導致了硬件性能和成本增長,并不利于實際的內容傳播和普及。同樣,在 3D 和 VR 場景中進行交互式體驗,對于低延時有很高的要求,6G 帶來的更低延時和高碼率有
65、助于數據處理復雜度的降低,都可以更好的支持更多復雜交互場景的設計開發??傊?,6G 移動通信可以支持用戶側的互聯網視頻編解碼可以在壓縮率、處理算力和效率、延時量、數據量與最終效果等方面,重新選擇新的平衡點,實現更小的最終效果妥協,為觀眾創造更理想的視聽體驗。5.總結如果說 5G 無線通信助推了超高清視頻應用、VR 等場景的快速普及和技術升級發展,那么 6G 則將在此基礎上,進一步放大和拓展,基于新型終端(新一代高清晰 VR 頭顯終端、裸眼 3D 顯示終端等),為觀眾帶來更強的沉浸式視聽體驗?!拔磥黼娨暋笔腔诓煌慕K端載體,采用多種創作手段和制作技術,滿足觀眾不同類型的體驗需求和更自由的選擇,而
66、沉浸式、臨場感又是視聽感受的終極目標。6G 技術和沉浸式通信場景的引入和加持,就如同高動態范圍 HDR 和寬色域技術 WCG 賦能于超高清技術一樣,為視聽體驗的技術升級插上了翅膀,將原有鏈路的瓶頸打開,將帶來無限可能。我們也期待著,6G 無線通信技術能夠盡快完善、落地、普及,同樣的“未來電視”相關的視頻技術和應用場景也將不斷打磨和升級,希望能夠在原有 5G+超高清、5G+VR 等場景的基礎上,有更顛覆性的突破,真正造福于時代,滿足用戶高品質體驗需求。31/32參考文獻:1.8K JPEG-XS 制播全流程測試概述,中央廣播電視總臺 李巖 劉斌,20222.8K 超高清電視節目制播技術要求(暫行),中央廣播電視總臺,2021.13.Future Vision 2030-2040,NHK Science&Technology Research Laboratories4.ITU-R WP5D 完成了 IMT-2030(全球 6G 愿景)框架建議書,華為 陳雁,朱佩英,童文32/32參與單位及人員4K Garden 4K 花園于路(Lu Yu)ABS 廣播電視科學研究院張宇(Yu Zhang)CUC 中國傳媒大學媒體融合與傳播國重實驗室林濤(Tao Lin)Qualcomm 高通曹一卿(Yiqing Cao)