《5G毫米波賦能8K視頻制作白皮書(31頁).pdf》由會員分享,可在線閱讀,更多相關《5G毫米波賦能8K視頻制作白皮書(31頁).pdf(31頁珍藏版)》請在三個皮匠報告上搜索。
1、目錄目錄1.1.背景、商業需求背景、商業需求.1 12.2.8K8K 視頻用例、協議、需求視頻用例、協議、需求.2 22.1.8K 視頻無線回傳用例描述.22.2.視頻壓縮格式.32.2.1.視覺無損壓縮.42.2.2.深壓縮協議.62.3.8K 超高清視頻無線傳輸的 KPI.83.3.毫米波使能毫米波使能 8K8K 視頻傳輸視頻傳輸.10103.1.端到端傳輸方案.103.1.1.網絡架構選擇.103.1.2.核心網方案.103.1.3.無線網絡方案.113.2.上行傳輸技術.123.2.1.大上行幀結構.123.2.2.MU-MIMO.133.2.3.高功率終端.143.3.協議適配和鏈路
2、聚合.143.3.1.傳輸協議背景.143.3.2.ISSP 協議介紹.153.3.3.ISSP 協議小結.173.4.生態鏈關鍵企業調研.173.4.1.毫米波移動通信產業鏈成熟度.183.4.2.超高清編碼器成熟度.183.4.3.基于 5G 的超高清視頻移動回傳成熟度.204.4.典型傳輸案例典型傳輸案例.20204.1 基于 5G 毫米波 8K 視頻端到端傳輸演示.204.2 基于 5G 毫米波網絡應用的延展性討論.214.2.1.各類移動直播報道.224.2.2.外場制作/車載制作.234.2.3.遠程制作.234.2.4.風景攝像頭慢直播.245.5.結束語結束語.2626參考文獻
3、參考文獻.2 28 8致謝致謝.2 29 911.1.背景、商業需求背景、商業需求隨著 5G 全方位賦能,“信息視頻化、視頻超高清化”已經成為全球信息產業發展的大趨勢。從增長和規模來看,據預測,到 2022 年底,超高清占視頻點播 IP 流量的百分比將高達 35%,我國超高清視頻產業規模將超 4 萬億元;2021年東京奧運會,中國央視和日本 NHK 均實現了 8K 賽事轉播。2022 年春晚、2022年北京冬奧會已明確將采用 8K 超高清直播。由此推測,未來最受矚目的體育賽事直播,包括奧運會、世界杯等,將均采用超高清制作傳輸。業界對超高清視頻業務上行需求的增長不斷攀升,中國超高清視頻產業發展擁
4、有難得的機遇,同時這也給網絡上下行速率及容量帶來巨大的挑戰。從產業鏈角度看,超高清視頻產業鏈條長,發展超高清視頻產業將帶來芯片、視頻制作設備、存儲設備、網絡傳輸設備、顯示面板、終端整機等產業鏈各環節產品的升級換代與流程再造。在硬件方面,以 8K 為代表的超高清視頻產業發展將推動投影儀、VR/AR、戶外大屏等設備成為新型入口;在應用方面,8K+AI、8K+VR/AR、8K+全息、8K+互動等融合技術的發展將帶動家庭、文娛等 2C 市場的進一步發展,以及安防、醫療、工業控制、精密制造等 ToB 領域的市場爆發。在我國,超高清終端競爭力、覆蓋率持續走高,60 英寸以上大尺寸面板將全面實現超高清化,超
5、高清體驗“走進千家萬戶”的基礎終端能力已經具備,良好的基礎將強力驅動產業和消費全面升級,超高清市場爆發愈加可期,中國將成為最大的超高清市場。中央廣播電視總臺在 2021 年 1 月頒布的8K 超高清電視節目制播技術要求(暫行)1中規定:1)8K 超高清演播室或轉播車視頻系統中的 8K 設備,直接使用 8K 基帶信號或將 8K 基帶信號轉換為 SMPTE-2110 標準的無壓縮 IP 信號在系統中進行制作。其中,送總控的信號按照 SMPTE-2110-20 標準,采用 4 個 12Gbps 的視頻 IP 組播信號流方式實現8K超高清信號傳輸。制作域傳輸采用SMPTE-2110定義的Jpeg XS
6、等淺壓縮協議。22)8K 超高清電視播出信號和互動點播編碼壓縮技術要求,采用AVS3/H.266/H.265 標準,視頻編碼碼率在 80-120Mbps。通過以上數據可以看出,廣電標準的 8K 無壓縮信號雖然能夠保證超低延時,但是無論是采用基帶(12G SDI x4)或者 SMPTE-2110 標準的 IP 流,其傳輸速率要求都是目前無線傳輸難以承載的,只能通過光纖傳輸方式。而 8K 播出和互動點播編碼標準目前采用的 80-120Mbps 左右的傳輸速率,基本上接近目前公網環境 5G 上行速率上限;但是采用現有的互聯網視頻傳輸編解碼方式,編解碼延時量基本都在秒級以上,又無法體現 5G 低延時的
7、特性;另外其碼率過低,難以滿足母盤制作的需求。因此,采用 JPEG XS 編解碼技術,通過對 8K 視頻采用淺壓縮到吉比特每秒的碼率,接近于 8K 廣播級視頻 10bit 記錄碼率,比播出端傳輸 8K 碼率顯著提高,可以保留更多的影像細節和畫質。同時較低的編解碼延時量,與 5G 網絡協同,可以獲得高速 5G+8K 傳輸能力,這也是之前的解決方案不具備的特點。2.2.8K8K 視頻用例、協議、需求視頻用例、協議、需求2.1.2.1.8K8K 視頻無線回傳用例描述視頻無線回傳用例描述為了傳輸高達數百兆甚至數吉比特的視頻流,傳統 8K 視頻在制作域傳輸通常采用帶寬很大的光纖通道。這種傳輸技術最大的局
8、限是攝像機和編碼器需要提前設定好位置,無法靈活移動。這一點不適合移動性很強的體育賽事攝制,特別是移動速度很快,或是戶外大范圍移動的項目。采用毫米波的 5G 技術突破了傳輸帶寬的瓶頸,可以提供吉比特級別的上行帶寬,通過移動通信上行鏈路回傳 8K 大帶寬視頻成為可能。下圖是 8K 超高清視頻通過 5G 鏈路傳輸示意圖。8K 攝像機將采集到的數據傳輸到編碼器進行編碼,編碼后的數據通過路由器和 CPE 作為上行數據發出。信號直接進入邊緣計算節點MEC 的云渲染服務器。3圖圖1 1 通過通過5G5G鏈路轉播回傳超高清視頻示意圖鏈路轉播回傳超高清視頻示意圖2.2.2.2.視頻壓縮格式視頻壓縮格式根據變換域
9、的不同,視頻壓縮協議通??煞譃榛?DCT 變換和基于小波變換兩大類。二者技術特點各有不同,目前壓縮率較高的 MPEG H.264、H.265、H.266和國內的 AVS 系列標準都是基于 DCT/DST 變換;而制作域淺壓縮標準 TICO、JPEG-XS、JPEG-2000 通常采用小波變換。8K 攝像機輸出的通常是 4 路 12Gbps 的 SDI 信號,通過制作域的淺壓縮編碼器后轉換為 IP 碼流通常的大小在數吉比特到數百兆比特每秒,遠超出目前 5G低頻(sub-6)商用網絡和 4G 商用網絡的能力,在 5G 毫米波網絡商用之前通常只能通過光纖或以太網傳輸。8K 等超高清視頻信號傳輸通常
10、采用 H.265 等深壓縮格式傳輸,為了適配 4G、5G 商用網絡能力,通常采用較高的壓縮比例將碼流速率控制在數十兆比特每秒。圖圖2 2 以小波變換和以小波變換和DCTDCT算法基礎的初次編解碼圖像質量對比算法基礎的初次編解碼圖像質量對比42.2.1.2.2.1.視覺無損壓縮視覺無損壓縮隨著網絡傳輸帶寬不斷提升,無論是有線專用網絡還是無線網絡,包括無線微波技術和 5G 毫米波技術的不斷推進和施行,數據傳輸鏈路帶寬隨之增加,業界和用戶對尤其是文娛和體育賽事直播和視頻傳輸的質量有了更高的要求,對視頻傳輸的時延要求越低越好。廣電行業在追求 8K 視頻的同時,UHD HDR 高動態對比度和 BT.20
11、20 廣色域的視頻處理成為當下高端專業視頻處理的基礎,視頻高質量也帶來了傳輸鏈路帶寬的高要求。繼 TICO 格式之后,JPEG-XS 成為當前廣電和高端視頻行業最為合適的 8K或 4K UHD 視頻遠程高質量、超低時延傳輸的最優格式。JPEG-XS(ISO/IEC 29170)以低復雜度的次幀內離散小波變換和五層水平、二層垂直為基礎做圖像壓縮,結合熵編碼,最后按要求進行碼率分配。圖像編解碼可以分別控制在 916 條掃描線,并且不需要相關圖像組的預測變換,從基本上決定了 JPEG-XS 編解碼端到端的時延是目前已知算法格式中最小的。實際可以綜合傳輸帶寬和視頻質量要求等方面的考量,達到保持視頻的整
12、體質量的前提下,適應存儲設備或網絡傳輸帶寬。在廣電級專業節目制作領域,國際和國內的大型電視臺設定的 JPEG-XS 壓縮比典型值為 10:1 到 16:1,通過 SMPTE ST2110 協議將 JPEG-XS 視頻碼流與相關音頻和輔助數據分別進行傳輸,充分體現 RTP 數據組播對高端視音頻的靈活性。并且實現以母盤圖像質量的端到端時延可以低至 0.3ms,滿足演播室等視頻節目遠程傳輸和制作的需求。JPEG-XS 從算法基礎上就決定了成型產品的幾大特點:1)JPEG-XS 編解碼的視頻還原度高,尤其多次迭代編解碼后的視頻質量穩定。根據波視公司的日本用戶以典型視頻序列測試,實際得出的經過JPEG-
13、XS 二次編解碼的 PSNR 值與第一次相近。這也是相比于基于小波變5換的幀內編碼格式 JPEG2000,和其他以 DCT/DST 變換為基礎的幀間壓縮編碼格式最大的優點。表格表格 1 1 JPEG-XSJPEG-XS 4K4K 12G-SDI12G-SDI 迭代編解碼圖像還原度對比迭代編解碼圖像還原度對比-PSNRPSNR 實際測試值實際測試值2)端到端傳輸的視頻時延小3)JPEG-XS 編解碼時延的算法理論值低于 0.1ms,實際成型的鏈路產品考慮到解碼端 Line Buffer,端到端時延可小于 0.3ms。實際的網絡傳輸系統中的時延會產生 3ms40ms 的不同值,需要根據專用有線、或
14、無線網絡的鏈路狀況,和 ST2059 網絡時鐘和視頻傳輸系統中的參考相位精度而定。4)JPEG-XS 編碼數據為恒定碼率,對傳輸鏈路帶寬的需求穩定5)JPEG-XS 視頻碼流的壓縮碼率根據圖像變換設定后,無需考慮其他相關的預測信息量化和存儲,數據占用的帶寬是恒定值。通過 SMPTE ST2110-22協議傳輸,相比于傳統的廣電信號傳輸,超高清 UHD 信號系統的 IP 傳輸鏈路帶寬降低至幾十分之一。大大降低了超高清系統的成本,也為 IP交互和中央管理系統帶來了可靠性和靈活性。隨著無線傳輸可提供的鏈路帶寬增大至幾百兆比特每秒甚至 1Gbps,JPEG-XS 編解碼數據的高質量、超低時延和穩定性,
15、帶來高端視頻傳輸應用耳目一新的效果。6)8K/4K 超高清信號通過 SMPTE ST2110 協議傳輸視音頻數據流,同時可以采集遠程設備、或互動信息,同步進行傳輸。JPEG-XS 碼流和異地設備的同步信息或互動信息都可以通過 ST2110 分別進行同步傳輸,這種創新可以使 VR 虛擬現實、超高清遠程控制等應用更加逼真和具有時效性。67)JPEG-XS 支持 FPGA 硬件和軟件基于 CPU 做編解碼處理,但是對接口速度和處理資源有相應要求,視頻分辨率越高,運算頻率越高,處理帶寬越大,占用的硬件資源越大。隨著支持 JPEG-XS 的軟件產品出現,VSF 國際組織針對 JPEG-XS 碼流通過 S
16、T2110-22 協議傳輸出臺了更加詳細的標準和指導規范,并在不斷的更新,涵蓋了 JPEG-XS-22 的打包格式和各項數據范圍,相對統一了 JPEG-XS-22 的數據格式,促進了基于硬件和服務器基礎的軟件的 JPEG-XS 編解碼的兼容性。2.2.2.2.2.2.深壓縮協議深壓縮協議深壓縮協議通常針對傳輸環境變化較大的公網 IP 鏈路設計,壓縮率高,對鏈路適應性好。在變化較為復雜的環境中采用深度壓縮的視頻編碼模式,視頻壓縮應盡可能的采用高效率的視頻壓縮編碼方式,這樣可以有效的降低視頻碼率,降低對網絡上行帶寬的要求。常用的深壓縮編碼協議包括 MPEG 制定的 H.265、H.266 和國內制
17、定的 AVS3。1.1.H265H265 編碼編碼H265 編碼又稱 HEVC(High Efficiency Video Coding)是繼 H.264 后的新一代編解碼標準,與 H.264 一樣,它由 ISO/IEC 運動圖像專家組和 ITU-T 視頻編碼專家組(VCEG)聯合制定,壓縮效率比 H.264 高 50%,主要應對當前視頻應用不斷向高清晰度,高幀率,高壓縮方向發展趨勢而發布。HEVC 協議標準第一版與 2013 年 7 月發布,實現了在 H.264 標準復雜度基礎上,將壓縮率提升了一倍以上。作為新一代視頻編碼標準,HEVC 仍然是預測加變換的混合編碼框架,但是其相對于 H264
18、 在很多方面進行了革命性的提升,其主要技術亮點有:1)靈活的編碼結構在 H.265 中,將宏塊的大小從 H.264 的 16 16 擴展到了 64 64,以便于高分辨率視頻的壓縮。同時,采用了更加靈活的編碼結構來提高編碼效率,包括編碼單元(Coding Unit)、預測單元(Predict Unit)和變換單元(TransformUnit)。72)靈活的塊結構RQT(Residual Quad-tree Transform)RQT 是一種自適應的變換技術,這種思想是對 H.264/AVC 中 ABT(AdaptiveBlock-size Transform)技術的延伸和擴展。對于幀間編碼來說,
19、它允許變換塊的大小根據運動補償塊的大小進行自適應的調整;對于幀內編碼來說,它允許變換塊的大小根據幀內預測殘差的特性進行自適應的調整。大塊的變換相對于小塊的變換,一方面能夠提供更好的能量集中效果,并能在量化后保存更多的圖像細節。3)采樣點自適應偏移(Sample Adaptive Offset)SAO 在編解碼環路內,位于 Deblock 之后,通過對重建圖像的分類,對每一類圖像像素值加減一個偏移,達到減少失真的目的,從而提高壓縮率,減少碼流。采用 SAO 后,平均可以減少 2%6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約 2%。4)自適應環路濾波(Adaptive Loop Filter
20、)ALF在編解碼環路內,位于 Deblock 和 SAO 之后,用于恢復重建圖像以達到重建圖像與原始圖像之間的均方差(MSE)最小。5)并行化設計當前芯片架構已經從單核性能逐漸往多核并行方向發展,因此為了適應并行化程度非常高的芯片實現,HEVC/H.265 引入了很多并行運算的優化思路,主要包括 Tile、Slice 及 WPP 級并行,可以充分發揮現代芯片多核并行的優勢。2.2.H.266H.266 編碼編碼H.266 又稱 VVC(通用視頻編碼,versatile video coding),在目前的超高清視頻時代,幀率逐漸從 30fps 向 60fps、120fps 甚至 240fps
21、進發,視頻分辨率也已從之前的 1080P、4K 到目前的 8K 超高清,面對超高清技術的不斷發展,VVC 技術應運而生。VVC 由 MPEG 和 ITU 聯合開發,全球范圍內包括高通、HHI、8華為、三星、索尼、英特爾、諾基亞、愛立信、華為、騰訊、阿里等企業均有參與其中。VVC 編碼器的要求是將包括比 HEVC(H.265/MPEG-H)低 30(或更多)的比特率,而不會降低質量。VVC 有望支持沉浸式內容,分辨率從 4K 到 16K,以及 360 度全景視頻。VVC 壓縮視頻的方式與 HEVC 相似,但是在分區、預測和熵編碼等方面都有所改進。3.3.AVS3AVS3 編碼編碼AVS(Audi
22、o Video coding Standard,音視頻編碼標準)由中國的數字音視頻編解碼技術標準工作組負責開發制定。工作組制定的 AVS1、AVS2 兩代編碼,已分別于 2006 年和 2016 年被頒布為中國國家標準。目前 AVS 標準廣泛應用于中國的廣播電視領域,正在進軍互聯網視頻領域和監控領域。AVS3 是 AVS 系列的第三代標準,關鍵設計指標與 VVC 對標,其目標主要是面向 8K 超高清和 VR應用,其技術優勢主要有兩方面體現:1)傳統的信號處理相關的技術的優化,如塊劃分、運動預測等;2)利用智能算法來進行的優化和探索,比如用神經網絡來優化信號的預測編碼。2019 年 3 月,數字
23、音視頻編解碼技術標準工作組完成了 AVS3 基準檔草案,性能超過 AVS2 編碼 30%左右。2021 年 1 月 21 日,中央廣播電視總臺 8K 超高清電視節目制播技術要求(暫行)正式發布,明確視頻分發的編解碼技術采用 AVS3 標準,互動點播視頻采用 AVS3/HEVC/VVC 標準。2.3.2.3.8K8K 超高清視頻無線傳輸的超高清視頻無線傳輸的 KPIKPI中央廣播電視總臺在 2021 年 1 月頒布 8K 超高清電視節目制播技術要求(暫行),其中規定:1)8K 超高清演播室或轉播車視頻系統中的 8K 設備,直接使用 8K 基帶信號或將 8K 基帶信號轉換為 SMPTE-2110
24、標準的無壓縮 IP 信號在系統中進行制作,實現高帶寬、低延時處理和傳輸。其中,送總控的信號按照9SMPTE-2110-20 標準,采用 4 個 12Gbps 的視頻 IP 組播信號流方式實現8K 超高清信號傳輸。2)8K 視頻記錄方式,壓縮編碼和封裝格式采用 XAVC-I Class 300/480/MXF,10bit,碼率為500Mbps X4(Class 300/MXF)或800Mbps X4(Class 480/MXF)。3)8K 超高清電視播出信號編碼壓縮技術要求,采用 AVS3 標準,對 8K 超高清信號(76804320/50P/HDR)采用基準 10 位檔(profile)、10
25、.0.60級(level),視頻編碼碼率不低于 120Mbps。4)8K 超高清互動點播技術要求,基于 AVS3/H.266/H.265 進行編碼,總碼率要求大于 80Mbps。通過以上數據可以看出,在播出域,采用 AVS3/H.266/H.265 編碼標準,碼率在 80-120Mbps 之間,基本上接近目前公網環境 5G 上行速率上限。屏到屏的時延低至數秒,遠遠低于基于 4G 和互聯網的時延,可以為觀看用戶提供很好的體驗。在制作域,廣電標準的 8K 壓縮信號采用 SMPTE-2110 淺壓縮標準,可以保留更多的影像細節和畫質,并保證數十毫秒的時延。壓縮后的速率高達數百兆比特每秒,遠高于播出端
26、傳輸 8K 碼率。對 5G 移動通信系統提出巨大挑戰,需要采用毫米波技術提升上行容量。103.3.毫米波使能毫米波使能 8K8K 視頻傳輸視頻傳輸3.1.3.1.端到端傳輸方案端到端傳輸方案為了支持圖 1 超高清視頻回傳架構,網絡架構、核心網和無線網絡方案選取方面有如下考慮。3.1.1.3.1.1.網絡架構選擇網絡架構選擇整體組網架構可以選擇 NSA 或者 SA 組網,需要根據商用終端支持能力及組網需求選擇。在 NSA 組網方案下,無線基站需要同時支持 LTE 和 5G 毫米波,對應無線網管也需要同時支持 4G 和 5G,核心網選擇接入虛擬 EPC。在 SA 組網方案下,無線基站可以選擇高低頻
27、 NR-DC,也可以選擇毫米波獨立組網,對應無線網管只需要支持 5G,核心網需要接入 5GC。圖圖3 3 組網架構示意圖組網架構示意圖3.1.2.3.1.2.核心網方案核心網方案核心網需要根據不同的網絡架構選擇不同的配置。NSA 組網架構下可以選擇接入現網 4G EPC,也可以選擇新建 EPC,EPC 與傳統 4G 網絡無差異。SA 組網架構下可以選擇接入現網 5GC,也可以選擇新建專網 5GC。5G 核心網支持控制/用戶面分離架構,實現分布式部署?;诖笮唾愂?K/8K視頻直播要求時延要求,可以考慮引入核心網MEC方案,核心網對接 OBS 服務器,系統架構如下圖所示。5G 核心網支持 MEC
28、(Multi-access11Edge Computing)技術,UPF 部署在更靠近用戶的邊緣數據中心(Edge DC),最大程度靠近用戶,就近接入 Internet 等應用網絡,用戶面流量從就近 UPF 出口,進入應用網絡,不再經過骨干網傳輸,從核心網出口??梢杂行У販p少毫米波用戶的大帶寬應用對我們的網絡帶來的網絡壓力和沖擊,同時可以提供更低時延的服務,進一步提升用戶體驗。圖圖4 4 核心網方案示意圖核心網方案示意圖3.1.3.3.1.3.無線網絡方案無線網絡方案無線網絡根據不同的網絡架構成熟度選擇不同的配置。NSA 組網架構下,無線網絡需要同時接入 4G 和 5G 無線基站,可以選擇現網
29、 4G 基站上疊加 5G 毫米波基站,也可以全部新建 4G 和 5G 毫米波基站。SA 組網架構下,無線網絡只需要接入 5G 基站,如果選擇 NR-DC 組網,可以選擇現網 5G 低頻基站上疊加 5G 毫米波,也可以選擇全部新建 5G 高頻和低頻站點。如果選擇 SA FR2 獨立組網,應該選擇全部新建高頻毫米波站點?;诖笮唾愂?4K/8K 視頻直播要求時延要求,建議引入基站級本地分流方案,無線基站 Node Engine 對接 IBC 服務器,網絡架構圖如下所示,適用于 NSA 或SA 組網。中興通訊支持基站內置算力引擎 Node Engine,通過在基站 BBU 機框上提供計算、存儲、網絡
30、、加速器等資源,將算力下沉至基站,采用容器化的微服務架構,將本地分流、無線網絡能力等功能下沉到基站,提供基于 PLMN、切片ID 的專網模式,構建基站級的行業邊緣計算,實現數據不出園區,“空口一跳12直達”。同時輔以 Edge QoS 精細化保障,可滿足 VR 類業務所需的低時延性能需求。圖圖5 5 無線網絡方案示意圖無線網絡方案示意圖3.2.3.2.上行傳輸技術上行傳輸技術3.2.1.3.2.1.大上行幀結構大上行幀結構為解決毫米波上行容量不足的問題,可采取為上行業務終端分配更多的時隙資源的方式提高網絡上行容量,如采用大上行 DSUUU 幀結構技術。大上行 DSUUU幀結構配置與 DDDSU
31、 幀結構配置中單個 D、S、U 時隙所包含的符號配置相同,如D/U 時隙分別包含 14 個全下行/上行符號,S 時隙下行符號:特殊符號:上行符號為 10:2:2。分別計算 DSUUU 和 DDDSU 兩種幀結構方式的上下行符號占比如下表所示:表格表格 2 2 DSUUUDSUUU與與DDDSUDDDSU幀結構上下行符號占比對比幀結構上下行符號占比對比DSUUU 幀結構DDDSU 幀結構總符號數(每五個時隙)DLGPULDLGPUL702424452216符號占比34.28%2.86%62.86%74.29%2.86%22.85%13由表格 2 可知,大上行 DSUUU 幀結構的上行符號占比約為
32、 DDDSU 幀結構符號占比的 2.75 倍,單位時間內可傳輸更多的上行數據及控制信令。同時可通過下式計算毫米波網絡上行峰值速率:上行速率(Gbps)=上行符號數(一個子幀周期)*空間復用層數*調制階數*編碼率*PRB 數*12/子幀周期(ms)*(1-上行控制開銷)/106。JjjsjBWPRBjjmjOHTNRfQvLayers1)(),(max)()()(611210Mbps)(in rate data對于空間復用層數為 2、調制方式為 64QAM 的毫米波終端,可分別計算 DSUUU與 DDDSU 幀結構的上行理論峰值速率如下表所示。表格表格 3 3 DSUUUDSUUU與與DDDSU
33、DDDSU幀結構毫米波終端上行理論峰值速率對比幀結構毫米波終端上行理論峰值速率對比DSUUU 幀結構DDDSU 幀結構終端上行(200MHz)理論峰值速率(Gbps)1.120.81終端上行(400MHz)理論峰值速率(Gbps)2.251.62由上表可知毫米波大上行DSUUU幀結構技術相較于傳統DDDSU幀結構可以大幅度提升毫米波網絡及終端的上行容量,毫米波網絡理論可容納多路淺壓縮 8K(600Mbps)視頻,可有效滿足演唱會、體育場館等場景的 8K 視頻應用需求。3.2.2.3.2.2.MU-MIMOMU-MIMO多用戶 MIMO 可以通過將滿足一定條件的終端調度到同一個時頻資源上發送,并
34、通過接收端的多用戶檢測算法區分出來自不同用戶的信號。理論分析顯示,通過在同樣的視頻資源傳輸來自不同終端的信號,系統吞吐量雖然不能倍增,但比用戶使用不同資源時還是有所增加。如圖 6 所示,單用戶 MIMO 的發送端為單個用戶生成一個專用的波束,比盡量抑制其他方向的副瓣,以免干擾其他用戶。多用戶 MIMO 的發送端同時生成多14個主瓣指向服務用戶,這時每個用戶的主瓣信號被其他用戶波束的副瓣的干擾,而導致 SINR 降低,單用戶的吞吐量受到一些影響,但由于多個用戶使用相同的時間頻率資源,系統吞吐量仍然顯著提升。圖圖 6 6 MU-MIMOMU-MIMO 與與 SU-MIMOSU-MIMO 系統吞吐量
35、比較示意圖系統吞吐量比較示意圖3.2.3.3.2.3.高功率終端高功率終端小區邊緣或者覆蓋較差的區域的終端通常鏈路預算較低,即便采用滿功率發送也無法得到理想的 SINR。這時,提高這些終端的最大發送功率就可以有效的提升接收端的 SINR,并相應的提升上行吞吐量。3GPP 目前基礎的終端發送功率是 200mw(23dBm),終端在部分 TDD 頻段可以達到 400mw(26dbm)。目前 3GPP 正在制定更高功率等級的標準以提升上行傳輸能力。3.3.3.3.協議適配和鏈路聚合協議適配和鏈路聚合3.3.1.3.3.1.傳輸協議背景傳輸協議背景當前,基于 IP 的視頻傳輸協議成為主流,包括 TS
36、over UDP、RTMP、SRT等,這些協議有為了保證傳輸時延基于 UDP 的,也有保證傳輸正確率基于 TCP/IP的,但它們共同的特點是:都是針對單條傳輸鏈路設計的。在兩個網絡節點之間只會選擇一條傳輸路徑。這種針對互聯網 IP 鏈路設計的傳輸協議不太適合移動通信這種衰落變化較大的傳輸通道,原因是移動通信鏈路變化更劇烈,甚至會在15用戶進入覆蓋陰影短時鏈路中斷的情況。同時,由于移動運營商為了保證用戶的普遍接入,通常會對公網用戶限流,這也不利于大數據量的傳輸。因此,使用移動通信公網傳輸大帶寬的視頻需要一種多路聚合的傳輸協議。在眾多協議中,TVU公司設計的 ISSP 協議(Inverse Sta
37、tMux Stream Protocol)就是一種有代表性的多路聚合協議。3.3.2.3.3.2.ISSPISSP 協議介紹協議介紹ISSP 協議為采用 IS+(Inverse StatMux Plus)技術的傳輸協議,可以將一個單一的信號源通過反向復用多個信道用于傳輸,然后在接收端重新聚合。通過將單路信號分成多路,并通過多路通道來傳輸。也就是說,一個數據流能被分割成多個小的數據包,這些數據包能通過所有可用的網絡鏈路來傳輸。在實際應用中,監控每個連接的帶寬,并根據每個連接的可利用率來傳輸對應數量的數據包,然后數據包將在接收終端經過糾錯后重新合并還原到原始數據。然后傳輸將在接收終端經過排序后重新
38、聚合。這樣在 5G 的波動網絡情況下,就可以通過有效的多鏈路數據負載均衡,讓聚合后的數據帶寬更加平穩,更高符合廣播電視的高穩定直播業務要求。如下面的圖 7 和圖 8 所示。圖圖7 7 ISSPISSP多路聚合數據傳輸示意圖多路聚合數據傳輸示意圖16圖圖8 8 聚合鏈路平穩帶寬聚合鏈路平穩帶寬同時,ISSP 協議為一個端到端傳輸方案,除了基礎的多鏈路復用以外,還加入了更多針對視音頻業務在 5G 及互聯網的傳輸優化:AL-FEC:前向糾錯技術,傳輸端數據加入糾錯冗余包,接收端通過冗余包進行丟包糾錯,區別于傳統 FEC,ISSP 的智能 FEC 可以根據網絡情況動態調整冗余包比例,以達到更有效的網絡
39、利用率。ARQ:重傳技術,可以再接收端無法還原數據包的情況下,通知傳輸端,在直播的緩沖時間內,把丟的數據包進行從傳,從而不影響直播正常運行。帶寬預測:根據現有的網絡情況,進行實時的帶寬預測,便于通知前端編碼器進行碼率調整,同時配合多網聚合技術,進行每個傳輸鏈路合理的帶寬分配。多網聚合:ISSP 核心技術,可有效利用所有 IP 鏈路進行數據負載均衡傳輸。傳輸端把數據分割為適合當前不同鏈路傳輸的小數據包,在接收端再對這些小數據包進行從新整合。并且還可以結合上述的 FEC、ARQ 等技術一起使用,進一步提高直播質量和穩定性。17動態數據調整:ISSP 核心技術,可根據實時網絡帶寬情況,結合帶寬預測,
40、進行動態的數據的分割調整分配到不同的網絡 IP 鏈路中。同樣數據包的分配中,會包含上述 AL-FEC 和 ARQ 的數據結合使用。3.3.3.3.3.3.ISSPISSP 協議小結協議小結根據系統性的測試和對比分析,ISSP 相比較其它單路傳輸協議,具備了多網多路聚合能力,能夠動態分配數據,更適合在以 5G 為主的網絡波動相對較大的無線網絡傳輸,可以有效的應對 5G 移動通信網絡鏈路波動的各種問題。相比較傳統傳輸協議,加入 AL-FEC 和 ARQ 機制,確保每個傳輸鏈路具備抵抗網絡丟包和抵抗網絡抖動、延時的能力。針對任意 5G mmWave 的網絡鏈路突然小范圍波動時,都能有效的進行數據還原
41、,確保直播順利。通過多鏈路聚合機制,可以有效的聚合多個 5G mmWave 的網絡鏈路,進行實時的傳輸數據負載分配。這樣在任意 5G mmWave 突然大范圍波動(如 5G 信號遇到遮擋),甚至信號丟失時(如運動中切換基站,或者某個 5G CPE/模組故障),都可以進行數據的從傳和正常還原,確保直播順利。自動帶寬預測和分配機制,可以保障以上的數據糾錯、從傳,以及數據聚合,都能根據業務需要自動完成。這樣既可以確保各個 5G 網絡的有效利用,又可以確保直播業務的自動安全保障。3.4.3.4.生態鏈關鍵企業調研生態鏈關鍵企業調研隨著 5G 全方位賦能,“信息視頻化、視頻超高清化”已經成為全球信息產業
42、發展的大趨勢。從增長和規模來看,據預測,到 2022 年底,超高清占視頻點播 IP 流量的百分比將高達 35%,我國超高清視頻產業規模將超 4 萬億元;2021年東京奧運會,中國央視和日本 NHK 均實現了 8K 賽事轉播。2022 年春晚、2022年北京冬奧會已明確將采用 8K 超高清直播。由此推測,未來最受矚目的體育賽事直播,包括奧運會、世界杯等,將均采用超高清制作傳輸。業界對超高清視頻業務上行需求的增長不斷攀升,中國超高清視頻產業發展擁有難得的機遇,同時18這也給網絡上下行速率及容量帶來巨大的挑戰。本章從毫米波通信產業、超高清編碼器和基于 5G 的超高清視頻回傳幾個方面調研了產業的成熟度
43、。3.4.1.3.4.1.毫米波移動通信產業鏈成熟度毫米波移動通信產業鏈成熟度根據 GSA 在 2021 年 5 月的研究報告顯示3,5G 毫米波網絡在全球進展非常迅速。來自45個國家和地區的148個運營商正在考慮毫米波部署的相關事宜(測試、頻率購買和部署)來自 22 個國家和地區的 132 個運營商(包括區域運營商)已經在各自運營的區域獲得毫米波頻率全球來自 16 個國家和地區的 28 個移動運營商已經正式宣布部署毫米波商用系統。全球 19 個國家和地區已經宣布將在 2022 年底之前正式分配 24GHz 頻率。112款終端宣布支持24GHz以上的毫米波頻段,其中70%以上的終端已經商用。3
44、.4.2.3.4.2.超高清編碼器成熟度超高清編碼器成熟度隨著超高清視頻產業的成熟,從 2018 年足球世界杯開始,8K/4K 視頻拍攝和制作已經成為更大賽事的“標配”。同時,基于 JPEG-XS 編解碼格式的 8K/4K純硬件產品已經迭代了幾代。例如,波視公司的 VFN28 編碼器,在國際上已經有很多的大型賽事實際應用案例。在比賽場館拍攝的超高清視頻經過制作域的編碼器壓縮,以最低的時延分別經過場館周邊的轉播車和遠程的 IBC 信號中心,進行編輯、包裝后再以 H.265 等格式分發或上星傳輸?,F場與轉播車和信號中心間鋪設專用的寬帶光纖,以達到視覺無損的 8K/4K 視頻的幾近實時的傳輸。圖 9
45、 顯示比賽現場的 8K 信號傳輸應用,賽事現場的 8K 攝像機與場外的轉播車間距離在 20km,賽場與 IBC 中心的距離超過 50km,經過 JPEG-XS 格式編解碼傳輸后,現場與轉播車和 IBC 中心的信號時延控制在 40ms 以內。19圖圖9 9 基于基于 JPEG-XSJPEG-XS 8K/4K8K/4K遠程傳輸產品在大型賽事的應用遠程傳輸產品在大型賽事的應用中央電視臺于 2021 年 4 月進行了 8K 信號的無線微波傳輸的鏈路測試,波視公司根據無線微波傳輸帶寬的限制,將 8K 視頻以 JPEG-XS 34:1 或 40:1 的壓縮碼率進行不同地點的遠程傳輸,實際測試的整個無線傳輸
46、系統的最終時延為50ms。圖圖1010 基于基于 JPEG-XSJPEG-XS 8K8K 無線微波傳輸的實際應用無線微波傳輸的實際應用目前基于 5G 毫米波商用終端傳輸可提供的大約 900Mbps 的上行數據帶寬,通過將 JPEG-XS 的壓縮比率配置為 60:1,傳輸信號大約是 600-700Mbps,理論上已經可以通過 5G 毫米波網絡承載。播出域廣泛采用 H.265,AVS 等深壓縮協議,目前在移動終端普遍采用 MPEGH.264、H.265 等系列協議,在電視和機頂盒等傳統廣電播出領域,AVS 協議被廣泛應用。國內編碼器企業目前已具備提供支持 8K 的 H.265 和 AVS2/AVS
47、3 編、解產品能力,并經過國內市場的檢驗。203.4.3.3.4.3.基于基于 5G5G 的超高清視頻移動回傳成熟度的超高清視頻移動回傳成熟度隨著 5G 網絡的日益成熟,5G 在廣播電視和媒體業務的應用也越來越廣泛。最常見的 5G 背包直播,已經在各大國家級、省/市級乃至區縣級電視臺所使用,用于新聞、體育、娛樂、民生等頻道,實現各類實時、便攜的 5G+4K/HD 的廣播級直播。5G 多網聚合路由器可以提供高質量、高穩定、低延時、可移動的寬帶網絡,讓 5G 網絡應用進一步深入到廣電媒體的直播體系內部。用于包括車載制作、遠程制作、云端制作、風景慢直播等各個領域。以上的 5G 背包和 5G 多網聚合
48、路由的應用,根據調研統計,已經應用到包括中央廣播電視總臺、新華通訊社、上海文廣集團、浙江電視臺、福建電視臺、山東電視臺、湖南電視臺、山西電視臺、福建電視臺、廣東電視臺等等各大電視臺的制作系統中。4.4.典型傳輸案例典型傳輸案例4.14.1 基于基于 5G5G 毫米波毫米波 8K8K 視頻端到端傳輸演示視頻端到端傳輸演示毫米波通過大帶寬、MIMO 等諸多增強技術,可以提供吉比特以及更高的上行傳輸速率。2021 年 5 月,聯通、中興和高通的互操作測試中達到了 920Mbps,這使得 8K 視頻通過移動通信鏈路上傳成為了可能2。2021 年 5 月,中國聯通、中興、高通、TVU 四方在實驗室環境下
49、成功在 26GHz(n258)頻段上完成了全球首次基于大上行幀結構(DSUUU)的 5G 毫米波 8K 視頻上行傳輸業務測試。演示由中興通訊的 5G 毫米波基站提供現場網絡環境,TVU Networks 的 5G多網聚合路由器通過搭載高通驍龍 X55 5G 調制解調器及射頻系統和高通 QTM527毫米波天線模組的 CPE 形態的測試終端提供的 5G 毫米波連接,將超高清相機實時采集的8K視頻由超高清編碼器進行編碼,通過5G毫米波連接實現穩定的回傳。21此次測試采用高低頻協同組網方式,通過將低頻和毫米波結合,單用戶上行帶寬達到數百兆赫茲,通過 UL MIMO、上行 64QAM 調制,上行峰值速率
50、 920Mbps。由于采用了 DSUUU 幀結構,上行占比約 63%,相對于 DDDSU 的幀結構,上行能力提高約 3 倍。同時,空口時隙長度低至 0.125ms,相對于 Sub-6G 網絡的空口時延顯著降低,能夠滿足 5G 空口時延小于 1ms 的時延要求,更加適用于 5G 工業物聯網、AR/VR,云游戲,賽事轉播等場景。同時,下行通過載波聚合技術實現了 800MHz 帶寬傳輸,峰值速率達到了 1.8Gbps。上行和下行均可滿足 8K 視頻的大帶寬傳輸。圖圖1111 5G5G毫米波演示系統示意圖毫米波演示系統示意圖4.24.2 基于基于 5G5G 毫米波網絡應用的延展性討論毫米波網絡應用的延
51、展性討論在 5G 商用以來,通過 5G 網絡回傳目前主流的超高清和 4K UHD 信號已經成為高清、超高清視頻制作的熱點。隨著 8K 編碼和制作業務日趨完善,同時待 5GmmWave 正式商用后??梢宰鳛槲磥?8K UHD+5G mmWave 的業務發展方向。224.2.1.4.2.1.各類移動直播報道各類移動直播報道已商用 5G 應用的主要業務形態,目前采用 HD/4K 攝像機+編碼器+5G 聚合路由的上行模式為主。同時便攜式業務會把編碼模塊和 5G 聚合模塊集成,采用 5G背包和 5G 手機的形式。但限于目前編碼技術和 5G 模組工業化,5G 背包和 5G 手機仍以 HD/4K+Sub-6
52、 5G 為主,可作為未來 8K+5G 的延伸參考應用。典型案例:央視全球新聞典型案例:央視全球新聞 PGCPGC 4G/5G4G/5G 采集傳輸應用采集傳輸應用5G 背包和手機傳輸在央視各大頻道已廣泛使用。尤其在疫情期間發揮重要作用。234.2.2.4.2.2.外場制作外場制作/車載制作車載制作通過 5G 聚合網絡,快速現場搭建高速、穩定、低延時的制作網絡,提供給車載/箱載系統,用于接收和發送各類 IP 化視音頻信號和數據信號,面向各類傳統媒體和融合媒體的制作發布。典型案例:典型案例:浙江日報天目新聞浙江日報天目新聞 5G5G 直播車直播車-參加活動參加活動“沿著高速看中國沿著高速看中國”4.
53、2.3.4.2.3.遠程制作遠程制作24通過 5G 網絡,快速現場搭建高速、穩定、低延時的網絡。用于把現場的各類信號傳輸到后端制作系統。減輕前方制作壓力和成本投入,并可更好利用后方制作資源。典型案例典型案例:時差島時差島 2020202120202021 年年,8 8 城市城市 1515 小時大型跨年活動小時大型跨年活動-全全 5G5G 機位直播機位直播8 個城市長達 15 個小時的慢直播業務,近 30 個機位,全部采用 5G 傳輸到后方制作。4.2.4.4.2.4.風景攝像頭慢直播風景攝像頭慢直播慢直播類業務最初應用是為了迎合觀眾足不出戶的觀賞各地的美景和風情。在 2020 年初的武漢“火神
54、山、雷神山應急醫院建設直播”達到了慢直播業務的頂點,大約有兩億人次通過手機等各種終端觀看醫院建設的直播。通過 5G 網絡,實現 UHD 風景攝像機或 VR360 全景風景攝像的慢直播傳輸。25典型案例:典型案例:20212021 服貿會服貿會 5G+4K5G+4K 首鋼園風景攝像慢直播首鋼園風景攝像慢直播通過 5G 網絡,傳輸首鋼園 4K 風景攝像頭到服貿會 IBC 新聞中心265.5.結束語結束語隨著 5G 的商業部署逐漸推進,以移動鏈路傳輸 4K、高清視頻得到了廣泛的應用。特別是以 5G 背包為代表的視頻回傳技術已經成為了視頻制作和 5G 移動通信結合的典型案例。被廣泛應用到了移動直播報道
55、、外場制作、遠程制作和各種專業級直播等領域。5G 毫米波可以提供吉比特每秒的上行帶寬,可以預期將會在回傳鏈路提升 4K 視頻畫質,并解鎖 8K 超高清回傳、遠端制作等先進用例。本白皮書首先分析超高清 8K 視頻業務需求的增長潛能,然后基于毫米波網絡提出 8K 視頻應用端到端使能方案,并基于當前的 4K 超高清視頻應用給出傳輸案例的預期。為促進以 8K 視頻應用為主的超高清直播應用、遠端制作、VR/AR應用為行業提供更多經濟、娛樂價值,需要從以下幾個方面進一步推動。部署應用方面:現有通過光纖進行 8K 視頻直播、轉播應用較為成熟,在國內外大型賽事、晚會、演唱會等平臺均有部署。但由于位置較為固定,
56、8K 視頻制作通常是固定機位。預期未來需要立足 5G 及 5G 毫米波技術,借助科技創新環境,積極探索 8K 創新技術和方案,爭取實現 8K 制作“剪辮子”,穩步推進成熟、便捷的 8K 視頻端到端方案的應用及部署。網絡方面:在本白皮書 8K 視頻典型傳輸案例中,DSUUU 幀結構配置的 5G 毫米波網絡支持最大 200MHz 單帶寬能力,通過多個載波聚合可以實現超大帶寬傳輸。下一步首選應考慮推動上行速率的進一步提升,可以通過傳輸較低壓縮比的視頻改善視頻顯示效果。同時,預期 8K 視頻的大規模應用將對運營商的核心網、傳輸網、無線網帶來容量沖擊。需進一步提高網絡容量,降低網絡端到端時延、抖動??紤]
57、 8K 視頻應用的專網為主場景部署,還需結合標準進展,推動毫米波和低頻協同部署研發與試驗。技術方面:需推動 DDDSU/DSUUU 幀結構的靈活轉化與技術成熟度;需提高 ULMIMO 技術的成熟度與應用;需提高 CPE 終端、手機終端、攝像機、VR/AR 等 8K視頻應用重點的移動性能力增強,同時需開發高功率終端(HPUE)。27標準協議方面:現有 8K 視頻端到端應用方案采用的是 H.265 和 AVS3 的深壓縮編解碼協議,具有編碼時延較大的問題。下一步可進一步推動淺壓縮協議的應用,降低“屏到屏”的時延,推動 5G 在超高清視頻制作域的應用。8K 超高清視頻產業發展目前仍主要處于產品早期研
58、發以及小規模試用階段,尚未有明確的規?;虡I需求產生。近兩年的 8K 應用示范以展示型案例為主,8K 超高清全面落地仍然需要時間。8K 超高清應用存在內容制作成本居高不下,家庭級 8K 終端數量少,且下游變現渠道窄的問題。這進一步導致了制作方和傳播方的投入積極性都較弱的局面。從產業鏈各方的基本共識來看,基于大型事件型短路徑直播帶來的商業機會將成為早期階段的主流,如 8K 影院直播、8K 體育直播、8K 綜藝直播等,另外 2022 年北京冬奧會和杭州亞運會也將進一步加速8K 超高清視頻應用落地。不過,總的來說,各方仍需要在短期內產業鏈各環節成本相對較高的基礎上,探索相對可靠的商業模式和盈利閉環。
59、根據研究視聽產業發展歷程可以推斷,4K、8K 兩種超高清視頻模式在相當長一段時間內,不會是相互取代的簡單迭代關系,而是各有所長、在 5G 時代并存,并將逐漸在各自的領域衍生出豐富的應用場景。但是相比之下,8K 在大尺寸屏幕觀看、對臨場感和沉浸感要求更高、對追求極致視聽感受以及尋求更精密影像數據等方面,有無可比擬的優勢。此外,目前 VR 內容制作相對成熟,VR 的應用場景,包括:VR 游戲、VR 購物、VR 教育、VR 社交、VR 直播、VR 旅游、VR醫療、VR 工程、VR 房產等;可以預見,基于 8K VR 內容會率先形成規模商用,而前期 VR 的終端呈現則通過 FOV 等方式展示 4K 或
60、 1080P 內容,待 8K 內容拍攝及終端呈現設備均具備 8K 能力后,才能實現真正的 8K VR。同樣在 ToB 行業領域,如 8K 視頻監控、8K 遠程醫療、8K 視頻會議、8K 機器視覺巡檢等應用場景被不斷提及,超高清視頻技術通過提供超高精細顯示、多視角/全景呈現,與行業專業技術結合,可大大提升各行業領域能力水平,進而帶動 ToB 領域的規模商用。28參考文獻參考文獻1 中央電視總臺,8K超高清電視節目制播技術要求(暫行),2021年1月21日。2 2020年5月21日,IMT-2020(5G)推進組5G毫米波測試計劃取得里程碑進展 成功完成5G毫米波大上行幀結構的8K視頻回傳業務,h
61、ttps:/ mmWave Bands 24.25 GHz:May 2021,https:/ Yiqing Cao:Live 8K production using 5G mmWave,https:/www.5g- Garden 4K 花園于路(Lu Yu)ABS-廣播電視科學研究院張宇(Yu Zhang)Arcvideo 當虹科技陳家興(Jiaxing Chen)石小明(Xiaoming Shi)竺科迪(Kedi Zhu)B&M 波視王兆春(Violet Wang)CU 中國聯通張忠皓(Zhonghao Zhang)高帥(Shuai Gao)Qualcomm 高通曹一卿(Yiqing Cao)李儼(Yan Li)李永剛(Richard Li)李震宇(Zhenyu Li)張文濤(Wentao Zhang)杜志敏(Zhimin Du)關向凱(Xiangkai Guan)朱澤瑞(Robin Zhu)陳波(Bo Chen)TVU Networks 上海通維武智(Zhi Wu)王靜(Jing Wang)李博文(Pokemon Li)申欣(Xin Shen)ZTE 中興郝瑞晶(Ruijing Hao)劉耀東(Yaodong Liu)沙俊杰(Junjie Sha)尹芹(Qin Yin)王金東(Jindong Wang)