《艾瑞咨詢:2023中國智能視頻編碼行業白皮書(63頁).pdf》由會員分享,可在線閱讀,更多相關《艾瑞咨詢:2023中國智能視頻編碼行業白皮書(63頁).pdf(63頁珍藏版)》請在三個皮匠報告上搜索。
1、1 中國智能視頻編碼行業白皮書 2023.4 iResearch Inc.2 中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 序 言 隨著互聯網內容的迭代豐富,網絡視頻已經成為人們獲取信息的最重要媒介。根據愛立信2022年6月發布的移動市場報告顯示,未來六年移動數據流量將增長4.2倍,其中視頻流量占比將達79%,音視頻賽道正迎來前所未有的發展機遇。視頻編解碼技術作為超高清以及泛音視頻產業發展的基礎,是未來產業競爭的制高點。由于超高清視頻、虛擬現實視頻、全景視頻、智能化應用視頻等領域的快速發展以及面向機器
2、視覺的視頻編碼和處理需求的爆發增長,傳統編碼工具的性能已趨于極限,難以滿足通用化、智能化的視頻應用需求?;谏窠浘W絡技術的智能視頻編碼成為下一代視頻編碼技術發展的重要突破口。全新的智能視頻編碼技術將在節省存儲與傳輸寬帶成本、降低時延、保障視覺質量的基礎上滿足對視頻感知、分析、理解等智能應用方面的需求。在此背景下,涌現科技創新性地定義了智構視頻,提出對視頻編解碼“AI for Coding,Coding for AI”的理解,跳出傳統基于人眼視覺的框架,推動建立未來人機混合應用場景下的新一代視頻編碼技術和標準,充分發揮AI效能,滿足更加高效和多元的智能化應用場景。在不遠的未來,隨著前沿數字產業的
3、活躍發展,智能視頻編碼將得到更加廣泛的應用,從AI輔助編碼、AI端到端編碼,到智構視頻編碼,更高效的壓縮、更快速的傳輸、以及更精準的分析和理解將賦能泛音視頻周邊產業的強力、快速發展。中國科學技術大學信息科學技術學院 李衛平教授 3 2023.4 iResearch Inc.中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 引 言 隨著AI技術向視頻產業生產、傳輸和消費環節的滲透,AI技術在視頻分析中的應用逐漸常態化,智能視頻衍生而出。有別于傳統視頻處理流程,智能視頻在視頻處理、分析、編碼階段引入了AI輔助
4、技術,除了提供基礎視頻呈現功能,兼顧提供如智能分析等應用于場景的服務功能。智能視頻的產生和發展標志著視頻產業發展邁入新階段。傳統視頻 VS 智能視頻 來源:艾瑞咨詢研究院自主研究繪制。智能視頻通過AI技術輔助提升視頻畫質和編碼效率。首先基于AI技術的人臉識別、跟蹤技術實現了視頻的美顏功能。其次多種視覺AI技術與編碼技術融合,預測分析畫面內容,智能調節編碼參數至最優值,在降低視頻碼率的同時保證視頻畫質。視頻結構AI算法訓練,AI視頻修復技術,AI高幀率增強以及AI色彩增強等方案配合提升視頻細節特征,增強視頻畫質。智能視頻利用AI技術對視頻進行智能分析與處理,完成特定場景(工業、安防等)任務。AI
5、視頻圖像分析技術高度融合機器視覺與深度學習,構建智能視頻圖像監測系統,實現工業智能化。視頻AI技術將傳統安防視頻監控和消防報警結合,在重要場所完成可視化監管和AI監控分析。4 2023.4 iResearch Inc.中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 智能視頻將AI技術與5G通訊等技術結合,拓展視頻多元化應用服務。在商業領域,智能視頻提供個性化的顧客分析結果,利于精準營銷;在工業領域,優化生產制造流程,實時檢測設備情況;在城市建設領域,提升和改進城市交通的規劃與管理水平;在醫療領域,智能視
6、頻應用于遠程醫療和管理病患;在廣播電視領域,5G通訊技術支持下,超高清視頻體系逐漸完善,廣播節目利用AI多軸方案完成360度自由視角拍攝,8K+VR 的視頻制作方式在超高清視頻中廣泛應用。智能視頻的多元應用重塑了視頻產業鏈,視頻處理技術根據不同的視頻應用多維迸發,視頻編解碼技術與AI技術的結合具有共性和標準化屬性,因此是智能視頻技術鏈條中最重要的環節之一。然而目前視頻編碼技術發展滯后于智能視頻的需求,智能視頻編碼技術的發展路徑將會決定未來智能視頻的趨勢變革。5 2023.4 iResearch Inc.中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligen
7、t Video Coding Industry 目錄 序 言.2 引 言.3 一、智能視頻編碼行業的發展演進和概念界定.7(一)視頻產業活躍發展,催生對視頻編碼技術迭代的迫切需要.7(二)視頻編碼標準框架未脫離傳統統計學范疇,亟需革新.10(三)人工智能賦能視頻編碼,端到端的智能視頻重構是未來演進方向.12 本章小結.15 二、中國智能視頻編碼行業的發展現狀.16(一)中國智能視頻編碼行業的市場規模.16(二)中國智能視頻編碼產業鏈及競爭格局分析.16(三)智能視頻編碼實現方案分析.21(四)新時代下視頻編碼行業有待解決的痛點問題.24 本章小結.27 三、中國智能視頻編碼應用場景分析.28(
8、一)互聯網視頻場景.28(二)廣電超高清視頻場景.32(三)虛擬終端場景.36(四)城市安防場景.39(五)工業制造場景.43 本章小結.46 四、中國智能視頻編碼行業引領者動態.47(一)標準組織機構.48(二)國內高校學者研究.50(三)涌現科技.51(四)阿里云.55(五)字節跳動.57 五、智能視頻編碼發展趨勢.59 6 2023.4 iResearch Inc.中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry(一)異構計算架構將成為適應差異化編碼需求的主流方案.59(二)智能編解碼技術革新賦能A
9、IGC、元宇宙新興產業發展.60 關于艾瑞.62 聯系我們.62 法律聲明.63 7 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 一、智能視頻編碼行業的發展演進和概念界定(一)視頻產業活躍發展,催生對視頻編碼技術迭代的迫切需要 視頻作為大數據時代下信息傳播的核心載體,其相關應用具有多元化、智能化、高清化、強互動性的特點。通信技術的發展輪番促進了互聯網視頻、直播、超高清視頻應用的落地發展,文化產業和圖像采集產業的繁榮帶來了視頻內容形式和數量的爆發式增長,視頻產業鏈不斷整合升級,從硬件側的芯片、服務器、終端設備到軟件側的算法、操作系統、應用軟件持續創新迭代。國內電視臺
10、、互聯網公司、內容服務供應商對于編解碼技術更新迭代的需求日益加強,同時技術與設備的國產化趨勢催生了一批專注于編解碼技術的研發投入和市場應用的公司。視頻的多元運用和高效需求促使智能編解碼技術不斷優化升級。n 視頻視覺效果演進提升,海量超高清視頻數據傳輸和存儲需求迸發 隨著視頻技術的發展,超高清視頻是繼標清、高清、全高清后新一輪的迭代演進,是VR/AR、新媒體、云游戲等新興產業繁榮發展的重要驅動因素,并輻射至智能制造、智慧醫療等人工智能領域,具備高分辨率、高幀率、高色深、寬色域、高動態范圍等特點。視頻視覺效果技術指標的演進情況 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。標清(SD)高清(HD)
11、全高清(FHD)超高清(UHD)定義 480P 720P 1080P 4K 8K 分辨率 640*480 1280*720 1920*1080 3840*2160 7680*4320 幀率 25fps 30fps 30fps 60fps 120fps 碼率 1-3Mbps 4-5Mbps 4-10Mbps 8-80Mbps 32-240Mbps 像素點數量 30 萬 92 萬 207 萬 830 萬 3320 萬 色深 8bit 10bit 10/12bit 色域 Rec.601 Rec.709 Rec.2020 Rec.2020 動態范圍 SDR HDR 8 2023.4 iResearch
12、 Inc.01 智能視頻編碼行業發展背景 視頻畫質呈現、色彩、流暢度隨著技術指標升級而不斷優化,超高清視頻是各項視覺技術指標升級演化的集大成者。視頻分辨率越高,則圖像包含的像素越多,4K和8K圖像的分辨率分別是全高清的4倍和16倍,超高清畫面的呈現更有層次感和空間感,畫質更加出色;視頻幀率越大,畫面流暢度越好,超高清視頻幀率一般為60fps以上,帶來人眼視覺的舒適體驗;色深bit數量提升色彩表現力;寬色域標準Rec.2020增加了顏色表現范圍。因此超高清視頻具有更加真實自然的畫面并提供更多的動態范圍和圖像細節。高分辨率和高碼率的超高清視頻發展和普及對視頻編碼技術提出了前所未有的挑戰。超高清視頻
13、視覺效果技術指標的倍數攀升伴隨著數據量的急劇增長,超高清視頻的傳輸碼率最高可達240Mbps,是全高清視頻的數十倍。井噴的數據量使得視頻傳輸、存儲壓力陡增,而視頻編碼技術是解決上述問題的關鍵。如何在保障視頻質量、減少圖像失真度的前提下盡可能地降低編碼碼率,這將對超高清視頻的視頻編碼技術迭代提出新需求。n 多視角全景視頻使得視頻編碼技術趨于復雜多元 視頻技術演進出現多路和全景視頻,視頻的角度和覆蓋范圍不斷擴展。多路視頻是多路攝像頭對應多個視頻畫面,每個攝像頭安裝廣角鏡頭,形成多個大于90度的廣角畫面,而全景視頻則是廣角鏡頭和多路視頻拼接系統技術的延伸,實時獲取周圍360視場畫面的全景成像系統正逐
14、漸成為視頻領域的研究熱點。多路視頻拼接系統技術是從多個攝像頭采集視頻,在遠端進行拼接,從而獲得遠程、高質量、大場景的沉浸式畫面。全景視頻應用場景涉及VR視頻、機器人、全景地圖、國防工業等領域。全景視頻的實現即多路視頻拼接系統對于算法要求很高。在視頻圖像拼接過程當中,圖像處理計算數據量龐大,需要短時間內完成對圖像的拼接并且保證多路視頻流的時間一致性,對于視頻編碼技術要求趨于多元化和復雜化。新型視頻應用場景需求9 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 的不斷增加催生了超高清視頻和多視頻范圍的需求。全景視頻拼接技術示例 來源:艾瑞咨詢研究院自主研究并繪制。n 新型
15、應用場景涌現,在娛樂、辦公、工業、安防等領域擴展深化 隨著5G和AI技術的發展,視頻行業商業模式重構,新型視頻應用場景應時而生,廣泛應用于人們的生產、生活之中。視頻應用不再局限于娛樂場景,而是向工業制造、安防領域、生產辦公等場景拓展。在娛樂應用場景中,短視頻、云游戲等作為軟件應用在人們手機、平板等終端設備中隨處可見;受過去幾年疫情的影響,遠程辦公成為強需求,云桌面和遠程會議等作為新型視頻應用是遠程辦公的重要模式;在工業、安防等領域,機器視覺和視頻監控對視頻形式提出了新的要求。未來隨著產業整合泛化和元宇宙布局趨勢加強,廣電超高清、VR/AR等場景持續涌現,人們需求和視頻類型將會更趨多元。多路視頻
16、拼接技術10 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 視頻編碼技術應用場景演化 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。(二)視頻編碼標準框架未脫離傳統統計學范疇,亟需革新 上世紀四十年代末美國數學家香農創立了信息論與編碼理論,自此傳統視頻壓縮編碼技術持續發展。1984年,國際電信聯盟電信標準分局(簡稱 ITU-T,ITU Telecommunication Standardization Sector)的前身國際電報電話咨詢委員會公布第一個數字視頻編碼標準H.120,標志著視頻編碼技術標準化的開端。1988年,H.26x系列標準的初代成員H.261面世
17、,這一標準是由 ITU-T VCEG(視頻編碼專家組,Video Coding Experts Group)針對視頻會議系統制定的,并獲得商業化成功的第一個視頻編碼標準,自此傳統視頻編碼技術開始了快速發展,各種國際標準持續涌現和迭代。ISO/IEC MPEG(運動圖像專家組,Moving Picture Experts Group)自1992年陸續制定了廣泛應用于VCD制作的MPEG-1標準和廣泛應用于交互式和移動多媒體通信MPEG-4標準。ITU-T VCEG專家組后聯合MPEG專家組陸續推出了H.262/MPEG-2、H.264/MPEG-4 Part 10/AVC、H.265/HEVC和
18、H.266/VVC多代視11 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 頻編碼標準,并逐漸成為了全球視頻壓縮應用的主流標準。此外,亞馬遜、思科、谷歌、英特爾、微軟等眾多科技巨頭于2015年創立了開放媒體聯盟(簡稱AOM,Alliance for Open Media),旨在提供全新、開源、免版稅的視頻編碼技術,為大型和中小型企業降低產品服務的開發和制造成本。AOM聯盟在VP8、VP9的基礎上推出AV1標準并應用于互聯網視頻、視頻會議和移動終端。我國在視頻編解碼技術標準方面已潛心研究二十余年,并成功構建了自主知識產權的AVS系列國家標準,2022年AVS3被國際數
19、字視頻廣播組織(簡稱DVB)采納為國際標準。AVS3已于2022年投入應用,我國的AVS3+5G+8K產業發展領先全球的部署,未來三到五年我國傳統視頻編碼標準將形成以H.265為主,AV1、AVS為輔的協同發展技術應用格局。其中,H.265/HEVC將逐漸替代H.264/AVC成為新的主流標準,與此同時受限于高昂的專利費和復雜的授權政策,窗口期內AV1、AVS將在細分賽道實現快速增長,逐步提高總體市場占有率。國內外傳統視頻編碼標準發展歷程 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。國際標準ITU-TVECG國際標準ISO/IECMPEG國際標準ISO/IECJTC1開源標準AOM國家標準A
20、VSH.1201984H.2611988H.2631995H.263+/+1998/2000MPEG-11992MPEG-41998H.262/MPEG-21994H.264/AVC2003H.265/HEVC2013H.266/VVC2020AV12018VP82008VP92013AVS32022AVS2006AVS22016演進方向HD4K8K4K8K8K當前主要應用標準12 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 近四十年來,盡管上述視頻壓縮標準持續迭代、編碼效率穩步提升,但仍未脫離劃分、預測、變換、量化、熵編碼的技術框架。以H.26x為例,每一代新的
21、視頻編碼標準都比上一代標準的編碼效率提升近一倍,節省了約40%-50%的碼率,但與此同時編碼的復雜度卻是幾倍的增加。在現有的標準體系下,算力成本的“邊際收益”加速遞減,基于統計學原理的傳統視頻編碼標準已經逼近了技術上限,當前的視頻壓縮技術難以滿足下游視頻應用的快速增長,亟需引入新技術以激活視頻編碼這一視頻產業鏈價值裂變的關鍵環節,充分釋放產業勢能,為智能視頻產業提供底層支持。智能視頻的發展需要高性能編碼器的推動,應用于智能視頻的編碼器需具備更高的編碼效率與分辨率,更多編碼模式的選擇與更加靈活的技術架構,便于與AI應用結合,賦能智能分析,服務于涵蓋虛擬現實、游戲、數字生產視頻等豐富場景。智能視頻
22、端的編碼需求同步催生了智能視頻編碼技術的升級迭代,助力行業整體發展。(三)人工智能賦能視頻編碼,端到端的智能視頻重構是未來演進方向 編碼效率提升的需求持續驅動著視頻編碼標準的更新換代,從H.264/AVC、H.265/HEVC到H.266/VVC,觀看同樣質量的視頻,視頻壓縮率提升一倍,視頻業務從標清發展到高清、超高清,從平面、三維立體演進到沉浸式。視頻編碼的發展推動整個數字媒體產業的重大變革,現階段視頻行業逐步邁向智能化,并由傳統的廣電應用延伸至視頻通信、智能安防、智慧交通、智能制造、遠程醫療等多個領域。激增的海量視頻數據、豐富的視頻內容形式及加速擴大的行業應用范圍,使視頻編碼行業面臨更大挑
23、戰,即在保證視頻質量的前提下,實現更高壓縮效率并匹配多樣的細分場景。在基于傳統編碼框架設計的編碼工具性能已趨于極限的背景下,探究智能化的視頻編碼技術是當前行業的重點發力方向。最近十年興起的人工智能熱潮已經滲透到工業、交通、安防、醫療、娛樂等多領域,細分技術涵蓋計算機視覺、自然語言處理、深度學習、大數據分析等,在視頻分類、人物識別、動作識別、內容檢索等方面與行業深度結合,助力全行業快速發展。未來視頻數據的消費場景不13 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 再單純局限于人眼視覺,服務于機器視覺的視頻編碼也將迎來巨大應用市場。智能視頻編碼的演進方向 來源:艾瑞咨
24、詢研究院自主研究繪制。智能視頻編碼同時面向人眼視覺和機器視覺,運用神經網絡等人工智能技術,一方面執行信號壓縮任務,對編碼場景、參數、模式選擇等信息進行面向應用場景和內容特征的分析,利用AI技術對去噪聲、圖像增強、細節改善等環節進行預處理,基于最佳模式的配置與編碼,實現精準化編碼控制,提高壓縮效率,即“AI for Coding”;另一方面在編碼過程中兼顧后續的智能分析過程,通過特征分析、特征提取,按照智能分析需求進行特征編碼,優化解碼應用端的智能分析過程,減少解碼端重復調用AI進行特征提取分析和處理的重復過程,為后續針對性重構視頻場景、執行智能分析任務奠定基礎,即“Coding for AI”
25、。智能視頻編碼打破了傳統編碼模式下壓縮編碼與智能分析相割裂的“1+1”分布式模式,整合了編碼、重組、解碼及智能應用等視頻鏈環節,實現從視頻編碼到重構分析的一體化智構編碼。從傳統編碼與AI技術的松耦合形式,發展到現階段的AI輔助編碼,智能技術在壓縮存儲空間、節省傳輸帶寬、降低視頻展示的時延,提升視頻質量等方面均展現了不14 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 可忽視的優勢。視頻數據應用的細分化趨勢催生了面向機器視覺的編碼框架的衍生、迭代,2019年MPEG成立編碼專家組推進機器視覺編碼標準(簡稱VCM,Video Coding for Machines)的發
26、展,2020年國內也成立了面向機器智能的數據編碼工作組(簡稱DCM,Data Coding for Machines),針對機器視覺進行編碼,提取關鍵特征信息、傳輸特征流而不是視頻信號流,在降低傳輸壓力的同時提升機器視覺分析任務的性能和效率,向實現視頻的智能重構不斷過渡。視頻編碼行業已經跨越傳統編碼的第一發展階段,編解碼+AI的雙重結合方式已在包括廣播電視、互聯網視頻、安防監控等多領域實現成熟應用,利用智能技術在視頻解析、處理等環節提升視頻編碼價值。當前智能視頻編碼的發展處于AI輔助編碼的探索階段,結合圖像的特征信息,利用AI算法,如ROI編碼、圖像縮放算法等,在編碼環節進行預處理,豐富編碼功
27、能,服務于后續視頻的分析與預測,提升整體編碼質量。具體的視頻處理流程是在視頻進行如AV1、H.264等傳統編碼標準處理之前,智能編碼會通過算法模塊針對視頻進行預處理,涉及可伸縮、多點編碼、圖像分層及圖像擦除等過程,降低非重要內容在視頻中的權重,提升編碼效率,降低存儲及帶寬成本,最后在終端側將圖像解碼還原。盡管以數據為驅動、目標為導向的智能技術在圖像壓縮、視頻生成等環節已顯著提升性能,但現階段深度學習技術未實現與視頻編碼業務應用的深度融合,AI技術的價值未得到完全釋放。伴隨AI重構編碼和機器視覺編碼技術的不斷成熟,智能視頻編碼將進入智構編碼階段,通過泛化滿足所有需求,即在兼顧低碼率的性能下,保證
28、同一碼流既能滿足人眼的質量需求,又能滿足機器的任務需求,靈活、智能重構視頻的智構編碼技術將是智能視頻編碼的進階方向。智構視頻的實現在深度與廣度上打破傳統編碼的客觀局限,逐步替代傳統視頻編碼框架,在節省存儲與帶寬資源的同時,降低信號失真和語義失真,保障人眼視頻觀賞需求的同時服務機器智能分析任務,實現“AI for Coding,Coding for AI”的雙重目標。15 2023.4 iResearch Inc.01 智能視頻編碼行業發展背景 本章小結 視頻文化產業和圖像產業的活躍發展,促進了產業鏈的整合迭代,視頻的多元運用與高效需求加速視頻編解碼技術升級優化。視頻產業的發展體現在視頻視覺效果
29、的演進提升,視頻角度和范圍的擴展,以及新型應用場景的涌現。近四十年來,國內外傳統編碼標準持續升級迭代,盡管編碼效率穩步提升,但基于統計學原理的傳統視頻編碼標準已經逼近技術上限,亟需引入新技術激活視頻編碼產業,釋放產業勢能。人工智能技術飛速發展,滲透多個行業領域,成為了實現智能視頻編碼的基礎和優化視頻編碼技術的有效手段。智能視頻編碼同時指面向人眼視覺和機器視覺,運用神經網絡等人工智能技術同步實現信號壓縮和特征編碼,精準化編碼控制,優化解碼端智能分析過程,為后續針對性重構視頻場景、執行智能分析任務奠定基礎,打破傳統編碼模式下壓縮編碼與智能分析的“1+1”模式,整合了編碼、重組、解碼及智能應用等視頻
30、鏈環節,實現了從視頻編碼到重構分析的一體化智構編碼。當前智能視頻編碼的發展處于AI輔助編碼的探索階段,伴隨AI端到端編碼和機器視覺編碼技術的不斷成熟,智能視頻編碼將進入第三階段,即智構編碼階段,在兼顧低碼率的性能下,滿足人眼與機器視覺雙重需求。智構視頻的實現在深度與廣度上打破傳統編碼的客觀局限,逐步替代傳統視頻編碼框架,實現“AI for Coding,Coding for AI”的雙重目標。當前視頻編碼行業持續向好,智能視頻編碼解決方案是產業鏈的核心,不同類型解決方案提供商發展趨勢多樣。但廠商受限于傳統編碼桎梏,需持續優化編碼框架;同時智能視頻編碼標準缺失,標準制定進程落后于實際產業應用。面
31、向機器視覺的編碼具有廣闊市場前景,標準機構、學界和商界應前瞻性引導布局。16 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 二、中國智能視頻編碼行業的發展現狀(一)中國智能視頻編碼行業的市場規模 智能視頻編碼整體市場規模包括軟件服務和硬件設備兩部分。根據艾瑞咨詢測算,2021年中國智能視頻編碼整體市場規模為237億元。2020年得益于超高清視頻的推廣與落地應用和疫情催化下云視頻會議和在線教育的快速滲透,消費端和產業側的生活娛樂、工作交流紛紛從線下轉向線上,使得2020年智能視頻編碼市場增速達64.5%。2021年起智能視頻編碼市場恢復平穩較快發展,隨著智能編碼技
32、術的場景滲透和云游戲、VR/AR等下游新興市場的增量起勢,市場規模加速提升,預計2025年智能視頻編碼市場規模有望突破600億元。2019-2025年中國智能視頻編碼整體市場規模及預測 注釋:市場規模包括云廠商提供視頻編碼服務時產生的PaaS收入和具有AI輔助編碼功能、面向機器視覺的視頻編碼功能的硬編碼器及設備的銷售收入,不包含應用于終端設備的編解碼芯片的銷售收入。來源:艾瑞咨詢研究院根據公開資料及專家訪談,結合艾瑞統計模型自主研究繪制。(二)中國智能視頻編碼產業鏈及競爭格局分析 中國智能視頻編碼產業鏈主要由核心硬件與編碼標準、智能視頻編碼解決方案與細分場景應用三個部分構成。17 2023.4
33、 iResearch Inc.02 中國智能視頻編碼行業發展現狀 2022年中國智能視頻編碼產業鏈 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。云計算、通信服務及CDN服務作為基礎支持貫穿整個智能視頻編碼產業。云基礎資源為視頻數據采集、存儲、傳輸提供支撐,降低端側的數據存儲壓力;電信運營、5G傳輸等通信服務保障、維護整個視頻生產的傳輸任務;CDN(內容分發網絡)服務加速視頻內容發布到最接近用戶的網絡邊緣,云邊協同降低整體傳輸時延。智能視頻編碼產業鏈的上游由編碼標準與核心硬件構成?,F階段的視頻編碼標準可分為傳統編碼標準與智能編碼標準。傳統編碼標準主要涵蓋H.26x、MPEG-x、AVSx、VP
34、x等四大系列標準。智能視頻編碼主要包括AI輔助編碼、VCM、DCM、AI增強視頻編碼(MPAI-EVC)、AI端到端視頻編碼(MPAI-EEV)等編碼技術。編碼標準作為視頻生產的基礎,不斷迭代優化,服務于后續高效的視頻編碼解決方案。芯片與服務器是完成視頻編碼的重要核心硬件,用于視頻編碼的芯片可分為通用芯片與專用芯片。CPU類軟編碼芯片基本可以兼容傳統與智能編碼標準,具有較好的通用性,受到通用云廠商的青睞;ASIC類硬編碼專用處理平臺在設計初期需考慮與18 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 編碼標準的兼容性及與實際應用場景的適配性,具有較高的性能,隨著
35、視頻產業發展市場滲透率逐漸提升,各類廠商陸續研發、發布了AI輔助編碼的專用芯片和異構計算解決方案。中國的各類視頻應用已走在世界前列,并擁有龐大的用戶群體,隨著5G、移動端視頻、云游戲、云桌面、VR/AR、元宇宙等行業的高速擴張,市場對專用視頻處理芯片的需求將呈現爆發式增長,視頻編碼解決方案廠商未來將通過自研或外部采購的方式提高專用于視頻處理的ASIC芯片的配置數量和比例,一種全新的面向專業視頻編解碼加速計算處理的系統級芯片在云端和邊緣端產品中逐漸顯現,行業內將這類專業的服務于視頻編解碼,具備視頻處理功能的芯片定位為視頻處理器(VPU:Video Processing Unit),VPU將迎來長
36、周期的藍海市場。多領域細分場景是智能視頻編碼產業鏈的終端環節?,F階段的智能視頻編碼應用場景已涵蓋安防交通、廣播電視、文教娛樂、醫療健康、智能制造等多領域。其中服務于廣播電視、文教娛樂場景的視頻編碼側重于人眼視覺,關注人眼對視頻質量的感知;安防交通、工業制造、醫療健康滲透的業務未來將提升機器視覺編碼投入,關注優化視頻編碼技術進而賦能機器對視頻的分析、理解。智能視頻編碼解決方案是產業鏈的核心環節。依據提供解決方案的方式,可分為方案提供與方案自研兩大類。綜合云服務廠商以頭部互聯網企業為主,基于大且廣的業務布局,該類企業可覆蓋下游多個細分場景。視頻云服務廠商主要覆蓋企業直播、教育培訓、視頻會議、廣電傳
37、媒等垂類場景,具備生產視頻的全鏈條能力并關注與下游企業業務的結合。智能視頻編碼的自研方案主要涉及互聯網視頻與視頻監控兩個方向,依托企業較強的技術積累與業務沉淀,可為自身業務定制視頻編碼解決方案,不斷向垂直場景滲透。19 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 智能視頻編碼解決方案玩家競爭要素對比 通用云服務廠商 垂類場景視頻編碼 視頻云廠商 產品 視頻編碼器以及低碼高清視頻編碼解決方案 場景 直播、短視頻、在線會議、云游戲、廣播電視媒體、短視頻、在線教育等 針對特定場景提供定制服務 實時音視頻、互動直播等 技術 低時延編碼,FOV tile編碼,空間云邊協
38、同編碼,智能語義編碼,感知編碼等 圖像編解碼算法,高清低碼技術等 高清低碼技術,超分辨率技術等 功能 增強、修復畫質,節省碼率 應用領域 覆蓋金融、互聯網、工業、教育、新零售、醫療健康、交通物流、政務等行業 特定行業運營商 以社交泛娛樂行業為主 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。n 通用云廠商整合產業鏈,同時具備云服務、硬件研發、提供場景解決方案的業務能力,服務客戶所在行業眾多,具備廣闊的渠道優勢 以頭部通用云廠商為例,在基礎支持層面提供云服務,在硬件方面自研芯片及服務器,同時提供多行業視頻編碼解決方案,實現多場景業務覆蓋。通用云廠商主要提供IaaS+PaaS層產品,服務行業廣布金
39、融、互聯網、制造、新零售、醫療健康、交通物流等行業。不同行業的企業用戶在數字化創新進程中加強云計算應用的深度和廣度,行業類型呈現泛化和整合的趨勢。此外,通用云廠商通過打通上下游廠商合作關系,具有與多行業客戶合作的渠道優勢,龐大的產品客群要求此類通用云服務廠商打通整條視頻編解碼產業鏈,解決多行業難題以擴大收益,助力多行業企業構建產業布局,與客戶形成長期合作關系,實現長期發展戰略。視頻智能編碼業務產業鏈中通用云廠商頭部企業主要有阿里云、華為云、騰訊云、金山云、百度智能云、京東云等。n 應用場景運營商通過自研編解碼技術催生出垂類視頻云解決方案提供商,為其業20 2023.4 iResearch In
40、c.02 中國智能視頻編碼行業發展現狀 務發展提供市場檢驗空間,降低業務風險。垂類場景視頻編碼業務是從運營商內部海量、復雜、多變的業務生命周期中孵化而生。以頭部垂類場景視頻編碼解決方案提供商為例,針對實時音視頻和直播/點播兩類場景,開發出了視頻智能技術。共推出了涵蓋云基礎、視頻及內容分發、數據中臺、開發中臺、人工智能等5大類云產品服務。相較于通用云廠商和視頻云廠商,垂類場景視頻編碼業務提供商從企業級能力支持出發,以面向業務解決問題為焦點,提供解決方案的相應產品具有標準化屬性,利于業務的開展和項目落地。頭部垂類場景解決方案提供商的發展路線為先搭建應用生態(PaaS+SaaS),后進軍基礎設施(I
41、aaS),發展策略逐漸從聚焦視頻行業轉變到形成泛化多場景解決方案。經過運營商內部考驗之后,可以嘗試拓展業務線,對外輸出成熟的產品和服務,因此垂類場景視頻編碼業務在發展自身業務時具有抗風險能力。視頻智能編碼業務產業鏈中垂類場景視頻編碼提供商在安防監控領域中是??低暫痛笕A等,直播領域主要有淘寶、Bilibili等,廣播電視領域主要有咪咕視訊和當虹科技等,長視頻領域主要有愛奇藝和優酷等,短視頻領域主要有火山引擎和快手等頭部企業。n 視頻云廠商向有特定需求的客戶群體提供定制化產品,平臺競爭優勢顯著。以頭部視頻云廠商為例,視頻云廠商可以快速向第三方獨立開發商、企業客戶和集成商提供定制化構建和配置應用程
42、序,基于視頻云廠商技術平臺的質量和可靠性,成熟的產品線提升客戶粘度;同時開發的產品根據客戶需求進行功能定制,有針對性地滿足特定技術需求的客戶群體。相較于通用云服務廠商提供的解決方案,視頻云廠商的定制化產品和服務有效提升了平臺競爭力。視頻云廠商中傳統視頻編碼技術仍是主流應用,隨著視頻云廠商在傳統視頻編碼技術基礎上引進AI技術,逐步成為智能視頻編碼解決方案提供商。雖然目前視頻云廠商基于SaaS、PaaS平臺,主要提供軟件編碼能力,但是隨著硬件編碼方案技術逐漸成熟,這些企業也考慮將硬件編碼方案逐步導入智能視頻編碼產業鏈中,視頻云廠商頭部企業主要有即構、聲21 2023.4 iResearch Inc
43、.02 中國智能視頻編碼行業發展現狀 網、融云、網易云信等頭部企業。2022年智能視頻編碼產業圖譜 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。(三)智能視頻編碼實現方案分析 依據視頻編碼處理可調用的資源類型,智能視頻編碼的算力平臺主要涉及CPU、硬件通信廠商CDN廠商云服務核心硬件與標準基礎支持視頻編碼標準應用場景協同辦公醫療健康文教娛樂直播帶貨工業制造視頻云廠商通用云廠商垂類場景視頻編碼l 安防監控l 直播平臺l 廣播電視l 長視頻廣播電視安防監控云端邊緣端智能視頻編碼解決方案l 短視頻22 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 GPU、FPGA、
44、ASIC及異構計算平臺。智能視頻編碼實現方案多維對比 平臺 類型 編碼 方式 標準 舉例 AI 輔助編碼 智能化特征 編碼 質量 時延 通用性 采購 成本 遠程 維護 典型 場景 CPU 軟編碼 H.264 H.265 AVS SVAC 易于增添 AI功能,軟件靈活度高,便于處理復雜 AI 模型 兼顧高碼率與低碼率,畫質較高 中 高 較高 支持 互聯網視頻 安防交通 廣電超高清視頻 云游戲 CPU+GPU 硬編碼/軟編碼 H.264 H.265 具備加速 AI訓練和提升AI 處理支持的功能 兼顧高碼率與低碼率,畫質較高 高 高 高 支持 互聯網視頻 FPGA 硬編碼 H.264 系統升級實現
45、AI 相關應用不需要添加或修改硬件,靈活性相對較高 畫質普通 低 低 低 不支持 安防交通 智慧城市 工業制造 ASIC 硬編碼 H.264 H.265 AVS 專用型芯片與場景適配度高,但模型固定,靈活性與可編程性較低 消費類:畫質普通 行業類:畫質較高 低 低 低 不支持 安防交通 智慧城市 工業制造 云游戲 CPU+GPU+ASSP 硬編碼 H.264 H.265 AV1 AVS 具備簡單模型與多模型處理功能,兼顧硬件加速與軟件靈活性特征 畫質較高 低 高 低 支持 廣電超高清視頻 互聯網視頻 智慧城市 數字孿生 VR/AR 來源:專家訪談、公開資料,艾瑞咨詢研究院自主研究并繪制。23
46、2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 編碼實現方案的選定往往結合硬件計算能力與特點、應用場景需求痛點、廠商業務構成和整體方案成本等多個維度綜合考量。從實際市場應用來看,對于超高清直播類、云游戲等場景,高性能CPU為主要處理平臺。軟編碼方式,靈活性高的特點延伸了CPU在視頻編碼領域的應用場景,如應用于直播領域的CPU處理平臺搭載H.264、H.265編碼器并疊加AI算法,具備細節處理、美顏等功能。高通用性優勢使其完成視頻生產任務后,亦可用作網絡服務器、AI服務器等其他應用。綜合靈活性及通用性等核心優勢,現階段CPU處理平臺在智能視頻編碼領域比重最大?;趶?/p>
47、算力特點,GPU多用于處理高并行計算任務,其內部的AI加速處理與渲染功能,多應用在如視頻分析、游戲等場景。CPU+GPU的協作架構在視頻編碼異構計算平臺中應用最多。GPU在CPU指令調度下執行計算任務,相較串行視頻編碼框架,CPU+GPU的異構視頻編碼平臺具備效率優勢。GPU寄生架構的特點,使運算執行的時延延長,故CPU+GPU的編碼方案適用于即時性要求相對寬松的場景,通過不斷調整編碼格式適配場景展示效果。礙于GPU的高價格成本及限購因素,目前多為頭部科技企業選用GPU處理平臺,基于NVIDIA定制的CUDA驅動依據需要針對編碼處理平臺進行二次開發,并充分利用GPU平臺上層豐富的軟件生態,實現
48、視頻編碼、高性能計算、AI訓練、仿真渲染等任務切換。GPU內置的Codec(編譯碼器)通常不具備最優性能,且CPU+GPU方案的綜合成本較高,這些相對明顯的缺點限制了GPU平臺在中小企業的視頻編碼應用。ASIC設計分為定制與半定制兩種,FPGA屬于ASIC領域中的一種半定制電路。相較于CPU與GPU,ASIC在芯片生產與外圍設計加工具有絕對成本優勢。成本敏感型企業傾向選擇嵌入式ASIC方案匹配應用場景,并主要應用于端側、邊緣側產品。嵌入式定制芯片針對場景設計,芯片性能優于CPU等通用處理平臺。ASIC處理平臺在智能視頻編碼領域應用受限的原因主要包括:(1)靈活性低:芯片算法固定,無法且無法結合
49、AI應用升級;(2)通用性低:專業性高,只能執行特定編碼任務;(3)24 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 生態不完善,管理、維護困難:ASIC板卡屬于非標服務器,無BCM(服務器管理控制單元)模塊;(4)專業人才不足:多數企業對ASIC芯片的改進、維護停留在軟件層面,缺少解決底層硬件問題的專業人才。算力平臺的選擇也是技術路線的選定,ASIC方案在解決運維和人員配置問題后,基于性能和價格優勢在視頻編碼領域具有發展潛力。CPU+GPU+ASSP(專用標準產品)計算平臺也是當前許多企業嘗試的視頻編碼處理方式,屬于VPU的一種產品形態。如國內視頻編解碼解決
50、方案提供商涌現科技,將AI與視頻編解碼算法深度融合,利用搭載專用固件的算力平臺方案優化芯片設計,開發出具有自主知識產權、高性能、低功耗的視頻編解碼加速芯片,用于支持多路、高并發、高密度的處理運算及各種編解碼格式,通過靈活的設置,實現算法-芯片-場景的進一步融合,在成本與性能方面均較傳統以CPU、GPU為主的軟編軟解方案有所改善,更好地釋放AI能力。CPU+GPU+ASSP的異構計算形式將底層AI算法寫入專用硬件加速單元,ASIC方式的升級,將算法芯片化、核心技術硬件化,使其針對性適配場景,成為智能視頻編碼的有效實現方式。ASSP部件的設計直接用軟件思維搭建硬件電路,每個時間單位都能專注于數據處
51、理或傳輸,無需糾結CPU和GPU在控制資源與計算資源的分配問題。同時,CPU的靈活性為智能模型的演進、更改提供資源,通用算力與專用算力的融合使整體異構計算平臺呈現低功耗、運行快等優點。目前,制成的AI芯片可應用于需要軟硬件結合的安防、交通等領域的邊緣側,已有一些頭部互聯網企業布局開發硬編解碼器,將特定視頻編碼算法與FPGA等專用硬件結合,提升編碼效率。(四)新時代下視頻編碼行業有待解決的痛點問題 視頻產業蓬勃發展的牽引下,視頻編碼行業持續向好發展,但仍存在諸多痛點問題。指數級增長的視頻編碼算力需求與當前高成本、低效率的軟編碼解決方案之間的矛盾;視頻編解碼和AI分析的融合處理技術趨勢對編解碼實現
52、方案和技術架構提出了25 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 新的挑戰。溯本求源,廠商和終端用戶最核心的訴求始終是降本增效,收獲更好、更快、更低價的視頻編碼技術方案以服務更多用戶并滿足其對圖像/視頻質量、性能的更高期待,這需要從供給側開發著手,由行業引領者探索更為先進的技術能力。廠商開發側:首先,視頻編碼行業廠商亟需突破傳統編碼標準的桎梏,中斷以算力資源堆疊置換視頻壓縮效率提升的技術思維慣性,當務之急是提升編碼效率的同時控制并降低編碼的復雜度,智能視頻編碼技術是最有效的解決方案。其次,當前通過軟件實現智能編碼的方案使得計算成本線性增加,在視頻產業快速發
53、展、多場景爆發的前夕,軟編碼方案顯然不具有可持續性,應探索高性能硬編碼方案以突破發展瓶頸。再次,過往的視頻編碼技術多服務于人眼視覺,圍繞著視頻壓縮和解碼還原后的圖像質量構建技術框架,編碼質量的評判多依據人眼主觀視覺判斷。隨著智慧城市、無人工廠等場景下機器視覺應用的爆發式增長,VCM應運而生。據Cisco統計,以機器視覺為主的M2M數據傳輸將占據全球數據傳輸總量的50%,面向機器視覺的編碼具有廣闊的市場應用空間。根據CB Insights數據,2020年中國已成為繼美國、日本后的第三大機器視覺應用市場,而面向機器視覺的編碼技術是提升方案效率和競爭力的關鍵。視頻編碼從服務于人眼視覺升級為服務于人眼
54、和機器視覺已是行業必然趨勢,標準機構、學界和商界應前瞻性地布局并儲備VCM/DCM技術,有待在中長期技術拐點來臨時將技術勢能轉化為產業動能,進一步提高我國在視頻技術研究和應用領域全球領先地位。標準制定側:芯片廠商、互聯網巨頭、垂類企業紛紛下場投入基于人工智能、神經網絡的視頻編碼優化,這側面體現了AI輔助編碼技術的必要性和價值。與此同時,智能編碼技術標準缺失,其制定進程顯著落后于產業應用進程,缺乏規范引導的廠商多自立門戶、引入私有智能編碼算法以提升編碼實力,這不利于AI編碼技術的市場推廣、產業化應用和視頻產業整體的協同發展,標準側升級迫在眉睫。此外,技術標準的產業化是單一企業乃至國家核心競爭力構
55、建的基礎。參與標準制定的企業26 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 能夠先人一步提供性能更優、適配度更高的產品與服務,主導標準制定的國家能夠在全球視頻產業鏈中獲得先發優勢、提升國際影響力,這關乎企業的生存與發展,關乎一國產業主導力、不再在產業鏈關鍵環節受制于人,“標準先行”這一現象在高新技術產業中尤為常見。我國AVS標準工作組披露AVS3標準下一階段增強檔次將加入AI技術,主打智能編碼,這或將推動我國AI輔助視頻編碼技術的長足發展,引領未來我國中長期視頻產業的持續演進。當前傳統編碼框架沒有質的提升。隨著視頻編碼技術與AI輔助技術及應用的結合越來越多,
56、智能編碼方案逐漸成為一種主流解決方案,但是由于傳統編碼框架目前缺少編碼標準支持現有方案,視頻編碼行業廠商采用多個系統堆疊方案,成本較高且開發難度大,需要專用硬件進行加速處理,因此視頻編碼標準升級已經迫在眉睫。27 2023.4 iResearch Inc.02 中國智能視頻編碼行業發展現狀 本章小結 艾瑞咨詢測算,2021年中國智能視頻編碼整體市場規模為237億元,預計2025年智能視頻編碼市場規模有望突破600億元。編碼標準與核心硬件構成智能視頻編碼產業鏈的上游,以傳統標準為基礎,以智能應用為目標,服務于后續的解決方案。智能視頻編碼解決方案是產業鏈的核心環節,其中,綜合云服務廠商具備云服務、
57、硬件研發、場景解決方案的業務能力,服務客戶所在行業眾多,體現廣闊的渠道優勢;視頻云服務廠商具備生產視頻的全鏈條能力,面向有特定需求的客戶群體提供定制化產品,平臺競爭優勢顯著。以互聯網視頻與視頻監控兩個方向為主的智能視頻編碼技術廠商,通過自研編解碼技術催生出垂類視頻云解決方案,為其業務發展提供市場檢驗空間。涵蓋安防交通、廣播電視、文教娛樂、智能制造等多領域的細分場景是智能視頻編碼產業鏈的終端環節。編碼產品方案的選定需綜合考量平臺計算能力與特點、場景需求痛點、廠商業務構成和整體方案成本等多個維度。對于超高清直播類、云游戲等場景,高性能CPU為主要處理平臺;CPU+GPU的協作架構在視頻編碼異構計算
58、平臺中應用最多;嵌入式定制芯片,如ASIC,針對場景設計,芯片性能優于CPU等通用處理平臺;CPU+GPU+ASSP計算平臺融合了通用算力與專用算力的優勢,呈現低功耗、運行快等優點,是當前許多企業嘗試的視頻編碼處理方式。盡管視頻產業蓬勃發展,但在編碼框架的突破,機器視覺編碼的技術儲備,智能視頻編碼標準的推進等方面仍待行業引領者不斷完善。未來伴隨技術趨于成熟,痛點問題逐一突破,智能視頻編碼將在以互聯網視頻、廣電超高清視頻、虛擬終端、城市安防、工業制造等場景為主的下游場景中加速滲透,展現智構視頻編碼降本增效的核心優勢。28 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分
59、析 三、中國智能視頻編碼應用場景分析(一)互聯網視頻場景 近二十年,隨著底層基礎設施和技術體系的日趨成熟,互聯網視頻蓬勃發展,逐漸成為了人們獲取信息、交流娛樂的重要方式。相比單純的文字、圖片或音頻,視頻以更加直觀的方式聚合多維度的信息,能夠帶來更強的沉浸式體驗和交互性。根據CNNIC第50次中國互聯網絡發展狀況統計報告數據,截至2022年6月網絡視頻用戶規模為9.95億,占網民整體的比例高達94.6%。隨著視頻類應用使用體驗的大幅優化,其消費時長占移動互聯網應用的比例呈現上升態勢,這為視頻編碼創造了巨大的市場空間。2025年中國互聯網視頻編碼市場規模將達270億元,相比2019年的爆發性增長,
60、互聯網視頻行業發展趨穩,年增長率穩定在25%的水平。2019-2025年互聯網智能視頻編碼市場規模及預測 注釋:互聯網智能視頻編碼市場規模統計了面向長視頻、短視頻、直播、互動直播等泛娛樂應用場景下,通用云和視頻云廠商提供AI輔助視頻編碼服務時產生的PaaS收入。來源:艾瑞咨詢研究院根據公開資料及專家訪談,結合艾瑞統計模型自主研究繪制?;ヂ摼W視頻根據服務類型主要分為點播、直播和互動直播三類。轉碼是點播服務的核心技術,可伸縮編碼技術在互聯網視頻轉碼這一環節得到了廣泛應用,具體是指29 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 事先將內容提供方上傳的視頻在云端解碼
61、再編碼,轉換為標準格式并云端存儲,根據用戶實際帶寬情況和播放終端自動、靈活地匹配分發不同碼率的視頻文件,在多碼流場景下提供最佳解碼畫質的解決方案,即兼顧清晰度和流暢度的最優觀看體驗??缮炜s編碼技術也稱為分層編碼,可通過AI編碼工具實現并具有魯棒性。直播與點播相比具有實時性和突發性特征,對時延和首屏時間等指標更為敏感,對高并發和弱網環境下的穩定性也有著更高的要求。與常見的單向一對多直播不同,互動直播支持用戶的雙向交流。這種雙向交流一方面對延時的容忍度極低,另一方面因為涉及多路視頻流,帶寬壓力和編解碼壓力成倍增加?;ヂ摼W視頻服務編碼需求的對比分析 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。整體
62、而言,互聯網視頻編碼的需求并未脫離降低比特率、節省帶寬和存儲成本這一范疇,但在細分場景下存在個性化需求。長視頻平臺對視頻編碼的首要訴求是高壓縮質量,即高畫質、流暢的視覺效果,但短視頻平臺則更具創造性和娛樂屬性。短非實時+秒級時延120s毫秒級時延200400ms實時性壓縮效率點播 視頻網站 短視頻直播 電商/帶貨直播 娛樂直播 游戲直播互動直播 互動直播 PK連麥一對多雙/多向互動單向分發30 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 視頻和直播平臺對美顏濾鏡等視頻前處理技術有額外的需求,這一過程和視頻轉碼同步完成;直播場景對時延忍耐度較低,在直播互動化趨勢
63、下未來直播場景端到端時延總體將進一步縮短?;诓町惢男枨筇卣?,各細分場景的主流技術方案如下:互聯網視頻細分場景主流技術方案對比分析 服務類型 長視頻 短視頻 直播 互動直播 編碼標準 H.264/H.265/AV1 H.264/H.265 硬件選型 CPU/CPU+GPU/ASIC 軟編碼,頻率高、性能好的服務器 畫質 FHD/4K/8K FHD/4K FHD 實時性-低時延 實時 來源:專家訪談、公開資料,艾瑞咨詢研究院自主研究并繪制。點播類服務基于多碼流場景針對不同的分辨率采用H.264/H.265/AV1多種編碼標準,其中H.264適用于1080p視頻、硬件兼容能力強,市場應用最為廣泛
64、,H.265和開源標準AV1提供4K/8K超高清視頻點播?;ヂ摼W直播類服務對畫面分辨率相對不敏感,主要采用H.264進行全高清視頻的轉碼,但對實時交互有剛性的業務需求,因此主要采用軟編碼方案,選型主頻高、性能強的CPU服務器。視頻點播類廠商的底層編碼算力方案根據玩家業務規模有所差異,頭部廠商如“愛優騰B”以視頻業務為核心且具有較強的資金實力,通常自主搭建視頻云平臺并自研相關技術,包括AI編碼工具等,通用云廠商僅提供IaaS服務;中小型互聯網視頻企業不具備研發和資金實力,直接采購通用云廠商或視頻云廠商的PaaS服務,通過API接口直接調用相關能力。通用云廠商因業務多樣性采用靈活性較高的CPU+G
65、PU通用芯片方案,視頻云廠商和頭部互聯網廠商部分采用專用的ASIC板卡。在技術開發方面,云計算廠商和視頻平臺運營商一方面基于最新視頻標準進行神經網絡編碼工具的開發,在碼率控制、代碼匯編等方面進行優化,另一方面通過AI算法+定制的ASIC/ASSP/FPGA芯片構建異構計算方案來實現低成本、低功耗、高性能的智能視頻編解碼,以此構建自身關鍵技術壁壘。近年來互聯網大廠陸續發布了自研的視頻編碼專用芯片,如騰31 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 訊云的視頻編解碼芯片滄海、阿里云的4K實時硬件編碼器XGH265、實時高清編碼器Ali266等,快手于品牌發布會上
66、披露自研的視頻壓縮SoC芯片已經流片成功,現正在進行線上內測,字節旗下火山引擎也在大會上披露了自研視頻編解碼服務器芯片的計劃?;ヂ摼W大廠自研芯片能夠更好地貼合自身平臺特點、配合業務發展需要,但各家技術棧不同導致自研芯片通用性不足,規?;涞卮嬖谧璧K,芯片多為自研自用,這給予了專業的視頻編解碼芯片設計公司充足的市場機會和空間,如涌現科技Seirios-I智能編碼處理器基于全自研芯片提供高算力、高吞吐、低成本、低功耗的靈活適配異構計算方案?;ヂ摼W視頻步入超高清時代,對視頻編碼提出升級要求。2021年8月抖音宣布支持2K超清視頻播放,同年9月快手宣布全面支持全景4k視頻和直播播放。2021年12月嗶
67、哩嗶哩上線8K超高清視頻畫質同時面向用戶提供畫質提升的4K超分功能,持續提高用戶觀看感受。各視頻平臺的畫質集體升級,引領網民進入超高清新時代。編碼標準方面,H.264仍是主流,市場應用占比約六成。VP9因為其壓縮率沒有真正和H.264拉開差距,雖然生態也很全面,但應用不多,約為5%。H.265作為H.264標準的迭代,當前市場應用約為20%。AV1因其開源、免版權金的模式被部分廠商視為新一代的視頻編解碼標準,但是AV1標準起步較晚,2020年才開始投入,普及率和生態還有待提高,當前市場占有率接近10%?;ヂ摼W視頻服務于公眾的視聽娛樂活動,注重內容分發的高質量、高穩定性和流暢度,超高清、超低時延
68、與強互動性趨勢顯著,這對視頻編碼產品和技術方案的性能和差異化提出了高要求。各大互聯網均在嘗試將視頻編碼與AI技術進行結合,但受限于硬件的適配性與靈活性,多基于軟件和GPU的方式實現,因此對專業的視頻處理加速硬件有迫切需求。以智能編碼專用芯片構建異構計算方案,釋放互聯網視頻運營商的資源與精力,賦能其聚焦于業務發展,預計將成為互聯網視頻編碼的主流解決方案。32 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析(二)廣電超高清視頻場景 5G、大數據、云計算、物聯網、區塊鏈、人工智能等技術推動廣播電視發展從標清到高清、超高清,從功能業務型到智能服務型,從被動接收到主動交互迭
69、代發展。廣播電視技術迭代實施方案(2020-2022年)提出要持續用科技創新驅動廣播電視迭代升級,加速構建現代傳播新格局,加快重塑廣電媒體新生態,全面推進廣播電視媒體深度融合。在超高清視頻應用推廣方面,體育賽事、新聞實況直播等領域需求旺盛,4K/8K大型直播作為超高清視頻的典型應用場景之一,對全流程制播設備和視頻編碼技術的編碼效率和時延提出了更高要求。超高清直播與5G技術已經成為標配,基于5G網絡傳輸下的轉直播應用不斷拓展。2018-2022年超高清視頻直播應用情況 場景 年份 代表公司 應用 體育賽事 2021 中國移動咪咕 東京奧運會 2022 中央廣播電視總臺 北京冬季奧運會 2022
70、中央廣播電視總臺 卡塔爾世界杯 演藝節目 2019 國家大劇院+中國移動咪咕 舞臺劇天路4K+5G 直播 2021 中央廣播電視總臺 2021 年春晚 8K 直播 新聞實況 2019 中國移動咪咕 國慶 70 周年閱兵 4K 直播 2020 中央廣播電視總臺 雷神山和火神山兩所醫院的建設過程直播 景觀直播 2020 中國移動咪咕 云端看珠峰 5G+4K+VR 360 度全景直播 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。超高清視頻廣播產業的高速發展,驅動以視頻為核心的行業智能化轉型,產業生態體系逐步完善,超高清視頻智能編碼市場容量日趨增長:(1)央視是超高清視頻直播產業的重要平臺,使得大型
71、直播擁有廣泛的商業應用空間;(2)全國各地有線網絡以及IPTV頻道落地接收運營4K頻道,地方電視臺相繼運營4K超高清頻道,同時頭部互聯網視頻企業超高清直播運營(超高清版權賽事和大型綜藝活動)的需求日益增長,全面助力超高清編解碼產品的市場擴大;(3)超高清廣播視頻4K終端基本33 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 實現普及,7個4K超高清電視頻道陸續開通,8K關鍵技術產品研發和產業化取得突破;(4)超高清平臺化運營模式入駐國內各大高新視頻產業園,為國內超高清視頻產業的發展奠定基礎。艾瑞咨詢預測2025年智能視頻編碼在廣電超高清領域的市場規模有望突破30
72、億,未來增速將保持在35%以上。2020-2025年廣電超高清智能視頻編碼市場規模及預測 注釋:市場規模包括央視和地方省級電視臺超高清廣播頻道視頻編碼設備采購金額。來源:艾瑞咨詢研究院根據公開資料及專家訪談,結合艾瑞統計模型自主研究繪制。廣電超高清視頻編碼技術要求視頻編解碼設備具備數字信號低損耗或無損傳輸的能力。根據超高清視頻產業白皮書(2021),超高清視頻編解碼設備對于超高清視頻的壓縮處理與展現時,核心關注4K/8K高分辨率、50fps120fps高幀率、10bit量化、4:4:2采樣、高動態亮度范圍靜態/動態HDR等參數,極佳的視覺效果伴隨著超高碼率實時視頻流的傳輸壓力。8K視頻的傳輸需
73、要處理每幀約33M像素的數據量。以24幀的8K視頻為例,如果每位色深達到6bit,處理單路8K數據的數據帶寬需要高達14.3Gbps。海量數據處理需求為當前的視頻編碼產品帶來了全新的挑戰與市場機遇,在保障用戶超高清畫質和流暢度體驗的同時,滿足廣電IPTV/OTT廠商有限的傳輸帶寬和成本要求、提供更高的壓縮率;同時針對軟件編碼實時處理超高清視頻而帶來的極大成本消耗,硬件芯片加速處理的應用使整體解體方案貼合“雙34 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 碳”戰略,廣電超高清視頻市場呼喚高畫質、高密度、低成本、低功耗、易維護的智能編碼技術方案。視頻編碼的格式轉
74、換和幀率轉換技術是廣電超高清視頻編碼技術核心關注點之一。視頻編碼器的分辨率格式轉換功能實現視頻在2K、4K、8K格式之間轉換,視頻編碼器通過采集的2K格式視頻,經過基于AI的超分辨率技術處理轉換為4K、8K視頻,另一方面,視頻編碼器針對4K、8K的源視頻,經過下采樣處理也可以支持2K視頻格式顯示;幀率轉換技術作為一種視頻后處理技術,采用運動估計和運動補償方法,恢復在傳輸受限場合下跳過的視頻幀,減少視覺上的停滯感和跳躍感。視頻分辨率格式轉換和幀率轉換技術是視頻編碼器的重點應用功能。8K VR技術和360度視角拍攝將成為未來高清轉播的重要技術手段。以北京2022年冬殘奧會的殘奧冰球項目為例,運用8
75、K VR及自由視角的拍攝制作技術,展示了接近360度旋轉的“自由視點”。通過場內布置的60臺攝像機最佳機位形成真實視點,并在每兩個真實視點之間插入30個“虛擬視點”畫面,將虛擬視點和真實視點進行融合拼接,向觀眾呈現出如時間靜止般、平滑的精彩回放鏡頭。體育賽事超高清360度新興轉播技術從現場、云服務器、5G網絡再到終端實現8K VR比賽信號直播,提升賽事觀賞性和臨場感。360度多路視角拍攝需要實現對現場攝像機的視頻內容進行AI圖像穩定處理和時間同步處理,將多路視頻的時間軸保持幀級同步,并處理成自由視角視頻流。當需求上升到上百路4K級超高清視頻時,傳統的軟編或者GPU編碼方式將帶來成本的指數級上升
76、。亟需能夠集成多路接口進行高清數字接口視頻輸入和對360度超高清影像進行專用處理的芯片,與智能視頻編碼技術結合,保障超高清廣播視頻的高效傳輸。35 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 360度自由視角智能視頻編碼解決方案 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。國際上4K/8K編碼標準主要以H.265和H.266為代表,以及AOM聯盟的AV1超高清視頻編碼標準,國內4K/8K廣電超高清編碼標準以AVS2和AVS3為主。目前超高清4K上下游鏈路已經趨于成熟,8K端到端直播技術在國內處于小規模市場導入階段。在8K芯片方面,目前8K編解碼芯片達到產品化
77、的企業較少,僅部分廠商的8K芯片在AVS3編碼標準上有商用落地的案例,其他各家編解碼芯片廠商還無法達到商用階段。編解碼芯片需要與編解碼技術標準相匹配,我國自主開發的AVS2編解碼標準尚未考慮HLG、HDR10、Dolby Vision等主流HDR技術規范,需通過其他方式轉換HDR內容,限制了超高清視頻內容與顯示終端的相互適配。我國自主研發的AVS系列標準具備先發優勢,國內視頻編碼技術和解決方案提供商積極布局,研發和生產全面本土化的編解碼芯片和編碼器設備,助力我國超高清產業自主可控、彎道超車。在超高清廣播視頻智能編碼解決方案提供商中,當虹科技是唯一在中央廣播電視總臺實現8K AVS3 50P直播
78、編碼器商用的廠商,也是超高清頻道編解碼設備系統主要提供商,此外咪咕視訊、數碼視訊、涌現科技等企業均有布局此項業務。超高清廣播客戶主要為中央廣播電視總臺、省級電視臺、電信運營商等,產品需求穩定。未來越來越多的企業會融入到專業級本土化編解碼器研發與制造,全方面打造自有核心技術,編碼硬件設備本土化趨勢明顯。與H.266、AV136 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 等面向超高清視頻的編解碼標準相比,國產新一代視頻編碼標準AVS3在研究進程上占有優勢,AVS3編碼產品的標準化將助推我國在超高清視頻產業的話語權提升和高新技術的國產替代進程加速。重大賽事、新聞實
79、況直播是超高清視頻率先落地的典型場景,高質量、低成本、低能耗的智能視頻編碼方案是超高清產業高速發展的重要驅動力和關鍵支撐力。我國面向4K/8K超高清應用自主開發的AVS3標準具備技術先進性和先發優勢,加快布局國產編碼標準,實現國產化替代,有望打破國際專利對我國音視頻產業發展的制約,在下一輪的爆發期中占據主導地位。(三)虛擬終端場景 高效的視頻編碼標準和編碼器碼率控制模塊是虛擬終端平臺的核心需求。虛擬終端市場發展處于產業起步階段,雖然初具規模,但市場較為分散,虛擬終端作為智能視頻編碼技術的新型應用場景,市場規模的增長幅度和增長空間較大,艾瑞咨詢預計,2025年云游戲、云桌面和云手機市場下智能視頻
80、編碼的市場規模將突破50億元,增長率保持在20%以上。2019-2025年云游戲&云桌面&云手機智能視頻編碼市場規模及預測 注釋:1)云游戲、云桌面、云手機的市場規模構成包括云服務軟件和硬件市場規模,與各自視頻編碼服務占比測算得出;2)云游戲、云桌面、云手機市場底層視頻編碼技術具有共性,故合并統計披露。來源:艾瑞咨詢研究院根據公開資料及專家訪談,結合艾瑞統計模型自主研究繪制。37 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 虛擬終端對于視頻編碼需求主要是低時延、高容量和高壓縮碼率,根據虛擬終端行業延伸的細分領域,主要分為云桌面和云游戲。當前云桌面技術已趨于成熟
81、,但云游戲在硬件資源和方案架構方面仍然存在優化的空間。服務器算力、虛擬化技術,音視頻編解碼加速、5G技術和邊緣節點計算是云游戲核心技術棧,云游戲以云計算為基礎資源,將底層服務器運行的游戲、圖像進行渲染后,依靠網絡傳輸到不同的用戶終端。在云游戲開發階段需考慮配備高性能服務器,并使底層計算資源、網絡傳輸、數據存儲,數據庫良好匹配;在部署階段需考慮網絡傳輸能力和邊緣節點位置,目前云游戲在部署方面存在時效問題和合規限制;對于云游戲用戶來說,視頻畫質和流暢度不夠仍然是云游戲推廣的主要障礙。云游戲系統框架 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。在云游戲傳統GPU編碼方案中,圖形渲染和視頻流編碼都在
82、GPU中進行,通常GPU在進行視頻圖形渲染時,視頻編碼能力會有所下降,并且GPU的編碼性能相比專用轉碼芯片存在一定差距。針對此短板的智能視頻編碼解決方案將GPU與專用轉碼芯片結合,補充專項編碼能力,釋放CPU和GPU資源,并且支持直接從GPU圖像存儲中獲取編碼數據,免去HOST層延時,增強圖片渲染能力的同時達到每幀編碼超低耗時的目的。38 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析“GPU+ASIC”方案與傳統方案對比 來源:公開資料,艾瑞咨詢研究院自主研究并繪制。云游戲廠商主要分為游戲行業巨頭和垂類云計算廠商兩類,游戲行業巨頭企業整合云游戲產業鏈,集內容研發
83、、游戲云化、云計算服務和游戲運營為一體,主要是網易云、騰訊云;部分企業深耕云游戲服務解決方案,如視博云、達龍云、布卡云等。廠商策略上,一方面云游戲廠商將積極擴充云端算力資源,加碼布局擴展產業鏈上下游,吸引行業玩家入局,使云游戲內容趨于豐富,游戲產品矩陣強化,通過產出優質內容跑通商業模式,調動C端消費者參與、下載并付費,達到擴大云游戲收入規模的目的;另一方面云游戲將與多場景結合,例如云游戲+直播、VR/AR游戲、互動影視、購物、試玩分發等,與更多場景發生關聯,探索云游戲與社交結合方向,提升用戶滲透率,云游戲關聯場景的多元化將引導智能視頻編碼技術持續深化。隨著云桌面短期并發和高性能辦公需求的擴大,
84、傳統視頻編碼技術難以滿足實時性信息傳輸的需要和應對復雜多變的應用場景。云桌面主要用于遠程辦公接入,根據不同的應用實例分為基礎辦公、代碼開發、圖紙查看、在線設計和視頻編輯及渲染等應用場景,針對高規格和高性能的復雜業務場景,傳輸效果清晰、實時響應的高碼率圖像和視頻,是辦公和應用的最基本要求。在云桌面解決方案提供商中,華為、深信服等頭部云服務企業均有布局。目前云桌面市場普遍采用H.264/H.265的編碼標準,以及CPU軟編或GPU硬編的實現方案,存在較大的算力缺口,亟需成本低、39 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 效率高的高密度解決方案,釋放服務器CP
85、U算力的同時增開云桌面終端數量,并且向終端用戶呈現高品質畫面。云桌面智能視頻編碼解決方案中,CPU占有率、碼率、編碼耗時等是云桌面廠商重點關注的指標,另外智能ROI區域檢測和智能場景分析同樣需要云桌面廠商配置相關視頻編碼工具來提升編碼效率。涌現科技智能視頻編碼方案集視頻編解碼、幀率轉換、視頻處理于一體,滿足虛擬終端多應用場景需求。盡管虛擬終端行業尚處于產業起步階段,但隨著市場需求的并發和高性能專業場景的覆蓋,算力資源的高效分配和針對性擴展成為廠商的共性訴求,專用芯片是優化智能視頻編碼技術方案的必要條件,以滿足虛擬終端遠程辦公場景和娛樂等應用下高并發、低時延、低帶寬、穩定性的技術需求。(四)城市
86、安防場景 相較于廣播電視、互聯網視頻等領域,泛安防領域的監控視頻具備明顯區別:(1)監控設備位置固定,場景不易切換:監控攝像頭等端側產品通常固定于指定位置,覆蓋特定角度范圍;(2)前景與背景信息存在感知差異:人、車輛等動態前景對象容易引起人眼感知,路面、天空等背景信息重要性偏低;(3)監控周期偏長,視頻處理難度提升:安防領域的視頻監控常需要7*24小時不間斷工作,視頻信息經采集后需存儲一定時間用于后續分析、取證;海量監控視頻的存儲、傳輸提升視頻處理難度。視頻監控從模擬時代、數字時代到智能化時代、數據時代的演進,應用于前端攝像機傳感技術的不斷提升,視頻監控圖像的分辨率逐漸從標清向高清、超高清性能
87、邁進。高清監控技術的快速普及與應用,增加了安防、交通領域視頻監控在端側視頻傳輸與后端錄像存儲方面的壓力,視頻編碼技術需滿足高效壓縮效率,兼顧高清畫質與低延遲傳輸。目前應用于安防、交通領域的主流視頻編碼標準為傳統H.264/H.265,依托H.264編碼標準,可以實現1080p清晰度的視頻編碼,但受限于目前的網絡帶寬,H.264無法支持4K及以上的視頻分辨率;H.265圍繞H.264標準,保留部分技術并疊加新技術對40 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 碼流、編碼質量、延時和算法復雜度進行改進,通過優化設置實現了對監控領域4K高清視頻的處理。伴隨視頻監
88、控行業日新月異的發展,傳統視頻監控技術的短板日益凸顯,主要體現在:(1)視頻分析依賴人工:目前監控視頻的分析處理依舊以人力為主,誤差率較高;(2)數據缺乏關聯價值:數據庫依場景、地理位置等因素相互獨立,形成數據孤島;(3)監控事前預防功能欠缺:多數視頻監控側重分析事故發生后的線索,缺少事前預防功能。近年來,機器視覺、深度學習等AI技術的發展,視頻編碼芯片模塊的技術革新,推動視頻編碼解決方案邁向智能化。智能ROI感興趣區域視頻編碼技術是人工智能在視頻監控領域的一種應用體現,依據圖像中感興趣區域的不同等級量化分配碼率,弱化噪聲、路面等次要背景信息,增強、提煉可用于調查取證的特征信息,實現視頻壓縮功
89、能。對于固定環境,背景模型無需重復編碼,依據智能算法實現變動區域的數據傳輸,大幅縮短視頻編碼時間?;诎卜?、交通領域監控視頻的識別、分析、理解等功能,端側設備采集的視頻數據在未來將主要服務于機器視覺,利用AI技術高效識別、處理數據信息,促使視頻監控從被動識別信息向主動獲取、預測、分析方向轉變。隨著視頻應用場景由單純服務于人眼視覺向兼顧人眼視覺與機器視覺的狀態轉變,VCM/DCM等典型的智能視頻編碼方式受到業內廣泛關注,其通過深度學習模型,發揮基于監控視頻的目標檢測、跟蹤、圖像分割、運動誤判等功能;分析路徑具備可重復調用特點,為拓展后續應用提供基礎。目前,VCM/DCM技術并未在公安、交通等傳統
90、監控系統中大量應用,兼容性與部署成本是其核心落地難點,主要體現在:(1)與歷史監控設備兼容性低,更易應用于新興項目;(2)編解碼器在中間環節承擔傳輸與控制作用,與后臺服務器配合過程存在不兼容風險;(3)基于VCM/DCM技術編碼的視頻主要服務于機器視覺,影響人工回溯環節對編碼視頻的確認;(4)現有智能視頻編碼方案的壓縮編碼環節與智能分析環節相對割裂,視頻編碼階段并未完全考慮實際編碼需求,導致解碼呈現的數據信息無法適配智能分析41 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 需求,加大分析工作量,方案整體部署成本提升。安防交通領域提供智能視頻編碼解決方案的企業以
91、??低?、大華、華為、宇視等視頻監控企業為主,安防監控廠商對VCM/DCM技術與傳統編碼方案的擇選依據項目具體需求。受限于當前VCM/DCM技術相對較窄的適用范圍與改良部署成本,傳統編碼方案更具性價比優勢??v觀整個安防交通視頻監控領域,AI輔助視頻編碼技術在公安、交通領域應用較多,占比接近40%,主要應用于編解碼器產品和公安顯示大屏。公安領域側重對暴露場景的監控,涉及廣場、高速、小區、要塞等空間,與交通監控應用存在交叉;解碼上墻是二者在視頻編解碼環節的共性應用。對于傳統農林牧漁監控領域,AI技術滲透普遍較低?!笆濉币巹?、雪亮工程等政策的頒布促進了對安防監控領域的智能化升級,艾瑞咨詢在202
92、1年發布的中國AI+安防行業發展研究報告中指出,公安交通安全防范領域是自2017年以來AI落地最快領域。交通、公安、司法是面向政府端安防領域的核心組成部分,其中交通、公安細分場景,對于視頻監控的依賴程度較高,VCM/DCM及AI輔助編碼技術在視頻監控的傳輸與展示效果中可以發揮更大價值。視頻監控在司法領域承擔的主要任務是庭審監測,監控視頻體量與視頻質量要求均遠低于在公安、交通領域的應用,現階段對助力視頻分析的VCM/DCM及相關AI編碼技術不存在強烈需求。安防市場的“馬太效應”明顯,??低?、大華股份、宇視科技、華為等龍頭企業在業內占據絕對比重。2021年智能視頻編碼在安防交通領域的市場規模約2
93、2億元,伴隨疫情逐漸好轉大背景下整體安防市場的回暖,智能技術與視頻監控場景的適配結合,智能視頻編碼標準的改進完善,艾瑞咨詢預測2025年智能視頻編碼在安防交通領域的市場規模有望突破30億。42 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 2019-2025年中國城市安防智能視頻編碼市場規模及預測 注釋:(1)市場規模測算包括公安交通城市大安防場景;(2)智能視頻編碼指涉及AI輔助編碼、VCM的硬編碼器。來源:艾瑞咨詢研究院根據公開資料及專家訪談,結合艾瑞統計模型自主研究繪制。在智能化的趨勢下,視頻監控前端執行信息采集、邊緣計算,后端進行大數據云計算的端、邊、云
94、集合方式成為業內主流。對于大規模產品,視頻流在端側通過交換機傳輸到邊緣側,邊緣側執行數據存儲任務并解碼上墻。視頻流的優化改進通過轉碼環節壓縮重要信息實現,利用光纖、交換機并疊加私有網絡將從區、街道提煉匯總的重要信息通過專線與干線上傳至市級、省級。對于小規模視頻流,傳輸環節通常只涉及前端、邊緣端或者前端與云端。攝像頭端側的智能分析技術目前已趨于成熟,邊緣智能技術處于起步階段。依靠自身設備處理與機器學習、深度學習相關數據,邊緣智能在改善延遲、減少帶寬、降低成本、分擔中心側處理壓力、提高數據安全性方面具備優勢。攝像頭端側的智能分析AI技術對安防監控端側產品的賦能主要落地在公安類、企業類攝像監控,政府
95、側對智能分析的需求驅動AI技術在端邊云側滲透。依據編解碼器方案中接入攝像頭的路數區別,安防監控對算力平臺的擇選存在差異。通常以30幀、1080p為路數單位的500路以下的視頻傾向選擇ASIC嵌入式方案,???、大華等在嵌入式產品的技術積累降低其對ASIC方案的開發成本,具43 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 備性價比優勢。針對市級、省級等重要區域的監控,常規嵌入式芯片難以滿足大路數視頻的接入需求,X86型號的CPU芯片將納入考量。端邊云協同的方式拓展了云端的計算能力,深入到傳統云無法覆蓋的邊緣應用場景,幫助安防交通行業交換、協同來自不同地域、多種業務
96、系統與數據源的采集數據。伴隨AI技術逐步從中心側向邊、端下沉,邊、端側可實現數據的聚合、過濾與智能分析,疊加算力技術的演進,融合專用處理與通用處理功能的異構計算實現方案成為智能視頻編解碼行業中一種新的產品形態。目前,除了傳統安防企業,專注于智能視頻硬件與解決方案的高新技術企業也紛紛發力,依托自研實力,在智能視頻編碼行業展開布局,如涌現科技,聚焦于基于AI的人眼視覺與機器視覺融合的編解碼技術,其自主研發的Seirios硬件可滿足安防監控場景下實時視頻轉碼、高壓縮比的需求,在節省大量存儲硬盤損耗問題的同時,降低包括人工等在內的多種成本支出。伴隨智能視頻編碼方案的成熟升級,逐步向AI端到端的智構視頻
97、階段演進,智能技術將貫穿編碼、解碼與應用的各個階段,城市安防場景下以VCM/DCM為代表的智能視頻編碼將真正實現編碼與AI“1+1=1”的結合,針對性的分析、處理將大幅提升編碼效率并縮減部署成本,加速智能視頻編碼在監控場景的滲透。(五)工業制造場景 機器視覺是視頻編碼技術與制造業緊密連接的核心技術載體,作為人工智能技術中快速發展的一個分支,自上世紀80年代,機器視覺已逐步在多個領域成功替代人眼視覺進行識別、檢索、分析、判斷等應用。2015年出臺的中國制造2025強國戰略行動綱領,明確了制造業智能升級任務的重要性與緊迫性,推動了企業在研發、生產、管理、服務等方面的智能化改進。機器視覺系統是綜合光
98、學、機械、電子、計算機軟硬件等多維度能力的技術,依托圖像處理、模式識別、信號處理、人工智能等技術在工業制造領域替代人眼執行工作。相較于人眼視覺,機器視覺在分辨率、速度、精度等方面具備絕對優勢。作為機器視覺系統的前端數據采集設備,工業相44 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 機的品質優劣、相機幀率壓縮效果的高低將直接決定機器視覺編碼圖像視頻的呈現質量。機器視覺VS人眼視覺 視覺類型 空間分辨率 圖像捕捉速度 觀測精度 感光范圍 彩色識別 信息重點 人眼視覺 6000*4000 24-30fps 分辨率 6-10 倍 400-750nm 高分力強,無法量
99、化 圖像保真 機器視覺 微米級 高速相機1000fps 微米級 紫光到 紅光 X 射線 高分力弱,可量化 檢測準確性 低時延 信息理解 來源:艾瑞咨詢研究院根據公開資料整理。伴隨工業物聯網與制造產業各環節的不斷融合,超高清視頻技術在工業領域的落地滲透,用于執行生產任務的機器視覺系統在精密定位測量、人機協作、設備巡檢、AI質檢、遠程操控輔助等細分場景下逐漸扮演重要角色。圖像視頻清晰度的提升,場景豐富度的延展,大幅提高了工業場景下機器視覺系統的任務執行難度和負荷,面向多樣的機器智能分析任務進行圖像特征高效壓縮是工業制造場景下智能視頻編碼技術的核心目標。AI技術的加持驅動數據采集設備智能化,依據算法
100、針對性收集數據,提升工業系統數據信息的分析價值。專業技能人才的勞動力缺口在智能制造轉型升級的加速進程中逐漸擴大,降低對原有人工技能的依賴,提升機器設備的標準化性能是未來自動化生產的發力方向,同時驅動機器視覺系統與智能視頻編碼技術在相應領域的滲透發展。相較于互聯網視頻、安防視頻監控、廣電超高清視頻等視頻路數偏大,圖像清晰度高,場景復雜的領域,嵌入式算力平臺即可覆蓋工業制造領域的普通場景的視頻編碼應用。針對制造業較為復雜的視頻采集、傳輸環節,傾向選擇CPU通用算力平臺?,F階段應用于智能制造方向的視頻編碼標準以傳統H.264/H.265為主。礙于服務于人眼視覺與服務于機器的編碼視頻在信息提取與展示重
101、點存在差異,針對機器視覺編45 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 碼的國際標準VCM與國內標準DCM受到標準組織、企業、高校等多方關注,相關標準集中在人臉識別、目標檢測、圖像分類、語音分割、安全隱私等方面,聚焦探索視頻實現效果與智能編碼標準的評價準則。工業相機廠商是助力機器視覺在工業制造領域落地的核心類型企業,以外資企業康耐視、基恩士、索尼為主,依托在視覺領域的技術積累與多年業務沉淀,占據國內工業相機市場前三。傳統安防企業,如??低?、大華股份,也是智能視頻編碼在工業制造領域落地的有力推手,憑借在視頻監控領域的業務積累,具備較強業務跨場景遷移能力。海
102、康威視在ASIC等嵌入式處理平臺具備技術優勢,擁有開發匹配場景需求解決方案的自研能力,在視頻監控行業積累的成熟供應鏈體系,攝像監控設備的優化算法,智能視頻編碼技術為其布局多領域業務提供基礎?,F階段基于機器視覺的智能視頻編碼在工業制造領域處于發展初期,但伴隨智能技術的成熟、編碼標準的完善與政府對智能制造關注的加深,以VCM/DCM為核心的智能視頻編碼將在工業制造場景發揮更大價值,助推“Coding for AI”在自動化、智能化的生產管理中落地,智能視頻編碼在工業制造領域的市場整體走勢向好。46 2023.4 iResearch Inc.03 中國智能視頻編碼應用場景分析 本章小結 智能視頻編碼
103、技術和場景應用兩者相輔相成。視頻編碼技術的根本價值在于降本增效,智能視頻編碼能在有限的傳輸帶寬資源和預算成本下提供高畫質、低時延的視頻體驗,賦能下游客戶提供更好的終端用戶服務;視頻編碼技術的衍生增值價值在于發掘應用場景的特點和潛在需求,并在此基礎上進行深度融合與創新,提供差異化的技術能力與服務,賦能客戶價值創造。如短視頻和直播場景下的視頻前處理、超高清賽事直播中的自由視角技術、城市安防和智能制造場景下的全景視頻及VCM/DCM技術,這些功能創新均需要在視頻編碼環節引入人工智能,未來智能視頻編碼是視頻產業探索的重點。中國智能視頻編碼應用場景主要涵蓋互聯網視頻、廣電超高清視頻、虛擬終端、城市安防和
104、工業制造五大領域。其中,互聯網視頻是視頻編碼技術的主力市場,預計2025年中國互聯網視頻編碼市場規模將達270億元,年增長率穩定在25%以上。以智能編碼專用芯片構建異構計算方案是現階段和未來互聯網視頻編碼的主流解決方案。廣電超高清視頻和虛擬終端領域現處于產業起步階段,極具市場潛力。我國廣電超高清視頻市場AVS3編碼標準具有國際領先性,有望在超高清視頻引發的下一輪視頻產業爆發中重拾話語權。后疫情時代,云桌面成為遠程辦公的新模式,預計將實現穩定增長,低時延、高容量和高壓縮碼率是虛擬終端的主要需求,頭部廠商將積極擴充云端算力資源。城市安防和工業場景下,以VCM/DCM為代表的智能視頻編碼將真正實現編
105、碼與AI“1+1=1”的結合,針對性的“特征分析、提取、編碼、傳輸、解碼、分析決策”視頻端到端鏈條重塑將大幅提升編碼效率,縮減部署成本,加速智能視頻編碼在行業的滲透。智能視頻編碼技術的應用從服務于人類觀賞向服務于機器視覺,乃至于人機混合應用演進,這一系統性、顛覆性的工作有待行業引領者多方合力、共創共建。47 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 四、中國智能視頻編碼行業引領者動態 中國智能視頻編碼產業鏈各個環節參與方分布多元。首先在行業供給端,標準組織機構探索并制定視頻編碼標準;國內高校學者對視頻編解碼和智能視覺信息處理的前瞻性研究,為智能視頻編碼方案
106、廠商提供先進的技術架構;智能視頻編碼方案廠商向視頻云服務廠商提供智能視頻編碼底層算力和技術支持。其次在行業需求端,視頻云服務的應用層級主要是視頻產品廠商。本章節選取了智能視頻編碼行業內重要環節的典型參與者,涵蓋標準組織機構,國內高校研究學者,智能視頻編碼芯片廠商,視頻云服務提供商和視頻產品提供商,總結視頻編碼標準制定趨勢,編碼技術前瞻研究,典型企業業務模式和技術前沿,發掘智能視頻編碼產業創新與變革動力。智能視頻編碼行業引領者 注釋:火山引擎、抖音、西瓜視頻均屬于字節跳動旗下廠商。來源:艾瑞咨詢研究院根據公開資料整理。48 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領
107、者動態 (一)標準組織機構 伴隨智能技術的發展與成熟,國際與國內各編碼組織相繼在最新一代的視頻編碼標準推進工作中融合AI、深度學習、機器視覺等智能技術,以期提高基于傳統編碼邏輯的標準化方案上限,兼顧提升服務于人眼視覺與服務于機器視覺分析的視頻質量,同步發力,促進下一階段智構視頻的成熟化。在AI輔助編碼領域,海外MPAI組織的創立為AI技術與視頻編碼的結合搭建橋梁。2021年MPAI發布了AI框架MPAI-AI,為執行AI模塊構成的工作流提供標準環境?;贏I的端到端視頻編碼MPAI-EEV(AI based End-to-End Video Coding project)是MPAI的第二階段戰
108、略,受益于相關研究機構的大力助推,已形成重要論文研究成果。國內在智能視頻融合編碼的嘗試主要依賴AVS標準組,經過AVS產業聯盟、AVS工作組、海思、華為等組織、企業的共同努力,AVS3視頻和系統標準在2022年7月8日被DVB正式批準成為下一代視頻編碼標準解決方案。作為國內的新一代視頻編碼標準,AVS3標準的制定與推進是國內標準加速商業化落地與國際化的里程碑事件,與DVB強強聯合的合作方式促進包括AVS3在內的4K/8K超高清產業的整體發展。相較于前一代編碼標準,AVS3的效率提升接近50%,其中基準檔次的目標是20%,主要依賴適配編碼標準的特定芯片與硬件實現;增強檔次30%目標的完成需依托神
109、經網絡技術,在融合媒體階段,通過AI技術實現壓縮任務,為后續搜索、內容識別的理解分析提供輔助。AVS3+神經網絡技術編碼標準的應用將直觀改善用戶視覺感受,結合高分辨率展示設備,提升視頻細節的整體展示效果。作為AI領域的熱門技術,機器視覺在智慧城市、智慧工業、數字孿生、虛擬現實中的嘗試與應用逐步推進機器視覺代替人眼視覺執行任務進程?;谇捌诘膶W術儲備與實際產業需求,中國電信在2019年的MPEG會議上提出統一面向機器視覺的壓縮編碼和面向人機混合視覺的壓縮與語義表征的提案,VCM機器視覺編碼專家組應運49 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 而生。VCM
110、旨在定義一種從視頻中提取壓縮視頻或特征碼流的編碼技術,保障高壓縮率與智能任務執行能力。經過探索試驗初稿,需求定稿與發布證據征集。中國面向機器智能的數據壓縮編碼標準工作組DCM成立于2020年1月,主要面向機器智能與人機混合應用,側重音視頻、點云等數據信息的表征與編碼,同步完善國家編碼標準并提升國際影響力。目前DCM工作組集中推進機器視覺成像方面工作,根據智能任務對編碼器進行針對性優化,使其可同時支持幾類校驗標準,實現工業應用中多任務的互通互聯,預計2024年DCM將出臺正式編碼標準。VCM vs DCM 編碼 工作組 成立 時間 應用范疇 應用場景 執行任務 應用價值 參與者舉例 VCM 20
111、19.7 機器視覺 人機混合視覺 視頻監控 智慧城市 智慧交通 智能制造 媒體直播 VR/AR智慧農業 檢測識別 圖像重建 圖像分割 事件預測 圖像增強 輕量壓縮 高編碼效率 計算負載降低 隱私保護 Intel、ITRI、Nokia、電信、華為、騰訊、中科大、北大、南大等 DCM 2020.1 機器智能 人機混合視覺 編碼器智能優化 兼容多類校驗標準 華為、阿里、騰訊、??低?、涌現科技、電信、中國電子技術標準化研究院、中科院計算所 浙大、中科大、上海交大等 來源:艾瑞咨詢研究院根據公開資料整理?!癈oding for AI”是VCM與DCM技術方案的核心理念,即通過特征提取與特征編碼,從視頻
112、生產環節降低數據傳輸與計算負載,保留價值信息,適配后續機器視覺智能分析?;谏窠浘W絡構建機器視覺模型,便于模型迭代與模塊調用,優化編碼測試結構,平衡編碼復雜度與傳輸時延,讓視頻采集數據精準服務于最終分析任務。VCM與DCM編碼標準均處于探索階段,在下一代標準正式公布之前,面向機器視覺分析的需求仍主要依賴成熟性高,具備成本優勢的傳統編碼器實現。50 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 伴隨服務于機器視覺的視頻編碼技術日趨完善,編碼標準的發力方向將向第二階段面向人機混合視覺的視頻編碼技術傾斜,即同一碼流同時滿足人眼視覺對視頻質量的要求,并兼顧機器視覺需求
113、。未來視頻行業需滿足泛化要求,前置應用場景,視頻生產根據實際需求進行編碼,適配所有類型的視覺任務,因此對結合AI算法并服務于各種應用場景的智能編碼技術的研究成為趨勢。(二)國內高校學者研究 視頻編解碼標準的制定與學術界前瞻性基礎研究密不可分。視頻與視覺技術國家工程研究中心(原“數字視頻編解碼技術國家工程實驗室”)依托于北京大學建設,從事視頻編解碼和智能視覺信息處理技術研究,并制定了自主知識產權的AVS超高清視頻編解碼系列國家標準和行業標準,成為IEEE國際標準的同時依托項目成果形成了“技術標準-芯片終端-系統應用”的完整產業鏈,為國家視頻編碼標準制定及大規模產業化、實現趕超國際標準做出重要貢獻
114、。中心副主任、北京大學信息科學技術學院馬思偉教授研究團隊在國家自然科學基金重點項目(批準號:61632001)資助下,圍繞著基于內容分析的高效視頻編碼理論與方法,從傳統預測/變換編碼和深度學習編碼兩方面開展深入研究,研究內容包括運動分析建模、結構分析建模和認知分析及建模、基于深度學習的認知模型及特征編碼方法等。其中團隊提出的“幀塊像素”多尺度自適應運動補償方法實現了更精準的運動信息緊湊表示,編碼效率較前一代標準AVS2、H.265/HEVC提升一倍,并支撐了新一代AVS3視頻編碼標準的制定。團隊研制的8K超高清實時編解碼器支撐了央視開通CCTV-8K超高清頻道,在國慶閱兵、央視春晚、冬奧賽事等
115、重大活動中提供了實時直播保障。此前,中心主任高文院士牽頭的“超高清視頻多態基元編解碼關鍵技術”榮獲了2020年度國家技術發明一等獎,“超高清視頻編解碼關鍵技術及系統應用”獲評2021年世界互聯網大會互聯網科技領先成果。北京大學及其科學家團隊在AVS超高清國家視頻編碼標準體系制定、高效視頻編碼研究領域取得了一系列重大創新成果51 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 并作出了突出貢獻。IEEE 電路與系統(CAS)學會將2021年度Mac Van Valkenburg 獎授予中國科學技術大學吳楓教授,以表彰他對多媒體非均勻編碼和通信的貢獻,這是該獎項歷史
116、上首次頒發給中國大陸的學者。中科大先研院-涌現科技智能媒體計算聯合實驗室對智能視頻編碼提出了全球領先的技術路線智構視頻編碼(Intelligent Structured Coding),其核心是一次編碼同時滿足人眼觀看的圖像質量要求和機器任務的語義質量要求,解碼后能夠重構圖像與特征,即面向人機混合應用場景、支持多任務類別的單碼流編碼方案“智構編碼”。這一技術架構能夠有效滿足視頻智能應用泛化需求,解決視頻產業發展面臨的挑戰,也是學術界關注的重要研究方向。據了解,中國科學技術大學李衛平教授、陳志波教授領導的課題組未來將持續發力于智構編碼方向,以泛化技術能力滿足下游多樣化應用需求的同時降低碼率、提升
117、壓縮效率。目前,團隊已向面向機器智能的數據編碼標準工作組(DCM)提交了應用場景提案文檔,編碼標準化的推進將加速智能視頻編碼產業化進程。(三)涌現科技 涌現科技(EMERGETECH)是一家聚焦基于人工智能的人眼視覺與機器視覺融合編解碼技術的國家高新技術企業,將人工智能與視頻編解碼算法深度融合,通過平衡算法和芯片設計優化,為行業提供高性能、低功耗、低成本的專用芯片、模組、軟件工具及針對特定場景的全棧應用解決方案。涌現科技擁有業界領先的芯片全流程設計能力,在14nm、10nm、8nm等先進制程上有成熟的流片經驗;截至2022年12月累計授權及在申近百項自主知識產權,先后獲得國家高新技術企業認定、
118、2020年度中國IC獨角獸、畢馬威中國第二屆“芯科技”Top50、畢馬威中國第三屆“芯科技”Top50、20212022年度中國IC獨角獸、2022中國半導體行業創新企業、2022中國半導體行業最具創新突破產品等榮譽;公司的第一代視頻編解碼芯片已經在14nm制程節點上量產,廣泛應用于互聯網視頻平52 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 臺、云桌面/云手機/云游戲、廣電超高清、智慧城市等領域的數據中心和邊緣計算節點。涌現科技榮譽獎項與知識產權積累 來源:公司官網,艾瑞咨詢研究院根據公開資料整理。n 涌現科技基于自研ASIC芯片提供Seirios媒體加速
119、專用解決方案,整合芯片架構并打造專用異構算力平臺,實現軟件到硬件無縫升級。Seirios媒體加速專用解決方案是高并發視頻編解碼加速產品。涌現科技整合不同架構的優勢,采用CPU+GPU+ASSP專用異構算力平臺,將底層AI算法寫入專用硬件加速單元,以性能功耗比為驅動,著力于硬件-軟件跨層次協調設計、將算法與芯片深度融合,大幅提升編碼效率,在實際場景中具備可編程、功耗低和運行快的特點。Seirios方案實現軟件到硬件無縫升級,多項產品性能指標引領業界。涌現科技Seirios系列視頻編解碼硬件完全兼容FFmpeg和GStreamer,其中FFmpeg是當前最主流的開源音視頻處理程序,涌現科技自研AS
120、IC轉碼芯片,很好兼容了FFmpeg原有的命令和選項,并提供了經過優化的預設參數集,用戶可以基于libavcodec API或Gstreamer plugin做快速開發,實現軟件方案到硬件方案的無縫提升。方案中有完整的SDK,內含優化的預設參數集,能夠提供完整解碼、編碼、轉碼、控制API,可53 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 以方便集成到自有多媒體框架;集成靈活,方便用戶自主定制、開發。Seirios視頻編解碼加速解決方案 來源:公司官網,艾瑞咨詢研究院根據公開資料整理。n 產品低功耗特性助力碳中和目標,全流程國產化優勢領先業界,Video+A
121、I視頻被賦予智能基因。Seirios方案支持多種不同分辨率輸出,匹配不同設備需求。支持H.264/H.265/VP9等多種格式相互轉碼,保證一進多出轉碼:輸出一路原始分辨+三路小分辨率碼流。Seirios的單顆芯片能實現2路4K/60幀處理能力,具備極大轉碼數據量的優勢,視頻處理性能提升明顯。芯片視頻處理能力對比 分辨率/幀率 720p/30 1080p/30 4Kp/60 Seirios-P4 128 路 64 路 8 路 Seirios-M1 32 路 16 路 2 路 GPU 26 路 13 路 1 路 FPGA 32 路 16 路 2 路 來源:公司官網,艾瑞咨詢研究院根據公開資料整理
122、。54 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 高性能處理芯片賦予解決方案超低時延優勢,能夠多場景流暢應用,Seirios系列視頻編解碼硬件的超低延時達到流暢無卡頓效果,標準的M.2/PCIe接口可擴展安裝并即插即用,極大降低了運維人員安裝和維護的難度,可以在數據中心及視頻處理終端快速地廣泛使用,能在直播、視頻會議、云游戲、云桌面等場景下多元運用。涌現科技基于自研ASIC芯片所創新的Seirios視頻編解碼加速解決方案在同樣場景下與CPU/GPU轉碼對比,能夠大幅度節能減耗,通過將其安裝在執行編碼和轉碼的視頻處理服務器上,可以在不改變服務器配置的情況下提
123、升處理性能。Seirios方案單顆芯片具有最大編解碼通量、最低的能耗指標,相同應用場景下橫向比較,單顆芯片的Seirios-P1功耗較CPU下降18倍,較GPU下降10倍。Seirios是媒體加速專用解決方案,在減輕數據中心服務器的多媒體處理負擔的同時,降低了整體功耗和成本。低成本和降功耗特性助力涌現科技順應ESG發展理念,布局碳中和宏圖。芯片能耗對比 芯片 能耗 格式 Seirios-M1 7.5W HEVC/H.264/VP9 GPU 70W HEVC/H.264 CPU 75W HEVC/H.264 FPGA-通用 來源:公司官網,艾瑞咨詢研究院根據公開資料整理。Seirios解決方案中
124、核心的ASIC視頻編解碼芯片,是由涌現科技研發團隊自主研發的14nm先進制程芯片,已經從算法升級、芯片設計到軟硬件集成全面實現了國產化,順應國產替代發展機遇,繼續向行業輸送創新研發活力。n 涌現科技積極拓展學界和商界合作關系,牽頭智能視頻全新賽道,“智構視頻”核心理念開辟行業新領域。公司與學院和社會持續開展合作,擴大行業影響力,加速“產學研用”深度融合。學院層面,涌現科技與中國科學技術大學共同組建了“中科大先研院-涌現科技智能55 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 媒體計算聯合實驗室”,致力于科技前沿,在關鍵技術和標準上取得突破;社會層面,公司參展
125、2021首屆中國(海南)體育用品和裝備進口博覽會,向社會展示5G+8K超高清直播方案,以及自由視角全景觀賽技術在數字體育領域的應用方案,同時自主研發的芯片技術賦能更多體育應用場景,有效將8K超高清畫質同步直播到外場。公司兼顧技術前沿研究與產品商業落地,探索和開辟機器智能數字編碼賽道。機器視覺算法代替人工處理任務是大勢所趨,未來視頻編解碼技術發展路線為面向機器的VCM,即以語義級信息來做檢測、識別等AI任務。涌現科技獨創性定義的“智能視頻編碼”,為重構視頻場景和執行智能分析奠定基礎,“智構視頻”作為全新核心技術理念,是“智能視頻編碼”發展的最終層級,引領智能編碼行業前沿。(四)阿里云 隨著5G時
126、代的到來,互聯網短視頻、電商直播、游戲直播、電影電視劇等視頻業務井噴式發展,視頻內容對網絡帶寬、數據存儲的消耗加劇,探究在有限傳輸帶寬下,攻破海量視頻消費者并發的技術瓶頸,保障終端用戶的觀看體驗,是包括阿里云在內的云服務企業亟需解決的問題。依托云服務領域的業務積累與前沿創新,阿里云在視頻產業已形成多樣產品服務與完備技術架構。阿里云視頻云部分核心產品 產品類型 產品功能 視頻點播 包含視頻采集、視頻編碼、上傳、媒體資源管理、自動轉碼處理、視頻審核分析、分發加速多環節的一站式音視頻點播解決方案 媒體處理 智能審核、內容理解、智能編輯的多媒體服務 視頻直播 提供易接入、低延遲、高并發、高清流暢的音視
127、頻直播服務 音視頻處理 實時音視頻開發平臺 短視頻 包含視頻拍攝、特效編輯、本地轉碼、高速上傳、自動化轉碼處理、媒體資源管理、分發加速、播放于一體的完整短視頻解決方案 CDN 加速用戶訪問響應速度 來源:艾瑞咨詢研究院根據公開資料整理。56 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 普惠化,即降低帶寬成本與服務器成本并兼顧視頻質量提升,是阿里云視頻云業務布局的目的之一,圍繞視頻技術向云化、數字化、普惠化的演進趨勢,在編碼內核、AI輔助壓縮、編碼器優化等角度持續突破。阿里云視頻云視頻編碼與增強技術團隊專注于窄帶高清產品的升級迭代,從人眼視覺模型出發,聯合視頻
128、編碼和視頻修復增強技術,節省碼流同步提高視頻清晰度,基于窄帶高清的直播點播產品為優酷、釘釘、手淘等阿里集團重要業務提供支撐。與高校的合作布局,為阿里云在基于模擬編碼器的視頻編碼、端到端聯合優化、視頻質量評估等方面提供最新技術支持。該團隊最新研究成果基于可變形卷積的壓縮視頻質量增強網絡入選ICASSP 2022(International Conference on Acoustics,Speech and Signal Pricessing)學術會議。2020年11月,阿里公布首款全自研4K實時硬件編碼器XGH265,XGH265采用軟硬件協同創新方案,依托協同算法,在固件上實現低計算量、控制
129、邏輯復雜的視頻處理。針對同等視頻質量,XGH265編碼器較主流芯片編解碼節省40%帶寬。2021年1月,阿里發布基于新一代國際視頻編解碼標準H.266/VVC的編解碼器Ali266。Ali266研發的核心目的是:(1)實現視頻高壓縮性(2)提升高清實時編碼速度(3)完備的端到端編解碼生態。編碼質量與編碼速度優化是Ali266的主要優化維度,目前Ali266已經實現2K,即1080p30幀每秒的實時編碼能力,4K/8K超高清視頻實時編碼技術為未來主攻方向。作為視頻編碼標準組的參與者之一,阿里云視頻云在JEVT面向人眼視覺的視頻編碼和MPEG面向機器視覺的視頻編碼標準中均有參與,并在國內DCM標準
130、研究領域持續發力。內容視頻化、交互線上化成為當前社會發展顯性趨勢,疫情的反復爆發加速新內容、新交互的演化進程,視頻云可重構多領域行業,協同云端,增強業務可拓性。依托阿里云豐富的生態體系、覆蓋全球的基礎設施、完備的視頻云解決方案產品矩陣,兼顧自身視頻業務并賦能視頻行業下游多場景應用,向互聯網娛樂、在線教育、金57 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 融、政務、電商零售等數十個行業不斷滲透。服務穩定性、部署性價比、數據安全性等維度的優勢使阿里云在視頻云服務行業占據重要地位。(五)字節跳動 基于大體量視頻業務發展開放視頻技術能力,字節跳動在產業應用和國內外
131、視頻編碼標準技術提案方面成績斐然。字節跳動先進視頻團隊(Advanced Video Group,簡稱AVG)BVC系列編碼器的主要研發團隊分布在美國西岸San Diego和中國的北京、上海、杭州四個城市。2021年,字節跳動自主研發的BVC1.0和BVC2.0編碼器分別在視頻編碼國際權威賽事MSU 2020中獲得了4K 8bit項目8項評分標準第一名和離線(1fps)賽道全部4項評分標準第一名的成績。根據大會公布報告,BVC2.0編碼后的視頻大小平均可以達到比賽基準線編碼器的66%,并且視頻更為清晰。據團隊負責人表示,未來AVG的各項研究成果也將通過BVC編碼器的升級換代投入應用,包括抖音、
132、西瓜視頻、今日頭條等字節跳動全系視頻產品。2021年10月字節跳動旗下的火山引擎多媒體實驗室發布其針對屏幕內容視頻研發的編解碼器BVC1S,目前該產品已在飛書遠程協作屏幕共享中落地應用,并將集成在火山引擎視頻云產品中對企業客戶開放服務。據測試,BVC1S相比主流的X265開源編碼器在遠程協作、虛擬桌面、云游戲等應用的編碼場景下可大幅節省碼率,編碼速度提升近三倍。標準制定方面,據聯合視頻專家組JVET官網公布的信息顯示字節跳動AVG美國加州研發團隊于2021年初發起了一項JVET-U0068技術提案,并命名為DAM(Deep-filtering with Adaptive Model-selec
133、tion),是通過深度學習技術構建的減少視頻壓縮失真的濾波器,該提案相比H.266/VVC最新標準視頻體積縮小至少13%,是業界公開的單個智能編碼工具的最佳性能增益。此前JVET制定新一代國際視頻編解碼標準H.266/VVC的過程中,字節跳動AVG被采納提案數量和采納率均排在前列,是H.266/VVC核心算法的主要貢獻者之一。此外,字節跳動旗下的火山引擎多媒體實驗室積極參與了AVS標準的研究與推廣工作,累計向工作組提交技術提案131項,58 2023.4 iResearch Inc.04 中國智能視頻編碼行業引領者動態 其中36項核心技術提案被AVS3視頻標準采納,并獲得了2021年度AVS產
134、業技術單位創新獎,技術實力得到了工作組的認可。59 中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 五、智能視頻編碼發展趨勢 近十年來是視頻產業發展的黃金期,在智能視頻多元應用重塑視頻產業的背景下,服務于智能視頻的智能視頻編碼技術將在深度與廣度上得到持續發展。加深與AI技術的結合,為智能分析提供充足算力,探索、優化底層視頻編碼的實現方案將是業內玩家的關注重點。應用場景的差異性對智能視頻編碼技術提出了高要求,在針對性適配不同應用的過程中,技術的縱向沉淀也將有助于新興應用場景的橫向拓展。作為視覺呈現的核心技
135、術,智能視頻編碼在商業、工業、城建、廣播電視、交通、游戲等領域的應用,為場景間的切換與整合提供基礎,推動行業向全息、虛擬、甚至元宇宙領域滲透,以智能視頻編碼為推手,助力視頻產業數字化、智能化的發展。(一)異構計算架構將成為適應差異化編碼需求的主流方案 計算是現在及未來世界解決問題的主要方法,算力需求的激增驅動芯片多樣化的發展,從通用型芯片CPU與GPU、半定制芯片FPGA發展到定制芯片ASIC,芯片設計架構的差異性使其在不同領域發揮高效功能。智慧城市、視頻直播、VR、云游戲、智能視頻分析等相關領域的迅猛發展使得視頻成為信息世界的最大數據類型。在視頻質量需求不斷上漲的背景下,CPU將消耗更多能耗
136、與存儲空間,CPU+軟件視頻編解碼的方案不再是最為經濟的編碼方式,應用于視頻處理的專用芯片(VPU)應運而生。目前云端的服務器與數據中心更多依賴CPU、GPU與半定制化的FPGA進行AI運算與推理,伴隨場景需求理解愈發明確,軟件算法趨于成熟穩定,ASIC不易更改特定算法設計的缺點將弱化,具備能效優勢的專用芯片將成為計算領域的重點。VPU的落地使用將大幅減少對CPU的使用量,為企業降本增效,同時定制化的芯片服務更加貼合自身業務,實現效率最大化。當微縮技術的發展無法匹配芯片制程節點的迭代演進,在制程工藝接近物理極限的背景下,“后摩爾時代”單純依賴CPU、GPU、FPGA或者ASIC已無法滿足不同需
137、求的計算加速效果,組合不同制程架構、不同指令集、不同功能硬件的異構計算60 中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 方式將成為包括智能視頻編碼行業在內的數據處理領域主流的算力平臺。異構計算方式可協調性地使用性能、架構各異的機器來匹配差異化計算需求,利用專用固件ASSP的“專精”性能,使數據處理管線實現每一級的處理結果直接輸入下一級,較低功耗;疊加CPU、GPU的靈活性,不斷優化智能算法來適配日趨豐富的使用場景,實現總體算力性能的最大化?,F階段已有華為等科技企業將通用算力部署在云端,將算法寫入特定
138、ASIC芯片,包裝成異構計算SoC芯片,運行VCC或HEVC等視頻編碼格式,賦能安防、交通等領域的邊緣視頻編碼。伴隨智能視頻編碼的發展,AI角色占比加深,平衡算力與成本的異構計算解決方案將成為企業擇選的重點方式。(二)智能編解碼技術革新賦能AIGC、元宇宙新興產業發展 n AIGC、元宇宙以其衍生多元化應用擴展落地路徑,算力基礎設施和云計算等技術升級演化,視頻智能編碼技術與芯片是底層技術核心。AI技術的發展引發內容生態革命性創新,AIGC可以迅速生成不同模態的數據內容,包括文本生成、音頻生成、圖像生成、視頻生成等。元宇宙由內容生產、用戶體驗以及實體世界內容數字化改造而來,是物理世界的虛擬化。A
139、IGC技術利用深度學習算法,生成大量數字內容,在游戲、影視、廣告、音樂等領域帶來新的內容和創新,提高了數字內容質量和處理效率,使得元宇宙世界更加真實且多樣化,為元宇宙的開發和運營提供了強有力的支持。智構視頻基于視頻內容編碼、傳輸、分析結構化視頻碼流,其技術架構原生性匹配AIGC、元宇宙等應用場景,使得應用更加高效和多元。元宇宙以三維和360度的展現形式,貼近物理世界體驗,提供給用戶娛樂、社交、辦公、商業等一系列數字化應用場景,全息和XR技術催生出的各種新形態的視頻種類,基于源源不斷的內容和信息記錄持續發展。AIGC作為元宇宙的一項重要技術,應用于視頻編碼和視頻增強領域,以優化元宇宙中的視頻質量
140、,提升視頻生成和處理效率。智能視頻編碼芯片與技術作為底層基礎,為大量新應用的視頻傳輸提供有效途徑。61 中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry n 元宇宙智能視頻編碼技術研究前沿在高數據量和有限帶寬基礎上,聚焦于沉浸式3D視頻前沿技術研發突破,下一代視頻編碼標準是智能視頻編碼研究和技術落地的基礎。元宇宙產業興起激發立體成像點云、光場、全息、360度VR視頻等沉浸式3D視頻編碼技術的發展,3D視頻作為一種新的視覺信息表達方式,是未來沉浸式視頻的重要發展方向。端到端點云幾何屬性信息壓縮,幀間預測和基
141、于深度學習的點云編碼等技術是未來點云編碼技術前沿研究重點;光場圖像是立體顯示、虛擬現實、深度計算等場景的主要應用途徑,在視頻編碼端,基于視察預測的光場圖像編碼方法是技術前沿突破之一,極大降低傳輸碼流信息所需帶寬;全息三維顯示重建真實場景的光場,為用戶提供深度體驗感,針對全息三維顯示的海量數據和計算量,三維物體的稀疏采樣、全息三維視頻壓縮編碼的優選和參數優化、全息圖分形壓縮算法等方法,有效壓縮了傳輸數據,促進三維顯示的實用化;360度VR視頻的呈現形式是球形界面,因此立體視頻傳輸對于帶寬需求增加,立方體投影算法能適應可用帶寬數據量,是360度VR視頻技術應用可用技術方案之一。隨著基于元宇宙虛擬現
142、實技術演變趨勢和下一代視頻編碼標準的制定,沉浸式3D視頻逐步受到學界和社會的重視,為滿足帶寬和質量要求,優化用戶體驗,新一代視頻編碼標準和高效的視頻壓縮編碼技術是元宇宙智能視頻編碼研究探索的核心問題。63 中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry 法律聲明 版權聲明 本報告為艾瑞咨詢制作,其版權歸屬艾瑞咨詢,沒有經過艾瑞咨詢的書面許可,任何組織和個人不得以任何形式復制、傳播或輸出中華人民共和國境外。任何未經授權使用本報告的相關商業行為都將違反中華人民共和國著作權法和其他法律法規以及有關國際公約的規
143、定。免責條款 本報告中行業數據及相關市場預測主要為公司研究員采用桌面研究、行業訪談、市場調查及其他研究方法,部分文字和數據采集于公開信息,并且結合艾瑞監測產品數據,通過艾瑞統計預測模型估算獲得;企業數據主要為訪談獲得,艾瑞咨詢對該等信息的準確性、完整性或可靠性作盡最大努力的追求,但不作任何保證。在任何情況下,本報告中的信息或所表述的觀點均不構成任何建議。本報告中發布的調研數據采用樣本調研方法,其數據結果受到樣本的影響。由于調研方法及樣本的限制,調查資料收集范圍的限制,該數據僅代表調研時間和人群的基本狀況,僅服務于當前的調研目的,為市場和客戶提供基本參考。受研究方法和數據獲取資源的限制,本報告只提供給用戶作為市場參考資料,本公司對該報告的數據和觀點不承擔法律責任。合作說明 該報告由涌現科技和艾瑞共同發起,旨在體現行業發展狀況,供各界參考。中國智能視頻編碼行業白皮書 White Paper on Chinas Intelligent Video Coding Industry