傳媒行業元宇宙系列深度報告之二：數字虛擬人科技人文的交點賦能產業的起點-220310（65頁）.pdf

1、元宇宙系列深度報告之二：數字虛擬人科技人文的交點，賦能產業的起點評級：推薦(維持)證券研究報告2022年03月10日傳媒1相對滬深300表現表現1M3M12M傳媒-2.3%-4.2%-15.7%滬深300-6.1%-11.6%-17.3%最近一年走勢相關報告國海證券_行業研究：元宇宙系列深度報告：下一代互聯網前瞻*傳媒*姚蕾2022-01-05-0.1841-0.1305-0.0769-0.02330.03030.0839傳媒滬深3002請務必閱讀附注中的免責條款重點關注公司及盈利預測重點關注公司及盈利預測3wind，國海證券研究所重點公司代碼重點公司代碼股票名稱股票名稱2022/3/1020

2、22/3/10EPSEPSPEPE投資評級投資評級股價股價2020A2020A2021E2021E2022E2022E2020A2020A2021E2021E2022E2022E300058.SZ300058.SZ藍色光標藍色光標7.80.290.270.3326.828.623.3未評級300182.SZ300182.SZ捷成股份捷成股份5.5-0.480.200.28-11.427.819.6未評級600986.SH600986.SH浙文互聯浙文互聯5.70.070.230.3080.225.218.9未評級603825.SH603825.SH華揚聯眾華揚聯眾18.50.830.961.4

3、722.319.312.6未評級600556.SH600556.SH天下秀天下秀8.40.160.240.3851.534.522.0未評級002291.SZ002291.SZ星期六星期六16.30.030.661.06611.424.715.5未評級資料來源：Wind資訊，國海證券研究所備注：盈利預測來自wind一致預期請務必閱讀附注中的免責條款4核心要點：核心要點：廣義的數字虛擬人指數字化外形的虛擬人物廣義的數字虛擬人指數字化外形的虛擬人物，打破物理界限提供擬人服務與體驗是其核心價值打破物理界限提供擬人服務與體驗是其核心價值，超寫實超寫實、工具化工具化、強交互是發展趨勢強交互是發展趨勢。我

4、們認為數字虛擬人技術發展大趨勢：（1）視覺層面突破超寫實接近真人，或者風格化強調美學表達兩大方向。（2）技術工具化，為普通消費者、藝術家、企業提供低成本高效率創作虛擬人的技術，加快在各領域的應用。（3）強交互，提供接近于實時與真人自然交流的體驗，為用戶帶來的互動感與沉浸感是多數消費者的核心使用動力。虛擬人自上世紀在影視音樂領域萌芽開始，隨著硬件軟件技術的快速發展，朝著智能化、便捷化、精細化、多樣化發展。虛擬人制作技術全面提升與突破虛擬人制作技術全面提升與突破，實現可自然交互的虛擬人仍須技術發展：實現可自然交互的虛擬人仍須技術發展：數字虛擬人通用系統框架包含人物形象、語音生成、動畫生成、音視頻合

5、成顯示以及交互模塊。數字虛擬人視覺制作部分的工業化流程涵蓋了建模、骨骼綁定、驅動、渲染等。以驅動技術分類可分為交互與非交互兩類，交互類進一步分為真人及計算機驅動。目前真人驅動為主流，計算機驅動對人工智能等技術要求較高，目前僅嘴部動作可以實現智能合成，自然交互依賴于人工智能深度學習技術，最終效果取決于語音合成、NLP技術、語音識別等技術的共同發展。應用和場景為基礎應用和場景為基礎，內容和運營和核心內容和運營和核心，元宇宙將進一步打開虛擬人應用場景想象空間：元宇宙將進一步打開虛擬人應用場景想象空間：應用領域可分為身份型（核心在于IP及人設打造）以及服務型（替代真人簡單交互的虛擬助手以及可深度交互的

6、多模態助手）。我們預計2030年我國數字虛擬人市場規模將達到2700億，虛擬偶像、虛擬分身、虛擬助手、多模態助手分別將達到1474/262/115/840億元市場規模。（1 1）虛擬偶像：虛擬偶像：初音未來、洛天依等初代二次元虛擬偶像誕生于2010年后，以CG技術合成+雅馬哈VOCALOID系軟件合成聲音，其呈現形式和商業化場景隨技術進步持續豐富；字節跳動及樂華娛樂于2020年推出虛擬偶像團體ASOUL，并迅速成為頂流；燃麥科技于2021推出虛擬超寫實數字人AYAYI、創壹科技于2021年推出超寫實虛擬UP主柳葉熙，主要呈現形式分別為靜態圖片和視頻。虛擬偶像盈利模式主要為演藝活動、直播帶貨、直

7、播打賞及商業代言，周邊衍生開發潛力大。頭部虛擬偶像直播坑位費、打賞收入可比肩頭部真人主播。商業代言方面，頭部超寫實虛擬偶像已收獲10個以上的代言。據艾媒數據，2020年中國虛擬偶像核心市場規模為34.6億元，YOY+69.3%；帶動市場規模為645.6億元，YOY+70.3%。（2 2）虛擬分身：虛擬分身：個人在虛擬世界中為自己創造獨特形象的身份需求，在社交、游戲、影視等領域被反復驗證，且均存在成熟盈利模式。游戲：游戲廠商有較好的虛擬形象技術沉淀；社交：SOUL、ZEPETO等虛擬社交產品火爆，鑄造了元宇宙的基礎入口與支撐框架。影視：中國影視數字人特效技術（動捕、CG等）取得快速發展，我們預計

8、中國特效行業市場規模有望突破百億。（3 3）虛擬助手：虛擬助手：對交互要求相對簡單的場景下應用替代真人服務，如新聞播報主持、文旅導覽導航、金融客服、教育、產品說明等。這類產品對于形象精度、交互要求、人設打造均不高， 改成這類產品對于形象精度、交互、人設打造要求均不高。（4 4）多模態助手：多模態助手：在通用/特定場景中，多模態助手基于真人形象提供顧問、關懷、陪伴、事務處理等服務，提供關懷感與真實感，對用戶系統個性化、虛擬人擬人程度、交互能力要求極高。因此我們認為人工智能研發商、互聯網/硬件頭部廠商相對優勢較大。請務必閱讀附注中的免責條款5核心要點：核心要點：投資建議：投資建議：虛擬人產業鏈主要

9、包含基礎層虛擬人產業鏈主要包含基礎層（建模建模/ /渲染引擎等基礎軟硬件渲染引擎等基礎軟硬件）、平臺層平臺層（動捕等軟硬件系統動捕等軟硬件系統、垂直平臺垂直平臺、AIAI廠商廠商）以及應用層以及應用層，隨著底層技隨著底層技術硬件等突破術硬件等突破，將賦能更多應用場景將賦能更多應用場景，基于此基于此，給予行業給予行業“推薦推薦”評級評級。頭部綜合大廠在技術沉淀、IP運營、流量有較好基礎，偏好探索底層技術、硬件架構以及針對公司業務應用做工具化產品，產業鏈布局相對全面，如海外Meta、Google等；國內騰訊、阿里、 B站、網易、百度、字節等。A A股傳媒股傳媒公司主要涉及平臺層垂直解決方案提供以及

10、應用層公司主要涉及平臺層垂直解決方案提供以及應用層，建議重點關注建議重點關注：藍色光標藍色光標（與微軟小冰合作上線“分身有術”數字人驅動平臺SaaS產品；與阿里達摩院共推虛擬主播直播電商解決方案；自營/品牌定制虛擬人）、捷成股份捷成股份(參股公司世優科技提供廣電媒體、虛擬主播直播及虛擬場景、影視動畫虛擬內容制作等多個場景的成熟技術產品和解決方案，計劃推出MetaAvatarShow元宇宙分身、浙文互聯浙文互聯（自主孵化的虛擬網紅君若錦、LAN_蘭，已有汽車/食品/電商等代言訂單；DIGITAL HUMAN平臺落地；定增計劃投入部分資金于虛擬數字人領域技術開發）、華揚聯眾華揚聯眾（推出虛擬形象A

11、imee并進行商業化嘗試；推出景甜、Angelababy虛擬形象）、星期六星期六（2022年計劃推出虛擬人或將作為虛擬主播參與直播帶貨等）、天下秀天下秀（上線網紅元宇宙虛擬社交社區Honnverse虹宇宙，知名虛擬紅人魚太閑上線虹宇宙）等。其他建議關注：其他建議關注：應用營銷領域利歐股份、天舟文化、天地在線等；硬件動捕方向利亞德；AI方向科大訊飛、商湯科技等。風險提示：風險提示：用戶增長不及預期風險、用戶接受度不及預期風險、用戶隱私數據風險、商業模式發展不及預期風險、版權保護風險、競爭加劇風險、技術成本過高風險、核心人才流失風險、技術發展演進不及預期、法律政策監管風險、估值中樞下移風險等。請務

12、必閱讀附注中的免責條款目錄6目錄目錄1 1、虛擬人概覽、虛擬人概覽7虛擬人定義7虛擬人分類9虛擬人發展歷史102 2、虛擬人技術、虛擬人技術12視覺制作技術12真人驅動與計算機驅動20技術發展趨勢233 3、虛擬人應用市場及商業模式、虛擬人應用市場及商業模式26市場規模26演進27虛擬偶像28虛擬分身42虛擬助手47多模態助手484 4、產業鏈及相關公司、產業鏈及相關公司49請務必閱讀附注中的免責條款定義：數字虛擬人是擁有數字化外形的虛擬人物定義：數字虛擬人是擁有數字化外形的虛擬人物7 數字虛擬人的廣義定義為數字化外形的虛擬人物數字虛擬人的廣義定義為數字化外形的虛擬人物，具有“虛擬”（存在于非

13、物理世界中）+“數字”（由計算機圖形學、圖形染、動作捕捉、深度學習、語音合成等計算機手段創造及使用）+“人”（具有多重人類特征，如外貌、人類表演/交互能力等）的綜合產物。打破物理界限提供擬人服務與體驗是其核心價值。 實現場景角度，目前以圖片、視頻、直播等為主，未來VR設備/全息投影有望為數字虛擬人在現實世界的投射提供更豐富的道具和軟硬件基礎。由于各場景時延（如直播等實時場景要求低時延，但內容生成場景無該要求）、驅動方式（計算驅動對模型的深度學習能力有極高要求）等不同，對技術、運營等要求差異較大。 技術角度，數字虛擬人近年的發展來源于CG、語音識別、圖像識別、動捕等相關技術的共同成熟，除CG建模

14、+真人驅動的類別外，多模態技術與深度學習成為未來核心點。 我們認為“人”是其中核心的因素，高度擬人化（外貌形象、行為表情、交互的擬人程度）為用戶帶來的親切感、參與感、互動感與沉浸感是多數消費者的核心使用動力。能否提供足夠自然逼真的相處體驗，是數字虛擬人在各個場景中取代真人重要標準。虛擬虛擬 存在于非物理世存在于非物理世界中界中不同場景實現難度不同不同場景實現難度不同目前以圖片、視頻、實時直播、實時動畫等方式存在于電子屏中，如目前以圖片、視頻、實時直播、實時動畫等方式存在于電子屏中，如APPAPP、小程序、軟硬一體顯示設備、小程序、軟硬一體顯示設備外表和交互已成為核心發展路線外表和交互已成為核心

15、發展路線未來未來VRVR設備與全息投影成為重要趨勢設備與全息投影成為重要趨勢數字數字 依托多項技術存依托多項技術存在多技術綜合產在多技術綜合產物物相關技術成熟成為重要推動力相關技術成熟成為重要推動力多模態技術與深度學習為未來技術發展核心點多模態技術與深度學習為未來技術發展核心點CGCG、語音識別、圖像識別、動捕（真人驅動）等相關技術相對成熟、語音識別、圖像識別、動捕（真人驅動）等相關技術相對成熟人人面部長相和整體形象。會受到數字虛擬人類別（如真人形象、高保真建模、風格化）、制作細節（汗毛等細節建面部長相和整體形象。會受到數字虛擬人類別（如真人形象、高保真建模、風格化）、制作細節（汗毛等細節建模

16、）、渲染水平、設計審美等影響模）、渲染水平、設計審美等影響面部表情、形體表達、語音表述等。會受到驅動方式（真人驅動、計算驅動、預制調節等）、驅動模型類別（精面部表情、形體表達、語音表述等。會受到驅動方式（真人驅動、計算驅動、預制調節等）、驅動模型類別（精細肌肉驅動等）、訓練數據、驅動模型精度等影響細肌肉驅動等）、訓練數據、驅動模型精度等影響數字虛擬人與現實世界的交互水平，會受到語音識別能力、自然語言理解及處理水平、知識圖譜、預先設置知識數字虛擬人與現實世界的交互水平，會受到語音識別能力、自然語言理解及處理水平、知識圖譜、預先設置知識庫等影響庫等影響圖表：廣義數字虛擬人核心要素圖表：廣義數字虛擬

17、人核心要素 多方面高度擬人多方面高度擬人化化外表外表行為行為交互交互CG世界、2020年數字虛擬人發展白皮書，國海證券研究所請務必閱讀附注中的免責條款8類別類別定義定義存在形式存在形式形象特征形象特征身份設定身份設定人格設定人格設定代表形象代表形象存在于非物理空間擬人化人物虛構可以與現實人類進行交互數字形象數字形象計算機等技術制作，以非物理空間計算機等技術制作，以非物理空間展現展現數字人（廣義數字虛擬數字人（廣義數字虛擬人）人）強調形象擬人化，身份設定可以有強調形象擬人化，身份設定可以有現實人物對照，也可以純虛構；對現實人物對照，也可以純虛構；對交互能力無嚴格要求交互能力無嚴格要求虛擬人虛擬人

18、強調身份虛構，在現實社會中無人強調身份虛構，在現實社會中無人物直接映射，對交互能力無嚴格要物直接映射，對交互能力無嚴格要求求數字虛擬人（狹義）數字虛擬人（狹義）強調人類交互：一是人的外觀，特強調人類交互：一是人的外觀，特定的相貌、性別和性格等；二是人定的相貌、性別和性格等；二是人的行為，語言、表情和肢體動作表的行為，語言、表情和肢體動作表達能力；三是人的思想，具有識別達能力；三是人的思想，具有識別外界環境、并能與人互動的能力外界環境、并能與人互動的能力皮卡丘（任天堂，皮卡丘（任天堂，90S90S）游戲游戲/ /動畫形象動畫形象二次元形象，無人類外觀，擬人化程度低二次元形象，無人類外觀，擬人化程

19、度低迪麗冷巴（嘉行迪麗冷巴（嘉行/ /次世文化，次世文化，20182018）漫畫形式漫畫形式人類外觀，人物身份真實，無法交互人類外觀，人物身份真實，無法交互AYAYIAYAYI（燃麥科技，（燃麥科技，20212021）社交賬號，以靜態圖片為主社交賬號，以靜態圖片為主人類外觀，人物身份虛構，無法交互人類外觀，人物身份虛構，無法交互Digi DougDigi Doug（數字王國，（數字王國，20192019）實時捕捉等技術，第一位登上實時捕捉等技術，第一位登上TEDTED演講臺的演講臺的虛擬人虛擬人人類外觀，人物身份真實，可交互人類外觀，人物身份真實，可交互圖表：數字人圖表：數字人、虛擬人虛擬人、

20、數字虛擬人釋義數字虛擬人釋義定義：廣義與狹義數字虛擬人核心差別在對“交互”的要求定義：廣義與狹義數字虛擬人核心差別在對“交互”的要求CG世界，金融界等，國海證券研究所備注：下文所討論“數字虛擬人”均指代廣義數字虛擬人請務必閱讀附注中的免責條款9分類：類別多樣分類：類別多樣外觀外觀形態展現形態展現外形擬人程度外形擬人程度圖形資源維度圖形資源維度2D 2D 3D 3D 靜態靜態動態動態交互交互超寫實超寫實風格風格/ /卡通卡通寫實寫實/ /擬人擬人技術技術應用應用有人格：身份型有人格：身份型計算機驅動計算機驅動無人格：服務型無人格：服務型真人驅動真人驅動虛擬分身虛擬分身簡單交互：替代簡單交互：替代

21、真人標準服務真人標準服務深度交互：多模深度交互：多模態個性化服務態個性化服務AYAYI 2021AYAYI 2021柳夜熙柳夜熙央視小央視小C 2021C 2021初音未來初音未來 20072007miquelamiquela20162016洛天依洛天依 20122012迪麗冷巴迪麗冷巴 20182018SKSK- -II YumiII Yumi 20192019新小微新小微 20202020非交互非交互嘉然嘉然 20202020ShuduShuduZEPETO 2018ZEPETO 2018微軟小冰微軟小冰 20142014虛擬“鄧麗君”虛擬“鄧麗君”20202020IMMA 2019IMM

22、A 2019虛擬虛擬IPIP、虛擬偶、虛擬偶像像/ /直播直播PGCPGC生產生產動捕等基礎動捕等基礎請務必閱讀附注中的免責條款2 0 1 02 0 1 12 0 0 7 2 0 0 2 2 0 0 11 9 9 8 1 9 8 41 9 8 22 0 1 2發展歷史發展歷史10圖表：發展歷史圖表：發展歷史形象階段技術誕生人物事件影響2020年數字虛擬人發展白皮書等，國海證券研究所萌芽階段（萌芽階段（1980S1980S- -1990S1990S）探索階段（探索階段（20002000- -20162016）開始嘗試將虛擬人物引入到現實世界，技術以手繪為主開始嘗試將虛擬人物引入到現實世界，技術以

23、手繪為主傳統手繪正逐漸被傳統手繪正逐漸被CGCG、動作捕捉等計算機技術取代，語音合成技術得以發展。、動作捕捉等計算機技術取代，語音合成技術得以發展。手繪真人特效化妝+手繪2D動畫，2002年現場表演為播放提前錄好的錄像帶；2017年采用AR技術接受媒體采訪，擁有Twitter賬號CG 技術、動作捕捉技術全數字、3D動畫、動捕技術。人物形象：CG技術合成；人物聲音：VOCALOID1系列合成2.5D半全息透明屏播放3D影像（需在黑暗中實現，只能特定角度觀看）3D全息投影技術（觀眾看到是立體形象）VOCALOID3語音合成，聲源是山新，形象由MOTH投稿設計，經ideolo改編整合后完成動畫超時空

24、要塞女主角，被制作方包裝成為歌手，并制作音樂專輯由George Stone創作而生由 Blur 樂隊主唱Damon Albarn 和英國漫畫家 Jamie Hewlett 共同創立電影指環王中的角色我國首部全數字電影短片青娜的主人公由 Crypton 以雅馬哈Vocaloid 系列語音合成程序為基礎開發的音源庫初音未來成為了第一個使用全息投影技術舉辦演唱會的虛擬偶像第一VOCALOID中文聲庫和虛擬形象世界首位虛擬歌姬“林明美”誕生世界首位虛擬電影演員”Max Headroom“誕生英國虛擬樂隊“Gorillaz”誕生世界首個虛擬電影角色”咕?！罢Q生。中國首位虛擬少女“青娜”二次元虛擬偶像”初

25、音未來“誕生?！俺跻粑磥怼迸e行第二場演唱會“初音未來”舉行第四場演唱會中國內地虛擬女歌手“洛天依”誕生專輯成功打入當時日本知名音樂排行榜Oricon出演一部電影，拍攝數支廣告，在英國家喻戶曉發布7張專輯，10年獲英國GQ年度人物年度樂隊技術被加勒比海盜、猩球崛起等電影采用體現中國數字制作水平，但因商業效益不盡如人意全球大火，活躍至今，多次舉辦演唱會、接廣告代言等2500張門票短時間售罄，演唱日當晚有超過3萬關注付費網絡直播觀看北美第一場巡演。預售票2周內售罄，到場人數達6000人推出后大火，進行廣告代言、MV、演出等活動請務必閱讀附注中的免責條款2 0 2 02 0 2 12 0 1 92 0

26、 1 82 0 1 82 0 1 62 0 1 62 0 2 22 0 1 82 0 1 82 0 1 92 0 2 1高速發展階段（2016-2018）井噴式發展階段（2019至今）深度學習算法和AI技術取得突破，數字人制作過程得以簡化。朝著智能化、便捷化、精細化、多樣化發展，技術全面提升與突破3D 模型，直播等技術CG、面部捕捉等XR、全息投影技術360全息影像技術高精度的實時動作捕捉與渲染，可實時交互的高保真數字人物語音合成、唇形合成、表情合成、深度學習等慣性運動捕捉套裝、機器學習、實時渲染（由NVIDIA RTX和虛擬引擎完成）自然語言處理、語音識別、計算機視覺等人工智能技術Core

27、R3技術超寫實虛擬人，不以2D存在而是制作出短視頻高效人臉制作管線xFaceBuilder，將建模、綁定、動畫三個環節納入一體虛擬人技術，機器學習加持下的高階渲染系統Mystique Live發布第一個自我介紹視頻而出現擁有12人設計師、軟件工程師團隊2018年英雄聯盟S8仁川總決賽閉幕式會場上以虛擬女團身份首次亮相騰訊游戲旗下NExT Studios歷時一年打造高保真數字虛擬人。其原型演員為姜冰潔。新華社與搜狗聯合發布的“AI合成主播”數字王國軟件研發部負責人Doug Roble在TED 演講時展示了自己的數字虛擬人DigiDoug浦發銀行和百度聯合開發。STAR Labs（三星）制作，由人

28、工智能所驅動創壹視頻的特效公司發布首個視頻而進入大眾視野由新華社和騰訊聯合打造超寫實數字虛擬人世界首位Virtual YouTuber”絆愛“誕生vmodel“Lilmiquela”誕生K/DA英雄聯盟衍生虛擬女團邁克爾杰克遜全息演唱會Siren（塞壬）世界首位全仿真智能AI主持人”新小浩“誕生由數字王國制作的數字虛擬人”DigiDoug“誕生浦發銀行數字員工“小浦”“NEON”誕生創壹視頻的特效公司發布柳夜熙首個視頻全球首位數字航天員、數字記者“小諍”由數字王國制作的虛擬鄧麗君在江蘇衛視跨年演唱會登臺獻唱正式確立了虛擬主播Vtuber的概念和文化開端客串電影、大量代言，累計ins數百萬粉絲出

29、道一個月，首支單曲POP/STARSMV在Youtube上，播放量超1億。票房過10億美金高還原度媲美真人的形象以及可實時驅動的表情動作，激發了人們對虛擬人技術的無限想象用戶輸入文本后，屏幕展現數字虛擬人形象并進行新聞播報，且唇形動作與播報聲音同步可在照片寫實級逼真程度的前提下，進行實時的表情動作捕捉及展現擁有近似真人的形象、表情和動作，具備表達情感和溝通交流的能力仿真虛擬人在短視頻上首次嘗試，首個視頻發布不到30小時，粉絲數漲至130萬在沒有原型演員的前提下，創造出角色形象。為游戲快速人臉生產提供基礎與周深同臺演繹漫步人生路、小城故事和大魚發展歷史發展歷史112020年數字虛擬人發展白皮書，

30、國海證券研究所形象階段技術誕生人物事件影響圖表：發展歷史圖表：發展歷史請務必閱讀附注中的免責條款技術：視覺制作層面建模、動技術：視覺制作層面建模、動/面捕捉、渲染為核心制作技術環節面捕捉、渲染為核心制作技術環節 數字虛擬人的制作涉及眾多技術領域，且制作方式尚未完全定型，2020年數字虛擬人發展白皮書總結出在“數字虛擬人通用系統框架”，包含任務形象、語音生成模塊、動畫生成模塊、音視頻合成顯示模塊以及交互模塊。 在此基礎上提煉出五橫兩縱的技術架構?！拔鍣M五橫”是指用于數字人制作、交互的五大技術模塊，即人物生成、人物表達、合成顯示、識別感知、分析決策等模塊。其中，人物表達包括語音生成和動畫生成，動畫

31、生成則包含驅動（動作生成）和渲染兩大部分?！皟煽v兩縱”是指 2D、3D 數字人，3D 數字人需要額外使用三維建模技術生成數字形象，信息維度增加，所需的計算量更大。 數字虛擬人視覺制作部分的工業化流程，涵蓋了建模、骨骼綁定、動捕、面捕、渲染、材質解算等各個環節。2020年數字虛擬人發展白皮書，國海證券研究所圖表：數字虛擬人技術框架圖表：數字虛擬人技術框架通用框架通用框架2D2D數字人數字人3D3D數字人數字人人物生成人物生成人物表達人物表達合成顯示合成顯示識別感知識別感知分析決策分析決策語音生成、動畫生成（驅動、渲語音生成、動畫生成（驅動、渲染）等染）等終端顯示技術終端顯示技術語音語義識別、人臉

32、識別、動作語音語義識別、人臉識別、動作識別等識別等知識庫、對話管理等知識庫、對話管理等無無人物建模綁定等人物建模綁定等人物形象人物形象動畫生成模塊動畫生成模塊語言生成模塊語言生成模塊音視頻合成顯示模塊音視頻合成顯示模塊交互模塊交互模塊通通用用框框架架圖表：數字虛擬人核心視覺制作核心制作技術類別圖表：數字虛擬人核心視覺制作核心制作技術類別光場成像結構光掃描重建技術核技術核心心渲染渲染建模建模動捕動捕動態建模靜態建模計算機視覺動捕慣性動捕光學動捕實時渲染離線渲染人體動態三維重建相機陣列掃描重建12請務必閱讀附注中的免責條款13技術層面技術層面建模：相機陣列掃描靜態重建為主流，動態光場重建為發展重點

33、建模：相機陣列掃描靜態重建為主流，動態光場重建為發展重點圖表：主要建模技術概況圖表：主要建模技術概況項目項目具體技術名稱具體技術名稱技術特點技術特點優缺點優缺點國外相關技術應用及公司國外相關技術應用及公司國內相關技術應用及公司國內相關技術應用及公司靜態重建技術靜態重建技術結構光掃描重建結構光掃描重建可以實現0.1毫米級的掃描重建精度， 但其掃描時間長，一般在1秒以上， 甚至達到分鐘級在友好度和適應性方面差強人意，更多的應用于工業生產、檢測領域國際上IR、Ten24等公司已經將靜態重建技術完全商業化， 服務于好萊塢大型影視數字人制作凌云光等公司制作的拍照式人體掃描系統也已經在電影、游戲、虛擬主播

34、項目中成功應用相機陣列掃描重建相機陣列掃描重建目前可實現毫秒級高速拍照掃描（高性能的相機陣列精度可達到亞毫米級）可滿足虛擬人掃描重建需求，當前人物建模主流方式動態光場重建動態光場重建人體動態三維重建人體動態三維重建應用計算機視覺/圖形學技術，采用攝像機陣列采集動態數據，可重建高低頻幾何、紋理、材質、三維運動人體三維動態數據進行采集，實時渲染出真實的動態表演者模型近年來 Microsoft、Google、Intel、Facebook 等公司都在積極展開相關研究， 其中Microsoft的108攝像機MR studio已經在全球各大洲均有建設；Google Relightable系統集合模型重建、

35、動作重建、光照重建的全部功能。國內清華大學、商湯科技、華為等光場成像光場成像應用計算機攝像學技術，可以存儲空間中所有光線的方向和角度，從而產出場景中所有表面的反射和陰影可忽略材質，直接采集三維世界的光線，為人體三維重建提供了更加豐富的圖像信息 數字虛擬人建立的第一步需要進行前期的形象設計以及建模。2D數字虛擬人需要原畫等形象設計，而3D數字虛擬人需要額外使用三維建模技術生成數字形象，信息維度增加，所需的計算量更大，無論是基于IP或者真人設計，都需要進行面捕以及身體的建模。 3 3D D建模技術目前主要包含靜態掃描建模以及動態建模兩類：建模技術目前主要包含靜態掃描建模以及動態建模兩類： 靜態掃描

36、建模仍為主流，其中相機陣列掃描重建快速發展，目前可實現毫秒級高速拍照掃描（高性能的相機陣列精度可達到亞毫米級） ， 滿足數字人掃描重建需求，替代結構光掃描重建成為當前人物建模主流方式。 相比靜態重建技術，動態光場重建不僅可以重建人物的幾何模型， 還可一次性獲取動態的人物模型數據， 并高品質重現不同視角下觀看人體的光影效果， 成為數字人建模重點發展方向。 海外Microsoft、Google、Intel、Facebook 等巨頭公司都在積極展開相關研究，國內清華大學、商湯科技、華為等也展開了相關研究， 并取得國際水平的同步進展。2020年數字虛擬人發展白皮書、頭豹，國海證券研究所請務必閱讀附注中

37、的免責條款14 相機陣列掃描重建：相機陣列掃描重建：USCUSC LightLight StageStage1 1/ /2 2/ /3 3/ /5 5/ /6 6：由美國南加州大學：由美國南加州大學ICTICT GraphicGraphic LabLab的的PaulPaul DebevecDebevec所領導開發的高保真的三維采集重建平臺系統所領導開發的高保真的三維采集重建平臺系統（20002000誕生誕生）。該系統以高逼真度的該系統以高逼真度的3 3D D人臉重建為主人臉重建為主，并已經應用于好萊塢電影渲染并已經應用于好萊塢電影渲染（LightLight StageStage5 5本杰明巴頓

38、奇事本杰明巴頓奇事蜘蛛俠蜘蛛俠3 3阿凡達阿凡達）中中。 動態光場重建示意：動態光場重建示意：GoogleGoogle RelightableRelightable系統將結構光系統將結構光、動態建模動態建模、重光照技術集成到一起重光照技術集成到一起，在一套系統中包含模型重建在一套系統中包含模型重建、動作重建動作重建、光光照重建的全部功能照重建的全部功能。 可捕捉了人體自由視點可捕捉了人體自由視點，重建出幾何模型和反射率圖重建出幾何模型和反射率圖，并最終實現了并最終實現了能在任意場景中進行合成的視覺效果能在任意場景中進行合成的視覺效果。圖表：主要建模技術概況圖表：主要建模技術概況3D視覺工坊、將

39、門創投，國海證券研究所技術層面技術層面形象設計與建模技術：相機陣列掃描重建技術快速發展形象設計與建模技術：相機陣列掃描重建技術快速發展請務必閱讀附注中的免責條款 2018年，騰訊游戲旗下NExT Studios高保真數字虛擬人Siren(塞壬)亮相GDC，其高還原度媲美真人的形象，以及可實時驅動的表情動作；制作中“綁定技術“環節就耗費了大半年時間。 2021年6月，由新華社、騰訊聯合打造的全球首位數字航天員、數字記者“小諍”首次出現新華社數字視頻中，帶領用戶漫游三大空間站；小諍項目的綁定流程較Siren(塞壬)項目縮短了一半，依靠的就是創作團隊創新沉淀出的高效人臉制作管線xFaceBuilde

40、r。圖表：綁定環節的技術革新圖表：綁定環節的技術革新技術層面技術層面建模綁定技術：技術突破不斷建模綁定技術：技術突破不斷人物建模等人物建模等無無綁定控件修形變形器軟件交互速度下降動畫制作環節效率降低大數據分析面部網格形變數據深度神經網絡學習神經網絡結構輕便神經網絡實時推理被神經網絡定制節點所取代綁定節點圖多且復雜場景負載過重底層技術操作流程優勢神經網絡結構精簡，可實現實時推理神經網絡結構精簡，可實現實時推理云端訓練云端訓練本地綁定節點本地綁定節點連續關系圖連續關系圖神經網絡定制節點神經網絡定制節點控制參數控制參數用戶調節控制參數用戶調節控制參數面部實時變形效果面部實時變形效果自動隨機生成海量訓

41、練數據自動隨機生成海量訓練數據原有綁定結構原有綁定結構分析場景綁定相關控制器分析場景綁定相關控制器傳傳統統方方法法新新式式方方法法創創新新方方法法綁定速度提升綁定速度提升15請務必閱讀附注中的免責條款16技術層面技術層面驅動技術：智能合成、驅動技術：智能合成、 動作捕捉為虛擬人主流動作生產方式動作捕捉為虛擬人主流動作生產方式項目項目分類分類技術技術優缺點優缺點國外相關技術及公司國外相關技術及公司國內相關技術及公司國內相關技術及公司智能合成智能合成嘴型動作嘴型動作建立輸入文本到輸出音頻與輸出視覺信息的關聯映射，主要是對已采集到的文本到語音和嘴型視頻（2D）/嘴型動畫（3D）的數據進行模型訓練，得

42、到輸入任意文本都可以驅動嘴型的模型， 通過模型智能合成已實現智能合成Reallusion公司研究的利用語音生成面部表情Craytalk技術已在動畫制作中被成功商用搜狗相芯科技等公司也有部分項目落地應用嘴型之外其他動作嘴型之外其他動作眨眼、微點頭、挑眉等動畫目前都是通過采用一種隨機策略或某個腳本策略將預錄好的視頻/3D動作進行循環播放來實現，觸發策略是通過人手動配置得到的尚未實現智能合成，未來希望通過智能分析文本，學習人類的表達，實現自動配置動作動作/ /面部捕捉面部捕捉光學動捕光學動捕通過對目標上特定光點的監視和跟蹤來完成運動捕捉的任務造價高昂，捕捉精度高英國的Vicon，美國的OptiTra

43、ck（NP）和魔神Nokov、uSens、青瞳視覺等慣性動捕慣性動捕基于慣性測量單元IMU來完成對人體動作捕捉，即把集成了加速度計、陀螺儀和磁力計的IMU綁在人體的特定骨骼節點上，通過算法對測量數值進行計算，從而完成動作捕捉價格相對低廉，精度較低，會隨著連續使用時間的增加產生累積誤差，發生位置漂移，抗遮擋力強荷蘭的Xsens諾亦騰（Noitom）、幻境、國承萬通等。計算機視覺動捕計算機視覺動捕由多個高速相機從不同角度對目標進行監視和跟蹤簡單、易用、硬件成本較低Leap Motion、微軟Kinect圖表：主要驅動技術概況圖表：主要驅動技術概況項目項目精度精度抗遮擋抗遮擋對環境要求對環境要求硬件

44、成本硬件成本算法開發難度算法開發難度光學動捕光學動捕高低高高中慣性動捕慣性動捕低高低中低計算機視覺動捕計算機視覺動捕低低低低高圖表：主要捕捉技術特性對比圖表：主要捕捉技術特性對比2020年數字虛擬人發展白皮書，國海證券研究所 驅動動作技術包括手動調節關鍵幀驅動動作技術包括手動調節關鍵幀、預制動作預制動作、動作捕捉動作捕捉、智能合成智能合成（文文字字/ /語音驅動語音驅動）等等。手動調整動畫關鍵幀與預制動作手動調整動畫關鍵幀與預制動作（類似類似MMDMMD）無法實無法實現實時互動現實時互動。 智能合成：智能合成：其中2D、3D數字人均已實現嘴型動作的智能合成，其他面部/身體部位的動作智能合成未能

45、完全實現。 動捕：通過將捕捉采集的動作遷移至動捕：通過將捕捉采集的動作遷移至數字虛擬人數字虛擬人是目前動作生成主要方式是目前動作生成主要方式，核心技術是動作捕捉核心技術是動作捕捉?？煞譃楣鈱W式、慣性式及計算機視覺動捕等?，F階段光學式和慣性式動捕占據主導。計算機視覺動捕雖然相對開發難度大，目前精度較低，但就成本/對環境要求低，可移動范圍大，使用場景想象力較大，目前已有消費級應用（部分VR設備采用），成為聚焦熱點。請務必閱讀附注中的免責條款17技術層面技術層面驅動技術：計算機視覺動捕成熱點驅動技術：計算機視覺動捕成熱點計算機視覺動捕技術示意計算機視覺動捕技術示意（1 1）計算機視覺動捕技術示意計算

46、機視覺動捕技術示意（2 2）LeapLeap motionmotion（體感控制器體感控制器）20132013年上市年上市售價售價500500元元慣性動捕技術示意慣性動捕技術示意光學動捕技術示意光學動捕技術示意圖表：各類動捕技術示意圖表：各類動捕技術示意請務必閱讀附注中的免責條款18技術層面技術層面渲染技術：硬件與算法突破，渲染真實與實時性大幅提升渲染技術：硬件與算法突破，渲染真實與實時性大幅提升項目項目定義定義優缺點優缺點渲染時間渲染時間計算資源計算資源渲染質量渲染質量軟件代表軟件代表主要應用場景主要應用場景離線渲染離線渲染在計算出畫面時并不顯示畫面，計算機根據預先定義好的光線、軌跡渲染圖片

47、，渲染完成后再將圖片連續播放，實現動畫效果。強調“美學和視覺效果”主要優點是渲染時可以不考慮時間對渲染效果的影響缺點是渲染畫面播放時用戶不能實時控制物體和場景。長（數小時甚至更長時間)多（全部調用本地資源）高Autodesk Maya、3D Studio Max主要用于電影、廣告等預先設計好的模式的演示實時渲染實時渲染計算機邊計算畫面邊將其輸出顯示強調“交互性和實時性”，優點是可以實時操控，缺點是要受系統的負荷能力的限制，必要時要犧牲畫面效果（模型的精細、光影的應用、貼圖的精細程度）來滿足實時系統的要求。短（(每秒至少渲染30幀）少欠佳Unreal Engine 、Unity Engine主要

48、用于無預定腳本的視景仿真，例如飛行訓練、3D游戲、軍事仿真、災難模擬、交互式建筑演示等圖表：主要渲染技術概況圖表：主要渲染技術概況 渲染技術渲染技術，是指把模型在視點是指把模型在視點、光線光線、運動軌跡等因素作用下的視覺畫面計算出來運動軌跡等因素作用下的視覺畫面計算出來的過程的過程。主要由離線與實時渲染兩種類型主要由離線與實時渲染兩種類型。 離線渲染離線渲染，就是在計算出畫面時并不顯示畫面，計算機根據預先定義好的光線、軌跡渲染圖片，渲染完成后再將圖片連續播放，實現動畫效果。優點是渲染質量相對好，美學和視覺效果好，缺點是無法實時控制，主要應用于影視等方面，代表性軟件包括Maya、3DMax等。

49、實時渲染實時渲染，是指計算機邊計算畫面邊將其輸出顯示，優點是可以實時操控，缺點是要受系統的負荷能力的限制，必要時要犧牲畫面效果，主要應用于游戲等方面，代表引擎包括Unreal Engine（虛幻）、Unity Engine等。 隨著硬件能力的提升和算法的突破， 渲染速度、效果真實度、畫面分辨率均大幅提升，在虛擬人物實時渲染方面，已經能做到以假亂真。2016年，EpicGames（虛幻引擎開發商）聯合 3Lateral、Cubic Motion等公司聯合開發的可實時驅動的虛擬人物在當年的Siggraph會議中做了演示，成功在消費級的硬件環境下實時渲染了高質量的虛擬角色。2018年5月，騰訊發布虛

50、擬人Siren，也一個支持實時渲染的虛擬人物。圖表：騰訊虛擬人塞任圖表：騰訊虛擬人塞任（SirenSiren）實時渲染示意實時渲染示意2020年數字虛擬人發展白皮書，CSDN等，國海證券研究所備注：塞任由騰訊互娛事業群NEXT Studio 與Epic Games、Cubic Motion和3Lateral等業內各領域頂尖公司聯合團隊開發而成。請務必閱讀附注中的免責條款19技術層面技術層面渲染技術：實時渲染速度、真實度、畫面分辨率大幅提升渲染技術：實時渲染速度、真實度、畫面分辨率大幅提升虛幻虛幻2 2：游戲：游戲虛幻競技場虛幻競技場2004200420042004年推出年推出虛幻虛幻3 3：游