3-3 元宇宙級數字人驅動與建模技術.pdf

《3-3 元宇宙級數字人驅動與建模技術.pdf》由會員分享，可在線閱讀，更多相關《3-3 元宇宙級數字人驅動與建模技術.pdf（53頁珍藏版）》請在三個皮匠報告上搜索。

1、聚力維度創始人&CEO 趙天奇心理學研究表明，在人所接受的全部信息當中，有83%源于視覺，11%來自聽覺，其他6%分別來自嗅覺，觸覺，味覺。隨著3DVR技術逐漸成熟后，在數字世界獲取的視覺和聽覺信息的全面程度非常接近于現實世界，再結合一小部分觸覺信息，可以說95%的信息可以在數字世界元宇宙中獲得。這相比之前的pc和手機的信息時代是顛覆性的。元宇宙的價值意味著人類的兩大類訴求：消費需求，工作需求，都可以在元宇宙中實現。元宇宙作為數字世界超越了現實束縛，人類無需集中到一起工作或消費，空間成本、時間成本被顛覆性降低，溝通效率、工作效率被顛覆性提升，而人類發展史就是一部效率提高史，下一個時代就是元宇宙

2、。元宇宙的價值農業工業元宇宙電氣信息元宇宙的技術奇點還有多遠？元宇宙需要的技術：VR、數字人 內容元宇宙：就是看的元宇宙，也就是一部分內容創作者先元宇宙起來 創作者級別當下已經實現 終極元宇宙：就是工作、娛樂、生活、社交 大眾使用還需510年5數字人內容生態大變局：+數字人技術=傳統數字內容生態元宇宙數字人內容新生態節目制作、綜藝、影視、娛樂、偶像、主持、代言、客服、IP宣傳會議、演講、展覽、報告、發布會、游戲、社交、居家辦公、線上會議設計規劃、公共服務、工業制造、教育培訓、醫療技術的創新使得在法律上首次可以實現“人”完全屬于公司、長久符合公司宣傳調性且不會出錯的數字人，品牌真正人格化。01.

3、“人”首次可以實現完全屬于公司 品牌IP，明星代言，電商帶貨顏值變得不再昂貴、人設不再難得、真人相隔萬里可以同場表演，開會，社交；場景，道具，動作，特效等無所不能。02.數字化，超越物理束縛帶來無限可能電視主持，虛擬主播，虛擬偶像，展覽展會，報告會議在數字世界中完成真人在現實世界中所有能做的事情數字人追趕真人的價值：那就要求數字人能夠出席參加各種活動、能夠實現作為人的各種職責、能夠像人一樣滿足我們對內容的各種想象。這就對數字人有很高要求且能夠解決內容生態痛點的稱之為：元宇宙級數字人市場背景數字人的兩大超越真人的價值：內容生態痛點：解決方法 真人痛點1：企業與個人之間版權固有矛盾，個人形象火了就

4、會產生利益糾紛風險，個人行為對企業也有風險 真人痛點2：傳統的真人數字內容制作，顏值很貴，人設運營難度大，只能在線下集中工作，特效很貴。數字人痛點：數字人如果做不到好的效果，成本高，應用范圍窄，那么給人的感受不好，用不起，滿足不了大多數場景需求。技術要求：元宇宙級數字人內容要求技術上滿足三個要素7全世界沒有能滿足這三個要素的，所以需要一個新型數字人內容生產平臺來滿足這三個要素1.高級別 2.實時驅動 3.普及易用實時驅動數字人實時驅動可以在元宇宙中呈現出活靈活現的人單個數字人成本：萬元級普通攝像頭，普通衣服輕松易用，人人可用靜態達到影視級別，PBR效果逼真動態精準傳達真人的喜怒哀厭，說話口型，

5、動作精準，自由多樣。有靈魂，有情感，有理解能力技術：數字人技術包含四個模塊8建模驅動渲染交互靜態重建、高視覺保真度的動態光場三維重建技術動作和表情捕捉、3D數字人動作生成的核心技術PBR渲染技術、重光照等新型渲染技術人與人及人與物交互的重定位技術、物理解算技術針對三要素：不成熟：無邊際成本不成熟：有邊際成本行業比較成熟不成熟：錦上添花要滿足元宇宙級數字人三要素就要實時驅動普及易用，并且滿足高級別用得起的建模技術建模的關鍵是可以驅動，不能驅動的模型沒有意義?？梢则寗拥慕Ｐ枰嗖酵瓿桑旱玫叫螤钅Ｐ蛿祿袷酱_定以及賦予語義拓撲綁定為各種結構：頂點變形，骨骼，肌肉，連帶適配驅動算法行業建模技術：多相

6、機系統、單相機（得到形狀）10多相機系統 lightstage通過構造相機陣列，以多角度、高精度照片，還原拍攝人物的三維結構，同時獲取面部的反射信息，從而在不同環境光下重構人臉模型和光效單相機 IMAvatar用單目視頻來重建頭部建模的關鍵是可以驅動，不能驅動的模型沒有意義?？梢则寗拥慕Ｐ枰嗖酵瓿桑旱玫叫螤钅Ｐ蛿祿袷酱_定以及賦予語義拓撲綁定為各種結構：頂點變形，骨骼，肌肉，連帶適配驅動算法以上驅動建模成本很高，各種算法無法提升效率，我們把后三步實現了人工智能為主，提升了效率針對人設需求，4步都提升了智能比例，達到了超高效率海量模型聚力維度主要建模方式數字人場景優勢行業最高級別建模按具象要

7、求定制01.通過真人掃描02.根據原畫雕刻節目制作、企業宣傳從啟動成本角度讓可支付的起高級數字人的企業數量大幅增加 全流程制作僅3周即可完成(其他廠商需3個月)成本為其他廠商的1/2按人設要求選擇半自動建模從啟動成本降到萬元級能支付的起這個成本的高級數字人數量可達百萬 級別與百萬級沒有區別 價格在萬元級我們建模技術：行業頂級建模技術，滿足各種場景海量數字人需求12具象要求01、傳統多相機真人掃描具象要求02、手繪原畫設計雕刻聚力維度主要建模方式數字人場景優勢行業最高級別建模按具象要求定制01.有具體形象標準、相機真人掃描02.有人設形象定位、根據人設手繪原畫雕刻讓節目制作、企業宣傳更快落地數量

8、可以大幅增加從啟動成本角度讓可支付的起高級數字人的企業數量大幅增加 全流程制作僅3周即可完成(其他廠商需3個月)成本為其他廠商的1/2(其他廠商的百萬級效果)按人設要求選擇半自動建模個人Up主，主播從啟動成本降到萬元級支付的起這個成本的高級數字人數量可達百萬 級別與百萬級沒有區別 價格在萬元級我們建模技術：行業頂級建模技術，滿足各種場景海量數字人需求13驅動技術的目的：是讓數字人按我們的要求做各種表情和肢體動作。不同的驅動來源形成了不同路線。技術路線：全行業各種技術路線對元宇宙級數字人的滿足情況15高級別虛擬數字人三要素手K動畫 放棄驅動智能對話/播報機器人AI驅動數字分身：真人驅動傳統專業捕

9、捉數字人低端玩具類數字人一個普通攝像頭實現高級別高級別300個以上微表情支持全身動作能力單一，沒有任意動作、表情、角度或情感等300個以上微表情支持全身動作僅52個表情不支持全身動作上千個微表情，精準還原全身超高精度的捕捉能力實時驅動無法實時驅動計算機驅動實時驅動實時驅動實時驅動普及易用制作繁瑣：先拍攝后制作成本高：10-100萬元/分鐘 制作簡單成本低制作繁瑣：面部貼點、穿動捕服、校準需1小時，換人定制需1周成本高：10+人團隊，幾十-幾百萬制作成本制作簡單：穿戴輕便成本低制作簡單：可穿任意服裝，單目攝像頭影視級捕捉成本低，技術路線：全行業各種技術路線對元宇宙級數字人的滿足情況16高級別虛擬

10、數字人三要素手K動畫 放棄驅動智能對話/播報機器人AI驅動數字分身：真人驅動傳統專業捕捉數字人低端玩具類數字人一個普通攝像頭實現高級別高級別300個以上微表情支持全身動作能力單一，沒有任意動作、表情、角度或情感等300個以上微表情支持全身動作僅52個表情不支持全身動作上千個微表情，精準還原全身超高精度的捕捉能力實時驅動無法實時驅動計算機驅動實時驅動實時驅動實時驅動普及易用制作繁瑣：先拍攝后制作成本高：10-100萬元/分鐘 制作簡單成本低制作繁瑣：面部貼點、穿動捕服、校準需1小時，換人定制需1周成本高：10+人團隊，幾十-幾百萬制作成本制作簡單：穿戴輕便成本低制作簡單：可穿任意服裝，單目攝像頭

11、影視級捕捉成本低，技術路線：全行業各種技術路線對元宇宙級數字人的滿足情況17高級別虛擬數字人三要素手K動畫 放棄驅動智能對話/播報機器人AI驅動數字分身：真人驅動傳統專業捕捉數字人低端玩具類數字人一個普通攝像頭實現高級別高級別300個以上微表情支持全身動作能力單一，沒有任意動作、表情、角度或情感等300個以上微表情支持全身動作僅52個表情不支持全身動作上千個微表情，精準還原全身超高精度的捕捉能力實時驅動無法實時驅動計算機驅動實時驅動實時驅動實時驅動普及易用制作繁瑣：先拍攝后制作成本高：10-100萬元/分鐘 制作簡單成本低制作繁瑣：面部貼點、穿動捕服、校準需1小時，換人定制需1周成本高：10+

12、人團隊，幾十-幾百萬制作成本制作簡單：穿戴輕便成本低制作簡單：可穿任意服裝，單目攝像頭影視級捕捉成本低，行業驅動技術：AI生成音頻，音頻驅動口型智能對話/播報機器人：例如：基于AI神經網絡感知能力的英偉達會話式人工智能系統Audio2Face，把一段文字變成數字人的面部表情，再自動基于AI實時渲染系統疊加到虛擬人上。文字-聲音-動畫Nlp tts v2aV2a：1，音素對應口型=離散，不真實2，ai自動生成=平滑，無情感，無理解技術路線：全行業各種技術路線對元宇宙級數字人的滿足情況19高級別虛擬數字人三要素手K動畫 放棄驅動智能對話/播報機器人AI驅動數字分身：真人驅動傳統專業捕捉數字人低端玩

13、具類數字人一個普通攝像頭實現高級別高級別300個以上微表情支持全身動作能力單一，沒有任意動作、表情、角度或情感等300個以上微表情支持全身動作僅52個表情不支持全身動作上千個微表情，精準還原全身超高精度的捕捉能力實時驅動無法實時驅動計算機驅動實時驅動實時驅動實時驅動普及易用制作繁瑣：先拍攝后制作成本高：10-100萬元/分鐘 制作簡單成本低制作繁瑣：面部貼點、穿動捕服、校準需1小時，換人定制需1周成本高：10+人團隊，幾十-幾百萬制作成本制作簡單：穿戴輕便成本低制作簡單：可穿任意服裝，單目攝像頭影視級捕捉成本低，行業驅動技術：傳統專業捕捉數字人20光學捕捉：通過多視角捕捉的2d人體關鍵點，三角

14、化得到3d坐標廠商 國外：VICON/OptiTrack 國內：青瞳視覺，瑞立視特點 捕捉精度較高，成本高昂，只能應用室內捕捉流程：場地搭建和標定動捕服穿戴及反光球補貼角色校準多視角反光點獲取及三角化獲得3d坐標行業驅動技術：傳統專業捕捉數字人21錄制動捕數據并導出慣性捕捉：測量身體的運動加速度、方位、傾斜角等特性，完成動作捕捉廠商 Xsens/諾亦騰特點 捕捉精度較高，成本相對較高，對電磁環境敏感捕捉流程：慣性測量單元的穿戴和校準每個測量節點會返回在運動過程中的角速度、加速度和磁力計的測量信息行業驅動技術：傳統專業捕捉數字人22跟蹤tracker捕捉：測量身體的運動加速度、方位、傾斜角等特性

15、，完成動作捕捉廠商 VIVE/Tundra特點 穿戴簡單，成本低廉，捕捉精度有限捕捉流程：跟蹤器穿戴和基站布置角色標定通過跟蹤器獲取關節的位置和旋轉從而捕捉動作23行業驅動技術：傳統專業捕捉數字人傳統基于頭盔面部捕捉：測量身體的運動加速度、方位、傾斜角等特性，完成動作捕捉廠商 國外：Rokoko、Faceware、Dynamixyz 國內：facegood特點 捕捉精度低、受外界光線影響大表情程度若弱、配件沉重無法長時間佩戴頭盔硬件價格高捕捉流程：人臉2D特征點預測/人臉描繪面部2D特征點人臉表情校準：通過預先做各種極限表情，進行模型表情語義 與真人表情語義映射關系通過對面部2D特征點追蹤，進

16、行面部表情捕捉技術路線：全行業各種技術路線對元宇宙級數字人的滿足情況24高級別虛擬數字人三要素手K動畫 放棄驅動智能對話/播報機器人AI驅動數字分身：真人驅動傳統專業捕捉數字人低端玩具類數字人一個普通攝像頭實現高級別高級別300個以上微表情支持全身動作能力單一，沒有任意動作、表情、角度或情感等300個以上微表情支持全身動作僅52個表情不支持全身動作上千個微表情，精準還原全身超高精度的捕捉能力實時驅動無法實時驅動計算機驅動實時驅動實時驅動實時驅動普及易用制作繁瑣：先拍攝后制作成本高：10-100萬元/分鐘 制作簡單成本低制作繁瑣：面部貼點、穿動捕服、校準需1小時，換人定制需1周成本高：10+人團

17、隊，幾十-幾百萬制作成本制作簡單：穿戴輕便成本低制作簡單：可穿任意服裝，單目攝像頭影視級捕捉成本低，我們的驅動技術：高級別的驅動技術效果對比我們的驅動技術：高級別的驅動技術效果26已實現擬真人的數千種微表情、細節捕捉表情與真人高度一致、特別能突顯真人情緒輸出單個攝像頭實現面部上千個微表情捕捉單個攝像頭實現全身肢體、手勢動作精準捕捉僅靠一個普通攝像頭捕捉真人全身肢體動作并通過自研算法精準確定肢體遮擋關系、前后距離精準捕捉每一根手指的手勢動作及雙腳位置完全擬真人的效果，準確傳遞真人的動作姿態PBR(Physically Based Rendering)：一種基于物理的著色和渲染技術，用于更精確的描

18、述光如何與物體表面互動 工作流程主要分為兩種，一種是基于金屬的工作流；一種是基于鏡面反射的工作流 基礎材質貼圖包括法線、環境光遮蔽、高度貼圖反向渲染器 通過微分反向傳播的方式進行模型參數和隱變量的更新，進而進行重建工作NeRF 將一個復雜的靜態場景用一個神經網絡來建模。在網絡訓練完成后，可以從任意角度渲染出清晰的場景圖片渲染技術：UE5反向渲染器：通過微分反向傳播的方式進行模型參數和隱變量的更新，進而進行重建工作渲染技術：反向渲染器渲染技術：像素生成（1）30像素生成驅動：語音轉口型wav2lip 圖片會說話FOMM渲染技術：NERF31換臉換頭渲染技術：像素生成（2）將一個復雜的靜態場景用一

19、個神經網絡來建模。在網絡訓練完成后，可以從任意角度渲染出清晰的場景圖片交互技術32手交互自身交互多角色之間交互角色和環境交互元宇宙需要人，人在元宇宙里要能做各種事，符合人的感受的內容。就需要交互。Cybactor：世界唯一滿足元宇宙級數字人三要素的制作平臺世界唯一基于一個普通RGB攝像頭即可實現專業影視級效果精準捕捉數字人實時驅動多人直播場景人人可用的影視級數字人建模技術產品Cybactor：支持豐富的功能與模式，產品易用真人可在任意地點，控制不同的數字人，在同一世界互動。支持數字橫店社區、網絡劇組34核心建模、捕捉驅動功能單攝像頭支持多鏡頭、多機位切換與鏡頭編輯多機位支持抓取其他界面，包括P

20、PT、各種視頻、游戲、彈幕等，供用戶進行講解畫中畫支持五官、軀干局部調節、局部固定數字人驅動調節欄快速建模：多樣的建模方式，最快可上傳單張圖片建模，即刻生成可驅動模型 捕捉驅動：單目攝像頭即可完成的高精度數字人動作捕捉多人連接產品Cybactor：支持豐富的功能與模式，產品易用可以在攝像頭捕捉不到的情況下，通過算法的設定完成超出捕捉距離外的行走、跑跳等可以在有遮擋關系的的三維空間里，完成穿過物體的空間移動35數字人可以在實時捕捉錄制時、直播連線過程中拿起道具庫中的任何物體數字人可以跟自身的部位進行簡單的動作交互：雙手合十、鼓掌、十指交叉空間移動可以選擇需要畫的妝容，可全臉換妝、也可單獨部分上妝

21、同一個數字人可以切換不同發型同一個數字人可以選擇不同服飾妝發變換交互功能產品Cybactor：提供定期更新多樣服裝、道具、場景等資產庫36場景庫3D場景含公有世界、私有世界角色庫海量角色租賃/買斷模式妝容庫一鍵上妝，切換最佳妝容發型庫發型配置對應物理動稍動作庫提供不適合捕捉的動作道具庫手持3D道具，可隨人自由移動，靜態交互37產品Cybactor：多人元宇宙圓桌會議：虛擬嘉賓/主持38產品Cybactor：直播帶貨：虛擬主播39功能演示：數字人公司介紹產品Cybactor：40數字人內容生態大變局：+數字人技術=傳統數字內容生態元宇宙數字人內容新生態節目制作、綜藝、影視、娛樂、偶像、主持、代言

22、、客服、IP宣傳會議、演講、展覽、報告、發布會、游戲、社交、居家辦公、線上會議設計規劃、公共服務、工業制造、教育培訓、醫療41階段目標：2021年中到2022年中：高端直播數字人達到幾十2022年中到2023年中：開拓海量高端直播數字人年底上百，下一年初上千促進頭部用戶完成頭部vr元宇宙節目。軟件增加批量建模能力，和vr功能2023年中到2023年底：高端直播數字人到10萬。促進vr元宇宙型用戶上千軟件增加第三方角色、資產、特效、游戲mod等自定義功能2024年：高端直播數字人到100萬。vr用戶達到10萬開始往輕量級、社交、日常會議發展第一階段42元宇宙節目制作：虛擬演播廳/虛擬主持人/虛擬

23、嘉賓全媒體大開講一虎一席談虛擬演播廳已經落地&應用的元宇宙場景43企業宣傳：元宇宙節目/虛擬主持人/虛擬嘉賓已經落地&應用的元宇宙場景44個人主播UP主：虛擬KOL/虛擬主播/虛擬客服44已經落地&應用的元宇宙場景45元宇宙會議：元宇宙節目/虛擬主持人/虛擬嘉賓已經落地&應用的元宇宙場景46中國移動虛擬偶像-Meet Gu中國電信元宇宙數字員工中國聯通頭號玩家占據全中國95%用戶的三大運營商都選擇聚力維度，制作虛擬偶像、數字員工、代言人三大電信運營商中國移動虛擬偶像-尤子希中國移動虛擬偶像-古逸飛中國移動咪咕視頻虛擬偶像-麟犀已經落地&應用的元宇宙場景頭部用戶：全行業最多驅動高級別虛擬數字人直

24、播落地的公司4748生態發展預測：2021年中到2022年中：用戶數幾十到2023年初：用戶數達到上千到2023年底：用戶數到10萬2024年：用戶數到100萬第二階段2022年市場預計49預計在10月份開始元宇宙節目上線，上百數字人日常直播之后會有從百量至千量級的爆發式增長元宇宙節目制作元宇宙會議海量數字人直播50生態發展預測：2021年中到2022年中：用戶數幾十到2023年初：用戶數達到上千到2023年底：用戶數到10萬2024年：用戶數到100萬第三、四階段AI生產端平臺：未來雙生態共演生態&交易生態52未來元宇宙級數字人可以應用的場景預測：2年內會有10萬在元宇宙中創造內容的數字人-主播元宇宙5年內會出現第一批真正在元宇宙中工作的人-工作元宇宙雛形10年內40%的人每天在元宇宙里工作和娛樂-全面元宇宙時代