7-4 在高保真孿生數字人技術中的自動化流程探索.pdf

1、在高保真孿生數字人技術中的自動化流程探索張啟煊 DEEMOS.com影眸科技 CTO|Investors|我們致力于探索前沿人工智能與元宇宙的結合與應用。我們致力于探索前沿人工智能與元宇宙的結合與應用。打造元宇宙時代的打造元宇宙時代的數字身份系統數字身份系統。|傳統手工流程3-5周穹頂光場流程3-5天有點“不務正業”的數字人公司“老婆”生成器|全網千萬流量數百萬用戶有點“不務正業”的數字人公司 元宇宙畢業典禮|有點“不務正業”的數字人公司？|有點“不務正業”的數字人公司？|Chen,Anpei,et al.Sofgan:A portrait image generator with dynam

2、ic styling.ACM Transactions on Graphics(TOG)41.1(2022):1-26.|首個產品級人臉資產數據庫（PFA）PRODUCTION-READYFACIAL ASSETDATASET個性化肌肉毛孔級細節完備PBR材質動態貼圖獨立資產在高保真孿生數字人技術中的自動化流程探索張啟煊 DEEMOS.com影眸科技 CTO|掃描PART1|PART1|掃描|A.我們的工作2016Lets do somethingPART1|掃描|A.我們的工作PART1|掃描|A.我們的工作動態DOME（體積攝影）2017Cao,Xuan,et al.Sparse phot

3、ometric 3D face reconstruction guided by morphable models.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018.PART1|掃描|A.我們的工作Chen,Anpei,et al.Photo-realistic facial details synthesis from single image.Proceedings of the IEEE/CVF International Conference on Computer Vi

4、sion.2019.PART1|掃描|A.我們的工作動態DOME（體積攝影）2017Chen,Zhang,et al.3d face reconstruction using color photometric stereo with uncalibrated near point lights.2020 IEEE International Conference on Computational Photography(ICCP).IEEE,2020.PART1|掃描|A.我們的工作Zhang,Longwen,et al.Neural video portrait relighting in

5、 real-time via consistency modeling.Proceedings of the IEEE/CVF International Conference on Computer Vision.2021.PART1|掃描|A.我們的工作2022毛孔精度PBR材質規整拓撲編輯性強Plenoptic Stage技術亞洲唯一，世界唯二亞微米級皮膚材質掃描，超高精度表情掃描PART1|掃描A.我們的工作|2 0 2 2PART1|掃描A.我們的工作|2 0 2 2代價數千萬三角面片吃性能難以渲染對藝術家不友好重拓撲PART1|掃描靜態資產B.重拓撲Registration自動?|

6、問題1仍然需要先完成高模重建問題2會產生邊角、UV不規整問題3表情不到位 問題4表情貼圖抖動PART1|掃描靜態資產B.重拓撲|大量新增人工環節仍然需要高模PART1|掃描靜態資產B.重拓撲聯合研發XZhang,Jiakai,et al.Editable free-viewpoint video using a layered neural representation.ACM Transactions on Graphics(TOG)40.4(2021):1-18.Wang,Liao,et al.Fourier PlenOctrees for Dynamic Radiance Field R

7、endering in Real-time.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022.|PART1|掃描靜態資產C.PBR材質|級PBR材質Normal（Tangent Space）8K專業級 LookDevRealRenderedRealRendered|皮膚微結構|驅動PART2驅動好 的捕捉好 的=？驅動好 的捕捉好 的=+綁定好 的T R A C K I N GR E TA R G E T T I N G符合角色本人的表情PART2|驅動A.綁定常 規 方

8、 案 基于通用骨骼蒙皮、BlendShape的綁定方案如：使用MetaHuman骨骼蒙皮遷移、Mesh to MetaHuman 參照掃描表情拆分BlendShape或骨骼蒙皮影視級數字替身常用制作方案，如：雙子殺手 基于肌肉模擬仿真完成面部驅動如：ZIVA DYNAMICS不符合真人本人表情工作量極大對藝術家水平要求高難以實時解算|F A C I A LA C T I O NC O D I N GS Y S T E M|PART2|驅動A.綁定|PART2|驅動B.動態貼圖|首個產品級人臉資產數據庫（PFA）PRODUCTION-READYFACIAL ASSETDATASET個性化肌肉毛孔

9、級細節完備PBR材質動態貼圖獨立資產|毛發？布料？|*合作方本壹數娛合作方本壹數娛|Wang,Cen,et al.Neural opacity point cloud.IEEE Transactions on Pattern Analysis and Machine Intelligence 42.7(2020):1570-1581.Luo,Haimin,et al.Convolutional neural opacity radiance fields.2021 IEEE International Conference on Computational Photography(ICCP).

10、IEEE,2021.毛發？working on it|Zhang,Longwen,et al.Video-driven Neural Physically-based Facial Asset for Production.arXiv preprint arXiv:2202.05592(2022).4D SCAN傳統流程優勢優勢劣勢劣勢1.微表情精準記錄2.無需人工Key幀3.制作周期短1.可編輯性差2.無法復用3.拍攝復雜4.無法獲取逐幀PBR1.具備完備PBR材質2.可編輯性強3.能夠表演新片段1.制作周期長2.表情細膩度相對不足3.成片受限于面捕精度4.無法獲取逐幀PBR非常感謝您的觀看|