3-5 可視化數字人技術在 Soul 的應用.pdf

1、虛擬人技術與Soul的結合Soul 甘啟|01背景介紹02關鍵技術03場景應用04總結與展望目錄CONTENT|01背景介紹Soul的社交元宇宙NW引擎介紹背景介紹|背景介紹Soul的場景要求|好看&有趣&參與實時有限的算力輕量級要求復雜的應用場景背景介紹|背景介紹NW架構|02關鍵技術引擎架構識別&驅動能力渲染能力設計資源關鍵技術技術路線|頭部半身全身位姿估計表情識別捏臉技術BS驅動頭部信息手部姿態估計IK系統頭部與身體綁定頭部信息手部信息身體姿態估計動畫信息識別系統渲染系統驅動BS驅動骨骼驅動頭部與身體綁定特殊材質BS驅動骨骼驅動關鍵技術識別&驅動能力（頭部）|臉部檢測 位置 方向 tra

2、cking人臉重建 位姿 Mesh 光照（可選）精細化表情識別 眼眉瞳 嘴舌臉部識別 臉部位置 頭部位姿 表情系數 Mesh 其他關鍵技術識別&驅動能力（頭部）|基礎頭捏臉頭表情頭個性頭74個捏臉系數56個表情系數配飾/動畫/骨骼動畫關鍵技術識別&驅動能力（頭部）|Case1 眉毛穿膜Mesh變形遷移蒙皮關鍵技術識別&驅動能力（頭部）|關鍵技術識別&驅動能力（半身）|手部識別手部檢測位置方向tracking手部關鍵點位姿Mesh 手部位置 3D關鍵點 拓撲關系關鍵技術識別&驅動能力（全身）|IK系統關鍵技術識別&驅動能力（半身）|臉部大小&位置經驗曲線肩關節和腕關節相對位置FABRIK肘關節位

3、置手部大小&位置半身方案前置攝像頭關注點手勢&表情非AR關鍵技術識別&驅動能力（全身）|2D姿態估計行人檢測數據預處理關鍵點檢測關鍵點矯正關鍵技術識別&驅動能力（全身）|3D姿態估計2D姿態估計 關鍵點xy坐標3D姿態估計 Z方向坐標 3D關鍵點 拓撲關系關鍵技術識別&驅動能力（全身）|識別點mappingMotion retargetingConstraints of Joints驅動目標模型目標模型Key frames關鍵技術識別&驅動能力（全身）|關鍵技術渲染效果|鐳射半透明皮革陰影輪廓光動態骨骼關鍵技術設計資源|03場景應用捏臉&換裝視頻聊天沉浸場景場景應用捏臉&聊天|場景應用沉浸場景|場景應用沉浸場景|開放式元宇宙場景多元可切換的宇宙|04總結與展望總結與展望|總結l 頭部 半身 全身 漸進的技術路線l 圖像+圖形+設計 協同的開發方式展望l 圖像、語音與文字綜合驅動l 虛擬形象&資產的格式互通l 虛實結合的落地場景（基于手機 OR AR&VR硬件）非常感謝您的觀看|