OPPO：小布虛擬人的多場景應用實踐報告（22頁）.pdf

1、小布虛擬人的多場景應用實踐OPPO小布助手首席架構師萬玉龍2一小布助手3國內首個月活破億的手機語音助手OPPO、OnePlus、Realme智能手機和IoT設備的內置AI助手包含語音、建議、指令、識屏和掃一掃5大能力模塊“機智”、“有趣”、“溫暖”多設備、跨平臺、多場景覆蓋設備數覆蓋設備數2.5億2.5億覆蓋設備數2.5億月均交互次數月均交互次數20億20億月均交互次數20億月活躍用戶數月活躍用戶數1.3億1.3億月活躍用戶數1.3億4不斷成長中的小布2018.122020.052020.122021.022021.062021.09安全性/可靠性/隱私性多模態交互更名小布助手跨界合作月活破億

2、營銷/媒介創新首次發布3周年IP升級2021.125二虛擬數字人6線上用戶需求分析高級基礎需求方便、高效、解放雙手進階需求智能、懂我高級需求情感訴求基礎工具 查天氣，系統設置，播音樂等 更多提高操作效率的功能助手 單指令執行APP二級指令復雜任務 結合對情景智能和用戶理解主動建議朋友 形象擬人化，聲音、動作、表情豐富自然 對話交流直擊用戶內心，滿足情感需求7虛擬助手行業趨勢8虛擬助手行業趨勢9智能交互技術發展文字交互自然語言理解知識圖譜以文本形式與用戶交互依賴用戶雙手輸入文本以文本展示給予用戶反饋語音交互自然語言理解知識圖譜以語音形式與用戶交互釋放雙手，一語即達通過VUI給予用戶反饋語音識別語

3、音合成多模態交互自然語言理解知識圖譜以虛擬人形態與用戶交互釋放雙手，一語即達通過語音、表情、手勢、動作等給予用戶反饋語音識別語音合成多模態驅動計算機視覺觸屏交互自然語言理解知識圖譜以觸屏方式與用戶交互依賴用戶手部接觸通過GUI給予用戶反饋觸屏10虛擬數字人人外觀/行為/智能數字技術驅動虛擬非物理世界 形象：卡通-寫實-超寫實 行為：動作、表情、聲音等 智能：能感知，可交互 設備：顯示屏（2D/XR），全息投影 場景：虛擬助手，虛擬主播，數字員工 建模：數字建模（CG）驅動：動捕驅動，AI驅動11三小布虛擬人12首個基于虛擬人多模態交互的手機智能助手13兩套技術方案形象設計3D建模動作捕捉參數驅

4、動參數預測設備捕捉AI捕捉虛擬人影像驅動參數訓練驅動渲染真人數據采集關鍵點綁定錄音采集語音合成虛擬人變聲器真人驅動算法驅動14主體制作形象設計3D建模關鍵點綁定15真人驅動渲染引擎光學動捕慣性動捕動捕軟件16算法驅動音頻特征音頻波形元輔音識別模型Blendshape虛擬人驅動元/輔音渲染引擎“大家好，我是布美美”語音合成話術文本Word Embedding動作系數動作預測模型文本特征17對話式虛擬人架構人聲檢測語音喚醒語音識別語義理解對話平臺技能平臺自然語言生成語音合成知識圖譜虛擬人交互服務表情生成唇形生成動作生成3D渲染引擎虛擬人SDK聲音播報18四未來可期19兩種產品形態代表我服務我元宇宙

5、入口虛擬會議社交游戲數字備份虛擬偶像虛擬助手品牌代言電商主播20三大發展趨勢高智能用高精度的語音識別、聲紋識別、情緒識別、對話理解、知識圖譜等技術賦予虛擬人更強的智能感知力用高表現的語音合成、計算機圖形學、唇形生成、動作生成、表情生成等技術賦予虛擬人更好的情感表達力高保真4D高精度掃描&超寫實3D建模，塑造高仿真虛擬人外形高精度動捕&深度學習，生成流暢、自然的人物動作4D高精度掃描&豐富面部數據學習，還原多情感生動表情低成本素材標準化+AI算法，降低美術素材制作&綁定成本開放形象定制能力，通過智能AI捏臉等降低開放定制成本從專家定制走向用戶定制，實現千人千面個性化21數據驅動體驗升級科技為人，以善天下