3-6 多模態技術在智能創作中的應用.pdf

1、多模態技術在智能創作中的應用文石磊 字節跳動智能創作團隊|01創作應用場景02問題與挑戰03實踐案例04創作云介紹目錄|01創作應用場景智能創作典型應用場景道具|智能創作典型應用場景生成類|智能創作典型應用場景生成類|智能創作典型應用場景智能編輯|!#$%&()智能創作典型應用場景素材與模板|智能創作典型應用場景數字人|02問題與挑戰問題與挑戰|主要問題多模態理解多模態驅動多模態生成挑戰多模態語義鴻溝海量高精數據真實性大預訓練模型|03實踐案例典型應用場景圖文相關性|典型應用場景圖文相關性|Query：玩游戲的孩子們典型應用場景圖文相關性|雙塔結構：CLIP模型典型應用場景圖文相關性case|

2、Query：楓葉色的口紅典型應用場景多模態驅動|文本驅動數字人：數字人客服/主播/教師音頻驅動數字人：游戲角色lipsync/特效典型應用場景多模態驅動|文本TTS音素序列音頻聲學特征音頻+文本Align音素序列情感標簽驅動模型BS動畫3D Mesh真人視頻畫面典型應用場景多模態驅動|低延遲實時音頻驅動盡量少利用未來信息：低延遲，支持“照鏡子”低計算量模型：端上實時，VR/手機viseme形式輸出：適配不同風格角色，減少素材設計難度，方便利用大量音頻數據典型應用場景多模態生成|典型應用場景多模態生成Imagen|典型應用場景多模態生成|典型應用場景多模態生成|封面生成自動配圖小說內置插畫圖文成片文本生成貼紙/表情道具玩法輔助設計|04火山引擎智創云介紹智能創作云覆蓋視頻創作管理全鏈路|智能創作云火山引擎企業內容創作服務專家|為企業在視頻、文案、圖片等創作場景提供全流程SaaS，支持aPaaS方式交付智能創作云介紹|多模態藝術畫作生成|非常感謝您的觀看|