視頻內容理解的研究與實踐（26頁）.pdf

1、OPERATING SYSTEMCLOUD COMPUTINGDATATECHNOLOGYTEAMOnline and Mobile Commerce Platform$BUYERSSELLERSMarketingFinancing&Payment SolutionProfessionalService ProvidersDigitalEntertainmentLogisticsMobile BrowserLocation-Based文字圖片聲音動態視頻1080p/HDR立體聲互聯網全視角全景聲5G非結構化信息的結構化促進高效應用AI?人物自然物理世界高清視頻+網絡視頻+VR視頻+數字世界4智

2、能理解智能生產人：身份識別物：服化道識別自然：地標識別行為識別自動分類UGC標簽視頻指紋智能審核智能拆條描述生成智能縮略圖智能配樂集錦生成虛擬人多語言字幕生成供給、效率、成本供給、效率、成本智能播放智能分發智能推薦多模態搜索多語言搜索只看他視頻增強視頻行業與細分市場媒體Ai算法產品視頻云OSS云盾鑒黃暴恐血腥旗幟共11個能力智能審核視頻指紋視頻指紋音頻指紋結構化標簽靜態標簽動態標簽智能生產GIF首圖賽事集錦拆條虛擬人阿里云渠道傳媒泛娛樂電商體育泛視頻行業數據智能被集成輸出優酷 微博淘寶 閑魚彈內業務賦能集團內合作方UC圖像審核識別智能審核視頻指紋視頻關系計算視頻段落定位結構化標簽靜態標簽：人、

3、物、場景、字幕動態標簽：行為、事件智能生產GIF首圖賽事集錦拆條虛擬人媒體Ai算法能力圖像審核標簽Contents01目錄0203New Future on Cloud01多模態理解：視覺+語音+文本的多模態識別人、物、自然、文字的充分理解多維解構：人、物、場景、服化道、動作、事件、概念Open-set 識別系統：輕量定制化引擎人物標注視覺標簽語音識別多模態標簽文字識別視頻審核）1.如何利用增量數據提升性能2.如何利用不同域數據訓練3.只對增加數據的標簽性能提升，而不影響其他標簽性能4.快速訓練，無需對所有數據重新訓練1.跨模態表征，多模態搜索2.向量化與ID化表征3.結構化+向量化的定制化系

4、統02New Future on Cloud同源相似161.1.視頻質量變化2.noise,contrast,gamma,blur,re-encoding,rotation3.2.時空域變換4.PIP,insertion,mirroring,ratio,cropshift5.3.視頻拼接6.4.復合變換功能：短查短 短查長 長查長應用場景：1.版權保護、原創認證2.廣告追蹤、分成3.視頻去重、分發打散、搜索等4.結構化的最細粒度03New Future on Cloudvideo21進球Backward retrievalForward retrieval慶祝Time-space Domain retrieval生產平滑集錦傳球