2019年愛奇藝智能播放技術及應用.pdf

《2019年愛奇藝智能播放技術及應用.pdf》由會員分享，可在線閱讀，更多相關《2019年愛奇藝智能播放技術及應用.pdf（48頁珍藏版）》請在三個皮匠報告上搜索。

1、愛奇藝智能播放技術及應用愛奇藝 研究員在全球整體的互聯網下行流量中，視頻占到了近58%。全球互聯網現象報告AI在視頻行業中的應用智能播放自適應碼率窄帶高清ZoomAI人像彈幕智能生產/分發個性化推薦封面圖選取審核只看他智能變現創可貼隨視購前情提要Video In智能選角輔助后期制作短視頻拍攝直播美顏/貼紙智能創作智能播放更清晰更流暢更有趣主要內容 更清晰-畫質增強 更流暢-智能倍幀 更有趣-人像彈幕 展望主要內容 更清晰-畫質增強 更流暢-智能倍幀 更有趣-人像彈幕 展望超高清時代難點（一）用戶自己上傳（UGC）的圖片/短視頻/視頻：質量參差不齊模糊壓縮噪聲噪點色彩灰暗暗光拍攝多次壓縮難點（二

2、）老電影/電視劇/綜藝視頻電影雙教子評書亂世梟雄膠片劃痕背景噪聲畫面抖動色彩灰暗低分辨率ZoomAI畫質增強技術 視頻/圖像增強方案增強工具包超分辨率去噪銳化色彩增強去劃痕分辨率低背景/壓縮噪聲色彩灰暗膠片損傷解決難點1：UGC圖片質量問題ZoomAI工具包超分辨率去噪銳化色彩增強增強前圖片增強后圖片為各條業務線自由定制方案接口一致相互解耦靈活配置 v1.0版本-端到端深度神經網絡工具1工具2.解決難點1：UGC圖片質量問題 v2.0版本-基于內容理解的畫質增強需要清晰需要無噪需要清晰畫質增強流水線原圖文字區域檢測模塊顯著性檢測模塊文字區域前景區域背景區域文字增強模塊前景增強模塊背景增強模塊圖

3、片融合增強圖片應用落地原圖增強圖原圖增強圖 全站頻道/UGC封面圖增強解決難點2：老電影/電視劇質量問題 復用已有的增強方法：超分辨率、去噪、色彩/亮度增強 特有的問題：劃痕和白點去劃痕的經典方法 two-stage：劃痕檢測+劃痕去除 劃痕檢測：直線檢測等 劃痕去除：時間插值，空間插值等 缺點：一般只處理水平/豎直的劃痕，無法處理水漬，白點畫面本身的水平/豎直線的處理劃痕ZoomAI去劃痕 前提：劃痕等只在某一幀出現 光流估計+warp+多幀融合幀i幀i+K幀i-K融合CNN修復幀i幀i幀i from i-K幀i from 幀i from 幀i from i+K場景切分算法效果展示落地應用

4、國劇修復 經典電影修復更清晰-畫質增強 提升UGC畫質方案：基于內容理解的畫質增強落地：全站頻道/UGC封面圖增強 提升老視頻畫質方案：現有增強算法+基于幀間融合的去劃痕算法落地：國劇/老電影修復主要內容 更清晰-畫質增強 更流暢-智能倍幀 更有趣-人像彈幕 展望智能倍幀 增加視頻的幀率，使得觀影體驗更流暢 適用于3D動漫、體育比賽鏡頭、慢動作回放、動作大片等智能倍幀T+1幀T+0幀光流預測最終結果T+0.5warpT+0.5預測幀2T+0.5預測幀1融合網絡前向預測逆向預測智能倍幀 難點-插幀偽影期望的倍幀效果偽影偽影檢測深度神經網絡打分器插幀畫面分數T+1幀T+0幀插幀or落地應用智能倍幀

5、（50fps）原片（25fps）3D動漫倍幀-已上線主要內容 更清晰-畫質增強 更流暢-智能倍幀 更有趣-人像彈幕 展望人像彈幕 彈幕不”擋”人人像彈幕 基于深度學習的圖像分割DeepLab人像彈幕 難點算法準確度場景復雜實時性與功耗蒙版文件大小Easy modeHell modeHard mode人像彈幕 難點1：算法準確度基于語義分割，全自動分割出人像作為前景用綜藝數據訓練模型（中國有嘻哈）人像彈幕 難點1：算法準確度用綜藝數據訓練模型形態學方法，濾除誤分割區域，填充孔洞人像彈幕 難點1：算法準確度用綜藝數據訓練模型形態學方法后處理方法，修復明顯錯誤mIoU:87.6%-93.6%人像彈幕

6、 難點2：場景復雜遠景觀眾人像彈幕 難點2：場景復雜遠景觀眾：景別識別人像彈幕 難點2：場景復雜遠景觀眾：景別識別中景(MS)遠景(WS)特寫(CU)人像彈幕 難點2：場景復雜遠景觀眾：景別識別人像彈幕 難點2：場景復雜遠景觀眾：景別識別人像彈幕 難點2：場景復雜遠景觀眾：景別識別近景觀眾：AI明星彈幕人像彈幕 難點3：實時性與功耗移動端實時摳圖劣勢 功耗大，影響觀影體驗 低端機效果差優勢 Android中端機雙線程25FPS 模型尺寸270KB人像彈幕 難點3：實時性與功耗人像彈幕 難點4：蒙版文件大小景別識別幀內：行程編碼編碼前編碼后人像彈幕 難點4：蒙版文件大小景別識別幀內：行程編碼幀間：合并相似幀大?。簤嚎s至1/25主要內容 更清晰-畫質增強 更流暢-智能倍幀 更有趣-人像彈幕 展望展望端到端視頻增強基于內容理解的視頻增強 算法？+？3:452:54展望 5G時代提升分辨率提升幀率展望 更有溫度 手語主播