5-字節跳動-基于深度學習的在線質量評價系統以及服務化實踐-馬國俊.pdf

1、在線質量推薦系統以及服務化實踐 字節跳動馬國俊 個人簡介 前言 在線質量推薦系統的構建 總結與思考 提綱 ?國俊 字節跳動互娛影像質量保障團隊、研發效能團隊負責人 履歷：先后就職于騰訊、百度等互聯?公司 工作：主要從事工程效能&質量保障領域相關?作，效能工程服務化、機器學 習算法評估與應用研究、質量保障團隊管理等。 2019年加?字節跳動 個人簡介 前言 前言 在預防為主的質量階段，業內涌現大量測試方法論和工具鏈&服務化建設。 這兩年在國內互聯網界，智能測試方興未艾。 結合字節跳動互娛質量保障的實踐，介紹下AI是怎么賦能智能測試的。 剪映：抖音官方剪輯工具 產品目標： n國際化出海 n核心剪輯

2、工具 +“剪同款”出海 演示Demo：剪同款模板 剪同款模板：集視頻、音頻、特效、貼紙、文 字、畫中畫、濾鏡等諸多素材與剪/編輯于一 體。小白套模板即可剪出高大上的視頻。 我司效果妹子做的一個剪同款模板。 復雜的模板對設備性能有一定要求。 背景 挑戰 剪同款模板的性能兼容性測試如何開展 n傳統測試評價方法：單模板的多機型兼容性 能手工測試 n問題： 兼容性難全覆蓋 人力、設備可維護性挑戰多多 評價方法缺乏泛化能力，突出表現在： 新模板 新機型 解決之道 n引入推薦算法思想，基于模板線上表現數據來建模 n關鍵點： 算法選型：具備泛化能力 樣本工程：怎么定義一個模板在某個終端設備上，表現是 好的，

3、還是不好的。 特征工程：模板性能表現，受哪些維度影響 訓練：Batch-實時 預測：預測服務，多模型聯合決策能力 CMS: 報表、干預、長尾 在線質量推薦系統 剪映：抖音官方剪輯工具 國際化出海面臨問題： n海外低端機（如右圖，脫敏版） n低端機run起崩潰或者導出失敗現象 n低端機run起后存在部分卡頓，視頻導出時間過長，有損 用戶體驗 n個別地區甚至1/3強設備都屬于低端 帶來議題： 模板素材進行分級性能優化策略（RD側） 模板根據機型表現制定分級下發策略，根據性能兼容性 決定是否下發（QA側） 背景 用戶 推薦模型 PB模型 預測結果 Feeds流 埋點上報 預測服務 在線質量推薦系統 在線質量推薦系統 系統架構 Wide & Deep/DeepFM Kafka flink AML 數 據 處 理 埋點 客 戶 端 隊 列 樣本工程 特征工程 預 測 預測服務 召回池過濾 數據報表人