A1--徐曼娜--TME音視頻質量保障實踐之路.pdf

《A1--徐曼娜--TME音視頻質量保障實踐之路.pdf》由會員分享，可在線閱讀，更多相關《A1--徐曼娜--TME音視頻質量保障實踐之路.pdf（44頁珍藏版）》請在三個皮匠報告上搜索。

1、TME音視頻質量保障實踐之路 徐曼娜TME-算法專項測試工程師徐曼娜工作8年，華中科技大學碩士，長期從事算法類測試開發工作，曾先后于百度搜索測試部負責知識圖譜測試開發、百度地圖負責駕車導航SDK引擎開發。目前在騰訊音樂負責算法效果類專項測試及效能開發工作，包括推薦&搜索、音視頻專項質量保障及研效提升等。研究方向包括算法效果類評測、主客觀評價、評價標準&工具。TME-專項測試高級工程師目錄CONTENTS議題背景01 客觀指標建設 02 主觀評測實踐 03 線上平臺監控 04 未來展望05 01議題背景業務背景高品音質 銀河音效 耳機適配經典錄唱 實時歌房/直播 音效合成TME海量音視頻資源，核

2、心玩法的聽歌/唱歌/直播，音視頻體驗重中之重音視頻評測面臨挑戰01指標難以量化評估02人工測試效率較低03單點測試過于局限04主動發掘優化方向音視頻的質量評價包含多個維度，實現統一量化評估具有一定難度。音視頻需求測試階段依賴人工測試，導致效率較低且覆蓋范圍受限。音視頻質量保證不僅應關注單一環節，還需重視全流程的整體質量評估與把控。如何在測試層面發掘優化點，以指導整體音視頻質量的提升。音視頻質量保障體系構建思路PSNRSSIMVMAFTDQA噪聲美學色彩亮度靜幀黑/花/綠屏尺寸異常色差檢測其他有參指標TDQA無參指標異常檢測客觀指標建設解碼錯誤無效參數類型錯誤采樣率/位深基礎指標假無損假Hire

3、s音量大小時長質量指標爆音長空白音噪聲檢測斷點音質指標主觀評測實踐畫質專項評測標準音質音效美顏濾鏡評測環境音頻測評實驗室視頻測評實驗室評測人員專家測評用戶眾測專業標注評測平臺TME音視頻評測平臺-天秤線上平臺監控畫質監控卡頓監控音質監控低質分析競品對比秒開監控大盤統計實時云控其他02客觀指標建設 音頻類型PGC音頻常規音頻、長音頻、歌詞、midi衍生物龐雜UGC音頻錄唱干聲、歌房/直播干聲統一管理&質量保障音質評估&質量監控環境復雜設備多樣廠牌眾多PGC音頻質量保障-音頻檢測工具建立檢測指標檢測算法設計分析問題音頻-提取特征制定算法模型-快速應用線上樣本搜集-促進優化多次循環迭代-算法調優庫內

4、存量掃描線上入庫檢測推動音頻修復業內僅有較多語音質量評估工具，亟需建立適用音樂場景音頻檢測工具爆音：削波（一旦超過閾值就會限制信號）雜音：瞬態雜音、穩態雜音假無損：基礎指標符合無損條件，但頻譜不滿足無損要求（20+khz）更多指標建立：基礎參數、質量體驗、音質反饋PGC音頻質量保障-音頻檢測工具基礎指標質量指標音質指標解碼錯誤音頻類型錯誤采樣率/位深無效規則參數雜音長空白音音量假Hires時長假無損爆音入庫檢測監控廠牌音源入庫檢測轉碼入庫阻塞入庫音頻上架音頻處理TME音頻檢測指標PGC音頻質量保障-音頻衍生物除曲庫音樂外大量音頻衍生物-伴奏/MIDI/QRCMIDIQRCAudio1內容龐雜，

5、質量參差不齊相關文件多：伴奏音頻、歌詞QRC、音調文件MIDI來源分布廣：人工制作、智能生成2缺乏工具評估內容質量場景局限，拓展性較差QRC/MIDI暫無質量檢測工具痛點伴奏MIDI歌詞原版伴奏消音伴奏用戶上傳人工MIDI智能MIDI無MIDI真Qrc天琴qrc假Qrc無Qrc無伴奏舊消音模型較差準確率低+生成率低歌詞不準+格式錯誤PGC音頻質量保障-音頻衍生物痛點解決：分維度挖掘優化點【優化】消音模型更新【新增】高質量UGC挖掘【優化】智能MIDI模型【優化】歌詞質量檢測自動修復【新增】優化原版伴奏匹配邏輯對齊體驗差缺乏QRC/MIDI對齊探測工具音頻檢測不足檢測工具需更新契合K歌伴奏質檢工

6、具？音質檢測工具爆音雜音支持增設伴奏音頻檢測工具聽感維度內容瞬態雜音示例高頻雜音示例爆音失真特點持續爆音波形PGC音頻質量保障-音頻衍生物痛點解決：檢測工具開發打分打分Midi落后歌詞落后歌詞qrc打分打分Midi提前歌詞提前歌詞qrc有歌詞有歌詞qrc無對應無對應Midi歌詞歌詞qrc已結束已結束Midi仍持續仍持續頭尾不對齊歌詞游離復疊缺失存量檢測新增監控優化迭代對齊檢視工具歌詞檢測工具檢測&修復抬頭錯誤歌詞互踩異常檢測PGC音頻質量保障-落地實踐伴奏/MIDI/QRC-質量嚴格流程化伴奏歌詞MIDIQ音/人工消音（新消音模型BSRNN）原版（指紋匹配優化）入庫音頻檢測轉碼（優化/新增檢測

7、項）中央曲庫/人工入庫歌詞質量檢測&修復智能midi/人工（算法模型優化）入庫歌詞/midi對齊檢測歌詞更新Midi重新制作上架UGC音頻質量保障-問題背景UGC時代多樣化錄制設備，用戶錄唱質量參差不齊，但沒有對應的評價體系；外網缺乏用戶干聲質量的監控，無法衡量優化舉措有效性，量化用戶錄唱效果提升。評估方案主要內容有參考評估典型方案：PESQ，POLQA，PEAQ優點：現有工具支持，接入方便缺點：依賴參考標準音頻無參考評估典型方案：開源神經網絡MosNet,QualityNet優點：直接評估音頻質量缺點：應用領域偏差，針對音色遷移評估Oteam方案Penguins優點：無參考評估音頻質量缺點：

8、主觀評估，缺少可解釋性外網干聲主要問題分布伴奏回踩56%背噪20%風噪10%click5%電流4%環境嘈雜3%路面噪聲2%挑戰：自建針對k歌干聲的、保證評估分數可解釋性的、多權值客觀評價系統。UGC音頻質量保障-干聲音質檢測伴奏回采檢測穩態噪聲檢測瞬態噪聲檢測電流音檢測音量大小檢測爆音檢測干聲音質檢測工具搭建TME嚴格遵守相關法律法規，遵循隱私保護原則，為用戶提供更加安全、可靠的服務UGC音頻質量保障-干聲音質檢測方案架構線上監控視頻畫質保障-背景&挑戰MV&直播業務發展迅速，視頻畫質直接影響到用戶體驗；UGC時代多樣化錄制設備及參差不齊拍攝水平，帶參考高質量視頻源難獲??；現有測試方案依賴主觀

9、感受，耗時耗力，無法自動化；越來越多視頻類需求，需要對畫質清晰度進行準確度量。挑戰：建設高效、準確的畫質評估工具，對視頻畫質進行評估&監控。視頻畫質保障-評估工具建設第一階段傳統有參考算法PSNR/SSIM/VMAF 第三階段深度學習（CNN）+多標簽 自研通用清晰度打分TDQA 多維度歸因指標-歸因分析模型深度學習（CNN）方案 CSIG多媒體XTME-Quasi第二階段評估維度擴充&能力增強 高清、MV場景泛化 評估能力擴充第四階段2019202020182022視頻畫質保障-自研畫質評估算法TDQA創建主觀標注數據集多場景、多內復雜容數據覆蓋眾包標注可靠性保障自研無參考質量評價算法幀級別

10、端到端網絡搭建公開&私有數據集聯合訓練、finetune特征融合、提取、超參設置小數據量下過擬合處理工程化落地策略多語言 SDK：提供service demo 業務快速開發Open API：GPU彈性平臺部署，快速接入使用源視頻Resized framesFclarityClarity:96.34視頻預處理基礎網絡特征映射特征交匯特征聚合回歸 秀場直播12k ugc多場景6k過暗噪點過多過曝光對比度低 低質噪聲10k Q音MV數據集 單反高清數據集 競品數據集 參考ITU-T標準使用專業團隊眾包標注方式，獨立人次70+/每條視頻視頻畫質保障-自研畫質評估算法TDQA模型實現流程 數據集構建、標

11、注、清洗與預處理 客觀無參考視頻質量評估架構設計：網絡模型構成&模型訓練 評估方案建設、效果評估&調優自研優勢 自定義程度高，迭代更新快 相同前饋速度下，準確性更高 數據沉淀積累，為其他業務賦能Methods PLCCSRCCBIQI0.6160.559BRISQUE0.7070.705HOSA0.8280.805KonCept5120.9370.921競品0.9270.911TDQA(TME)0.9360.927數據集PLCCSRCC預測耗時TME直播0.9180.9220.6sTME UGC0.8890.8800.6s公開數據集KonIQ10K 相關性私有數據集表現69.540.2391.

12、93視頻畫質保障-低質歸因分析模型源視頻Resized framesFclarityClarity:40.23Flowq噪聲:0.998過亮/暗:0.5過曝光:0.55對比度:0.23視頻預處理基礎網絡回歸GAP畫質清晰度得分可解釋性多維度視頻畫質評估低質視頻歸因分類優化清晰度得分過曝光對比度噪聲亮度TDQA模型升級多標簽模型訓練：單標簽數據集-多標簽數據集模型結構優化：多維特征提取層、全局均值池化視頻畫質保障-畫質評估體系優勢基于TDQA畫質評估體系線上監控：鯨鯊平臺、波點&酷我自建監控離線評估：視頻樣本庫+自動化處理+TDQA整體優勢支持業務：Q音、K歌及酷狗等10+直播&視頻業務適用范圍

13、：直播清晰度優化、美顏&濾鏡專項、畫質優化算法評估維度：SDK/API接入1000w+專業協同TME&騰訊：音視頻評測Oteam 分享開源專利：申請相關專利3篇線上監控離線評估清晰度趨勢監控實時主播監控分維度分析參數云控清晰度評估+歸因分析模型（TDQA）視頻樣本庫批量自動化工具主播分階段打點TDQA評估評估結論音視頻樣本庫平臺濾鏡素材庫平臺清晰度評估+歸因分析模型（TDQA）鯨鯊平臺線上監控離線評估測試構造場景主觀評估線上監控缺失視頻畫質保障-實踐案例K歌直播清晰度提升 競品分析對比 視頻畫質優化流量分發&生態建設 推薦流量分發 高清生態建設降本增效保障 轉碼、壓縮65.8368.16969

14、.469.6871.272.3626466687072746月7月8月9月10月11月12月全民K歌清晰度提升情況清晰度得分1.劣化算法下線劣化算法下線2.參數覆蓋率提升參數覆蓋率提升濾鏡相關優化濾鏡相關優化1.測光優化測光優化2.相機防抖優化相機防抖優化1.美顏美顏&濾鏡優化濾鏡優化2.對焦范圍優化對焦范圍優化美顏美顏&濾鏡優化濾鏡優化音視頻客觀指標建設收益節省測試人力增加覆蓋范圍輔助產品制定策略提升用戶體驗協同合作行業交流客觀評估準確性高優化目標明確指標可量化效率提升價值輻射業務優化質量保障03主觀評測實踐主觀評測體系構建思路音視頻效果與用戶體驗息息相關，客觀指標可能無法完全反映實際用戶的

15、體驗感受。音視頻主觀評測體系的建立對于全面、準確地評估音視頻質量具有重要意義。制定多場景評測標準組建專業評測團隊多業務線：Q音&酷狗&酷狗多角色：產品、設計、開發、測試多用戶：App活躍用戶、眾包測試團隊開發算法評測平臺天秤評測平臺音頻&視頻單資源標注、多資源對比 視頻轉碼效果 美顏改進效果 視頻穩定性測試標準完善視頻專項：網絡、時延、性能、畫質 音頻專項：3A、對齊、音質、音效測試環境搭建音頻測評實驗室專業直播評測實驗室網絡實驗室評測團隊組建專家測評：金耳朵、專業標注團隊眾測：公司內外部熱血用戶主觀評測實踐-評測標準直播評測環境示波器對齊測試音視頻算法研發專項測試調試版本迭代調試結果測試結果

16、負向，打回重新調整主客觀評測正向眾測正向線上AB實驗用戶眾測負向，一票否決客觀測試主觀盲測用戶眾測音視頻評測流程音頻高保真主觀標準化輸出主觀評測實踐-音效測試測試工具干聲替換-追溯還原現場/模擬打分音頻指紋-一致性評估/音效驗收自動化適用場景異步場景：錄唱 實時場景：歌房/直播主觀評測實踐-天秤評測平臺單/雙音視頻評測支持功能主觀評測：質量評測、標注評測、自定義任務客觀指標：音視頻指標計算結果分析：圖表展示、聚類分析支持類型視頻、音頻、文本、圖片整體優勢多種平臺支持多種展示模式多種打分機制自動數據分析Mos/Dmos/JND04線上平臺監控線上監控平臺設計思路K歌&Q音直播流客觀指標度量總體對

17、比數據區間分布數據占比Top&bottom展示實時分析結果競品直播流分鐘級監控：5min采集視頻分階段上傳：直播原片、美顏后的視頻平臺化管理：統一展示、分析、維護開播監控行業標準推動數據驅動決策用戶體驗優化故障定位和排查實時監控和分析音視頻線上大盤監控-視頻業務大盤監控實時分析音視頻線上大盤監控-音頻業務大盤監控實時分析05未來展望總結-三維一體建設音視頻評測體系標準建設測試標準&方法完善：協同共建、沉淀積累評測設備&環境搭建專業評測人員組建工具建設主客觀工具建設：自研&外部引入外網監控：大盤統計、質量監控專項突破音頻：伴奏提升、音質專項、耳返專項視頻：清晰度專項、美顏&濾鏡專項內容突破評估工具建設評測方案&標準完善三維一體，助力業務未來展望-更大的挑戰業務發展方向業務業務挑戰 (價值)更多業務支持 (遷移)維護&創新 （優化）降本增效 (效率)更好聽，更好看，更好玩！n 新挑戰：業務和效能雙向壓力下，持續保障業務質量和效果體驗極致音頻體驗：臻品音質、Hires、母帶極致視頻體驗：HDR、高清直播更多互動體驗：AI體驗、競技互動感謝聆聽關注QECon公眾號