A1--周麗麗--B站智能屏應用的質量體系搭建.pdf

1、B站智能屏應用的質量體系搭建周麗麗B站資深測試開發工程師周麗麗嗶哩嗶哩 資深測試開發工程師目前主要負責智能屏、海外和漫畫在內的創新業務質量體系建設，熟悉相關行業背景及音視頻產品玩法，善于結合業務特點搭建適配的質量保障方案、助力業務目標達成。畢業后曾就職于百度上海，從事大數據和AI方向的質量工作。目錄C O N T E N T S1.智能屏行業背景2.B站智能屏應用發展3.質量挑戰&解決4.質量總結智能屏行業背景01行業背景：硬件&影消費式的演變黑白TV彩色TV智能TV1958年1970年2009年模擬信號DTVIPTVOTT節目單電視臺電視塔電視內容基站電視2023年2009年加強互聯網視聽節

2、目內容管理的通知保障用戶體驗電視“套娃”收費和操作復雜問題專項治理2021年智能電視技術升級互聯網電視總體技術要求等四項行業標準2016年OTT營銷元年關于依法嚴厲打擊非法電視網絡接收設備違法犯罪活動的通知2014年多輪政策嚴管內容，牌照制度建立互聯網電視內容服務管理規范互聯網電視集成業務管理規范2020年智能電視廣告得到規范管理智能電視開機廣告服務規范互聯網集成服務平臺服務能力與業務規范2018年點播：讓用戶實現自主控制消費時間行業背景：市場規模&活躍情況有線電視IPTV智能電視家庭大屏激活戶數（億戶）464850525456582023-12023-22023-32023-42023-52

3、023-62023-72023-82023-92023-102023-112023-122024-12024-2智能電視開機率（%）01002003004005002023-12023-22023-32023-42023-52023-62023-72023-82023-92023-102023-112023-122024-12024-2日戶均收視時長（分鐘）家庭場景：流量中心、更具營銷價值B站智能屏應用發展02B站智能屏應用發展：歷史00.511.522.533.520132014201520162017201820192020202120222023激活戶數2023年2018年2019年20

4、22年2021年4月，云視聽小電視正式上線聯合南方新媒體1月，支持電視大會員5月，百視通小電視正式上線聯合百視通6月，華為獨立apk上線1月，支持青少年模式響應大屏青少年保護政策12月，支持家庭模式保護個人隱私11月，支持8K+iptv apk正式上線9月，支持個人信息隱藏響應總局大屏違規治理3月，支持feed流2月，支持投屏彈幕1月，單獨極速apk上線解決低端機體驗卡頓問題2024年1月，小米SDK正式上線響應套娃收費治理、平滑過度用戶習慣內容平臺：陸續從移動端擴展到智能屏B站智能屏應用發展：全景終端管控IPTVOTT渠道內容PGCUGC課堂賽事LIVE產品獨立APP播放SDKB站智能屏應用

5、發展：覆蓋&活躍Oct-20Dec-20Feb-21Apr-21Jun-21Aug-21Oct-21Dec-21Feb-22Apr-22Jun-22Aug-22Oct-22Dec-22Feb-23Apr-23Jun-23Aug-23Oct-23Dec-23Feb-24Apr-24Jun-24MAUOct-20Dec-20Feb-21Apr-21Jun-21Aug-21Oct-21Dec-21Feb-22Apr-22Jun-22Aug-22Oct-22Dec-22Feb-23Apr-23Jun-23Aug-23Oct-23Dec-23Feb-24Apr-24Jun-24DAU2020/10/12

6、020/11/12020/12/12021/1/12021/2/12021/3/12021/4/12021/5/12021/6/12021/7/12021/8/12021/9/12021/10/12021/11/12021/12/12022/1/12022/2/12022/3/12022/4/12022/5/12022/6/12022/7/12022/8/12022/9/12022/10/12022/11/12022/12/12023/1/12023/2/12023/3/12023/4/12023/5/12023/6/12023/7/12023/8/12023/9/12023/10/12023

7、/11/12023/12/12024/1/12024/2/12024/3/12024/4/12024/5/12024/6/12024/7/1單設備VT質量挑戰&解決03質量挑戰&解決：電視vs手機23年810年A78/X1架構用5nm工藝ARM架構，A73/A55/A53用12nm甚至28nm工藝低端機 2-3G中端機 4-6G高端機 6G+低端機 1.5G-中端機 1.5-3G高端機 3G+涉及的通信、計算、互聯網等領域發展迅速周期短周期長使用壽命芯片版本運行內存技術更新使用場景隨身攜帶固定位置，多為客廳/房間質量挑戰&解決：交付差異01G31%1G1.5G24%1.5G2G38%2G7%內

8、存110%104%924%813%73%619%520%417%其他0%android版本u追趕大屏基礎交互體驗u凸顯自身資源&體驗優勢=小步快走，迭代頻繁u設備更新慢，低端設備多u廠商歡迎多品類app入駐=口碑為先，準出嚴格1、渠道準出難2、有限準入次數3、驗收時間長評審設計/開發測試/驗收牌照準出渠道準入渠道準出渠道準入渠道準出渠道準入渠道準出可控不可控質量挑戰&解決：逐一擊破匯總標準&達標減少非必要的發版加速時間卡點要標準摸現狀優化達標單設備實驗室真實用戶提效可控從源頭控制缺陷漏出釋放人力到更有價值的地方白盒自動化故障演練性能querydiffcase治理端到端質量共建冒煙客戶端白盒模塊

9、總包穩定性性能bugbash內測駐場線上客戶端服務端人力替換“準出難”“有限準入次數”“驗收時間長”評審設計/開發測試/驗收牌照準出渠道準入渠道準出渠道準入渠道準出渠道準入渠道準出可控不可控線上巡檢客訴治理質量挑戰&解決：“準出難”問題匯總標準&達標典型卡點1細粒度控制寫操作上線自建工具，摸清現狀標準：eMMC寫入頻率5S/次eMMC（Embedded Multi Media Card）：存儲+控制支持有限的擦寫次數&數據量，對app寫操作敏感eMMC讀寫異常連續6版本打回1.Feature控制寫入2.僅內存數據上報質量挑戰&解決：“準出難”問題匯總標準&達標典型卡點2視頻&設備的現狀1、熱門

10、視頻很糊2、4K視頻播放卡頓視頻源電視設備效果幀率幀率前者 后者，出現畫面撕裂前者 后者，清晰度下降前者=15Mb/s占比 1%（高碼率視頻很少）l 幀率：40+fps占比 48%（高幀率視頻較多）線上ugc畫質質量挑戰&解決：“準出難”問題匯總標準&達標自定義評測測試視頻測試設備360P：低碼率+低幀率低端機：VIDAA_TV360P：低碼率+正常幀率低端機：VIDAA_TV480P低端機：VIDAA_TV720P：低幀率+tv獨立音頻低端機：VIDAA_TV，60寸720P60幀低端機：適配設備下限1080P：低幀率+音頻低碼率低端機：適配設備下限1080P60幀低端機：適配設備下限108

11、0P高碼率：單聲道低端機：適配設備下限4K：高幀率+H265+獨立音頻中低端機：適配設備下限HDR真彩：高碼率中低端機：適配設備下限主觀指標起播是否超過2s花屏次數是否音畫同步流暢度可接受清晰度可接受客觀指標平均幀率幀率方差平均幀耗時畫質策略上線結論建議產品優化3%HDR真彩：需4核GPU支持，極易出現卡頓甚至黑屏白名單控制露出清晰度控制（產品功能）低質視頻適配的電視設備上限高質視頻適配的電視設備下限質量挑戰&解決：“準出難”問題匯總標準&達標要標準數據項說明采集方式包大小目標：20M手工安裝后占用大小目標：與上個版本相比，劣化5%執行：du-s/data/data/com.xxx.xxx查看

12、安裝后占用大小手工冷啟動時長目標：=3s執行：am force-stop com.xiaodianshi.tv.yst【保證冷起】am start-W com.xiaodianshi.tv.yst/.ui.main.MainActivity【統計耗時=TotalTime+WaitTime】工具熱啟動時長執行：（不執行force-stop）am start-W com.xiaodianshi.tv.yst/.ui.main.MainActivity【統計耗時=TotalTime+WaitTime】工具內存占用目標：與上個版本相比，劣化5%執行：暴力monkey工具輸出工具CPU占用目標：與上個版

13、本相比，劣化=55fps操作：設置-開發者選項-監控-GPU呈現模式分析-勾選上 In adb shell dumpsys gfxinfo熱門等非播放頁面上下左右移動焦點10s以上adb shell dumpsys gfxinfo com.xiaodianshi.tv.yst fps.txtDraw+Prepared+Process+Execute=完整顯示一幀的時間t，幀率=1000/t手工eMMC目標：寫入量一天不超過500M，單次寫入量超過2M執行：（打XX渠道包）1、推薦，播放視頻12h2、fsmon統計寫入：https:/info.bilibili.co/display/platfo

14、rmqa/fsmon+V2工具質量挑戰&解決：“準出難”問題匯總標準&達標摸現狀優化達標數據項xx版本包大小20.91MB安裝后占用大小70.56M冷啟動時長4s熱啟動時長0.58s內存占用max：298MBavg：265MBCPU占用max：72%avg：55%界面幀率52fpseMMC7M/24h是否劣化/版本1、數據推動優化上線2、準出指標持續達標渠道準出順利無打回質量挑戰&解決：“有限準入次數”問題減少非必要的發版模塊牌照準出總包兼容0.00%20.00%40.00%1.4.01.4.11.4.21.4.31.4.4低質低質bug占比占比1、提測質量不高2、耗時：修復驗證1、線下崩潰發

15、現率低2、線上常有崩潰反饋牌照審核不通過質量挑戰&解決：“有限準入次數”問題減少非必要的發版單設備模塊牌照準出總包bugbash內測兼容Case評審冒煙自動/手工冒煙串講白盒Case分層0.00%10.00%20.00%30.00%40.00%1.4.01.4.21.4.41.4.61.4.81.5.01.5.2低質低質bug占比占比提測質量：1.4.5版本開始逐步改善FASTBOT（os=6.0）Monkey+守護進程(os=6.0）Monkey+守護進程(os 4更多兼容問題快速感知口碑無故障類再發版大盤客訴減少質量挑戰&解決：“驗收時間長”問題加速時間卡點渠道準入渠道準出多型號兼容耗費人

16、力排期困難帶”資”駐場人力換人力駐場不同環境/實例覆蓋長尾場景case快速生成可適配多環境多種環境多觸發機制服務依賴異?？勺詣友菥毠收涎菥毦€上巡檢DIFF測試API自動化pytestapi defcase deftestelephant_apiframecharles_2_yaml配置報告+告警fault def提效服務端質保：統一框架+case復用質量挑戰&解決：“驗收時間長”問題加速時間卡點提效服務端質保：統一框架+case復用抓包api defcase def正常場景校驗故障場景校驗質量挑戰&解決：“驗收時間長”問題加速時間卡點提效可控uAPI自動化u基于抓包數據自動生成配置&校驗u覆蓋

17、 http/grpc 讀寫接口的核心邏輯uDIFF測試u記錄線下/線上真實請求，回放至基準&待測環境u多參數循環枚舉，補充覆蓋長尾場景不同環境/實例覆蓋長尾場景case快速生成可適配多環境多種環境多觸發機制服務依賴異?？勺詣友菥毠收涎菥毦€上巡檢DIFF測試API自動化定時告警合入告警代碼誤刪DIFF報告特殊搜索聯想詞返回錯誤1覆蓋預期核心流量2覆蓋更多長尾流量質量挑戰&解決：“驗收時間長”問題加速時間卡點提效可控u業務層u強弱依賴合理，可兜底/降級u預期內錯誤，端上無崩潰、可重試、提升友好u日志監控，有效&清晰u架構層u支持限流/冷卻，防止雪崩u支持多活/切流，快速恢復不同環境/實例覆蓋長尾場

18、景case快速生成可適配多環境多種環境多觸發機制服務依賴異?？勺詣友菥毠收涎菥毦€上巡檢DIFF測試API自動化1強弱依賴不合理2強依賴無兜底3app未容錯直接崩潰會員信息獲取失敗應用崩潰算法未返回數據頁面空窗限免角標獲取失敗提示“加載失敗”質量挑戰&解決：“驗收時間長”問題加速時間卡點提效可控u背景渠道反饋/回復鏈路長，影響口碑依賴服務上線未同步、導致功能故障既有監控未覆蓋業務場景粒度u灰度/生產環境自動巡檢流水線+定時發現異常、告警至值班&責任人不同環境/實例覆蓋長尾場景case快速生成可適配多環境多種環境多觸發機制服務依賴異?？勺詣友菥毠收涎菥毦€上巡檢DIFF測試API自動化1自身服務缺陷

19、2依賴服務缺陷3運營動作缺陷問題原因&解決Feed流卡片缺少類別字段Pgc分類標簽獲取失敗，返回404發布有損，強依賴的內存數據需就緒后再接流非會員可選擇vip清晰度試看實驗有邏輯漏洞，技改修復問題原因&解決搜索結果與關鍵詞無關搜索返回空數據搜索服務oom不可用，加降級直播拉流偶現失敗老版本pu服務缺陷，推進重構上線問題原因&解決老版本升級無彈窗提示升級配置缺失，補齊后恢復Pgc分類標簽獲取失敗，返回404下游服務機房配置錯誤，修正后恢復會員分區焦點無法下移會員模塊到期，重新上架后恢復質量總結04質量總結從源頭控制缺陷漏出釋放人力到更有價值的地方白盒自動化故障演練性能querydiffcase治理端到端質量共建冒煙客戶端白盒模塊總包穩定性性能bugbash內測駐場線上客戶端服務端匯總標準&達標減少非必要的發版加速時間卡點要標準摸現狀優化達標單設備實驗室真實用戶提效可控“準出難”“有限準入次數”“驗收時間長”人力替換評審設計/開發測試/驗收牌照準出渠道準入渠道準出渠道準入渠道準出渠道準入渠道準出可控不可控線上巡檢客訴治理感謝聆聽關注公眾號