不同類型實驗在搜索場景中的使用.pdf

1、DataFunSummit#2023不同類型實驗在不同類型實驗在搜索場景中的使搜索場景中的使王東星 騰訊 數據產品經理我簡介我簡介 騰訊 PCG 搜索 10+年數據產品 從 0 到 1 搭建搜狗搜索實驗平臺0101ABAB實驗簡介實驗簡介簡單介紹AB實驗及流程0202搜索實驗常見問題搜索實驗常見問題搜索實驗常見的問題及解決法0303各類型搜索實驗介紹各類型搜索實驗介紹搜索常的種類型實驗介紹：普通AB、詞表實驗、diffab、interleaving0404Q Q&A A互相交流錄錄 CONTENTCONTENTDataFunSummit#20230101ABAB實驗簡介實驗簡介ABAB實驗簡介

2、實驗簡介 其他名字：雙盲測試、A/B?testing、AB測試、隨機分組實驗 基本思想：取出部分（降低風險降低風險）流量，完全隨機地分給對照組和實驗組，并通過統計學法得出結論（準確量化準確量化）ABAB實驗簡介實驗簡介分流Hash取模對照組實驗組盤流量盤流量實驗設計實驗設計實驗運實驗運策略A策略B數據數據&結論結論ABAB實驗簡介實驗簡介 分流分流盤流量盤流量單層單層多層多層實驗層實驗層1 1實驗層實驗層2 2流量分層流量分層流量正交流量正交理論理論依據：依據：Overlapping?Experiment?Infrastructure:?More,?Better,?Faster?Experim

3、entationOverlapping?Experiment?Infrastructure:?More,?Better,?Faster?ExperimentationABAB實驗簡介實驗簡介 流程流程 提升點擊率 提升訂單轉化率 提升GMV 提升戶滿意度明確標明確標提出假設提出假設創建實驗創建實驗運實驗運實驗分析實驗分析實驗最終決策最終決策 規劃實驗 實驗平臺創建 策略開發 實驗上線 空轉/AA回溯 運7-14天 結論是否符合預期 異常數據排查 復雜的實驗，多維度分析 按鈕紅綠CTR 左圖右右圖左CTR A案B案的訂單轉化率 實驗報告 Launch?Review 推全上線DataFunSumm

4、it#20230202各類型搜索實驗介紹各類型搜索實驗介紹各類型搜索實驗介紹各類型搜索實驗介紹1.Query：查詢詞，就是我們在搜索欄輸的詞，例如王者榮耀下載2.意圖判斷：對Query的的判斷，如王者榮耀下載就是游戲意圖3.結果頁：搜索結果頁，通常由10個卡組成，每個卡有對應的卡ID和位置等信息4.QV：Query訪問(查詢)次數5.卡影響：卡在搜索結果頁中的例6.策略影響：策略在盤中的效例7.卡位置：卡在搜索結果頁中的排序位置各類型搜索實驗介紹各類型搜索實驗介紹實驗場景實驗場景特點特點實驗類型實驗類型搜索結果頁改版(整體樣式、字號調整、圓調整)影響，全量普通AB實驗卡樣式改版(UI、排版、數

5、據)影響，部分流量詞表實驗+限定卡ID策略控制卡內容展現(元素)影響，部分流量Diffab實驗算法控制排序影響較，部分流量Interleaving實驗各類型搜索實驗介紹各類型搜索實驗介紹盤流量盤流量實驗流量實驗流量實驗分組實驗分組普通普通ABABinterleavinginterleaving詞表實驗詞表實驗diffabdiffab實驗戶實驗戶實驗數據實驗數據與搜索業務強耦合，涉及流量打平、緩存、命中、與搜索業務強耦合，涉及流量打平、緩存、命中、diffdiff判斷、上報模塊等判斷、上報模塊等SDKSDK能出卡的詞表能出卡的詞表搜索實驗搜索實驗 普通普通ABAB 盤選擇流量，均衡分配普通普通A

6、BAB對照組對照組實驗組實驗組卡分隔式優化卡分隔式優化說明：展圖為設計稿，僅做展說明：展圖為設計稿，僅做展搜索實驗搜索實驗 詞表實驗詞表實驗 配置詞表包+卡ID，基于詞表分流和統計數據對照組對照組實驗組實驗組普通普通ABAB詞表實驗詞表實驗能出卡的詞表能出卡的詞表搜索實驗搜索實驗 diffabdiffab 影響、解決收益稀釋普通普通ABABdiffabdiffab對照組對照組實驗組實驗組搜索實驗搜索實驗 interleavinginterleaving普通普通ABABinterleavinginterleavingUIDUID HashHash取模取模問題：問題：活躍度分流不均活躍度分流不均重

7、度戶的例不均重度戶的例不均優點：優點：實驗周期更短實驗周期更短需要樣本量更少需要樣本量更少搜索實驗搜索實驗 interleavinginterleaving實驗機制實驗機制&核思想核思想：不對戶分組，每個戶同時受兩個策略的作，排除戶屬性的差異對策略評估的影響。統計實驗指標時給每個戶相同的權重，降低重度戶對實驗結果的影響，實驗周期幅降低。InterleavingInterleaving實驗層實驗層ABAB實驗層實驗層搜索實驗搜索實驗 interleavinginterleaving Balanced?Interleaving、Team-Draft?Interleaving對搜索實驗搜索實驗 in

8、terleavinginterleaving勝出機制：勝出機制：戶點擊個結果時，哪個列表對應的位置(靠前)，哪個得分 最終分的列表獲勝，相等則為打平，不得分算法算法A A算法算法B B算法算法A A優先優先結果列表結果列表來源來源算法算法A A位置位置算法算法B B位置位置誰得分誰得分aaa a算法A11不得分bcc c算法B32算法Bcdb b算法A24算法Adbd d算法B43算法B搜索實驗搜索實驗 interleavinginterleaving實驗實驗實驗指標計算實驗指標計算 num?=?win?+?tie?+?lose 勝出率=?(win?-lose)?/?num 影響=?算法效的流

9、量/總實驗流量 感知增益=?x*?y*?z算法算法勝出勝出打平打平落敗落敗影響影響感知增益感知增益A vs B34533159465264220.164785128說明：表格中為模擬數據DataFunSummit#20230303搜索實驗常見問題搜索實驗常見問題搜索實驗常見問題搜索實驗常見問題Q1Q1：實驗組不命中實驗？A A：緩存選錯，被互斥，召回Q2Q2：流量不均衡？A A：空轉期是否均衡，出卡率是否相同，實驗組流量固化Q3Q3：影響極，難拿到盤收益(例如留存類指標)？A A：多個策略打包，做長期反轉實驗觀察Q4Q4：如何避免實驗相互影響A A：相同詞表、相同卡實驗做好互斥管理Q5Q5：個別實驗指標負向？A A：核指標+類錯誤率低于5%可接受搜索實驗常見問題搜索實驗常見問題Q6Q6：指標多，數據產出慢？A A：指標溯源，分批產出Q7Q7：如何避免Trick？A A：數據從平臺出，避免挑選有優勢的Query跑數；Query覆蓋和量級達標，排除僥幸Q8Q8：流量實驗影響系統穩定性A A：接case校驗平臺，實驗運前先校驗Q9Q9：影響其他業務？A A：建各業務護欄指標關注及通知機制Q10Q10：問題處理不過來？A A：接公開，專業做專業事DataFunSummit#20230404Q Q&A A感謝觀看