9-5 嚴選跨域多目標算法演進.pdf

1、跨域多目標算法演進網易嚴選推薦算法工程師強小輝陳自強|目錄業務介紹01多目標建模02多目標優化演進03長期價值探索04|業務介紹嚴選站內推薦業務的算法服務 入口頁 為你精選/猜你喜歡 活動頁 goods組排序 商詳頁類目頁 其他業務場景|多目標建模精排的挑戰&難點多業務指標的優化轉化數據稀疏長期價值探索|多目標建模樣本與特征正負樣本正：用戶點擊/轉化負：skip-above 曝光未點擊樣本構造頭部熱門打壓 Top流量商品降采樣短時間多次曝光 時間窗口+選取1次曝光虛假曝光 定制規則去噪假正樣本 誤點/快速回退行為數值特征歸一化/RankGauss分桶embed類別特征hash低頻過濾embed

2、序列特征embedattentionpoolingembedding初始化normalize|多目標建模MMOE應用廣泛的多目標網絡Expert+門控網絡PLEShared expert+Specific expert考慮了不同Expert之間的交互PLEMMOE|多目標優化演進位置偏差用戶傾向于和靠前的物品交互反饋循環，部分商品過曝Debias構建shallow tower建模biasBias feature+dropout|CTR+1.7%人均點擊數+4.95%多目標優化演進轉化目標稀疏增加業務目標 加購 評論商品 查看促銷信息 分享 收藏Seesaw PhenomenonorGradno

3、rm不同任務Loss梯度量級接近不同任務學習速度接近CTR+6.92%CTCVR+5.87%|多目標優化演進跨域多目標算法引入場景差異性場景共性+遷移學習|長期價值探索|商品卡片類型用戶留存率商品卡片+內容卡片 多業務混排Bandit算法 根據用戶偏好個性化曝光權重增加優化目標：用戶交互session長度全站加購率+0.5%曝光點擊率+2.02%3日留存率+1.2%非常感謝您的觀看|多場景建模在網易嚴選通用推薦中的實踐陳自強 網易嚴選推薦算法工程師|您公司的logo|不同用戶群體、APP 不同模塊、不同客戶端等，數據分布上有明顯差異通用推薦場景數據分布呈現顯著差異入口頁二跳頁活動頁通用推薦場景

4、核心場景l入口頁首猜、購物車、個人頁等模塊l流量大、數據豐富l承擔核心業務指標l承接中、小、新流量場景l單模塊流量較小、數據稀疏l場景豐富什么是多場景建模?什么是多場景建模?您公司的logo|多場景建模:研究如何捕獲場景之間的共性,同時保留各個場景的數據特性的建模方案為什么使用多場景建模?您公司的logo|不同場景數據分布不同,易忽略場景間差異性模型訓練過程出現負遷移,容易被大場景數據帶偏推薦效果有好有壞，出現蹺蹺板現象小場景與新場景數據稀疏，難以充分訓練好模型眾多場景單獨建模，人力及系統資源浪費場景多，無法統一快速迭代如何進行多場景建模?您公司的logo|構建場景相關特征輸入進行建模效果一般

5、，場景信息難以體現將場景視為 bias，構建輔助子網絡在輸出層與主網絡結果相加或相乘主網絡學習共性，子網絡擬合差異性如何進行多場景建模?您公司的logo|套用 MMoE 多任務框架進行多場景建模MMoE 專家網絡結構，每個塔對應一個場景各場景特征數量、語義保持一致特征空間多個專家網絡隱式學習場景間差異與共性頂層塔只能被對應場景數據更新,小場景學不好輸出層增加共享塔，緩解小場景學不好問題各場景最終結果是所有場景加權結果權重生成子網絡用于生成場景權重場景數量限制,未嘗試 PLE如何進行多場景建模?您公司的logo|STAR 結構中,場景輸出由中心共享參數和場景私有參數相乘得到共享參數由所有場景數據更新,場景參數只能由特定場景更新存在中心共享網絡,易于接入新場景共享底層特征空間,場景信息可能無法傳遞您公司的logo|如何進行多場景建模?底層采用 MMoE 專家網絡結構，自動選擇場景間共享信息頂層專家網絡與場景特征并行輸入,強化場景間差異左側場景MLP參數私有,右側共享通用推薦中落地結果您公司的logo|各場景訓練數據占比及平均 CTR各場景離線 AUC 結果Mix 和Single 分別混合場景數據和單場景訓練模型中小場景離線 AUC:Mix Single Multi線上 AB 實驗 CTR 約 5+%10+%的相對提升非常感謝您的觀看您公司的logo|