騰訊新聞信息流推薦技術實戰-李帥.pdf

《騰訊新聞信息流推薦技術實戰-李帥.pdf》由會員分享，可在線閱讀，更多相關《騰訊新聞信息流推薦技術實戰-李帥.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、推薦系統與成長性 -騰訊新聞信息流實踐騰訊專家研究員 李帥信息流產品概述推薦系統技術成長性的問題推薦系統的成長性具體算法Case信息流產品概述產品的類別產品的成長產品的類別發力全域信息流產品發力全域信息流產品專業領域產品專業性強小眾，商業價值受限被全域產品滲透全域產品Time-killer技術加持下強者恒強技術上更具備挑戰產品的成長理想情況扎實內容基本盤選擇普適性強的類目，作為基本盤建設好內容、cp與分發系統不斷內容的擴圈帶來不斷的用戶增長結合意向人群洞察，擴展品類吸引意向人群持續迭代產品的成長推薦側精準推薦護城河類目的個性化分發內容擴圈推薦在bias干擾下的新擴展品類的推薦推薦系統技術召回粗

2、排精排重排召回對比學習圖學習Cluster u2u對比學習Droppout構造虛擬item/user embedding數據增強embedding作為正樣本batch內其他數據增強embedding作為負樣本user towerwith dropoutItem featuresuser featuresitem towerwith dropoutuser emb 1user emb 2item emb 1item emb 2meanmeanInner lossCL lossCL loss圖學習Inside-out的消息聚合框架基于pagerank得分的帶權負采樣顯示學習item-item,us

3、er-item的聯系實時cluster u2u選取種子用戶使用生產深度模型，有效的輸出用戶實時興趣表征使用用戶過去行為聚類使用用戶現在行為投票生成推薦結果粗排Teacher studentltrTeacher StudentUser featuresTeacher netItem featurescross featuresUser vectorconcatUser netBias towerUser towerItem towerY_tY_sSoft labelLabelYYLabelStudent學習Teacher的Soft LabelTeacher net比ranking簡單，側重引入交

4、叉特征信號Soft Label會提供一個區分粒度更細的label分布Ltr樣本增強，引入unpv樣本學習精排多目標的融合結果上下游一致的效果gainPairwise vs pointwiseRank netPre-rank netscore高低選為好樣本選為壞樣本精排多目標模型瘦身PLE針對MTL難以合作訓練的目標有效點擊&完成度漸進分離式的路由設計模型瘦身采用后訓練量化方式只量化Embedding參數采用Row-Wise方式采取對稱線性量化RerankListwise重排N2KK2KN2k計算效率限制下，引入context特征，找到K個整體收益最大視頻1-M個位置實時預估N2k logits

5、M-K個位置離線預估N2k logitsK2K利用Transformer建模序列score輸入N2K的結果序列輸出組合的預估分數成長性的問題內容的擴圈帶來用戶的增長 推薦系統bias的制約推薦bias的制約影響系統的內容擴圈擴圈品類分發效率低探索收斂緩慢，流量代價大推薦系統的成長性主從推薦系統統一模型主從推薦鏈路主推薦鏈路鞏固現有優勢側重優勢品類的精準分發unbias推薦鏈路公平的內容推薦不被強bias影響統一模型Ranking featureEmbedding LayerPLEMLPMulti-TargetPLEMLPMulti-Targetcondition擴展品類分支主模型Meta-Le

6、arning分支擴展品類預估準確率提升1倍擴展品類auc+3%擴展品類ctr+30%具體算法caseListwise迭代時長優化的多目標及融合Listwise迭代難點1如何從C（N,K）種潛在序列中找到整體收益最大的序列？解法框架用較簡單模型找到K個整體收益最大的內容復雜的序列建模結構提高模型精度，找到最優重排列Listwise迭代難點2N2K模型如何高效inference（約60010次model infer）解法 離線枚舉所有context特征組合，預估得到對應N2K logits 線上預取N2K logits表，利用beam-search串行選取最大化整體收益的K個視頻。Listwise

7、迭代難點3如何引入復雜context特征解法 拆分2個N2K模型位置1-M：實時請求N2K模型服務進行預估，context特征量不受限制。位置M-K：仍采用離線存儲表，使用少量context特征Rank netCtrtowerN2ktowerN2ktowercomplexcontextsimplecontextRank featureothertowers+sigmoidsigmoidListwise迭代難點4K2k如何引入位置信息、尋找更優組合解法預估K個視頻曝光在K個位置的分數利用beam-search在K個位置串行生成序列時長優化的多目標及融合目標設計完成率去除物理時長屬性的歸一化目標真實點擊會進入視頻播放底層頁，有時長帶動效果自動播放不會進入底層頁3檔深度點擊10s，30s，60s的有效消費時長優化的多目標及融合基于用戶分群的融合模型細粒度的人群區分能力以時長消費為主設計scorenn net城市特征時段特征年齡特征其他特征alphabetagammadelta融合公式scoreThanks歡迎加入騰訊新聞推薦算法