基于圖神經網絡的搜索推薦算法與實踐.pdf

《基于圖神經網絡的搜索推薦算法與實踐.pdf》由會員分享，可在線閱讀，更多相關《基于圖神經網絡的搜索推薦算法與實踐.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、輸入標題 Title 2023 DataFunSummit基于圖神經網絡的搜索推薦算法與實踐基于圖神經網絡的搜索推薦算法與實踐演講人：樓星雨OPPO拓撲Lab高級機器學習算法工程師輸入標題 Title 目錄目錄圖神經網絡背景介紹OPPO業務場景實踐未來展望C Contentsontents圖在推薦系統的應用范式及介紹輸入標題 Title 輸入標題 Title 圖表征學習簡介圖表征學習經歷了因式分解、隨機游走隨機游走和深度模型深度模型三個階段萬物皆可表征萬物皆可表征圖神經網絡Liu,Xueyi,and Jie Tang.Network representation learning:A macr

2、o and micro view.AI Open 2(2021):43-64.輸入標題 Title 基于隨機游走的方法從圖結構數據上采樣序列，將圖結構學習任務轉化為序列上下文建模的任務，類比于NLP中的Word2Vec方法。因子分解方法（如 LLE，GraRep等）面臨的問題：對非線性的擬合能力不足計算復雜度高圖游走類方法的優點（如DeepWalk，Node2Vec等）：可解釋性強可學習高階相似信息圖游走類方法面臨的問題：僅考慮拓撲結構信息靜態表征、無法端到端信息缺少參數共享、參數量隨節點數量線性增長圖游走類Chami,Ines,et al.Machine learning on graphs

3、:A model and comprehensive taxonomy.Journal of Machine Learning Research 23.89(2022):1-64.輸入標題 Title 基于譜域的圖卷積https:/perraudin.info/gsp.php輸入標題 Title 基于譜域的圖卷積連接圖卷積和圖譜濾波的橋梁連接圖卷積和圖譜濾波的橋梁使用Chebyshev多項式來近似圖濾波器連接譜域卷積和空域卷積的橋梁連接譜域卷積和空域卷積的橋梁使用一階Chebyshev多項式來近似圖濾波器感受野正比于圖卷積層數https:/tkipf.github.io/graph-convo

4、lutional-networks/輸入標題 Title 基于空域的圖卷積基于消息傳遞（Message Passing）范式，降低計算復雜度，擴展成歸納學習任務，對未知節點起到泛化作用Hamilton,Will,Zhitao Ying,and Jure Leskovec.Inductive representation learning on large graphs.Advances in neural information processing systems 30輸入標題 Title 圖在推薦系統中的價值用戶行為數據天然以圖的形式存在圖直接將不同類型的行為包含起來圖直接將不同場景的信息

5、關聯起來圖中豐富的信息能有效改善目標行為稀疏、冷啟動的問題useritemattru1u2u3i1i2i3a1a2u1u2u3i1i2u1u2u3i1i2a1a2i3輸入標題 Title 圖神經網絡在推薦系統中的優勢u1u2u3i1i2傳統模型u1u2u3i1i2a1a2i3圖神經網絡模型無鄰居聚合u1u2u1u2u3u1u2u3t=T-Nt=T-N+1t=Ti1i2i1i2i1i4iid Training按時間展開節點每個時間點的特征可以不一樣鄰居聚合不按時間展開u1u2u3i1i2i3a1a2靜態視角建?？捎眯畔⒘拷？捎眯畔⒘浚簣D神經網絡圖神經網絡 傳統模型傳統模型u1u2u3i1i2a

6、1a2i3t=T-Nu1u2u3i1i2a2i3a1non-iid Training可聚合前序鄰居鄰居聚合按時間展開t=T節點每個時間點的特征可以不一樣輸入標題 Title 輸入標題 Title 圖在推薦系統中的應用范式場景為主圖為輔，從應用方式的角度出發分大類，再根據算法細節分子類圖召回路圖融合圖特征圖子網絡明文類特征Embedding類特征圖特征圖子網絡明文類特征Embedding類特征圖策略圖表征圖端到端圖預訓練對比類生成類預測類user-toweritem-toweruser-tower&item-tower特征精煉特征交互行為興趣挖掘知識圖譜社交網絡行為網絡冷啟動多域多行為建模輸入標

7、題 Title 圖召回業界工作例舉圖端到端圖端到端圖預訓練圖預訓練圖子網絡圖子網絡圖模塊為主，推薦任務為監督信號主要來源圖模塊為主，自監督任務為監督信號主要來源,可直接以Embedding方式賦能召回，也可以作為 初始化或子網絡基于推薦任務微調圖模塊為輔，主模型結構多為雙塔，下游目標任務為監督信號主要來源知識圖譜行為網絡KGATPinSAGE對比學習生成式EGESPretrain-Recsysuser-tower&item-towerAdsGNNDHGAT輸入標題 Title 圖精排業界工作例舉圖特征圖特征圖子網絡圖子網絡明文特征：拓撲特征（最短路徑、中心性等）或任務相關特征（如k-hop鄰居

8、的歷史CTR等）Embedding特征：一般針對精排模型面臨的某一類待優化的方向（如冷啟動、多場景、多行為）冷啟動多場景、多行為GMETwHIN特征精煉作為整個精排模型的一個子模塊端到端訓練，一般基于圖自身的特征聚焦于賦予或提升精排模型的某個特定功能（如特征精煉（Refine）、特征交互（Interaction）、意圖挖掘（Intention）、冷啟動（Cold-Start）等）DG-ENN特征交互Fi-GNN意圖挖掘GIN輸入標題 Title 輸入標題 Title 圖架構輸入標題 Title OPPO應用商店搜索相關性要求高Query分布存在長尾問題Query存在語義不明確的問題App與Qu

9、ery語義信息不一致輸入標題 Title 圖召回-子網絡相關性要求：圖端到端圖端到端模型過度依賴高階鄰居，一方面可能會引入非相似興趣用戶噪聲，另一方面可能會引入非相似意圖query噪聲，從而影響整體相關性雙塔模型雙塔模型基于節點自身及一階交互關系建模，雖帶有泛化性，但對于相關性仍有較好保證。圖子網絡圖子網絡高階關系為輔，但若在用戶塔不恰當地引入高階鄰居信息，同樣會存在稀釋用戶當前意圖的問題query存在長度短、分布長尾的特點：直接使用雙塔模型基于語義建模信息不充分用戶歷史query序列較短、新用戶無法覆蓋用戶歷史query序列仍然被頭部query占據主導App與Query語義信息不一致：App

10、可用的物料和信息比較有限Ad存在大量圖文不符的素材長尾Query語義與App語義不對齊 雙塔優勢 圖模型不足&雙塔不足圖模型優勢雙塔雙塔+item側圖子網絡側圖子網絡輸入標題 Title App圖召回-子網絡Loss FunctionUser-TowerApp-TowerFC&NormFC&NormFusionFusionFusionEmbedding LayerQueryUserNeighboorFusion輸入3-hop子圖增強App表征并縮進Query與App的語義Gap:p1-hop 交互Queryp2-hop 行為相似Appp3-hop 交互稀疏App友好Querypk-hop鄰居分

11、別直接聚合并自適應學習融合權重App-Tower的兩個子網絡的App特征Embedding不共享圖子網絡與User-Tower共享Query相關特征EmbeddingRECALL+0.75%，MRR+2.72%FC&NormFC&NormFC&NormFC&NormFC&NormFC&NormFC&NormFC&Norm輸入標題 Title 圖精排-特征交互結合GMCF、GraphFM、L0-Sign各自優勢挖掘顯式交叉特征：p 按拆分user和Item拆分feature group兼顧inner-interaction和cross-interactionp feature group內部和之間自動學習邊權p 使用L0正則保證稀疏性p Stacking 2-layer建模低階和高階特征交叉AUC+0.11%，GAUC+0.2%Deep Neural NetworkAppQueryUserContextFusion LayerpCTR輸入標題 Title 未來展望圖預訓練圖預訓練 利用用戶、應用、廣告等實體在多個場景的多種交互行為得到統一的預訓練表征或模型噪聲過濾噪聲過濾 圖模型帶來信息的同時也帶來噪聲，噪聲信息則適得其反 輸入標題 Title 2023 DataFunSummit演講人：樓星雨OPPO高級機器學習算法工程師