5-2 圖神經網絡與推薦預訓練模型.pdf

《5-2 圖神經網絡與推薦預訓練模型.pdf》由會員分享，可在線閱讀，更多相關《5-2 圖神經網絡與推薦預訓練模型.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、圖神經網絡與推薦預訓練模型宋重鋼|目錄目錄CONTENT|01預訓練模型目標預訓練模型目標與核心問題與核心問題02推薦系統場景中的推薦系統場景中的預訓練模型預訓練模型04圖神經網絡預訓練圖神經網絡預訓練案例分享案例分享03預訓練模型的預訓練模型的服務模式服務模式預訓練模型目標與核心問題01|預訓練模型的發展歷程|NNLM(Bengio et al.,2003)SENNA(Collobert et al.,2011)Word2Vec(Collobert et al.,2013)ELMo(Peters et al.,2018)GPT(Radford et al.,2018)BERT(Devlin

2、et al.,2019)ALBERT(Lan et al.,2019)ResNet(He et al.,2015)iGPT(Chen et al.,2020)ViT(Dosovitsky et al.,2021)BEiT(Bao et al.,2021)MAE(He et al.,2021)LINE(Tang et al.,2015)Node2Vec(Tang et al.,2016)Metapath2Vec(Tang et al.,2017)GraphMAE(Tang et al.,2022)圖神經網絡計算機視覺自然語言處理預訓練目標|預訓練模型目標模型自監督學習預訓練目標域樣本輔助樣本全域

3、數據Fine-tuning 打通數據孤島，充分利用全域信息有效幫助下游任務 整合不同任務信息到同一通用表征空間，減少過擬合風險 為新用戶/新場景/長尾情景帶來豐富信息，解決稀疏標注樣本的問題。預訓練核心問題|如何利用全域數據自監督學習如何找到最契合目標任務的網絡結構如何找到通用的遷移泛化結構 Generative methods Contrastive methods Adversarial methods SSL S4L GNN Transformer CNN Memory networks BERT Meta learning MTL Contrastive loss Reconstruc

4、tion loss推薦系統場景中的預訓練模型02|推薦場景中的預訓練模型分類|基于數據的組織形式基于跨域信息的遷移方式行為序列行為網絡短期行為序列：Pooling/LSTM/RNN長期行為序列：DIN/DIEN/MIMN/SIM自監督：LINE/Node2Vec/Metapath2Vec模型結構：GAT/GCN/GraphSage訓練策略：VGAE/GCL/GANMTLMetaLearning優化方法：MAML/Reptile統計方法：MatchingNN/CSNN參數遷移：MMOE/PLE/STAR樣本遷移：ACTL/MGTL圖神經網絡在推薦場景的優勢|契合數據：圖網絡結構是推薦系統數據的天

5、然組織形式。社交網絡 行為網絡 知識圖譜 信息豐富：結合圖論知識，提取高階關系信息 PPR-based sampling k-Clique/Centrality measures 包羅萬象：兼容傳統深度神經網絡結構，融合節點特征表達團隊算法演進方向：技術與業務相輔相成|2016201720182019202020212022Node2VecMetapath2Vec大規模圖神經網絡預訓練廣告召回直播召回訂閱號召回/廣告特征提取多業務接入GATCrossGATDualGATGraphSageMvDGAEMTLGNN預訓練模型的服務模式03|預訓練模型服務模式|特征召回子模型補充多域信息，豐富用戶特

6、征表達適配多種業務形態與目標，通過域外信息激活新用戶/新場景作為子模型結構加入下游模型，保留模型抽象能力預訓練結果作為下游模型特征|方案一：離散/連續特征分別建模，最終層concat方案二：把embedding特征轉換為一個離散特征，與其他離散特征交叉方案三：根據embedding產出topK的ID list作為離散特征預訓練結果作為召回|興趣召回跨域興趣召回作者冷啟動召回圖神經網絡預訓練案例分享04|案例一：跨域興趣召回GNN|線上推薦業務：微信直播大量新用戶通過紅點進入直播，缺乏觀看行為豐富的其他興趣行為，如文章閱讀、短視頻觀看社交同質性：社交關系中蘊藏相似興趣通過GNN實現跨域興趣和社交

7、信息建模，為新用戶補充召回。案例一：跨域興趣召回GNN|直播推薦異構網絡節點：用戶、直播間、屬性邊：觀看行為等卷積路徑設計 User側Metapathuser item：用戶行為user user item：社交關系協同user aux user：靜態屬性協同 Item側Metapathitem item：相似item聚合item user item：用戶行為協同item aux item：靜態屬性協同User embeddingItem embedding|案例一：跨域興趣召回GNN補充域外行為信息user side-item（短視頻、公眾號文章）Side-item|案例一：跨域興趣召回GN

8、N補充域外行為信息user side-item（短視頻、公眾號文章）Side-item模型過度擬合目標域行為，對新用戶不友好。|Side-item思路：域外行為接近/屬性相同的用戶/item節點的embedding應接近。方案：連接足夠多的共同side-item/屬性的節點構建鄰接矩陣，構造重構loss，解決過度擬合目標域行為的問題。User embeddingItem embedding案例一：跨域興趣召回GNN借鑒多目標模型的思想，為每個重構loss賦予一個可學習的權重，自動調節案例二：多目標GNN特征提取|訂閱號信息流廣告推薦樣本數據稀疏，大量用戶缺乏廣告點擊/轉化用戶訂閱號文章閱讀行為

9、豐富，廣告卡片與訂閱號文章內容緊密關聯GNN提取用戶訂閱號行為作為特征，為廣告精排模型提供額外信息。案例二：多目標GNN特征提取|User embeddingItem embeddingitem embeddinguser embeddingui loss廣告推薦異構網絡節點：用戶、廣告、公眾號文章邊：廣告轉化、文章閱讀等卷積路徑設計 User側Metapathuser item：廣告行為user user item：社交關系協同user side-item：跨域行為協同 Item側Metapathitem item：相似item聚合item user item：用戶行為協同廣告行為稀疏，大部

10、分用戶無法參與訓練。廣告投放具有季節性/周期性，目標域行為噪聲較大。|item embeddinguser embeddinguser embeddingitem embeddingui lossui loss廣告域公眾號域案例二：多目標GNN特征提取補充公眾號跨域樣本同步訓練，共享用戶側底層embedding和 卷積參數，增強用戶特征提取。densedense用戶特征分布差異較大，共享底層卷積參數導致稀疏域特征提取能力受限。|item embeddinguser embeddinguser embeddingitem embeddinguser privateuser privateuser shareuser shareui lossui lossMMD loss廣告域公眾號域案例二：多目標GNN特征提取densedense通過MMD loss平滑跨域用戶embedding分布。拆分域內行為構建私有embedding，強化域內特征提取。微信Plato圖計算團隊|微信Plato高性能計算團隊，微信Plato圖計算團隊，專注于圖計算、圖機器學習的應用研發，致力于打造高性能的微信超大規模社交網絡圖計算平臺，推進圖算法的工業級應用，助力業務騰飛。今天的分享內容都是團隊的工作成果，感謝團隊！非常感謝您的觀看|