4-2 可擴展的圖神經結構搜索系統.pdf

1、張文濤北京大學博士，騰訊Angel Graph團隊成員|PaSca:可擴展的圖神經結構搜索系統1個人主頁:https:/zwt233.github.io/01問題02實驗03方法04總結目錄 CONTENT|2問題01|3|圖數據許多數據都是以圖的形式存在:社交網絡知識圖譜藥物和新材料推薦系統藥物發現圖神經網絡被廣泛應用于多個場景：異常檢測蛋白質結構預測4|圖神經網絡圖卷積神經網絡(GCN)的表達形式：第 層的模型參數度矩陣含自環的鄰接矩陣通過消息傳播機制聚合高階鄰居的信息提升自身的表達能力GCNGATGraphSAGE1 Kipf T N,Welling M.Semi-supervised

2、classification with graph convolutional networks.ICLR,2017.2 Velikovi P,Cucurull G,Casanova A,et al.Graph Attention Networks.ICLR.2018.3 Hamilton W,Ying Z,Leskovec J.Inductive representation learning on large graphs.NeurIPS,2017.第 層的節點表示第+1 層的節點表示5|Neural Message Passing(消息傳遞機制)傳統的GNN(如GCN1,GAT2)都遵循

3、 neural message passing(NMP，消息傳遞機制)paradigm:Aggregate the neighborhood information(通信)Update the message via neural networks(計算)缺點:頻繁地從其他機器上拉取信息 大規模圖數據上每個epoch都有的高通信開銷Machine 1Machine 2Input Graph1 Thomas N Kipf and Max Welling.2017.Semi-Supervised Classification with Graph Convolutional Networks.In

4、 ICLR.2 Petar Velikovi,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Li,and Yoshua Bengio.2018.Graph Attention Networks.In ICLR.ABCDEFGIF from https:/ 系統大多數GNN系統使用消息傳播機制DGL1PyG2大規模圖數據帶來的挑戰NMP范式導致了高的訓練/預測時間針對任務設計GNN需要知識豐富的專家1 https:/ https:/ GNN端到端系統，無需人為定義網絡結構和訓練流程10|消息傳遞(Message Passing)范

5、式Aggregate FunctionMessage FunctionUpdate Function消息傳遞范式從節點層次來刻畫數據的流動，主要由三個操作構成：1.Message Function：定義了從生成信息的方式；2.Aggregate Function：定義了聚合信息的方式；3.Update Function：定義了更新中心節點特征的方式。The formula is from https:/pytorch-geometric.readthedocs.io/en/latest/notes/create_gnn.html不斷迭代的“聚合-更新”流程。11|方法概覽Scalable Gr

6、aph Neural Architecture Paradigm(SGAP建模范式)定義可擴展訓練流程的抽象自動搜索系統(PaSca)預處理(Aggregating)模型訓練(Updating)后處理(Aggregating)可擴展的設計AggregatingUpdating不可擴展的設計Fetch information during trainingFetch information before and after trainingTwiceThe number of training epochs12|SGAP范式=_(,)(1)!=_()(2)=_(!)(3)SGAP從圖的層次刻畫數

7、據的流動，主要由三個操作構成：(1)：在圖的層級傳播信息，得到不同傳播層數的消息，M；(2)：聚合不同傳播層數的消息，得到新的特征，!；(3)：將!送入一個機器學習模型（如MLP）進行訓練，得到最終輸出，。13|SGAP抽象預處理從鄰居節點聚合消息（特征）后處理從鄰居節點聚合消息（軟標簽）Pre-processing(Aggregating)Model Training(Updating)Post-processing(Aggregating)可擴展設計ABCDEFInput GraphABCDACABEFAGraph Aggregators14|Graph Aggregator（圖聚合器）抽

8、象Augmented normalized adjacency(used in GCN1)Personalized PageRank(used in APPNP2)Triangle-induced adjacency(used MotifNet3)1 Thomas N Kipf and Max Welling.2017.Semi-Supervised Classification with Graph Convolutional Networks.In ICLR.2 Johannes Klicpera,Aleksandar Bojchevski,and Stephan Gnnemann.201

9、9.Predict then Propagate:Graph Neural Networks meet Personalized PageRank.In ICLR.3 Federico Monti,Karl Otness,and Michael M Bronstein.2018.Motifnet:a motif-based graph convolutional network for directed graphs.In 2018 IEEE Data Science Workshop(DSW).IEEE,225228.15|SGAP抽象訓練聚合來自預處理階段的消息更新聚合后的消息Pre-pr

10、ocessing(Aggregating)Model Training(Updating)Post-processing(Aggregating)!#!$!1!-step2#$-step3%$-step&-step可擴展設計16|Message Aggregator（消息聚合器）抽象非自適應聚合器(mean,max)自適應聚合器(gate with trainable parameters)應該給不同節點的不同層表示消息不同的權重!17|SGAP范式基于SGAP 范式來設計GNN：1.前處理對每個節點,變換消息聚合次數 從 1 到%(,并使用graph_aggregator 來聚合%(次鄰居節

11、點)的特征。2.訓練基于聚合后的特征,利用 message_updater(如MLP)來學習節點的軟標簽類別分布。3.后處理講軟標簽當做新的特征，并使用graph_aggregator 來聚合鄰居的標簽信息*!次，得到最終預測。18|方法概覽可擴展范式(SGAP)自動化搜索系統(PaSca)兩個模塊(自動化)搜索引擎(分布式)評估引擎搜索引擎推薦一個 configuration instance.評估引擎 評估 被推薦的configuration instance.19|Search Engine（搜索引擎）處理不同優化目標之間的 tradeoff設計空間:在SGAP 3 個階段的局部設計(參

12、數)預處理(Aggregating)模型訓練(Updating)后處理(Aggregating)可擴展設計Message AggregatorDense Layer使用什么聚合器?Dense Layer使用多少層的dens layer?局部設計20|Design Space（設計空間）216 個參數可供選擇+每個階段2個參數超過 150k 種可能的 configuration instances現有的Scalable GNN都存在于我們設定的空間中21|Suggestion Server(推薦服務器)建模 配置 和 優化目標之間的關系推薦 能兼顧多個優化目標的配置更新 觀測到的歷史記錄22|E

13、valuation Engine(評估引擎)Graph data aggregator(圖數據聚合器)切分大圖基于已經計算好的第(i)步消息來 計算第(i+1)步消息Neural architecture trainer(網絡結構訓練器)Mini-batch 訓練基于parameter server的異步網絡更新23實驗03|24|實驗設置數據集驗證目標SGAP 比基于NMP的消息傳遞機制更scalable。PaSca搜索出來的結果能夠很好地處理不同搜索目標之間的tradeoff。搜索結構能夠取得更高的預測性能。25|Scalability Analysis(可擴展性分析)對比方法基于 SGA

14、P的APPNP基于NMP的GraphSAGE基于 SGAP 的GNN可以取得接近線性的加速比并且更加接近理想的加速比。Reddit(230K nodes)ogbn-product(2.4M nodes)26|Search Representatives(搜索出來的代表性方法)代表性方法(在帕累托平面上的)從SGAP設計空間搜索出來的方法能兼顧多個搜索目標之間的tradeoff。PaSca-V3 取得了最低的預測誤差但帶來了比PaSca-V2更長的預測時間。我們搜索出來的結果GBP1,一個 SOTA 的可擴展網絡結構1 Chen M,Wei Z,Ding B,et al.2020.Scalabl

15、e graph neural networks via bidirectional propagationJ.In NeurIPS.27|Search Representatives(搜索出來的代表性方法)搜索出來的模型能很好兼顧訓練時間與測試準確率。PaSca V2 和 V3 都獲得了比 JK-Net 更好的準確率，但是只需要明顯更少的訓練時間。1 Xu K,Li C,Tian Y,et al.2018.Representation learning on graphs with jumping knowledge networks.In ICML.28|預測性能和其他不scalable的建

16、模范式相比，基于SGAP的網絡結構 能取得有競爭力的模型性能。PaSca-V3 在不同數據集上都取得了最好的性能。29總結04|30|系統應用l實現了能自動化建模10億節點的超大規模圖神經網絡系統，部署于騰訊太極機器學習平臺，并廣泛應用于視頻推薦和內容風控等場景l系統部分功能已在Github開源：https:/ A類數據挖掘旗艦會議WWW 2022 唯一“最佳學生論文獎”（中國第2個）l系統相關工作刷新了國際圖學習榜單OGB的3項第一刷新國際圖學習榜單https:/ogb.stanford.edu/docs/leader_nodeprop/https:/www2022.thewebconf.o

17、rg/awards/31|總結我們設計了PaSca,一個新穎的構建和探索可擴展 GNNs的網絡結構搜索系統，而不是僅研究單個的網絡結構設計。PaSca搜索出來的代表性模型能夠在預測性能、效率以及可擴展性等多個方面超越現有的SOTA GNN 模型。PaSca能夠幫助研究者來探索不同的Scalable GNN結構設計，并且理解不同設計的特點和功能。32|系統開源同構圖異構圖圖算子消息算子算子數據接口SGAP建模網絡結構搜索模型主動學習數據標注圖結構優化數據處理不均衡處理異常噪聲處理模型蒸餾圖表示學習節點分類應用聚類鏈路預測1.高可擴展性:基于SGAP,SGL 能處理超大規模圖數據2.自動化:根據指定的多個目標自動化搜索網絡結構3.易用性:針對多個任務定制的用戶友好的接口4.針對數據的優化多種數據處理操作5.Bag of Tricks內置多種有效的提點方法SGL系統設計目標33https:/