石川-大模型時代的圖機器學習-DataFun.pdf

《石川-大模型時代的圖機器學習-DataFun.pdf》由會員分享，可在線閱讀，更多相關《石川-大模型時代的圖機器學習-DataFun.pdf（34頁珍藏版）》請在三個皮匠報告上搜索。

1、大模型時代的圖機器學習大模型時代的圖機器學習石川 教授北京郵電大學圖圖（網絡）是用于描述和建模復雜系統的通用語言金融網絡社交網絡神經元網絡信息網絡生物醫藥網絡互聯網圖（機器學習）發展歷史圖算法 Dijkstra圖神經網絡 GCN圖信號處理 Shuman哥尼斯堡七橋問題圖G是一個有序二元組(V,E)，其中V稱為頂集，E稱為邊集。圖機器學習指將機器學習用于圖數據，簡稱圖學習或圖模型。長尾分布圖嵌入 DeepWalk圖神經網絡圖信號處理DeepWalk算法173619562002201320142017最短路徑問題圖論 Euler網絡科學 Barabasi數據 圖數據非歐數據 不同領域社交網絡化學分

2、子電商網絡 不同類型同質圖異質圖超圖圖數據圖圖像(網格)語言(序列)社交網絡化學分子電商網絡異質圖同質圖超圖下游任務 節點級別任務節點分類 節點回歸節點聚類 邊級別任務鏈路預測最短路徑預測最大流量預測 圖級別任務圖分類圖生成圖壓縮圖任務圖表示學習圖表示學習：將網絡的每個節點嵌入到低維向量空間淺層模型 基于隨機游走的方法 DeepWalk,node2vec深層模型 基于圖神經網絡的方法 GCN,GraphSage,GAT嵌入生成1.輸入：圖拓撲 和節點特征 2.初始化:(0)=(0),3.第次迭代:()1(1)+2()(1),4.預測:=softmax(K1)圖神經網絡的學習流程圖神經網絡的學習

3、機理圖神經網絡的發展歷程感謝楊成、王嘯、魏哲巍、李明、王鑫、張牧涵、嚴駿馳、賀笛、李佳、謝思泓等人基礎模型“基礎模型是一個在廣泛的數據上訓練且可以被應用于廣泛的下游任務的模型?！?語言視覺語音語言基礎模型初步展現出通用AI能力視覺基礎模型展現強大的圖像理解能力USM語音基礎模型展現出上百種語言識別能力GPT4基礎模型已經在語言、視覺和語音等領域成為現實1 R.Bommasani,D.A.Hudson,E.Adeli,R.Altman,S.Arora,S.von Arx,M.S.Bernstein,J.Bohg,A.Bosselut,E.Brun-skill,et al.,“On the opp

4、ortunities and risks of foundation models,”arXiv preprint arXiv:2108.07258,2021.基礎模型特點基礎模型的兩大特點：涌現（Emergence）和同質化（Homogenization）涌現：隨著基礎模型的擴大，它可能會自發地展現新穎的能力。同質化：模型的多功能性，使其能夠在各種應用中部署。機器翻譯問答系統文本生成信息抽取同質化基礎模型涌現Wei J,Tay Y,Bommasani R,et al.Emergent abilities of large language modelsJ.arXiv preprint arX

5、iv:2206.07682,2022.大語言模型大模型（Large Language Models）是指參數量巨大的預訓練語言模型，是基礎模型的典型代表。大模型已經從最初的ELMo等具有數百萬參數的模型開始，發展到像GPT-4這樣具有萬億參數的模型。大語言模型具備理解、生成、邏輯、記憶等人工智能的核心基礎能力，為通用人工智能帶來曙光。Zhao W X,Zhou K,Li J,et al.A survey of large language modelsJ.arXiv preprint arXiv:2303.18223,2023.大語言模型數據 語言數據：人類語言所形成的文本序列數據、歐式數據

6、骨干架構 主要基于Transformere.g.,BERT1,GPT-32 定義預訓練任務 下個單詞預測（NWP）下游任務 成百上千種任務機器翻譯、情感分析1 Devlin J,Chang M W,Lee K,et al.Bert:Pre-training of deep bidirectional transformers for language understandingJ.arXiv preprint arXiv:1810.04805,2018.2 Brown T,Mann B,Ryder N,et al.Language models are few-shot learnersC.N

7、eurIPS 2020,33:1877-1901.語言數據下個單詞預測(NWP)當圖模型遇到大模型大模型解決不了圖的問題大模型難以建模圖結構語義大模型難以處理多樣的圖任務圖模型不具備大模型的能力有限的表達能力深層GNN：過平滑、過壓縮問題沒有涌現能力難以支持多任務圖神經網絡的信息瓶頸深層GNN的性能下降大語言模型圖模型數據任務圖基礎模型圖基礎模型（Graph Foundation Model,GFM）是一個在廣泛的圖數據上預訓練的模型，適用于在不同的下游圖任務。Jiawei Liu,Cheng Yang,Zhiyuan Lu,Junze Chen,Yibo Li,Mengmei Zhang,T

8、ing Bai,Yuan Fang,Lichao Sun,Philip S.Yu,Chuan Shi.Graph Foundation Models:Cconcepts,Methods,and Challenges.Accepted by TPAMI.涌現 隨著模型增大，自發地展現新穎的能力圖推理圖生成同質化 模型可以適應不同類型的圖任務節點、邊、圖級別任務圖基礎模型與語言基礎模型比較相似性：相同的愿景目標和相似的學習范式差異性：（1）數據和任務的獨特性；（2）技術的差異性相關工作沒有關于設計和實現圖基礎模型的明確解決方案，但有相關探索?；趯D神經網絡（GNNs）和大型語言模型（LLMs）的

9、依賴將現有探索分為三類?；贕NN的模型旨在通過對GNN的模型架構、預訓練和適配方面的創新來增強現有的圖學習能力。骨干架構：Graph Transformer。例如Specformer(ICLR23)、CoBFormer(ICML24)預訓練：Graph Pretraining。例如PT-HGNN(KDD21)、GraphPAR(WWW24)適配：Graph Prompt。例如All In One(KDD23)、MultiGPrompt(WWW24)基于LLM的模型以LLM為基礎，將圖轉化為文本（Text）或標記（Token）的方式，探索將LLM用作圖基礎模型的可行性。Graph-to-Tok

10、en：把圖轉成標記，再輸入到LLM代表性工作：InstructGLMGraph-to-Text：把圖轉成文本，再輸入到LLM代表性工作：NLGraph(NIPS24)、LLM4Mol等基于GNN+LLM的模型結合GNN和LLM，探索二者之間協同作用的方式，增強圖學習的能力。以GNN為中心的架構：將LLM的輸出作為GNN的增強特征代表性工作：SimTeG、TAPE等對稱架構：將GNN和LLM的輸出對齊代表性工作：GraphTranslator(WWW24)、G2P2(SIGIR23)等以LLM為中心的架構：利用GNN提升LLM的表現代表性工作：Graph-Toolformer等面向圖數據的大模型

11、探索Less is More:on the Over-Globalizing Problem in Graph Transformers(CoBFomer,ICML24)GraphTranslator:Aligning Graph Model to Large Language Model for Open-ended Tasks(WWW 2024)LLM4Graph:LLM for Graph Tasks with Graph Tools(NIPS 2024)LLM Yujie Xing,Xiao Wang,Yibo Li,Hai Huang,Chuan Shi.Less is More:o

12、n the Over-Globalizing Problem in Graph Transformers.ICML 2024.Mengmei Zhang,Mingwei Sun,Peng Wang,Shen Fan,Yanhu Mo,Xiaoxiao Xu,Hong Liu,Cheng Yang,Chuan Shi.GraphTranslator:Aligning Graph Model to Large Language Model for Open-ended Tasks.WWW 2024.Xin Li et al.Can Large Language Models Analyze Gra

13、phs like Professionals?A Benchmark,Datasets and Models.NeurIPS 2024.圖轉換器的過全局化問題：CoBFormer研究動機：圖轉換器的全局化性質是否總是有益？模型思想：通過實驗發現圖轉換器中的過全局化問題并理論證明其對模型性能有害 通過解耦簇內局部信息以及簇間全局信息緩解過全局化問題 通過協同訓練融合結構信息以及特征信息Yujie Xing,Xiao Wang,Yibo Li,Hai Huang,Chuan Shi.Less is More:on the Over-Globalizing Problem in Graph Tran

14、sformers.ICML24.圖轉換器的過全局化問題：CoBFormer實驗結果：在七個同配圖、異配圖以及大規模網絡數據集進行實驗 相比其他基線模型在節點分類任務上有顯著的性能提升 大量減少顯存需求并有效緩解過全局化問題 Yujie Xing,Xiao Wang,Yibo Li,Hai Huang,Chuan Shi.Less is More:on the Over-Globalizing Problem in Graph Transformers.ICML24.圖對齊大語言模型：GraphTranslator研究動機：如何對齊圖模型到大語言模型空間，同時處理圖上傳統預定義任務與開放式任務模

15、型思想：設計Translator架構，將圖模型的表示向量翻譯到大語言模型的token空間 基于思維鏈構造高質量圖-文本對用于訓練模型Mengmei Zhang,Mingwei Sun,Peng Wang,Shen Fan,Yanhu Mo,Xiaoxiao Xu,Hong Liu,Cheng Yang,Chuan Shi.GraphTranslator:Aligning Graph Model to Large Language Model for Open-ended Tasks.WWW 2024.圖對齊大語言模型：GraphTranslator實驗結果：淘寶業務數據集，公開文獻數據集ArX

16、iv 零樣本節點分類任務相比其他模型取得最佳性能 可以多輪對話的形式，完成開放式圖問答Mengmei Zhang,Mingwei Sun,Peng Wang,Shen Fan,Yanhu Mo,Xiaoxiao Xu,Hong Liu,Cheng Yang,Chuan Shi.GraphTranslator:Aligning Graph Model to Large Language Model for Open-ended Tasks.WWW 2024.基于圖工具的大模型預測器：LLM4Graph研究動機：大模型能否像專家一樣處理圖數據，即使用工具（外部API）解決圖問題研究思路：1.提出P

17、roGraph圖任務基準，包含圖理論，圖統計，圖表示等復雜任務 2.構建LLM4Graph數據集，通過RAG（閉源）和指令微調（開源）提升LLM 3.揭示LLM在ProGraph基準表現不佳，但是可以通過LLM4Graph顯著增強性能Xin Li et al.Can Large Language Models Analyze Graphs like Professionals?A Benchmark,Datasets and Models.NeurIPS 2024.基于圖工具的大模型預測器：LLM4Graph研究動機：大模型能否像專家一樣處理圖數據，即使用工具（外部API）解決圖問題研究思路：

18、1.提出ProGraph圖任務基準，包含圖理論，圖統計，圖表示等復雜任務 2.構建LLM4Graph數據集，通過RAG（閉源）和指令微調（開源）提升LLM 3.揭示LLM在ProGraph基準表現不佳，但是可以通過LLM4Graph顯著增強性能基于圖工具的大模型預測器：LLM4Graph研究動機：大模型能否像專家一樣處理圖數據，即使用工具（外部API）解決圖問題研究思路：1.提出ProGraph圖任務基準，包含圖理論，圖統計，圖表示等復雜任務 2.構建LLM4Graph數據集，通過RAG（閉源）和指令微調（開源）提升LLM 3.揭示LLM在ProGraph基準表現不佳，但是可以通過LLM4Gr

19、aph顯著增強性能圖機器學習模型開源圖學習平臺p 針對主流圖學習平臺由國外控制，研發自主可控圖學習平臺p 在鵬城啟智社區和GitHub開源，獲得優秀孵化項目(7/2600)p GitHub標星共計2000+，CMU/NUS/亞馬遜等機構關注p 應用在學術研究、國際競賽和企業系統，初步替代國外平臺GammaGL:首個支持多深度學習框架的圖神經網絡平臺OpenHGNN:首個異質圖神經網絡平臺GammaGL_v0.1OpenHGNN_v0.12022.06OpenHGNN_v0.6/GammaGL_v0.42021.092024.01亞馬遜斯坦福圖學習 平臺現狀圖機器學習標準p 擔任新一代人工智能產

20、業技術創新戰略聯盟（AITISA）高校：北郵、北大、清華、人大、吉大、西交 企業：華為、移動、阿里、螞蟻、騰訊、百度 p 主持制定圖神經網絡國家標準(20230718-T-469)負責標準草案整體設計與管理，具體承擔語法定義和模型部分p 參與單位“神經網絡表示與模型壓縮組”聯合組長2020.122022.052023.082024.03國標立項內審國標立項IEEE標準立項國標初稿團標立項2024.12IEEE標準發布國標發布開放性問題同質性挑戰 圖基礎模型能否實現跨數據、跨領域、跨任務的結構知識遷移？跨數據和跨任務是乎可行，跨領域是否可行？圖數據是否存在“結構常識”？知識涌現挑戰 圖基礎模型是

21、否存在知識涌現現象？圖基礎模型是否滿足“Scaling Law”?圖基礎模型是“大”模型嗎？模型挑戰 圖數據能否成為多模態大模型的一種模態？圖基礎模型能否成為處理多模態數據的基礎架構？參考資料 更多資料詳見個人主頁:www.shichuan.orgJiawei Han作序方濱興院士劉歡 裴健唐杰 周靖人聯袂推薦參考文獻Xin Li et al.Can Large Language Models Analyze Graphs like Professionals?A Benchmark,Datasets and Models.NeurIPS 2024.Mengmei Zhang,Mingwei

22、Sun,Peng Wang,Shen Fan,Yanhu Mo,Xiaoxiao Xu,Hong Liu,Cheng Yang,Chuan Shi.GraphTranslator:Aligning Graph Model to Large Language Model for Open-ended Tasks.WWW 2024.Zhiyuan Lu,Yuan Fang,Cheng Yang,Chuan Shi.Heterogeneous Graph Transformer with Poly-Tokenization.IJCAI 2024.Yujie Xing,Xiao Wang,Yibo L

23、i,Hai Huang,Chuan Shi.Less is More:on the Over-Globalizing Problem in Graph Transformers.ICML 2024.Zhongjian Zhang,Mengmei Zhang,Yue Yu,Cheng Yang,Jiawei Liu,Chuan Shi.Endowing Pre-trained Graph Models with Provable Fairness.WWW 2024Deyu Bo,Chuan Shi,Lele Wang,Renjie Liao.Specformer:Spectral Graph N

24、eural Networks meet Transformers.ICLR 2023.Jiawei Liu,Cheng Yang,Zhiyuan Lu,Junze Chen,Yibo Li,Mengmei Zhang,Ting Bai,Yuan Fang,Lichao Sun,Philip S.Yu,Chuan Shi.Towards Graph Foundation Models:A Survey and Beyond.arXiv 2023Xunqiang Jiang,Tianrui Jia,Yuan Fang,Chuan Shi,Zhe Lin,Hui Wang.Pre-training on Large-Scale Heterogeneous Graph.KDD 2021.Yuanfu Lu,Xunqiang Jiang,Yuan Fang,Chuan Shi.Learning to Pre-train Graph Neural Networks.AAAI 2021.Xunqiang Jiang,Yuanfu Lu,Yuan Fang,Chuan Shi.Contrastive Pre-Training of GNNs on Heterogeneous Graphs.CIKM 2021謝謝Q&Awww.shichuan.org