張寧豫-大模型時代的開放知識圖譜技術棧.pdf

《張寧豫-大模型時代的開放知識圖譜技術棧.pdf》由會員分享，可在線閱讀，更多相關《張寧豫-大模型時代的開放知識圖譜技術棧.pdf（68頁珍藏版）》請在三個皮匠報告上搜索。

1、大模型時代的開放知識圖譜技術棧張寧豫 浙江大學演講嘉賓張寧豫浙江大學副教授浙江大學副教授，博士生導師。研究方向包括知識圖譜、自然語言處理等，在知識圖譜和自然語言處理領域已發表多篇頂級會議和期刊文章，包括Nature 子刊、ACL、EMNLP、NAACL、NeurIPS、ICLR等，五篇論文入選Paper Digest高影響力論文，獲浙江省科技進步二等獎，國際會議IJCKG最佳論文/提名2次，CCKS最佳論文獎1次；擔任ACL、EMNLP領域主席、ARR Action Editor、IJCAI 高級程序委員、ACM Transactions on Asian and Low-Resource L

2、anguage Information Processing Associate Editor及NeurIPS、ICLR、ICML等會議程序委員會委員。目 錄CONTENTS1.背景2.知識提示3.知識編輯4.知識交互5.總結與展望知識圖譜與大模型背景PART 01知識圖譜的歷史知識圖譜（Knowledge Graph）是一種用知識語義、圖結構來建模世界的一種方法，它能表示事物(Things)之間的語義結構，刻畫真實世界萬物之間的深度關聯。Semantic Networks1960Ontology1980s本體論。哲學概念“本體”被引入到人工智能領域用來刻畫知識World Wide Web19

3、89Tim Berners-Lee發明了萬維網Linked Information SystemThe Semantic Web1998從超文本鏈接到語義鏈接Linked Data2006Tim突出強調語義網的本質是要建立開放數據之間的鏈接Knowledge Graph2012谷歌發布了其基于知識圖譜的搜索引擎產品語義網絡作為知識表示的一種方法被提出，主要用于自然語言理解領域智能時代智能應用認知智能知識圖譜隨后誕生多模態圖譜、時空圖譜、事件圖譜現在大模型時代還需要知識圖譜么？符號知識圖譜VS.VS.1 Harnessing the Power of LLMs in Practice:A Sur

4、vey on ChatGPT and Beyond.2023符號圖譜的表示學習 Embedding Concepts:Terms and Class Hierarchy Embedding Facts:Entities,Attributes,Relations Embedding Structures:Paths,Neighbors,Sub graphs Embedding Logic:Axioms and Rules大模型時代還需要知識圖譜么？知識缺失謬誤問題！符號表示落地問題！1 Brain in a Vat:On Missing Pieces Towards Artificial Gen

5、eral Intelligence in Large Language Models.2023q語言的有限性-Yann LeCunq 語言只承載了人類全部知識的一小部分，很多知識學習依賴于與真實世界的交互q深度學習快慢雙系統-Yoshua Bengioq 有意識的、帶邏輯、規劃、推理的系統大模型時代還需要知識圖譜么？1 Brain in a Vat:On Missing Pieces Towards Artificial General Intelligence in Large Language Models.2023q語言的有限性-Yann LeCunq 語言只承載了人類全部知識的一小部分

6、，很多知識學習依賴于與真實世界的交互q深度學習快慢雙系統-Yoshua Bengioq 有意識的、帶邏輯、規劃、推理的系統復雜推理問題！復雜魯棒可信的人工智能系統仍離不開高質量的知識圖譜知識工程與知識圖譜圖靈獎獲得者費根鮑姆提出了知識工程的概念，確立了其在人工智能中的重要地位知識圖譜=文字語義+結構知識知識圖譜接近自然語言和人腦認知、易于擴展增加、易于神經網絡化大數據大知識自然語言、知識圖譜和語言模型都是表示和處理知識的手段語言 知識 知識圖譜與大模型知識圖譜大規模語言模型KG：知識獲取、知識推理、知識應用.LLMs for KG KG for LLMs 知識增強的開源語言大模型框架KnowL

7、M大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫知識增強的開源語言大模型框架KnowLM大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫基于知識提示技術的大模型增強PART 02大模型提示學習1Language Models Are Few-shot Learners(NeurIPS 2020)起源于GPT3的預訓練提示學習技術：提示顯著提升低資源性能大模型提示學習Knowledge stimulation？Inductive

8、 Bias(Task-related)?template,verbalizer,demonstration構建提示解鎖技能？所有知識都可以習得？新知識/技能如何習得?大模型提示學習Knowledge stimulation？Inductive Bias(Task-related)?template,verbalizer,demonstration1.如何更好激活預訓練大模型的知識？2.如何增強/更新預訓練大模型的知識？將提示作為知識與預訓練模型的橋梁How to inject(stimulate)knowledge?knowledgeable template,enhanced verbali

9、zer,demonstration,external fact,1.更好激活預訓練大模型的知識2.增強/更新預訓練大模型的知識通過提示將知識“植入”預訓練模型知識提示學習“知識提示學習”旨在植入任務、領域相關的知識（知識圖譜、文本示例等），通過“Knowledge as Prompt”提升預訓練模型對領域、任務的理解，激發預訓練模型的潛能，提升下游任務的性能。Knowledge Store知識交互與更新模型和知識解耦，可插拔可更新知識提示學習:KnowPromptKnowPromptWWW22 基于知識圖譜中的先驗知識(Schema)作為提示的思想提升對關系抽取任務的感知并激發大模型的潛能主要

10、挑戰q 語義關系的復雜性問題 :_ _ 和 :_ _ 等關系無法在詞表找到合適的獨立標簽詞q 知識圖譜的歸納偏置問題實體類型和關系類型之間存在隱式的約束，如 :_ _ 的頭實體一定是person，尾實體一定是location知識提示學習:KnowPrompt化實為虛：以虛擬嵌入作為實體類型和關系類型的替代1 KnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction(WWW2022)知識提示學習:KnowPrompt引入知識：構造實體關系的先驗結構約束并協同優化學習

11、1 KnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction(WWW2022)知識提示學習后續工作Schema knowledge with continuous promptsRE as Open-book ExaminationImprove the generalization ability of prompt learning with retrieval and associationKnowPrompt WWW22RetrievalRE SIGIR2

12、2 shortRetroPrompt NeurIPS22The palest ink is better than the best memory引入知識：充分利用數據集中相關的文本語料1 Relation Extraction as Open-book Examination:Retrieval-enhanced Prompt Tuning(SIGIR 2022 short)2 Decoupling Knowledge from Memorization:Retrieval-Augmented Prompt Learning(NeurIPS 2022 Spotlight)知識提示/指令生成與

13、處理工具:EasyInstructhttps:/ 知識增強的開源語言大模型框架KnowLM大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫基于知識編輯技術的大模型更新PART 03知識增強的開源語言大模型框架KnowLM大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫為什么需要大模型知識編輯？過時的事實知識偏見或有毒的知識為什么需要大模型知識編輯？持續數據微調-容易過擬合或導致災難性遺忘.-微調計算成本高.檢索提示增強-受到檢索

14、語料噪音影響.-短期記憶較難長期固化知識.模型知識編輯-技術難度較大.-精準操作（覆蓋、擦除）.知識圖譜VS.大模型Symbolic簡單高效的修正可解釋性強Neural 難以直接修改可解釋性弱大模型知識編輯Change a LLMs behavior for a given knowledge efficiently without compromising other cases.Insertion Modification Erase大模型知識編輯定義模型知識編輯是在已經訓練好的模型（LLM）上將某類輸入對應的模型輸出更改為指定輸出，而不影響其他輸入并且不需要重新訓練全部參數的問題。關鍵概

15、念：編輯描述（Edit Descriptor）:;：指定編輯的輸入和輸出。E.g.:e-Who is the president of United States?e-Donald Trump編輯范圍（Edit Scope）()編輯范圍內輸入（In-scope Input）()：與編輯描述語義相同的輸入 E.g.:-Who is the president of United States?編輯范圍外輸入（Out-scope Input）()：與編輯描述無關的輸入 E.g.:-Why is the sky blue?Editing LLMsLLM更新成本高，模型知識編輯旨在使LLM像人類每天讀

16、書看報一樣不斷高效學習、維護知識的正確性1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯的評估指標可靠性（Reliability）：在給定編輯描述下編輯的成功率，這是模型編輯任務最基礎的要求。常使用在編輯描述集合下，應用編輯后，模型的準確率。泛化性（Generalization）：在給定編輯描述下，模型在編輯范圍內的成功率。常使用在編輯范圍內輸入集合()下，應用編輯后，模型的準確率。局部性（Locality）：應用編輯后，模型需要控制在編輯范圍內改變輸出，而不影響編輯范圍外的

17、輸入。在評估時，計算應用編輯后，模型在數據集編輯前后是否發生改變。編輯效率（Efficiency）：編輯過程所需時間和顯存/內存消耗。1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯技術內涵Hidden StateIntermediate NeuronHidden StateFeed-Forward Network Error NeuronEditing LLMsThe president of the United States isDonald TrumpHidden S

18、tateIntermediate NeuronHidden StateFeed-Forward Network Joe BidenFix Error NeuronThe president of the United States is大模型知識編輯技術外延大模型知識編輯方法（非完全）模型知識編輯可以分為:直接編輯參數的方法和增加額外可編輯參數（一般需訓練）的方法1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯方法（非完全）模型知識編輯可以分為:直接編輯參數的方法和增加額外可

19、編輯參數（一般需訓練）的方法SERAC(ICML22)CaliNet(EMNLP22)T-Patcher(ICLR23)1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯方法（非完全）模型知識編輯可以分為:直接編輯參數的方法和增加額外可編輯參數（一般需訓練）的方法1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯方法（非完全）模型知識編輯可以分為:直接編輯參數的

20、方法和增加額外可編輯參數（一般需訓練）的方法ROME(NeurIPS22)Knowledge Neuron(ACL22)MEMIT(ICLR23)1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯實證分析T5-XL(3B)和GPT-J(6B)下的模型知識編輯實證分析：額外編輯參數法效果較好但編輯效率低，直接編輯參數法效率較高但可靠性較差1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP

21、2023)大模型知識編輯的泛化性問題Can current method handle the implications of an edit for realistic applications？Who are the founders of the company that created the Apple A5?Larry Page and Sergey Brin.an editThe development of Apple A5 is seen by Google.Simple rephrase cannot evaluate edit generalization properl

22、y.rephraseApple A5 created by Applecreated by GoogleApple A5 AppleGoogleApple A5 Steven JobsLarry Pagecreated by Founder ofFounder of1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯的新指標:PortabilityWe introduce portability and consider three aspects.1 Editing Large

23、 Language Models:Problems,Methods,and Opportunities(EMNLP2023)大模型知識編輯的新指標:PortabilityCan current method utilize the editing cases？T-Patcher and IKE can generalize the subject to different descriptions.SERACs performance is limited to the small model.IKE can deal with reversed relation perfectly.Curr

24、ent methods can not employ the edited fact properly in downstream use.1 Editing Large Language Models:Problems,Methods,and Opportunities(EMNLP2023)編輯更多類型的知識 Editing multimodal knowledge Editing KG embeddings Editing personality1 Can We Edit Multimodal Large Language Models?(EMNLP2023)編輯更多類型的知識 Editi

25、ng multimodal knowledge Editing KG embeddings Editing personality1 Editing Language Model-based Knowledge Graph Embeddings編輯更多類型的知識 Editing multimodal knowledge Editing KG embeddings Editing personality1 Editing Personality for LLMs大模型知識編輯工具EasyEditEasyEdit is a Tool for edit LLMs like T5,GPT-J,Llam

26、a,(from 1B to 65B)which is to alter the behavior of LLMs efficiently.https:/ 1 EasyEdit:An Easy-to-use Knowledge Editing Framework for Large Language Models大模型知識編輯工具EasyEditSmall LM,Large LM,Multi-Modal model Editing inserting Mental Seal Positive Negative Neutral ApplicationGenerationClassification

27、Personality大模型知識編輯工具EasyEditPaper list:EasyEdit:知識增強的開源語言大模型框架KnowLM大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫基于知識交互技術的大模型協作PART 04知識增強的開源語言大模型框架KnowLM大模型訓練時基于知識圖譜進行增強大模型部署后基于知識圖譜進行編輯KG2InstructionsKG2Code模型庫工具鏈Agent庫什么是大模型驅動的自主智能體 代表案例：AutoGPT，GPT-Engineer，Voyager,RT-2，定義：由大

28、型語言模型驅動的自治代理，它們可以遵循語言指令并在真實世界或模擬環境中執行各種復雜任務什么是大模型驅動的自主智能體1 Artificial Intelligence:A Modern Approach2 Multiagent Reinforcement Learning:Rollout and Policy Iteration 智能體（Agent）的概念自人工智能領域誕生之日就存在，并同時受到面向對象系統、人機交互、分布式學習、強化學習等領域關注什么是大模型驅動的自主智能體1 https:/lilianweng.github.io/posts/2023-06-23-agent/2 Reason

29、ing with Language Model Prompting:A Survey 智能體（Agent）的概念自人工智能領域誕生之日就存在，并同時受到面向對象系統、人機交互等領域關注 大模型驅動的自主智能體有什么區別？本質的區別在于語言的運用 人工智能代理（Agent）將語言作為思維和溝通的工具，這是人類獨有的能力大模型驅動的自主智能體關鍵技術大模型智能體的工具使用智能體使用工具的步驟:1.智能體什么時候候用？用什么工具?2.智能體需要提供工具哪些信息?3.智能體如何根據工具的結果做出反饋?大模型驅動的自主智能體通過使用外部工具和環境知識反饋實現自主完成任務1 Making Language

30、 Models Better Tool Learners with Execution Feedback自主執行反饋學習的大模型智能體（TRICE）1 Making Language Models Better Tool Learners with Execution Feedback自主執行反饋學習的大模型智能體（TRICE）1 Making Language Models Better Tool Learners with Execution Feedback大模型驅動的知識智能體CoTreflectionmemorytools真實世界呈現海量、多維、復雜、異構且信息表達難以統一等特點，大

31、模型智能體需具備自主知識習得與交互能力并進化為自主知識智能體知識圖譜與大模型融合之道的展望PART 05知識圖譜與大模型融合之道OpenKG是什么？OpenKG發展歷史&愿景20162017201820192020202120222023Open KG南京第一次會議 發布OpenKG.CN 網站2016-6-4發布OpenKG公眾號 發布cnSchema 發布中文鏈接百科2017-4聯合小米科技啟動OpenBase研發 發布cnSchema 2.0聯合出版知識圖譜：方法、實踐與應用 獲博文視點最具震撼力圖書獎探索OpenKG 區塊鏈，聯合發表OpenKGChain論文 聯合華為云、IBM研究院

32、等首次發布新冠病毒開放知識圖譜啟動OpenKG標準化工作 聯合阿里巴巴發布AliOpenBGIEEE開放域知識圖譜眾包與發布指南獲得立項 發布cnSchema3.0版聯合天池平臺組織CCKS-指令驅動的開放圖譜構建評測 CNCC2023發布知識圖譜引擎OpenSPG2015旨在推動世界上規模最大的以中文為中文為核心的開放知識圖核心的開放知識圖譜建設譜建設旨在推動以中文為基礎的知識圖譜數據的互聯、開放與眾包，以及知識圖譜工具鏈、算法庫和平知識圖譜工具鏈、算法庫和平臺服務的開源開放工作臺服務的開源開放工作通過開放、協作、可持續和可擴展的方式，構建大模型時代下全大模型時代下全球領先的知識圖譜生球領先

33、的知識圖譜生態系統態系統為各行業提供智能化知識服務，促進知識的共享與增值OpenSPG+LLM雙驅動開源范式應用場景認知圈人在線導診與醫療問答財富問答及產品推薦 公安反詐企業授信eKYB/C/D 智能理賠安全風控類業務營銷增長類業務構建下一代工業級知識引擎架構SPG語義框架知識學習與推理VV基于領域知識SFT/RLHF及推理關鍵能力突破KG enhanced LLMLLM augmented KGKG&LLM Object Alignment基于大模型的統一知識構建框架神經+符號的可微規則挖掘和可解釋推理領域知識/邏輯約束的可控知識問答基于SPG的圖譜引擎LLM 框架知識抽取知識融合知識生產框架邏輯規則推理圖譜表示學習基座大模型實體鏈指用戶安全知識圖譜企業事理圖譜商家知識圖譜醫療知識圖譜企業商家醫院產品服務黑產知識圖譜領域核心圖譜產業鏈事理因果商品分類品牌地理概念指數事件金融產品 商品疾病 作物 人物藝術公理邏輯通用知識圖譜設備 氣候 通用常識知識圖譜總結大模型給知識圖譜領域的發展帶來了新的機遇與挑戰語義鴻溝認知鴻溝意識鴻溝知識知識ScienceApplication環境具身感知工具交互習得多智能體協作知識增強知識編輯價值觀對齊知識獲取知識核驗知識提示Tool知識提示知識編輯知識獲取語言語言THANKS