多模態知識圖譜構建_20240325235045.pdf

《多模態知識圖譜構建_20240325235045.pdf》由會員分享，可在線閱讀，更多相關《多模態知識圖譜構建_20240325235045.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、友愛力行樂學日新哈爾濱工業大學社會計算與信息檢索研究中心RESEARCH CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL多模態知識圖譜構建初探匯報人：哈工大 劉銘2024年3月25日2知識的分類HARBIN INSTITUTE OF TECHNOLOGY非結構化數據結構化數據單模態數據多模態數據知識知識3HARBIN INSTITUTE OF TECHNOLOGY單模態知識圖譜到多模態知識圖譜CEO庫克蘋果公司關系頭實體尾實體intel芯片屬于產品CEO蘋果公司庫克蘋果電腦人公司知名人士機構物品電腦芯片文本圖像4封閉域信息抽取VS開放

2、域信息抽取“蒂姆庫克擔任蘋果公司的首席執行官”（“蒂姆庫克”，雇傭關系，“蘋果公司”）（“蒂姆庫克”，“首席執行官”，“蘋果公司”）抽取路線1:封閉信息抽?。–lose IE）抽取路線2:開放信息抽?。∣pen IE）蒂姆庫克人機構雇傭關系擁有關系學習關系蘋果公司事先給定實體類別和關系類型標簽5知識圖譜中容納的事實知識intel芯片蘋果電腦屬于產品CEO蘋果公司庫克發熱量產品英特爾公司總部圣克克拉總部屬于加利福尼亞庫比蒂諾市上位詞實體屬性關系城市洲/省電子產品產品地點蘋果公司和英特爾公司產品間的聯系公司組織6HARBIN INSTITUTE OF TECHNOLOGY知識圖譜中的矛盾事實？In

3、tel處理器的性能objsubjARM處理器的性能強于Intel處理器的性能objsubjARM處理器的性能無法媲美不限制功耗，ARM 處理器的性能暫時無法媲美Intel處理器的性能消耗相同的電能，ARM處理器的性能強于Intel處理器的性能7HARBIN INSTITUTE OF TECHNOLOGY知識圖譜中的矛盾事實消耗相同的電能，ARM處理器的性能強于Intel處理器的性能。不限制功耗，ARM 處理器的性能暫時無法媲美Intel處理器的性能Intel處理器的性能objsubjARM處理器的性能強于消耗obj相同的電能條件Intel處理器的性能objsubjARM處理器的性能無法媲美不限

4、制obj功耗條件8HARBIN INSTITUTE OF TECHNOLOGY條件性知識圖譜2014年烏克蘭發生橙色革命，2022年初烏克蘭民間武裝與烏克蘭政府軍爆發沖突，2022年2月24日俄羅斯在烏克蘭進行特別軍事行動，烏克蘭宣布與俄羅斯斷交。時間沖突時間發生烏克蘭民民間間組組織織橙橙色色革革命命特別軍事行動斷交2022初實實體體層層關關系系層層條條件件層層次次序序層層2014政府軍歸屬K3.俄俄羅羅斯斯時間進行前前序序后后序序事事實實條條件件頭頭實實體體尾尾實實體體T1.T2.2022年2月24日K1.K2.9HARBIN INSTITUTE OF TECHNOLOGY開放域事實和條件聯

5、合抽取數據集構建Sentencesentences:Mac will abandon Intel processors and use ARM processors instead.Without limitation on power consumption,the performance of ARM processors cannot be compared with that of Intel processors.But the performance of ARM processors is better than that of Intel processor s in the

6、case of consuming the same power.tupletuple-1 1:(Mac,will abandon,Intel processors)tupletuple-2 2:(Mac,use,ARM processors)tupletuple-3 3:(ARM processors:performance,cannot be compared with,Intel processors:performance)tupletuple-4 4:(ARM processors:performance,is better than,Intel processors:perform

7、ance)tupletuple-5 5:(null,without limiting on,power consumption)tupletuple-6 6:(null,in the case of consuming,same power)Relationelation=tupletuple-3 3|tupletuple-5 5,tupletuple-4 4|tupletuple-6 6元組：是事實和條件中最小的知識單位，組成結構為：實體1：屬性1-關系-實體2：屬性2事實知識和條件知識均表示為一系列元組，條件知識也是一種事實，用于對事實的補充和說明10HARBIN INSTITUTE OF

8、 TECHNOLOGY分階段的事實和條件知識抽取代表元組中的關系謂詞識別代表元組中的實體、屬性識別代表元組間事實和條件對應關系識別方案：采用分階段抽取方式，先抽取元組，再確定元組間的事實和條件對應關系11HARBIN INSTITUTE OF TECHNOLOGY多輸入多輸出的事實和條件知識聯合抽取支持自從1954 年克里米亞加入獨立SentenceCONDITIONFACTCONDITIONFACTobj.obj.subj.subj.obj.烏克蘭俄羅斯事實：俄羅斯，敵對，烏克蘭條件：烏克蘭，打擊，親俄勢力條件：烏克蘭，加入，北約條件：俄羅斯，部署，戰略導彈事實：克里米亞，屬于，烏克蘭條件：

9、自從，1954年12HARBIN INSTITUTE OF TECHNOLOGY半監督方案的引入人工數據標注模型訓練人工規則糾錯13將條件知識注入到模型中iCK-BERT(Transformer)Transformer Tim Cook,?Embedding InitializationPredictorPredictive DistributionPredictive Distributionentity/Attribute layertuple layerknowledge layerTransformer encoder Layer Transformer encoder Layer T

10、ransformer encoder Layer oCK-BERT(Transformer)烏克蘭,總統,?事實知識會談,時間,?條件知識階段 3:事實知識和條件知識的深度融合 階段 2:條件知識利用表示學習注入isTimCookJobholdsApplemaskvisitingMASKnowcapitalChinaCLS3123456456670AAAAAAAAAAAAA+階段 1:事實知識在預訓練模型中注入0 1 2 3 4 5 6 7 8 9 1011120 1 2 3 4 5 6 7 8 9 101112Visible MatrixvisibleinvisibleChina012789

11、12CLSBeijingcapitalnowTimCookvisitingholdsAppleCEO蒂姆庫克擔任蘋果公司首席執行官正在拜訪北京現在首都中國is0123563456763561011Job4職位414HARBIN INSTITUTE OF TECHNOLOGY多模態結構化信息提取目標：讓計算機自動生成一種語義化的圖結構語義化的圖結構（稱為 scene graph，場景圖）圖像場景圖提取視頻場景圖提取15HARBIN INSTITUTE OF TECHNOLOGY多模態知識圖譜構建姜糖水可以治療由風寒導致的感冒。中美科研團隊在最新一期細胞雜志撰文稱,他們制造出首個由人類細胞和猴子細

12、胞共同組成的胚胎,這些嵌合體有助科學家進一步在其它物種體內（如豬）培育出人體組織,但最新研究也引發了一些倫理爭議。犯罪嫌疑人程某指認涉案自行車青浦區檢察院供圖“早知道這么貴我就不偷了?！?2歲的被告人程某因貪小便宜，偷走了一輛折疊自行車。9月24日，澎湃新聞記者從上海市青浦區檢察院獲悉，經該院以盜竊罪提起公訴，程某于9月17日被判處有期徒刑十個月，并處罰金人民幣三千元。程某稱，自己退休后在青浦區一郊野公園養護水草，手底下管著十個人，每月工資4500元，外加退休金和補貼，生活條件還算不錯。16HARBIN INSTITUTE OF TECHNOLOGY模態的概念 模態代表數據的分布，不同來源的分

13、布不一致的數據代表不同模態的數據 模態表示是多模態深度學習的基礎，分為單模態表示和多模態表示 單模態表示：對單個模態信息進行線性或非線性映射，產生單個模態信息的高階語義特征表示。語句、圖像、視頻、聲音等模態為單模態表示中的主要處理對象，且不同的模態有不同的適用的神經網絡模型 多模態表示：指采用模態共作用語義表示或者模態約束語義表示的方法，對各模態信息進行處理，使得包含相同或相近語義的模態信息也具有相同或相近的表示17HARBIN INSTITUTE OF TECHNOLOGY多模態聯合表示 模態共作用語義表示：融合各單模態的特征表示，以獲得包含各模態語義信息的多模態表示 模態約束語義表示：用一

14、個模態的單模態表示結果去約束其他模態的表示，以使其他模態的表示能夠包含該模態的語義信息模態共作用語義表示模態約束語義表示18HARBIN INSTITUTE OF TECHNOLOGY多模態命名實體識別 多模態命名實體識別，文本和圖像聯合確定實體位置和類型dogpersonobject？19HARBIN INSTITUTE OF TECHNOLOGY多模態實體關系抽取 輸入實體對，聯合文本和圖像確定實體對之間的關系類型 多模態實體關系抽取，圖片細粒度特征輔助識別實體關系出席大會的有：XXX、XXX、XXX、XXX上級上級反派，隸屬于敵方勢力反派，隸屬于敵方勢力20HARBIN INSTITUT

15、E OF TECHNOLOGY多模態實體提取結構：采用多任務學習方式聯合優化3個損失函數：L_crf是利用條件隨機場模型抽取實體時的損失函數L_task1是建模圖文粗粒度相關性的損失函數L_task2是建模圖文細粒度相關性的損失函數21HARBIN INSTITUTE OF TECHNOLOGY多模態實體抽取-groundinggrounded22HARBIN INSTITUTE OF TECHNOLOGY橋接的多模態實體關系抽取圖構建：輸入句子和圖片分別使用句法分析工具以及場景圖生成工具得到模態內的圖，然后兩者全連接得到多模態圖圖交互：以構建得到的圖為交互橋梁，進行多層跨模態交互關系分類：基

16、于多方面門控信息整合的多模態信息整合及交互以多模態關系圖作為橋梁來學習跨模態交互特點：多粒度圖文相關計算，通過全局節點和局部節點分別建模整體和局部的模態交互23HARBIN INSTITUTE OF TECHNOLOGY基于細粒度匹配的多模態實體關系抽取表示層：文本編碼器BERT，圖片編碼器ResNet、多模態交互層多模態交互層建模圖文之間的細粒度元素對齊利用目標檢測算法抽取得到節點和節點間關系對句子進行句法分析得到句法樹分類層：基于提示模板關系抽取，將關系分類建模為掩碼預測任務選取三元組級別乃至路徑級別的細粒度對齊24HARBIN INSTITUTE OF TECHNOLOGY迭代的多模態實

17、體關系抽取迭代框架：使用diffusion的框架將多模態實體抽取定義為迭代過程動態模態融合：在迭代過程中，按照階段以及樣本動態融合多種模態表示多粒度模態對齊：不同粒度的模態對齊損失捕捉全局以及局部的模態對齊特點：迭代的多模態實體抽取框架來動態融合多模態的特征，從而充分利用多種模態特征25HARBIN INSTITUTE OF TECHNOLOGY視頻場景圖生成 STTran空間關系抽取(視頻中的每幀圖像)時間關系抽取(幀與幀之間的時間依賴)結構：STTran包含兩個部分，spatialencoder和temporaldecoder。spatialencoder負責處理單個幀中的空間關系，而在t

18、emporaldecoder中不同幀之間的關系可以共享信息并獲取時間上的依賴性優勢：利用時間上下文更準確地推測出幀與幀的關系，即更準確的連貫動作關系26HARBIN INSTITUTE OF TECHNOLOGY基于生成+篩選機制的視頻場景圖生成分階段解碼框架：模型采用pipeline架構，分為兩個階段：第一階段嫁接靜態場景圖模型獲取幀內的靜態結構信息 第二階段根據幀之間的時序相關性將上一階段生成的靜態信息重構為動態場景圖FCSimilarity calculationFeature ExtractorBounding BoxCategory1,111,212,113,111,121,22()

19、,+11ClassifierStatic AttentionFeed forwardTemporal AttentionFine-tune SGG ModelTemporal Dependency ModelingCoupled Self-AttentionCoupled Visual AttentionCoupled Entity AttentionpredictionFFNs1111111111Dynamic Scene Graph1+1RelTR Model1,111,211,121,22靜態場景圖預訓練模型獲取視頻幀結構幀間時序關系重構視頻幀內物體間關系27HARBIN INSTITUTE OF TECHNOLOGY視頻場景圖提取演示系統輸入一段視頻，能夠實時在某個時間結點上暫停，并生成相應的實體和關系圖譜。目前正在對demo進行改進，能夠對比展示考慮前后幀的時序關系和只根據當前圖片得到的結構化抽取結果。28HARBIN INSTITUTE OF TECHNOLOGY大模型的動態認知人的認知動態變化大模型的認知動態變化相似畫像記憶：短期和長期論文鏈接：https:/arxiv.org/abs/2401.08438項目主頁：https:/ CENTER FOR SOCIAL COMPUTING AND INFORMATION RETRIEVAL敬請批評指正