清華大學：人工智能之認知圖譜(239頁).pdf

《清華大學：人工智能之認知圖譜(239頁).pdf》由會員分享，可在線閱讀，更多相關《清華大學：人工智能之認知圖譜(239頁).pdf（239頁珍藏版）》請在三個皮匠報告上搜索。

1、 人工智能之認知圖譜人工智能之認知圖譜 Research Report of Cognitive Graph 2020 年第 6 期 清華大學人工智能研究院 北京智源人工智能研究院 清華中國工程院知識智能聯合研究中心 阿里集團新零售智能引擎事業群 2020 年 08 月 人工智能之認知圖譜人工智能之認知圖譜 Research Report of Cognitive Graph 2020 年第 6 期 清華大學人工智能研究院 北京智源人工智能研究院 清華中國工程院知識智能聯合研究中心 阿里集團新零售智能引擎事業群 2020 年 08 月 摘要摘要 認知圖譜（Cognitive Graph）旨在結

2、合認知心理學、腦科學和人類知識等， 研發融合知識圖譜、認知推理、邏輯表達的新一代認知引擎，支持大規模知識的 表示、獲取、推理與計算的基礎理論和方法，實現人工智能從感知智能向認知智 能的演進，建立可解釋、魯棒性的第三代人工智能。 本報告圍繞認知圖譜的概念內涵、關鍵技術、人才研究、應用場景、發展趨 勢等方面展開深入研究，主要內容包括： 一、認知圖譜基本概念、產生歷程、機遇與挑戰。詳細介紹了認知圖譜的產 生背景和基本概念，以及在演化過程中出現的代表性事件，并總結了認知圖譜在 當前環境下的機遇與挑戰。 二、認知圖譜基礎理論和技術研究現狀分析。根據認知圖譜的概念，分別對 知識圖譜、 認知推理、 邏輯表達

3、等領域的概念背景、 發展歷程、 關鍵技術、 應用、 問題與挑戰、未來研究方向等方面進行了詳細介紹和深入分析。 三、認知圖譜領域人才現狀分析?；?AMiner 平臺提供的論文和學者大數 據，從學者分布、學術水平、國際合作、學者流動等維度，對國內外相關研究學 者和機構進行了對比分析， 總結中國科研學者隊伍建設過程中的弱勢環節和問題， 并提出對策建議。 四、認知圖譜典型應用場景分析。首先以阿里巴巴電商平臺為例，詳細介紹 了認知圖譜如何賦能電商平臺的搜索、推薦等核心業務。然后介紹了認知圖譜在 智慧城市、司法行業、金融行業、安防行業、精準分析、智慧搜索、智能推薦、 智能解釋、自然人機交互等行業技術的應

4、用場景和案例。 最后分析了認知圖譜相關技術研究發展趨勢和創新熱點， 以及中國的專利數 據和國家自然科學基金支持情況，并展望了認知圖譜未來發展方向。 目錄目錄 1 概述篇. 2 1.1 認知圖譜概念. 2 1.2 認知圖譜產生歷程. 4 1.3 認知圖譜機遇與挑戰. 8 2 技術篇. 12 2.1 知識圖譜. 12 2.1.1 知識圖譜概念 . 12 2.1.2 知識圖譜發展歷程 . 14 2.1.3 知識圖譜關鍵技術 . 15 2.1.4 知識圖譜應用 . 54 2.1.5 知識圖譜研究問題與挑戰 . 55 2.1.6 知識圖譜未來研究方向 . 56 2.2 認知推理. 58 2.2.1 知識

5、圖譜推理概念 . 58 2.2.2 知識圖譜推理關鍵技術 . 59 2.2.3 知識圖譜推理應用 . 74 2.2.4 知識圖譜推理研究問題與挑戰 . 76 2.2.5 知識圖譜推理未來研究方向 . 77 2.3 邏輯表達. 80 2.3.1 自然語言生成概念 . 80 2.3.2 自然語言生成關鍵技術 . 82 2.3.3 自然語言生成應用 . 91 2.3.4 自然語言生成研究問題與挑戰 . 92 2.3.5 自然語言生成未來研究方向 . 94 2.4 論文主題分析. 95 2.5 經典論文解讀. 99 2.6 技術情報挖掘. 104 3 人才篇. 110 3.1 學者情況概覽. 110

6、3.1.1 學者分布地圖 . 110 3.1.2 學術水平分析 . 112 3.1.3 國際合作分析 . 115 3.1.4 學者流動情況 . 117 3.2 代表性學者畫像. 119 3.2.1 國外代表性學者 . 121 3.2.2 國內代表性學者 . 131 3.3 中國學者問題與對策. 140 4 應用篇. 144 4.1 電商平臺. 144 4.1.1 認知推薦 . 145 4.1.2 基礎數據層 . 145 4.1.3 推理引擎層 . 147 4.1.4 用戶交互的文本和視覺智能 . 154 4.2 其他應用場景. 167 4.2.1 行業應用 . 167 4.2.2 技術應用 .

7、 169 5 趨勢篇. 176 5.1 技術研究發展趨勢. 176 5.2 技術研究創新熱點. 177 5.3 中國專利數據情況. 179 5.4 國家自然科學基金支持情況. 180 6 總結與展望. 184 參考文獻. 187 附錄 1 認知圖譜相關的關鍵詞列表 . 201 附錄 2 代表性期刊和會議列表 . 202 附錄 3 國家自然科學基金 NSFC 項目 . 210 圖表目錄圖表目錄 圖 1 人工智能發展的幾個階段 . 2 圖 2 雙通道理論框架. 3 圖 3 認知圖譜的演化歷程. 5 圖 4 知識圖譜樣例. 13 圖 5 知識圖譜發展歷程. 14 圖 6 TransE 模型的簡單示例

8、 . 17 圖 7 TransH 模型的簡單示例 . 18 圖 8 TransR 模型的簡單示例 . 19 圖 9 KG2E 模型的示例 . 21 圖 10 傳統模型和 TransG 模型比較. 22 圖 11 RESCAL 模型的簡單圖解 . 23 圖 12 DistMult 模型的簡單圖解 . 24 圖 13 HOlE 模型的簡單圖解 . 25 圖 14 SME 模型的神經網絡結構 . 26 圖 15 NTN 模型的神經網絡結構 . 27 圖 16 MLP 模型的神經網絡結構 . 27 圖 17 NAM 模型的神經網絡結構 . 28 圖 18 知識圖譜的體系架構. 30 圖 19 實體抽取

9、樣例. 31 圖 20 實體鏈接案例. 38 圖 21 RDF 圖示例：電影知識圖譜 . 45 圖 22 屬性圖示例：電影知識圖譜. 46 圖 23 屬性表存儲方案示例. 49 圖 24 Neo4j 中頂點和邊記錄的物理存儲結構 . 52 圖 25 VS*樹. 54 圖 26 描述邏輯的語義表. 61 圖 27 描述邏輯與 OWL 詞匯的對應表. 61 圖 28 Tableaux 的運算規則 . 62 圖 29 Tableaux 的相關工具簡介 . 62 圖 30 邏輯編程改寫的相關工具簡介. 63 圖 31 基于一階查詢重寫方法的處理流程. 64 圖 32 產生式規則系統的執行流程. 65

10、圖 33 產生式規則方法的相關工具. 65 圖 34 使用邏輯規則用于知識圖譜推理任務的示例. 66 圖 35 RESCAL 模型 . 70 圖 36 自然語言產生框架 . 81 圖 37 詢問天氣場景中的句子模板. 82 圖 38 詢問天氣場景中的詞匯模板. 83 圖 39 ELMo 模型架構 . 84 圖 40 Transformer 模型架構 . 86 圖 41 GPT 模型結構 . 87 圖 42 BERT 模型的架構 . 89 圖 43 XLNet 的 Attention Mask 原理機制 . 91 圖 44 LDA 結構圖 . 96 圖 45 認知圖譜相關技術概覽. 105 圖

11、46 全球學者分布地圖. 111 圖 47 中國學者分布地圖. 112 圖 48 中國與其他國家的論文合作情況. 117 圖 49 全球學者的流動情況. 118 圖 50 中國學者的流動情況. 119 圖 51 AMiner 平臺學者畫像示例 . 120 圖 52 阿里巴巴認知智能計算平臺. 145 圖 53 阿里巴巴數據生態. 146 圖 54 ATRank 的網絡結構 . 148 圖 55 從用戶行為學習解離化表征模型實現架構總覽圖. 153 圖 56 背包顏色維度示例圖. 154 圖 57 背包大小維度示例圖. 154 圖 58 KOBE 模型的基本框架 . 156 圖 59 商品個性化

12、推薦示例圖. 157 圖 60 多模態表征學習框架. 158 圖 61 買家秀視頻推薦的兩個實際應用場景. 161 圖 62 商品關聯屬性信息圖. 162 圖 63 Gavotte 模型結構圖 . 163 圖 64 GLA 模型結構圖 . 165 圖 65 部分實驗結果示例圖. 167 圖 66 M-Recnet 和 M-LiveBot 模型的結果對比圖 . 167 圖 67 認知圖譜領域的技術研究發展趨勢. 177 圖 68 認知圖譜領域的技術創新熱點詞云圖. 178 圖 69 中國歷年的專利數量分布（2010-2019 年） . 179 圖 70 2010-2019 年中國專利數量 TOP

13、 10 機構 . 180 圖 71 認知圖譜相關領域國家自然科學基金項目支持歷年分布情況. 181 圖 72 認知圖譜相關領域國家自然科學基金項目支持數量 TOP 10 機構統計 . 182 表 1 認知智能和感知智能的異同點 . 5 表 2 知識圖譜產品統計. 13 表 3 三元組表示例. 49 表 4 認知圖譜領域論文主題分布. 96 表 5 h-index TOP 5000 全球學者的國家統計 . 111 表 6 h-index TOP 5000 中國學者的省市統計 . 112 表 7 論文總被引頻次排名前 10 的國家. 113 表 8 論文總被引頻次排名前 10 的全球機構. 114

14、 表 9 論文總被引頻次排名前 10 的中國機構. 115 表 10 合作論文數量排名前 10 的國家列表. 115 表 11 學術指標說明. 119 表 12 認知圖譜研究熱點子領域的代表性學者的學術指標統計. 178 表 13 認知圖譜相關領域國家自然科學基金項目分類情況（2010-2020 年） . 180 表 14 認知圖譜相關領域的關鍵詞列表. 201 表 15 認知圖譜領域代表性期刊和會議列表. 202 表 16 認知圖譜領域國家自然科學基金支持的相關項目（2010-2020 年） . 210 1 1 1 概述篇概述篇 人工智能之認知圖譜 Research Report of Co

15、gnitive Graph 2 1 概述篇概述篇 1.1 認知圖譜概念 大規模常識知識庫與基于認知的邏輯推理是人工智能發展的瓶頸問題。 1968 年圖靈獎獲得者 Edward Feigenbaum 研發出世界首個專家系統 DENDRAL，并隨 后在第五屆國際人工智能會議上提出， 將知識融入計算機系統是解決只有領域專 家才能解決的復雜問題的關鍵； 1999年互聯網發明人、 圖靈獎獲得者Tim Berners- Lee 爵士提出語義網的概念， 核心理念是用知識表示互聯網， 建立常識知識； 2019 年圖靈獎獲得者 Yoshua Bengio 在 NeurIPS 大會上的主題報告中指出深度學習應 該

16、從感知為主向基于認知的邏輯推理和知識表達方向發展， 這個思想和清華大學 張鈸院士近期提出的第三代人工智能思路不謀而合。 總的來說人工智能的發展經 歷了表示、計算到感知兩個階段，下一個階段的核心是認知（見圖 1） 。近期圖 靈獎獲得者 Manuel Blum 夫婦提出意識 AI（意識智能）的思想，這是一個既經 典又全新的概念和思路。核心的理念就是構造一個新型的可用數學建模、可計算 的機器認知/意識模型。 圖 1 人工智能發展的幾個階段 阿里巴巴達摩院發布“2020 十大科技趨勢”報告中提到， 人工智能已經在“聽、 說、看”等感知智能領域達到或超越了人類水準，但在需要外部知識、邏輯推理 或者領域遷

17、移的認知智能領域還處于初級階段1。復旦大學肖仰華教授在報告 “知識圖譜與認知智能”中描述了， 讓機器具備認知智能具體體現在機器能夠理解 3 數據、理解語言進而理解現實世界的能力，體現在機器能夠解釋數據、解釋過程 進而解釋現象的能力，體現在推理、規劃等等一系列人類所獨有的思考認知能力 上，需要去解決推理、規劃、聯想、創作等復雜任務2。如何實現認知智能，阿 里巴巴新零售智能引擎事業群總監楊紅霞在 CNCC2018 會議上的報告“Extremely large scale cognitive graph representation in practice”詳細介紹了阿里電商認知圖 譜， 以更好地認

18、知用戶需求為目標，將助力搜索推薦等從基于行為的方式邁向基 于行為與語義融合的認知智能時代3。 清華大學唐杰教授在“人工智能下一個十年”報告4中，結合認知科學和計算 機理論，給出了一個實現認知智能的可行思路：認知圖譜=知識圖譜+認知推理+ 邏輯表達，希望利用知識表示、推理和決策，包括人的認知來解決復雜問題。這 個思路的基本思想是結合認知科學中的雙通道理論， 在人腦的認知系統中存在兩 個系統：System 1 和 System 2，如圖 2所示。System 1 是一個直覺系統，它可以 通過人對相關信息的一個直覺匹配尋找答案，它是非?？焖?、簡單的；而 System 2 是一個分析系統，它通過一定的

19、推理、邏輯找到答案。比如，針對以下問題： “找到一個 2003 年在洛杉磯的 Quality 咖啡館拍過電影的導演”。System 1 首先找 到相關的影片，然后用 System 2 來做決策，如果是標準答案，就結束整個推理的 過程。如果不是標準答案，而相應的信息又有用，就把它作為一個有用信息提供 給 System 1，System 1 繼續做知識的擴展，System 2 再來做決策，直到最終找到 答案。圖靈獎獲得者 Bengio 在 NIPS 2019 大會的 Keynote 也提到，System 1 到 System 2 的認知是深度學習未來發展的重要方向。 圖 2 雙通道理論框架 4 到

20、目前為止，認知圖譜在學術界和工業界還沒有一個統一定義。百度百科給 出的認知圖譜定義如下：認知圖譜（Cognitive Graph）旨在結合認知心理學、腦 科學和人類知識等，研發知識圖譜、認知推理、邏輯表達的新一代認知引擎，實 現人工智能從感知智能向認知智能的演進。 認知圖譜是計算機科學的一個研究分 支， 它企圖了解智能的實質，并實現感知智能系統到認知智能系統的重大技術突 破5。 清華大學唐杰教授的“認知圖譜人工智能的下一個瑰寶”文章中， 認知圖譜 的核心是以實現融合知識驅動和數據驅動相結合的知識表示和推理的認知引擎 為目標，研究支持魯棒可解釋人工智能的大規模知識的表示、獲取、推理與計算 的基礎

21、理論和方法；建設包含語言知識、常識知識、世界知識、認知知識的大規 模知識圖譜以及典型行業知識庫，建成知識計算服務平臺。 清華大學丁銘博士的“從知識圖譜到認知圖譜：歷史、發展與展望”文章中， 認知圖譜被解釋為“基于原始文本數據，針對特定問題情境，使用強大的機器學 習模型動態構建的，節點帶有上下文語義信息的知識圖譜”。 讓機器具備認知智能，其核心就是讓機器具備理解和解釋能力。這種能力的 實現與大規模、結構化的背景知識是密不可分的。認知圖譜是實現機器認知智能 的使能器，一方面通過建立從數據到認知圖譜中實體、概念、關系的映射，讓機 器理解數據的本質；另一方面利用認知圖譜中實體、概念和關系來解釋現實世界

22、 中事物和現象，讓機器解釋現象的本質。 1.2 認知圖譜產生歷程 從現階段人工智能的發展來看，隨著計算力的不斷發展，儲存手段的不斷升 級， 具有快速計算和記憶存儲能力的計算智能可以說已經實現；而隨著移動互聯 網普及，大數據、云計算等技術發展，更多非結構化數據的價值被重視和挖掘， 語音、圖像、視頻、觸點等與感知相關的感知智能也在快速發展；在計算智能和 感知智能發展基礎上，人工智能正在向能夠分析、思考、理解、判斷等認知智能 延伸， 真正的智能化解決方案已經顯現端倪。下表展示了認知智能和感知智能的 5 異同。 表 1 認知智能和感知智能的異同點 差異點差異點 認知智認知智能能 感知智能感知智能 特點

23、 強調認知、理解 以人控為主，由人告知機器 如何行動 要求能力 有學習、推理能力，能通過分析做出恰當 決策，為人們提供參考 接受人的訓練、培養 與外界關 系 與人、環境之間有互動，增加人類智慧 沒有互相的反饋，主要由人 控制，根據人類的需求而工 作 衡量標準 沒有統一標準，遇到具體問題具體分析 有像圖靈測試這樣的衡量標 準 計算行為 以大規模數據為背景，模擬人的思考行為 統計分析大規模數據 認知圖譜結合大規模、結構化的背景知識，利用知識表示、推理和決策，通 過了解智能的實質，讓機器具備理解和解釋事物本質的能力，是實現感知智能系 統到認知智能系統的重大技術突破一種有效手段。圖 3展示了認知圖譜演

24、化過 程中出現的代表性事件。 圖 3 認知圖譜的演化歷程 認知圖譜的歷程發展可以追溯到語義網絡（Semantic Network） 。1968 年， Quillian 在文獻 Semantic Memory in M. Minsky6研究人類長期記憶模型時，描述 了人類長期記憶的一般結構模型， 認為記憶由概念之間的聯系來實現并存儲在復 雜的網絡中，并基于此提出了語義網絡的概念。語義網絡是通過概念及其語義關 系來表達知識的一種網絡圖。 隨著互聯網的發展， 語義網絡有了新的應用場景 語義網（Semantic Web） 。 6 1968 年，美國斯坦福大學的 Edward Feigenbaum（圖靈

25、獎獲得者）等人在文 獻 Heuristic DENDRAL: A program for generating explanatory hypotheses7中，提出 了首個專家系統 DENDRAL， 旨在幫助化學家判斷某待定物質的分子結構。 專家 系統是一個具有大量的專門知識與經驗的程序系統， 它應用人工智能技術和計算 機技術，根據某領域一個或多個專家提供的知識和經驗，進行推理和判斷，模擬 人類專家的決策過程，以便解決那些需要人類專家處理的復雜問題。 自二十世紀 70 年代中期以來， 人工智能 （簡稱 AI） 領域的研究人員認識到， 知識的獲取乃是構建強大 AI 系統的關鍵所在，他們借助于來

26、自哲學本體論的靈 感，認為通過將本體（Ontology）創建成為計算模型，可以成就特定類型的自動 推理。 二十世紀 80 年代， AI 領域研究人員開始將本體應用到信息科學領域。 1991 年美國斯坦福大學的 Thomas R. Gruber 在文獻 The role of common ontology in achieving sharable, reusable knowledge bases8中介紹了一種構建可共享、可重用 知識庫的策略，其中本體作為知識耦合構造角色，在其中發揮核心作用。本體是 （特定領域）信息組織的一種形式，是領域知識規范的抽象和描述，是表達、共 享、重用知識的方法。

27、本體是知識體系構建的關鍵技術，通過對知識建模，使計 算機能夠識別人類知識，相當于知識圖譜的模式架構（Schema） 。1984 年，美國 微電子與計算機技術公司的Douglas Lenat設立的Cyc項目是最早的本體知識庫， 旨在。 1994 年， Cyc 項目從該公司獨立出去， 并以此為基礎成立了 Cycorp 公司。 1989 年，英國的計算機科學家 Tim Berners-Lee（萬維網聯盟 W3C 主管）發 明了萬維網（World Wide Web） 。萬維網通過超文本標記語言（HTML）把信息組 織成為圖文并茂的超文本，利用鏈接從一個站點跳到另個站點，以此擺脫以前查 詢工具只能按特定

28、路徑一步步地查找信息的限制。2017 年，Tim Berners-Lee 因 “發明萬維網、第一個瀏覽器和使萬維網得以擴展的基本協議和算法”獲得 2016 年度的圖靈獎。 1998 年，Tim Berners-Lee 再次在文獻 Semantic Web Road Map9中提出語義 網（Semantic Web） 。語義網的核心是：通過給萬維網上的文檔（如：HTML 文 檔、XML 文檔）添加能夠被計算機所理解的語義“元數據”（Meta Data） ，從而使 7 整個互聯網成為一個通用的信息交換媒介。 語義網是能夠根據語義進行判斷的智 能網絡，它不但能夠理解詞語和概念，而且還能夠理解它們之間

29、的邏輯關系，可 以使交流變得更有效率和價值。 2006 年，Tim Berners-Lee 提出鏈接數據（Linked Data）的概念，數據不僅僅 發布于語義網中，而要建立起數據之間的鏈接從而形成一張巨大的鏈接數據網。 鏈接數據提出的目的是構建一張計算機能理解的語義數據網絡， 而不僅僅是人能 讀懂的文檔網絡，以便于在此之上構建更智能的應用。鏈接數據也可以是開放數 據，在這種情況下通常稱為鏈接開放數據（Linked open data, LOD） 。 2012 年，Google 的 Singhal 等人在博客 Introducing the Knowledge Graph: things, n

30、ot strings10中介紹了知識圖譜（Knowledge Graph）的概念。知識圖譜以 語義網絡的結構化方式描述客觀世界中概念、實體、事件以及它們之間的關系， 相對于傳統的本體和語義網絡而言，實體覆蓋率更高，語義關系也更加復雜而全 面。 Google 使用語義檢索從多種數據來源收集信息構建知識圖譜， 以提高 Google 搜索的質量。 2018 年，阿里巴巴新零售智能引擎事業群總監楊紅霞在 CNCC2018 會議上 的報告“Extremely large scale cognitive graph representation in practice”詳細介紹了 阿里電商認知圖譜，以更好

31、地認知用戶需求為目標，將助力搜索推薦等從基于行 為的方式邁向基于行為與語義融合的認知智能時代3。 2020 年， 清華大學唐杰教 授在“人工智能下一個十年”報告4中，結合認知科學中的雙通道理論和計算機理 論，給出了一個實現認知智能的可行思路：認知圖譜=知識圖譜+認知推理+邏輯 表達，希望利用知識表示、推理和決策，包括人的認知來解決復雜問題。 人工智能作為新一輪產業變革的核心驅動力和引領未來發展的戰略技術， 引 起了世界各國的高度重視，并取得了快速發展。然而大規模常識知識庫與基于認 知的邏輯推理是人工智能發展的瓶頸問題。 認知圖譜以實現融合知識驅動和數據 驅動相結合的知識表示和推理的認知引擎為目

32、標， 是實現魯棒可解釋人工智能的 關鍵技術手段。 8 1.3 認知圖譜機遇與挑戰 盡管人工智能依靠深度學習和機器學習技術的進步取得了巨大的進展， 例如， AlphaGo 通過自我強化學習擊敗了人類頂尖的圍棋選手， 但人工智能在很多方面， 如語言理解、視覺場景理解、決策分析等，仍然舉步維艱。當前的人工智能識別 做的只是比對，缺少信息進入大腦之后的加工、理解、思考等步驟，因此僅僅停 留在“感知”，而并非“認知”。要讓人工智能有類似大腦的活動，走到認知階段， 需要讓它掌握知識、進行推理。機器必須要掌握大量的知識，特別是常識知識才 能實現真正類人的智能。 目前的智能系統在感知方面已經達到甚至超越人類水平，但在魯棒性、可解 釋性、安全可靠等方面還存在很多不足。感知智能技術存在的缺陷，