重慶郵電大學：大數據大模型大算力的人工智能發展探討分析報告（64頁）.pdf

《重慶郵電大學：大數據大模型大算力的人工智能發展探討分析報告（64頁）.pdf》由會員分享，可在線閱讀，更多相關《重慶郵電大學：大數據大模型大算力的人工智能發展探討分析報告（64頁）.pdf（64頁珍藏版）》請在三個皮匠報告上搜索。

1、“大數據大數據+大模型大模型+大算力”的大算力”的人工智能人工智能發展發展探討探討 王國胤王國胤 重慶郵電大學重慶郵電大學 “機器學習及其應用”研討會 南京，2023 2“大數據“大數據+大模型大模型+大算力”的大算力”的人工智能發展探討人工智能發展探討 1.人工智能里程碑進展人工智能里程碑進展 2.通用智能通用智能研究研究再再思考思考 3.人工智能的人工智能的可可解釋性解釋性 3 1.人工智能里程碑進展人工智能里程碑進展 2.通用智能研究通用智能研究再再思考思考 3.人工智能的人工智能的可可解釋性解釋性“大數據“大數據+大模型大模型+大算力”的大算力”的人工智能發展探討人工智能發展探討 19

2、79年,漢斯 貝利納打造的計算機程序戰勝雙陸棋世界冠軍 起步發展期(1936年-20世紀60年代)1936年,艾倫 圖靈提出圖靈機和通用計算機概念 1943年,美國神經科學家沃倫 麥卡洛克、數學家沃爾特 皮茨提出神經元的數學模型 1950年,艾倫 圖靈提出圖靈測試 1956年,達特茅斯會議召開，標志著人工智能學科誕生 1957年,弗蘭克 羅森布拉特提出“感知器”的神經網絡模型 1968年，愛德華 費根鮑姆提出首個專家系統DENDRAL，給出知識庫定義 1969年，馬文 明斯基著作感知器提出對XOR線性不可分的問題，沉重了打擊神經網絡研究 反思發展期(20世紀70年代)1974年,保羅 沃伯斯提

3、出通過誤差的反向傳播(BP)訓練人工神經網絡 1975年,馬文 明斯基提出知識表示學習框架理論 1976年,愛德華 彭納羅斯、喬希 米爾 提出專家系統概念 1977年,海斯 羅思等人基于邏輯的機器學習系統取得較大進展(但只能學習單一概念，未能投入實際應用)人工智能人工智能發展脈絡發展脈絡 1989年 Yann LeCun構建了應用于計算機視覺問題的卷積神經網絡(CNN)LeNet的最初版本 2009年,李飛飛發布用于視覺對象識別研究的大型可視化數據庫ImageNet 應用發展期(20世紀80年代)1980年,卡內基 梅隆大學召開第一屆機器學習國際研討會，標志著機器學習研究的全世界興起 1981

4、年,IBM的沃森(Watson)計算機問答系統問世 1985年,朱迪亞 珀爾提出貝葉斯網絡 1986年,戴維 魯梅爾哈特、詹姆斯 麥克萊蘭 并行分布式處理提出了聯結主義思想 1986年,戴維 魯梅爾哈特、杰弗里 辛頓、羅納德 威廉姆斯提出多層感知器(MLP)與反向傳播(BP)訓練相結合的理念，開啟了神經網絡的新一輪高潮。1986年,羅德尼 布魯克斯(Brooks)發表論文移動機器人魯棒分層控制系統，創立行為主義人工智能 1989年,George Cybenko證明了“萬能近似定理”：多層前饋網絡可以近似任意函數 1995年,科琳娜 科爾特斯、弗拉基米爾 萬普尼克提出支持向量機(SVM)1997

5、年,IBM的深藍(Deep Blue)超級計算機擊敗國際象棋世界冠軍卡斯帕羅夫 1998年,萬維網聯盟的蒂姆 伯納斯-李提出語義網的概念 2005年,波士頓動力公司推出一款動力平衡四足機器狗 2006年,杰弗里 辛頓以及他的學生魯斯蘭 薩拉赫丁諾夫提出深度學習(DNN)的概念 平穩發展期(20世紀90年代-21世紀初期)人工智能人工智能發展脈絡發展脈絡 2.1 人工智能發展脈絡人工智能發展脈絡 2023年,OpenAI發布GPT-4 蓬勃發展期(2011年-今)2011年,IBM的沃森超級計算機在知識問答節目危險邊緣中戰勝人類選手 2012年,Hinton和他的學生Alex Krizhevsk

6、y設計的卷積神經網絡AlexNet在ImageNet競賽大獲全勝 2013年,Durk Kingma和Max Welling提出變分自編碼器(VAE)2014年,微軟小冰聊天機器人在中國推出 2015年,Microsoft Research的Kaiming He等人提出的殘差網絡(ResNet)在ImageNet大規模視覺識別競賽中獲得了圖像分類和物體識別的優勝 2016年,谷歌的AlphaGo戰勝圍棋世界冠軍李世石 2016年 OpenAI發布GPT模型 2017年,中國政府發布新一代人工智能發展規劃,提出成為人工智能創新領域的全球領軍國家 2019年,MIT的James Collins和J

7、onathan Stokes等人用深度學習發現Halicin抗生素分子 2020年,Demis Hassabis和John Jumper 領導的DeepMind團隊的AlphaFold2精確預測了蛋白質的三維結構 2020年,中國科學技術大學潘建偉等人構建76個光子的量子計算原型機“九章”，求解數學算法“高斯玻色取樣”只需200秒，而目前世界最快的超級計算機要用6億年 2020年,OpenAI發布GPT-3 2022年,OpenAI發布ChatGPT 人工智能近期發展的里程碑人工智能近期發展的里程碑 7 聽覺信息處理聽覺信息處理 視覺信息處理視覺信息處理 決策分析處理決策分析處理 語言文字處理

8、語言文字處理 語言文字對人類文明的重要作用語言文字對人類文明的重要作用 8 著名認知心理學家和語言學家Steven Pinker：“語言是人類最語言是人類最重要的一項文化創造重要的一項文化創造，正是這個前所未有的生理現象正是這個前所未有的生理現象將人類與將人類與其他動物永遠地區分開來其他動物永遠地區分開來?！闭Z言本能，1994 巴別塔巴別塔寓言寓言：最初的人類使用同一種語言，齊心協力修建一座通天高塔。但這并非上帝所喜歡的，他便令人類說不同的語言，人們無法相互理解，產生了隔閡，導致無法合作，通天塔的修建最終失敗。語言障礙兒童語言障礙兒童的應物能、言語能及應人能平均發育商均低于正常兒童；且不是單純

9、的語言落后不是單純的語言落后，而是常而是常伴隨運動能力伴隨運動能力、適應行為及社交行適應行為及社交行為等方面的落后為等方面的落后。ChatGPT的智力分析的智力分析 9 智能智能的三個層次的三個層次 計算智能計算智能 感知智能感知智能 認知認知智能智能 AI研究研究正在從感知智能向正在從感知智能向認知智能認知智能發展發展 要求機器要求機器能存會算能存會算；擁有超強的擁有超強的存儲力存儲力和超快的和超快的計算力計算力；依靠機器強大的存儲和運算資源在某些任務上依靠機器強大的存儲和運算資源在某些任務上對人的一些行為進行模擬。對人的一些行為進行模擬。要求機器要求機器能聽會說能聽會說，能看會認能看會認；

10、機器對眼、耳等人的各個感官進行模擬；機器對眼、耳等人的各個感官進行模擬；包括語音識別、圖像識別、以及基于計算機視覺包括語音識別、圖像識別、以及基于計算機視覺的汽車自動駕駛等等。的汽車自動駕駛等等。要求機器要求機器能理解能理解、會思考會思考；能對知識進行組織、整理、靈活運用、聯想推理等；能對知識進行組織、整理、靈活運用、聯想推理等；不僅有不僅有邏輯思維邏輯思維，還要有，還要有形象思維形象思維、創造性思維創造性思維。ChatGPT的計算智能智力的計算智能智力 10 能存能存會算會算 世界上世界上最高的山峰最高的山峰是什么？是什么？第一個登上它第一個登上它的人是誰？的人是誰？是是哪個國家哪個國家的人

11、呢？的人呢？1.基礎知識問答基礎知識問答 與多輪對話與多輪對話 ChatGPT的計算智能智力的計算智能智力 能存能存會算會算 1.基礎知識問答基礎知識問答 與多輪對話與多輪對話 2.代碼生成分析代碼生成分析 11 ChatGPT的感知智能智力的感知智能智力 12 能看能看會認會認 2.代碼生成分析代碼生成分析 1.基礎知識問答基礎知識問答 與多輪對話與多輪對話 請分析一下下面這段文本，并做一個簡短的摘要總結請分析一下下面這段文本，并做一個簡短的摘要總結 3.文本摘要生成文本摘要生成 ChatGPT的認知智能智力的認知智能智力 13 能能理解理解 3.文本摘要生成文本摘要生成 2.代碼生成分析代

12、碼生成分析 1.基礎知識問答基礎知識問答 與多輪對話與多輪對話 4.文本分析翻譯文本分析翻譯 ChatGPT的認知智能智力的認知智能智力 邏輯思維邏輯思維 如何理解如何理解新一輪科技革命新一輪科技革命給給中國中國帶來的帶來的機遇機遇與與挑戰挑戰？如何如何認識認識堅持創新發展堅持創新發展、實施創新驅動發展戰略實施創新驅動發展戰略的的重大意義重大意義？14 機遇方面機遇方面 挑戰方面挑戰方面 重大意義重大意義 結尾升華結尾升華 博士生思政課期末考試博士生思政課期末考試題目題目 3.文本摘要生成文本摘要生成 4.文本分析翻譯文本分析翻譯 2.代碼生成分析代碼生成分析 1.基礎知識問答基礎知識問答 與

13、多輪對話與多輪對話 5.結構化寫作結構化寫作 交代背景交代背景 ChatGPT的認知智能智力的認知智能智力 形象思維、創造性思維形象思維、創造性思維 3.文本摘要生成文本摘要生成 4.文本分析翻譯文本分析翻譯 5.結構化寫作結構化寫作 2.代碼生成分析代碼生成分析 1.基礎知識問答基礎知識問答 與多輪對話與多輪對話 請以人類反抗人工智能的奴役為題創作一篇科幻小說請以人類反抗人工智能的奴役為題創作一篇科幻小說，要以主要以主角的角的第一視角第一視角來敘事來敘事，參考參考劉慈欣劉慈欣的文風的文風，諷刺性悲劇結局諷刺性悲劇結局 15 第一視角第一視角 人機對抗人機對抗 諷刺情節諷刺情節 悲劇結局悲劇結

14、局 6.非結構化寫作非結構化寫作 ChatGPT的智力分析的智力分析 16 ChatGPT可以通過圖靈可以通過圖靈測試測試“如果機器讓平如果機器讓平均每個參與者做均每個參與者做出超過出超過30%的誤的誤判判，那么這臺機那么這臺機器就通過了測試器就通過了測試，并被認為具有并被認為具有人類智能人類智能?！盋hatGPT已經具備了已經具備了一定程度的人類一定程度的人類智能智能能力能力 不同的判斷者不同的判斷者 判斷判斷標準不同標準不同 ChatGPT的智力分析的智力分析 17 認知能力的認知能力的局限局限 回答邏輯較為清晰回答邏輯較為清晰 此兩類情況的回此兩類情況的回答看似合理答看似合理，實實則存在

15、邏輯錯誤則存在邏輯錯誤：若小王存在這：若小王存在這兩種問題兩種問題，該如該如何告訴我何告訴我？該結論有明顯錯誤該結論有明顯錯誤 無法無法理解理解“會說話會說話”的語義的語義“口才好口才好”語義理解語義理解 小王告訴我他不會說話小王告訴我他不會說話。人都是會說話的人都是會說話的。小王是小王是在說謊嗎在說謊嗎？回答1 23.2.28 回答2 23.9.30 可識別邏輯悖論 18 1.人工智能人工智能里程碑進展里程碑進展 2.通用智能研究通用智能研究再再思考思考 3.人工智能的可解釋人工智能的可解釋性性“大數據“大數據+大模型大模型+大算力”的大算力”的人工智能發展探討人工智能發展探討 ChatGP

16、TChatGPT實現了實現了人類的人類的哪些智能哪些智能？行萬里路？行萬里路？讀讀萬卷書？萬卷書？冥思苦想？冥思苦想？19 截止截止2021年，中國的總人口有多少？年，中國的總人口有多少？男女比例為多少？男女比例為多少？60歲以上的人占比為多少？歲以上的人占比為多少？秦始皇是哪個國家的人？秦始皇是哪個國家的人？美國的第一任總統是誰？美國的第一任總統是誰？第一次世界大戰是什么時候開始的？第一次世界大戰是什么時候開始的？人口數據人口數據 歷史數據歷史數據 20 行萬里路行萬里路 ChatGPT觀察學習了大量數據觀察學習了大量數據 電燈是誰發明的？電燈是誰發明的？電話是誰發明的？電話是誰發明的？紅樓

17、夢是誰的作品？紅樓夢是誰的作品？簡愛是誰的作品？簡愛是誰的作品？科技數據科技數據 文學數據文學數據 21 行萬里路行萬里路 ChatGPT觀察學習了大量數據觀察學習了大量數據 22“走馬觀花走馬觀花”行行萬里路萬里路 ChatGPT觀察學習了大量數據觀察學習了大量數據 寫出范仲淹的岳陽樓記全文寫出范仲淹的岳陽樓記全文 你知道范仲淹的岳陽樓記嗎你知道范仲淹的岳陽樓記嗎 你知道范仲淹的岳陽樓記嗎？你知道范仲淹的岳陽樓記嗎？學習過該內容，但沒記住學習過該內容，但沒記住 沒記住沒記住書書的的內容內容 23 你知道曹操三顧茅廬嗎？你知道曹操三顧茅廬嗎？三顧茅廬到底是曹操還是劉備？三顧茅廬到底是曹操還是劉

18、備？沒沒讀懂讀懂書書的的內容，張冠李戴內容，張冠李戴，胡言亂語，強詞奪理胡言亂語，強詞奪理 ChatGPT是是“翻萬卷書翻萬卷書”，而非，而非“讀萬卷書”“讀萬卷書”沒發現錯 將錯就錯 錯上加錯 錯誤誘導 改正錯誤 但三顧茅廬的真的是曹操但三顧茅廬的真的是曹操 再次誤導 完全被誤導 24 漢語拉丁化！漢語拉丁化！現現代代語語言言學學之之父父 沒有用同音字沒有用同音字 形似而神不似形似而神不似 你知道趙元任的施氏食獅史嗎？你知道趙元任的施氏食獅史嗎？你能模仿這篇文章寫一篇嗎？你能模仿這篇文章寫一篇嗎？萬萬不可！萬萬不可！學習過該內容學習過該內容 ChatGPT是是“翻萬卷書翻萬卷書”，而非，而非

19、“讀萬卷書”“讀萬卷書”25 ChatGPT是是“翻萬卷書翻萬卷書”，而非，而非“讀萬卷書”“讀萬卷書”寫一首寫一首五五言絕句，主題是人工智能的發展言絕句，主題是人工智能的發展 人工智能日新潮，機器智慧漸成行。算法推演思維廣，未來潛力無邊長。五言絕句每句多少個字五言絕句每句多少個字 那你寫的五言絕句每句多少個字那你寫的五言絕句每句多少個字?五言絕句每句通常包含五個字。這是中國古典詩歌的一種常見形式，每首絕句由四句組成，每句五個字，總共二十個字。對不起，我之前的回答有誤。五言絕句每句應包含七個字，而不是五個字。這是中國古典詩歌的一種常見形式，每首絕句由四句組成，每句七個字，總共二十八個字。形也形

20、也不似不似 數也數也不識不識 七言絕句七言絕句 改正錯誤改正錯誤 繼續錯誤繼續錯誤 ChatGPTChatGPT會“冥思苦想”嗎會“冥思苦想”嗎？26 人為什么會做夢？人為什么會做夢？人死亡后會到什么地方？人死亡后會到什么地方？面對沒有現成答案的面對沒有現成答案的“無無解解”問題問題，ChatGPT無法通過無法通過思索思索給出答案，僅能給出答案，僅能列舉列舉人類已有的觀點和結論人類已有的觀點和結論 人類的“冥思苦想”人類的“冥思苦想”27 牛頓發現牛頓發現萬有引力定律萬有引力定律 達爾文發現達爾文發現進化論進化論 人類之所以能成為萬物之靈人類之所以能成為萬物之靈，是因為人類具有高度發是因為人類

21、具有高度發達的思維達的思維。人類人類“冥思苦想冥思苦想”很大程度上體現在人的很大程度上體現在人的學習能力學習能力、邏輯能力邏輯能力和和創造能力創造能力。當前大語言模型的局限性當前大語言模型的局限性 奧地利哲學家Ludwig Wittgenstein(1889.4.26-1951.4.29)：“如果獅子會說話，我們是無法聽懂的”。他在著作中猜想機器是不能夠思考的，其中一個原因是，機器不可能共享人類的“生命形式”，而這對于共享而言是必需的。美國哲學家John Rogers Searle(1932-)的“中 文 房 間”(Chinese Room)實驗證明，假如一個不會說中文的人被關在一間房里，房間

22、中有如何讀、寫中文的指示，此人就可以和屋外的中文使用者交換信息、進行對話。他能夠通過按照規則寫下回復來說服屋外的人，讓他們相信他懂中文。但這個人并不是真正理解這門語言，他是在模擬理解。中文房間實驗中文房間實驗(1980)28 當前大語言模型的局限性當前大語言模型的局限性 英國數學家、計算機科學家 Alan Turing 在1950年提出的“圖靈測試圖靈測試”，被稱為“模仿游戲”：在測試中，詢問者玩家C僅通過書面問答形式來確定，玩家A與玩家B，誰是計算機玩家、誰是人類玩家。觀點觀點 論據論據 機器能理解能理解人類語言，目前“尚未”達到 索爾克生物研究所計算神經生物學實驗室主任Terrence S

23、ejnowski 教授這樣描述LLM的出現：“奇點降臨，似天外來客，忽紛沓而來，語四國方言。我們唯一清楚的是，LLMs 不是人類它們的某些行為看起來是智能的，但如果不是人類的智能，又是什么呢？”1 機器不能理解不能理解人類語言 紐約大學Yann LeCun教授提出：“即使從現在開始一直訓練到宇宙熱寂，單憑語言訓練的系統永遠也不會逼近人類智能，而且這些系統注定只能擁有膚淺的理解，永遠無法逼近我們在思考上的全面性?！? 1 Sejnowski T J.Large language models and the reverse turing testJ.Neural computation,2023

24、,35(3):309-342.2 J.Browning,Y.LeCun,AI and the limits of language.UpToDate(2022)https:/ 語言的本質是什么?語言：Language is a structured system of communication that consists of grammar and vocabulary.（-Wikipedia）語言作為符號系統的三個層次:語法(Grammar)，語義(Semantic)，語用(Pragmatics)人類語言的特性：指向性、描述性、邏輯性、交際性、傳播性、傳承性、民族性 語言大模型建模了什么

25、?A goal of statistical language modeling is to learn the joint probability function of sequences of words1 沒有考慮語法、語義和語用，更不用說體現任何一種語言的特性23 大語言模型 不懂語義和語用!1 Bengio Y,Ducharme R,Vincent P.A neural probabilistic language modelC.Advances in neural information processing systems(NIPS),2000,13.2 Golan T,Sie

26、gelman M,Kriegeskorte N,et al.Testing the limits of natural language models for predicting human language judgementsJ.Nature Machine Intelligence,2023:1-13.3 Trott S,Jones C,Chang T,et al.Do Large Language Models know what humans know?J.Cognitive Science,2023,47(7):e13309.4 Berglund L,Tong M,Kaufman

27、n M,et al.The Reversal Curse:LLMs trained on A is B fail to learn B is AJ.arXiv preprint arXiv:2309.12288,2023.語言大模型：能夠完成語言任務語言大模型：能夠完成語言任務 懂（人類）語言懂（人類）語言 1 輸，失利，不成功，與“勝”相對：敗北。敗退。敗績（連隊潰??；事業的失利）。敗訴。敗筆。敗局。兩敗俱傷。2 戰勝，使失?。捍髷耻?。3 毀壞：敗壞。敗露。30 當前大語言模型的局限性當前大語言模型的局限性 31 個體智能個體智能群體智能群體智能涌現智能涌現智能(新智能單體新智能單體)個體

28、智能個體智能 涌現智能涌現智能 群體智能群體智能 ChatGPTChatGPT是否收斂是否收斂 成新的成新的智能智能單體單體？量變量變 質變 32 大數據大數據+大模型大模型+大算力大算力=智能系統？智能系統？大數據大數據 大模型大模型 大算力大算力 數據驅動的數據驅動的“大數據大數據+大模型大模型+大算力大算力”大系統大系統，由于由于人類知識與認知的缺失人類知識與認知的缺失，僅能實現僅能實現從個體智能到群體從個體智能到群體智能的智能的量變量變，卻卻不能夠實現不能夠實現從群體智能到涌現智能的從群體智能到涌現智能的質變質變，也不能實現從專用智能到通用智能的也不能實現從專用智能到通用智能的跨越跨越

29、。+由細到由細到粗的信息處理粗的信息處理 Data mining(which is the analysis step of Knowledge Discovery in Databases)focuses on the discovery of(previously)unknown properties from data.Unidirectional Computational Cognition from Finer Granularity Levels to Coarser Levels Machine Learning Machine learning is a scientific

30、 discipline concerned with the design and development of algorithms that allow computers to evolve behaviors based on empirical data,such as from sensor data or databases.Data Mining Data Knowledge Common characteristic Unidirectional transformation Knowledge discovery is the creation of knowledge f

31、rom structured(relational databases,XML)and unstructured(text,documents,images)sources.Knowledge Discovery Finer Coarser n layers of NNConvolutional layerMax-pooling layerFully connected layer計算機的信息計算機的信息/知識處理：從細粒度到粗粒度知識處理：從細粒度到粗粒度 由粗到細的人類認知由粗到細的人類認知 中科院生物物理所陳霖院士等通過實驗發現中科院生物物理所陳霖院士等通過實驗發現：人類人類認知具有“大

32、范圍認知具有“大范圍首首先”的規律，視覺系統對全局先”的規律，視覺系統對全局拓撲特性尤為敏感，直接處理最細粒度的原始數據拓撲特性尤為敏感，直接處理最細粒度的原始數據不符合人類的認知規律。不符合人類的認知規律。Coarser Finer“大范圍首先”人類認知規律：從粗粒度到細粒度“大范圍首先”人類認知規律：從粗粒度到細粒度 Human Cognition from Coarser Granularity Levels to Finer Levels 基于深度學習的反人臉識別 原本可檢測到的人臉比例從接近100%降到0.5%！A.J.Bose,P.Aarabi,Adversarial Attack

33、s on Face Detectors using Neural Net based Constrained Optimization,arXiv:1805.12302 cs.CV 深度學習的識別計算機理人類大腦的識別認知機理！深度學習符合人類認知機理嗎？深度深度學習的識別機理：紋理學習的識別機理：紋理OR形狀？形狀？36 是貓還是象？深度深度學習的識別機理：紋理學習的識別機理：紋理OR形狀？形狀？37 Classification of a standard ResNet-50 of(a)a texture image(elephant skin:only texture cues);(b)

34、a normal image of a cat(with both shape and texture cues),and(c)an image with a texture-shape cue conflict,generated by style transfer between the first two images.Robert Geirhos,Patricia Rubisch,Claudio Michaelis,Matthias Bethge,Felix A.Wichmann,Wieland Brendel,ImageNet-trained CNNs are biased towa

35、rds texture;increasing shape bias improves accuracy and robustness,7th International Conference on Learning Representations,ICLR 2019,New Orleans,LA,USA,May 6-9,2019.We show that ImageNet trained CNNs are strongly biased towards recognising textures rather than shapes,which is in stark contrast to h

36、uman behavioural evidence and reveals fundamentally different classification strategies.用ImageNet訓練的CNN，更趨向于識別紋理而非形狀，這與人類行為證據明顯不符，揭示了根本不同的分類策略。深度學習的識別計算機理人類大腦的識別認知機理！多粒度認知計算 融合人類認知原理與計算機信息處理空間變換過程融合人類認知原理與計算機信息處理空間變換過程 的多粒度認知計算，是的多粒度認知計算，是挑戰挑戰，也是，也是必然方向必然方向 BOTTOM UP n layers of NNConvolutional laye

37、rMax-pooling layerFully connected layer多粒度認知計算多粒度認知計算 粗粒度粗粒度 細粒度細粒度 A general multiple granularity structure for DGCC 1.Data is considered to be knowledge in the lowest granularity level,and knowledge is considered to be the abstraction of data in different granularity layers.2.There could be relati

38、onship both between nodes(concepts)in a same granularity layer,and between nodes(concepts)in different layers.3.Nodes in different granularity layers could take action jointly and simultaneously in a parallel way,while not just sequentially.多粒度認知計算 G.Y.Wang,DGCC:data-driven granular cognitive comput

39、ing,Granular Computing,2017,2(4):343355 G.Y.Wang,Data-Driven Granular Cognitive Computing,Int.J.Conf.on Rough Sets.Springer,2017:13-24 G.Y.Wang 39 多粒度認知計算 數據、信息與知識的多粒度表達 多粒度空間中的不確定性變換 多粒度信息知識空間的動態演化機制 多粒度多粒度空間描述空間描述問題問題 多粒度聯合計算模型與問題求解機制 變粒度有效漸進式計算方法 智能計算前置 多粒度分布式機器學習 多粒度聯合求解問題多粒度聯合求解問題 人類認知機制與機器信息處理

40、機制的融合 帶遺忘的多粒度聯想記憶機制 人類認知機制融合問題人類認知機制融合問題 40 多粒度認知計算 數據、信息與知識的多粒度表達模型；數據、信息與知識的多粒度表達模型；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間的動態演化機制與方法。多粒度知識空間的動態演化機制與方法。1、多粒度知識空間中的數據與知識統一表示 知識 高層 信息 中層 數據 底層 數據就是知識 在最低粒度層的表示 知識就是數據 在高粒度層的表示 41 不確定概念 (抽象)確定概念(細節)確定概念(整體)不確定概念(局部)數據、信息與知識的多粒度表達模型；數據、信息與知識的

41、多粒度表達模型；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間的動態演化機制與方法。多粒度知識空間的動態演化機制與方法。1、多粒度知識空間中的數據與知識統一表示 多粒度認知計算 42 數據、信息與知識的多粒度表達模型；數據、信息與知識的多粒度表達模型；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間中的不確定性變換機制與方法；多粒度知識空間的動態演化機制與方法。多粒度知識空間的動態演化機制與方法。1、多粒度知識空間中的數據與知識統一表示 動態數據源動態數據源 初始粒結構初始粒結構 動態演化機制動態演化機制 粒結構演化結果粒結構演化結果

42、 多粒度認知計算 43 多粒度聯合計算模型與問題求解機制；多粒度聯合計算模型與問題求解機制；變粒度漸進式計算機制與方法；變粒度漸進式計算機制與方法；智能計算前置機制與方法；智能計算前置機制與方法；多粒度分布式機器學習模型與方法。多粒度分布式機器學習模型與方法。LW learnerKLW learnerK-1Layer-wise learner1Learning outcome1Final solution Layerm-1LayermLayer1Layerk-1LayerkLayer1Problem-oriented granularity structure Domain-oriented

43、granularity structureMultilayer solver Learning outcomek-1LW learnerKLW learner1 2、多粒度知識空間中的問題協同求解 面向領域的粒結構面向領域的粒結構 面向問題的粒結構面向問題的粒結構 多粒層求解器多粒層求解器 多粒度認知計算 44 粗略解 精細解 多粒度聯合計算模型與問題求解機制；多粒度聯合計算模型與問題求解機制；變粒度漸進式計算機制與方法；變粒度漸進式計算機制與方法；智能計算前置機制與方法；智能計算前置機制與方法；多粒度分布式機器學習模型與方法。多粒度分布式機器學習模型與方法。2、多粒度知識空間中的問題協同求解

44、 多粒度認知計算 45 局部解 全局解 多粒度聯合計算模型與問題求解機制；多粒度聯合計算模型與問題求解機制；變粒度漸進式計算機制與方法；變粒度漸進式計算機制與方法；智能計算前置機制與方法；智能計算前置機制與方法；多粒度分布式機器學習模型與方法。多粒度分布式機器學習模型與方法。2、多粒度知識空間中的問題協同求解 多粒度認知計算 46 多粒度 神經網 絡編碼 多粒度聯合計算模型與問題求解機制；多粒度聯合計算模型與問題求解機制；變粒度漸進式計算機制與方法；變粒度漸進式計算機制與方法；智能計算前置機制與方法；智能計算前置機制與方法；多粒度分布式機器學習模型與方法。多粒度分布式機器學習模型與方法。2、多

45、粒度知識空間中的問題協同求解 多粒度認知計算 47 粗粒度粗粒度 細粒度細粒度 細粒度細粒度 粗粒度粗粒度 n layers of NNConvolutional layerMax-pooling layerFully connected layer知識 信息 數據 人腦認知機制與計算機信息處理機制的融合；人腦認知機制與計算機信息處理機制的融合；帶遺忘的多粒度聯想記憶機制。帶遺忘的多粒度聯想記憶機制。3、多粒度知識空間中的認知與計算融合 多粒度認知計算 48 突破計算機的突破計算機的數據數據存儲與檢索機制存儲與檢索機制束縛束縛 粗粒度概念 細粒度數據 粗粒度概念 細粒度數據 人腦認知機制與計算

46、機信息處理機制的融合；人腦認知機制與計算機信息處理機制的融合；帶遺忘的多粒度聯想記憶機制。帶遺忘的多粒度聯想記憶機制。3、多粒度知識空間中的認知與計算融合 局部信息局部信息1 1 局部信息局部信息2 2 多粒度認知計算 49 多粒度認知計算 王國胤,傅順,楊潔,郭毅可,基于多粒度認知的智能計算研究,計算機學報,2022,45(6):1161-1175 51 認知計算：腦科學與人工智能的橋梁認知計算：腦科學與人工智能的橋梁 清華大學戴瓊海院士：“人工智能未來：理解與創造”-2021人工智能計算大會（AICC 2021）未來未來研究研究方向：融合人類認知的方向：融合人類認知的AIAI 52 智能奧

47、秘智能奧秘 數據與知識雙向驅動數據與知識雙向驅動模型模型 多粒度認知計算多粒度認知計算模型模型 Knowledge layer Data layer Model Embed Drive 深度學習深度學習大模型大模型 數據與知識雙向驅動的認知計算數據與知識雙向驅動的認知計算 53 1.人工智能人工智能里程碑進展里程碑進展 2.通用通用智能研究智能研究再再思考思考 3.人工智能的可解釋性人工智能的可解釋性“大數據“大數據+大模型大模型+大算力”的大算力”的人工智能發展探討人工智能發展探討 大腦可解釋性的多樣性大腦可解釋性的多樣性 5454 人類的精神人類的精神心智與認知心智與認知 大腦的區域大腦的

48、區域結構和功能結構和功能 神經系統生理神經系統生理結構與病變結構與病變 我頭好痛，該我頭好痛，該怎么辦？怎么辦？心理學家、神經科學家、醫生、患者，對大腦有不同的心理學家、神經科學家、醫生、患者，對大腦有不同的 解釋目標解釋目標，研究的對象各不相同，研究的手段也各有千秋。，研究的對象各不相同，研究的手段也各有千秋。心理學家心理學家 神經科學家神經科學家 腦科醫生腦科醫生 患者患者 AIAI可解釋可解釋性的多樣性性的多樣性 中央前回中央前回 （運動中樞）（運動中樞）額中回額中回 （書寫語言中樞）（書寫語言中樞）顳橫回顳橫回 （聽覺中樞）（聽覺中樞）枕葉枕葉 （視覺中樞）（視覺中樞）角回角回 （視覺

49、性語言中樞）（視覺性語言中樞）顳上回顳上回 （聽覺性語言中樞）（聽覺性語言中樞）中央后回中央后回 （軀體感覺中樞）（軀體感覺中樞）結構解釋結構解釋 解釋了大腦解釋了大腦的的結構結構，我我就知道頭痛就知道頭痛的病因了的病因了。5555 AIAI可解釋性的多樣性可解釋性的多樣性 5656 解析解釋解析解釋 開普勒第三定律開普勒第三定律：繞同一中：繞同一中心天體的所有行星的軌道的心天體的所有行星的軌道的半長軸的三次方跟它的公轉半長軸的三次方跟它的公轉周期的二次方的比值都相等周期的二次方的比值都相等，即即 AIAI可解釋性的多樣性可解釋性的多樣性 3*4*5=1716?邏輯解釋邏輯解釋 5757 基于

50、統計規律的語言生成模型不能確保邏輯正確性基于統計規律的語言生成模型不能確保邏輯正確性 已知x、y、z是連續正整數，xyz=571+572+573，求x+y+z AIAI可解釋性的多樣性可解釋性的多樣性 58 人的交流溝通實質人的交流溝通實質 是一種交互解釋是一種交互解釋 ChatGPT已已實現交互解釋實現交互解釋 交互解釋交互解釋 科學家科學家 AIAI可解釋性的多樣性可解釋性的多樣性 交互解釋交互解釋 邏輯邏輯解釋解釋 結構解釋結構解釋 解析解析解釋解釋 =11 大模型的可解釋性大模型的可解釋性？ChatGPT 哲學家哲學家 病人病人 醫生醫生 大模型大模型需要需要 多樣性解釋多樣性解釋 5

51、9 沒有將解釋沒有將解釋的認知理解的認知理解作為目標的作為目標的人工智能系人工智能系統，要實現統，要實現可解釋性，可解釋性，是是不可想象不可想象的。的。概念概念嵌入：可解釋的認知機器學習嵌入：可解釋的認知機器學習 60 建立從建立從隱變量特征隱變量特征空間到知識空間的映射，讓隱變量顯身，讓數據在概念維度投影空間到知識空間的映射，讓隱變量顯身，讓數據在概念維度投影 概念維度投影 概念維度嵌入 概念嵌入概念嵌入 隱變量特征空間 如果為聚的類賦予語義，就形成概念。語義概念 知識空間 概念概念嵌入的深度學習隱嵌入的深度學習隱空間解釋空間解釋 Liu Y,Liu Z,Li S,et al.Cloud-V

52、AE:Variational autoencoder with concepts embeddedJ.Pattern Recognition,2023,140:109530.61 通過“數據通過“數據概念”的抽取概念”的抽取，研究研究概念概念嵌入的深度學習隱空間的可解釋性嵌入的深度學習隱空間的可解釋性 針對在先驗分布下生成模型構建的隱空間缺乏可解釋性的問題，提出針對在先驗分布下生成模型構建的隱空間缺乏可解釋性的問題，提出Cloud-VAE，利利用先驗分布用先驗分布概念指導模型的后驗分布，從而概念指導模型的后驗分布，從而構建隱空間與概念空間的雙向映射關系構建隱空間與概念空間的雙向映射關系。模型訓

53、練過程中模型訓練過程中隱空間概念隱空間概念的變化的變化 顯式顯式解釋解釋隱空間的隱空間的聚合過程聚合過程，發現，發現更多語義更多語義信息信息 隱隱空間表示與概念空間相對應空間表示與概念空間相對應 Cloud-VAE 隱空間表示隱空間表示 概念空間概念空間 概念嵌入：概念嵌入：GAN隱空間解釋隱空間解釋 受腦認知啟發，構建符合人類認知的受腦認知啟發，構建符合人類認知的GANGAN隱空間解釋模型隱空間解釋模型 針對針對GAN隱空間高維稀疏不易直觀解釋的問題隱空間高維稀疏不易直觀解釋的問題，結合結合腦認知腦認知相關理論相關理論，構建符合人構建符合人類認知的類認知的GAN隱空間解釋隱空間解釋模型模型，

54、直觀地直觀地理解理解并并操控操控隱變量隱變量。腦認知腦認知+多粒度認知多粒度認知 隱空間隱空間 1-step2-step3-step4-steprestorerestorerestorerestore1-step2-step3-step4-steprestorerestorerestorerestore62 人工智能與網絡安全人工智能與網絡安全 6363 網絡安全的智能化挑戰網絡安全的智能化挑戰 與與 人工智能的安全性隱患人工智能的安全性隱患 可解釋性缺陷可能導致的安全隱患可解釋性缺陷可能導致的安全隱患 AIAI可可解釋性的挑戰解釋性的挑戰 64 AI可可解釋性解釋性的挑戰：的挑戰：AI可解釋可解釋性性的困難根源的困難根源 AI不可解釋的安全問題不可解釋的安全問題 數據隱私數據隱私 數據投毒數據投毒 數據偽造數據偽造 AI的正的正用、反用、反用用與與誤用誤用(AI的可信、的可信、可靠可靠與可與可控控)