清華大學：人工智能之機器學習2020年第1期[50頁].pdf

1、 人工智能報告之機器學習 Artificial Intelligence Report of Machine Learning 2020 年第 1 期 顧問：唐杰 2020 年 1 月 II rQqPrRmQmRqOnPmNxPpOpM6M8Q7NsQnNsQmMiNoOrMiNpOpPbRpPzRvPtQtMxNtRrP 圖目錄 圖 1-1 機器學習發展歷程 . 1 圖 2-1 機器學習分類 . 2 圖 2-2 GAN 發展脈絡 . 3 圖 2-3 AutoML 基本過程 . 5 圖 2-4 ATMSeer 自動機器學習定制化工具的用戶友好型交互界面 . 5 圖 2-5 Transforme

2、r 的網絡架構 . 8 圖 2-6 圖卷積示意圖 . 9 圖 3-1 深度學習模型最近若干年的重要進展 . 11 圖 3-2 卷積神經網絡的重要進展 . 12 圖 3-3 Auto-Encoder 的重要進展 . 12 圖 3-4 循環神經網絡 RNN 的重要進展 . 13 圖 3-5 網絡表示學習與圖神經網絡的重要進展 . 13 圖 3-6 增強學習的重要進展 . 14 圖 3-7 生成對抗網絡的重要進展 . 14 圖 3-8 老虎機的重要進展 . 15 圖 5-1 機器學習領域全球學者分布 . 21 圖 5-2 機器學習領域學者 h-index 分布 . 22 圖 5-3 機器學習領域中國

3、學者分布 . 22 圖 6-1 自動駕駛目標識別、運動預測 . 31 圖 7-1 機器學習技術趨勢 . 35 表目錄 表 4-1 ICML 近 10 年 best paper . 18 表 4-2 NeurIPS 近 10 年 best paper . 19 表 5-1 機器學習領域中國與各國合作論文情況 . 23 表 5-2 NeurIPS 高引學者 TOP100 . 26 表 8-1 機器學習三級知識樹 . 錯誤錯誤!未定義書簽。未定義書簽。 概述篇 1 1 概述篇概述篇 1.1 機器學習機器學習的概念的概念 機器學習已經成為了當今的熱門話題， 但是從機器學習這個概念誕生到機器學習技術的

4、普遍應用經過了漫長的過程。 在機器學習發展的歷史長河中， 眾多優秀的學者為推動機器學 習的發展做出了巨大的貢獻。 從 1642 年 Pascal 發明的手搖式計算機， 到 1949 年 Donald Hebb 提出的赫布理論解 釋學習過程中大腦神經元所發生的變化，都蘊含著機器學習思想的萌芽。事實上，1950 年 圖靈在關于圖靈測試的文章中就已提及機器學習的概念。到了 1952 年，IBM 的亞瑟塞繆 爾（Arthur Samuel，被譽為“機器學習之父”）設計了一款可以學習的西洋跳棋程序。塞繆 爾和這個程序進行多場對弈后發現，隨著時間的推移，程序的棋藝變得越來越好1。塞繆爾 用這個程序推翻了以

5、往“機器無法超越人類，不能像人一樣寫代碼和學習”這一傳統認識。 并在 1956 年正式提出了“機器學習”這一概念。 對機器學習的認識可以從多個方面進行，有著“全球機器學習教父”之稱的 Tom Mitchell 則將機器學習定義為：對于某類任務 T 和性能度量 P，如果計算機程序在 T 上以 P 衡量的性能隨著經驗 E 而自我完善，就稱這個計算機程序從經驗 E 學習。 普遍認為，機器學習（Machine Learning，常簡稱為 ML）的處理系統和算法是主要通過 找出數據里隱藏的模式進而做出預測的識別模式，它是人工智能（Artificial Intelligence，常 簡稱為 AI）的一個重

6、要子領域。 1.2 機器學習機器學習的發展的發展歷史歷史 從機器學習發展的過程上來說，其發展的時間軸如下所示： 圖 1-1 機器學習發展歷程 人工智能之機器學習 2 2 技術篇技術篇 2.1 機器學習算法分類機器學習算法分類 機器學習算法可以按照不同的標準來進行分類。比如按函數 f (x，)的不同，機器學習 算法可以分為線性模型和非線性模型； 按照學習準則的不同， 機器學習算法也可以分為統計 方法和非統計方法。但一般來說，我們會按照訓練樣本提供的信息以及反饋方式的不同，將 機器學習算法分為監督學習、無監督學習和強化學習 2。 圖 2-1 機器學習分類 2.2 機器學習的經典代表算法機器學習的經

7、典代表算法 1980 年機器學習作為一支獨立的力量登上了歷史舞臺。 在這之后的 10 年里出現了一些 重要的方法和理論， 典型的代表是： 分類與回歸樹 （CART， 1984） 、 反向傳播算法 （1986） 、 卷積神經網絡（1989）。從 1990 到 2012 年，機器學習逐漸走向成熟和應用，在這 20 多年 里機器學習的理論和方法得到了完善和充實， 可謂是百花齊放的年代。 代表性的重要成果有： 支持向量機（SVM，1995）、AdaBoost 算法（1997）、循環神經網絡和 LSTM（1997）、流 形學習（2000）、隨機森林（2001）。機器學習代表算法包括3： 線性回歸 分類與

8、回歸樹（CART） 技術篇 3 隨機森林（Random Forest） 邏輯回歸 樸素貝葉斯（Naive Bayesian） k 最近鄰（kNN） AdaBoost K-均值算法（K-Means） 支持向量機（SVM） 人工神經網絡 ANN（Artificial Neural Network） 2.3 生成對抗網絡生成對抗網絡及對抗機器學習及對抗機器學習 2.3.1 生成生成對抗對抗網絡網絡 生成對抗網絡（Generative Adversarial Networks, GAN）是用于無監督學習的機器學習模 型，由 Ian Goodfellow 等人在 2014 年提出，由神經網絡構成判別器和

9、生成器構成，通過一 種互相競爭的機制組成的一種學習框架，GAN 在深度學習領域掀起了一場革命。傳統的生 成模型最早要追溯到 80 年代的 RBM，以及后來逐漸使用深度神經網絡進行包裝的 AutoEncoder，然后就是現在稱得上最火的生成模型 GAN4。 圖 2-2 GAN 發展脈絡 人工智能之機器學習 4 2.3.2 對抗機器學習對抗機器學習 對抗機器學習是一個機器學習與計算機安全的交叉領域。 對抗機器學習旨在給惡意環境 下的機器學習技術提供安全保障。 由于機器學習技術一般研究的是同一個或較為穩定的數據 分布，當部署到現實中的時候，由于惡意用戶的存在，這種假設并不一定成立。比如研究人 員發現

10、，一些精心設計的對抗樣本（adversarial example）可以使機器學習模型失敗輸出正確 的結果5。 針對模型的攻擊問題， 我們主要分為兩大類， 就是從訓練階段和推理 （inference） 階段來進行討論6。 訓練階段的攻擊 訓練階段的惡意攻擊（Training in Adversarial Settings），主要的目的就是針對模型的參 數進行微小的擾動， 從讓而模型的性能和預期產生偏差。 這樣的行為主要是通過數據投毒來 完成的7。 推理階段的攻擊（Inference in Adversarial Settings） 當訓練完成一個模型之后，這個模型就可以看做一個 BOX，那么這個

11、盒子中，對于我 們如果是透明的話， 我們就把它當成是 “白盒” 模型， 如果這個盒子中， 我們什么都看不了， 我們就把它當成“黑盒”模型。（我們在這個部分不討論灰盒模型）那么針對白盒和黑盒的 進攻手段自然是不同的， 但是最終的目的都是希望能對模型的最終結果產生破壞， 與預期脫 離。其影響力以及攻擊的構造粒度也是有所不同的。 2.4 自動機器學習自動機器學習 2.4.1 AutoML 自動機器學習（AutoML）旨在通過讓一些通用步驟（如數據預處理、模型選擇和調整 超參數）自動化，來簡化機器學習中生成模型的過程。AutoML 是指盡量不通過人來設定超 參數，而是使用某種學習機制，來調節這些超參數

12、。這些學習機制包括傳統的貝葉斯優化， 多臂老虎機（multi-armed bandit），進化算法，還有比較新的強化學習。自動機器學習不光 包括大家熟知的算法選擇，超參數優化，和神經網絡架構搜索，還覆蓋機器學習工作流的每 一步。自動機器學習的用處就在于此，它幫助研究人員和從業者，自動構建機器學習管道， 將多個步驟及其對應的多個選項集成為工作流， 以期快速找到針對給定問題的高性能機器學 習模型8。AutoML 的基本過程如下圖所示：虛框是配置空間，包括特征、超參數和架構； 左邊訓練數據進入， 上面的優化器和它相連， 定義的測度發現最佳配置， 最后出來的是模型； 測試數據在模型中運行，實現預測的目

13、的。 技術篇 5 圖 2-3 AutoML 基本過程 2.4.2 ATMSeer 近日，在 ACM CHI 計算系統中人的因素會議上，麻省理工學院，香港科技大學和浙江 大學的研究人員共同研發出一種工具， 將 AutoML 方法的分析和控制權給到用戶手中。 該工 具名為 ATMSeer，它將 AutoML 系統、數據集和有關用戶任務的一些信息作為輸入，然后 在用戶友好型的界面內實現可視化搜索過程，界面中還能提供更多關于模型性能的信息。 圖 2-4 ATMSeer 自動機器學習定制化工具的用戶友好型交互界面 上圖是 ATMSeer 生成的一個用戶友好界面，顯示有關所選模型性能的深入信息，以及 可調

14、整的算法和參數的選項9。對沒有 AutoML 經驗的機器學習專家的案例研究表明，讓用 戶掌握控制權確實有助于提高 AutoML 應用的性能和效率。 對生物學、 金融等不同科學領域 的 13 位研究生的研究也表明，確定用戶對 AutoML 的搜索的自定義關鍵有三點：搜索的算 人工智能之機器學習 6 法數量、系統運行時間以及查找表現最好的模型。研究人員表示，這些信息可用來為用戶量 身定制系統10。 2.5 可解釋性機器學習可解釋性機器學習 可解釋性是指人類能夠理解決策原因的程度。 機器學習模型的可解釋性越高， 人們就越 容易理解為什么做出某些決定或預測。 模型可解釋性指對模型內部機制的理解以及對模

15、型結 果的理解。其重要性體現在：建模階段，輔助開發人員理解模型，進行模型的對比選擇，必 要時優化調整模型； 在投入運行階段， 向業務方解釋模型的內部機制， 對模型結果進行解釋。 比如基金推薦模型，需要解釋：為何為這個用戶推薦某支基金。 機器學習流程步驟：收集數據、清洗數據、訓練模型、基于驗證或測試錯誤或其他評價 指標選擇最好的模型。第一步，選擇比較小的錯誤率和比較高的準確率的高精度的模型。第 二步，面臨準確率和模型復雜度之間的權衡，但一個模型越復雜就越難以解釋。一個簡單的 線性回歸非常好解釋， 因為它只考慮了自變量與因變量之間的線性相關關系， 但是也正因為 如此，它無法處理更復雜的關系，模型在

16、測試集上的預測精度也更有可能比較低。而深度神 經網絡處于另一個極端， 因為它們能夠在多個層次進行抽象推斷， 所以他們可以處理因變量 與自變量之間非常復雜的關系， 并且達到非常高的精度。 但是這種復雜性也使模型成為黑箱， 我們無法獲知所有產生模型預測結果的這些特征之間的關系， 所以我們只能用準確率、 錯誤 率這樣的評價標準來代替，來評估模型的可信性。事實上，每個分類問題的機器學習流程中 都應該包括模型理解和模型解釋11。 2.6 在線學習在線學習 傳統的機器學習算法是批量模式的， 假設所有的訓練數據預先給定， 通過最小化定義在 所有訓練數據上的經驗誤差得到分類器。 這種學習方法在小規模規模上取得

17、了巨大成功， 但 當數據規模大時，其計算復雜度高、響應慢，無法用于實時性要求高的應用。與批量學習不 同，在線學習假設訓練數據持續到來，通常利用一個訓練樣本更新當前的模型，大大降低了 學習算法的空間復雜度和時間復雜度，實時性強。在大數據時代，大數據高速增長的特點為 機器學習帶來了嚴峻的挑戰， 在線學習可以有效地解決該問題， 引起了學術界和工業界的廣 泛關注。早期在線學習應用于線性分類器產生了著名的感知器算法，當數據線性可分時，感 知器算法收斂并能夠找到最優的分類面。 經過幾十年的發展， 在線學習已經形成了一套完備 的理論，既可以學習線性函數，也可以學習非線性函數，既能夠用于數據可分的情況，也能

18、夠處理數據不可分的情況。下面我們給出一個在線學習形式化的定義及其學習目標。 技術篇 7 根據學習器在學習過程中觀測信息的不同， 在線學習還可以再進一步分為： 完全信息下 的在線學習和賭博機在線學習。 前者假設學習器可以觀測到完整的損失函數， 而后者假設學 習器只能觀測到損失函數在當前決策上的數值，即，以在線分類為例，如果學習器可以觀測 到訓練樣本， 該問題就屬于完全信息下的在線學習， 因為基于訓練樣本就可以定義完整的分 類誤差函數； 如果學習器只能觀測到分類誤差而看不到訓練樣本， 該問題就屬于賭博機在線 學習。由于觀測信息的不同，針對這兩種設定的學習算法也存在較大差異，其應用場景也不 同12。

19、 2.7 BERT BERT 的全稱是 Bidirectional Encoder Representation from Transformers，即雙向 Trans former 的 Encoder?？梢哉f是近年來自殘差網絡最優突破性的一項技術了。BERT 主要特點 以下幾點： 1）使用了 Transformer 作為算法的主要框架，Trabsformer 能更徹底的捕捉語句中的雙 向關系13； 2）使用了 Mask Language Model（MLM）14和 Next Sentence Prediction（NSP）的多任 務訓練目標； 3）使用更強大的機器訓練更大規模的數據，使 BE

20、RT 的結果達到了全新的高度，并且 Google 開源了 BERT 模型，用戶可以直接使用 BERT 作為 Word2Vec 的轉換矩陣并高效的 將其應用到自己的任務中。 BERT 的本質上是通過在海量的語料的基礎上運行自監督學習方法為單詞學習一個好 的特征表示， 所謂自監督學習是指在沒有人工標注的數據上運行的監督學習。 在以后特定的 NLP 任務中，我們可以直接使用 BERT 的特征表示作為該任務的詞嵌入特征。所以 BERT 提供的是一個供其它任務遷移學習的模型， 該模型可以根據任務微調或者固定之后作為特征 提取器。BERT 的源碼和模型已經在 Github 上開源，簡體中文和多語言模型也已

21、開源。 BERT 的網絡架構使用的是“Attention is all you need”中提出的多層 Transformer 結構， 其最大的特點是拋棄了傳統的 RNN 和 CNN，通過 Attention 機制將任意位置的兩個單詞的 距離轉換成 1，有效的解決了 NLP 中棘手的長期依賴問題。Transformer 的網絡架構如下圖 所示，Transformer 是一個 encoder-decoder 的結構，由若干個編碼器和解碼器堆疊形成。下 圖的左側部分為編碼器，由 Multi-Head Attention 和一個全連接組成，用于將輸入語料轉化 成特征向量。右側部分是解碼器，其輸入為編

22、碼器的輸出以及已經預測的結果，由 Masked Multi-Head Attention, Multi-Head Attention 以及一個全連接組成，用于輸出最后結果的條件 概率。 人工智能之機器學習 8 圖 2-5 Transformer 的網絡架構 2.8 卷積卷積與與圖卷積圖卷積 2.8.1 卷卷積積 兩個函數的卷積，本質上就是先將一個函數翻轉，然后進行滑動疊加。在連續情況下， 疊加指的是對兩個函數的乘積求積分， 在離散情況下就是加權求和， 為簡單起見就統一稱為 疊加。教科書上一般定義函數 f, g 的卷積 f * g(n)如下： 連續形式： 離散形式： 從計算的方式上對公式進行的解

23、釋為：先對 g 函數進行翻轉，相當于在數軸上把 g 函數從右邊褶到左邊去，也就是卷積的“卷”的由來。然后再把 g 函數平移到 n，在這個位 置對兩個函數的對應點相乘，然后相加，這個過程是卷積的“積”的過程。整體看來是這么 個過程： 翻轉滑動疊加滑動疊加滑動疊加 技術篇 9 多次滑動得到的一系列疊加值，構成了卷積函數。卷積的“卷”，指的的函數的翻轉， 從 g(t)變成 g(-t)的這個過程；同時，“卷”還有滑動的意味在里面。如果把卷積翻譯為“褶 積”，那么這個“褶”字就只有翻轉的含義了。卷積的“積”，指的是積分/加權求和。對卷 積的意義的理解如下： 1）從“積”的過程可以看到，我們得到的疊加值，

24、是個全局的概念。以信號分析為例， 卷積的結果是不僅跟當前時刻輸入信號的響應值有關， 也跟過去所有時刻輸入信號的響應都 有關系，考慮了對過去的所有輸入的效果的累積。在圖像處理的中，卷積處理的結果，其實 就是把每個像素周邊的， 甚至是整個圖像的像素都考慮進來， 對當前像素進行某種加權處理。 所以說，“積”是全局概念，或者說是一種“混合”，把兩個函數在時間或者空間上進行混 合。 2）進行“卷”（翻轉）的目的其實是施加一種約束，它指定了在“積”的時候以什么 為參照。在信號分析的場景，它指定了在哪個特定時間點的前后進行“積”，在空間分析的 場景，它指定了在哪個位置的周邊進行累積處理15。 2.8.2 圖

25、卷圖卷積積 要理解圖卷積網絡的核心操作圖卷積，可以類比卷積在 CNN 的地位。如下圖所示，數 字圖像是一個二維的離散信號，對數字圖像做卷積操作其實就是利用卷積核（卷積模板）在 圖像上滑動， 將圖像點上的像素灰度值與對應的卷積核上的數值相乘， 然后將所有相乘后的 值相加作為卷積核中間像素對應的圖像上像素的灰度值，并最終滑動完所有圖像的過程。 圖 2-6 圖卷積示意圖 現實中更多重要的數據集都是用圖的形式存儲的，例如社交網絡信息、知識圖譜、蛋白 質網絡、萬維網等等。這些圖網絡的形式并不像圖像，是排列整齊的矩陣形式，而是非結構 化的信息， 那有沒有類似圖像領域的卷積一樣， 有一個通用的范式來進行圖特

26、征的抽取呢？ 這就是圖卷積在圖卷積網絡中的意義。對于大多數圖模型，有一種類似通式的存在，這些模 型統稱圖卷積網絡。因此可以說，圖卷積是處理非結構化數據的大利器，隨著這方面研究的 逐步深入， 人類對知識領域的處理必將不再局限于結構化數據， 會有更多的目光轉向這一存 在范圍更加廣泛，涵蓋意義更為豐富的知識領域16。 人工智能之機器學習 10 2.9 隱私保護隱私保護 2019 年，清華大學人工智能研究院長張鈸院士、唐杰教授、李涓子教授等人聯合發起 “AI TIME”science debate，希望用辯論的形式，探討人工智能和人類未來之間的矛盾，探 索人工智能領域的未來。 AI TIME 是一群關

27、注人工智能發展，并有思想情懷的青年人創辦的 圈子。AI TIME 旨在發揚科學思辨精神，邀請各界人士對人工智能理論、算法、場景、應用 的本質問題進行探索，加強思想碰撞，打造成為北京乃至全國知識分享的聚集地。 在“AI TIME 4”及“AI TIME in U 之走進北郵”活動中，受邀的專家對隱私保護以及 機器學習與隱私保護的聯系展開了深入的探討，相關論述觀點請關注學術頭條獲取。 深度學習篇 11 3 深度學習深度學習篇篇 深度學習是近 10 年機器學習領域發展最快的一個分支，由于其重要性，三位教授 （Geoffrey Hinton、Yann Lecun、Yoshua Bengio）因此同獲圖

28、靈獎。深度學習模型的發展可 以追溯到 1958 年的感知機（Perceptron）。1943 年神經網絡就已經出現雛形（源自 NeuroScience），1958 年研究認知的心理學家 Frank 發明了感知機，當時掀起一股熱潮。后 來 Marvin Minsky（人工智能大師）和 Seymour Papert 發現感知機的缺陷：不能處理異或回 路等非線性問題， 以及當時存在計算能力不足以處理大型神經網絡的問題。 于是整個神經網 絡的研究進入停滯期。 最近 30 年來取得快速發展?？傮w來說，主要有 4 條發展脈絡： 圖 3-1 深度學習模型最近若干年的重要進展 以下各小節是對深度學習不同方面發

29、展情況的梳理： 人工智能之機器學習 12 3.1 卷積神經網絡卷積神經網絡 圖 3-2 卷積神經網絡的重要進展 3.2 AutoEncoder 圖 3-3 Auto-Encoder 的重要進展 AutoEncoder(1986) Perceptron(1958) BPNN/MLP(1986) Contractive AutoEncoder(2011) Sparse AutoEncoder(2007) Convolutional AutoEncoder(2011) Variational AutoEncoder(2013) Jrgen Schmidhuber IDSIA Universal AI

30、 Yoshua Bengio University of Montreal Deep learning Andrew Ng Stanford University Machine learning Max Welling University of Amsterdam statistical learning Geoffery Hinton University of Toronto deep learning Regul ari zati on N oi se tol erance G enerati ve m odel Speci fi c dom ai n Robust AutoEnco

31、der(2014) LSTM AutoEncoder(2015) Ian Goodfellow Google Brain deep adversarial learning GAN(2014) adversarial AutoEncoder(2016) info-VAE(2017) RBM(1986/2006) Deep Belief Nets(2006) Dennoising AutoEncoder(2011) factorVAE(2018) beta-VAE(2017) 深度學習篇 13 3.3 循環神經網絡循環神經網絡 RNN 圖 3-4 循環神經網絡 RNN 的重要進展 3.4 網絡表

32、示學習與圖神經網絡網絡表示學習與圖神經網絡 GNN 圖 3-5 網絡表示學習與圖神經網絡的重要進展 人工智能之機器學習 14 3.5 增強學習增強學習 圖 3-6 增強學習的重要進展 3.6 生成對抗網絡生成對抗網絡 圖 3-7 生成對抗網絡的重要進展 深度學習篇 15 3.7 老虎機老虎機 圖 3-8 老虎機的重要進展 3.8 圖神經網絡圖神經網絡 圖神經網絡的概念首先由 Gori 等人于 2005 年提出，并由 Scarselli 等人進一步闡明。這 些早期的研究以迭代的方式通過循環神經架構傳播鄰近信息來學習目標節點的表示， 直到達 到穩定的固定點。該過程所需計算量龐大，而近來也有許多研究

33、致力于解決這個難題。一般 情況下，圖神經網絡代表的是所有用于圖數據的深度學習方法。 受到卷積網絡在計算機視覺領域所獲巨大成功的激勵， 近來出現了很多為圖數據重新定 義卷積概念的方法。這些方法屬于圖卷積網絡（GCN）的范疇。Bruna 等人于 2013 年提出 了關于圖卷積網絡的第一項重要研究，他們基于譜圖論（spectralgraphtheory）開發了一種圖 卷積的變體。自此，基于譜的圖卷積網絡不斷改進、拓展、進階。由于譜方法通常同時處理 整個圖，并且難以并行或擴展到大圖上，基于空間的圖卷積網絡開始快速發展。這些方法通 過聚集近鄰節點的信息，直接在圖結構上執行卷積。結合采樣策略，計算可以在一

34、個批量的 節點而不是整個圖中執行，這種做法有望提高效率。除了圖卷積網絡，近幾年還開發出了很 多替代的圖神經網絡。這些方法包括圖注意力網絡（GAT）、圖自編碼器、圖生成網絡以及 圖時空網絡。 Battaglia 等人將圖網絡定位為從關系數據中學習的構建塊， 并在統一的框架下回顧了部 分圖神經網絡。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見解。 Lee 等人對圖注意力模型（一種圖神經網絡）進行了部分調查。最近，Zhang 等人提出了一 人工智能之機器學習 16 項關于圖深度學習的最新調查，卻忽略了對圖生成網絡和圖時空網絡的研究?？傊?，現有的 研究沒有一個對圖神經網絡進行全面的回

35、顧， 只覆蓋了部分圖卷積神經網絡且檢查的研究有 限，因此遺漏了圖神經網絡替代方法的最新進展，如圖生成網絡和圖時空網絡17。 3.9 深度學習近期重要進展深度學習近期重要進展 在過去幾年中， 深度學習改變了整個人工智能的發展。 深度學習技術已經開始在醫療保 健，金融，人力資源，零售，地震檢測和自動駕駛汽車等領域的應用程序中出現。至于現有 的成果表現也一直在穩步提高。本小節將介紹深度學習近期的一些重要進展。 3.9.1 2018 年三大進展年三大進展 BERT 模型 BERT 的全稱是 Bidirectional Encoder Representation from Transformers，是

36、基于深度雙向 Transformer 的預訓練模型，能用所有層的上下文語境訓練深度雙向表征。 自 Google 在 2018 年公布 BERT 在 11 項 nlp 任務中的卓越表現后，BERT 就成為 NLP 領域大火的模型。關于 BERT 的詳細介紹請參見 2.9 節的內容。 視頻到視頻合成（Video-to-Video Synthesis） 我們通常習慣由圖形引擎創建的模擬器和視頻游戲進行環境交互。雖然令人印象深刻， 但經典方法的成本很高，因為必須精心指定場景幾何、材料、照明和其他參數。一個很好的 問題是：是否可以使用例如深度學習技術自動構建這些環境。NVIDIA 的研究人員解決了這 個

37、問題。他們的目標是在源視頻和輸出視頻之間提供映射功能，精確描繪輸入內容。作者將 其建模為分布匹配問題， 其目標是使自動創建視頻的條件分布盡可能接近實際視頻的條件分 布。為實現這一目標，他們建立了一個基于生成對抗網絡（GAN）的模型。在 GAN 框架內 的關鍵思想是， 生成器試圖產生真實的合成數據， 使得鑒別器無法區分真實數據和合成數據。 他們定義了一個時空學習目標，旨在實現暫時連貫的視頻18。 圖網絡（Graph Network） DeepMind聯合谷歌大腦、 MIT等機構27位作者發表重磅論文 “Relational inductive biases, deep learning, and

38、 graph networks”，提出“圖網絡”（Graph network），將端到端學習與歸 納推理相結合， 有望解決深度學習無法進行關系推理的問題。 作者認為組合泛化是人工智能 實現與人類相似能力的首要任務， 而結構化表示和計算是實現這一目標的關鍵， 實現這個目 標的關鍵是結構化的表示數據和計算。該論文討論了圖網絡如何支持關系推理和組合泛化， 為更復雜的、可解釋的和靈活的推理模式奠定基礎19。 深度學習篇 17 3.9.2 2019 年三大進展年三大進展 XLNet 模型 XLNet 是 CMU 與谷歌大腦提出的全新 NLP 模型，在 20 個任務上超過了 BERT 的表 現，并在 18

39、 個任務上取得了當前最佳效果，包括機器問答、自然語言推斷、情感分析和文 檔排序。關于 XLNet 及其與 BERT 關系的詳細介紹請參見 2.9 節的內容。 MoCo 何愷明在其工作“Momentum Contrast for Unsupervised Visual Representation Learning” 中提出了動量對比度（MoCo）用于無監督的視覺表示學習。從作為字典查找的對比學習的 角度來看， 作者構建了一個帶有隊列和移動平均編碼器的動態字典。 這樣就可以實時構建大 型且一致的詞典，從而促進對比性的無監督學習。MoCo 在 ImageNet 分類的通用線性協議 下提供了競爭性的

40、結果。更重要的是，MoCo 學習到的表示將轉移到下游任務。MoCo 可以 勝過在 PASCAL VOC，COCO 和其他數據集上進行監督的預訓練對等任務中的檢測/細分任 務，有時會大大超過它。這表明在許多視覺任務中，無監督和有監督的表征學習之間的鴻溝 已被大大消除20。 DL System 2 Yoshua Bengio在NeuIPS 2019上的報告 “FROM SYSTEM 1 DEEP LEARNING TO SYSTEM 2 DEEP LEARNING”討論了深度學習發展的方向，引起了廣泛關注，清華大學的唐杰教授 對其進行了深度解讀，請關注學術頭條公眾號獲取相關信息。 人工智能之機器學

41、習 18 4 論文解讀篇論文解讀篇 ICML 和 NeurlPS 是機器學習領域的兩個頂級學術會議。 ICML ICML， 全稱 International Conference on Machine Learning， 是由國際機器學習學會 （IMLS） 主辦的年度機器學習國際頂級會議。 NeurlPS NeurlPS，全稱 Conference and Workshop on Neural Information Processing Systems，是機 器學習和計算神經科學的國際頂級會議，由 NIPS 基金會主辦。 我們選取了 ICML 與 NeurlPS 近 10 年來的最佳論文獎，如表 4-1、表 4-2 所列舉，并在 完整版報告對這些獲獎論文進行了解讀。 表 4-1 ICML 近 10 年 best paper ICML (International Conference on Mac