清華大學：人工智能之機器學習2020年第1期（203頁）.pdf

1、人工智能之機器學習 Artificial Intelligence Report of Machine Learning 2020 年第 1 期 顧問：朱軍，唐杰 2020 年 1 月 1 概概述篇述篇 . 1 1.1 機器學習的概念 . 1 1.2 機器學習的發展歷史 . 2 2 技術篇技術篇 . 5 2.1 機器學習算法分類 . 5 2.2 機器學習的經典代表算法 . 10 2.3 生成對抗網絡及對抗機器學習 . 19 2.4 自動機器學習 . 29 2.5 可解釋性機器學習 . 36 2.6 在線學習 . 41 2.7 BERT . 45 2.8 卷積與圖卷積 . 56 2.9 隱私保護

2、 . 61 3 深度學習篇深度學習篇 . 67 3.1 卷積神經網絡 . 69 3.2 AutoEncoder . 71 3.3 循環神經網絡 RNN . 73 3.4 網絡表示學習與圖神經網絡 GNN . 74 3.5 增強學習 . 76 3.6 生成對抗網絡 . 78 3.7 老虎機 . 79 3.8 圖神經網絡 . 80 3.9 深度學習近期重要進展 . 82 4 論文解讀篇論文解讀篇 . 89 4.1 ICML 歷年最佳論文解讀 . 91 4.2 NeurlPS 歷年最佳論文解讀 . 99 4.3 專利解讀 . 112 5 人才篇人才篇 . 119 5.1 學者情況概覽 . 119 5

3、.2 代表性學者簡介 . 121 5.3 NeurIPS 十年高引學者 . 145 6 應用篇應用篇 . 151 6.1 算法應用場景 . 151 6.2 行業應用 . 154 6.3 企業應用 . 161 6.4 北京智譜華章科技有限公司介紹 . 174 7 趨勢篇趨勢篇 . 178 8 資源篇資源篇 . 182 8.1 開源代碼 . 182 8.2 預訓練 . 183 8.3 課程 . 183 8.4 數據集 . 184 8.5 機器學習知識樹 . 185 參考文獻參考文獻 . 187 圖目錄圖目錄 圖 1-1 機器學習相關概念的辨識 . 2 圖 1-2 機器學習基本過程 . 2 圖 1-

4、3 機器學習的發展歷程（1956-1995） . 3 圖 1-4 機器學習的發展歷程（2010-2016） . 4 圖 2-1 機器學習分類 . 5 圖 2-2 監督學習的基本流程 . 6 圖 2-3 非監督學習的基本流程 . 7 圖 2-4 一個典型的監督學習和非監督學習對比 . 8 圖 2-5 強化學習的基本框架 . 8 圖 2-6 強化學習的基本學習流程 . 10 圖 2-7 數據集的繪制 x 和 y 值 . 11 圖 2-8 一個簡單的隨機森林算法示意 . 12 圖 2-9 邏輯函數曲線圖 . 13 圖 2-10 kNN 算法簡單示例 . 14 圖 2-11 AdaBoost 執行 .

5、 15 圖 2-12 K-均值算法圖示 . 16 圖 2-13 SVM 的決策平面 . 17 圖 2-14 SVM 的核函數 . 17 圖 2-15 感知機 . 18 圖 2-16 典型的人工神經網絡結構 . 18 圖 2-17 GAN 發展脈絡 . 19 圖 2-18 GAN 網絡的架構 . 20 圖 2-19 BigGAN 生成的圖像 . 21 圖 2-20 StackGAN 生成的圖像 . 22 圖 2-21 CycleGAN 生成的圖像 . 22 圖 2-22 Pix2pix 生成的圖像 . 23 圖 2-23 Age-cGAN 生成的圖像 . 23 圖 2-24 GAN 創作的 Ed

6、mond de Belamy . 24 圖 2-25 Deep Fakes 換臉 . 24 圖 2-26 標簽操縱的分類準確率 . 26 圖 2-27 對輸入進行操縱導致的結果 . 26 圖 2-28 建立影子模型 . 29 圖 2-29 AutoML 基本過程 . 30 圖 2-30 從 ML 角度看 AutoML . 30 圖 2-31 從自動化角度看 AutoML . 30 圖 2-32 網格搜索與隨機搜索 . 31 圖 2-33 神經結構搜索方法示意圖 . 33 圖 2-34 ATMSeer 自動機器學習定制化工具的用戶友好型交互界面 . 34 圖 2-35 Online Learni

7、ng 流程 . 43 圖 2-36 Transformer 的網絡架構 . 46 圖 2-37 BERT 的模型結構 . 46 圖 2-38 GPT 與 ELMo 的對比 . 47 圖 2-39 BERT 模型輸入 . 47 圖 2-40 BERT 在不同任務中的模型 . 49 圖 2-41 XLNet 模型框架圖 . 51 圖 2-42 Two-Stream Self-Attention 機制 . 52 圖 2-43 Recurrence Mechanism 機制 . 53 圖 2-44 XLNet 與 BERT 的區別示例 . 53 圖 2-45 panBER 模型框架以及在 GLUE 中

8、的實驗結果 . 54 圖 2-46 MT-DNN 模型框架以及訓練算法 . 55 圖 2-47 使用知識蒸餾對 MT-DNN 模型進行優化 . 56 圖 2-48 骰子點數示意圖 . 57 圖 2-49 點數和為 4 的卷積示意圖 . 58 圖 2-50 點數和為 n 的卷積示意圖 . 58 圖 2-51 圖卷積示意圖 . 59 圖 2-52 一個圖的度矩陣、鄰接矩陣和拉普拉斯矩陣 . 60 圖 3-1 深度學習模型最近若干年的重要進展 . 67 圖 3-2 卷積神經網絡的重要進展 . 70 圖 3-3 Auto-Encoder 的重要進展 . 72 圖 3-4 循環神經網絡 RNN 的重要進

9、展 . 73 圖 3-5 網絡表示學習與圖神經網絡的重要進展 . 75 圖 3-6 增強學習的重要進展 . 77 圖 3-7 生成對抗網絡的重要進展 . 78 圖 3-8 老虎機的重要進展 . 79 圖 3-9 Video to Video Synthesis 生成的城市風景圖 . 83 圖 3-10 圖網絡模型 . 84 圖 3-11 MoCo 訓練編碼器 . 85 圖 3-12 三種對比損失機制的概念比較 . 85 圖 3-13 基于雙通道處理理論的認知系統框架 . 88 圖 5-1 機器學習領域全球學者分布 . 119 圖 5-2 機器學習領域學者 h-index 分布 . 120 圖 5-3 機器學習領域中國學者分布 . 120 圖 6-1 自動駕駛目標識別、運動預測 . 157 圖 7-1 機器學習技術趨勢 . 178 圖 7-2 機器學習國家趨勢 . 180 圖 7-3 機器學習機構趨勢 . 180 圖 7-4 機器學習學者趨勢 . 181 圖 8-1 機器學習三級知識樹 . 186 表目錄表目錄 表 4-1 ICML 近 10 年 best paper . 89 表 4-2 NeurIPS 近 10 年 best paper . 90 表 5-1 機器學習領域中國與各國合作論文情況 .