語言智能與應用論壇：深度學習與自然語言處理—陳恩紅（13頁）.pdf

《語言智能與應用論壇：深度學習與自然語言處理—陳恩紅（13頁）.pdf》由會員分享，可在線閱讀，更多相關《語言智能與應用論壇：深度學習與自然語言處理—陳恩紅（13頁）.pdf（13頁珍藏版）》請在三個皮匠報告上搜索。

1、深度學習與自然語言處理深度學習與自然語言處理 中國科學技術大學 陳恩紅 教授 深度學習應用于自然語言處理 隨著深度學習在語音，圖像上取得突破，大家開始將注意力轉移到自然語言處理領域。詞匯蘊含識別 詞匯蘊含識別是文本蘊含識別的重要組成部分 前提句：小明被一只狗咬了 假設句：小明被一只動物攻擊了 如果我們可以知道：“狗”蘊涵“動物”“咬”蘊涵“攻擊”詞匯蘊含識別的應用：單選題自動作答 詞匯蘊含具有很大挑戰 詞義多樣性：果實 蘊含關系多樣性：因果關系、上下位關系 組合方式多樣性 我們提出了基于深度神經網絡的詞匯蘊含識別方法 試題難度預測 通過題目文本信息與歷史答題記錄，預測試題在新的考試中的難度。英

2、語閱讀文檔、問題及選項 從歷史考試記錄獲取試題難度 試題難度預測 我們提出了基于深度卷積神經網絡的試題難度預測方法 深度學習在NLP領域應用尚未成熟 深度學習技術在自然語言處理領域已經初步取得了一些成果 然而相比其在圖像、語音方面的應用已經趨于成熟，深度學習技術在NLP領域尚處于探索階段 閱讀理解 長文本生成 聊天機器人 Miao The cat sat on the mat.圖像：原始信息 音頻：原始信息 語言：抽象信息 建模抽象信息 建模抽象信息需要的不僅需要數據規模龐大，還需要數據多元化 大量多元化數據難以獲取 多元化數據難以融合 領域知識錯綜復雜 知之為知之，不知為不知，是知也。知道就

3、是知道，不知道就是不知道，這就是知道。多元化情境影響語義 能穿多少穿多少 能穿多少穿多少 數據量影響模型擬合效果 問答系統需要融入領域知識 規則到深度學習的過渡 針對數據量不足、類型不夠豐富的挑戰 基于規則構建原型系統，從而積累數據 隨著數據量的提升與數據類型的豐富，逐漸引入深度學習技術 深度學習不能完全替代規則方法 即便擁有大量的多元化數據，我們也不能單獨依靠深度學習處理一些較為復雜的問題 數學試題回答 我們可以首先通過深度學習的方法選取正確的規則方法（確定題目類型，數學模型），然后運用相應的規則形式化的表示題目，進而求解 問題：甲、乙兩車同時從A、B兩站相對開出，第一次相遇離A站有90千米

4、，然后各自按原速繼續行駛，分別到達對方出發站后立即沿原路返回。第二次相遇時離A站的距離占AB兩站全長的65%。求AB兩站的距離。深度學習技術尚不完美 比如，神經網絡會得出十分詭異的結果 不正確,但也不是人類能理解的那種錯誤 Google 的神經網絡畫的詭異圖畫 神經網絡和人腦并不相同 大腦中的一個單個神經元就是一個極其復雜的機器，即使在今天，我們也還不能理解它。而神經網絡中的一個神經元只是一個極其簡單的數學函數，它只能獲取生物神經元復雜性中極小的一部分。所以，如果要說神經網絡模擬大腦，那也只在不夠精確的啟發水平上是對的，但事實上人工神經網絡和生物大腦沒什么相似之處。吳恩達 來自Google、F

5、acebook、紐約大學和蒙特利爾大學的研究者開發了一個神經網絡系統,該系統認為左圖是一只狗，而右圖（僅在左圖的基礎上略微改變了像素）是一只鴕鳥。最先進的大腦成像技術生成的有趣大腦視圖 思考與展望 深度學習在NLP領域，如何能體現“深度”的思想？當前應用還說不上很Deep：以淺層的CNN和RNN為主。深度學習在NLP領域，如何與其他技術結合？深度學習+強化學習：例如將商品購買情況作為reward，來引導基于深度學習的客服對話系統。深度學習+遷移學習：例如用遷移學習的方法將通用領域的情感分類模型遷移到微博情感分類。深度學習+多任務學習：例如將中譯英，中譯日等機器翻譯任務進行多任務學習訓練。思考與展望 如何減少對標注數據的依賴，更好利用無監督數據？使用無監督語料上訓練得到的詞向量。對偶學習：機器翻譯任務中，英譯中和中譯英互為對偶任務，可以利用中文和英文的單語語料，結合少量中英平行語料，利用對偶學習進行訓練。深度學習和傳統方法如何結合？深度神經網絡的特征中引入傳統方法：例如機器翻譯任務中，將詞的詞性，句法，命名實體信息加入到輸入特征。深度神經網絡的設計借鑒傳統方法：神經網絡機器翻譯的Attention機制，就是借鑒傳統方法中的詞對齊。謝謝！