2019年深度學習在企業智能交互中的應用.pdf

《2019年深度學習在企業智能交互中的應用.pdf》由會員分享，可在線閱讀，更多相關《2019年深度學習在企業智能交互中的應用.pdf（28頁珍藏版）》請在三個皮匠報告上搜索。

1、深度學習在企業智能交互中的應用追一科技 潘晟鋒企業智能交互系統的劃分思考企業智能交互系統的劃分思考深度學習在智能交互當中的應用深度學習在企業服務中的實踐擬人度包含兩個方面，它需要像人一樣處理復雜問題的能力；同時也需要像人與人之間的交互一樣自然擬人度作為人工智能產品，其本意是為了替代繁重的人工成本。因此我們希望智能系統能夠快速復制到相近的場景當中去可復制作為企業服務的一部分，智能交互系統需要提供高效的交互效率，從而提升企業為客戶服務的效率效率目標不同的知識載體形式代表智能交互系統所能“理解”的知識范圍知識載體形式不同的交互方式影響著智能交互系統的“自然”程度交互的方式不同的角色影響智能交互系統所

2、需要掌握的功能交互角色劃分智能交互系統劃分的思考交互角色復雜場景質檢合規員員工與用戶戶員員工與數據工作流程效率優先用戶戶與數據限定場景用戶體驗智能交互系統劃分的思考交互方式的劃分通過語音交互可以讓人更加方便自然，而口語化和書寫文本的差異以及復雜環境的語音識別也帶來新的挑戰語語音面對面交流能帶給人更加親切和自然的感受，隨著CV技術的發展這一方向也開始變得可行視覺視覺人接受的信息很大一部分是以自然語言的方式承載，文本交互方式是智能交互技術的基石，也是NLP的核心所在文本智能交互系統劃分的思考無結構化的文檔知識，如條款、說明書等文檔知識庫中的實體以知識圖譜的方式連接知識圖譜識圖譜對應傳統客服中的常用

3、知識總結方式FAQ知識載體形式劃分企業中的表格類知識數據庫庫知識庫知識庫半結構化半結構化結構化結構化無結構化無結構化FAQ數據庫數據庫文檔文檔知識圖譜知識圖譜智能交互系統劃分的思考企業智能交互系統的劃分思考深度學習在智能交互當中的應用深度學習在智能交互當中的應用深度學習在企業服務中的實踐挑戰戰文本的一對多映射問題問題形式FAQ數量FAQ更新應對企業業務的變化，FAQ需要進行熱更穩定性模型的穩定性影響實際使用效果NL to FAQ如何開戶戶請問怎么開戶請問怎么開戶開戶怎么弄開戶怎么弄在哪開戶在哪開戶FAQQuery深度學習在智能交互中的應用在實際場景中，FAQ的數量很多思路借鑒人臉識別中的方法*

4、探索方法優化余弦距離加入邊際拉大類間距離NL to FAQ深度學習在智能交互中的應用讓類內樣本聚集思路使用Zero-shot Learning方法探索方法多層級相似性動態路由NL to FAQ深度學習在智能交互中的應用使用多頭注意力機制計算FAQ與樣本間的不同層級的相似性利用動態路由融合不同層級之間的相似性思路利用對抗訓練*減少擾動干擾探索方法加入擾動NL to FAQ深度學習在智能交互中的應用在詞嵌入中加入擾動提升抗干擾能力挑戰戰2019 Language Intelligence Challenge 知識驅動對話賽事冠軍問題問題形式圍繞話題機器人需要圍繞給定話題進行對話利用知識背景利用話題

5、相關的知識背景進行對話話題切換機器人需要完成給定話題間的切換知識轉寫需要知識內容進行理解并做相應改寫NL to KG深度學習在智能交互中的應用思路NL to KG模型結構利用Bert對長距離序列建模的優勢，將知識和對話拉平作為一個長序列生成問題深度學習在智能交互中的應用思路NL to KG輸入結構利用Type Embedding表達數據結構深度學習在智能交互中的應用思路NL to KG注意力控制利用不同的Attention Mask控制信息流動深度學習在智能交互中的應用Knowledge pretrain思路NL to KG深度學習在智能交互中的應用對知識背景進行pretrain讓模型知識間的

6、關系Multi-task文本生成與文本分類同時訓練，在生成流暢對話的同時保持話題的一致性推理加速NL to KG深度學習在智能交互中的應用保留歷史計算結果GPT生成過程中存在重復計算，保留歷史計算結果可顯著增加速度序列生成速度提升10倍數據構成首個中文NL2SQL數據集，首屆NL2SQL挑戰賽問題問題形式金融領域與通用領域NL to SQL深度學習在智能交互中的應用拒識數據泛化要求包含表格中無答案問句與WikiSQL相比，要求更高的模型泛化能力4千多表格，1萬6千句SQL，5萬自然語言問句與英文數據集WikiSQL相比有更大的難度BaselineNL to SQL深度學習在智能交互中的應用SQ

7、Lova*，將NL2SQL拆分為一系列子任務NL to Document深度學習在智能交互中的應用思路CMRC2018閱讀理解比賽冠軍探索方法R-NET&ELMoNL to Document深度學習在智能交互中的應用BertBert在整體效果上表現更好賽事模型方案選用了微軟提出的R-NET結構，并使用ELMo作為詞表征深度學習在智能交互當中的應用深度學習在企業服務中的實踐深度學習在企業服務中的實踐企業智能交互系統的劃分思考深度學習在企業服務中的實踐公有云自有數據行業基礎知識私有化獨有數據業務專家知識技術服務業務運維無感知用戶用戶服務商服務商企業企業進行數據整理標注模型教育統計統計分析通過任務管

8、理模塊進行資源調度，以任務為單位進行模型訓練模型訓練訓練模型服務務整體流程深度學習在企業服務中的實踐進行標注數據，模型訓練情況以及線上實時情況的統計分析對接業務層，同時也為數據標注提供輔助數據利用率方法教育輔助深度學習在企業服務中的實踐利用模型輔助提升數據利用率相似樣本檢索利用模型從無標注數據中發現樣本輔助標注樣本生成利用模型依照給定樣本生成新的樣本數據利用率方法教育輔助深度學習在企業服務中的實踐利用模型輔助提升數據利用率相似樣本檢索利用模型從無標注數據中發現樣本輔助標注樣本生成利用模型依照給定樣本生成新的樣本參考文獻 Y.Wen,K.Zhang,Z.Li,and Y.Qiao.A discr

9、iminative feature learning approach for deep face recognition.In ECCV,2016.X.Zhang,Z.Fang,Y.Wen,Z.Li,and Y.Qiao.Range loss for deep face recognition with long-tail.Ian J Goodfellow,Jonathon Shlens,and Christian Szegedy.Explaining and harnessing adversarial examples.In ICLR,2015.Geng,R.,Li,B.,Li,Y.,Y

10、e,Y.,Jian,P.,&Sun,J.(2019).Few-Shot Text Classification with Induction Network.arXiv,1902.10482v1.Ye,M.,&Guo,Y.(2018).Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection.arXiv:1808.02474 W.Wan,Y.Zhong,T.Li,and J.Chen.Rethinking feature distribution for loss functions in ima

11、ge classification.arXiv:1803.02988,2018 Xia,C.,Zhang,C.,Yan,X.,Chang,Y.,&Yu,P.S.(2018).Zero-shot User Intent Detection via Capsule Neural Networks.Proceedings from Empirical Methods in Natural Language Processing Guu,K.,Hashimoto,T.B.,Oren,Y.,&Liang,P.(2017).Generating Sentences by Editing Prototype

12、s.arXiv:1709.08878 Miyato,T.,Dai,A.M.,&Goodfellow,I.(2016).Adversarial Training Methods for Semi-Supervised Text Classification.Proceedings from International Conference on Learning Representations Geng,R.,Li,B.,Li,Y.,Ye,Y.,Jian,P.,&Sun,J.(2019).Few-Shot Text Classification with Induction Network.arXiv,1902.10482v1.Hwang,W.,Yim,J.,Park,S.,&Seo,M.(2019).A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization.arXiv,1902.01069v1.