2019年語音對話機器人在阿里小蜜中的相關技術探索.pdf

1、業務流程呼出呼入系統流程ASRTTSNLGNLUDSTDP語音對話-難點理想的樣子 槽位填充 意圖識別 領域識別 現實情況 復雜流程 和 簡單問答 混合 純語音的交互，口語化 用戶異常交互多 迭代周期短，效果要求高 小蜜語音對話-系統架構分詞詞性NER情緒識別意圖識別槽位填充領域識別QA問答狀態追蹤任務對話策略語音對話策略融合策略對話模板對話生成NLUNLU-CASE消費者：商家不同意退貨怎么辦消費者喂您好，我上個星期買的衣服，我要退貨機器人請問，您是說是上個星期，在*旗艦店，買的*衛衣么消費者是的消費者機器人機器人answer消費者：繼續剛才的流程QAdomain：維權slot：time:上

2、星期 goods：衣服intent:退貨NLUNLU-怎么拆理解句子中的實體理解對話的意圖，用戶的情緒理解用戶的domain簡單問題（FAQ）復雜問題（任務型）定位具體的解決方案系統槽用戶槽規則槽NLU-幾個模塊NLU意圖識別slot fillingdomain識別QANLU意圖識別難點挑戰口語化-多樣化標注數據少業務上線快，變化大期待效果可遷移可擴展可學習效果好小數據或0數據解決方案fewshot可擴展可學習效果好NLU常見思路-分類及DEEPMATCH?Shared NNWSWTS1S2T1T2YSYTSource LabelTarget LabelSource NNWSS1S2T1T2Y

3、SYTSource LabelTarget LabelShared NNTarget NNWSCWTCWT?&?NLU效果及原因分析!相似性計算的問題分類匹配效果可擴展可遷移數據量好無無高一般可以可以高噪聲數據度量空間不統一-每次學習的時候見到太少NLULABEL-EMBEDDINGquerylabel_1label_nqueryencoderlabel-encoderlabel-encoderlabel-encodermatchermatchermatcherlabel-embeddingLE好可以可以低分類匹配效果可擴展可遷移數據量好無無高一般可以可以高label-embedding：意圖

4、識別&領域識別NLULABEL-ENCODERqueryencoderLabel-encoder：效果好query_2query_kclass-encoderclass-encoderclass-encoderNLUMATCHERMatcher-可擴展、可遷移NLULE+MTLLE+MTL：多任務 進一步增強querylabel_1label_nqueryencoderlabel-encoderlabel-encoderlabel-encodermatchermatchermatcherlabel-embeddingtoken-level tasksentence-level taskmask

5、 language modellanguage generationsentence simnext sentenceNLULE效果實驗效果NLULE ANALYSIS結論用幾乎一半的數據能達到分類的效果多任務的預訓練能夠進一步提升模型效果對于完全沒有訓練過的類別，能夠達到全訓練的6070%的效果結果分析共享的QueryEncoder 和 LabelEncoder訓練任務各個類目之間共享，能夠利用樣本之間共性多任務訓練框架通過句粒度和詞粒度兩類預訓練任務，提升泛華能力，從而提升模型效果 NLU-QA-定位語音端QA-特點方言多口語化query長指代多0.330.310.320.30.3050.

6、310.3150.320.3250.330.335?x?y?z?語音端的QA難在哪QA-CASE 一瞥我剛才小二介入，你們那個淘寶小二介入以后，我看上面頁面上的駁回我的件，駁回我的我的我的那個投訴，他怎么能這么寫呢，他給我答復的是說交易關閉他說淘寶，然后給我墊付36元，那怎么怎么怎么我看維權，駁回我的維權是什么意思啊之前有來電來電話，過我這個賬戶，從那個從77的時候，那個就沒有辦法，那個將購物津貼，然后我那個88vip會員卡，至今到現在都不能買，然后今天你們雙十一的活動開始了，那個我要想聽些也是花了2000個，那個天貓積分也是一分錢的，今天都沒搶到這個很影響我購物的那個，最后的購物，這個事情怎

7、么處理呀，到底已經這么長時間了，你們工作人員到現在都不給我一個答復。Title:為什么維權不成立 Title:為什么無法購買88VIP線上的CASE分析QA-常見方案效果常見DeepMatch的效果cdssm：0.68matchPyramid：0.70效果一般QA-CASE 一瞥我剛才小二介入，你們那個淘寶小二介入以后，我看上面頁面上的駁回我的件，駁回我的我的我的那個投訴，他怎么能這么寫呢，他給我答復的是說交易關閉他說淘寶，然后給我墊付36元，那怎么怎么怎么我看維權，駁回我的維權是什么意思啊之前有來電來電話，過我這個賬戶，從那個從77的時候，那個就沒有辦法，那個將購物津貼，然后我那個88vip

8、會員卡，至今到現在都不能買，然后今天你們雙十一的活動開始了，那個我要想聽些也是花了2000個，那個天貓積分也是一分錢的，今天都沒搶到這個很影響我購物的那個，最后的購物，這個事情怎么處理呀，到底已經這么長時間了，你們工作人員到現在都不給我一個答復。Title:為什么維權不成立 Title:為什么無法購買88VIP“不能買 無法購買”“駁回不成立”線上的CASE分析這些都是知識QA-我們的解決方案KEDMF：知識增強的深度匹配框架KEDMF通用語言類知識相關性知識蘊含推理型知識結構化知識BERTGPTDRMMKNRMu-vu*v水滴網絡QA-定位水滴網絡KEDMF-效果一瞥效果KEDMFKnowl

9、edges相對提升通用語言類知識bert+6可學習的相關性知識knrm/convknrm+9語義相似度及推理DeepMatch+5.5外部知識圖譜biz+9conceptionhop1+4+3cdssmPyramid0.680.7final_acc:0.89DST+DP我們的難點任務槽1任務槽2任務槽3機器人：您好，這邊有您的快遞，請問是今天晚上給您送消費者喂喂機器人：給您晚上送到*合適么消費者機器人：您好，還在么，晚上給您送到*可以么想象中的樣子實際的case我們的解決方案用戶搶話用戶無響應用戶情緒不穩定用戶是個熟客語音端的不同要做一個語音端聊的下去的機器人，只監控任務槽位不夠so?任務槽用

10、戶響應槽用戶狀態槽系統狀態表示對話策略任務規則主動引導話術融合規則+強化學習實現的效果機器人：您好，這邊有您的快遞，請問是今天晚上給您送消費者喂喂機器人：給您晚上送到*合適么消費者機器人：您好，還在么晚上給您送到*可以么最終的效果語音對話策略任務對話策略主動對話策略用戶打斷NLG-探索NLG目標：生成對話中多風格的話術限制：不能違背事實解法：seq2seq data2textslot1slot2slotnTextNLGSTYLE NETcopy-net conditional-copy-net style-net我們的解決方案：Style NetNLG-STYLE-NET-電商的樣例書面風格：

11、彈性 中老年女裝 保暖 采用彈性面料的中老年女裝，具有很好的保暖性?？谡Z風格：彈性 中老年女裝 保暖 這件中老年女裝是彈性材料的，穿起來很保暖。修辭風格：中老年女裝 加絨 保暖 這件中老年女裝是加絨款式的，比薄款的要暖和。人貨匹配風格：加絨 保暖 加絨的款式很保暖，宅在家里穿也很舒服。連衣裙 百褶 質感 這款連衣裙采用了提花的面料，穿在身上非常的有質感。Style-net caseseq2seq+attention 的badcase風衣 皮質 有個性-這款棉衣的設計很有特點，穿在身上很有個性。bleuseq2seqcopycatstyle net28.2741.3646.08效果對比case 分析情緒識別的多模態探索動態打斷識別主動搶話one more thing其他語音端的不同謝謝