2020年終大會-自然語言處理：6-4.pdf

1、小米對機器翻譯的探索和實踐Xiaomi s Exploration and Practice of Machine Translation李響小米AI實驗室-NLP團隊#page#多語言的挑戰全球第一語言使用者估計量（單位：億）漢語西班牙語英語阿拉伯語中印地語世界：6000+語言孟加拉語中國：130+語言葡萄牙語俄語日語旁遮普語28461012140#page#小米的多語言需求Welcome to MPleaseselectlocationorlanguage小米集團Malaysa繁體中文（G-K繁體中文（TW）SigaporePhilippines2020年Q3業績MENAIndaIndon

2、estaGlobalHomePolandRussiaMexcoKorUkraineVietnam全球市場高歌猛進境外市場收入人民幣同比增長Unted StatestalyThallandSpainEgyp39852.1x億元ChleUnited KingdomNepalFranceBangladesh西歐市場智能手機市占率首次挺進前三，出貨量同比增長107.3%TukeySnLankaNetherlandsBrazid境外loT收入創新高，同比增長56.2%境外互聯網收入創新高，同比增長75.6%GomanySweden#page#機器翻譯支撐公司戰略安國際化手機AloTX#page#手機翻譯

3、瀏覽器網頁翻譯掃一掃拍照翻譯傳送門快捷翻譯Chinas XiaomiChinas Xiaomi莫交萬中expands presence inexpands presence inKenyaKenyaR40FEd06.文本識號口BC#page#小愛同學翻譯翻譯模式一句話翻譯面對面同傳直接對小愛說要翻譯的詞+語種對小愛同學說“打開翻譯”，進入翻譯模式支持中文和英文/日文/韓文/德文語音互澤、文字當你出國旅行或商務交談，需要雙人面對面對話時，支持英、日、粵語等18個語種翻譯。和拍服翻譯，還能查看英文單詞的詞典釋義?？捎妹鎸γ嫱瑐鬟M行同聲傳譯，雙方邊說邊譯，中英題譯可展示音標、詞性等詞典資源超快超方便

4、。譯面對面同傳2Just turn left.walk ab向左轉，走大約半莫里就會到那里there.#page#硬件loT翻譯小愛老師離線翻譯小愛音箱語音翻譯小愛鼠標語音劃詞翻譯實時譯，溝通閱讀無障礙08:16特WSLT202004/065口304道口語ml#page#國際化翻譯小愛同學粵語小米網多語言智能客服2Como deshabilitar la funcionde que la pantalla se apagaautomaticamente cuando el大家好，我系小愛同學，我識講粵語啦。telefono esta cerca de suofdodurante una lla

5、mada7Esnormalquela pantallaseapagueautomaticamente cuanoeltelefonoesta cerca de su ofdo duranteunallamada.Estafuncionnosepuededesactivarpara telefonosXiaomi.Chat en vivoChat finalizado#page#有競爭力的翻譯質量WMT17中英測試集3130BLEU29一2827小米內部中英新聞測試集34323028BLEU262422小米#page#探索與實踐#page#離線翻譯小愛老師延時：單句解碼延時不超過1秒質量：相比在

6、線翻譯，質量無明顯下降存儲：兩個語言互譯模型內存占用不超過300Mb#page#離線翻譯的用戶需求翻譯O區貿成出境游的剛需成在線翻譯的痛點出境游客普遍存在語言溝通障礙人在國外移動信號覆蓋不如國內箱途溝通靠比劃點餐靠看圖#page#在線翻譯和離線翻譯區別離線翻譯在線翻譯硬件QT860存儲0.5-2Gb8-16Gb主頻MHzGHz浮點運算TeraFLOPSGigaFLOPS#page#硬件對算法的挑戰友商A產品小米小愛老師友商B產品RK3399Qualcowsnapdragon4*A53小核8*A53小核2*A72大核+4*A53小核+Adreno 405 GPU+Mali-T864 GPU499

7、元2499元3499元#page#主要方法量化（quantization）剪枝（prune）蒸餡（distillation）r-predicttion-2#page#基本框架在線模型00000知識蒸餡數據08int8量化離線模型float32離線模型#page#文本生成模型中的知識蒸餡Ground TruthGround Truth市訂訂中ETeacher NetworkTeacher Network000Net000Student NetworkTeacher Network000Student NetworkWord-Level Knowledge DistillationSequence

8、-Level Knowledge DistilationSequence-Level InterpolatioredgeDistiillation.2016.EMNLP、#page#常規知識蒸的局限常規單一教師模型產生的“知識”缺乏多樣性，限制了學生模型的質量提升知識蒸餡在線教師模型離線學生模型#page#優化方案1：多樣化翻譯模型集成蒸餡S2T:source-to-targetL2R:left-to-rightattarget sideR2L:right-to-leftat targetsideT2S:target-to-sourceQ09Cee300300翻譯質量進一步提高24%aos模型

9、集成333知識蒸8o3o000Co00oooS2T-L2RS2T-R2LT2S-L2RT2S-R2L教師模型學生模型教師模型教師模型教師模型#page#優化方案2：逐級知識蒸餡翻譯質量進一步提高1%左右發知識蒸餾知識蒸餡教師模型多級輔助教師模型學生模型#page#整型定點量化表示解碼速度快2倍存儲降低到1/4質量無明顯下降定點量化INT8定點表示離線模型FP32浮點表示離線模型#page#小愛老師離線翻譯低延退高質量輕量化模型壓編到1/15（Mb）推理速度提高9.7倍（ms）腰譯質量損失5%（BLEU）Mam離線翻譯質量領先離線語種數量最多小愛老師離線翻譯質量100離線翻譯速度極快18880日

10、中中英英中中日#page#產品口碑O餐店現奧務翻譯機榜價格語音排名依資學習日科大訊飛翻評筆同爾法蛋詞累計4.2萬人買過近24小時售出超100件英語滿識￥699操作速度新發音科大訊飛掃描詞典筆翻譯筆-累計9.2萬人買過單詞方便近24小時售出近100件面馨簡單加666元小來翻譯圖小米翻譯機英語學習機學實用累計6.2萬人買過持近動小時售出喜歡不錯四6Z0六666科大語飛（FLYTBX）翻詳機5.0很快小愛老師累計247人買過669#page#語音翻譯小愛同學魯棒性實時翻譯（同傳）低延時#page#語音翻譯框架級聯（pipeline）對于資源豐富語種，ASR和NMT效果較好，適用于快速構建高可用的語音

11、翻譯產品各模塊可獨立優化，較為靈活，但存在上游錯誤傳播等問題短期內依然是主流范式端到端（end-to-end）學術領域研究熱點方向，潛力較大對于資源稀缺語種有一定優勢整體延時相對較低整個系統是黑盒，質量干預等問題成為挑戰#page#機器學習中的魯棒性魯棒性（Robustness）系統或算法能夠適應應用環境，抵御或克服數據中的噪聲、不同的應用領域等不利條件的能力+0.07食貓線蟲長臂痕8.2%置信度99.3%置信度57.7%置信度Goodfellowarsaral Examples.2015.ICLR合u#page#NLP的魯棒性Aoccdrnig to a rscheearch at Cmab

12、rigde Uinervtisy， itdeosn t mttaer in waht oredr the ltteers in a wrod are，the olny iprmoetnt tihng is taht the frist and Isat Itteer beat the rghit pclae.According to a research at Cambridge University， itdeosntmatter in what order the letters in a word are，the only important thing is that the firs

13、t and last letter beat theright place.#page#語音翻譯的魯棒性According to the Spring Festival next yearthereis stilla monthAccording to the Spring Festival next year，距明年春節據明年春節there is still one month.還有一個月還有一個月According to next years Spring Festivalthere is still one month leftAccording to next Spring Festi

14、val is still amonth awayAccording to next years Spring Festival，there will be another month語音翻譯請求機器翻譯結果語音識別結果#page#統計機器翻譯（SMT）如何解決？從聲學和語言學角度，模擬含噪音的源語言短語Source1981LSyntheticSyntheticOriginalOriginal phraseindicatorLM scoreLM scorephrasephrasetranslation features03.9103.910tells the storyracontethisto

15、ireff2，f3，fafs3.910-35.910tell their storyraconte Ihistoiref，f2，f，fa，fs2.210-33.910-31tellsastoryraconte Ihistoiref，f，f，fa，f1.710-33.910-3tellthestoryraconte lhistoiref，f，f，fa，f1.310-33.910-3tella storyraconte lhistoiref，f，f3，fafa1.010-33.910-3tell that storyracontelhistoiref，f2，f，fa，fs0.910-33.910-

16、3tell their storiesraconte Ihistoiref，f，fs，fa，f3.910-30.810-3tells the storiesraconte 1histoiref，j，f3，ffo0.710-33.910-3tellsher storyraconte Ihistoire1f，j，f3，fa，fs0.510-33.910-3chelsea starraconte lhistoiref.ff，fa，fsWERBaselineSyntheticRefASRRefASR30.723.317.823.918.1EN-FR14.011.114.211.4EN-DE33.612

17、.310.712.210.6EN-RU30.79.27.09.5EN-HE29.77.232.13.34.55.64.8EN-HILanguageTranslation.2014.EACLAcoustic Confusions for Imprcred Spoken#page#我們采用對抗樣本訓練NMT常規訓練樣本不懼困難一Dont be afraid of difficulties不聚困難Dont be afraid of difficulties構建含同音字噪音不巨困難Dont be afraid of difficulties對抗訓練樣本不具困難Dont be afraid of dif

18、ficulties1Lietal.Improving the Robustness of Speech Translation.2018.arXiv:1811.007282019.ACL#page#小米語音翻譯魯棒性自動評測結論451.對抗樣本訓練顯著增強含噪音40輸入文本的翻譯質量+5.0352.對抗樣本訓練增強模型泛化能30力，在標準測試集上的翻譯質量也有微弱提升2520BLEU常規翻譯魯棒翻譯口標準測試集口噪音測試集，經過脫敏處理后人工標注產生#page#小米語音翻譯魯棒性人工評測50.00%45.00%40.00%35.00%絕對翻譯準確率30.00%25.00%20.00%11111

19、111115.00%10.00%5.00%0.00%小米翻譯其他主流翻譯產品#page#更好滿足語音翻譯用戶體驗北京鵬了今年冬天第一場雪用英語怎么說的體積約為地球的130萬項好的，已為你翻譯sun is about 1.3 miliontimes the size of the earth.國詳我把我的鑰題屬生家里了。翻譯Ileft my keysathome.Beijing has hadits first snowthiswinter為了去題那位女孩，這位醫生北京糖了今年冬天第一場雪最后插性了。The doctor died in order tosave the gir.搜索每日英語好用

20、小愛老師小愛同學#page#對抗樣本訓練是萬金油嗎？。優勢抗噪效果明顯不改變現有模型結構，訓練模式和服務架構，易于部署挑戰需要語言學等先驗知識通用翻譯質量難以有效保證構建對抗樣本和翻譯模型優化兩者獨立，缺乏關聯無法回避事實存在的文本噪音，模型能否翻譯正確也要看運氣噪音類型和數量需要大量嘗試，訓練數據龐大導致訓練成本高周期長#page#業界工作【搜狗】Liet al.Improving the Robustness of Speech Translation.2018.arXiv:arxiv:1811.00728.【百度】Liu et al.Robust Neural Machine Trans

21、lation with Joint Textual and PhoneticEmbedding.2019.ACL.【谷歌】Cheng et al.Robust Neural Machine Translation with Doubly Adversarial Inputs.2019.ACL.【有道】Cheng et al.Breaking the Data Barrier: Towards Robust Speech Translation viaAdversarial Stability Training.2019.IWSLT.【騰訊】Zou et al.A Reinforced Gene

22、ration of Adversarial Examples for Neural MachineTranslation.2020.ACL.【Amazonl Niu et al. Evaluating Robustness to Input Perturbations for Neural MachineTranslation.2020.ACL.#page#我們進一步的改進方案動機雖然無法規避含噪音文本對NMT的影響，但是可以將噪音從文本表示回退到音節表示，減弱其負面影響建一所小學Clean InputOutput of NMTbuilda primary school先檢測再翻譯的級聯方案建

23、議所小學Noisy InputOutput of NMTsuggest a primary school1.噪音檢測器（noisedetector）負責將語音識別結果中的錯誤文本轉換成對應的發音音節序列建yi所小學MixedTranscriptbuildaprimary school例如，漢字“一”對應音節“yiOutput of Ours2.音節感知翻譯模型（syllable-aware）一般NMT的輸入僅是文字文本類型，我們采用了“文字+音節的混合NMT模型，適配上游噪音檢測器輸出yatICASSP2021、#page#同音字噪音檢測器1.基于標簽序列預測模型訓練檢測器，輸入：文字序列對應

24、的長度相同的拼音序列，輸出：文字序列2.測試時，對于拼音預測對應文字概率小于設定間值的文字，將其轉換為拼音，形成音字混合序列hjianhyhsuohxiaohxieP所PAP學XNScoreyisuoxiaoXuejianS建S小一學一學建議小所大小建yI#page#音節感知NMT常規訓練樣本不懼困難Dont be afraid of difficulties不ju困難Dont be afraid of difficulties音節感知訓練樣本一#page#實驗結果基本設置基本結論LDC120萬中英數據音節感知訓練的NMT魯棒性優于常規對抗樣Transformer-Base模型本訓練文字/音節

25、混合序列表示優于純音節序列表示大小寫敏感BLEU基于標準測試集，構建中文端含同音小規模訓練數據上，音節感知NMT有效增強字錯誤的模擬噪音測試集模型的泛化能力ModelMTO2MT03MT04MTO5MTO6MTO8Avg.Clean47.2346.8247.6945.8144.8444.2035.82Text-onlyNoisy34.8434.1835.3532.3132.3926.6332.1744.1441.81Clean45.2545.8442.5632.3041.33Syllable-only44.1445.8442.5641.8132.30Noisy45.2541.3346.0947

26、.4645.4844.6835.81Clean46.5843.90Lietal44.8444.1634.73Noisy46.2745.8946.9643.32Clean46.2444.6746.8044.0843.0034.1242.53Liu et al.Noisy46.0044.7946.5543.6642.8033.8842.3448.3447.9348.6746.4246.3937.6545.41CleanSyllable-awareNoisy48.1246.6548.0145.6146.0736.5744.58#page#實際效果請拼寫它Clean Utterance請拼寫畫Nois

27、y TranscriptLiet al.Please spell himLiuet al.Please spell him請pinxietaOutput of DetectorOutput of Syllable-aware NMT Please spell it聽醫生的建議Clean Utterance聽一生的建議Noisy TranscriptLiet al.Listen to the doctors adviceLiu et al，Suggestions on life聽yi生的建議Output of DetectorOutput of Syllable-aware NMT Listen

28、 to doctors advice#page#同聲傳譯小愛同學小米10至尊紀念版一小米10Pro一小米10青春版21李響871021L李響8710面對面同傳Justturn leftwalkabout向左轉，走大約半英里，你halfamileandyouu get支持語音、文字和拍照翻譯。面對面同傳更能就會到那里there邊說邊譯，出國旅行、商務對談超快超方便。該功能將于2020年09月前推送升級#page#小米同傳正在聆聽中文Listening to Chinese停止政音aptoEnglis#page#一頓頓看Hello，everyone.My nameisLee.大家好，我叫李，想我停

29、止歐查C原始口語文本口語文本順滑實時語義斷句和添加標點翻譯大家好大家好我叫李響我呢就職于小米AI實大家好Hello，everyone.驗室感謝主辦方和劉群老師的邀請有我叫李我叫李想我My name is Lee.機會給大家介紹一下同聲傳譯在小米的應用和技術進展#page#一頓頓看Hello，everyone.My nameisLee.lthinklworkinthe大家好，我叫李，想我就職于小米XiaomiAILab.ai實驗室，感謝。停止政容O原始口語文本翻譯口語文本順滑實時語義斷句和添加標點大家好我叫李響我呢就職于小大家好大家好Hello，everyone.米AI實驗室感謝主辦方和劉群我叫

30、李我叫李想我My name is Lee.老師的邀請有機會給大家介紹想我呢就職于小米AI實想我就職于小米AI實驗室lthinklwork in the一下同聲傳譯在小米的應用和驗室感謝Xiaomi AI Lab.技術進展#page#一頓頓看Hello，everyone.My nameis Lee.lthinklwork in the大家好，我叫李想我就職于小米aiXiaomiAILab，thanksforthe實驗室，感謝主辦方和劉群老師invitationfrom the organizer的邀請，有機會給大家.停止政音原始口語文本口語文本順滑實時語義斷句和添加標點翻譯大家好大家好我叫李響我

31、呢大家好Hello，everyone就職于小米AI實驗室我叫李想我我叫李My name is Lee感謝主辦方和劉群老想我呢就職于小米AI實驗室想我就職于小米AI實驗室lthinklwork in the師的邀請有機會給大Xiaomi AI Lab家介紹一下同聲傳譯在小米的應用和技術感謝主辦方和劉群老師的邀感謝主辦方和劉群老師的thanks for the invitation進展邀請請有機會給大家from the organizer andMr. Liu Qun#page#一頓頓看opportunity to introducetheAI實驗室，感謝主辦方和劉群老application an

32、d technical師的邀請，有機會給大家介紹一progressofsimultaneous下同聲傳譯在小米的應用和技術進展interpretationin Xiaomi.停止收音口原始口語文本口語文本順滑實時語義斷句和添加標點翻譯大家好大家好我叫李大家好Hello，everyone響我呢就職于我叫李我叫李想我My name is Lee小米AI實驗室感謝主辦方和想我呢就職于小米AI實驗室想我就職于小米AI實驗室lthinklwork in the Xiaomi AILab劉群老師的邀請有機會給大感謝主辦方和劉群老師的邀請感謝主辦方和劉群老師的邀請thanks for the invitat

33、ion from the家介紹一下同有機會給大家organizer and Mr.Liu Qun聲傳譯在小米有機會給大家介紹一下同聲傳有機會給大家介紹一下同聲傳have the opportunity to introduce the的應用和技術譯在小米的應用和技術進展譯在小米的應用和技術進展application and technical process of進展simultaneous interpretation in Xiaomi#page#一頓頓看大家好，我叫零想我就職于小米AI實！室，感謝主辦方和劉群老師的邀請，有thanktheorganizersandteache機會給大家介

34、紹一一下同聲傳譯在小米的應用和技術進展。Liu Qun for theinvitation.havetheopportunitytointroducetheapplicationandtechnicalprogressof simuleousinterpretationinXiaomi點此說中文志！原始口語文本實時語義斷句和添加標點大家好我叫李響我呢就職于大家好，我叫李想，我就職Hello，everyone.my name is LiXianglwork in the小米AI實驗室感謝主辦方和于小米AI實驗室，感謝主辦Xiaomi AI Lab.Thanks the organizer and

35、 Teacher劉群老師的邀請有機會給大方和劉群老師的邀請，有機Liu Qun for the invitation， have the opportunity to家介紹一下同聲傳譯在小米會給大家介紹一下同聲傳譯introduce the application and technical process of的應用和技術進展在小米的應用和技術進展。siimultaneous interpretation inXiaomi#page#同聲傳譯的挑戰平衡翻譯實時性和質量是同傳核心問題，目前難以又快又準ASR對下游多個模塊質量影響極大魯棒性篇章連貫性領域自適應高效人機協同#page#我們對實時性

36、挑戰的方案優化推理引擎2019年，上線TVM+Op優化的Transformer，相比原生TensorFlow引擎，單句翻譯平均快1倍2020年，上線Fast-Transformer，單句翻譯平均延時進一步快1倍優化翻譯模型將編碼器變深，解碼器變淺層，質量無損，單句翻譯平均延時快10%嘗試AAN（Zhangetal.）和SAN（Xiaoetal.）等attention參數共享方法，單句翻譯平均延時有效減小，但是質量下降最終效果單句延時在300ms左右，有效滿足低延時需求https:/ forFastTransfc.2019.IJCA#page#總結機器翻譯等多語言NLP技術廣泛應用于小米產品和業務，幫助米粉有效進行跨語言學習，溝通和獲取信息離線翻譯能有效保護隱私，降低服務成本和翻譯延時，同時滿足弱網環境下翻譯需求魯棒性是提升機器翻譯用戶體驗的重要技術同聲傳譯技術涉及多技術領域，成為極有挑戰的綜合性機器翻譯能力#page#未來展望共指消解拍照翻譯代詞丟失對話翻譯應用難點篇章翻譯連貫性文件翻譯數據稀缺同聲傳譯網頁翻譯術語一致性#page#Thanks！謝謝！CLla！外中！Merc