6-1 機器翻譯在跨境電商的應用與研究.pdf

1、機器翻譯在跨境電商的應用與研究楊寶嵩 阿里巴巴 算法專家|01阿里翻譯技術平臺概覽02翻譯在跨境電商中的應用03最新技術探索目錄CONTENT|01阿里翻譯技術平臺概覽阿里翻譯技術平臺概覽|5阿里翻譯技術平臺概覽|論文&專利發表60+CCF A/B類會議/期刊論文100+項專利ACL2022 Outstanding Paper Award國際評測 WMT 21國際頂級機器翻譯評測 Quality Estimation Task 9個語向第一 Metrics Task 5個語向第一 術語翻譯任務 英中第一 2021年CommonGen文本生成大賽5月登頂LeaderBoard WMT 18國際頂

2、級機器翻譯評測 翻譯任務 5語向第一獎項 工信部新一代人工智能重點任務揭榜計劃、第一期人工智能產業創新“多語言智能翻譯平臺”揭榜優勝單位（僅3家）“面向全球電子商務的多語言處理技術與平臺”獲得浙江省科學技術進步二等獎6|02翻譯在跨境電商中的應用翻譯在跨境電商中的應用-商品內容展示|標題單位UI框架英語版俄語版阿語版8翻譯在跨境電商中的應用-商品內容展示|尺碼詳情描述英語版俄語版阿語版9翻譯在跨境電商中的應用-商品內容展示|評論英語版俄語版阿語版10翻譯在跨境電商中的應用-商品內容展示|問大家英語版俄語版阿語版11翻譯在跨境電商中的應用-更多的跨語言場景|買賣家溝通商品搜索12翻譯在跨境電商中

3、的應用-多模態場景|圖片翻譯13翻譯在跨境電商中的應用-多模態場景|直播/視頻翻譯14|03最新技術探索最新技術探索|模型改進質量評估領域適應知識融合翻譯連續語義增強（ICLR21、ACL22）UniTE（ACL 22）領域適配器（NeurIPS20、EMNLP 20、TASLP 21）KNN-MT（ACL 21、EMNLP 21、ACL 22）多粒度表示遷移（ACL 21）個性化個性化機器翻譯（ACL21，ACL22，NAACL22）16模型改進：連續語義增強(ACL 22 Outstanding Paper)|問題：回譯等離散表示數據增強方法，數據多樣性差、利用效率低，且易產生語義偏移解決

4、方法：連續語義空間擴充訓練樣本的數據分布，結合鄰域風險最小化策略優化翻譯模型17質量評估：融合不同類型的標注數據的UniTE（ACL22）|問題：三種評估場景(原文,譯文)、(譯文,參考譯文)、(原文,譯文,參考答案)采用的技術、語料均不相同，標注資源不能得到充分利用解決方法：基于區塊化Attention掩碼的模型結構，利用跨語言預訓練和多任務聯合訓練，實現不同類型標注資源的知識遷移WMT21 Metrics比賽第一單一模型（WMT 2019 所有語向）超越三個評估場景的SOTA模型18領域適應：輕量訓練的Adapter（NeurIPS 20，EMNLP20，TASLP 21）|問題：訓練好的

5、翻譯模型如何快速遷移至新領域？Finetuning有災難性遺忘問題，需要調整全部參數，部署代價大解法：引入Adapter，固定訓練好模型的參數，僅調整Adapter參數以適配新領域Self-AttentionFeed ForwardAdaptive LayerAdaptive LayerEmbedding MSelf-AttentionCross-AttentionAdaptive LayerDecoder OutputEmbedding NFeed ForwardXYUp ProjectionReLUDown ProjectionTransformer特點：不影響譯訓練好模型的性能部署代價小

6、，每個領域僅增加Adaper參數中英 BLEU領域內領域外均值Baseline35.2848.8742.08Baseline+Finetune36.9849.0543.02Baseline+Adapter45.4743.7244.6019領域適應：無需訓練的 KNN-MT(ACL 21,EMNLP 21，AAAI 22,ACL 22)|問題：finetuning、Adapter都需要訓練，應用代價大，能否在不訓練情況下，實現領域適配？解決方法：尋找最相似句子，利用譯文動態干預解碼過程自動學習k與lambda關系領域適應ITKoranLawBase22.9910.1633.36Base+KNN-

7、MT27.4718.4439.23Adapter36.2825.9849.07Adapter+kNN-MT38.7329.0152.14特點：無需訓練，僅需更新新領域的索引20領域適應：子詞知識遷移(ACL 21)|問題：不同分詞粒度的模型如何進行知識遷移？解決方法：引入Embedding Generator根據字詞與父詞組合，使用一個Embedding生成器來遷移詞表Embedding Generator的訓練：在上游任務中，模型將隨機拆分長單詞并組合短單詞，使用Embedding Generator生成這些未見過token的embedding，過程中受到上游任務目標和蒸餾目標監督。21個性

8、化翻譯：用戶行為引導的機器翻譯（ACL 21）|問題：語言具有多樣性，好的翻譯應該擬合說話人的表達習慣，以及知識水平單一翻譯結果可能只能滿足大多數用戶，不能滿足每個用戶的需求解法：個性化翻譯根據tf-idf分數提取用戶歷史關鍵詞，使用編碼器建模用戶表征。提出對比學習策略，拉近相似用戶譯文，推遠不相似用戶譯文，實現半監督訓練，解決數據稀疏，缺少用戶標注樣本的問題。模型準確性（BLEU）翻譯差異性傳統翻譯27.520.00%個性化翻譯32.3531.68%22個性化翻譯：無監督多樣性翻譯（NAACL 22）|問題：語言具有多樣性，然而現有單reference訓練使得模型趨向于生成相近的表達，個性化

9、翻譯也需要翻譯能夠產生更多樣的表達為前提。解法：多樣性翻譯，模型訓練過程中多個生成結果定義Diversity Rewards以及 Quality Rewards，使用最小風險訓練進行優化。特點：簡單、易復用、不需要修改模型架構。原文原文依依 巴拉巴拉 告訴告訴 今日今日 新聞新聞 電視臺電視臺 說說,這是這是 一一 個個 恐怖恐怖 夜晚夜晚 普通模型Ibarra told today s news television station,This is a terrorist evening.Ibarra told today s news television station,This is

10、a terrible evening.Ibarra told today s news television stationthat This is a terrorist evening.多樣性模型This is a terrible night according to Ibarra told todays news TV station.Ibarra told todays news television station,“This is a terrible night.”Speaking to news TV today,Ibarra said,This is a terrible

11、night.”23個性化翻譯：用戶行為引導的語種識別（ACL 22）問題：語種識別是翻譯的第一步，面臨用戶輸入不規范（拼寫錯誤，語序不嚴格）以及多語言歧義（品牌詞、同形異義詞）的挑戰解法：無監督個性化語種識別利用用戶信息（歷史語種分布、國家屬性）等信息輔助分類無監督訓練：由于沒有標注數據，根據用戶A的語種歷史分布從通用數據中采樣，以構造用戶A的特征的訓練數據|24參考文獻ACL2022Learning to generalize to More:Continuous Semantic Augmentation for Neural Machine TranslationACL2022UniTE

12、:Unified Translation EvaluationACL2022Unsupervised Preference-Aware Language IdentificationACL2022Efficient Cluster-based k-Nearest-Neighbor Machine TranslationNAACL2022Bridging the Gap between Training and Inference:Multi-Candidate Optimization for Diverse Neural Machine TranslationAAAI2022Non-Para

13、metric Online Learning from Human Feedback for Neural Machine TranslationACL2021Towards User-Driven Neural Machine TranslationACL2021Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language GenerationACL2021Adaptive Nearest Neighbor Machine TranslationICLR2021On learning universal re

14、presentations across languagesEMNLP2021Non-Parametric Unsupervised Domain Adaptation for Neural Machine TranslationNeurIPS2020Incorporating BERT into Parallel Sequence Decoding with AdaptersIEEE-TASLP2021Adaptive Adapter:an Efficient Way to Incorporate BERT into Neural Machine Translation更多交流：yangbaosong.ybsATalibaba-|25非常感謝您的觀看|26