多模態同傳翻譯落地及優化-0.2.pdf

《多模態同傳翻譯落地及優化-0.2.pdf》由會員分享，可在線閱讀，更多相關《多模態同傳翻譯落地及優化-0.2.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、DataFunSummitDataFunSummit#20232023多模態同傳翻譯落地及優化郭嘉鑫華為2012/機器翻譯實驗室華為高級工程師，多模態翻譯架構負責人，產品落地華為云、HMS Core、華為手機等本科畢業于西安交通大學，碩士畢業于香港城市大學長期從事機器翻譯/多模態翻譯領域的研究，在 ACL、ICASSP、INTERSPEECH、INLPG等發表論文 10+篇參加國際機器翻譯比賽 IWSLT、WMT、WAT等，獲得多項第一個人簡介同傳翻譯技術簡介及挑戰級聯系統 vs 端到端系統語音識別技術/機器翻譯技術同傳翻譯技術的挑戰華為同傳架構及優化策略同傳架構ASR策略MT策略總結面向用戶

2、場景忠于用戶體驗目錄 CONTENTDataFunSummitDataFunSummit#2023202301同傳翻譯技術簡介及挑戰語音翻譯/同傳場景Hello,Welcome to.離線語音翻譯同傳翻譯語音翻譯/同傳技術 語音翻譯領域存在兩種主流的技術路線：一種是端到端(End-to-End)技術方案，即直接從源語音到目標文本生成；一種是級聯(Cascaded)技術方案，即先從源語音識別為源文本，再從源文本翻譯生成目標文本。語音翻譯/同傳技術 目前工業界語音翻譯系統以級聯語音翻譯技術方案為主。ASR技術(a)Transformer(b)Conformer音頻特征抽取(b)AED(a)CTC文

3、本生成方式ASR技術流式解碼場景 理想狀態下：無跳變(a)Transducer(b)Chunk-wise(c)Incremental decoding MT技術模型結構工程策略(a)Deep-Transformer(b)Back TranslationMT技術解碼策略HI-CMLMDiformer語音翻譯/同傳技術的挑戰技術的挑戰 ASR的準確性 MT的領域風格系統的挑戰 級聯錯誤放大問題 上下文一致性問題同傳的挑戰質量時延跳變DataFunSummitDataFunSummit#2023202302華為同傳架構及優化策略華為同傳架構ASR服務TE服務MT服務TTS服務語音流語音流文本Noah

4、 預訓練 ASR領域 ASR文本順滑通用糾錯實體修正其他后處理（標點等）華為翻譯干預服務知識庫關鍵詞ASR策略 預訓練大模型、領域小模型Pre-trained Model:Data:Mixed Zh/En Large Parallel Data Train Strategy:Distributed trainingMindSpore/GPU&D Arch：Hybrid CTC/AED自監督Domain Model:Data:Limited Domain Data Train Strategy:Continue Training/Fine tuningDomain AdapterSpec Aug

5、mentationASR策略 流式CTC解碼、離線AED解碼。ASR策略IWSLT 2022語音翻譯EN-JA方向第一技術點1.Ensemble-based ASR De-noise2.Context-aware Re-ranking for ASR3.ASR Domain Controlled Training&Decoding 4.Large-Scale Pre-training&Domain Fine-tuning for MTASR策略未來方向 大數據+大模型 多語言+多任務 無監督/自監督的預訓練模型MT策略 通用基礎模型：大數據+大模型Back TranslationTagged

6、Back TranslationBack Translation&Forward TranslationIterative Back Translation&Forward TranslationSampling Back TranslationText Style Transfer Back-TranslationMT策略Text Style Transfer Back-Translation ACL 2023MT策略MT模型領域遷移的訓練流程 針對不同的場景提供不同的領域翻譯，如科技場景、醫療場景等R-DropMT策略WMT 2022Biomedical Shared Task 多項第一技

7、術點1.Continue Training under R-Drop2.Data Diversification、Forward Translation、Back Translation3.Data Selection4.Fine-tuning、EnsembleMT策略 針對語音翻譯場景，生成與源長度相似的翻譯，提高用戶體驗MT策略IWSLT 2022等長翻譯賽道 多個語言方向第一技術點1.Low-resource Enhanced2.Length Token Strategy3.Length Encoding Strategy4.Length-control decoding for NAT

8、5.Length-aware beam and RerankTE服務ASR OutputTE服務DisfluencyCorrectionPunctuation呃 我們 從 一七年 的 事后 呢 就 開始 研究 機器 翻譯 嗯 很 有 意思我們 從 一七年 的 事后 就 開始 研究 機器 翻譯 很 有 意思我們 從 一七年 的 時候 就 開始 研究 機器 翻譯 很 有 意思我們 從 一七年 的 時候，就 開始 研究 機器 翻譯，很 有 意思。TE服務UCORRECT:AN UNSUPERVISED FRAMEWORK FOR AUTOMATIC SPEECHRECOGNITION ERROR C

9、ORRECTION ICASSP 2023糾錯TE服務Zephyr:Zero-Shot Punctuation Restoration ICASSP 2023標點還原模型推理加速WMT22 Efficiency Task Bolt框架小結ASR Pre-train:Multi-task training Domain Tune Simul CTC/Offline AEDMT Pre-train:BT/FT/TST Domain Tune:R-drop Isometric MTSystem Cascaded:ASR+TE+MT 干預 推理加速DataFunSummitDataFunSummit#2023202303總結總結 面向用戶場景 忠于用戶體驗華為翻譯華為翻譯感謝觀看