語音合成在字節跳動平臺的應用探索-王玉平.pdf

1、語合成在字節跳動的應探索王平字節跳動語合成科學家個介紹高級技術專家阿里巴巴負責達摩院語音合成相關技術及業務建設阿里巴巴的語音合成系統從傳統語音合成技術逐漸向深度學習演進負責車機、客服、天貓精靈等語音合成相關業務團隊建立和招聘語音合成相關技術的建設及探索業務熟悉及支持語音合成方向總體規劃引擎及服務開發基礎技術積累聲學模型聲碼器聲音轉換結合業務落地的思考多模態業務落地抖音、西瓜視頻等2019年4月加入字節跳動AILab語合成綜述字節跳動語合成系統介紹語合成與平臺結合案例未來展望語合成綜述語合成的歷史起源階段電合成器階段單元挑選拼接合成階段基于HMM的參數合成階段基于深度學習的語合成語合成的相關模塊

2、本前端聲學模型聲碼器文本前端聲學模型聲碼器文本語音本前端本前端本正則化現在是2021-11-11 現在是零年韻律預測本正則化后的模塊#就是韻律預測了多字消歧我們【】來到了典【當】【】聲學模型&聲碼器聲學模型TacotronFastSpeech聲碼器Gan vocoderLpcNetWaveRnn語合成提升合成語的質量提升然度提升質提升合成語的表現結合上下降低合成語的數據量預訓練模型+克隆字節跳動語合成系統介紹語合成本前端BERT+BLSTM+CRF聲學模型Tacotron&FastSpeech聲碼器AR&Gan語合成具備業界領先的語音合成系統，可以生成自然、有表現力、個性化的語音克隆快速、全動

3、、低成本的定制案全動的數據預處理以及模型訓練，需預基于質量的預訓練聲學模型質量的通聲碼器唱歌&說唱合成說唱（Rap Synthesis）唱歌（Singing Synthesis）聲轉換另外個的將同樣的內容說/唱出來2分鐘訓練數據即可達到穩定效果，30分鐘以上更佳聲轉換-唱歌另外個的將同樣的內容說/唱出來2分鐘訓練數據即可達到穩定效果，30分鐘以上更佳從說話數據中學會特征，從讓說話唱歌語合成與平臺結合的案例應：創作具落地場景：抖、視頻等促進投稿：全新的表達和敘事具啟發創意：多種配玩法豐富視頻表達，優化戶在添加本時的體驗多個趣味可供選擇應：娛樂化表達落地場景：抖、視頻等戶參與到樂相關的創作，讓創作更有趣應：視頻配落地場景：抖、視頻等實現內容互通與內容創作平臺深度結合，賦能內容創作和互動未來展望未來展望夯實基礎技術聲學模型&聲碼器前沿技術探索Speech PSSpontaneous TTS未來展望豐富、提升多語合成能，深業務定制解決案。攻克UGC視頻配場景下的新技術挑戰（情感化配、跨語合成等）。建設“聲超市”：站式選擇和產平臺建設“聲開放平臺”：借助社區量，打造UGC聲產和授權市場One more thing智能頻-One more thing智能樂