魯棒聲紋識別的對抗防御-張曉雷.pdf

1、第四屆聲紋識別產業發展與創新研討會第四屆聲紋識別產業發展與創新研討會魯棒聲紋識別的對抗防御魯棒聲紋識別的對抗防御Robust speaker recognition against adversarial attacks張曉雷Robust speaker recognition against adversarial attacks張曉雷西北工業大學2024年3月29日目 錄目 錄一、研究背景及研究意義一、研究背景及研究意義二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御四、總結二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御四、總結2 23 3Z.Baietal.,“SpeakerRecognitionBa

2、sedonDeepLearning:AnOverview,”NeuralNetworks,2021.一、研究背景及研究意義一、研究背景及研究意義聲紋驗證聲紋認證聲紋日志聲紋識別系統在遭受攻擊時表現出一定的脆弱性聲紋識別系統在遭受攻擊時表現出一定的脆弱性4 4一、研究背景及研究意義一、研究背景及研究意義聲紋識別有廣泛的應用空間身份認證與安全會議日志與紀要國安與司法5 5一、研究背景及研究意義一、研究背景及研究意義聲紋識別系統在遭受攻擊時表現出一定的脆弱性利用聲紋識別系統本身的脆弱性，攻擊方式具有隱蔽性利用聲紋識別系統本身的脆弱性，攻擊方式具有隱蔽性6 6一、研究背景及研究意義一、研究背景及研究意

3、義Hi,Siri.Voice Assistantse.g.Siri聲紋對抗樣本攻擊不改變聲紋統計特性目 錄目 錄一、研究背景及研究意義一、研究背景及研究意義二、聲紋對抗樣本攻擊二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御四、總結三、聲紋對抗樣本防御四、總結7 78 8二、聲紋對抗樣本攻擊-研究現狀二、聲紋對抗樣本攻擊-研究現狀缺點優點方法缺點優點方法需要訪問模型結構，迭代計算對抗擾動，生成對抗樣本的時間長攻擊成功率高、信噪比高基于梯度/優化（白盒）攻擊成功率較低；查詢過多時容易被檢測到不需訪問梯度，僅靠置信度或決策就可以實現攻擊基于查詢（黑盒）攻擊成功率和信噪比難以平衡測試階段不需訪問梯度；生成對

4、抗樣本的時間短基于生成網絡（白盒）對抗樣本遷移性弱，黑盒攻擊成功率低不需要訪問目標模型結構，具有現實意義基于遷移性（黑盒）注：白盒：攻擊者了解被攻擊的系統的細節黑盒：攻擊者不了解被攻擊的系統9 9二、聲紋對抗樣本攻擊-關鍵科學問題與技術路線二、聲紋對抗樣本攻擊-關鍵科學問題與技術路線提高攻擊性：改進白盒模型提高遷移性：遷移學習+集成學習提高模型透明度：剖析模型決策過程1010Symmetric Saliency-based Encoder-Decoder(SSED)Saliency map loss:Angular loss:Final loss:(Here,is the speaker em

5、bedding of voice )Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerIdentification,IEEESignalProcessingLetters2023.二、聲紋對抗樣本攻擊-白盒攻擊二、聲紋對抗樣本攻擊-白盒攻擊提高白盒攻擊的攻擊能力提高白盒攻擊的攻擊能力同時提高了對抗樣本的信噪比和攻擊成功率，且具有高時效性同時提高了對抗樣本的信噪比和攻擊成功率，且具有高時效性1111Jiadi Yaoetal.SymmetricSaliencybasedAdversarialAttackToSpeakerI

6、dentification,IEEESignalProcessingLetters2023.二、聲紋對抗樣本攻擊-白盒攻擊二、聲紋對抗樣本攻擊-白盒攻擊1212Jiadi Yaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023.二、聲紋對抗樣本攻擊-黑盒遷移攻擊二、聲紋對抗樣本攻擊-黑盒遷移攻擊通過通過MDCT變換提高白盒攻擊的黑盒遷移能力變換提高白盒攻擊的黑盒遷移能力1313Jiadi Yaoetal.InterpretableSpectrumTransformationAtt

7、ackstoSpeakerRecognition,IEEETASLP,2023.單模型攻擊二、聲紋對抗樣本攻擊-黑盒遷移攻擊二、聲紋對抗樣本攻擊-黑盒遷移攻擊單模型攻擊造成聲紋識別系統的錯誤率（單模型攻擊造成聲紋識別系統的錯誤率（EER）達到）達到44%1414Jiadi Yaoetal.InterpretableSpectrumTransformationAttackstoSpeakerRecognition,IEEETASLP,2023.多模型組合攻擊二、聲紋對抗樣本攻擊-黑盒遷移攻擊二、聲紋對抗樣本攻擊-黑盒遷移攻擊多模型組合攻擊造成聲紋識別系統的錯誤率（多模型組合攻擊造成聲紋識別系統的

8、錯誤率（EER）達到）達到65%目 錄目 錄一、研究背景及研究意義二、聲紋對抗樣本攻擊一、研究背景及研究意義二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御三、聲紋對抗樣本防御四、總結四、總結15151616三、聲紋對抗樣本防御-研究現狀三、聲紋對抗樣本防御-研究現狀研究方向缺點優點方法研究方向缺點優點方法改進訓練數據的合成方法模型訓練規模大，對抗樣本造成聲紋識別模型精度下降、泛化能力依賴于所使用的對抗攻擊種類聲紋識別模型自帶防御功能混合訓練提高語音純化質量對任意樣本都進行語音純化（增強），可能造成聲紋識別系統性能下降，泛化能力依賴于所使用的對抗攻擊種類對任何樣本都可以進行有效聲紋判定純化改進檢測模型

9、被誤判的純凈樣本會被丟棄不改變樣本檢測注1：混合訓練和純化本質相同，但是混合訓練需要修改聲紋識別模型1717Diffusion模型純化Y.Bai,etal.DiffusionBasedAdversarialPurificationforSpeakerVerification,submittedtoIEEESPL2023.三、聲紋對抗樣本防御-純化防御1三、聲紋對抗樣本防御-純化防御11818Y.Bai,etal.AdversarialPurificationforSpeakerVerificationbyTwoStageDiffusionModels,submittedtoInterspeec

10、h 2024.三、聲紋對抗樣本防御-純化防御2三、聲紋對抗樣本防御-純化防御2兩階段 diffusion模型純化白盒攻擊結果 黑盒攻擊結果純凈語音1919S.Chen,etal.TextualDrivenAdversarialPurificationforSpeakerVerification,submittedtoInterspeech 2024.三、聲紋對抗樣本防御-純化防御3三、聲紋對抗樣本防御-純化防御3大語言模型驅動的diffusion模型純化提高純化防御的泛化能力是未來亟待解決的關鍵問題提高純化防御的泛化能力是未來亟待解決的關鍵問題2020基于規則Mask的對樣樣本檢測X.Chen

11、,etal.MaskingSpeechFeaturetoDetectAdversarialExamplesforSpeakerVerification,APSIPAASC2022.掩模方法基于規則的掩模1基于規則的掩模2三、聲紋對抗樣本攻防-對抗樣本檢測1三、聲紋對抗樣本攻防-對抗樣本檢測12121基于可學習Mask的對樣樣本檢測方法實驗X.Chen,etal.LMD:Alearnablemasknetworktodetectadversarialexamplesforspeakerverification,IEEE/ACMTASLP2023.訓練方法：無需知道對抗樣本，對攻擊方法具有通用性三

12、、聲紋對抗樣本防御-對抗樣本檢測2三、聲紋對抗樣本防御-對抗樣本檢測22222實驗條件：12種attacker（包括白盒和黑盒攻擊）2種聲紋識別系統5種比較方法三、聲紋對抗樣本防御-對抗樣本檢測2三、聲紋對抗樣本防御-對抗樣本檢測2防御能力相對提高超過防御能力相對提高超過30%目 錄目 錄一、研究背景及研究意義二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御一、研究背景及研究意義二、聲紋對抗樣本攻擊三、聲紋對抗樣本防御四、總結四、總結2323五、總結五、總結2424聲紋對抗攻擊白盒攻擊基于顯著性檢測的對抗樣本生成黑盒遷移攻擊基于MDCT變換的對抗樣本遷移性增強法聲紋對抗防御對抗樣本純化基于Diffusion模型的三種純化方法對抗樣本檢測基于規則的通用對抗樣本檢測基于可學習掩模的通用對抗樣本檢測謝謝！謝謝！張曉雷張曉雷第四屆聲紋識別產業發展與創新研討會第四屆聲紋識別產業發展與創新研討會西北工業大學2024年3月29日