OWASP：2023OWASP機器學習安全風險TOP10（25頁）.pdf

《OWASP：2023OWASP機器學習安全風險TOP10（25頁）.pdf》由會員分享，可在線閱讀，更多相關《OWASP：2023OWASP機器學習安全風險TOP10（25頁）.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、OWASP 機器學習安全風險 TOP 10致謝英文項目地址：https:/owasp.org/www-project-machine-learning-security-top-10/感謝以下中文項目參與人員（按拼音順序排列）：戴楚南、吳楠、肖文棣、張坤、張淼Abraham KangShain SinghSagar BhureRob van der VeerVamsi Suman KanukolluM S NishanthBuchibabu BandarupallyJamieson OReillyAshish KaushikJakub KaluznyDavid OttenheimerHaral

2、 Tsitsivas項目領導貢獻者OWASP 機器學習安全風險 TOP 101ML01:2023對抗性攻擊Adversarial Attack當攻擊者故意更改輸入數據以誤導模型時，就會發生對抗性攻擊。ML02:2023 數據投毒攻擊Data Poisoning Attack當攻擊者操縱訓練數據導致模型以不良方式運行時，就會發生數據投毒攻擊。ML03:2023 模型反轉攻擊Model Inversion Attack當攻擊者對模型進行逆向工程以從中提取信息時，就會發生模型反轉攻擊。ML04:2023 成員推理攻擊Membership Inference Attack當攻擊者操縱模型的訓練數據以使

3、其行為暴露敏感信息時，就會發生成員推理攻擊。ML05:2023 模型竊取Model Stealing當攻擊者獲得對模型參數的訪問權時，就會發生模型竊取攻擊。ML06:2023損壞的組件包Corrupted Packages當攻擊者修改或替換系統使用的機器學習庫或模型時，就會發生損壞的組件包攻擊。ML07:2023遷移學習攻擊Transfer Learning Attack當攻擊者在一個任務上訓練模型，然后在另一個任務中對其進行微調，導致結果未按照預期產生，就會發生遷移學習攻擊。ML08:2023模型偏斜Model Skewing當攻擊者操縱訓練數據的分布，導致模型以不希望的方式運行時，就會發生

4、模型偏斜攻擊。ML09:2023輸出結果完整性攻擊Output Integrity Attack當攻擊者的目的是為了改變其 ML 模型的行為或對使用該模型的系統造成損害，從而修改或操縱 ML 模型的輸出結果，就會發生輸出結果完整性攻擊。ML10:2023神經網絡重編程Neural Net Reprogramming當攻擊者操縱模型的參數使其以不良的方式運行時，就會發生神經網絡重編程攻擊。十大風險列表OWASP 機器學習安全風險 TOP 102ML01:2023 對抗性攻擊Adversarial Attack風險圖表Risk Chart安全弱點影響應用描述 可利用性：5可檢測性:3技術:5威脅代

5、理：具有深度學習和圖像處理技術知識的攻擊者。深度學習模型準確分類圖像的能力存在漏洞。圖像分類錯誤，導致安全繞過或對系統造成損害。攻擊向量：故意制作與合法圖像相似的對抗性圖像。對抗性訓練防御對抗性攻擊的一種方法是在對抗性示例上訓練模型。這可以幫助模型對攻擊的識別變得更加敏銳，并降低其被誤導的可能性。穩健模型另一種方法是使用旨在抵御對抗性攻擊的模型，例如對抗性訓練或包含防御機制的模型。輸入驗證輸入驗證是另一個重要的防御機制，可用于檢測和防止對抗性攻擊。這涉及檢查輸入數據是否存在異常，例如意外值或模式，并拒絕可能是惡意的輸入。攻擊場景示例Example Attack Scenario場景 1：圖像分

6、類場景 2：網絡入侵檢測訓練深度學習模型將圖像分類為不同的類別，例如狗和貓。攻擊者創建了一個與貓的合法圖像非常相似的對抗圖像。該對抗圖像帶有一些精心設計的小擾動，導致模型將其錯誤分類為狗。當模型部署在真實環境中時，攻擊者可以使用對抗圖像繞過安全措施進而對系統造成危害。訓練一個深度學習模型來進行網絡入侵檢測。攻擊者通過精心制作數據包來創建對抗性網絡流量，從而使它們能夠逃避模型的入侵檢測系統。攻擊者可以操縱網絡流量的特征，例如源 IP 地址、目標 IP 地址或負載，從而使入侵檢測系統無法檢測到它們。例如，攻擊者可能會將其源 IP 地址隱藏在代理服務器后面或加密其網絡流量的有效負載。這種類型的攻擊可

7、能會導致數據被盜、系統受損等嚴重后果。預防措施Example Attack Scenario威脅代理攻擊載體安全弱點影響OWASP 機器學習安全風險 TOP 103ML02:2023 數據投毒攻擊Data Poisoning Attack數據驗證和驗證確保訓練數據在用于訓練模型之前得到徹底驗證和確認。這可以通過實施數據驗證檢查并使用多個數據標記器來驗證數據標記的準確性來完成。安全數據存儲以安全方式存儲訓練數據，例如使用加密、安全數據傳輸協議和防火墻。數據分離將訓練數據與生產數據分開，以降低泄露訓練數據的風險。場景 1：訓練垃圾郵件分類器場景 2：訓練網絡流量分類系統攻擊者給一款用于將電子郵件分

8、類為垃圾郵件或非垃圾郵件的深度學習模型的訓練數據投毒，該模型用于。攻擊者通過侵入網絡或利用數據存儲軟件中的漏洞或其他破壞數據存儲系統的方式，將惡意標記的垃圾郵件注入訓練數據集來執行此攻擊。攻擊者還可以操縱數據標記過程，例如偽造電子郵件標記或賄賂數據標記者以提供不正確的標簽。攻擊者給一款用于將網絡流量分類為不同類別（例如電子郵件、Web 瀏覽和視頻流）的深度學習模型的訓練數據投毒。他們引入了大量網絡流量示例，這些示例被錯誤地標記為不同類型的流量，導致訓練模型將此流量分類為錯誤類別。因此當部署模型時，模型可能會進行錯誤的流量分類，從而可能導致網絡資源分配不當或網絡性能下降。風險圖表Risk Cha

9、rt安全弱點影響應用描述可利用性：3可檢測性：2技術：4威脅代理人：有權訪問用于模型的訓練數據的攻擊者。缺乏數據驗證和對培訓數據的監控不足。該模型將基于中毒數據做出錯誤的預測，從而導致錯誤的決策和潛在的嚴重后果。攻擊向量：攻擊者將惡意數據注入訓練數據集中。威脅代理攻擊載體安全弱點影響預防措施Example Attack Scenario攻擊場景示例Example Attack ScenarioOWASP 機器學習安全風險 TOP 104訪問控制實施訪問控制以限制何人、何時可以訪問訓練數據。監控和審計定期監控訓練數據是否有異常，并進行審計以發現任何數據篡改。模型驗證使用訓練期間未使用過的單獨驗證

10、集來驗證模型。這有助于檢測可能影響訓練數據的任何數據投毒攻擊。模型集成使用訓練數據的不同子集訓練多個模型，并使用這些模型的集成來進行預測。因為攻擊者需要破壞多個模型才能實現影響預測，這給攻擊者加大了難度，從而減少數據投毒攻擊的風險。異常檢測使用異常檢測技術來檢測訓練數據中的任何異常行為，例如數據分布或數據標簽的突然變化。這些技術可用于及早檢測數據投毒攻擊。OWASP 機器學習安全風險 TOP 105ML03:2023 模型反轉攻擊Model Inversion Attack場景 1：從人臉識別模型中竊取個人信息場景 2：繞過在線廣告中的機器人檢測模型攻擊者訓練一款深度學習模型來執行人臉識別。然

11、后，他們使用該模型對公司使用的不同人臉識別模型進行模型反轉攻擊。攻擊者將某個人的圖像輸入到模型中，并從模型的預測中恢復這個人的個人信息，例如姓名、地址或社會安全號碼。此攻擊方式為：攻擊者通過訓練模型 A 來執行人臉識別，然后使用 A 模型來反轉另一個人臉識別模型 B 的預測，從而攻擊者可以從 B 模型的預測中恢復個人信息。此類攻擊可以通過利用模型開發中的漏洞或通過 API 訪問模型來實現。廣告商希望通過使用機器人執行點擊廣告和訪問網站等操作來實現廣告活動的自動化。然而，在線廣告平臺使用機器人檢測模型來阻止機器人執行這些操作。為了繞過這類模型，廣告商訓練針對機器人檢測的深度學習模型，并使用該模型

12、來反轉在線廣告平臺使用的機器人檢測模型的預測。廣告商將他們的機器人輸入到模型中，使機器人以人類用戶的身份出現，從而能夠繞過機器人檢測，成功地執行自動廣告活動。此攻擊方式為：廣告商首先訓練他們自己的機器人檢測模型 A，然后使用 A 來逆轉在線廣告平臺使用的機器人檢測模式 B 的預測，從而廣告商可以使他們的機器人看起來像人類用戶，成功地實現了廣告活動的自動化。此類攻擊能夠通過開發中的漏洞或通過 API 訪問模型來實現。風險圖表Risk Chart安全弱點影響應用描述可利用性：4可檢測性：2技術：4威脅代理：可以訪問模型和輸入數據的攻擊者。模型的輸出可用于推斷有關輸入數據的敏感信息。有關輸入數據的機

13、密信息可能會被泄露。攻擊向量：向模型提交圖像并分析模型的響應。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack ScenarioOWASP 機器學習安全風險 TOP 106訪問控制限制對模型或其預測的訪問可以防止攻擊者獲得反轉模型所需的信息。這可以通過在訪問模型或其預測時要求身份驗證、加密或其他形式的安全性來實現。輸入驗證驗證模型的輸入可以防止攻擊者提供可用于反轉模型的惡意數據。這可以通過在模型處理輸入之前檢查輸入的格式、范圍和一致性來實現。模型透明度使模型及其預測透明有助于檢測和防止模型反轉攻擊。這可以通過記錄所有輸入和輸出、為模型的預測提供解釋或允許用戶檢查模型的內部表

14、示來實現。定期監測監測模型對異常的預測有助于檢測和防止模型反轉攻擊。這可以通過跟蹤輸入和輸出的分布、將模型的預測與實際真實數據進行比較或隨時間的變化監測模型的性能。模型再訓練定期對模型進行再訓練可以有助于防止對“過時”模型的反轉攻擊，從而避免信息泄露。這可以通過結合新數據并糾正模型預測中的任何不準確之處來實現。預防措施Example Attack ScenarioOWASP 機器學習安全風險 TOP 107ML04:2023 成員推理攻擊Membership Inference Attack場景 1：從機器學習模型推斷財務數據惡意攻擊者想要獲取個人的敏感財務信息。他們通過在財務記錄數據集上訓練

15、機器學習模型，并使用它來查詢特定個人的記錄是否包含在訓練數據中來做到這一點。然后，攻擊者可以使用這些信息來推斷個人的財務歷史和敏感信息。攻擊者通過在從金融組織獲得的財務記錄數據集上訓練機器學習模型來執行此攻擊。然后，他們使用這個模型來查詢特定個人的記錄是否包含在訓練數據中，從而推斷出敏感的財務信息。風險圖表Risk Chart安全弱點影響應用描述可利用性：4可檢測性：3技術：4有權訪問數據和模型的黑客或惡意行為者。缺乏適當的數據訪問控制。缺乏適當的數據驗證和凈化技術。缺乏適當的數據加密。缺乏適當的數據備份和恢復技術。模型預測不可靠或不正確。失去敏感數據的機密性和隱私。違反法律法規。聲譽損害。有

16、惡意或被賄賂干擾數據的內部人員。允許未經授權訪問數據的不安全的數據傳輸通道。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenario在隨機或混洗數據上進行模型訓練在隨機或混合數據上訓練機器學習模型會使攻擊者更難確定訓練數據集中是否包含特定示例。模型混淆通過添加隨機干擾或使用差分隱私技術來混淆模型的預測，可以使攻擊者更難確定模型的訓練數據，從而有助于防止成員身份推理攻擊。正則化L1 或 L2 等正則化技術有助于防止模型與訓練數據的過擬合，這會降低模型準確確定訓練數據集中是否包含特定示例的能力。預防措施Example Attack ScenarioOWASP 機器學習

17、安全風險 TOP 108 減少訓練數據減少訓練數據集的大小或刪除冗余或高度相關的特征有助于減少攻擊者從成員推理攻擊中獲得的信息。測試和監控定期測試和監控模型的異常行為，可以通過檢測攻擊者何時試圖訪問敏感信息來幫助檢測和防止成員身份推理攻擊。OWASP 機器學習安全風險 TOP 109ML05:2023 模型竊取 Model Stealing場景 1：從競爭對手那里竊取機器學習模型原公司開發了一款有競爭優勢的機器學習模型，競爭對手雇傭惡意攻擊者為其工作。攻擊者希望可以竊取此模型，以便競爭對手公司可以擁有此模型并獲得競爭優勢。攻擊者通過反匯編二進制代碼或訪問模型的訓練數據和算法，對原公司的機器學習

18、模型進行逆向工程來執行此攻擊。一旦攻擊者對模型進行了逆向工程，攻擊者就可以使用此信息重新創建模型并開始滿足競爭對手公司的業務需求。這可能會給原公司造成重大經濟損失，并損害 A 公司的聲譽。風險圖表Risk Chart安全弱點影響應用描述可利用性：4可檢測性：3 技術：4威脅代理/攻擊向量：這是指執行攻擊的實體，在這種情況下，它是指想要竊取機器學習模型的攻擊者。模型的不安全部署：模型的不安全部署使攻擊者更容易訪問和竊取模型。模型竊取可能既影響用于訓練模型的數據的機密性，同時也會影響開發模型的組織的聲譽。機密性、信譽威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenar

19、io加密對模型的代碼、訓練數據和其他敏感信息進行加密，可以防止攻擊者訪問和竊取模型。訪問控制實施嚴格的訪問控制措施，例如雙因素身份驗證，可以防止未經授權的個人訪問模型和竊取模型。定期備份定期備份模型的代碼、訓練數據等敏感信息，確保萬一失竊時可以恢復。預防措施Example Attack ScenarioOWASP 機器學習安全風險 TOP 1010模型混淆混淆模型的代碼并使其難以逆向工程可以防止攻擊者竊取模型。水印在模型的代碼和訓練數據中添加水印可以追蹤盜竊的來源并追究攻擊者的責任。法律保護為模型提供法律保護，例如專利或商業秘密，可以使攻擊者更難竊取模型，并可以在發生盜竊時提供法律訴訟依據。監

20、控和審計定期監控和審計模型的使用可以通過檢測攻擊者何時試圖訪問或竊取模型來幫助檢測和防止竊取行為。OWASP 機器學習安全風險 TOP 1011ML06:2023 損壞的組件包 Corrupted Packages場景 1：攻擊組織中的機器學習項目惡意攻擊者想要破壞大型組織正在開發的機器學習項目。攻擊者知道該項目依賴于幾個開源包和庫，并想通過這些依賴的開源包和庫找來破壞該項目。攻擊者通過修改項目所依賴的某個開源包（例如 NumPy 或 Scikit-learn）的代碼來執行攻擊。然后，攻擊者將這個修改后的開源包的版本上傳到公共存儲庫，例如 PyPI，供其他人下載和使用。當受害組織下載并安裝軟件

21、包時，攻擊者的惡意代碼也會被安裝，并可用于破壞項目。因為受害者可能沒有意識到自己使用的軟件包已經損壞，所以在很長一段時間內忽視該類型攻擊，導致產生嚴重后果，例如竊取敏感信息、修改結果，甚至導致機器學習模型失效。風險圖表Risk Chart安全弱點影響應用描述可利用性：5可檢測性：2 技術：4惡意攻擊者修改機器學習項目使用的開源包代碼依賴不受信任的第三方代碼對機器學習項目的損害和對組織的潛在危害威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenario驗證包簽名在安裝任何組件包之前，驗證組件包的數字簽名以確保該安裝組件包沒有遭到篡改。使用安全的組件包存儲庫使用安全的組

22、件包存儲庫，例如 Anaconda，該存儲庫執行嚴格的安全措施并對組件包進行審查。保持軟件包最新定期更新所有軟件包以確保修補任何漏洞。使用虛擬環境使用虛擬環境將組件包和庫與系統的其余部分隔離開來。這樣可以更容易地檢測并刪除任何惡意軟件包。預防措施Example Attack ScenarioOWASP 機器學習安全風險 TOP 1012執行代碼審查定期對項目中使用的所有組件包和庫執行代碼審查，以檢測任何惡意代碼。使用組件包驗證工具在安裝前，使用 PEP 476 和安全組件包安裝等工具驗證組件包的真實性和完整性。教育開發人員教育開發人員了解與損壞的組件包攻擊相關的風險以及在安裝前驗證組件包的重要

23、性。OWASP 機器學習安全風險 TOP 1013ML07:2023 遷移學習攻擊 Transfer Learning Attack場景 1：遷移惡意模型知識，試圖繞過人臉識別系統攻擊者在包含被操縱的人臉圖像的惡意數據集上訓練機器學習模型，并想用此攻擊一家安全公司用于身份驗證的人臉識別系統。然后，攻擊者將模型知識遷移到目標人臉識別系統。目標系統開始使用攻擊者操縱的模型進行身份驗證。因此，人臉識別系統開始做出錯誤的預測，使攻擊者能夠繞過安全機制，獲取敏感信息。例如，攻擊者可以使用自己惡意修改的人臉圖像，系統會將其誤識別為合法用戶。風險圖表Risk Chart安全弱點影響應用描述可利用性：4可檢測

24、性：2要求：4具有機器學習知識和擁有訪問訓練數據集或預訓練模型權限的攻擊者缺乏對訓練數據集和預訓練模型的適當數據保護措施。預訓練模型的不安全存儲和共享。缺乏對預訓練模型和訓練數據集的適當數據保護措施。機器學習模型錯誤或產生錯誤結果。訓練數據集中敏感信息泄露的漏洞。對組織的聲譽損害。法律或法規遵從性問題。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenario 定期監控和更新訓練數據集定期監控和升級訓練數據集有助于防止惡意知識從攻擊者的模型轉移到目標模型。使用安全可信的訓練數據集使用安全可信的訓練數據集有助于防止惡意知識從攻擊者的模型轉移到目標模型。預防措施Exam

25、ple Attack ScenarioOWASP 機器學習安全風險 TOP 1014實施模型隔離實施模型隔離有助于防止惡意知識從一個模型轉移到另一個模型。例如，將訓練環境和部署環境分開可以防止攻擊者將知識從訓練環境轉移到部署環境。使用差分隱私使用差分隱私有助于保護訓練數據集中的個人隱私數據，并防止惡意知識從攻擊者的模型轉移到目標模型。執行定期安全審計定期安全審計可以通過識別消除系統中的漏洞來幫助識別和防止遷移學習攻擊。OWASP 機器學習安全風險 TOP 1015ML08:2023 模型偏斜 Model Skewing場景 1：提供虛假反饋信息，獲得貸款批準機會一家金融機構正在使用機器學習模型

26、來預測貸款申請人的信用度，該模型的預測被集成到貸款審批流程中。攻擊者希望增加獲得貸款批準的機會，因此他們操縱 MLOps（Machine Learning Operations）系統中的反饋回路。攻擊者向系統提供虛假的反饋數據，表明高風險的申請人過去曾被批準發放過貸款，且該反饋用于更新訓練模型數據。因此，該模型的預測偏向于攻擊者為低風險申請人，攻擊者獲得貸款批準的機會顯著增加。這種類型的攻擊可能會損害模型的準確性和公平性，導致預料之外的后果，并對金融機構及其客戶造成潛在傷害。風險圖表Risk Chart安全弱點影響應用描述可利用性：5可檢測性：2技術：4模型偏斜攻擊中的攻擊者可能是惡意個人，也

27、可能是在操縱模型結果方面第三方既得利益者。模型無法準確反映訓練數據的分布。這可能是由于數據偏差、不正確地數據采樣或攻擊者操縱數據或訓練過程等因素造成的?？赡軐е禄谀Ｐ洼敵鲎龀鲥e誤的決策。如果該模型用于醫學診斷或刑事司法等關鍵應用，這可能會導致經濟損失、聲譽受損，甚至對個人造成傷害。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenario實施強訪問控制確保只有授權人員才能訪問 MLOps 系統及其反饋回路，并記錄和審計所有活動。驗證反饋數據的真實性使用數字簽名和校驗和等技術來驗證系統接收到的反饋數據是否真實，并拒絕任何與預期格式不匹配的數據。使用數據驗證和清理技術

28、在使用反饋數據更新訓練數據之前，先對其進行清理和驗證，以最大限度地降低使用錯誤或惡意數據的風險。預防措施Example Attack ScenarioOWASP 機器學習安全風險 TOP 1016實施異常檢測使用統計和基于機器學習的方法等技術來檢測和警告反饋數據中的異常，這表明可能發生了攻擊。定期監控模型性能持續監控模型性能，并將其預測與實際結果進行比較，以檢測任何偏差或曲解。持續訓練模型使用更新和驗證的訓練數據定期對模型進行再訓練，以確保其持續反映最新趨勢和信息。OWASP 機器學習安全風險 TOP 1017ML09:2023 輸出結果完整性攻擊 Output Integrity Attac

29、k場景 1：攻擊 ML 模型篡改輸出結果攻擊者能夠訪問到醫院用于診斷疾病的ML模型及其輸出結果，攻擊者篡改模型的輸出結果，使其給患者提供了一個錯誤的診斷結果。因此，病人拿到了錯誤的治療方法或處方，最終導致病人受到進一步的傷害甚至死亡。風險圖表Risk Chart安全弱點影響應用描述可利用性：5可檢測性：3技術：3可以訪問模型輸入和輸出的惡意攻擊者或內部人員有權獲取輸入和輸出并可能篡改輸入和輸出以實現特定結果的第三方實體由于缺乏適當的鑒權及身份驗證校驗授權的措施，所以不能確保模型輸入輸出的完整性。因對模型的輸入輸出缺乏充分的驗證及鑒權，不能防止輸入輸出的結果被篡改。缺少對模型輸入輸出的監控及相關

30、日志的記錄，導致無法檢測出模型是否被第三方篡改。此風險可導致用戶對模型的預測與結果失去信心。如果模型的預測結果被用于做出重要的決定或決策，可能導致經濟損失或名譽聲譽受損。如果模型在關鍵/重要的應用場景中使用，如金融詐騙的檢測或網絡安全場景中會存在安全風險。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack Scenario使用加密方式/算法使用數字簽名或安全的 hashes 對輸出結果進行驗證保護。安全通信隧道/協議在模型與輸出結果的接口之間應該使用安全的協議進行通信的保護（如：SSL/TLS）。預防措施Example Attack ScenarioOWASP 機器學習安全風

31、險 TOP 1018輸入驗證在提供結果反饋的位置應該進行輸入參數的檢測以檢查未預期或被操縱的參數。日志防篡改將所有輸入輸出的交互及響應結果進行日志記錄及使用防篡改技術保護日志的信息。定期更新軟件定期更新軟件和安全補丁以修復漏洞和降低輸出完整性攻擊的風險。監視和審計定期監視和審計結果以及模型和接口之間的交互行為可以幫助檢測任何可疑活動并做出相應的響應。OWASP 機器學習安全風險 TOP 1019ML10:2023 神經網絡重編程 Neural Net Reprogramming場景 1：改變模型參數，導致誤識別支票手寫名字有這樣一個場景:銀行正使用機器學習模型來識別支票上的手寫文字以實現自動結

32、算。該模型在一個手寫文字的大型數據集上進行了訓練，它被設計成基于特定參數(如大小、形狀、斜度和間距)以準確識別字符。攻擊者利用神經網絡重編程攻擊可以通過改變模型訓練數據集里的圖像或直接修改模型中的參數來操縱模型的參數。此類攻擊可能導致模型被重新編程以識別不同的字符。例如，攻擊者可以更改參數，使模型將字符“5”識別為字符“2”，從而導致處理錯誤的金額。攻擊者可以利用此漏洞將偽造的支票引入結算過程中，由于參數被惡意操縱，模型將偽造的支票處理為有效的。這會給銀行帶來重大的經濟損失。風險圖表Risk Chart安全弱點影響應用描述可利用性：4可檢測性：3技術：3擁有知識和資源且帶有惡意的個人或組織操縱

33、深度學習模型。具有惡意行為的人員在組織內部開發深度學習模型。對模型的代碼和參數缺少訪問控制。缺乏適當的編碼安全實踐。對模型活動的監控和記錄不足。模型的預測可以被人為操縱以達到預期的結果?？梢蕴崛∧Ｐ椭械臋C密信息?；谀Ｐ皖A測結果的決策可能會受到負面的影響。組織的聲譽和信譽會受到影響。威脅代理攻擊載體安全弱點影響攻擊場景示例Example Attack ScenarioOWASP 機器學習安全風險 TOP 1020正則化在損失函數(loss function)中添加 L1(Lasso)或 L2(Ridge)的正則化技術有助于防止過擬合以減少神經網絡重編程攻擊的機會。魯棒（健壯）模型設計設計具有穩

34、健性的架構和激活函數（Activation Function）的模型可以有助于減少有效利用重編程攻擊的機會。加密技術加密技術可用于保護模型的參數和權重，防止未經授權的訪問或操縱這些參數。預防措施Example Attack ScenarioOWASP 機器學習安全風險 TOP 10211.估計可能性因素2.估計影響的因素脆弱性因素技術影響此組因素與所涉及的漏洞有關。這里的目標是估計特定漏洞涉及被發現和利用的可能性。在考慮成功攻擊的影響時，重要的是要意識到存在兩種影響。首先是“技術影響”，對應用程序、應用程序使用的數據以及提供的功能的影響。另一個是“業務影響”，即是對業務和運營該業務的公司影響。

35、根本上來說，業務影響更為重要。但是，您可能無法收集到所有成功攻擊后的業務后果。在這種情況下，盡可能多提供有關技術風險的詳細信息，將有助于相關風險管理人員做出有關業務風險的決策。以“完整性損失”為例-有多少數據可能被損壞，損壞程度如何？https:/owasp.org/www-community/OWASP_Risk_Rating_Methodology 風險=可能性*影響 “易于利用”：這組威脅代理實際利用此漏洞的難易程度如何？（數值越高，利用漏洞的可能性越大）入侵檢測：檢測到漏洞的可能性有多大？（數值越高，檢測到漏洞的可能性越?。┱f 明1.OWASP Risk Rating Methodol

36、ogy（摘取部分）0123456789理論困難簡單自動化工具可用0123456789應用程序中的主動檢測記錄和審查記錄而不審查未記錄 0123456789最小輕微損壞的數據最小嚴重損壞的數據大量輕微損壞的數據大量嚴重損壞的數據所有數據完全損壞 OWASP 機器學習安全風險 TOP 10222.可利用性特定于 ML1.風險圖表 ML 特定應用程序：4該攻擊專門針對機器學習應用程序，可能對模型和組織造成重大傷害 ML 特定操作：3該攻擊需要機器學習操作的知識，但可以相對輕松地執行2.其他說明注意，描述圖表只是一個基于場景示例的情況，實際風險評估將取決于每個機器學習系統的具體情況。ML01:2023

37、對抗性攻擊Adversarial AttackML 特定應用程序：4ML 特定操作：3ML02:2023 數據投毒攻擊Data Poisoning AttackML 特定應用程序：4ML 特定操作：3ML03:2023 模型反轉攻擊Model Inversion AttackML 特定應用程序：5ML 特定操作：3ML04:2023 成員推理攻擊Membership Inference AttackML 特定應用程序：5ML 特定操作：3ML05:2023 模型竊取Model StealingML 特定應用程序：4ML 特定操作：3ML06:2023損壞的組件包Corrupted PackagesML 特定應用程序：5ML 特定操作：3ML07:2023遷移學習攻擊Transfer Learning AttackML 特定應用程序：4ML 特定操作：3ML08:2023模型偏斜Model SkewingML 特定應用程序：4ML 特定操作：3ML09:2023輸出結果完整性攻擊Output Integrity AttackML 特定應用程序：4ML 特定操作：4ML10:2023神經網絡重編程Neural Net ReprogrammingML 特定應用程序：4ML 特定操作：4