《北京金融科技產業聯盟：2025金融業人工智能應用風險研究報告（47頁）.pdf》由會員分享，可在線閱讀，更多相關《北京金融科技產業聯盟：2025金融業人工智能應用風險研究報告（47頁）.pdf（47頁珍藏版）》請在三個皮匠報告上搜索。

1、金融業人工智能應用風險研究報告 北京金融科技產業聯盟 2025 年 1 月I 版權聲明 本報告版權屬于北京金融科技產業聯盟，并受法律保護。轉載、編摘或利用其他方式使用本白皮書文字或觀點的，應注明來源。違反上述聲明者，將被追究相關法律責任。I 編制委員會 編委會成員：聶麗琴 蘇建明 蔣家堂 葉 紅 范 皓 陳 芳 姚輝亞 彭 晉 汪 航 史巍威 張立文 楊文俊 蔣 寧 編寫組成員：程佩哲 許 嘯 陳天涵 黃 蓉 艾 毅 程元鴻 金 馳 姜 璐 金 昕 李 榮 于雪松 李 昶 趙志永 曹 威 張 弛 方宇倫 許桐桐 陸碧波朱 婧 陸俊 廖 淵 安 迪 張 駿 陳鵬飛 林 杉 王翰琛 李建興 龍 凡

2、 編審：黃本濤 劉昌娟 參編單位：北京金融股科技產業聯盟秘書處、中國工商銀行股份有限公司、中央國債登記結算有限責任公司、中國銀聯股份有限公司、深圳前海微眾銀行股份有限公司、螞蟻科技集團股份有限公司、中國郵政儲蓄銀行股份有限公司、深信服科技股份有限公司、中國光大銀行股份有限公司、國家開發銀行、云南南天電子信息產業股份有限公司、馬上消費金融股份有限公司、中國農業銀行股份有限公司 i 目 錄 一、概述.1（一）研究背景.1（二）政策與標準.1（三）技術發展路線.2 二、金融業人工智能安全風險框架.5（一）基礎設施風險.5（二）數據風險.8（三）模型算法風險.10（四）應用風險.13（五）倫理風險.1

3、5（六）隱私風險.17（七）管理風險.18（八）大模型安全風險.21 三、金融業人工智能安全防護框架.24（一）基礎設施防護.24（二）數據防護.26（三）模型算法防護.28（四）應用防護.31（五）倫理防護.33（六）隱私防護.34（七）管理防護.35（八）大模型安全防護.37 四、金融業人工智能風險防控案例.40（一）工商銀行人工智能安全框架.40（二）螞蟻集團大模型安全一體化解決方案.40（三）郵儲銀行人工智能安全技術體系.41 五、總結與展望.42 1 一、概述（一）研究背景（一）研究背景 隨著金融行業數字化轉型的快速發展，人工智能相關技術在金融領域的應用場景日趨廣泛，已涵蓋了產品創新

4、、客服營銷、業務運營及風險防控等多個業務場景，特別是大模型的出現，加速了人工智能金融業應用的進程，與此同時深度偽造、對抗樣本等針對人工智能的新型攻擊手法不斷涌現，人工智能應用風險已引起金融業的高度關注。（二）（二）政策與標準政策與標準 針對人工智能應用風險，國內外均提出發展和安全并重、加強監管和測評的核心思想，規范和保障人工智能的安全發展。國內側重于宏觀審慎監管和國家戰略服務，中央金融工作會議強調加快建設金融強國，全面加強金融監管，推動金融資源用于科技創新，不斷優化金融服務，防范和化解金融風險。國家網信辦聯合七部門于 2023 年公布生成式人工智能服務管理暫行辦法，該辦法旨在促進生成式人工智能

5、健康發展和規范應用，并規定了 AI 服務提供方的責任義務。金融監管總局在銀行保險機構數據安全管理辦法（征求意見稿）中提出，應當對人工智能模型開發應用進行統一管理，實現模型算法可驗證、可審核、可追溯，就數據對決策結果影響進行解釋說明和信息披露，建立人工智能應用的風險緩釋措施等。中國人民銀行在人工智能算法金融應用評價規范中規定了人工智能算法在金融領域應用的基本要求、評價方法和判定標準，適用于開展人工智能算法金融應用的金融機構、算法提供商 2 及第三方安全評估機構等；在人工智能算法金融應用信息披露指南中明確金融機構在使用人工智能算法提供金融產品和服務時，規范地開展算法信息披露活動，增強人工智能算法的

6、可解釋性和透明度，維護金融消費者合法權益。國外監管更注重市場效率和消費者保護，確保金融機構在提供產品和服務的同時遵守相關法律和道德準則，同時建立完善的消費者投訴和糾紛解決機制。美國人工智能應用監管指南標志著歐美人工智能政策從倫理規范向監管規制逐步轉變，也顯示了 AI 主導權開始轉向通過立法和監管來謀求科技主導地位；人工智能權利法案藍圖中提出，在不損害公眾利益的情況下，用戶應可以自主選擇使用人工服務替代人工智能服務。歐盟通用數據保護條例等隱私及數據安全要求的發布，監管部門要求金融機構在建設和使用人工智能的同時，需滿足民眾對隱私保護的需求；在人工智能法中為人工智能制定了一套覆蓋全過程的風險規制體系

7、，提出了風險分類思路、產品規制路徑、負責任創新和實驗主義治理理念?，F有行業規范主要從管理和治理的角度進行要求，尚未充分針對具體應用場景，進行技術攻擊視角開展深入的風險分析，在實際應用中的防護措施也討論較少。（三）技術發展路線（三）技術發展路線 人工智能風險及防護已成為技術研究的新興領域，其技術發展也經歷了從初步探索到逐漸深化的過程。3 對抗樣本攻擊技術對抗樣本攻擊技術自 2016 年起成為學術界研究的熱點，研究人員發現通過構造輕微擾動來干擾輸入樣本，可以使深度神經網絡輸出攻擊者想要的任意錯誤結果。初期（20162019 年），研究者開始探索對抗樣本識別模型技術，旨在區分正常輸入與精心設計的對抗

8、輸入。進入 2020 年，對抗樣本生成技術進一步細分，包括多模態對抗攻擊、針對不同場景的白盒攻擊和黑盒攻擊。2021 年起，物理世界對抗樣本生成、目標定位對抗攻擊等新技術涌現，豐富了對抗樣本的實戰應用。模型竊取攻擊技術模型竊取攻擊技術作為新興的安全威脅，2019年，初步出現了用于模型竊取攻擊的替代模型技術，標志著該領域研究的起步。隨著時間的推移，模型竊取攻擊技術不斷演變。2021 年，研究者們提出了通過對比分析不同模型提取的時序和空間特征，以及利用圖形碼解析技術來竊取模型信息的方案，展現了模型竊取攻擊技術的復雜性和多樣性。2022 年至今，基于梯度驅動數據生成的模型竊取攻擊方法成為新的研究熱點

9、。該方法利用梯度信息指導數據生成，從而更有效地竊取目標模型的內部結構和參數，對模型安全構成了新的挑戰。數據投毒攻擊技術數據投毒攻擊技術作為一種隱蔽而有效的攻擊手段，2021年基于深度學習中特征碰撞的投毒攻擊方法和基于聯邦學習的圖分類任務中毒攻擊方法相繼問世。這些技術通過向訓練數據中注入惡意樣本，破壞模型的正常學習過程，從而實現對目標模型的攻擊。近年來，數據投毒攻擊技術進一步發展，出現了通過直接破壞訓練數據來影響整個學習過程的技術。這類攻擊不僅難以被察 4 覺，而且能夠對模型性能造成長期且深遠的影響，對機器學習系統的安全性構成了嚴峻挑戰。對抗性數據增強技術對抗性數據增強技術在 2016 年后逐步

10、成熟，成為提升機器學習模型魯棒性的重要手段。早期（20162018 年），研究者們通過基于對抗示例的防御策略更新、對抗訓練系統改進及模型置信水平交換等方法，增強了模型的防御能力。2019 年，基于對抗樣本增強的抗攻擊能力訓練等技術進一步提升了模型的魯棒性。2020 年，模型訓練方法的創新，如對抗補丁的生成與防御、魯棒深度神經網絡訓練等，推動了數據增強技術的多元化發展。2021年，聯邦遷移學習、優化訓練方法等技術方案的出現，為分布式環境下的對抗性數據增強提供了新的思路。2022 年至今，基于對抗訓練的文本解析、多任務建模與集成、視頻級目標檢測訓練等技術的融合應用，進一步提升了復雜場景下的對抗性數

11、據增強效果。數據隱數據隱私計算技術私計算技術在 2016 年后成為研究熱點，旨在保護數據隱私的同時實現數據的有效利用。早期（20162018 年），基于隱私保護技術的聯合深度學習訓練方法初步成型。2019 年，數據隱私保護下的機器學習模型特征篩選、多方聯合訓練圖神經網絡等技術方案的提出，推動了隱私保護技術的發展。2020 年，橫向聯邦學習、全同態加密等技術的出現，為數據隱私計算提供了更為安全高效的解決方案?；诙诉呍萍軜嫷姆植际铰摪顚W習安全防御、聯邦神經網絡訓練等技術的融合應用，進一步提升了數據隱私保護的能力。5 AIAI 框架漏洞挖掘技術框架漏洞挖掘技術在 2018 年后快速發展，成為保障

12、AI 系統安全的重要環節。初期（20162018 年），深度學習系統漏洞檢測技術初步形成。2019 年，人工智能和模糊測試漏洞掃描系統（AIFuzz）的推出，標志著自動化漏洞挖掘技術的興起。2020 年，對抗性漏洞審計工具、深度學習漏洞危害評估指標技術的出現，進一步提升了漏洞挖掘的精度和效率。2021 年，基于遺傳算法的深度學習模型安全漏洞測試和修復技術、圖神經網絡在智能合約漏洞檢測中的應用等技術，為 AI 框架安全提供了更加全面的保障。2023 年至今，基于圖神經網絡的源代碼缺陷檢測、漏洞檢測模型優化等技術的融合應用，推動了 AI 框架漏洞挖掘技術的持續進步。整體而言，人工智能攻防領域的研究

13、聚焦于模型防護與攻擊方法技術，其中模型攻擊技術則涵蓋對抗樣本、竊取、投毒等多種手段，而模型防護技術為核心與熱點，包括數據增強、漏洞挖掘與隱私計算等，部分技術尚處于探索階段。二、金融業人工智能安全風險框架（一）（一）基礎設施基礎設施風險風險 1.1.AIAI 框架開源風險框架開源風險 AI 框架開源風險主要存在斷供層面的風險。在人工智能領域，開源人工智能框架 TensorFlow 和 PyTorch 目前在我國占據了約85%的市場份額，開源框架在提供靈活性和創新性的同時，也可能使金融機構更加脆弱于供應鏈的不確定性。一旦開源框架的維護者決定終止支持或因政治原因停止合作，金融機構可能會陷入斷供的境地

14、，導致 AI 應用系統的不穩定甚至癱瘓。這種情況下，6 金融機構將面臨遷移至其他框架的轉換成本，進而增加了整體的運營成本。2.2.AIAI 框架和芯片安全漏洞框架和芯片安全漏洞 AI 框架和芯片安全漏洞問題是人工智能領域不容忽視的挑戰。以硬件加速芯片和 AI 框架為核心支撐的人工智能系統，在不斷提升算力以及模型能力的同時，也面臨著安全漏洞的潛在威脅。芯片安全漏洞作為硬件層面的問題，也對人工智能的安全性構成威脅。高性能計算所需的芯片在設計和制造過程中可能存在漏洞，這為惡意攻擊提供了潛在入口。AI 框架的開源本質為創新提供了契機，但也可能為潛在的安全漏洞留下后門。攻擊者可以利用這些漏洞進入系統，威

15、脅到敏感數據和模型的安全性。特別是在金融領域，安全性至關重要，一旦 AI 框架存在漏洞，可能導致機密信息泄露、模型被篡改等嚴重后果。例如主流人工智能分布式處理框架 Ray 就被爆出存在遠程命令執行漏洞（CVE-2023-48022）,該漏洞可使得攻擊者控制服務器的計算能力并竊取敏感數據。此漏洞源于 Ray 框架提供了用于提交計算任務或作業以供執行的接口，攻擊者可通過該接口提交任意系統命令，從而竊取數據庫憑證、SSH 密鑰等敏感信息。3.3.AIAI 供應鏈安全風險供應鏈安全風險 AI 供應鏈安全風險涉及外部引入的數據集、模型、工具包及服務等多個場景，如果外部引入的數據不準確或模型存在漏洞后門，

16、將直接影響模型的性能和決策。AI 服務和外部工具的引入也增加了供應鏈的復雜性和風險，這些服務或者工具本身也可能存 7 在缺陷或漏洞，可能面臨數據隱私泄露、未經授權的數據訪問等問題，對人工智能應用場景造成風險。AI 系統的復雜性和對外部資源的依賴性增加了系統被攻擊的風險。與傳統軟件不同，AI 系統與供應鏈的強耦合特性造成風險隱藏在訓練集和模型中，很難通過代碼審計、成分分析等傳統的安全技術手段識別風險，并且也無法通過打補丁的方式進行快速修復，提高了整體風險被發現和修復的難度；AI 供應鏈的安全風險是伴隨在系統開發和運行階段，需要對供應鏈全生命周期進行持續監控。4.4.AIAI 算力消耗風險算力消耗

17、風險 作為人工智能的重要底層支撐，算力成本問題是金融人工智能應用發展過程中不可忽視的一大挑戰。隨著人工智能能力的不斷增強，模型架構不斷升級，對算力與存儲的要求也越來越高。金融人工智能應用需要龐大的計算資源來進行訓練和推理，對許多金融機構來說，建立和維護這樣的計算基礎設施往往會需要高昂的成本，主要體現在硬件成本與能耗成本上：（1）硬件成本是指構建和維護高性能計算設備所需的硬件設備和設施的成本較高。（2）能耗成本是大規模金融人工智能應用所需的計算資源導致的高能耗，進而增加電力成本。若不能提升算力資源利用率，或與相關機構合作共享算力，則會造成收益比下降，前沿技術所帶來的科技進步無法轉化為經濟收益。8

18、 5.5.AIAI 系統實現風險系統實現風險 人工智能系統實現依賴于軟硬件平臺的支撐，軟件開發和硬件編碼過程中如存在漏洞，會引發人工智能系統實現風險。（1）Python 是當前使用較為廣泛的人工智能編程語言,編碼不當的編程腳本可能會觸發漏洞，使系統容易受到潛在的拒絕服務、遠程命令執行等攻擊。自動化的軟件開發過程中使用的 CI工具提供許多可利用的插件供開發者使用，這些插件可能會無意中暴露模型的代碼和訓練數據，同樣可能造成重大的安全問題。（2）與傳統程序一樣，硬件漏洞也會引發人工智能安全風險。如 rowhammer 內存硬件漏洞利用了相鄰內存單元之間的電荷泄漏問題，通過重復訪問某一列的存儲單元，可

19、以引起電壓波動，進而影響到目標存儲列，導致位翻轉現象，即 0 變為 1 或 1 變為0，可以被利用來操縱篡改模型的參數和輸出結果。（二）數據（二）數據風險風險 1.1.數據污染風險數據污染風險 若訓練數據集存在錯誤、異?；虮粣阂獯鄹牡那闆r，會導致模型性能下降、預測結果不準確，甚至出現安全漏洞等問題。數據采集錯誤、數據預處理不當、惡意攻擊或人為失誤都可以造成數據污染。被污染的數據在訓練過程中會導致模型對噪聲數據過擬合，而在推理時則可能導致模型做出錯誤的預測或決策。數據投毒是其中最典型的惡意攻擊方式，攻擊者可根據神經網絡的復雜性和非線性特性，找到在特征空間中與目標樣本相近的中毒樣本,并將中毒樣本注

20、入數據集，以此修改決策邊界，來破壞模型的可用性，從而產生各種不正確的預測。9 2.2.數據質量風險數據質量風險 數據質量在決定人工智能模型上限方面發揮著至關重要的作用，數據質量風險主要包括數據完整性與多樣性風險、數據準確性及標注質量風險和數據可擴展性風險三方面：（1）數據完整性與多樣性風險：訓練數據集應包含足夠多的樣本，每個樣本應包含所需的特征，并包含各種分布和變化，包括不同的類別、場景、時間等，否則模型將趨于過擬合，無法對新數據做出高準確率的預測或分類。金融數據的量級很大，某些交易類型或客戶類型呈現長尾分布，數據采集時易產生有偏數據。（2）數據準確性及數據標注質量風險：訓練數據的標簽和特征值

21、應準確無誤，避免引入錯誤的標簽或錯誤的特征值。對于需要人工標注的數據，標注應準確反映樣本的真實情況，且標注過程應遵循一致的標準和規范。否則訓練出的模型可能會產生錯誤的預測結果，導致錯誤決策。（3）數據可擴展性風險：隨著時間的推移，新的數據源可能不斷涌現，訓練數據應易于擴展和更新。如果模型只能使用舊數據來訓練，那么它的預測能力和泛化能力可能會受到限制。3.3.數據竊取風險數據竊取風險 數據竊取風險主要包括數據還原風險以及成員推理風險。數據還原風險是通過分析機器學習或人工智能模型的輸出，嘗試還原模型的訓練數據，以推斷出原始數據的一些特征和敏感信息。攻擊者利用各種技術手段，例如生成對抗樣本、附加噪聲

22、、10 反向工程等方法，試圖逆向還原模型，從而獲取訓練數據的敏感信息。成員推理風險通過分析機器學習模型的輸出來確定某個特定樣本是否被用于該模型的訓練。攻擊者利用生成對抗樣本、附加噪聲等方式判斷某個輸入數據是否屬于模型的訓練集，從而揭示有關訓練數據的敏感信息。例如，攻擊者可能利用成員推理來確定某人是否有過貸款記錄、是否在銀行黑名單上，或者判斷某個客戶是否被認為是高價值客戶。（三）模型算法（三）模型算法風險風險 1.1.算法失竊風險算法失竊風險 算法模型作為技術的核心載體，一旦被竊取，將可能使擁有該技術的金融機構暴露在風險中。例如，金融機構的 AI 模型被黑客惡意盜取后，黑客就可以復制該公司的業務

23、，來搶占金融市場，獲取間接經濟利益，或者將模型出售給第三方，甚至勒索該公司，來獲取直接經濟利益。在算法失竊方式中，一方面通過供應鏈直接竊取，算法模型因為沒有加密混淆，在傳輸和存儲過程中被竊取。另一方面可通過模型竊取算法實現，如代理模型攻擊實現竊取，主要通過訓練與原模型功能相似的代理模型來蒸餾原模型的知識，將原模型的輸入作為其輸入，原模型的輸出作為其訓練標簽，并進行參數優化，不斷擬合原模型的輸出，最終達到竊取原模型知識的目的。2.2.算法失效風險算法失效風險 金融場景的復雜性決定了沒有一個模型能夠涵蓋市場的所有特征，只能采取簡化的辦法，通過選取重要特征來描述真實的市 11 場。但這種以局部特征代

24、替整體特征的方法，使得算法具備很大的局限性，非常容易導致算法失效。比如，在程序化交易中，策略模型算法的實質是按照既定的規則進行買賣交易。投資者依據經驗或者數理化的方法從歷史行情中發掘出某些特定的規律，然后據此制定出相應的買賣規則。但不同時間內，市場規律會呈現出不一樣的特征，策略模型也就失效了。并且大部分的交易模型都是有時間限制的，程序化交易在國內的發展趨勢很快，交易模型算法如果不及時更新，也會發生失效的風險。3.3.算法指標失衡風險算法指標失衡風險 在模型算法評估過程中，分類問題、回歸問題等往往需要使用不同的指標進行評估，如準確率、召回率等。在諸多的評估指標中，大部分指標只能片面地反映模型的一

25、部分性能。如果不能合理地運用評估指標，不僅不能發現模型本身的問題，而且會得出錯誤的結論。比如在反欺詐場景下，如果過分追求識別黑產用戶的準確率，而忽視將正常用戶被誤判為黑產用戶的誤殺率，則會影響正常用戶體驗，增加用戶投訴。4.4.算法同質化風險算法同質化風險 算法同質化風險指的是當多個機器學習模型使用相似的訓練數據和相似的學習方法時，相似環境中共同犯錯或共同受到某些不利影響。造成這種同質化風險的原因主要有兩方面：一是由于使用的訓練數據相似比例較大，導致算法對相同類型的噪聲產生敏感性從而在類似的場景中犯同樣的錯誤。二是由于使用相似的結構和超參數進行訓練的模型，在面對對抗攻擊樣本時會表現出 12 相

26、似的脆弱性，攻擊者可能會更容易將成功的對抗攻擊擴展到不同的系統或應用中。例如，銀行內部風險防范通常由多個環節不同部門協同進行。如果風險防控中的一道防線、二道防線使用的風險模型存在同質化問題，會導致風險無法被發現，減弱多道防線的風險防控能力，使其失去效果。5.5.算法可審計風險算法可審計風險 人工智能算法模型的訓練、部署到使用全流程應當建立一套完整且規范的記錄模式，否則將會給該算法的可審計性帶來風險。在這個流程中如果不能對算法使用的歷史數據集進行溯源和備份，沒有對模型的迭代訓練過程中產生的中間結果進行記錄，沒有記錄模型運行日志及操作日志，都有可能會給后續審計和回溯工作帶來無法溯源的風險。6.6.

27、文件木馬風險文件木馬風險 人工智能算法在使用算法模型時，需要進行反序列化，從而將模型數據存入內存。目前大部分人工智能計算框架使用的模型文件反序化組件支持代碼執行，攻擊者可在模型文件中增加代碼，當使用者在執行模型文件的反序列過程中引發任意代碼執行，導致受害者使用的計算機遭受攻擊。目前應用較為廣泛的人工智能計算框架 Pytorch，使用了Pickle 組件來實現反序列化。該組件的反序列化過程支持任意代碼執行。攻擊者可向模型文件中加入惡意代碼。使用者在加載惡意模型文件時惡意代碼被執行，進而導致遠程控制、勒索病毒等風險。13 7.7.模型后門風險模型后門風險 當購買第三方人工智能算法模型或使用第三方的

28、人工智能算法模型服務時，如果第三方的模型沒有通過安全審計，那么使用的模型有被后門植入的風險。后門風險是指在人工智能模型的訓練階段，通過特定數據對模型效果進行定制化干擾的攻擊手法，帶有后門的模型針對正常輸入的輸出依舊正常，而帶有特定標記的輸入將會被識別為攻擊者想要偽裝成的對象，從而操縱模型的判斷結果。一些人工智能模型的提供商出于政治、商業競爭等特殊目的，可能在預訓練過程中植入模型后門，使其在應用過程中輸出錯誤的結果。一旦不法分子利用人工智能模型的這種風險，操控金融風控模型將會給整個金融行業帶來極大的威脅。8.8.對抗攻擊風險對抗攻擊風險 對抗攻擊指的是對人工智能模型的輸入進行微小，人工難以察覺的

29、改動，從而使產生錯誤的決策甚至操縱決策的輸出。這類風險的特點在于不需要參與人工智能模型的訓練，只要有權使用該模型就可以進行對抗攻擊。此類攻擊之所以能夠成功的根源還是在于人工智能模型算法的可解釋性差，面對極端的輸入數據，算法模型的處理邏輯發生偏離，從而給出錯誤的結果。目前金融業中普遍面向大眾使用的人臉識別，ocr 識別、交易場景異常行為監控等人工智能應用都存在對抗攻擊風險。（四）應用（四）應用風險風險 1.1.操作性風險操作性風險 操作性風險主要包括信息繭房、算法共謀等風險。信息繭房是指由于個性化推薦算法的存在，用戶傾向于只接觸和接收與自 14 己已有觀點和偏好相符的信息，而忽視或排斥那些不同觀

30、點的信息，這種現象可能導致用戶陷入信息的封閉空間，無法接觸到多樣的觀點和互相沖突的意見。算法共謀是以智能算法作為促進共謀的技術因素，利用算法“黑箱化”的特性通過編碼和數據進行自動化決策，使企業可以在不需要溝通和互動的情況下實現某種共同的目標，這種協作可能會對市場競爭、社會公平產生負面影響。金融機構利用智能算法推薦技術，如果違規構建充斥高風險金融產品服務的信息繭房，以算法優勢排除和限制市場競爭、阻礙消費者自主選擇，將會導致“劣幣驅逐良幣”，甚至與同行機構達成“算法共謀”，將中小微企業、社會低收入人群、民營經濟組織拒之門外，引發市場壟斷。2.2.算法應用風險算法應用風險 人工智能算法在應用過程中同

31、樣存在風險，以算法濫用、算法思維依賴兩種最為典型。（1）惡意濫用：算法的滲透力和影響力日趨強大，當算法在應用過程中如果被不加約束地使用會帶來較為嚴重的算法惡意濫用風險。比如借助神經網絡拼接合成虛假內容的深度偽造攻擊、通過人工智能生成惡意釣魚郵件、通過算法生成即拿即用的惡意代碼編寫、通過人工智能生成逼真欺詐話術，極大壓縮電信詐騙人力成本的欺詐客服機器人等形式的算法惡意濫用，降低了攻擊的技術門檻。（2）思維依賴：隨著人工智能技術在業務場景大量應用，容易造成人員過度依靠生成式人工智能提供的答案，從而使人自 15 身的觀察與理解、歸納與演繹、比較與推理等感知和邏輯能力缺乏鍛煉，日常怠于思考與創新。金融

32、業具有較高的系統可用性及業務連續性要求，若核心業務使用了人工智能算法模型進行輔助決策，甚至直接決策，一旦人工智能系統出現故障，導致短期內無法使用或恢復，業務人員長期對人工智能的思維依賴可能影響業務運營及時恢復。（五）倫理（五）倫理風險風險 1.1.金融倫理風險金融倫理風險 金融模型在訓練過程中需要依賴大量的金融數據，包括客戶信息、交易記錄等。如果這些數據本身存在偏見，如種族、性別、地域等方面的歧視，那么模型在訓練過程中就會學習到這些偏見，并在后續的應用中表現出來。這可能導致模型在風險評估、信貸審批等金融決策過程中產生不公平的結果，損害部分群體的利益。金融模型的應用也會引發利益沖突。例如，在智能

33、投顧領域，模型可能會根據特定的投資策略或利益訴求來推薦金融產品，而不是基于客戶的最佳利益。這可能導致客戶利益受損，引發信任危機。在某些情況下，金融模型可能會面臨道德困境。例如，在風險管理領域，模型需要在控制風險和保護客戶利益之間做出權衡。如果模型過于保守，可能會限制客戶的投資選擇；如果過于激進，則可能增加客戶的投資風險。這種權衡過程需要考慮到倫理道德因素，以確保決策的合理性和公正性。2.2.歧視性風險歧視性風險 算法歧視也被稱為算法偏見，是指在信息的生產、分發及核查的過程中對用戶造成的非中立立場影響，從而導致片面、失實 16 等信息觀念的傳播。大數據殺熟是一種典型的算法偏見，大數據殺熟是指經營

34、者通過對用戶的數據進行采集和分析，從而形成對用戶的特定形象描摹，進而對不同的用戶提供特定價格的商品或者服務。經營者主要根據顧客選購頻次的增加，對顧客的消費心態，消費喜好，消費規律性進行記錄和分析，制訂出更為“合適”顧客的價錢。經常表現為對于同樣的商品或者服務，老客戶看到的價格反而比新客戶要貴出許多的現象。3.3.算法黑箱風險算法黑箱風險 目前算法模型的決策由海量數據和復雜的網絡結構驅動，難以人為干預，不可控性較強，天然具備黑箱屬性。金融機構應用算法技術時，根據已知的輸入完成一系列特定操作并進行結果輸出，但過程性環節實際如何進行運算和推演卻無法進一步獲悉，輸出的結果也非常規所能控制和解釋。海量數

35、據及其所驅動形成的算法模型存在于黑箱的內部，大部分金融消費者對其僅僅只能停留于模糊的外觀認知邊界，無法知悉其得出結果的主要依據和具體過程。比如，在信貸領域使用深度神經網絡測算客戶貸款額度，由于具體額度通過一系列非線性函數疊加計算生成，算法黑箱風險導致模型難以輸出更多解釋信息，考慮到金融管理部門要求、客戶解釋等因素，模型算法在應用過程中存在一定局限性。4.4.責任界定風險責任界定風險 傳統意義的責任界定風險通常是指因個人或團體的疏忽或過失行為，造成他人的財產損失或人身傷亡，按照法律、契約應負法律責任或契約責任的風險。金融機構利用人工智能向客戶提供更加多樣化、高效、便捷的服務的同時，也會導致責任界

36、定不清 17 的問題。當客戶在使用服務過程中，出現了財產等損失而需要追究責任時，產生的原因是多層面的，既可能有數據集的問題，也可能有模型算法的問題，還可能存在系統服務引發的問題，甚至存在客戶自身使用不當等問題。以基于大模型的智能投顧為例，在正常情況下可以得出極為精確的預測分析，助力客戶取得預期收益。但出現極端情況時，如類似 1929 年美國股災的事件，投資者可能遭受巨大損失，追究責任卻無從下手。人工智能本身是一個黑箱，數據提供商、模型提供商、服務提供商、客戶自身都可能需要為此負責，具體界定主要責任還是次要責任很難劃分。（六）隱私（六）隱私風險風險 1.1.個人數據泄露風險個人數據泄露風險 人工

37、智能模型訓練所需的數據多為結構化數據（數值、標簽等）或非結構化數據（文本、圖像、音頻等），其中用戶的人機交互對話、搜索記錄、交易記錄和行為軌跡等訓練數據中可能含有個人隱私信息，若過度收集并在未獲得用戶授權同意的情況下違規使用此類數據進行模型訓練，由于模型強大的記憶能力可能會在處理用戶請求時無意間泄露，對個人的隱私造成侵犯。同時泄露的個人隱私信息可能被惡意利用，導致身份盜用、開設虛假賬戶或詐騙等違法行為，導致嚴重的后果和風險。2019 年，蘋果智能語音助手 Siri 被曝出竊取用戶隱私，蘋果公司在未明確告知用戶被錄音和分析的情況下，存在定期錄下用戶與 Siri 的交流，并將其發送給外包公司進行分

38、析的行為，導致用戶隱私泄露。18 2.2.商業數據泄露風險商業數據泄露風險 企業的商業隱私數據可大體分為兩類，一類是企業核心代碼、算法、技術或密碼等敏感信息，例如軟件核心源代碼、密鑰和憑證等；另一類是企業的商業機密文件和資料，例如商業合同、商業協議、機密報告和會議紀要等。人工智能模型會根據開發者需求收集相關的數據用于模型優化訓練，例如生成式模型會收集用戶在人機交互過程中的對話內容、問答信息等進行持續的學習，但用戶可能在使用過程中泄露包含企業商業隱私的信息并成為后續算法訓練的數據源，造成新的數據泄露風險點，導致企業面臨商業損失，包括競爭對手獲取企業商業機密信息，或灰黑產的敲詐勒索等。例如 202

39、3 年 4 月，據Economist報道三星半導體員工疑似因使用 ChatGPT，導致在三起不同事件中泄露公司機密。調查原因皆因員工將公司機密資訊輸入 ChatGPT 而導致。（七）管理（七）管理風險風險 1.1.侵犯版權風險侵犯版權風險 人工智能應用過程會涉及大量的第三方數據和模型，如果金融機構在未經版權（著作權）所有者授權的情況下使用了這些數據和模型，則可能會面臨侵犯版權的風險。（1）在數據方面，人工智能在內容獲取、數據處理以及內容輸出的各個階段均有侵犯版權的風險。其中，內容獲取階段可能涉及對版權人復制權的侵犯，在此階段，人工智能往往通過爬蟲等數據收集手段大批量地從互聯網中爬取數據，所用技

40、術往往是數字化形式的掃描和文本提取，如果未經版權人許可，此種行為往往落入著作權法中所規定的侵犯“復制權”的范圍之中；19 數據處理階段可能涉及對版權人的翻譯權、改編權以及匯編權的侵犯，由于人工智能的訓練往往需要將所收集的數據轉碼為相應的結構化數據，而轉碼的行為必不可少地涉及對原有數據內容的調整，包括對數據格式的轉換修改、整理刪除以及匯總等，這難免會構成對版權人的翻譯權、改編權以及匯編權的侵犯；內容輸出階段輸出的結果常在互聯網上以數字化的方式傳播呈現，如果輸出的分析結果涉及原有作品的內容而未經版權人許可，與原作品構成“實質性相似”，很有可能造成對版權人信息網絡傳播權的侵犯。（2）在算法和模型方面

41、，金融機構也可能面臨相應的侵犯版權風險。一方面，人工智能算法和模型本身具有版權或專利，且會受到法律保護，如果金融機構未經授權地復制或改編現有的算法或模型，將構成侵犯版權行為。另一方面，金融機構可能會采用開源算法進行金融產品分析和交易決策，如果這些算法沒有遵循相應的開源協議，可能會違反版權規定，導致法律糾紛，這是因為開源社區提供的算法是由開發者在開源社區（如 GitHub等）發布，任何人都可以免費使用、修改和分發，而這些開源算法通常附有開源許可協議（如 ALv2、GPL 等），且這些協議規定了算法的使用、修改和分發條件，例如某些協議要求使用者在發布衍生作品時必須公開源代碼，或者必須在使用時保留原

42、作者的版權聲明，金融機構在使用這些開源算法時，必須遵守相應的開源協議條款，如果未能遵守，則會構成版權侵權。20 2.2.消費者知情風險消費者知情風險 消費者知情權要求金融機構向消費者告知所提供服務的真實、全面信息。在人工智能應用場景下，金融機構違反消費者知情權的情形主要表現為模型結果誤導消費者、消費者信息收集和使用過程未充分說明等。金融機構在收集消費者數據時，若未能詳盡闡述數據范圍、使用規則并充分征得消費者同意，便可能侵犯其個人信息保護知情權。常見做法如冗長晦澀的隱私政策或隱蔽的同意鏈接，使消費者難以全面理解并預見其數據去向。這種“點擊即同意”的模式，實質上剝奪了消費者的真實知情權和選擇權。同

43、樣，數據使用過程中的不透明也引發廣泛關注。以 Google 與 Ascension 合作為例，未經患者明確同意，數百萬健康數據被用于 AI 訓練，此舉不僅觸動了公眾對個人隱私安全的敏感神經，也暴露了數據使用透明度缺失的嚴重問題。此類事件加劇了社會對數據濫用和隱私侵犯的擔憂，強調了在數據收集與使用各環節中加強透明度和用戶同意機制的重要性。3.3.組織組織流程風險流程風險 人工智能的引入可能會造成金融機構的現有人員不勝任與 AI人才流失、組織方式及業務流程不匹配等風險。一是現有人員可能因 AI 技能不足影響應用效率，同時技術快速迭代加劇人才流失風險。二是傳統組織模式的數據孤島現象阻礙 AI 全面應

44、用，企業決策方式向數據驅動轉變，對現有管理層級與結構帶來挑戰。例如摩根士丹利在引入“Next Best Action”人工智能系統時，AI 系統部署中遭遇部門間協調難題，影響系統集成與數據共享。21 三是 AI 應用可能改變現有工作流程與決策機制，過度依賴自動化可能削弱人工審查，增加流程錯誤與決策失誤風險，導致交易延遲或數據錯誤等問題。4.4.監管監管合規合規風險風險 目前尚未建立行業層面統一的人工智能治理框架，行業法規和標準規范仍在制定和不斷完善過程中，缺乏人工智能系統的合規性和安全性要求相對應的機制和標準。例如在人工智能技術的應用中，大模型技術會存在透明性不足等問題，如何準確評估其潛在風險

45、并進行有效監管會是一個挑戰。在沒有明確約束和規范的情況下，人工智能的風險可能會進一步放大。（八）大模型安全風險（八）大模型安全風險 隨著大模型能力的不斷增強和適用范圍的延伸，大模型安全風險與防護也引發了業界高度關注。從技術角度上看，大模型作為一種算力更高、能力更強的人工智能模型，很大程度上繼承了傳統人工智能安全風險點。由于大模型更大規模的訓練數據、更為復雜的模型維度，盡管使得數據投毒、模型后門等原有風險的攻擊難度增大，但攻擊隱蔽性及影響程度也一定程度上的提升。從第三方服務角度看，由于大模型的建模及預訓練往往由第三方完成，甚至部分場景的大模型直接部署在第三方，導致模型結構、訓練數據及訓練過程無法

46、管控，由此帶來了全新、更為突出的供應鏈安全風險。22 1.1.提示注入風險提示注入風險 提示注入風險是指通過構造設計特定的提示詞，繞過安全對齊等防護機制，達到操縱大模型輸出的目的。攻擊者可以通過在提升詞中注入模擬對話、角色扮演、目標劫持等攻擊話術，操縱大模型輸出有害內容，如要求大模型扮演一個虛擬角色，誘導大模型在虛構的場景下輸出有害信息。2.2.后綴對抗風險后綴對抗風險 后綴對抗風險是一種針對安全對齊機制的新型攻擊風險，是提示注入風險的進一步升級。與提示注入攻擊主要依賴專家經驗設計話術不同，后綴對抗攻擊在模型算法層面提出了后綴對抗風險。攻擊者可通過人工智能算法自動生成攻擊后綴，添加到惡意提問文

47、本后部，達到繞過大模型安全對齊產生惡意輸出的目的。3.3.AIAI 幻覺風險幻覺風險 AI 幻覺風險是指大模型由于過度泛化生成虛假信息。為了得到更好的反饋效果，大模型往往需要盡可能多的關聯信息進行回答，但由于信息的泛化聯想與客觀事實的一致性天然存在矛盾，一定程度上會影響結果的準確性。由于大模型不能自動量化評估答案的準確性，使得大模型在對準確度有較高要求的場景下如智能客服、財報分析、金融分析報告，可能存在答案嚴重違背客觀事實的風險。4.4.智能體安全風險智能體安全風險 大模型智能體作為能夠利用大語言模型實現復雜任務智能決策和行為輸出的重要應用，為大模型的實際落地提供了重要的技術基礎和支持。由于大

48、模型智能體應用需要通過調用外鏈應用完 23 成復雜任務執行，攻擊者可以通過向智能體應用提出服務請求的方式對智能體應用開發框架及其外鏈應用發起攻擊，因此大模型智能體應用除面臨大模型自身的提示詞注入、后綴對抗等攻擊風險外，還可能存在智能體應用自身框架漏洞、智能體外鏈應用權限失控、智能體外鏈應用漏洞等風險，且這些風險的觸發方式及利用難度因大模型提供的智能化服務而變得更為容易，風險影響范圍也更加廣泛。5.5.內容合規風險內容合規風險 生成式人工智能的內容安全廣義上包括輸出內容的社會安全性，是否合法合規、遵守道德倫理和公序良俗等，具體表現在違法不良信息、內容失實、偏見歧視、違反倫理道德等方面。生成內容的

49、安全性是公眾選擇使用相關產品和服務的重要影響因素之一，也是全球人工智能監管的重要事項。對用戶而言，便捷高效地得到文本、圖片、音視頻、代碼等內容是使用生成式人工智能技術的主要用途，生成的內容越是接近或超過一般人類的創作能力，往往越能獲得用戶的青睞。然而，語言風格越接近人類、合成的音視頻越逼真，用戶越是難以鑒別其中的真假。一旦訓練數據遭受偏見、錯誤、不良等信息毒害，抑或模型存在缺陷，生成內容很可能是錯誤甚至是具有社會危害性的。6.6.調用交互風險調用交互風險 大模型通常以高頻次 API 調用形式提供服務，攻擊者利用API 安全漏洞實施攻擊，如以未授權的方式訪問或執行更高權限的操作、利用對外提供服務

50、的 API 接口漏洞執行惡意代碼命令等。此外，大模型會利用第三方應用的 API 接口豐富自身能力，但 24 API 的泄露會導致模型的外部能力直接泄露，導致越權、未授權訪問他人信息等風險。如利用提示詞注入誘導模型輸出內置 API地址列表以及調用方式，既可以讓攻擊者從針對模型應用的攻擊轉到針對所屬企業的攻擊，還可能變成新型的網絡資產測繪手段。7.7.基座模型風基座模型風險險 基座模型經過大規模數據集進行預訓練，具有通用的語言理解和生成能力，因此很多大模型產品基于預訓練的基座模型進行修改和定制化，但其造成的風險也同時傳導到了下游模型和應用，主要表現在以下幾個方面：從質量風險看，模型基座自身的缺陷來

51、自其訓練數據的缺陷，可能會產生有害內容、偏見、泄露敏感信息和錯誤信息等，一旦模型生成不當，會給下游模型或應用帶來商業或法律問題；從技術層面看，由于模型基座技術細節的復雜性，下游模型和應用很難完全理解或者管控其帶來的風險，基座提供方和下游使用方也無法獨立去治理在應用過程中的風險；從供應鏈層面來看，海外開源大模型受到屬地管轄，政治因素會帶來大模型基座閉源后的供應鏈風險。三、金融業人工智能安全防護框架（一）基礎設施（一）基礎設施防護防護 1.1.基礎硬件國產化基礎硬件國產化 在目前國際局勢復雜，無法大量進口高性能 AI 加速芯片的前提下，應考慮推動 AI 系統基礎硬件的國產化進程，在現有 GPU、C

52、PU 算力云化集群的基礎上，建設“訓練推理分離、異構國產 AI芯片并存、容器化供給”的國產 AI 算力集群。25 基于云化思路，可通過引入多種國產化訓練推理芯片、改造現有容器調度與國產芯片的適配能力、統一資源監控等手段，實現云化供給的國產 AI 算力集群建設?？紤]到國產的 AI 推理服務器相較訓練服務器成熟，優先搭建和推廣國產 AI 推理服務器集群，并同步采用小范圍試點方式推進國產訓練服務器集群建設。2.2.國產國產 AIAI 計算框架規?；瘧糜嬎憧蚣芤幠；瘧?為面對開源 AI 框架的斷供風險，應從存量場景和增量場景兩方面加大對國產開源 AI 計算框架的應用推廣力度。針對存量模型場景，應采

53、用逐步遷移方式，優先在自然語言處理、計算機視覺、智能推薦等國產 AI 框架適配較為成熟的領域試點推廣國產開源計算框架。針對增量模型場景，應優化現有建模流水線，實現對國產框架和算法的集成支持，降低國產引擎和算法的應用門檻，滿足低門檻、自主可控的規?；Ｐ枰?。3.3.基礎框架安全檢測基礎框架安全檢測 框架漏洞的檢測與防范是保障 AI 系統安全的關鍵環節。對于引入的第三方框架，應建立完備的外部威脅情報監控及漏洞檢測修復機制，對于自研的基礎框架，建議引入模糊測試和符號執行等技術開展安全檢測。4.4.開源可控防護開源可控防護 人工智能的開源應用是激發金融業務靈活創新的重要驅動力，其在賦能業務發展的同時

54、，也為應用安全帶來新的潛在風險。如何防范開源應用風險，構建開源可控的防護策略，或將成為金融 26 業 AI 開源應用之路上的重要命題。對于開源 AI 技術平臺及 AI 應用，應建立體系化的風險防控體系。在組織管理層面，應建立風險防范協同機制，明確開源可控防護政策、制度與原則。在 AI 開源應用引入方面，應著重加強軟硬件的安全審查工作，針對 AI 應用在算法層面、數據層面、算力框架層面所面臨的特有風險，進行安全技術測試與漏洞掃描。在開源應用代碼管理方面，應建立審慎的開發運行管理機制，嚴格按照規范使用開源代碼和應用，形成代碼使用備案與回溯機制，便于長期跟蹤管理。（二）數據（二）數據防護防護 1.1

55、.數據合規性數據合規性 數據合規性要求數據的采集、傳輸、存儲、使用、刪除及銷毀等全生命周期合法合規。為確保數據合規性，應定期開展數據合規性評測，建立內外審計制度，定期開展合規審計?；诮y一的大數據平臺日志標準，建立數據訪問行為監控服務和日志分析服務，面向接入應用提供敏感數據訪問情況、用數訪問等行為數據，從而保證數據使用安全合規。同時，加強對員工的培訓和合規宣傳，增強員工的合規和風險意識，確保員工在日常工作中能夠遵循相關規定和準則。此外，在設計和訓練人工智能時，應該確保其擁有正確價值觀的數據。這些價值觀應該與人類社會的普遍倫理和道德原則相符合，例如尊重個人隱私、平等、公正等。27 2.2.數據機

56、密性數據機密性 保證數據機密性主要包括外部數據隱私保護和內部數據權限控制兩部分。（1）外部數據隱私保護：一是應將相關數據和程序代碼部署于封閉、安全、可靠環境中運行，防止數據和程序代碼在未經授權情況下被訪問或修改。二是應用多方安全計算、聯邦學習等技術，使各參與方應在無需交換原始數據、僅交換模型訓練中間計算結果的情況下，聯合完成機器學習模型構建。（2）內部數據權限控制：一是應對數據進行密級分類，通過對各業務系統數據進行采樣，依據數據分類分級策略，自動識別出敏感數據及分類分級結果，并基于內置脫敏算法提供統一的脫敏服務及工具。二是應對任務執行進行動態控權，按用戶維度通過 SQL 解析、改寫等技術提供統

57、一的數據訪問控制能力。三是在與外部或第三方進行數據交換場景中，應對數據文件進行水印標記，若數據文件出現泄露，可針對文件進行水印解析和溯源分析，追蹤泄露源頭。3.3.數據可用性數據可用性 數據可用性通過數據流轉的一致性、數據防投毒等技術保障訓練數據的可靠可用。通過建立上下游數據校驗修正機制，確保數據在不同系統間一致流轉?？蓮囊韵氯齻€維度保證數據可用性，一是在數據準備階段，通過數據分布檢測、錯誤數據清理等方式，剔除被污染的數據樣本，同時要確保訓練數據的完整性、多樣性、準確性。二是在模型訓練階段，采用自動化建模技術，防止訓練人員人為修改樣本 28 標簽、插入中毒樣本、修改訓練數據特征。三是在模型應用

58、階段，通過構建輸入數據的異常檢測機制，防止投毒樣本的源頭采集。最終建立端到端的數據清洗與防投毒能力。（三）模型算法（三）模型算法防護防護 1.1.模型穩健性模型穩健性 穩健性（魯棒性）較好的模型算法具有較高的識別精度，能較好識別噪音、異常點等干擾樣本。業界一般采用對抗樣本生成、對抗訓練、模型集成、遷移學習等技術增強算法穩健性。（1）對抗樣本生成是一種數據增強技術，對已有數據集添加細微的擾動特征，模生成新的樣本，進而豐富訓練數據樣本，提升模型穩健性。（2）對抗訓練是一種算法優化技術，在訓練迭代過程中，每次算法迭代對自動生成的新對抗樣本進行測試，將測試不通過的對抗樣本加入下一輪訓練，使得最終得到的

59、模型能夠識別對抗干擾。（3）模型集成使用多個獨立訓練的模型進行集成，可以降低對單一模型的攻擊成功率。攻擊者需要克服多個模型的防御機制，這增加了攻擊的難度。（4）遷移學習利用預訓練的模型，在新任務上進行微調。這有助于利用先前學到的知識來提高模型的性能，并減少在新任務上的對抗性攻擊的影響。29 2.2.模型公平性模型公平性 算法的公平指模型及智能應用需要遵循法律和道德規范，規避性別歧視、種族歧視等風險。為了解決此類問題，需要從具體場景出發，涵蓋數據、特征、模型、應用等模型全生命周期。（1）數據糾偏、均衡采樣：通過黑白樣本的重新采樣、縮小占比較大的樣本比例、通過造數擴大占比較小的樣本比例等方式，實現

60、黑白樣本的均衡分布。（2）剔除或替換引起偏見的特征：按照業務目標，在特征工程階段開展特征分析工作，分析引起偏見的特征，將其剔除或采用其他特征進行替代。（3）模型融合訓練：采用分而治之的思想將訓練樣本按照不同視角進行差異化抽樣（未改變數據分布），形成多份數據集，并訓練多個子模型，子模型對部分數據能較好識別，融合子模型形成強模型，提升全局數據的識別能力。（4）后處理補償：利用模型的可解釋能力和場景的特性，進行業務模擬測試，分析發現不公平發生的原因針對性地設計和部署對應的業務補償規則。3.3.模型可解釋性模型可解釋性 提高人工智能模型的可解釋性可以提高對模型的內部決策過程的理解，增強模型的信任度、降

61、低潛在的風險，并促進其在實際應用中的可接受性。目前人工智能模型可解釋性的方法主要有基于樣本可解釋方法、基于知識可解釋方法和基于反事實可解釋方法三種。30 （1）基于樣本的方法主要構造一個與原模型效果相當的簡單線性方程利用特征權重對模型決策進行解釋。（2）基于知識的方法利用知識圖譜點邊關聯關系，推導待解釋事件的可能成因。（3）基于反事實的方法則以舉反例的模式，構建正反示例比對情境，通過展示正反兩者的差異來解釋模型背后的機制。4.4.模型訓練監控模型訓練監控 模型訓練監控是保障人工智能安全性的一種重要手段，涉及對模型訓練過程中的各種指標和行為進行實時監控，以確保模型的可靠性、穩定性和公正性。一是跟

62、蹤模型在訓練過程中的性能指標，如準確率、召回率、F1 分數等，確保訓練數據集的質量和一致性。二是監控模型輸出結果，以便發現與預期行為不符的情況，識別潛在的安全問題或模型故障。三是監控參數、梯度等模型訓練中間結果的統計學分布性質，有效識別訓練數據中的潛在問題或攻擊行為。5.5.模型訪問控制模型訪問控制 在模型的訓練及使用過程中，建立訪問控制及授權機制，確保其使用合法性，通過實施細粒度的權限管理，為不同用戶或用戶組分配適當的訪問級別，確保他們只能執行其權限范圍內的操作。同時模型的部署和 API 服務也可以通過使用許可證和服務協議來明確使用規則，規范模型使用的合規性。6.6.模型遺忘模型遺忘 如果在

63、模型訓練時，訓練數據中含有錯誤素材，過期內容，涉密數據，違反法律法規的內容，則訓練出的模型中就會包含這 31 部分的知識。由于人工智能算法的特殊性，修復不良數據需要對模型本身進行調整，而模型重新訓練成本很高，因此可以使用模型遺忘（也可以稱為反學習、機器遺忘、Machine Unlearning）的方式進行防護。模型遺忘是指先前獲取的信息或知識的損失或退化，存在于人工智能學習中所有研究領域中。模型遺忘可以達到以下目的：一是解決數據集偏差問題，丟棄無用的信息以增強模型的泛化能力。二是可以刪除模型中的隱私訓練數據，用于保護隱私和防止信息泄露。三是修復數據污染、模型后門等漏洞，通過模型遺忘的方式，減少

64、或消除不當數據或模型后門對模型決策的影響。一般模型遺忘的幾種常見的方法有：利用差分隱私的技術衡量和限制對個人數據的查詢結果的敏感性，從而間接實現遺忘能力；或者利用數據集拆分和分布式訓練（SISA）的思想重新訓練模型，完成模型遺忘。目前模型遺忘技術仍處于研究階段，還需要進一步的實驗和驗證，以確定其在實際應用中的可行性和有效性。（四）應用（四）應用防護防護 1.1.應用場景規范性應用場景規范性 為降低人工智能安全風險對金融業務帶來的不利影響，應規范人工智能的使用場景。在金融領域，人工智能的應用涉及信貸審批、風險評估、交易監控等多個環節，因此制定明確的應用標準和操作規程是至關重要的，在高風險業務場景

65、中宜將人工智能模型作為輔助使用，避免其直接進行決策。合規的 AI 應用還有 32 助于金融機構遵守相關的法律法規，避免因違規使用 AI 而受到處罰或聲譽損失。2.2.應用安全檢測應用安全檢測 承載人工智能業務系統的安全檢測與傳統應用安全檢測基本一致，需從身份鑒別、訪問控制、安全審計、數據安全性、交易安全性、軟件容錯、資源控制、客戶端安全等方面開展安全檢測。這些安全檢測活動有助于提高 AI 系統的安全性，防止由于技術缺陷或惡意攻擊導致的安全事故，保障人工智能業務應用系統的正常穩定運行。3.3.運營異常監控運營異常監控 通過監控模型接口調用頻率和次數等方式進行運營監控是一種有效的防護策略，這種監控

66、可以幫助識別異常的訪問模式，例如短時間內的高頻調用或來自單一來源的大量請求，這些可能是惡意試探或攻擊的跡象。通過實時跟蹤和分析這些指標，可以及時發現潛在的安全問題，并采取相應的防御措施，如限制訪問頻率、實施更強的認證機制等。這樣的監控不僅有助于保護模型免受惡意試探，還能維護系統的穩定運行和用戶的良好體驗。4.4.安全意識培訓安全意識培訓 在金融機構中，員工是人工智能系統操作和管理的一線人員，員工的安全意識和行為直接影響到整個系統的安全性，因此定期進行安全意識培訓對于提高員工對潛在風險的認識至關重要。培訓應當包括人工智能系統的工作原理、可能遇到的安全威脅，以及如何識別和應對這些威脅等內容。33

67、5.5.責任認定責任認定 借鑒 2024 年 5 月新加坡政府發布的生成式人工智能治理模型框架，在責任認定上采取事前責任分配和事后“安全網”相結合的機制?！笆虑啊泵鞔_了人工智能產業鏈上各方能夠按照其控制水平分擔責任，“事后”將開發商承諾承擔責任、產品損害責任與無過失保險三者統籌結合，確保風險發生時能夠獲得補償。事前責任分配采用“食品標簽”式披露和數字水印進行處理，“食品標簽”披露方法將數據來源、模型風險、安全措施等用戶關心的主要問題一一列舉，形成廣泛的透明度，便于監督；數字水印針對人工智能各層服務要求加入獨特的數字水印標識，從而確保其真實性和可追溯性。事后“安全網”模式構建了三層防護網，第一層

68、是人工智能開發鏈中的各方對終端用戶負責，參考云或軟件開發棧的責任劃分，為用戶提供可預期、可解釋的問責空間，并依據其便捷地保護相關權益；第二層是更新產品責任等相關法律框架，使人工智能產品（通常是虛擬產品）的損害責任證明更加明確；第三層是在自律與法律之外的第三方保險，既能提供技術創新所需的合規管理冗余空間，也能給予因意外事件受害的用戶獲得兜底性補償的機會。（五）倫理（五）倫理防護防護 1.1.加強科技倫理治理加強科技倫理治理 各單位應遵循制度要求，加強科技倫理治理，尤其需要加強法律監管，明確責任主體，強化倫理審查，推進依法治理，實現科技發展與倫理治理相互促進、動態調適。在科技倫理方面，中共中央辦公

69、廳、國務院辦公廳于 2022 年 3 月印發了關于加強 34 科技倫理治理的意見，從倫理原則、治理體制、制度頂層設計、監管措施以及教育和宣傳等方面作出系統部署，填補了我國科技倫理治理的制度空白。2023 年 7 月，國家網信辦等七部門聯合公布生成式人工智能服務管理暫行辦法，為科技倫理治理指明了發展方向。2023 年 9 月，科技部等十部門聯合研究起草、經中央科技委員會同意并印發了科技倫理審查辦法（試行），將人工智能列入應設立科技倫理（審查）委員會的科技活動單位范圍內，在 7 大類需要實行清單管理的重大風險新興科技活動中，有 4 大類涉及人工智能倫理審查。2.2.全生命周期倫理管控全生命周期倫理

70、管控 以可信賴人工智能的生命周期為線索，秉持科技向善的人文理念和倫理先行的價值觀念，將倫理道德融入 AI 全生命周期，增強全社會的 AI 科技倫理意識與行為自覺。在設計階段，可信賴的人工智能首先要解決不可解釋性和“幻覺”問題，讓人類清楚生成式人工智能工作機制并且要保證在極端情況下的安全穩定性。在使用階段，必須盡可能避免人工智能輸出歧視性偏見性內容，最后如果出現事故，則必須保證追責性，明確設計者、提供者以及使用者等等各方的責任。（六）隱私（六）隱私防護防護 1.1.數據隱私保護數據隱私保護 數據隱私可從數據機密性角度進行相關防護，一是確保人工智能模型訓練數據的合法合規，面向用戶提高數據收集和使用

71、的透明度，在用戶知情同意的前提下遵守最小化原則收集與使用數據；二是對訓練數據采用隱私保護算法進行處理，例如匿名化技 35 術、去標識化技術、數據脫敏技術和差分隱私技術等,確保數據在處理和分析過程中無法直接關聯到具體個人。也可以使用 DLP監測訓練數據中是否含有涉及商業機密、源代碼等企業隱私信息。2.2.隱私安全意識培訓隱私安全意識培訓 培訓員工數據隱私安全意識，在應用人工智能模型時避免輸入個人或企業的隱私信息，降低隱私泄露的風險；控制數據訪問及人工智能模型使用權限，只有經過授權的員工通過身份驗證后才能訪問。（七）管理（七）管理防護防護 1.1.建立版權審核機制建立版權審核機制 為防范侵犯版權風

72、險，金融機構應在內部管理上建立嚴格的版權審核機制，確保數據和算法模型的合法合規。一是合法購買數據或通過合同明確各方需要承擔的風險。金融機構應購買高價值的版權內容，并以授權合同約定各方風險承擔的交易模式獲取訓練數據。二是在應用和部署前，金融機構應對算法和相關技術進行全面的知識產權審查，確保沒有侵權風險。對于受版權保護的算法和相關技術，應獲得相應的授權或許可；對于來自開源社區的算法和相關技術，應確保遵守相應的開源許可協議。2.2.信息充分披露信息充分披露 對應用人工智能提供服務的全流程進行真實全面的說明，推進模型準確性和透明性治理、規范消費者數據收集和使用程序。（1）模型準確性和透明性治理：在部署

73、人工智能模型前，金融機構應進行充分的驗證和測試，確保模型的預測準確性和公平性；在模型使用過程中，定期監控模型的性能，及時發現和糾 36 正問題。針對算法不透明問題，金融機構應當主動向消費者聲明其所使用算法模型的能力缺陷及風險提示；向公眾披露對算法產品自動化決策起決定性的主要參數，賦予消費者對特定人工智能服務的“算法解釋請求權”。（2）規范消費者數據收集程序：對于信息收集而言，應當為消費者履行如實告知義務并確定合理邊界，尊重金融消費者的個人信息自決權。在收集客戶個人信息過程中要遵循最小必要的原則，處理個人信息符合公開透明原則。（3）規范消費者數據使用程序：對于信息使用而言，用于服務內容輸出和優化

74、模型的個人信息要分別明確其具體使用方式，且在獲得客戶同意后才能進行使用。同時，依據個人金融信息保護技術規范提及的 C1（賬戶開立時間、開戶機構等）、C2（支付賬號、財產信息等）、C3（賬戶交易密碼、銀行卡密碼等）三類信息，在使用過程中應實施針對性的保護措施。對于敏感程度較高的個人信息，應進行特別說明，包括但不限于對個人信息使用的方式和使用該類信息可能產生的風險和后果，且需要獲得消費者的單獨同意。3.3.建立內部管理機制建立內部管理機制 金融機構應根據自身的戰略、成本等方面審慎地評估自身需求和技術能力，平衡人工智能應用與合規風險治理。在引入人工智能技術時，內部應建立靈活的治理架構，成立專門的人工

75、智能治理委員會或工作組，建立合規治理評估機制，推進人工智能應用的內部監督與管理。同時，為應對人工智能帶來的人員結構、組織方式和業務流程等挑戰，管理層應制定詳細的變革管理計劃，37 創建適配的組織架構，降低人工智能應用過程中各個環節的潛在風險。（1）針對員工的技能缺口，金融機構應提供全面的培訓和持續的教育計劃，幫助員工掌握人工智能相關技能；針對新技術的人才需求，應制定有吸引力的人才引進政策和創新激勵政策。（2）調整適配的組織形態：金融機構應基于戰略、能力、資源等特征，選擇匹配不同階段人工智能應用的組織模式。（3）建立人工智能應用的三道防線?？山梃b銀行業經典的“三道防線”風險管理理念與模型風險管理

76、（Model Risk Management，簡稱 MRM）的理論及方法進行有效結合，對人工智能應用風險形成有效防控。首先，可在一線模型開發活動中，針對不同的場景和功能，安排不同的團隊進行模型開發，實現風險分散，將其作為第一道防線。其次，通過增加模型驗證環節，并設置專門的模型驗證部門對模型進行審核和驗證，形成第二道防線。最后，由內部審計部門或外部第三方的專業審計機構，對人工智能模型進行專業審計并反饋意見，形成第三道防線。通過建立人工智能治理的三道防線，對人工智能相關的數據、算法等風險進行有效管控。（八）大模型安全防護（八）大模型安全防護 除了傳統人工智能模型防護措施外，針對大模型特有的安全風險

77、，有以下幾點防護層面。1.1.提示防御提示防御 面對大模型提示注入攻擊，當前的防御方法有以下幾類：38 模型對抗訓練優化：通過迭代地收集這些攻擊樣本，使用指令微調等方法對模型進行迭代的優化，使模型面對不斷出現的新型惡意提示輸入時能通過拒絕等方式正確應對，提高對抗攻擊場景下的魯棒性。系統提示優化：指大模型內置的提示詞，在用戶輸入提示詞后，系統提示詞和用戶輸入的提示詞進行拼接之后輸入到大模型當中。輸入輸出檢測：通過監測模型輸入和輸出的內容，系統可以及時發現并攔截潛在的越獄攻擊行為，比如常見的通用對抗后綴等。2.2.幻覺緩解幻覺緩解 從整個 AI 全生命周期可以緩解 AI 幻覺問題。數據收集階段，增

78、強數據質量控制，嚴格篩選訓練數據，并保證數據多樣性；模型訓練階段，引入事實性監督，例如使用知識圖譜或事實數據庫來驗證生成內容的真實性。后處理階段，開發自動事實檢查工具，對模型生成的回答進行實時或批處理檢查，識別并糾正虛假信息。在關鍵應用場景（如智能客服、財報分析等）中，引入人工審核環節，對模型生成的答案進行最終驗證；使用階段，需要進行風險提示與告知，告知用戶答案可能存在的風險和不確定性。3.3.內容合規保障內容合規保障 為了保障生成式人工智能的內容安全，在大模型的預訓練階段需要確保訓練數據的安全性和質量。通過移除潛在的不當數據，同時添加高質量、安全的訓練語料。除了刪除有問題的數據外，利用數據增

79、廣的方法加入多樣化的數據集，可以在預訓練階段幫 39 助模型形成更全面的視角。在大模型的優化階段，利用基于人類偏好的強化學習技術優化語言模型，引導模型在生成時更接近人類價值觀?；?AI 反饋的強化學習技術使用 LLM 代替人類標記偏好，通過自我提升的方式，利用自動生成的評論和修正來訓練 AI，避免了依賴大量人工標簽識別有害輸出。4.4.調用控制調用控制 為了避免大模型在調用過程出現問題，需要明確接口規范和協議，為模型間的調用制定清晰、詳細的接口規范和通信協議。包括數據格式、傳輸方式、請求和響應的結構等。身份驗證與授權，對調用模型的實體進行嚴格的身份驗證。只有經過授權的模型或系統才能發起調用請

80、求。設定不同級別的授權，限制訪問和操作的權限。比如，某些模型只能讀取特定的數據，而不能進行修改。5.5.基座防護基座防護 對于大模型基座存在的問題，在引入的時候可以通過專家評審、自動化工具等手段，識別模型基座可能存在的風險點；采用多源供應商，建立多元化的供應商體系，減少對單一海外開源大模型的依賴；通過本地化部署模型基座，減少因屬地管轄帶來的風險，并對可能影響模型基座供應鏈的政治因素進行持續跟蹤和分析；制定應對供應鏈中斷的應急預案，包括備選供應商、緊急替換方案等；持續改進與反饋，建立持續改進機制，根據用戶反饋和市場變化不斷優化模型基座的設計和使用流程。同時，鼓勵用戶積極參與反饋，共同防御模型基座

81、風險。40 四、金融業人工智能風險防控案例（一）（一）工商銀行人工智能安全框架工商銀行人工智能安全框架 中國工商銀行建立了覆蓋算力、數據、算法、計算框架、建模運營工作站、智能服務、智能應用的“自主可控、安全可信、合理公平、可以解釋、可靠可用、合規可控”的人工智能技術安全框架（見圖 1），為大規模人工智能應用保駕護航。實現基礎軟硬件安全可控，數據安全可信，算法合理公平、可以解釋，開發運營安全保障，智能服務可靠可用，智能應用合規可控等多個方面保障。圖 1 工商銀行人工智能安全框架（二）（二）螞蟻集團大模型安全一體化解決方案螞蟻集團大模型安全一體化解決方案 隨著大模型與 Agent 智能體的廣泛應用

82、，涌現出模型幻覺、安全漏洞及內容濫用等新挑戰。螞蟻集團應勢推出蟻天鑒 2.0（見圖 2），構建雙重防御體系，內置凈化訓練數據，外置智能風控，全方位保障安全。該版本還創新引入 AI 鑒真功能，高效辨別多模態內容真偽，以及大模型 X 光（X-ray）功能，透視模 41 型內部隱患。在測評端，蟻天鑒 2.0 作為首個測評智能體，實現自動化測評，靈活應對不同模型框架，確保安全評估精準高效。圖 2 螞蟻集團大模型安全一體化解決方案（三）（三）郵儲銀行人工智能安全技術體系郵儲銀行人工智能安全技術體系 中國郵政儲蓄銀行將大模型技術作為新一代基礎設施，旨在建立大模型生態體系（見圖 3），以通用大模型為底座，通

83、過服務平臺連接各業務場景，建立全鏈路生態。安全方面，在原有人工智能安全治理體系之上，新增大模型相關治理內容。功能層重點關注模型評測，針對大模型技術增加通用方向的指令攻擊、對抗攻擊、偏見歧視方面的內容；金融領域方向上增加業務合規性、事實準確性等內容；應用層關注內容實時監測、安全熔斷等。42 圖 3 郵儲銀行人工智能安全技術體系 五、總結與展望 隨著數字化轉型的不斷推進和數字化金融場景的快速創新，金融業人工智能正進入融合應用、拓展深化的新階段。同時人工智能應用風險也成為金融行業不容忽視的挑戰，金融機構需要攜手合作，從監管、技術、管理及合作等維度構建全面的風險防控機制，保障市場穩定與健康發展。（一）

84、構建金融人工智能監管新生態，引領行業安全穩健發（一）構建金融人工智能監管新生態，引領行業安全穩健發展展 金融業人工智能的發展需要構建以安全為基石、創新為驅動的全新監管生態，制定符合金融行業特點的人工智能監管政策，構建人工智能監管組織架構，探索分類分級監管模式，遵循風險分級、最小干預原則，完善人工智能應用系統備案制度，實現以安全促發展的目標。（二）提升核心技術自主可控水平，筑牢人工智能安全防線（二）提升核心技術自主可控水平，筑牢人工智能安全防線 43 在全球化背景下，金融業人工智能的健康發展離不開關鍵核心技術的自主可控。加強基礎、共性與應用技術的研發，保障金融行業免受外部技術威脅、確保系統穩定運

85、行。同時推進智能檢測工具與監測預警平臺的建立，將進一步提升對潛在風險的感知與響應能力，為金融安全筑起一道堅實的防線。（三）強化內部管理與員工培訓，保障人工智能可信應用（三）強化內部管理與員工培訓，保障人工智能可信應用 金融機構必須強化內部管理并加強員工風險意識培訓，提升從業人員對人工智能技術的認知與駕馭能力，在企業內部建立人工智能風險管理體系，制定清晰的人工智能使用政策、范圍及方式，形成有效的風險評估機制，并實施風險監控。同時，加強員工培訓與教育，確保人工智能技術健康、安全地服務于社會經濟發展。（四）促進跨行業技術交流合作，共建人工智能風險治理體（四）促進跨行業技術交流合作，共建人工智能風險治理體系系 快速發展的數字時代，人工智能技術已成為推動各行業創新的核心驅動力。鑒于人工智能技術廣泛應用帶來的共性風險，跨行業技術交流與合作已成為人工智能風險防控的關鍵。需樹立全球視野，促進知識與資源的有效流通，分享人工智能風險治理的成功經驗與最佳實踐，共同構建更加公平、開放、包容的金融業人工智能風險治理體系。