德勤：創新與信心偕行–人工智能與風險管理報告(29頁).pdf

《德勤：創新與信心偕行–人工智能與風險管理報告(29頁).pdf》由會員分享，可在線閱讀，更多相關《德勤：創新與信心偕行–人工智能與風險管理報告(29頁).pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能與風險管理報告 創新與信心偕行 目錄 1. 概要 01 2. AI的簡要概述 03 3. 當金融服務企業大規模采用AI技術時可能會遇到的挑戰 04 4. 在風險管理體系中嵌入AI 07 5. 監管者所看重的具體是什么呢？ 18 6. 監管AI中的一些反思 22 7. 結語 24 后記： 中國AI風險管理和監管現狀 25 譯者 26 作者 26 1. 概要 說起人工智能（AI），雖然它并不是一個 全新的概念，但在近些年金融服務企業 開始逐漸意識到它的巨大潛力。 AI可以提高運營效率、降低成本，同時還 有助于企業實現戰略轉型，更多、更好 地融入用戶參與。然而，一些客觀限 制條件，都在或多或

2、少地阻礙著金融服 務企業大范圍的推廣使用AI技術，包括數 據量和數據質量上的局限、對于AI潛在風 險的認知不足以及公司文化和現行規章 制度的限制。 歐盟以及其他國際組織同樣對于AI技術 有著極大的興趣。盡管他們認識到AI可 以為金融市場、客戶以及他們的內部工 作帶來諸多益處，但也認識到那些受監 管公司當采用AI時可能會產生的潛在風 險以及意料之外的后果。 近些年來，值得注意的是，金融服務業 因對客戶和市場的失當行為，從而受到 眾多經濟上及其他形式上的制裁。由此 產生的對于公平對待客戶和保證市場誠 信問題，以及AI技術在監管領域中未經 測試與未經檢驗的特性的關注，都意味 著金融服務企業對于采用A

3、I解決方案應 該時刻保持謹慎。 “有效的風險管理已經不再 是抑制創新的因素， 而是公司 成功使用AI技術的關鍵。 ” 為了能解決這些困難，從而實現充分利 用AI技術的優勢，并且避免未來可能出現 的問題，董事會和高級管理人員必須充 分理解這項技術，包括它在企業中現有 或潛在的用途，并從風險的角度出發來 仔細考慮AI的影響。在這種環境下，有 效的風險管理已經不再是抑制創新的因 素，而是公司成功使用AI技術的關鍵。 “我們認為企業面臨的重大 挑戰不是在處理全新類型的 風險， 而更多應該是關注那 些難以用有效且及時的方式 去分辨的風險， 或它們已經 以不同以往的出現方式而顯 現的風險。 ” 關于剛剛提

4、到的后一點，這將是本文之 后所討論的重點。我們認為企業面臨的 重大挑戰不是在處理全新類型的風險， 而更多應該是關注那些難以用有效且及 時的方式去分辨的風險，或它們已經以 不同以往的出現方式而顯現的風險。在 這篇文章中，我們將討論企業應該如何 重新審核并調整現有的風險管理框架， 以反映在當部署復雜AI應用時企業需要 關注的一些重要差異。 1 人工智能與風險管理報告 | 創新與信心偕行 比如說，AI可以不斷的從新數據中學 習，并通過建立復雜統計模型，而后得 出結論。但這種結果并不是基于那些明 確且預先定義好的規則，這就讓企業難 以理解這其中支撐最終結論的決策機 制。在許多方面上，這種挑戰與面對管

5、理人力資源時所面臨的挑戰非常相似。 然而，不斷發展的AI技術使其可審計性 以及可溯源性變得異常困難，并且這種 技術發展的速度可能會導致在極短的時 間內產生大規模的錯誤。 企業需要重新審核并且更新他們的風險 管理方式，從而在不同的風險管理框架 全生命周期（識別，評估，管控，監 督）階段中管理風險。不斷發展的AI技 術要求這些風險管理方式必須在更短更 頻繁的時間間隔內得以應用?，F有的風 險偏好聲明也同樣需要重新審核，并且 需要添加一系列新的內容，比如說公平 性原則等，以便為風險管理框架的各個 階段提供信息支持。 “不斷發展的AI技術使其可 審計性以及可溯源性變得異 常困難， 并且這種技術發展的 速

6、度可能會導致在極短的時 間內產生大規模的錯誤。 ” 在本篇文章中，我們將會用簡單的理論 性的風險管理框架來描繪出一些AI所帶 來的挑戰。例如，一個保險公司如何在 產品定價過程中，使用AI來做到風險模 型管理。最后，我們將總結當監管者監 管AI時會遇到的挑戰與選擇。 本篇文章旨在成為一個理解AI對于現有 風險管理方式和更為廣泛的監管環境的 影響的起步點。通過強調這些需要關注 的領域，我們希望幫助企業能夠在制定 AI政策時，或者更具體來講，在制定AI 風險管理框架的時候，為它們提供更加 高效的解決方案和監管機制。 2 人工智能與風險管理報告 | 創新與信心偕行 2. AI的簡要概述 人工智能的概念

7、最早可以追溯到20世紀 50年代，那時候的研究人員開始考慮使 用機器模擬人類智能的可能性。然而，AI 技術卻是在20世紀后期才得以真正蓬勃 發展。當時有幾個技術因素發展達到頂 峰：強大且價格低廉的計算資源、數據 總量和種類的增加、訪問數據速度的提 高以及能夠憑借最新且先進的算法來以 更加“智能”的方式分析數據。 對于AI技術其實并沒有一個單一解釋， 但從廣義的層面來講，AI是一種計算機 系統的理論與發展方式，它能夠執行通 常需要人類智能才能操作的任務。這一 類的任務包括有視覺感知，語音識別， 以及在不確定性下的決策和學習。 關于缺乏對于AI定義的共識的原因，可 能是因為AI并不是技術，而是集合

8、了模 仿人類行為的各種技術這一事實。其 中，一些與金融服務企業有關并且將會 在本文中提到的關鍵技術有： 提高金融服務企業的客戶體驗 “行為情感分析工具（BEAT）”是的語音分析平臺，它使用了深度學 習技術和各種機器學習算法來監測并分析語音交互。這其中有三個最核心 的功能： 1. 監測客戶語音交互 2. 通過自然語言處理 （NLP） 來識別高風險交互 3. 將語音交互映射到潛在的負面結果上 （比如投訴或操作行為上的問題） ， 并且提 供出現這種問題的可能原因。 BEAT會去分析顧客所說的詞語和他們所用的語氣，然后使用機器學習技術來不 間斷的開發并且加強這些分析語音交互的分析能力。而且當可學習的素

9、材越多 的時候，最終的風險評估準確度就越高。BEAT的使用，相較于傳統解決方案， 可以讓企業從評估準確率的角度看到顯著的提升。 BEAT已經發展到可以分析超過30種不同語言以及30種不同的行為表征。它可以 為特定的風險要求和用戶需求來進行定制服務。 機器學習 Machine Learning 只需直接提供數據而無須遵循明確的程 序指令，提高了計算機系統運行的性 能。機器學習的核心就是自動發現數據 中隱藏的模式并使用它們來進行預測的 這樣一個過程。 深度學習 Deep Learning 深度學習算法是一系列的機器學習算 法。由于它們在與語音和計算機視覺相 關的任務中表現的十分有效而變得越來 越受

10、歡迎。但這是一種很復雜的技術， 大家難以準確地解釋每個輸入在最后是 如何驅動模型結果的，所以通常導致它 們被定性為“黑匣子”。 語音識別和自然語言處理 Speech Recognition and Natural Language Processing 擁有能夠以人類的方式來理解并自動生 成出人類語言的能力。比如說從文本中 提取語義信息，或者生成出語義自然、 語法正確的可讀文本。 視覺識別 Visual Recognition 擁有能夠識別圖像中的對象，場景和活 動的能力。計算機視覺技術使用成像處 理中操作和技術的序列來將分析圖像的 任務拆解成許多可管理的部分。 3 人工智能與風險管理報告 |

11、 創新與信心偕行 3. 當金融服務企業大規模采用AI技術時可能會遇到 的挑戰 自從2008年的金融海嘯之后， 金融服務企業一直致力于提高自身成本效益， 并在利潤 壓力下保持競爭力。 為實現這一目標， 他們所關注的其中一個領域就是技術， 并在過去 幾年中開始更多地去使用AI技術。 然而， 采用AI技術的方式并不是唯一的， 有很多原因 導致出現了這種情況。 關于AI應該應用于何處的不同觀點 最近對與歐洲財務管理協會 （EFMA） 合作的3,000多名企業高管調查后顯示， AI 能對其公司產生最大影響的活動和功能因行業而異。 圖1： 您認為您公司所開發的人工智能技術在哪一部分的價值鏈上產生了最大的影

12、響？ 銀行 保險 顧客服務65%后臺與日常運營78% 后臺與日常運營52%風險管理56% 財務顧問42%欺詐檢測56% 欺詐檢測31%顧客服務44% 風險管理29%合規22% 總的來說， 從這份調查我們可以看到， 在金融服務企業中采用AI技術還仍處于起步階段。 在接受調查的公司中， 有40%的企業還仍在學習如何在他們的公司中部署AI， 11%的企業 還沒有開展任何這方面的活動。 只有32%的企業已經開始參與開發AI解決方案。 4 人工智能與風險管理報告 | 創新與信心偕行 數據數量與質量 AI與傳統技術解決方案的一個最重要的 區別是， 后者常常在那些需要用預先設定 清楚的規則框架完成任務。 然

13、而， AI應用 可以自行分析數據來進行模式識別， 并以 此為基礎來制定決策。 此外， AI還可根據 給出的數據進行一次性或不間斷性的學習 來完善決策制定機制。 這意味著每一條AI系統所給出的建議都 對于所處理的數據的數量和質量十分依 賴。 總的來說， AI解決方案所遇到的最棘 手的困難就是缺少大量高質量數據。 對于 金融服務企業， 因為受到普遍使用的傳統 系統和組織架構的限制， 阻礙了數據之間 的無縫流動， 并在某種程度上影響了數據 質量， 導致問題愈發加劇。 透明性， 可審計性與合規性 一些AI解決方案擁有許多有關決策制定 的隱藏層， 都影響著最后生成的結果。 在 一些復雜AI應用案例中，

14、就比如那些使用 了深度學習技術的AI應用， 可能在： 維護 系統， 論證其中需要理解的部分， 并且對 于那些以AI為基礎生成的決策擁有控制 權等方面上阻礙了金融服務企業的使用。 具體來講， 應判斷其決策是否包含有適用 性、 公允性， 是否與公司價值觀和風險偏 好相符合等。 “那些不斷學習， 不斷進化， 并且擁有許多有關決策制定 的隱藏層的AI解決方案會使 可審計性和可溯源性變得異 常困難” 這與公司在面臨人力資源上的挑戰無異。 然而， 可以說， 那些不斷學習， 不斷進化， 并且擁有許多有關決策制定的隱藏層的 AI解決方案會使可審計性和可溯源性變 得更加困難。 此外， AI自我學習及進化的 速度

15、可能還會導致在極短的時間內產生 大規模的錯誤。 一些AI解決方案的不透明性還會與現有的 法律法規產生沖突， 就比如說歐盟的 “通 用數據保護法案” （GDPR） ， 它規定了在 特定情形下企業需要能夠向客戶解釋他 們的個人數據是如何被使用的， 并且能夠 給出那些假設性結論的合理解釋， 和那些 會對顧客會產生重大影響且完全自動生 成的結論的內部機制。 5 人工智能與風險管理報告 | 創新與信心偕行 理解AI及其隱藏含義 AI是一個既復雜但又快速發展的領域， 在 一些非專業人士的眼中， 它被認為是一項 難以控制的技術。 此外， AI的使用會加劇 企業的現有風險， 改變風險出現的方式， 甚至會為公司

16、帶來新的風險。 金融服務企業屬于嚴格管控產業， 這其中 包含了復雜多樣的經營范圍和產品， 并且 當公司處理業務時必須使用嚴格的審查 原則。 可以說歷史上對于金融服務企業因 違規而產生的行政處罰， 造成了這些企業 在采用相對不了解的技術以用于受監管 的業務時非常保守， 這也就為創新增加了 另一重阻礙。 因為對于這項技術和其所帶來的風險， 相 對而言， 不熟悉也不了解， 這就造成了過 度謹慎的現象。 那些重要的利益相關方， 比如風險部門、 合規部門， 以及各業務部 門主管， 董事會成員和公司高層， 除非他 們對于這項技術充分了解， 否則就可能會 在批準使用AI上遲疑， 并且對企業內受監 管業務AI

17、技術的使用保留解釋權。 要理 解這項技術， 就要不止了解它會帶來的風 險， 同時也要知道這些風險可以如何降 低， 管理并監控。 如何讓利益相關方有一個對于AI獨立且整 體的認知是對公司而言非常困難的。 可以使 用一些實際的用戶案例， 使利益相關方知道 相關的客戶經歷可以幫助了解AI能提供的 潛在益處， 同時也可以認識到哪些方面會出 錯， 以及如何有效的規避或管理風險。 對于人才的影響 對于采用AI的公司， 尤其是那些大規模的企業， 必須充分了解這種轉變對 其企業文化和人才戰略的影響， 并采取必要措施來應對任何不利影響。 企業很可能需要額外的良好技術資源來幫助設計、 測試和管理AI應用程序。 目

18、前這 方面人才的稀缺， 以及眾多金融服務企業在創新上所面臨的困境都使得AI的應用 充滿挑戰性。 因此金融服務企業需要升級它們的招聘方式和渠道， 技術人員需要選 擇有利于職業發展的職業道路， 同時需要在發展過程中制定繼續留任、 融合新技 能或者是改變職業路徑的戰略。 AI對現有企業員工工作模式影響可能更為深遠。 隨著AI的技術發展和應用的深入， 一些原有人工處理的任務可以借助模式識別等技術自動化地完成， 因此相關的勞 動力總需求將不斷減少。 同時， 就業方式也會有重大變化， 例如減少人員配備需求， 或將現有員工重新分配到不同的工作中 （這其中可能會存在有相關工作的再培訓的 問題） 。 這些改變都

19、可能會影響員工的工作動力， 如果不及時解決， 可能會導致不 必要的員工流失。 如果AI應用程序實施失敗或必須在短時間內關停， 但這時已經發生的那些過度人 員流失， 可能會使公司無法保留住那些必備的技術能力和那些能夠人工執行流程的 技術人員， 甚至對公司未來業務發展產生較大影響。 6 人工智能與風險管理報告 | 創新與信心偕行 4. 在風險管理體系中嵌入AI AI的應用和一般的創新過程一樣，都要 求企業要經歷一次不斷學習的過程。然 而，這樣的過程并不是要規避所有與AI 相關的風險，而是要去開發工作流程和 處理工具，從而讓企業相信這些風險， 可以在整體的公司的風險觀和偏好框架 所規定的范圍內有效地

20、被識別和管理。 因此，盡管存在著一些常見的誤解，但 一個行之有效的風險管理體系在企業的 創新能力發展中起著關鍵性作用。 AI應用程序的固有風險性質 我們認為，管理AI所產生的挑戰并不在 于處理這種全新的風險類型，而是要 考慮到當我們把AI解決方案的復雜性和 發展速度納入考量，或者當以我們不熟 悉的方式出現情況時，我們就難以采用 有效和及時的方式來識別這些風險。因 此，企業不需要全新的流程來處理AI， 但他們需要改進現有流程，把AI因素納 入考量，并填補一些必要的管理空白。 同時還需要去解決對所需資源水平以及 崗位角色和責任可能造成的影響。 “企業不需要全新的流程來 處理AI， 但他們需要改進現

21、有 流程， 把AI因素納入評估， 并 填補一些必要的管理空白。 ” AI風險管理框架提供了一種識別并 管理AI相關風險和管控的機制。在下一 頁和以下各節中提供的表格中，我們從 涵蓋了60多個AI風險的總表中列出了一 些關鍵性的評估因素。這些評估因素都 會用一般術語來表達，但實際上，風險 等級和那些必要控制因素在不同案例下 不同的組織下會出現很大差異。 科學的思維方式 采用和推進人工智能需要一個組織和在其中工作的人接納更科學的思維 方式。這意味著需要能夠接受最終產品的試錯過程意，接受風險和一 些最終結果證明是失敗的測試工作，并通過引入外部沖擊或數據來觀察結果， 以不斷測試產品的可行性。從本質上講

22、，它意味著在整個組織中創建一個“沙 箱”（代表在商業情況下的受控隔離環境）。這種心理上的轉變不僅僅適用于 業務負責人或部門，而且與組織中的所有領域都相關，包括董事會和其他職能 部門，如風險部、合規部、人力資源部和IT部門等。 這其中，需要所有三道防線（業務線，風險/合規和內部審計）都參與進來的這 一點尤為重要。作為合規和監控的守護者，充分參與沙箱可以使他們能夠了解一 些關鍵的技術信息，并從一開始就幫助形成適合的AI的風險管理政策。 7 人工智能與風險管理報告 | 創新與信心偕行 企業風險 類別 子類別示例AI解決方案獨特的關鍵風險因素示例 模型算法風險偏 差性 因為依賴于不斷發展的數據集來驅動

23、AI產生決策， 這使得識別模型中的固有偏差變得更加困難。 輸入數據中的固有偏差可能導致運行效率低下或不公允的結果出現。 數據科學家缺乏對于偏見性的考慮， 使得偏差風險從一開始就注定無法得到充分解決。 算法風險不 準確性 算法類型選擇不正確、 數據質量不佳或算法參數選用不合理。 算法風險反饋 未檢測到不當反饋的風險增加 （尤其在那些允許持續反饋和學習的AI解決方案中） ， 這可能會影響解決方案產生準 確結果的能力。 算法風險濫 用性 商業用戶可能缺乏對復雜AI模型的充分理解， 或錯誤地解釋AI輸出結果從而導致出現錯誤結果的可能性增加。 技術信息與網絡 安全 當開發者不再支持、 更新或免費提供開源

24、組件 （軟件包， 編程語言， API等） ， 企業對其組件的依賴性可能會引入安全 漏洞。 復雜算法使得人們更難理解AI解決方案是如何做出的決策， 從而這可能會受到人類或其他機器的惡意操縱。 管理層更迭 難以識別那些為AI解決方案提供信息的上游系統發生變化的影響， 這可能會導致在AI與其外部環境交互時產生無法 預料的后果。 IT運營 在某些情況下， AI應用程序對大數據的顯著依賴性增加了現有IT基礎架構所帶來的風險， 因為后者可能與AI應用不 兼容 （例如， 現有系統無法處理大數據） 。 合規數據保護 由于AI解決方案的不斷進步和不透明的特質， 這可能會與數據保護法案 （例如GDPR） 相關的合

25、規風險增加， 其中包 括， 在自動決策生成領域中的數據主體權利。 合規性 管理層很難理解并向監管機構證明復雜的AI應用程序是如何做出這項決策的， 例如那些采用神經網絡的應用程序， 其中包含了許多類似黑匣子的隱藏決策層。 行為文化 由于考慮到實際或可能來自的監管方面和道德方面的問題， 大規模的采用AI技術可能會出現文化挑戰。 擔心組織內職位變化從而產生負面影響。 產品創新 已開發的產品不能滿足客戶需求的風險 （即為了使用AI而使用AI） ， 以及可能的大規模不當銷售而產生的風險。 人才崗位與職責 在AI全生命周期中， 可能無法明確定義職位， 職責和責任， 同時， 利益相關者 （合規部， 業務部門

26、， IT部及編程人員 等） 缺乏持續參與和監控可能會增加出錯的風險。 招聘與技術 缺乏對正在采用的AI解決方案的理解、 使用的經驗或適當的監控技能都會增加風險。 由于組織內缺乏對于精通AI的人力資源的整合而產生的新風險。 過度依賴少數具備AI知識的人才和專家。 市場 對于少量的大型第三方AI供應商的過度依賴， 會增加過度集中風險， 并且， 如果當其中一個實體破產或遭受重大運營 損失的時候， 可能會產生連鎖反應。 如果算法對某些變量 （例如股票市場價格） 過于敏感， 則由于羊群效應而導致的系統性風險增加 （即眾多組織與其他 市場參與者行為相同） 。 供應方 黑箱算法的使用可能導致供應商， 運營商

27、和AI用戶在發生問題時責任分配不明確。 同時， 黑箱算法會增加第三方AI供應商失敗的風險， 特別是在那些較小的新公司可能沒有足夠的管理措施和內部控 制的經驗下。 8 人工智能與風險管理報告 | 創新與信心偕行 風險偏好 公司的風險偏好是公司在任何時候為實 現其目標而準備接受的風險量。為了建 立有效的風險管理流程和控制系統，任 何采用AI的策略都需要從一開始就與整 體風險偏好保持一致。 同樣，我們也需要重新審視公司的風 險偏好，并納入AI的特定考慮因素。盡 管AI的引入不會改變公司整體的風險偏 好，但是會影響判別風險的因素，以及 會影響衡量和管理風險的工具。 AI解決方案本身就可以增加或減少某些

28、特 定類型的風險（例如模型風險），并改 變公司當前和未來的風險概況。這就意 味著需要在每種風險類型的層面都需要 重新考量風險偏好。這其中不僅包含目 標風險級別，還有那些能有效支持、管 理和監控該風險的政策和管理信息。 當公司需要評估AI使用對其風險偏好的 影響時，他們首先應制定一套清晰一致 的評估標準。例如：“這個AI解決方案 是否將面向外部？”，回答這個問題有 助于確定AI使用案例中可能會涉及到的 風險類型。制定這一套標準問題可以幫 助企業了解，無論是單從AI使用的層面 還是從整體而言，哪些風險領域需要或 多或少的關注。 風險管理框架 （RMF） 的全生命周期 盡管具體細節和所用術語可能因公

29、司而 異， 但從概念上講， 風險管理框架全生命 周期包含四個關鍵階段： 1. 識別 通過確定哪些風險可能對公司的業務 戰略或運營會產生重大不利影響， 來 了解風險環境。 此階段還涉及監控內 外部運營和監管環境， 從而確定固有 風險格局的變化， 并確?？蚣艹掷m適 用于所需的目的。 2. 分析 定義并建立算法風險評估流程， 以評 估風險暴露程度。 3. 管控 搭建算法風險管控框架， 通過控制降 低固有風險， 使其與風險偏好水平保 持一致。 4. 監控與報告 設計一個可以評估管控效果的有效方 法， 其中包括測量其有效性， 容差閾值 和控制檢測等相關指標。 向相關管理層報告剩余風險概況， 控 制環境和

30、補救計劃的狀態。 在下面的章節中，我們將會為風險管理 框架的每個階段提出一些關鍵的AI考慮 因素，并通過實例來說明公司應該如何 管理因使用AI解決方案。 識別 分析 管控 監控與報告 1 2 3 4 9 人工智能與風險管理報告 | 創新與信心偕行 1. 識別 金融服務企業中AI的復雜性和 相對不成熟性意味著某些風險 表現出來的方式及其程度可能 會隨著時間的推移而發展， 在某些情況下 可能還會非常迅速。 從行為和穩定度的角 度來看， 這可能對公司產生重大影響 （例 如大規模的不當銷售） 。 因此， 企業需要定期進行重新評估， 以確 定AI應用的風險情況自引入以來是否已經 發生變化， 因為該模型已

31、經學習了新數據 并已經進化。 同樣， 作為概念證明或僅供內部使用而開 發的AI解決方案， 如果其使用范圍擴大， 則也需要重新評估。 例如， 如果公司計劃 擴展最初開發的AI解決方案的適用范圍從 而為外部客戶提供建議， 但此方案最開始 時所設計的唯一目的僅為提供內部建議 時， 則需要了解這些新客戶在使用過程中 可能產生的風險。 “金融服務企業中AI的復雜 性和相對不成熟性意味著某 些風險表現出來的方式及其 程度可能會隨著時間的推移 而發展， 在某些情況下可能 還會非常迅速。 ” 值得注意的是，AI所對應的自身定義及 其風險也將發生變化。例如，隨著時間 的推移，移動電話的定義及其功能的擴 展，使得

32、與移動電話有關的風險也發生 了巨大變化。 企業需要確定如何將AI風險考慮因素整 合到現有的風險管理框架中，以及需要 其改變的程度。這其中的考慮包括了監 管與倫理方面的影響，例如算法偏差， 以及AI模型在不建立因果關系的情況下 從數據集推斷的能力。我們在之后實例 中說明了這一點。 但是，一般而言，對于復雜和不斷發展 的AI應用，企業需要審查其自身的管理方 法論，采用一個全面且可持續的方法來 定義并識別風險。當識別AI風險時，其中 應包括與AI應用有關的特定風險（例如風 險分析應用程序）以及因在整個公司內 廣泛采用AI而引入的風險（例如對員工關 系和企業文化的影響。 為了識別AI解決方案產生的風險

33、，同樣重 要的是要考慮那些，更加廣泛意義上的 公司層面的影響，及其在短期與長期層 面上對公司的人力資本而產生的影響。 識別 分析 管控 監控與報告 1 2 3 4 10 人工智能與風險管理報告 | 創新與信心偕行 1. 識別實例 如上所述， 風險分析AI模型產生的主要風險之一是算法偏差和AI模型在不建立因果關系的情況下從數據集推斷的能力。 例如， AI財產保險定價模型可能會使用各種非結構化數據來評估財產。 這些數據可能根據那些僅發生一次的本地事件 （例如 狂歡節或示威游行） 從而將其捕捉到該區域的風險概況中。 然而這就帶來了許多風險， 其中最主要的風險來源于不確定性較 強的一些特征， 例如，

34、那些用于定價的決策驅動因子。 次要風險是， 在該地理位置發生的任何一次性事件都有可能會被定性 為該位置的永久型風險。 此外， 相同的數據可能會在未來用于不同的AI模型中， 并且在無意中會告訴我們其他人的風險狀況。 例如， 不同的AI模型可能 使用相同的評估數據用于評估風險狀況， 通過標記上述事件中的參與者或旁觀者的照片并用他們的社交媒體所呈現的內容 來對他們進行評估， 從而為他們設計個人汽車或假日保險的產品， 而無需他們的授權。 在這個例子中所產生的風險是多種多樣的， 包括數據保護， 客戶授權和錯誤定價， 更不用說道德考量了 。 盡管偏差性、 模型、 聲譽和監管風險都不是新型企業風險， 但在A

35、I使用案例中， 它們可能以全新的或不熟悉的方式表現出來， 使它們更加難以被 識別。 譯者注： 又例如， 在債券風險評估、 銀行信貸檢查中， 對于發債企業、 貸款客戶信用風險的分析不僅基于企業的基本面信息 （如財務狀 況） ， 企業的輿情信息也是AI模型分析的重點。 而輿情分析涉及到金融文本這一類非結構化數據， 其來源為眾多新聞網站。 隨 著有價值的新聞網站被不斷發掘， 輿情監控范圍也在隨之擴大， AI模型在最初訓練時的數據源和后續的數據來源將有所不 同。 而數據源的變化將很可能導致數據特征的遷移， 例如不同新聞網站的編輯具有不同寫作風格和詞語表達， 最終可能導致 最初的模型逐漸失效。 一個比較

36、好做法是對AI模型根據每天或一個時間窗口內的新增數據， 進行模型全量或增量優化訓練， 確保AI模型適用于最新的數據源。 部分新聞網站對于通過網絡爬蟲的方式獲取其輿情信息， 可能會存在限制的情況。 嚴格遵守各網站的機器人協議進行數據爬 取， 或進行數據方面的合作才是正確的做法， 否則若處理不當可能會引發聲譽和法律風險。 在這個例子中所產生的風險是多種多樣的， 包括數據保護和授權、 數據特征遷移， 其中也涉及到道德風險。 盡管算法偏差、 聲 譽和監管風險都不是新型企業風險， 但在AI模型的使用情景中， 它們可能以全新的或人們所不熟悉的方式表現出來， 使它們 更加難以被識別。 11 人工智能與風險管

37、理報告 | 創新與信心偕行 2. 分析 在每個AI應用開發之前，都應 該去設計其風險評估過程，并 由公司管理層同意。該過程 應仔細考慮那些可能會使某一特定應用 的風險更高或更低的關鍵性因素（例如 監管、客戶、財務或聲譽的影響）。例 如，那些為客戶提供財務建議的AI解決 方案，其固有風險水平以及審查過程的 程度，會與那些為內部員工提供IT故障 排除支持的解決方案不同。 現有風險偏好和評估框架可能不夠全 面，無法涵蓋AI解決方案中的一些特定 考慮因素。例如，為了評估AI模型中的 偏差，企業首先需要定義諸如“公允 性”等概念，以及如何衡量它們。就如 同“公平性”等的這種企業價值觀，在 評估某些風險特

38、性的方面發揮著重要作 用，特別是當我們從行為和聲譽的角度 來看。 此外，由于AI模型可以隨著時間的推移 而不斷進化，企業可能會發現以前的一 些定義和評價指標可能無法充分解釋或 評估模型中的決策驅動因素。因此，評 估工作的開展需要變得更加的頻繁和動 態，同時，我們也需要以“自下而上” （針對每個單獨的應用），和“自上而 下”（整體風險偏好）的方式來進行不 斷修正評估流程。 同時，評估工作還需要有更高的參與 度，以及更加廣泛的利益相關者的贊 成，這其中包括AI方面的專家，風控部門 （如技術風險和合規性），以及那些業 務代表們。 還需要注意的是，AI應用一般使用敏捷開 發方法，相比之下，許多技術風險

39、管理 框架通常采用傳統的瀑布模型。因此， 那些為了評估傳統技術開發而設立的流 程，政策及管理方式都需要改變，變得 更加動態。在實際問題中，這可能意味 著，至少對于那些高風險應用，在整個 開發階段，風險方面的考量可能會更加 頻繁出現在日常工作之中。但這，可能 會給企業所擁有的現有資源帶來壓力。 識別 分析 管控 監控與報告 1 2 3 4 12 人工智能與風險管理報告 | 創新與信心偕行 在保險產品定價實例中， 它的AI解決方案使用了大量結構化和非結構化的數據源來為定價結果提供風險權重。 對于我們來說 十分重要的工作就是， 評估其結果是否與那些只使用了靜態和一些可識別的決策驅動因素的非AI系統所

40、產生的結果一致， 并 了解其中產生任何偏差的基本原理。 例如， 對于商業房地產定價， 一個非AI模型可能僅考慮房產的物理特征及其周圍環境， 而 AI模型可能包含了范圍更龐大的影響因素集。 同樣， 如果是通過一系列離散的AI解決方案以模塊化的方式來完成定價， 即將一個AI系統的結果輸入另一個中， 每個模塊的 結果都應由利益相關者進行評估， 從而審核并且檢測這些決策驅動因素的有效性， 特別是當它們與生成定價結果的風險權重 之間是沒有因果關系的時候。 評估時應該包含模型的技術參數 （例如偏差度和分類失誤率） ， 還應該包括商業數據 （例如客戶部門出保量） 和操作參數 （例 如保單從開始到生效的速度）

41、 。 2. 分析實例 譯者注： 在債券風險預警的例子中， AI模型使用了大量動態的結構化和非結構化數據源來為發債企業預警結果提供風險權重， 包括發 債企業財務數據、 經營數據、 行業和地區數據、 輿情數據、 債券交易數據等。 對于我們來說十分重要的工作就是， 評估其結果 是否與那些只使用了靜態和一些可識別的決策驅動因素的非AI系統所產生的結果一致， 并了解其中產生偏差的基本原理。 例 如， 對于投資人對發債企業的情緒， 一個非AI模型可能僅考慮該發行人所發行債券的成交價格， 而AI模型可能包含了范圍更 龐大的影響因素集， 例如輿情因素。 對于應用AI模型的不同場景， 相關業務人員對模型犯錯的容

42、忍度是不同的。 一些和投資以及風險管理聯系緊密的場景中 （如 智能投顧） ， 人們對于模型的犯錯幾乎是零容忍的， 所以在此類場景中， AI模型的輸出結果往往需要經過人工的確認或者該 輸出結果僅僅是作為人工決策的輔助參考或驗證。 在另外一些場景中， 模型的輸出結果可以不經人工確認而直接使用。 在評 估AI模型前， 對于模型適用環境的確認是非常重要的。 AI模型評估時應該包含對模型自身技術參數 （例如預警準確率、 預警提前量） 的分析， 還應該包含對輸入數據質量的分析以 及模型運行維護環境的分析， 其中模型使用和運維人員是否具備足夠的專業性也是特別需要關注的問題。 13 人工智能與風險管理報告 |

43、 創新與信心偕行 3. 管控 管控和測試過程也需要更加動 態。在實際工作中，可能需要 定期且頻繁地測試并監控這些 AI解決方案，可以說，這部分的工作量 會遠遠超出AI方案的最初開發階段和初 始數據集的訓練過程。 與傳統技術的解決方案相比，這可能會 增加所需的測試量。我們應使用基于風 險的解決方案來確定每個實際應用其最 適合的管控等級，而且也要與公司的整 體風險評估框架成比例相關，并與之保 持一致。 此外，由于AI的采用將對整個公司產生 廣泛性影響，與之相關的管控工作可能 會橫跨多個領域（例如人力資源，技 術，運營等）。這進一步強調了在整個 風險管理的生命周期中需要廣泛的利益 相關者來參與其中。

44、 企業可能還需要重新定義業務連續性計 劃，以便在當系統不可用的情形下或在 當AI使用過程中出現管控失敗的情況（例 如部署“緊急開關”）時，使公司能夠 重新回跳到當前的已有進程。該算法還 應該定期進行壓力測試，以分析它在響 應嚴重問題時的反饋，和在遇到非典型 性行為時是否會產生正確的處理方式。 管控過程應當考慮AI會如何與利益相關 者（客戶，承銷商）進行交互，以及它 們之間的關聯點是什么。對于公司來 說，當測試從最初參與到AI解決方案產 生的結果時，這其中的用戶體驗尤為重 要。公司需要時常進行測試，并在必要 時，于早期階段就糾正那些出現的反常 現象和異常值。 同樣，公司還應該有一個完善的“交還人

45、 工”的流程，這說的就是當AI解決方案負 責的工作需要交還給人工來完成的情況， 就比如當算法無法在預先定義好的風險容 差框架內產生輸出的時候。比如，如果該 算法無法十分確定產品價格的時候，就應 該將該工作交給人類來完成）。 “實際工作中， 可能需要定 期且頻繁地測試并監控這些 AI解決方案， 可以說， 這部分 的工作量會遠遠超出AI方案 的最初開發階段和初始數據 集的訓練過程。 ” 我們還需要使用測試外樣本來設計一些 關鍵性能指標，也就是使用全新數據來 運行一些測試人員已經知道正確的結果 的AI模型。同時應該對算法（包括其中 的模型驅動程序）進行頻繁且連續的測 試和統計分析，以確保當用于生產環

46、境 下的AI解決方案使用全新或被更新的數 據集時，它的性能可以符合預期和公司 的風險偏好。 最后還應該注意到，管理整體模型風險和 提高算法透明度的其中一種方法也可以去 構建模塊化的解決方案，在這其中我們將 使用一系列處理能力有限的微型算法來確 定最終輸出，而不是單一且復雜的模型。 這將使得我們更容易理解和控制算法的推 理過程和這些決策驅動因素。 識別 分析 管控 監控與報告 1 2 3 4 14 人工智能與風險管理報告 | 創新與信心偕行 針對不同AI模型不同的應用場景， 管控的措施也有所不同。 以債券預警中的輿情分析為例， 在該場景中對負面輿情識別的漏 報比誤報要嚴重很多。 因此在模型效果評

47、估中， 應賦予漏報率相較于誤報率更高的權重， 同時包含模型的技術參數 （例如偏 差度和分類失誤率） ， 還應該包括商業數據 （例如客戶部門出保量） 和操作參數 （例如保單從開始到生效的速度） 。 應該不斷訓練算法以理解決策驅動因素所產生的不同結果。 例如， 財產保險定價算法可以通過收集衛星圖片所反饋的建筑物 裂縫的測量數據， 并收集那些有裂縫和無裂縫的建筑物圖片來不斷訓練。 一旦在評估過程中發現其結果與非AI定價系統所返回的結果出現任何差異 （無論正面還是負面） ， 公司都應該進行人工審查 或使用其他模型來進行分析其結果。 對于金融機構應用AI模型的場景， 若與投資和風險管理決策相關程度較大，

48、 則人們往往對模型輸出結果的可解釋性有更高要 求， 而這與一些AI模型， 如神經網絡的 “黑箱” 這一不可解釋性的特征相矛盾。 （目前一些深度學習算法通過引入查詢和注意 力機制， 將業務專家在做人工判斷時的關注點輸入給AI模型學習， 一定程度上可實現AI模型輸出結果的同時也能有效輸出判 斷依據。 ） 對保險產品定價模型的控制應涵蓋算法的有效性， 相關性和準確性以及數據等方面： 算法的準確性： 如上所述， AI算法結果應與非AI定價系統產生的結果比對從而檢查模型性能的準確性。 此外， 還應該基于 不同的數據源上來測試算法， 分析這其中為定價而生成的這些風險權重是否具有一致性。 應該在不同的數據集

49、上訓練和測試算法， 以確保在模型面對新數據時輸出的結果是否還保持有效。 可以說有眾多不同的方 法來實現這個目的， 其中一種方式就是劃分可用數據集 （例如， 過去的保險產品價格數據） ， 例如僅在80%的數據上來訓練 算法， 然后用剩余的20%的數據來測試其生成的結果， 并確認結果的準確性和公允性。 管控措施應確保算法所使用的訓練數據具有良好的準確度， 并且保證如果一旦開始不斷輸入實時數據了 ， 還能夠保持其相 對穩定的準確度。 也就是說， AI算法可以時刻根據其已定義好的預警給出最佳的預警結果。 偏差數據的使用： 需要將帶有偏差的數據輸入算法， 從而查看其返回值是否反映出了偏差度。 3. 管控實例 15 人工智能與風險管理報告 | 創新與信心偕行 4. 監控與報告 由于算法在不斷發展和進化， 公司需要采用更加動態