《安永&SAASD：2025可信人工智能治理白皮書（47頁）.pdf》由會員分享，可在線閱讀，更多相關《安永&SAASD：2025可信人工智能治理白皮書（47頁）.pdf（47頁珍藏版）》請在三個皮匠報告上搜索。

1、本報告版權屬于出品方所有，并受法律保護。轉載、摘編或利用其他方式使用報告文字或者觀點的，應注明來源。違反上述聲明者，本單位將追究其相關法律責任。COPYRIGHT STATEMENT出品方安永（中國）企業咨詢有限公司上海市人工智能與社會發展研究會版權聲明前 言FOREWORD21 世紀人類社會迎來了前所未有的技術革命人工智能（AI）的興起。它以迅雷不及掩耳之勢，滲透到我們生活的方方面面，重塑著我們的認知和社會格局。它不僅極大地提高了生產效率，還為解決復雜的社會問題提供了新的視角和工具。然而，隨著 AI 技術的迅猛發展，其所帶來的倫理、法律和社會問題也日益凸顯，如何確保 AI 技術的“可信”屬性

2、，成為全球關注的焦點。在此背景下，可信人工智能治理白皮書應運而生。本白皮書由安永（中國）企業咨詢有限公司和上海市人工智能社會發展研究會聯合撰寫，旨在深入探討人工智能的全球發展態勢、監管體系、可信原則、關鍵問題、企業合規要求、風險治理理論、進階工具以及行業洞察等多個方面。我們希望通過這份白皮書，為政策制定者、企業管理者、技術開發者以及所有關心 AI 發展的讀者，提供一份全面、深入、客觀的參考和指導。在這份白皮書中，我們將重點探討“可信人工智能”的內涵，分析其在算法透明度、數據安全、倫理道德等方面所面臨的挑戰。同時，我們也將關注企業在 AI 應用中的合規要求以及風險治理這一 AI 發展中的重要議題

3、。本白皮書將詳細闡述風險治理架構的構建，以及如何在 AI 的生命周期中實施有效的風險管理。此外，我們還將介紹企業 AI 治理的進階工具可信 AI 等級標識，為企業構建和完善自身的 AI 治理體系提供實用的指導。在提供有效的 AI 治理工具的同時，我們也將聚焦具有啟發性的行業實踐。我們將深入分析汽車、醫藥、零售、服務等行業在 AI 應用上的現狀和挑戰，以及這些行業如何構建和運營自己的 AI 管理體系。通過這些行業案例，我們希望能夠為讀者提供具體的行業應用視角，以及在實際操作中可能遇到的問題和解決方案。在這份白皮書的撰寫過程中，我們深刻感受到AI技術的發展不僅僅是技術層面的突破，更是對人類社會價值

4、觀、倫理道德和法律體系的一次全面考驗。我們相信，只有通過不斷提高對風險的把控能力，預判、分析和應對潛在的治理問題，建立起一套公正、透明、高效的 AI 治理體系，才能確保 AI 技術的健康發展，讓它成為推動人類社會進步的正能量。在此，我們誠摯地邀請您一同走進 AI 的世界，探索其無限可能，同時也思考和面對它所帶來的挑戰。讓我們攜手前行，在 AI 的時代中，共同尋找可信 AI 實現的最佳路徑。目錄Comtents可信人工智能治理 白皮書第一章 全球人工智能發展與監管體系第二章 人工智能的可信原則第三章 可信人工智能的關鍵問題第四章 企業級 AI 的合規要求158121.1 全球人工智能發展概述 1

5、.1.1 歐盟人工智能發展 1.1.2 美國人工智能發展 1.1.3 中國人工智能發展1.2“可信人工智能”概念提出1112356689910101010101011111112121213131314151516162.1 G20 人工智能可信原則 2.2 歐盟可信人工智能原則2.3 安永觀點：可信人工智能原則3.1 算法黑箱與信息繭房問題3.2 算法偏見問題3.3 數據安全問題 3.3.1 底層數據源 3.3.2 數據泄露 3.3.3 出海涉及相關數據出境規制3.4 內生安全問題 3.4.1 人工智能基礎設施安全風險 3.4.2 數據安全風險 3.4.3 模型安全風險 3.4.4 應用服務

6、安全風險3.5 科技倫理問題4.1 資質監管要求 4.1.1 互聯網信息服務提供者的基礎資質 4.1.2 提供具體服務的特殊資質4.2 算法合規要求 4.2.1 算法備案要求 4.2.2 算法評估要求 4.2.3 算法透明性要求4.3 內容合規要求 4.3.1 生成內容審核義務 4.3.2 生成內容標識義務 4.3.3 建立投訴舉報機制目錄Comtents可信人工智能治理 白皮書第五章 人工智能風險治理第六章 企業 AI 治理進階工具第七章 行業洞察與 AI 治理情況調研5.1 風險治理架構 5.1.1 風險治理架構對企業的指導 5.1.2 風險治理架構對創新的推動 5.1.3 風險治理架構對

7、市場的維護5.2 生命周期風險治理 5.2.1 風險管理左移 5.2.2 敏捷管理模式 5.2.3 審慎評估及監控5.3 人員風險治理6.1 AI 治理國際標準 6.1.1 ISO 42001 的意義與價值 6.1.2 ISO 42001 內容簡介6.2 AI 治理可信等級管理 6.2.1 可信 AI 治理等級標識 6.2.2 可信 AI 治理等級標識服務 6.2.3 可信 AI 治理重點領域解析7.1 汽車行業調研 7.1.1 汽車行業人工智能技術的應用 7.1.2 汽車行業對人工智能技術應用的普遍認知 7.1.3 汽車行業人工智能技術應用的挑戰 7.1.4 汽車行業人工智能管理體系的搭建與

8、運營7.2 醫藥行業調研 7.2.1 醫藥行業人工智能技術的應用 7.2.2 醫藥行業對人工智能技術應用的普遍認知 7.2.3 醫藥行業人工智能技術應用的挑戰 7.2.4 醫藥行業人工智能管理體系的搭建與運營7.3 零售行業調研 7.3.1 零售行業人工智能技術的應用 7.3.2 零售行業對人工智能技術應用的普遍認知 7.3.3 零售行業人工智能技術應用的挑戰 7.3.4 零售行業人工智能管理體系的搭建和運營17232817181819192020212223232424242525282828292929303030313131323232目錄Comtents可信人工智能治理 白皮書第七章

9、行業洞察與 AI 治理情況調研第八章 AI 應用的典型案例結語參考文獻7.4 服務行業調研 7.4.1 服務行業人工智能的應用 7.4.2 服務行業對人工智能技術應用的普遍認知 7.4.3 服務行業人工智能技術應用的挑戰 7.4.4 服務行業人工智能管理體系的搭建與運營8.1 典型案例一：某互聯網平臺公司內部人工智能技術應用 8.1.1 人工智能技術使用現狀 8.1.2 人工智能模型使用與評估 8.1.3 人工智能技術投入分析8.2 典型案例二：典型案例二：某汽車公司內部人工智能技術應用 8.2.1 人工智能模型使用現狀 8.2.2 人工智能模型使用與評估 8.2.3 人工智能技術投入分析28

10、36393933333434353636363737373838全球人工智能發展與監管體系第一章截至 2024 年，全球共有 69 個國家和地區制定了人工智能相關政策和立法，涵蓋了從 AI 治理、隱私保護、數據監管到倫理規范等廣泛的主題，反映了各國對 AI 技術發展的重視及其潛在風險的管理需求。以下國家或地區明確針對人工智能出臺了立法或監管要求：1.1.1 歐盟人工智能發展歐盟人工智能法案是全球首部全面且具影響力的人工智能法規，于2024年5月21日獲批通過，并于 2024 年 8 月 1 日正式生效。該法案將“人工智能系統”定義為一種基于機器的系統，被設計為以不同程度的自主性運行，并且在部署

11、后可能表現出適應性。該系統基于明確或隱含的目標，從接收到的輸入中推斷如何生成可影響物理或虛擬環境的輸出，例如預測、內容、推薦或決策。人工智能法案采取了基于風險的方法，將人工智能系統分為最低風險、低風險、高風險和不可接受風險這四級。其中，認知行為操縱和社會評分等具有不被接受風險的人工智能系統被禁止進入歐盟市場；高風險人工智能系統需要獲得批準，同時需要遵守技術要求、風險管理、數據治理、透明度等一系列要求和義務才被允許進入歐盟市場；其他非高風險人工智能系統的提供者則被鼓勵制定行為守則，包括相關的治理機1.1 全球人工智能發展概述制，以促進自愿適用高風險人工智能系統的部分或全部強制性要求。此外，歐盟委

12、員會正在制定 人工智能責任指令（Artificial Intelligence Liability Directive），該指令草案提出于 2022 年 9 月 28 日，旨在為人工智能系統造成的、非合同類責任的特定類型損害提供統一規則，解決舉證責任難的問題，確保受到人工智能技術傷害的人能夠獲得經濟補償。該提案共九條，主要規定了高風險人工智能提供者的證據披露義務、過錯與 AI 輸出之間因果關系的推定兩方面核心內容。1.1.2 美國人工智能發展美 國 正 在 選 擇 一 種 針 對 特 定 行 業 的 方 法（sector-specific approach）。2023 年 9 月，美國參議員和

13、眾議員提出的2023 年算法問責法案草案（Algorithmic Accountability Act of 2023）為受人工智能系統影響的人們提供了新的保護措施。該法案適用于用于關鍵決策的新型生成式人工智能系統，PART當前，全球人工智能正處于技術創新、重塑行業、重新定義我們與技術互動方式的快速更迭階段。AI 技術已經走出實驗室，逐漸嵌入醫療、金融、零售、制造、交通、娛樂等行業領域的各項應用之中，社會也隨之展開深刻變革。據 Fortune Business Insights 預測，人工智能市場預計將在未來十年內出現強勁增長，預計將從 2024 年的 6211.9 億美元增長到 2032 年

14、 27404.6 億美元1。面對這一潛力巨大的顛覆性技術，全球各國競相發力，正在共同將人工智能發展推向時代浪潮頂峰。01可信人工智能治理 白皮書第一章 全球人工智能發展與監管體系01以及其他人工智能和自動化系統，要求公司評估其使用和銷售的人工智能系統的影響，為何時以及如何使用此類系統創造新的透明度，使消費者能夠在與人工智能系統交互時做出明智的選擇。同年 10 月，拜登總統簽署了一項人工智能行政命令關于安全、可靠和可信賴地開發和使用人工智能的行政命令（Executive Order on the Safe,Secure,and Trustworthy Development and Use of

15、 Artificial Intelligence），為人工智能安全、安保、隱私保護、促進公平和公民權利、促進競爭和創新建立了新的基準。該行政命令要求制定一份國家安全備忘錄，以指導人工智能在軍事和情報行動中的安全和合乎道德的應用，確保保護美國人的隱私，并培育一個開放、競爭激烈的人工智能市場，強調美國的創新。為應對人工智能生成內容的知識產權挑戰，美國專利商標局（USPTO）和版權局（USCO）已經發布了相關執法行動和指南。2024 年 2 月，美國專利商標局發布的關于人工智能輔助發明的詳細指 南（AI and inventorship guidance:Incentivizing human in

16、genuity and investment in AI-assisted inventions）明確規定了 AI 輔助創新中的發明權確定問題，即人類貢獻必須足夠顯著才能獲得專利保護。2023 年，美國版權局發布的“包含人工智能生成材料的作品”（Works Containing Material Generated by Artificial Intelligence）的政策規定，如果作品純粹由 AI 生成，除非有顯著的人類創作參與，否則不符合版權保護條件。如果人類在AI生成材料的選擇、安排或修改中作出了重大貢獻，則人類創作元素可獲得版權保護。此外，美國一些州也已經在人工智能相關領域制定監管法

17、律。例如，2024 年 5 月 17 日，科羅拉多州州長簽署了參議院第 24-205 號關于在人工智能系統交互中保護消費者權益（Concerning consumer protections in interactions with artificial intelligence systems）的法案。該法案將高風險人工智能系統定義為任何在投入使用時能夠做出重大決策或在做出重大決策中起到關鍵作用的人工智能系統，要求高風險人工智能系統的開發者（developer）向部署者（deployer）披露有關高風險系統的特定信息、提供完成影響評估所需的信息和文件，并要求部署者實施風險管理政策和程序，定期

18、進行影響評估，并向消費者披露其交互對象的人工智能系統的某些通知，以避免高風險人工智能系統內的算法歧視。再如，2022 年伊利諾伊州頒布了人工智能視頻面試法案（Artificial Intelligence Video Interview Act in 2022），對使用人工智能分析視頻面試的雇主提出要求。加利福尼亞州、新澤西州、紐約州、佛蒙特州和華盛頓特區也提出了相關立法，規范人工智能在招聘和晉升中的使用。1.1.3 中國人工智能發展2024 年 5 月，“人工智能法草案”被列入國務院 2024 年度立法工作計劃。盡管目前我國尚未出臺人工智能專門立法，但已初步建立限制和規范人工智能開發與應用的

19、法律框架，即以中華人民共和國網絡安全法 中華人民共和國數據安全法 中華人民共和國個人信息保護法以及中華人民共和國科學技術進步法為基礎，由互聯網信息服務算法推薦管理規定互聯網信息服務深度合成管理規定生成式人工智能服務管理暫行辦法等一系列規范文件發揮主要監管作用，同時配有互聯網信息服務管理辦法網絡信息內容生態治理規定具有輿論屬性或社會動員能力的互聯網信息服務安全評估規定等關聯法律法規。其中，互聯網信息服務算法推薦管理規定構建了算法監管的機制，確定了算法服務的監管部門，為算法服務提供者設定了算法備案等合規義務與監管要求義務；互聯網信息服務深度合成管理規定進一步規范了深度合成服務提供者、技術支撐者的行

20、為；生成式人工智能服務管理暫行辦法可信人工智能治理 白皮書第一章 全球人工智能發展與監管體系02對生成式人工智能服務提供者規定了數據和基礎模型的來源合法、數據標注、網絡安全、未成年人保護以及評估備案等一系列合規義務，明確了提供者的網絡信息內容生產者責任。隨著全球各國逐步加大對人工智能技術的立法和監管力度，各種法律和監管規范不斷涌現。然而，人工智能的可信已經成為全球各國在發展人工智能中的一致性原則。全球范圍內諸多自律性標準或文件都對“可信人工智能”提出了具體要求。僅僅依靠法律和監管并不足以全面應對人工智能帶來的技術黑箱、信息隱匿、責任錯綜復雜等多維度的挑戰，與之對應的治理能力明顯具有滯后性，可信

21、人工智能治理已然成為全球各國確保前沿技術創新、先進法律制度發展和國家安全的核心議題。圖 1 中美歐人工智能監管區分圖 2 全球自律性文件及“可信人工智能”概念1.2“可信人工智能”概念提出可信人工智能治理 白皮書第一章 全球人工智能發展與監管體系03歐盟可信人工智能倫理指南G20 人工智能原則人工智能風險管理框架和G7 行為準則共同關注著人工智能的技術穩健性和安全性、AI 系統透明度、非歧視和非偏見的公平性以及可問責性。在此基礎上，本白皮書將“可信人工智能”定義為設計、開發和部署技術可靠、安全，能夠輸出不帶歧視和偏見的公正結果，基本原理和運行過程透明，可問責且以人為本的人工智能系統。在我們開始

22、探究可信人工智能相關問題之前，需要首先對可信人工智能提供者、部署者等概念進行界定，厘清概念之間相關性。在人工智能的語境中，提經常被本白皮書采用歐盟人工智能法第三條對于提供者（provider）和部署者（deployer）的定義。提供者（provider）：開發人工智能系統或通用人工智能模型，或已開發人工智能系統或通用人工智能模型，并將其投放市場或以自己的名義或商標提供服務的自然人或法人，公共機關、機構或其他團體，無論有償還是無償。部署者（deployer）：在其授權下使用人工智能系統的任何自然人或法人、公共機關、機構或其他團體，但在個人非職業活動中使用人工智能系統的情況除外?？尚湃斯ぶ悄苤卫?

23、白皮書第一章 全球人工智能發展與監管體系04人工智能的可信原則第二章G20 貿易和數字經濟部長聲明中提出的人工智能原則是在 2019 年由 G20 成員共同商定的一套國際性指導原則，旨在確保人工智能的發展方向能夠符合人類社會的共同利益，人工智能應用是可持續、負責任和以人為本的。所有利益相關者，根據各自的角色，秉持以下原則對可信人工智能進行負責任管理。1包容性增長、可持續發展及福祉應積極負責任地管理值得信賴的 AI，以追求人類和地球的有益成果，從而振興包容性增長，可持續發展和福祉。增強人的能力和創造力，促進和包容代表性不足的人，減少經濟，社會，性別和其他不平等，保護自然環境。2尊重法治、人權以及

24、民主價值觀，包括公平和隱私應尊重法治、人權、民主和在整個 AI 系統生命周期中以人為本的價值觀。這些包括不歧視和平等、自由、尊嚴、個人自主，隱私和數據保護、多樣性、公平性、社會正義以及國際公認的勞工權利。為此目的，還應實施適合于環境和符合技術水平的機制2.1 G20 人工智能可信原則PART為了確保人工智能技術的健康發展，推動其在促進科技創新和經濟發展中發揮積極作用，我們必須著眼于構建可信人工智能體系?？尚湃斯ぶ悄艿暮诵脑谟?，其設計、開發和部署過程中必須嚴格遵循一系列基本原則，包括但不限于安全性、公平性、可解釋性和隱私保護。這些原則不僅關乎人工智能技術的內在可信度，更關系到其與人類社會的和諧共

25、融。安永認為相關利益方應積極理解 AI 的核心原則，建立可信人工智能體系，構建 AI治理與風險管理架構，并隨著監管態勢、科技發展、社會生產力等變化動態調整，以實現可持續發展進步。02和保障措施。3透明度和可解釋性應致力于負責任地披露 AI 系統信息。為此，應提供適合于客觀實際并符合技術發展水平的有意義的信息：促進對 AI 系統的普遍理解；讓利益相關者了解與 AI 系統的互動情況；使受 AI 系統影響的人能夠理解系統的結果；使受到 AI 系統不利影響的人能夠根據相關因素的簡單易懂的信息，作為預測、建議或決策基礎的邏輯來源，并可質疑 AI 系統產生不利影響。4穩健性、安全性和保障性AI 系統應在整

26、個生命周期內保持穩健、安全和有保障，從而在正常使用、可預見的使用或誤用，或其他不利條件下，能夠正常運作，避免造成不合理的安全風險。還需確保如果人工智能系統有風險導致不當傷害或表現出不良行為的，可以被覆蓋、修復或根據需要安全退役。在技術上可行的情況下，還應加強信息 廉潔，同時確保尊重言論自由。5問責制應對人工智能系統的正常運作負責，并對人工可信人工智能治理 白皮書第二章 人工智能的可信原則05智能系統的正常運作負責；同時還應確保在人工智能系統生命周期中做出的數據集、流程和決策是可追溯的；人工智能系統的各方參與者有責任根據其角色，以適合于客觀實際并符合技術發展水平的方式，確保 AI 系統的正常運行

27、，將風險管理方法應用于人工智能系統的全生命周期。2019 年 4 月 8 日，歐盟人工智能高級別專家組發布人工智能倫理指南（Ethics Guidelines for Artificial Intelligence），提出了人工智能系統應滿足的七項關鍵要求，才能被視為可信賴。具體要求如下：(一)人類的能動性與監督：人類應對 AI 系統擁有權力并能夠監督人工智能所做的決定和行為。(二)技術的穩健性與安全性：AI 系統應是穩健的、可復原的、安全的，出現問題時可最大限度地減少和防止意外傷害。(三)隱私與數據治理：AI 系統需充分尊重隱私和數據保護，同時還應有適當的數據質量、完整性、合法訪問等相關數據

28、治理機制。經濟合作與發展組織（OECD）、二十國集團（G20）以及歐盟提出的人工智能原則，提倡人工智能應具有創新性、值得信賴、尊重人權和民主價值觀，為人工智能制定了切實可行、靈活多變、經得起時間考驗的標準。體現了國際社會對人工智能技術發展的共同關注和期望，也為全球范圍內人工智能的研究、開發和應用提供了一套價值觀和行為準則。為此，安永在全球化的商業服務實踐中，將 AI 技術2.2 歐盟可信人工智能原則2.3 安永觀點：可信人工智能原則(四)透明度：AI 的數據、系統和商業模式應該是透明的；AI 系統的相關決策、系統功能以及局限性應對相關利益方進行解釋和告知。(五)多樣性、非歧視與公平性：AI 系

29、統必須避免歧視性以及不公平的偏見；同時，AI 系統應保持多樣性，應該向所有人開放，并讓相關利益方參與其中。(六)社會和環境福祉：AI 系統應造福全人類，并考慮其他生物生存的社會影響，確保是可持續和環保的。(七)問責制：建立問責機制，確保 AI 系統及其成果是可問責的，能夠對算法、數據和設計流程進行審計，還應確保提供適當和便捷的補救措施。與安永服務能力進行深度結合，不僅增強了客戶服務的轉型升級，也為可信 AI 的未來發展建立了社會信心。安永強調可信、以人為本的方法實現AI的潛力，專注于為所有人創造價值，以實現可持續增長并為更好的商業世界賦予人和社會力量。安永根據國際化的人工智能商業實踐經驗和對全

30、球人工智能法規政策的洞察，認為具有問責性、合規性、可解釋性、公平性等原則的人工智能才是可信人工智能。OECD&G20：AI 原則基本措施安永：AI 原則包容性增長、可持續發展和福祉可持續性公平和偏見應積極負責任地管理值得信賴的，以人類和地球追求有益的成果，從而振興包容性增長、可持續發展和福祉增強人類的能力和增強創造力促進和保護代表性不足的人減少經濟、社會、性別和其他不平等現象保護自然環境可信人工智能治理 白皮書第二章 人工智能的可信原則06OECD&G20：AI 原則基本措施安永：AI 原則透明度和可解釋性穩健性、安全性和保障性問責制以人為本的價值觀和公平可持續性公平和偏見合規可靠性安全透明度

31、可靠性問責制透明度可解釋性使受到AI系統不利影響的人能夠根據相關因素的簡單易懂的信息，作為預測、建議或決策基礎的邏輯來源，并可質疑 AI 系統產生不利影響。AI 系統應在整個生命周期內保持穩健、安全和有保障，從而在正常使用、可預見的使用或誤用，或其他不利條件下，能夠正常運作，避免造成不合理的安全風險。AI 系統的各方參與者有責任根據其角色，以適合于客觀實際并符合技術發展水平的方式，確保 AI 系統的正常運行，將風險管理方法應用于人工智能系統的全生命周期。還需確保如果人工智能系統有風險導致不當傷害或表現出不良行為的，可以被覆蓋、修復或根據需要安全退役。在技術上可行的情況下，還應加強信息廉潔，同時

32、確保尊重言論自由。人應尊重法治、人權、民主和在整個 AI 系統生命周期中以人為本的價值觀。這些包括不歧視和平等、自由、尊嚴、個人自主，隱私和數據保護、多樣性、公平性、社會正義以及國際公認的勞工權利。應致力于負責任地披露 AI 系統信息。為此，應提供適合于客觀實際并符合技術發展水平的有意義的信息：為此目的，還應實施適合于環境和符合技術水平的機制和保障措施。促進對人工智能系統的全面理解讓利益相關者了解與 AI 系統的互動情況使受 AI 系統影響的人能夠理解系統的結果安永在全球化的商業服務實踐中，將 AI 技術與安永服務能力進行深度結合，不僅增強了客戶服務的轉型升級，也為可信AI的未來發展建立了社會

33、信心，創造指數級的價值。安永強調可信、以人為本的方法實現AI的潛力，專注于為所有人創造價值，已實現可持續增長并為更好地商業世界賦予人和社會力量。圖 3 安永所倡導的 AI 原則可信人工智能治理 白皮書第二章 人工智能的可信原則07可信人工智能的關鍵問題第三章2024 年，某大型網約車服務平臺推出“車費保鏢”服務旨在通過實時監控車費波動，為消費者提供一個公平且透明的出行體驗，并在檢測到異常收費時提供先行賠付。然而，上海市消費者權益保護委員會對該服務的算法透明度提出批評，指出由于缺乏明確的標準來定義“合理”的車費變動，消費者難以評估服務的實際保障水平，從而使“車費保鏢”服務在實際運作中存在透明度不

34、足的問題。算法黑箱與信息繭房問題因其直接觸及人們的日常使用體驗和信息獲取路徑而尤為凸顯。算法的不透明性常常讓用戶在使用搜索引擎、社交媒體和在線購物平臺時感到困惑，因為他們無法洞悉背后的推薦邏輯，這無疑影響了用戶體驗。中國青年報社社會調查中心對 1501 名受訪者進行的調查表明，超過 62%的受訪者感受到“大數據+算法”精準推送帶來的“信息繭房”2。算法黑箱和信息繭房問題，往往根植于大型機器學習模型的內在特性。與基礎算法相比，人工智能模型采用的神經網絡算法的復雜性源于其擁有龐大的參數網絡和處理高維數據的能力，且決策過程無法僅通過底層算法預測，而是基于訓練數據深度3.1 算法黑箱與信息繭房問題PA

35、RT在各國人工智能法律法規的框架之下，企業對人工智能技術的應用依然面臨著諸多風險與問題。一方面，數據隱私問題令人擔憂，大量的個人數據被收集用于訓練算法，然而這些數據的安全性和合規使用卻難以得到完全保障。另一方面，算法偏見也不容忽視。由于訓練數據的不全面或偏差，算法可能會對某些群體產生不公平的判斷和決策。人工智能技術固有的內生安全問題可能被惡意利用，造成難以估量的危害。這些風險對企業如何更合規應用人工智能技術提出了新的挑戰。03學習到的復雜模式和規律。以個性化推薦算法為例，其依據用戶行為數據進行內容定制，以此增強用戶體驗和平臺互動性。然而，這種算法可能導致用戶行為（如點擊、點贊和評論）進一步強化

36、其內部推薦邏輯，形成了一個自我加強的反饋循環。用戶難以直觀地查看或修改模型的內部機制，也難以理解模型如何完成文本生成、推斷、分類等任務。此外，企業在處理數據時，出于隱私保護和商業機密的考慮，往往不會完全公開其數據處理流程。同時，現行的知識產權法律在保護創新成果的同時，也可能間接限制了算法透明度的提升?？尚湃斯ぶ悄苤卫?白皮書第三章 可信人工智能的關鍵問題08算法偏見是人工智能領域內一個日益顯著的問題，由于訓練數據的不均衡或算法設計的不完善，這導致系統輸出結果可能帶有不公平性。這種偏見可能在招聘、司法、金融等多個關鍵領域顯現，對特定群體造成系統性的不公正影響。2018 年某知名跨國電商企業的招聘

37、算法被發現在篩選簡歷時，對含有與“女性”相關詞匯的簡歷評分偏低，這一性別偏見問題最終導致了該算法的關閉。無獨有偶，多家知名企業廣泛采用的 AI 面試工具，被指出在解讀面試者表情時可能存在誤判，從而導致對面試者性格特征的不準確推斷。算法偏見的形成原因可以歸納為以下三個方面：數據安全是構建可信人工智能的關鍵，它不僅保護用戶隱私，確保企業遵守法律法規，還構建了用戶對系統的信任。數據安全通過防止算法偏見、保障決策公正性、維護數據的完整性和準確性，支撐了人工智能的可信應用，并促進了技術與社會的和諧發展。公眾對人工智能的信任建立在數據安全的基礎之上，一旦發生安全事件，不僅用戶隱私受損，企業的聲譽和信任度也

38、會受到嚴重影響。3.2 算法偏見問題3.3 數據安全問題訓練數據的不均衡性：如果訓練數據在收集時存在歷史偏見或代表性不足，算法可能會繼承并放大這些偏見，從而產生歧視性結果。特征選擇的偏差：在模型訓練過程中，選擇哪些特征作為輸入變量對結果具有重大影響，不當的特征選擇可能無意中引入歧視性偏見。算法設計的不完善：如果算法設計過程中未能充分考慮公平性原則，或設計者本身存在偏見，可能導致算法在處理數據時無法保持公正和客觀。3.3.1 底層數據源2017 年，英國信息委員會（ICO）對倫敦某醫院基金會與某科技公司旗下人工智能研究公司的智能醫療合作項目進行了調查，調查結果顯示，在開發移動醫療應用的過程中，該

39、人工智能研究公司未能充分向患者披露其個人醫療數據的使用目的和范圍，使用超過 160 萬患者的醫療記錄作為訓練和測試的數據源3。數據源獲取的合法性問題可能觸發一系列復雜問題，包括知識產權侵權、公民個人信息保護不足等。數據作為用戶與模型之間的溝通橋梁，其質量和來源直接影響到人工智能模型的性能表現。如果數據來源不明確或獲取方式存在法律問題，那么在使用這些數據的過程中，就難以滿足現行的數據保護法規要求。這不僅會損害用戶的利益，還可能對人工智能行業的健康發展造成負面影響。底層數據源的安全問題是一個多維度的挑戰，它不僅包括數據源獲取的合法性，還涵蓋了數據語料庫的管理、數據投毒攻擊、數據源的依賴性和時效性等

40、。龐大的數據語料庫可能潛藏著仇恨言論、歧視性言論、虛假信息等有害內容，這些內容若被惡意注入，不僅會誤導人工智能的學習過程，損害模型的準確性，還可能對用戶的利益造成實質性的威脅。同樣，確保數據源的多樣性和時效性至關重要，如果算法過度依賴單一或有限的數據源，其魯棒性將受到削弱，而依賴過時的數據源，使用不再反映現實的陳舊數據也會降低人工智能決策的準確性和可靠性?？尚湃斯ぶ悄苤卫?白皮書第三章 可信人工智能的關鍵問題093.3.2 數據泄露2023 年 4 月，全球著名的商業集團因允許其半導體部門工程師使用 ChatGPT 解決源代碼問題，不慎泄露包括半導體設備測量資料和產品良率等在內的機密數據。根據

41、美國數據安全公司 Cyberhaven 發布的報告4，到 2024 年 3 月，員工向人工智能模型輸入的公司數據中，敏感數據的比例從 10.7%激增至 27.4%。盡管企業有責任嚴密保護機密信息，但員工可能因缺乏安全意識在無意中將機密數據以提問的形式輸入人工智能模型中，致使企業商業機密面臨持續泄露風險。人工智能模型的反向工程是一種高級的數據泄露風險，攻擊者通過精心設計的查詢，分析人工智能模型的輸出結果，從而推斷出用于訓練該模型的敏感數據。由于人工智能模型可能記住了訓練過程中的特定模式和細節，攻擊者利用這些信息，可以對模型進行“反向學習”，恢復或重建原始數據集的一部分，對數據隱私和安全構成嚴重威

42、脅。3.4.1 人工智能基礎設施安全風險人工智能基礎設施的安全風險包括軟件漏洞、依賴性風險、技術過時和網絡攻擊，這些問題共同威脅著系統的穩定性和可靠性。軟件層面，操作系統、數據庫和應用程序中的未修復漏洞可能使系統面臨未授權訪問和破壞的風險，而維護更新不足會加劇這一問題。對特定軟件庫或框架的過度依賴可能引入依賴性風險，一旦這些依賴項存在問題，整個系統將受影響。使用過時的技術因缺乏最新安全功能易于遭受攻擊。此外，3.3.3 出海涉及相關數據出境規制在全球化大潮中，人工智能系統處理的數據頻繁跨越國界，帶來了跨境數據傳輸與處理的挑戰。數據主權作為國家對數據控制權的體現，涵蓋了數據的收集、存儲、處理和傳

43、輸等生命周期各環節。個人信息出境要求，作為數據主權的重要組成部分，規定了個人信息在跨國傳輸時必須遵循的規則。為了保護本國數據安全、維護國家利益和公民隱私，各國紛紛制定并實施了相應的法律法規。我國通過中華人民共和國網絡安全法中華人民共和國數據安全法和中華人民共和國個人信息保護法等法律法規，確立了個人信息出境的合規要求。這些法規要求企業在處理數據出境事宜時，必須開展安全評估，確保數據接收方能夠提供充分的數據保護措施，并且必須獲得數據主體的明確同意。遵循這些法規不僅是企業履行法律義務的需要，也是維護企業聲譽、保持客戶信任的關鍵。人工智能技術的內生安全問題根植于系統內部，從基礎設施的脆弱性、數據處理的

44、漏洞，到開發框架的缺陷、模型訓練和部署的不規范，以及應用層和接口層的攻擊風險。這些隱患不僅威脅到系統的安全性和用戶隱私，還可能導致合規性問題和聲譽損害。安全層的不足和監控維護的滯后可能使系統對新威脅的防御能力下降，而用戶交互層的安全問題將直接影響用戶信任。若不妥善解決，這些風險可能引發錯誤決策、信任動搖、數據泄露、安全性下降，以及技術更新滯后，對企業運營和用戶權益造成嚴重影響。3.4 內生安全問題網絡攻擊如 DDoS、端口掃描和未授權訪問會直接影響系統的可用性和穩定性。3.4.2 數據安全風險人工智能系統的數據泄露風險遍布數據處理各環節，尤其在安全防護不足時更為嚴峻。原因多樣：數據加密不足易遭

45、截獲；軟件漏洞可能被攻擊者利用；不安全的系統配置如開放端口和簡單密碼易于被攻破；內部人員的疏忽或故意行為可能引起數據泄露；員工和用戶的數據保護意識不足，易成為網絡攻擊目標；數據訪問控制寬松，敏感信息面臨未可信人工智能治理 白皮書第三章 可信人工智能的關鍵問題10授權訪問風險；日志和監控機制不足，難以及時檢測泄露。這些因素交織，形成數據泄露的復雜風險環境。3.4.3 模型安全風險在人工智能領域，模型安全風險是核心問題，包括對抗性攻擊、數據投毒、模型竊取、算法后門和模型過擬合等方面。對抗性攻擊利用構造輸入誤導模型，數據投毒通過篡改訓練數據扭曲學習過程，模型竊取嘗試逆向工程獲取內部參數，算法后門植入

46、隱蔽觸發條件，而過擬合導致模型泛化能力差。這些問題往往源于數據管理不足、安全措施缺失、技術缺陷、計算資源限制、透明度和監管不足、復雜性增加、驗證和測試不完善以及內部威脅等復合因素。隨著攻擊技術的發展，模型安全問題變得更加隱蔽和難以防范，要求在數據管理、模型設計、訓練和驗證各環節加強安全防護。3.4.4 應用服務安全風險在人工智能領域，應用服務的安全風險是多方面的，涉及復雜的技術和倫理問題。用戶與人工智能服務的互動可能伴隨著隱私泄露的風險，用戶可能無意中分享了敏感信息，或者人工智能系統可能在缺乏告知同意的情況下收集數據，可能違反數據保護法規。此外，用戶反饋對人工智能系統既是改進服務的寶貴資源，也

47、可能被惡意用戶可能利用從而進行數據操縱或探測系統缺陷。而用戶提問中可能包含的不當言論或虛假信息，不僅違背平臺規定，也可能對社會秩序和個人權益造成損害。在內容生成與決策方面，人工智能模型可能產生帶有偏見或不準確的信息。同時，人工智能技術的濫用，如深度偽造（Deepfake）技術或自動化網絡攻擊，對個人名譽和網絡安全構成了嚴重威脅。人工智能模型的決策安全在醫療、金融、交通等領域至關重要，這些領域的人工智能技術應用一旦做出錯誤決策，可能會引發包括經濟損失、健康風險甚至生命安全在內的嚴重后果。當前以人工智能等核心科技的新一輪科技革命和產業變革加速演進，在生命科學、醫學、人工智能等領域的科技活動的倫理挑

48、戰日益增多，AI 深度生成、基因編輯、自動駕駛等人工智能技術正面臨科技倫理的拷問與審視。人工智能大模型的訓練、推理、應用等活動依賴大量的數據來訓練，其訓練決策的過程復雜且不透明，可能會引發如下科技倫理問題：企業若違反科技倫理不僅影響企業聲譽，更會面臨行政責任乃至刑事責任。2023年12月1日正式施行的 科技倫理審查辦法（試行）為規范科學研究、技術開發等科技活動，強化科技倫理風險防控，提供了法律依據。自然人的知情權、選擇權、公平交易權以及未成年人和老年人群體的合法權益受損，從而導致大數據殺熟、沉迷消費、服務歧視等倫理問題；特定行業和企業在利用人工智能技術時缺乏科技倫理審查所引發產品缺陷、侵犯用戶

49、合法權益、使用人工智能技術進行違法犯罪活動等法律風險；人工智能技術的倫理問題也可能引發社會群體性失業、弱勢群體不公平待遇進一步加劇等社會性的倫理問題。3.5 科技倫理問題可信人工智能治理 白皮書第三章 可信人工智能的關鍵問題11企業級 AI 的合規要求第四章人工智能相關企業的業務可能既包括信息服務和電子郵件、短信服務等增值電信業務，也涉及網絡新聞、網絡文化、網絡出版等內容，因此會涉及諸多資質?；诖?，白皮書將相關資質分為互聯網信息服務提供者的基礎資質和提供具體服務的特殊資質兩大類，并重點說明相關企業應當注意的監管要求。4.1.1 互聯網信息服務提供者的基礎資質通過互聯網向上網用戶提供信息的服務

50、提供者應當首先具備互聯網信息服務的基礎資質。常見的基礎資質包括互聯網信息服務經營許可證（ICP 許可證）、增值電信業務經營許可證-在線數據處理與交易處理業務（EDI 許可證）和增值電信業務經營許可證-移動網信息服務業務（SP 許可證）等。通過互聯網進行電子公告服務和電子郵件、短信服務等增值電信業務的經營性互聯網信息服務提供者，應當向省、自治區、直轄市電信管理機構或者國務院信息產業主管部門申請辦理互聯網信息服務增值電信業務經營許可證。從事在線數據處理和交易處理業務、移動網信息服務業務等電信增值服務的服務提供者還應當提交滿足申請條件的材料，以在業務開展前期獲得 EDI 許可證和 SP 許可證。4.

51、1.2 提供具體服務的特殊資質互聯網新聞信息服務、網絡出版服務、網絡文化活動和網絡視聽節目服務、生成式人工智能服務4.1 資質監管要求PART在全球人工智能監管日益趨強的背景下，為更好應對算法黑箱、算法偏見和外部攻擊等紛繁復雜的內憂外患，相關企業也面臨著從準入資質、算法合規義務到生成內容合規義務的一系列要求，以確保企業人工智能相關的發展和應用合法合規。04等具體服務的提供者，應當相應取得互聯網新聞信息服務許可、網絡出版服務許可證、信息網絡傳播視聽節目許可證等特殊資質。以互聯網新聞信息服務為例，“互聯網新聞信息服務”包括互聯網新聞信息采編發布服務、轉載服務和傳播平臺服務。申請主體需為通過互聯網站

52、、應用程序、論壇、博客、微博客、公眾賬號、即時通信工具、網絡直播等形式向社會公眾提供互聯網新聞信息服務的主體，包括提供互聯網新聞信息服務的算法推薦服務提供者、移動互聯網應用程序提供者等主體。這些企業應當向特定主管部門，即省、自治區、直轄市互聯網信息辦公室提出申請。同樣，從事網絡出版服務、網絡文化活動和網絡視聽節目服務的深度合成服務提供者和技術支持者取得網絡出版服務、網絡文化活動和網絡視聽節目服務相關許可；生成式人工智能服務提供者則應當取得生成式人工智能服務相關行政許可?？尚湃斯ぶ悄苤卫?白皮書第四章 企業級 AI 的合規要求12在中華人民共和國網絡安全法中華人民共和國數據安全法中華人民共和國個

53、人信息保護法三駕馬車的引領下，算法合規要求的主要依據來源于算法推薦管理規定深度合成管理規定和生成式人工智能服務管理辦法的監管規范，并初步形成了算法合規義務清單。本節主要解讀算法備案、算法評估和算法透明性要求，聚焦企業的基礎合規要點與實踐操作指引。4.2 算法合規要求圖 4 算法合規義務清單4.2.1 算法備案要求算法備案制度要求具有輿論屬性或者社會動員能力的算法推薦服務提供者、深度合成服務提供者、深度合成服務技術支持者和生成式人工智能服務提供者，按照法律程序就其所使用的算法推薦技術、深度合成技術和生成式人工智能技術進行備案。其中，“具有輿論屬性或者社會動員能力”是指以下兩種情形：（1）開辦論壇

54、、博客、微博客、聊天室、通訊群組、公眾賬號、短視頻、網絡直播、信息分享、小程序等信息服務或者附設相應功能；（2）開辦提供公眾輿論表達渠道或者具有發動社會公眾從事特定活動能力的其他互聯網信息服務。算法推薦服務提供者是指利用生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等算法技術向用戶提供信息的組織或個人；深度合成服務提供者是指通過利用深度學習、虛擬現實等生成合成類算法制作文本、圖像、音頻、視頻、虛擬場景等網絡信息的技術來提供服務的組織或個人；技術支持者是指為深度合成服務提供技術支持的組織、個人；生成式人工智能服務提供者是指利用生成式人工智能技術提供生成式人工智能服務（包括通過提供可

55、編程接口等方式提供生成式人工智能服務）的組織、個人。符合前述條件的企業應當通過互聯網信息服務算法備案系統填報服務提供者的名稱、服務形式、應用領域、算法類型、算法自評估報告、擬公示內容等信息，以履行備案手續。4.2.2 算法評估要求根據評估主體的不同，算法評估可以區分為自評估和監管機構評估。自評估是指具有輿論屬性或者社會動員能力的算法推薦服務提供者、深度合成服務提供者和技術支持者、具有輿論屬性或者社會動員能力的生成式人工智能服務提供者、上線具有輿論屬性或者社會動員能力的新技術、新應用、新可信人工智能治理 白皮書第四章 企業級 AI 的合規要求13功能的應用程序提供者、互聯網新聞信息服務提供者、互

56、聯網信息服務提供者等主體，就其所應用的技術自行組織開展或委托第三方機構進行安全評估。監管機構評估是指網信、電信、公安、市場監管等有關部門就相關企業所應用的技術自行組織或委托第三方機構開展安全評估。從評估對象角度，算法評估包括針對服務和技術的評估。針對算法服務的評估內容主要包括算法梳理情況、對算法服務基本原理、目的意圖和主要運行機制的公示、安全風險、可恢復性、安全應急處置機制、個人信息收集和使用的安全管理、用戶選擇的彈窗等設置以及投訴舉報反饋機制。針對算法技術的評估內容主要包括算法的通用條款、設計開發、驗證確認、部署運行、維護升級和退役下線的具體技術情況。因此，算法服務提供者應當開展算法自評估活

57、動，就其所提供的服務進行安全評估。算法自評估報告應當覆蓋下列信息：第一，算法基礎屬性信息：選擇所需備案算法的算法類型、應用領域、使用場景等，并填寫算法安全自評估報告和擬公示內容；第二，算法詳細描述信息：填寫算法簡介、應用范圍、服務群體、用戶數量、社會影響情況、軟硬件設施及部署位置等信息；第三，算法風險描述信息：根據評估算法特點，確定可能存在的算法濫用、惡意利用、算法漏洞等安全風險，并加以描述。4.2.3 算法透明性要求算法監管規范將企業的透明性義務表述為“告知”，即算法推薦服務提供者應當以顯著方式告知用戶其提供算法推薦服務的情況，并以適當方式公示算法推薦服務的基本原理、目的意圖和主要運行機制等

58、；深度合成服務提供者和技術支持者提供人臉、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人，并取得其單獨同意。實踐中，企業作為服務提供者應當重視相關規則的透明化和可解釋化，在提供算法相關服務時，以顯著的方式告知用戶基本情況，并以可理解的語言表述公示算法的基本原理、使用目的和運行情況。需要取得同意的，應當及時告知用戶并征得其明確單獨的同意?？尚湃斯ぶ悄苤卫?白皮書第四章 企業級 AI 的合規要求14我國重視內容治理，多部規范就生成內容為企業設定了合規要求，具體包括內容審核義務、內容標識義務和投訴處理機制。4.3 內容合規要求圖 5 人工智能生成內容的合規要求4.3.1

59、 生成內容審核義務從義務主體角度，深度合成服務提供者、生成式人工智能服務提供者、應用程序提供者、應用程序分發平臺、網絡信息內容生產者、網絡信息內容服務平臺和互聯網信息服務提供者都應當對網絡信息內容負有責任。依據其性質，可以將這些主體分為網絡信息內容生產者、網絡信息內容服務平臺和網絡信息內容服務提供者三類。其中，網絡信息內容生產者就其制作、復制、發布相關信息承擔責任；網絡信息內容服務平臺主要就其提供的發布、下載、動態加載等網絡信息內容傳播服務承擔責任，即信息內容管理主體責任；網絡信息內容服務提供者則根據情況承擔不同的責任，例如，生成式人工智能服務提供者依法承擔網絡信息內容生產者責任，深度合成服務

60、提供者則承擔信息內容管理主體責任，采取技術或者人工方式對深度合成服務使用者的輸入數據和合成結果進行審核。目前，內容審核義務主要由網絡信息內容服務平臺承擔。2021 年 9 月 15 日，國家互聯網信息辦公室發布關于進一步壓實網站平臺信息內容管理主體責任的意見，明確要求網絡信息內容服務平臺充分發揮網站平臺信息內容管理第一責任人作用。因此，網絡信息內容服務平臺企業應當健全內容審核機制，依據意見落實總編輯負責制度，明確總編輯在信息內容審核方面的權利和所應承擔的責任，以建立總編輯對全產品、全鏈條信息內容的審核工作機制?？尚湃斯ぶ悄苤卫?白皮書第四章 企業級 AI 的合規要求154.3.2 生成內容標識

61、義務內容標識義務主要圍繞合成內容展開。算法推薦服務提供者負有對未作顯著標識的算法生成合成信息進行標識的義務；深度合成服務提供者對使用其深度合成服務生成或者編輯的信息內容，以及所提供的特定深度合成服務可能導致公眾混淆或者誤認的，都負有標識義務；生成式人工智能服務提供者負有對圖片、視頻等生成內容進行標識的義務。內容標識的對象包括算法生成合成信息、深度合成的信息以及生成內容，據此分析，標識的目的在于說明相關內容非真人產出的情況。因此，企業應當重視內容輸出時的標識要求，根據具體情況采用顯式水印標識或隱式水印標識，對人工智能生成內容標識“由 AI 生成”或“人工智能為您提供服務”等字樣。4.3.3 建立

62、投訴舉報機制投訴舉報機制是保護用戶權益和體現透明度的有效路徑。投訴舉報不僅是針對算法推薦內容、深度合成內容和人工智能生成內容的內容合規的重要路徑，同樣也是應用程序合規的基本要求。企業應當設置便捷的用戶申訴和公眾投訴、舉報入口，公布投訴舉報方式，公布處理流程和反饋時限，及時受理、處理公眾投訴舉報并反饋處理結果?？尚湃斯ぶ悄苤卫?白皮書第四章 企業級 AI 的合規要求16人工智能風險治理第五章人工智能風險治理架構旨在構建一套周詳而立體的體系，強化對人工智能潛在風險的管控效能，并提升人工智能技術的可靠性與責任感。該架構由若干緊密交織的層面組成，每一層面均針對人工智能治理的特定維度進行深入考量和精細規

63、劃，從而確保整個架構的協同運作與高效實施。通過這種多維度的治理機制，我們期望實現對人工智能技術發展與應用的全方位引導，確保其在遵循倫理準則和社會責任的前提下穩健前行。5.1 風險治理架構PART05圖 6 人工智能風險治理框架可信人工智能治理 白皮書第五章 人工智能風險治理175.1.1 風險治理架構對企業的指導人工智能技術的崛起為企業提供了巨大的機遇，但同時也帶來了復雜的風險挑戰。因此，一個全面的人工智能風險治理架構對于企業來說至關重要，它不僅關系到企業的合規性、安全性、社會責任和商業連續性，還直接影響到企業的運營效率、決策質量、創新能力和市場聲譽。人工智能風險治理架構是企業應對人工智能相關

64、風險的基礎，它包括風險識別、評估、監控和緩解等多個環節，涵蓋了數據管理、模型開發、技術應用和倫理合規等多個方面。該治理架構為企業提供了以下指導和建議：人工智能風險治理架構對企業的影響是多維度的，它不僅塑造了企業運營的穩健性，也是推動創新和維護聲譽的關鍵因素。企業需要認識到風險治理的重要性，并積極構建和實施這一架構，以實現人工智能技術的健康發展和商業價值的最大化。通過有效的風險治理，企業不僅能夠提升自身的競爭力，也能夠為社會的可持續發展做出貢獻。人工智能風險治理架構為企業提供了一個結構化的決策支持系統。通過風險識別和量化，企業能夠更準確地評估人工智能項目的風險和收益，做出更加科學和合理的決策。此

65、外，該架構還強調了風險溝通的重要性，通過提高企業內部和外部的風險透明度，增強了公眾對企業決策的信任，為企業樹立了積極的社會責任形象。同時，人工智能風險治理架構為企業在人工智能領域的創新嘗試和探索提供了一個安全的環境。通過平衡風險管理和創新需求，企業能夠在保障安全的前提下，實現可持續的創新發展。這種平衡策略不僅有助于企業在市場中保持領先地位，也是企業聲譽和品牌忠誠度提升的基石。積極的人工智能風險治理還使企業能夠在面臨在數據管理上建立嚴格的政策和流程，確保數據的質量和安全，同時符合數據保護法規。這不僅提高了數據的可靠性，也為人工智能模型的開發和部署提供了堅實的基礎。確保人工智能模型的開發過程遵循公

66、平性、透明度和可解釋性原則，避免算法偏見和歧視。這要求企業在模型設計、訓練和驗證階段進行嚴格的風險評估和測試。建立實時監控系統，對人工智能系統的性能進行持續評估，及時發現并應對潛在風險。這不僅提高了系統的穩定性和可靠性，也為風險管理和決策提供了實時數據支持。危機時快速響應和有效應對，減少對企業聲譽的負面影響。這種危機管理能力是企業聲譽保護的關鍵，有助于企業在復雜多變的市場環境中保持穩定發展，贏得消費者和社會的長期信任。5.1.2 風險治理架構對創新的推動在技術創新方面，人工智能風險治理架構也有著深遠影響。它首先確保了技術創新活動在安全可控的范圍內進行，避免潛在的倫理和法律風險。通過制定相應的政

67、策和標準，人工智能風險治理架構能夠引導技術開發者遵循最佳實踐，從而提高技術創新的質量和可靠性。進一步地，人工智能風險治理架構通過識別和評估技術創新的潛在風險，促進了技術創新的健康發展。該架構賦予了相關部門前瞻性地采取措施的能力，以減少負面影響，保護公眾利益，并通過維護市場秩序和增強消費者信心，為人工智能創新發展注入了持續的活力。此外，人工智能風險治理架構在全球化背景下尤為重要，其促進了跨國企業間的交流與合作。通過共同制定和遵守統一的治理架構，各國企業可以加強信息共享和經驗交流，共同應對全球性挑戰，可信人工智能治理 白皮書第五章 人工智能風險治理18推動全球技術創新的進步。綜上所述，人工智能風險

68、治理架構對技術創新具有積極的推動作用，它不僅能夠保障技術創新的安全性，還能夠促進技術創新的健康發展和國際合作，為全球人工智能技術創新的繁榮貢獻了力量。5.1.3 風險治理架構對市場的維護人工智能風險治理架構在維護市場公平競爭中也發揮著至關重要的作用。首先，它有助于確保人工智能技術的合規性，防止濫用人工智能造成市場壟斷或不正當競爭。通過制定嚴格的倫理標準和監管措施，該架構能夠限制企業利用算法優勢排擠競爭對手，維護市場的公平性。其次，人工智能風險治理架構通過增強透明度和問責制，加深了市場參與者之間的信任。透明的管理人工智能生命周期是確保技術可信、合規和有效的關鍵。問題識別是人工智能項目啟動的初期階

69、段，主要工作包括收集和分析用戶及業務需求，梳理合規要求以初步評估風險，設計系統架構，規劃必要資源，制定項目計劃，為項目的順利實施打下堅實基礎。在明確人工智能的設計需求后，就要開始準備訓練人工智能所需的數據。這一階段的工作重點在于合法合規地收集數據，并通過清洗和標注提高數據質量，同時進行特征工程以增強模型的預測能力。在開展模型訓練前，要選擇合適的算法，進行調優，并在后續訓練和驗證過程中進一步評估模型性能，確保其準確性和泛化能力。進入模型部署階段，工作轉向確保模型在生產環境中的穩定運行，包括制定和實施部署策略。在模型穩定運行后，則側重于監控模型性能，收集用戶反饋，并及時響應任何性能下降或偏差。隨著

70、環境變化，模型可能決策過程和明確的責任歸屬使消費者和其他利益相關者更容易認可人工智能市場的公平性，這對于保持市場秩序和穩定至關重要。最后，人工智能風險治理架構還有助于應對數據安全、隱私侵犯等潛在風險和挑戰。通過預防和解決這些問題，該架構不僅保護了消費者權益，也維護了整個市場生態的健康發展。綜上所述，人工智能風險治理架構通過確保技術合規性、促進透明度和問責制、以及有效應對風險挑戰，共同營造了一個公平、透明和健康的市場環境。這些措施不僅維護了市場的競爭秩序，也為所有參與者創造了一個更加穩定和可預測的商業氛圍。5.2 生命周期風險治理圖 7 人工智能生命周期及對應風險模型可信人工智能治理 白皮書第五

71、章 人工智能風險治理19會經過變更完成迭代，這一過程需要優化模型以適應新數據或業務需求，同時進行影響評估和測試以確保變更的有效性。最終，若模型不再使用，還需考慮知識保留和數據存檔，確保平穩過渡和歷史數據的安全性。管理人工智能生命周期中的風險是實現監管機構所提倡的可信人工智能的關鍵。在整個人工智能生命周期中，風險無處不在，企業需要從生命周期的各個階段入手，建立全面的風險治理機制，確保人工智能系統在設計、開發、部署和運行的每個環節都符合監管要求，減少風險發生的可能性，提高系統的可靠性和用戶的信任度。這不僅有助于保護用戶隱私和數據安全，也有助于企業在快速變化的市場中保持競爭力，實現可持續發展和可信人

72、工智能的目標。5.2.1 風險管理左移風險管理左移旨在將風險評估和緩解提前到項目生命周期的起始階段，其核心在于盡早識別潛在風險。企業需要在規劃和設計階段深入分析項目需求，評估技術可行性，預測資源需求，并識別潛在合規性與倫理問題。這種做法有助于企業制定全面的預防策略，減少后期返工和成本，確保項目順利推進。在項目啟動初期，企業必須進行全面的合規性審查，確保符合法律法規、數據保護、隱私標準、知識產權和倫理準則。這一過程旨在預防法律和合規風險，確立合法的項目設計和實施框架，增強各利益方的信任。同時，企業應制定合規策略和控制措施，保障項目持續遵循規定，為項目的順利進行和成功交付奠定基礎。當企業考慮與第三

73、方合作人工智能項目時，需要對其資質、信譽和技術能力進行嚴格評估和審查，并簽訂服務水平協議、合同等明確各自的責任和義務。同時，企業還需建立一套有效的監督機制，確保第三方服務提供商的行為符合企業的風險管理政策和標準。高質量數據集的構建是保障可信人工智能準確性、公平性的基礎。企業需確保數據的合法合規采集、數據源的可信度和透明度以及數據集的多樣性和代表性；同時，還應開展數據清洗、預處理和標注工作，輔以機器/人工審核和校對，提升后續模型訓練的效率。在進行數據集管理時，企業應詳細記錄數據的來源、構成情況以及預處理操作，并進行文檔化記錄，確保數據的可追溯性和透明度。為提高模型的時效性和預測能力，企業還應加強

74、數據集的可擴展性和可維護性，定期更新數據集的同時完善數據集的版本控制。此外，數據安全與隱私保護是數據集管理的另一核心，企業需通過加密和訪問控制等措施來保護數據，并定期開展合規性與倫理審查。5.2.2 敏捷管理模式敏捷管理模式強調快速響應和持續改進，風險治理需與這一理念相匹配，確保在整個生命周期中，風險得到及時識別、評估和控制。首先，在進行模型選擇時，需要評估不同模型的理論基礎、性能指標和適用性，選擇在準確性、泛化能力、魯棒性、可追溯性和可解釋性方面表現最佳的模型。同時，考慮到潛在的風險，如數據偏見、模型復雜性和對抗性攻擊等脆弱性，要選擇在源頭上最小化這些風險的模型。此外，模型選擇還應考慮合規性

75、和倫理性，確保所選模型符合法律法規和行業標準，且避免對特定群體產生不公平的影響。對于訓練、優化模型所使用的算法，企業需要深入理解它們的優缺點和適用場景以選擇最佳方案。在此基礎上，設計算法原型并進行初步測試，以評估算法在實際應用中的可行性和性能。同時，要在算法開發的早期階段就進行機制機理的審核，確保算法的目的、采用的技術、干預的方式等均符合預期目標和倫理標準。在模型訓練階段，有效的模型訓練管理確保了可信人工智能治理 白皮書第五章 人工智能風險治理20人工智能模型的高效開發和性能優化。這一過程包括資源合理分配、自動化超參數調優、實施訓練指標監控等，并采取正則化和數據增強策略防止過擬合。同時，維護數

76、據質量、實施版本控制、保存模型狀態、記錄詳細日志，以及確保訓練過程的安全性，都是提升模型可復現性、可追蹤性和透明度的基礎措施。在人工智能模型部署前進行測試是確保其安全性和可靠性的一項關鍵措施。通過功能、性能、安全性測試和合規性檢查，可以對模型的準確性、穩定性、透明度、可解釋性、隱私保護和公平性開展綜合評估。其目的在于發現并修復模型中的漏洞，保證其在面對各種可能的攻擊和濫用時的魯棒性。同時，制定靈活的部署策略至關重要?？梢酝ㄟ^模塊化部署等方式確保模型與現有系統的兼容性。通常建議企業實施隔離部署，將人工智能系統或關鍵組件部署在隔離環境中，以控制交互風險。此外，通過自動化監控和彈性擴展機制動態調整資

77、源，可以應對用戶和數據量的增長，保障模型性能和系統穩定性。企業應及時收集和分析用戶的反饋信息，并根據反饋內容對模型進行敏捷迭代和優化，使其更符合用戶需求和市場變化；同時，定期使用新數據對模型進行重新訓練，以適應業務需求變化，確保系統的穩健運行。在迭代過程中，企業應考慮對模型變更的全面控制，從變更請求的提出到審批、實施、測試，直至最終部署。迭代管理流程要求所有變更活動都必須經過嚴格的審批，以確保變更的必要性和合理性。同時，它還包括對變更影響的評估，確保變更不會對現有系統造成不利影響，減少因變更引入的風險。若模型不再使用，企業需確保人工智能系統安全、合規地結束生命周期。這包括數據和模型存檔、法律合

78、規性審查、數據保護措施、技術債務清理，以及及時通知用戶和利益相關方等。這些措施應保障模型退役的有序性，最小化對業務的影響，維護企業責任和聲譽。5.2.3 審慎評估及監控審慎評估及監控能夠使企業及時發現人工智能系統使用過程中的潛在風險并加以應對，保護企業和用戶的利益，同時促進人工智能技術的健康發展。企業應定期開展模型風險評估，并進行模型風險的分類與分級，識別不同風險類型，根據其潛在影響的嚴重性和發生概率進行分級。在綜合性的模型風險評估后，要在模型訓練階段緩解潛在的風險，并在部署前完成模型核驗。為提高模型的可靠性和用戶的滿意度，必要時可依賴第三方機構開展風險評估和核驗工作。此外，企業可依據風險評估

79、結果對不同人工智能模型進行分級管理，確保高風險模型受到更嚴格的監控和控制，而低風險模型則可以采取相對寬松的管理措施。通過這種基于風險的分級管理，企業可以更有效地分配資源，優化風險控制策略。企業還應建立全面的監控體系，實時監測人工智能模型狀態，并通過日志分析快速定位問題和風險點，以及時發現并修復模型中的缺陷或優化模型的性能和效率。同時，加強輸入驗證和輸出管控，使用自動化測試和人工審核相結合的方式對數據的真實性、完整性和準確性進行嚴格檢查。其中，輸入驗證既能避免使用者輸入敏感數據，也能預防提示詞注入等攻擊；而輸出管控核心在于關注模型結果是否符合預期標準，同時監控訓練數據的泄露情況。通過建立追溯機制

80、和審計機制，確保模型接收正確數據、輸出有效內容。在依賴關系評估方面，企業需要識別和理解模型與其他系統組件之間的相互依賴性，徹底審查模型在生產環境中的使用情況，包括它所服務的應用程序、工作流以及與哪些數據源和下游系統相連接?？尚湃斯ぶ悄苤卫?白皮書第五章 人工智能風險治理21通過這種評估，可以確定模型變更或退役可能對業務流程、用戶體驗或數據完整性造成的潛在影響，使所有相關方都意識到即將發生的變更，并采取相應的預防和應對措施。此外，企業還應建立應急響應機制，針對人工智能系統相關突發事件的預防和準備，如數據泄露、系統故障等。企業應制定應急預案，以便在發生風險事件時能夠迅速作出反應，并定期對應急預案進

81、行檢查和更新，確保其始終保持有效性。人員相關風險治理關注的是確保人工智能系統的開發者、使用者和監管者具備足夠的知識和能力來理解、管理和監督人工智能系統。這包括對人員進行適當的培訓、教育和認證，以及建立有效的監督和問責機制。對企業內部員工進行人工智能倫理和風險意識的培訓，可以培養他們在日常工作中主動識別和防范潛在風險的能力。培訓內容通常包括數據隱私保護、算法公平性、安全合規等關鍵議題。此外，還應開展人工智能使用技巧培訓，宣貫使用過程中的注意事項，提高團隊的適應性的同時避免員工對人工智能系統的濫用。為確保員工在使用人工智能時的行為得到有效監督和問責，企業應確立明確的 AI 使用政策和指導原則，這些

82、原則需要明確界定員工的責任和行為標準。同時，企業需要部署監控系統來跟蹤員工對 AI系統的操作，利用日志管理工具記錄關鍵活動，以便在需要時進行行為分析和異常檢測。所有操作都5.3 人員風險治理應有詳細記錄，確?？勺匪菪?，為審查和問責提供依據。企業還應考慮建立一個安全、匿名的報告機制，鼓勵員工報告任何不當行為或安全問題，并確保這些問題得到迅速公正地處理。此外，企業需要向員工強調人工智能使用過程中的知識保留。這包括捕捉和保存與模型相關的技術和業務知識，詳細記錄模型的開發背景、功能、性能、使用案例以及任何相關的業務邏輯和決策過程。通過文檔化這些信息，企業可以為未來可能的模型重建或優化提供參考。知識保留

83、還涉及對團隊成員經驗和見解的收集，以及對模型在生產中表現的評估和總結。這有助于新團隊成員的學習，以及在類似項目中避免重復過去的錯誤。最后，通過跨部門的協作，網絡安全、人力資源、法務和 IT 等部門應共同參與到人員風險治理中，形成一個全面的治理體系，以維護人工智能使用的安全性和合規性?？尚湃斯ぶ悄苤卫?白皮書第五章 人工智能風險治理22企業 AI 治理進階工具第六章6.1.1 ISO 42001 的意義與價值ISO/IEC 42001:2023人工智能管理體系（AIMS）標準由國際標準化組織（ISO）和國際電工委員會（IEC）合作開發，并于 2023 年正式發布，是世界上第一個人工智能管理體系標

84、準。該標準旨在為組織提供 AI 治理的框架，以負責任和有效地管理其人工智能技術。該標準框架不僅覆蓋了AI的研發、部署、運營及監控等各個環節，而且重視組織文化、組織能力及組織治理在 AI 管理中的核心作用。多體系標準融合實戰ISO 42001 以 ISO 22989 為基石，沿用了以往ISO標準中相關核心概念以及AI系統生命周期模型，進一步為組織提供建立、實施、維護和持續改進人工智能管理體系（AIMS）的指導。同時 ISO 42001在管理方法上借鑒了 ISO 9001、ISO 27001、ISO 27701 的一些原則，組織可以根據自身的需求和業務特點，同時采用這些標準來提升其信息安全管理、隱

85、私保護以及人工智能管理的能力，實現多體系融合治理。此前的人工智能標準包括：ISO/IEC 22989:2022 人工智能概念與術語 ISO/IEC 23053:2022 使用機器學習的人工智6.1 AI 治理國際標準PART除了了解人工智能相關風險和管理思路，如何將 AI 治理工作體系化，通過科學的方式管理AI風險，對標法律法規及行業標準設計落實管控措施，持續監控和改進AI治理體系，并獲得外部專業機構的認證，對于企業來說尤為重要。通過體系化建設，企業不僅能夠充分利用 AI 技術的潛力，還能夠負責任地管理其帶來的挑戰和機遇。06能系統框架 ISO/IEC 38507:2022 組織使用人工智能的

86、治理影響 ISO/IEC 23894:2023AI 風險管理指南多國 AI 法律符合性ISO 42001 是一部兼顧不同國家地區有關人工智能法規要求的標準，涵蓋了歐盟等多國家或地區人工智能監管在 AI 風險管理、主體權益保護、數據來源與質量、AI 倫理道德等方面的要求。ISO 42001也是目前業內公認最具權威性的人工智能體系建設指導標準，獲得 ISO 42001 認證是企業對于歐盟人工智能法案等 AI 法律標準合規性的重要參考。強化 AI 治理能力，傳遞企業信任根據 ISO 42001 建立人工智能管理體系，可有效控制和管理人工智能風險，系統化實施 AI 管理控制措施，降低 AI 法律合規和

87、倫理風險。通過持續優化覆蓋研發、部署、運營及監控等環節 AI 治理體系，提升 AI 產品在風險管理、主體權益、數據保護、基礎安全等方面的能力。獲得 ISO 42001 認證能證明組織的 AI 治理能力與 AI 產品可信，維護企業聲譽和品牌形象?？尚湃斯ぶ悄苤卫?白皮書第六章 企業 AI 治理進階工具236.1.2 ISO 42001 內容簡介圖 8 ISO/IEC 42001 人工智能管理體系（AIMS）標準框架ISO 42001由正文和四個附錄組成，其中正文部分共10個章節，詳細規定了組織通過PDCA模型建立、實施、維護和持續改進 AI 管理體系的要求。正文還強調了組織應理解其內外部環境，明

88、確其在 AI 領域的角色和責任，并基于此制定相應的 AI 管理策略和目標。此外，正文中還包含了對 AI 風險的評估、處置和系統影響評估的要求，旨在幫助組織識別和管理與 AI 相關的潛在風險，確保 AI 系統的開發和使用能夠符合倫理和法律要求。ISO 42001 附錄中描述了 AI 管理體系的 9 個控制域、11 個組織控制目標、39 個控制項，及對應的控制措施和實施指南，供企業在建立和運行 AI 管理體系時參考，幫助組織滿足管理目標，控制與 AI 系統設計和使用相關的風險；同時，介紹了一系列可能與 AI 相關的組織目標和風險源，幫助組織識別和管理與 AI 系統開發和使用相關的潛在風險和機會。附

89、錄也強調了 AI 管理系統集成到更廣泛的組織管理系統中的重要性，提供了與ISO 27001 信息安全管理體系、ISO 27701 隱私信息管理體系、ISO 9000 質量管理體系等其他管理領域標準結合使用的指導，以確保組織在多個管理維度上的一致性和整體性。通過這些規定和指導，ISO 42001 標準能幫助組織負責任地實施 AI 技術，同時確保符合法律法規要求，滿足利益相關方的期望，并促進組織的戰略目標。對于企業來說，AIMS建設既能幫助企業滿足監管合規要求，也能強化自身AI治理能力，增強客戶信任。然而，對于很多企業來說，“從 0 到 1”一步到位建設 AIMS 難度大、成本高、耗時長。大多企業

90、 AI 治理基礎相對薄弱，不具備相對完善的風險管理、系統開發生命周期、信息安全、數據安全、隱私合規等管理框架作為 AI 治理基礎，相關組織結構和人員也存在不足，難以“一步到位”完成 AIMS 體系建立和運行。相比“一步到位”的體系建設，與企業發展需求相適應的“分階段”治理道路更具優勢。6.2.1 可信 AI 治理等級標識“可信 AI 治理等級標識”標準對標融合國內外主流的人工智能法規和標準要求，包括 ISO/IEC 42001-2023 人工智能管理體系、歐盟人工智能法案、中國人工智能相關管理辦法等，形成三個等級標準（基礎級、提高級、體系級），共計41個控制項。企業可根據其AI系統的風險等級、

91、產品類型、企業AI角色（AI提供者、AI部署者）等要求，選擇適合自身的可信 AI 治理等級目標。6.2 AI 治理可信等級管理可信人工智能治理 白皮書第六章 企業 AI 治理進階工具24 I 級-綠色徽章（基礎級）基礎級對應的控制項和控制要求為國內外主流人工智能法規和標準要求中通用的、共有的、基礎的 AI 管理要求?；A級要求適用于所有 AI 角色，通過基礎級評估可獲得綠色徽章和證書。II 級-藍色徽章（提高級）對于風險等級為中、高的 AI 系統，可進一步進行“可信AI治理等級標識”提高級的建設和認證工作。II 級標準對 AI 提供者和 AI 部署者有不同的控制要求，企業可根據要求遵守不同的能

92、力提升路徑。通過提高級評估可獲得藍色徽章和證書。III 級-黑色徽章（體系級）對于風險等級為高的 AI 系統，可進一步進行“可信 AI 治理等級標識”體系級的建設和認證工作，以期滿足 ISO 42001 的全部控制項要求。III 級標準要求主要源自 ISO 42001 的正文部分，幫助企業體系化運行 AI 治理體系。通過體系級評估可獲得黑色徽章和證書，并獲得 ISO 42001 的認證證書。6.2.2 可信 AI 治理等級標識服務安永提供可信 AI 治理等級標識咨詢服務，幫助企業進行可信 AI 治理建設，而后將會引入權威的國際認證機構 DNV 進行等級審核，根據評測的等級頒發可信 AI 治理等

93、級標識，為企業的 AI 可信提供市場背書?？尚?AI 治理等級標識具有如下特色：廣泛的合規適應性可信 AI 治理等級評估框架融合了國內外主流的人工智能法規和標準要求，包括 ISO/IEC 42001-2023 人工智能管理體系、歐盟人工智能法案、中國人工智能相關管理辦法、標準（生成式人工智能服務管理暫行辦法互聯網信息服務算法推薦管理規定互聯網信息服務深度合成管理規定以及算法模型備案要求），具備廣泛的合規適應性，為 AI 企業和產品出海奠定了扎實的合規基石。權威的風險治理框架AI 治理和風險管理基于安永和 DNV 兩家全球性專業機構的方法，根據企業是否為 AI 提供者、部署者等角色、AI 產品類

94、型等要素，可以直接匹配適用的人工智能治理要求，按照不同的風險控制項進行評測，更能體現 AI 生態中不同環節的風險特性。階梯式等級劃分不同的 AI 角色和不同風險等級的 AI 產品需承擔不同程度的合規風險管理責任?！翱尚?AI 治理等級標識”服務將人工智能管理體系要求劃分為三個級別，更好地滿足不同程度的 AI 風險管理需求，也為企業鋪設了一條“由基礎逐步邁向進階”的可信 AI 建設道路?！霸u估+背書”雙重價值評估覆蓋 AI 產品及 AI 企業總體治理水平，深入業務邏輯、訓練數據、算法模型以及基礎安全多個方面，幫助企業評估 AI 產品整體風險、提升整體治理水平；通過評估后，由國際權威認證機構 DN

95、V頒發“可信 AI 治理等級標識”，為企業帶來“評估+背書”雙重價值加持。6.2.3 可信 AI 治理重點領域解析AI 系統影響評估AI 系統影響評估是指一種正式的、有文檔記錄的過程，通過這個過程，組織識別、評估并解決其在開發、提供或使用利用人工智能的產品或服務時個人、群體以及社會的影響。在 ISO 42001 中，6.1.4、8.4 及 A.5 專 門 提出了關于 AI 系統影響評估的規定和控制要求。ISO 42001 要求組織應定義一個流程，用以評估由人工智能系統的開發、提供或使用可能對個人、群體以及社會帶來的潛在后果；同時，人工智能系統影響評估的結果應記錄在案。除了 ISO 42001

96、外，歐盟人工智能法案第 27 條同樣對影響評估提出要求，其規定高風險人工智能系統提供服務之前，部署者應評估使用該系統可能對基本權利產生的影響，并將評估結果通知市場監督管理機關。因此，AI 系統影響評估是可信 AI 治理的一個可信人工智能治理 白皮書第六章 企業 AI 治理進階工具25重點工作。安永根據相關要求及行業經驗，形成了AI 系統影響評估方法論。首先，企業應識別 AI 相關資產，包括基礎設施、應用、算法模型、軟件框架、數據集等，并根據適用的法律法規、標準和行業實踐形成評估指標體系。其次，企業應識別 AI 相關的風險，風險源包括但不限于透明度、可解釋性、公平性、魯棒性、機器學習相關風險、A

97、I系統硬件問題、AI 系統生命周期管理、訓練數據、隱私保護、人身安全等。然后，企業應分析相關風險的影響，包括對個人的影響（如個人權利、身心安全等）、對群體的影響（如群體歧視）、對社會的影響（如教育公平）及對組織自身的影響（如財務損失、聲譽等）。隨后，評估風險發生的可能性和影響程度，綜合得出 AI 風險等級。最后，確定風險責任方，制定風險處置策略和計劃，并開展相關整改。AI 管理責任共擔AI管理責任共擔模型是指在使用人工智能（AI）技術時，不同參與方（如 AI 服務提供者和部署者）共同承擔相應的責任。這個模型強調了在 AI 系統的開發、部署和使用過程中，各方需要明確自己的責任范圍，并采取相應的措

98、施來確保系統的安全、合規和倫理性。在 ISO 42001 中，“A.10.2 責任分配”控制項要求組織應確保在其人工智能系統生命周期內，在組織、其合作伙伴、供應商、客戶和第三方之間進行責任分配。同時，歐盟人工智能法案第 28 條 人工智能價值鏈上的責任，規定了在特定場景下任何分銷者、進口者、部署者或其他第三方均應視為高風險人工智能系統的提供者，均應承擔第 16 條規定的提供者義務。故組織應確定自身及相關方的 AI 角色，明確自身及相關方的責任和義務，確保履行對應的安全、合規、倫理義務。在不同的服務模型中，責任共擔的劃分可能會有所不同。例如，在基礎設施即服務（IaaS）模式中，服務提供商負責物理

99、和虛擬架構的安全，而用戶則負責其上部署的應用程序和數據的安全。在平臺即服務（PaaS）模式中，服務提供商可能提供預訓練模型和基礎架構，而用戶負責模型的特定訓練和數據的安全。在軟件即服務（SaaS）模式中，服務提供商通常承擔更多的責任，包括應用程序的安全性和知識產權保護，而用戶則負責使用這些服務時的數據安全和合規性。下圖為微軟 AI 責任共擔模型5，可有助于劃分和明確各自的職責。這同樣能使得企業能夠以更快的速度創建和部署較新的 AI 應用，同時保持安全與合規。圖 9 AI 管理責任共擔模型可信人工智能治理 白皮書第六章 企業 AI 治理進階工具26 制度體系AI 治理體系的建設與運行離不開 AI

100、 管理制度和流程。ISO 42001 的 5.2 和 A.2.2 均規定組織應制定 AI 制度和文檔。同樣，歐盟人工智能法案第 17 條 質量管理系統規定，高風險人工智能系統的提供者應建立質量管理體系，該體系應以書面政策、程序和指令的形式加以記錄，該體系應涵蓋合規策略、AI 系統設計和驗證程序、AI 系統開發和質量保證程序、檢查和測試程序、數據管理程序、風險管理程序、事件報送程序、資源管理程序、問責程序等，并應將該質量管理體系文件在人工智能系統投放市場或提供服務后的 10 年內留存。除此之外，國內互聯網信息服務算法推薦管理規定第七條及互聯網信息服務深度合成管理規定第七條均提出了 AI 相關管理

101、制度建設要求。安永根據國內外法律法規、標準的要求，總結出 AI 治理制度體系基本要素，包括但不限于 AI 管理政策、AI 資產和資源管理制度、AI 系統影響評估制度、AI 系統開發制度、AI 算法機制機理審核制度、AI 算法檢測制度、AI 系統安全事件應急制度、AI 算法違法違規處置制度、數據安全和個人信息保護制度、用戶權益保護制度、AI分類分級管理制度、知識產權保護制度等?？尚湃斯ぶ悄苤卫?白皮書第六章 企業 AI 治理進階工具27行業洞察與 AI 治理情況調研第七章人工智能技術的快速發展和應用，為汽車行業注入了新的活力。實現了從“軟件定義汽車”到“人工智能定義汽車”的新發展，實現了從輔助駕

102、駛向更高級別的智能輔助駕駛演進，實現了更智慧的人機互聯的駕駛體驗，同時也正為汽車行業塑造著新的競爭格局和技術發展極。7.1.1 汽車行業人工智能技術的應用眾多車企積極擁抱人工智能技術，并將人工智能技術運用于車輛研發、智能工廠、市場營銷、用戶服務等多個方面。在車輛研發方面，車企通過人工智能算法對車輛的空氣動力學進行優化，計算出風阻最小的車身設計方案；此外，借助人工智能模型對不同路況的電池數據、里程數據、操控數據等進行分析，以評估車輛在不同情況下的表現，為電池研發提供指導。在智能工廠方面，車企通過人工智能系統對機械機器人、自動化設備、看板等進行控制和調度，實現生產線的高效運行；并利用人工智能圖像識

103、別技術對車輛零部件和整車進行質量檢測，識別出車身凹陷、涂裝不均勻等瑕疵產品。在市場營銷方面，車企利用生成式人工智能可以生成個性化的廣告文案、視頻腳本等內容，為數7.1 汽車行業調研PART為了更好地了解人工智能在各行業應用情況和各行業的可信人工智能治理發展，進一步探索符合中國國情的人工智能發展路徑、現狀、挑戰與風險管理體系，安永于 2024年 6 月發起了覆蓋多個行業的可信人工智能治理情況調研，旨在透過行業現狀捕捉共性問題，聚焦企業應集中精力應對的人工智能治理難題。我們的調研覆蓋信息通信、高科技制造、汽車、能源、金融、房地產、醫藥、零售、倉儲物流、文化教育、現代服務業等多個行業的上百家企業，并

104、將具有人工智能應用代表性的行業現狀進行了整理，凸顯垂直領域的可信人工智能治理問題07字化營銷渠道、經銷商營銷渠道等定制不同的營銷內容。在用戶服務方面，人工智能技術在汽車的智能輔助駕駛系統中發揮著重要作用，為車主提供自動泊車、智慧燈光、自適應巡航、車道偏離預警等服務；此外，通過人工智能等數字技術為車主的車輛提供進行遠程診斷、故障監測等健康體檢服務，在售后維修時還可通過“透明車間”服務實時跟蹤車輛維修進度。7.1.2 汽車行業對人工智能技術應用的普遍認知汽車行業對人工智能技術應用秉持積極而審慎的觀念，認為人工智能技術將成為各家車企搶占的新高地。車企在應用人工智能技術，最看重的因素是技術應用與實際收

105、益之間的投入產出比；根據調研情況，在過去十二個月中在生產和營銷方面的人工智能技術應用投入較高，認為人工智能技術對業可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研28務發展帶來了正向的影響，有利于提升企業的競爭力。同時，目前各個業務部門對人工智能的認知程度存在一定的差異，主要對技術成熟度、場景精準度、投入產出比、風險可控等方面存在一定的不同認識。7.1.3 汽車行業人工智能技術應用的挑戰車企對人工智能技術的應用受政策和法律環境、技術與產品屬性、消費者文化習慣、環境路況等多種因素影響；其影響具體體現在業務戰略、數據管理、數據安全與隱私保護、倫理等方面。在業務戰略方面，其外部受人工智

106、能的多種因素影響，內部各業務部門存在不同認識，可能在制定業務戰略時無法充分發揮人工智能技術的優勢以及難以預測人工智能的應用方向。在數據管理方面，人工智能技術依賴于對數據的分析處理，汽車搭載多種傳感器、攝像頭等設備收集海量數據，受到相關設備技術、行車環境等影響，其數據可能存在噪聲、誤差或缺失等問題；此外，對海量數據統一標注規則也極為重要，將直接影響人工智能模型訓練效果。在數據安全與隱私方面，隨著網絡與數據安全、個人信息、人工智能等政策法律文件的頒布，以及消費者個人信息保護意識的提升，車企需要將法定義務和保障消費者個人信息權益的工作融入需求設計、產品研發、用戶服務等業務活動中，若出現違法情形，可能

107、面臨行政罰款、民事侵權甚至刑事責任等法律風險。在倫理方面，人工智能技術的應用可能對社會公平、勞動者就業、駕駛決策等方面帶來影響。醫藥行業，作為全球健康領域的核心，擔負著藥品和醫療設備的研發、生產、分銷及銷售等關鍵職能，對提升公共健康水平起著至關重要的作用。作為一個研發密集型行業，醫藥行業積極擁抱基因療法等創新技術，以推動治療手段的革新。盡管面臨高風險且受到嚴格的法規監管，成功研發的新藥能帶來顯著的經濟回報，使其成為一個對社會貢獻巨大的行業。人工智能技術的引入正在徹底革新傳統的醫療模式，為人類健康帶來更多可能性。綜上，人工智能技術對汽車行業的挑戰是現實存在的，需要從政策立法進行引導和規范，同時壓

108、實企業責任和保障消費者權益入手，實現人工智能技術在汽車行業向善發展。7.1.4 汽車行業人工智能管理體系的搭建與運營人工智能技術在汽車行業的應用愈發成熟，與之同步的人工智能管理體系進入探索階段。多家車企已經根據 ISO 42001、歐盟人工智能法案以及我國發布的關于人工智能服務安全、數據標注安全等標準，從人員組織、制度流程、技術開發等方面逐步開展人工智能管理體系的搭建與運營工作。在人員組織方面，部分車企成立人工智能倫理委員會等類似虛擬機構，成員包括技術專家、法律專家、安全專家、倫理學家等，負責審查相關汽車產品在人工智能技術應用方面的倫理道德、法律合規、系統安全等問題。在制度流程方面，眾多車企確

109、立了“以人為本”“保護隱私”“安全可靠”等原則，并將原則補充在現有制度規范、實施流程、技術文檔等文件中；某合資車企已經建立了人工智能研發和應用管理制度，從數據來源、數據標注、模型訓練、內容安全、功能測試等環節進行管理和監督。在技術應用方面，在智能座艙、智能語言、智能輔助駕駛等人工智能應用場景中進行針對性的管理工作，具體體現在提高算法的公開透明、增強模式的可靠安全、提供人類監督和干預路徑等方面，并對以上內容進行安全評估。7.2 醫藥行業調研可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研297.2.1 醫藥行業人工智能技術的應用醫藥企業對人工智能技術持積極態度，并期待其帶來的變革。

110、隨著數據科學和機器學習技術的成熟，醫藥企業已逐漸認識到人工智能在提高研發效率、優化臨床試驗、個性化治療、疾病預測和患者監護等方面的巨大潛力。在藥物研發領域，人工智能的應用主要集中在預測分子結構、篩選潛在藥物、優化臨床試驗設計等方面。通過機器學習算法，人工智能技術能夠分析大量的化合物數據，預測其生物活性，從而加速新藥的發現過程。這不僅提高了研發效率，還降低了研發成本，使得新藥更快地進入市場，惠及患者。精準醫療是人工智能技術應用的另一個重要領域。通過分析患者的遺傳信息、生活方式和環境因素，人工智能技術可以幫助醫生為患者提供個性化的治療方案。這種個性化的治療方法能夠更精確地針對患者的具體狀況，提高治

111、療效果，減少不必要的副作用。精準醫療的實現，標志著醫療模式從“一刀切”向“量體裁衣”的轉變。在醫療影像領域，人工智能技術已經被用于輔助診斷，如通過深度學習算法分析 X 光片、CT 掃描和 MRI 圖像，以識別腫瘤、骨折等病變。人工智能的高準確率和快速響應能力，極大地提高了診斷的效率和準確性，幫助醫生更快地做出治療決策。此外，人工智能在患者監護方面也發揮著重要作用。它們可以實時監控患者的生命體征，預測病情變化，及時提醒醫護人員采取必要的干預措施。這種智能化的監護不僅提高了護理質量，還減輕了醫護人員的工作負擔。7.2.2 醫藥行業對人工智能技術應用的普遍認知醫藥行業引入可信人工智能至關重要，主要因

112、為人工智能能提高診斷的準確性和醫療流程的效率，同時促進個性化醫療和加速藥物研發。人工智能在改善患者監護和支持臨床決策方面也發揮著重要作用，有助于確?；颊甙踩吞嵘t療服務質量。它還能幫助應對醫療領域的復雜性和不確定性，優化醫療資源分配，并支持公共衛生監控?？尚湃斯ぶ悄芟到y的持續學習能力使其能夠不斷從新數據中學習，改進性能。醫藥行業在人工智能技術的選擇上，既包括本土化工具，也包括海外引進的技術。本土企業開發的人工智能技術和平臺在藥物研發、醫療影像分析、電子健康記錄分析等方面得到廣泛應用。同時，醫藥企業也與國際領先的人工智能研究機構和企業合作，引進和學習海外先進的人工智能技術。從模型角度分析，人工

113、智能的應用正通過一系列先進的模型，推動著從藥物研發到臨床決策、患者監護和醫療數據分析的各個方面的革新。監督學習模型通過分析標記數據來預測藥物分子的活性或進行疾病診斷，無監督學習模型則用于探索數據中的內在結構和模式，這對于發現新的生物標記物和疾病亞型至關重要。神經網絡（NN）模型，在圖像識別和序列數據分析中發揮關鍵作用。自然語言處理（NLP）模型能夠理解和處理自然語言，被用于分析醫療文獻、電子健康記錄和患者反饋，以提取有價值的信息，這對于臨床決策支持和患者教育非常有價值。7.2.3 醫藥行業人工智能技術應用的挑戰盡管人工智能技術在醫藥行業的應用帶來了顯著的益處，但也面臨著數據隱私、算法透明度、法

114、規遵從和兼容性等挑戰?；颊叩慕】禂祿ǔ０舾行畔?，如何在人工智能系統處理這些數據時確保數據隱私和安全是一個重要問題。例如，未經加密的醫療數據一旦遭受黑客攻擊，就可能導致患者信息泄露，給患者帶來隱私侵犯甚至經濟損失。其次，人工智能算法可能會因為訓練數據的不均衡或算法設計不當而產生偏見，導致對某些群體可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研30的不公平。例如，如果一個人工智能輔助診斷系統在訓練時主要使用了某一人群的數據，可能在診斷其他人群時表現不佳，從而影響診斷的準確性和公平性。此外，人工智能系統可能會因為技術限制或操作失誤而導致錯誤的醫療決策，這使得責任歸屬復雜。例如，

115、如果一個人工智能系統錯誤預測患者疾病風險可能導致不必要的治療，不僅增加了患者的身體和經濟負擔，還可能導致醫療資源的浪費。過度依賴人工智能技術可能導致醫護人員的技能退化，而人工智能系統的誤操作或錯誤解讀也可能導致醫療事故。最后，醫藥行業作為一個強監管行業，受到嚴格的法規監管，人工智能技術的應用需要符合相關法規和倫理標準。例如，人工智能在基因編輯中的應用可能會引發倫理爭議，需要我們在推進技術應用的同時，充分考慮倫理和社會影響。7.2.4 醫藥行業人工智能管理體系的搭建與運營在醫藥行業，人工智能技術的廣泛應用正引領一場深刻的變革。為了確保這場變革能夠安全、合規、高效且符合倫理地進行，越來越多的藥企開

116、始設立7.3.1 零售行業人工智能技術的應用零售行業對人工智能技術的應用大多處于初步到中期階段，涉及人工智能技術規劃、治理、訓練數據準備、人工智能技術與基礎設施配置、測試用例選擇與優化。技術的深度應用通常集中在大型跨國企業，而中小型企業則還處于探索和試點階段。當前，人工智能技術主要用于以下業務場景：一是研發設計，用于數據分析與處理、內容創作等；二是生產制造，用于設備運維、自動化重復性任務、快消零售行業主要指包括食品、飲料、日用化學品、化妝品在內的使用周期短、銷售速度快的消費品。這類產品生命周期短、更新快，且消費需求巨大，導致了快消行業企業競爭激烈，需要在生產、營銷、供應鏈管理等方面保持高效運轉

117、。專門的人工智能治理人員或團隊。人工智能治理人員在藥企中負責確保人工智能技術的安全、合規、有效和倫理應用。他們制定和維護人工智能政策，評估風險，監督合規性，并管理數據。他們還參與倫理審查，跨部門協調，并組織培訓以提升對人工智能治理的認識。此外，他們監督人工智能的效果，處理危機，并參與行業合作。這些人員需要跨學科知識，包括計算機科學、醫藥學、法律和倫理學，以及溝通和風險管理能力。隨著人工智能在醫藥行業的應用不斷加深，人工智能治理人員的作用愈加關鍵。藥企人工智能治理人員在制定人工智能相關制度時，通常綜合參考國內外的個人智能相關法律法規和標準，如歐盟人工智能法草案、GDPR、美國NIST 的人工智能

118、風險管理框架、ISO/IEC 42001、ISO/IEC 22989 和 ISO/IEC 23894 等海外對人工智能治理方面的要求。在中國，藥企還需遵守數據安全法、個人信息保護法、GB/T 42888 等外規要求。這些法律為人工智能應用的數據安全、隱私保護、透明性、數據使用規則、技術和倫理要求等方面提供了指導。7.3 零售行業調研供應鏈管理等；三是經營管理，用于提升辦公效率、增強網絡安全防護、改進決策制定等；四是客戶服務，用于聊天機器人、自動化客戶服務、產品推薦與個性化等。常用的人工智能工具或模型包括 Microsoft CoPilot、微軟認知工具包（CNTK）等。部分海外人工智能工具在某

119、些地區可能存在使用限制。在這種情況下，企業通常會根據本土化工具或模型的能力，來選擇本土人工智能服務，確保技術應用的連續性可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研31和合規性。7.3.2 零售行業對人工智能技術應用的普遍認知整體來看，零售行業對人工智能技術的應用呈現出較強的興趣，普遍認為有助于提升企業競爭力。企業在應用人工智能時，首先看重的因素是性能指標，包括技術穩定性、可靠性、準確性、可集成性、可擴展性等，其次是算法的透明度和可解釋性，而后考慮成本效益、處理數據時的安全性、解決隱私保護和公平性等倫理性問題以及知識產權問題等。對于中小企業而言，成本效益則成為優先考慮的因素。

120、根據調研，大型企業認為過去 12 個月的人工智能技術應用投入無法滿足業務實際需求，而中小型企業則能基本滿足需求。關于應用人工智能技術對業務流程的改進成效，企業的反饋大多是積極的，但也存在部分企業成效不高的反饋，例如奢侈品企業，這可能歸因于企業自身主營業務對 AI 的依賴性不強。目前，人工智能技術在零售行業的普及程度比較廣泛，整體普及率仍處于上升階段。7.3.3 零售行業人工智能技術應用的挑戰人工智能技術應用的過程中，企業可能面臨來自技術基礎、數據管理、數據安全和隱私保護、倫理方面以及在與長期業務戰略融合方面的復雜挑戰。在技術基礎方面，算法復雜、人工智能與現有業務流程集成性低等技術障礙是首要挑戰

121、。AI 技術應用的前提是與企業現有系統和流程進行整合，但有些企業的 IT 基礎設施不夠靈活，導致難以與新技術無縫銜接；加上供應鏈、營銷和銷售等環節業務流程復雜，需要具備較強的 AI 建模和算法能力，才能提供有效的解決方案。在數據管理方面，零售企業在數據清洗和預處理復雜、數據使用合規和生成內容安全方面存在困難。零售企業通常掌握來自供應鏈、銷售、市場營銷、客戶反饋等多元渠道的龐大、分散的數據源，數據難免存在缺乏精準性、未經清洗或存在不完整、重復的問題，從而影響AI預測準確性。在數據使用的合規性和生成內容的安全性方面也存在風險和隱患。在數據安全和隱私保護方面，由于數據量持續增加，數據泄露風險相應提高

122、，加上全球各地數據保護法規不斷變化，全球監管環境趨嚴，企業將面臨數據安全和隱私保護方面的巨大合規挑戰。在保護個人隱私的同時，企業還需要對數據進行從收集到銷毀的全生命周期保護，并確保數據的可用性。企業在進行跨國業務運營時，數據出境規制也成為一項重要挑戰。在倫理方面，不同國家和地區對倫理的理解和標準不同，對人工智能與人類工作者之間關系的理解也存在差異。人工智能技術在設計和應用過程中可能加劇或產生偏見和歧視，影響社會公平和平等的實現。另外，算法決策過程過于復雜，導致難以向非技術用戶解釋其工作原理。如果 AI 系統出現失誤或問題，責任如何分擔也成為倫理問題的焦點。在長期業務戰略融合方面，企業面臨諸多宏

123、觀層面的難題。其一，技術快速迭代，從而導致研發困難、算力緊張等；其二，數據源不可靠和數據使用不合規可能會影響整個 AI 所參與業務的合規性；其三，人工智能相關的監管政策不斷調整，難以對其作出及時準確的適應性動作；其四，缺乏具備人工智能知識和技能的專業人才；其五，持續的成本投入是否能帶來預期的收益，成為管理者在長期業務戰略考慮的難題。7.3.4 零售行業人工智能管理體系的搭建和運營部分零售行業企業通常有專門的團隊參與治理工作，涉及團隊包括高級管理層或董事會、技術團隊、合規團隊(含隱私)和安全團隊。一些中小型零售企業暫時沒有負責人或團隊。為了保證 AI 的可信性和可持續發展，許多零售企業會參考國際

124、公認的標準和框架制定內部政策或指導原則，參考的文件包括歐盟人工智能法、GDPR、美國 NIST 的 AI 風險管理框架、ISO/IEC 42001、ISO/IEC 22989 和 ISO/IEC 23894 等國際相關標準，以及中國人工智能相關可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研32法規與標準，所制定的內部政策通常涵蓋 AI 應用的數據安全、隱私保護、透明性、數據使用規則、技術和倫理要求等。此外，企業還會面向全體員工開展可信人工智能方面的培訓。在 AI 項目的開發和實施過程中，企業通常會進行風險評估，以確保 AI 系統不會產生意外的偏見、隱私風險或技術故障。關注的評估

125、點包括性能指標、算法的透明度和可解釋性、倫理合規性、數據全生命周期的保護情況等。對于在評估過程中發現的風險，企業通常將其視為長期優先事項，并采取調整AI 算法、加強數據保護措施以及制定應急預案等積7.4.1 服務行業人工智能的應用隨著人工智能技術的迅猛發展，服務行業正經歷著一場前所未有的變革。服務行業作為經濟的重要組成部分，其核心在于提供無形的、以人為核心的價值。隨著人工智能技術的融入，服務行業在自動化和智能化處理、提升服務質量、優化客戶體驗、降低運營成本、提高運營效率等方面展現出巨大潛力。然而，技術的快速發展也帶來了治理上的挑戰，如何確保人工智能的可信性和可靠性成為行業關注的焦點。當前，服務

126、行業中的人工智能應用多集中在客戶服務自動化、個性化推薦、風險管理和欺詐檢測等領域。企業通過部署智能客服、分析客戶行為數據、利用預測模型來優化服務和產品。人力資源管理（HR）：人工智能在人力資源管服務行業涵蓋了人力資源、審計、咨詢和財務等多個領域，是現代經濟的重要組成部分。在服務行業中，人工智能的治理和發展正受到越來越多的關注。在全球范圍內，聯合國教科文組織發布人工智能倫理協議，各國都在推進人工智能治理領域的持續合作；中國國家主席習近平也提出了人工智能治理方案強調“以人為本、智能向善”，倡導在聯合國框架內加強人工智能規則治理，這為中國在人工智能領域的發展方向提供了明確的指導。與此同時，眾多企業也

127、積極響應國家政策，將人工智能技術應用于各自的服務領域，以實現技術創新和服務升級。這促使服務行業中的不同領域都在不斷尋求通過技術手段提高效率和準確性。極措施減少風險。對于無法完全消除的風險，企業可能采取緩解策略減少風險影響，如限制 AI 應用的范圍或增強人類監督?？傊?，在可信 AI 治理方面，零售企業建立了多項機制，包括 AI 管理制度、事件應急處理機制、建立投訴機制、明確組織和人員角色、訓練數據來源合規、訓練數據標注規范、數據質量保證、數據安全防護、個人信息保護、內容安全治理和模型安全保障等。針對人工智能技術的未來發展，企業建議加強技術研發、完善法律法規、提升公眾認知，并加強國際合作。7.4

128、服務行業調研理中的應用包括自動化招聘流程、員工培訓、績效評估和離職管理。人工智能系統被應用于企業人力資源管理，提供智能招聘、優化招聘流程，并提供客觀的員工績效評估和發展建議等功能。審計：在審計領域，人工智能幫助審計師更快地找到客戶財務存在的異常。人工智能技術被廣泛應用于頭部審計公司進行現金審計，自動化處理大量財務數據，識別異常交易和潛在風險，以提高審計效率和準確性。咨詢：咨詢行業通過人工智能的應用，可以進行市場映射和競爭者研究、M&A咨詢、數據分析等，可以基于此提供深入的市場洞察和戰略建議。此外，通過分析客戶反饋和行為數據，人工智能幫助企業優化客戶服務策略，提升客戶滿意度。財務：在財務領域，人

129、工智能的應用包括算法可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研33交易、自動化、合規、信用評分、成本降低、客戶服務、數據分析、欺詐檢測等。以上行業實踐表明，企業普遍重視人工智能技術的創新和應用，但在可信治理方面仍處于探索階段。人工智能在服務行業中的治理和發展是一個多方面的過程，涉及技術進步、倫理考量、法律合規和戰略規劃。隨著人工智能技術的不斷進步，這些行業需要不斷適應和更新其治理結構，以確保人工智能的負責任使用，并最大化其潛在價值。7.4.2 服務行業對人工智能技術應用的普遍認知目前，服務行業中的企業大多處于人工智能技術應用的初級到中級階段。雖然一些領先企業已經在特定業務場

130、景中實現了 AI 的深度應用，但整體上仍在探索和試驗階段。人工智能在服務行業的應用場景包括但不限于：人力資源管理中的自動化簡歷篩選、員工績效分析、員工培訓和發展規劃；審計工作中的自動化數據分析、異常檢測、合規檢查；財務管理工作中的財務預測、風險評估、自動化報表生成。行業普遍認為，人工智能是提升競爭力的關鍵因素。過去一年中，企業在人工智能技術上的投入顯著增加，這些投入主要用于技術研發、人才培養和系統部署。當前的全球經濟中，人工智能技術正逐漸成為推動服務業和其他行業數智化轉型的關鍵因素。大型跨國服務企業正通過數億美元的投資，積極開發和應用大語言模型等 AI 技術，以提升數據管理的效率和優化業務流程

131、這些投資不僅用于開發先進的 AI模型，還用于提高員工的人工智能技能，通過在線課程、研討會和工作坊等多種培訓形式，確保業務人員能夠利用人工智能為客戶提供更高標準的咨詢服務。此外，這些服務企業還致力于推動審計、稅務和咨詢服務的創新，通過整合 AI 技術和云服務，提供更靈活、可擴展的解決方案，以滿足客戶不斷變化的需求。這些舉措表明，人工智能技術的應用正成為服務業競爭力提升的重要途徑。隨著 AI 技術的不斷進步和應用的深入，預計未來幾年，人工智能將在服務業中扮演更加重要的角色，推動行業的數字化轉型和升級。7.4.3 服務行業人工智能技術應用的挑戰服務行業在采用人工智能技術時，面臨著一系列特有的挑戰，這

132、些挑戰覆蓋了技術、倫理、法律、社會和經濟等多個方面。技術層面上，服務行業需要將人工智能技術有效地整合到現有的工作流程中，并確保員工能夠適應這些變化，這可能涉及到對員工的重新培訓和工作流程的調整。在數據隱私和安全方面，服務行業必須在處理敏感客戶數據時遵守數據保護法規，并采取措施防止數據泄露和濫用。算法的透明度和可解釋性也是關鍵問題，因為缺乏透明度可能導致用戶信任度下降，所以需要提高算法的可解釋性，以確保決策過程的公正和透明。此外，人工智能系統在數據訓練和應用過程中可能產生的偏見問題也不容忽視，這可能會加劇社會不平等和歧視，因此需要確保人工智能系統的設計和應用不會帶來這些負面影響。法律和監管合規方

133、面，隨著人工智能技術的發展，現有的法律體系可能需要更新以適應新的挑戰，服務行業需要遵守不斷變化的法律法規，并推動制定適應 AI 時代的新規則。技能和人才發展也是服務行業面臨的重要挑戰，因為人工智能技術的應用要求員工具備新的技能和知識，這就需要對現有員工進行培訓和教育，并吸引新的技術人才。社會接受度和適應性也是服務行業在采用人工智能技術時需要考慮的問題，因為 AI 技術的廣泛應用可能會改變工作性質和就業結構。同時，AI 應用的環境影響和可持續性也是不容忽視的問題，服務行業需要評估和減少應用的環境足跡。最后，服務行業需要考慮技術的長期發展趨勢，并制定相應的戰略規劃，同時在全球性跨國界的合作和協調下

134、，參與國際標準的制定，以確保 AI 技術的全球兼容性可信人工智能治理 白皮書第七章 行業洞察與 AI 治理情況調研34和互操作性。這些挑戰需要服務行業、政府機構、學術界和民間組織的共同努力，通過合作和對話來解決，并不斷監測和評估人工智能技術的影響，以便及時調整治理策略和技術應用方向。7.4.4 服務行業人工智能管理體系的搭建與運營為應對上述挑戰，服務行業整體來看雖然只處在人工智能治理的早期階段，但仍有一些領先企業已經開始構建人工智能管理體系。這些體系通常包括制定內部政策、建立風險評估機制、開展員工培訓等。在這一過程中，企業通常會參考國際標準和最佳實踐，如 ISO/IEC 標準，以確保人工智能應

135、用的合規性和安全性。根據國家人工智能產業綜合標準化體系建設指南（2024 版），人工智能被視為引領新一輪科技革命和產業變革的基礎性和戰略性技術，服務行業需要通過明確的戰略規劃來整合AI 技術與現有業務流程，以提升服務質量和效率。在構建管理體系時，企業需關注數據隱私和安全，確保遵循相關法律法規，防止數據泄露。同時，算法的透明度和可解釋性是提升用戶信任的關鍵，企業應致力于提高 AI 系統的可解釋性，確保決策過程的公正性。此外，倫理問題及算法偏見也需引起重視，以防止加劇社會不平等?？尚湃斯ぶ悄苤卫?白皮書第七章 行業洞察與 AI 治理情況調研35AI 應用的典型案例第八章互聯網行業不僅通過商用大模型

136、在改變和驅動社會各界對人工智能技術的使用，在各個典型的互聯網平臺類公司內部，人工智能技術正引領一場變革，深刻影響著企業 C 端和 B 端產品和服務的各個方面。從用戶智能推薦、商家經營支持到內部業務提速，人工智能的應用正在重塑該行業的現狀。8.1.1 人工智能技術使用現狀互聯網平臺公司采用人工智能技術旨在提升用戶體驗、優化商家經營和提高數據處理效率。在用戶對話導購場景中，人工智能技術通過生成式對話，扮演著小助手的角色。這種基于聊天內容的交互方式，能夠根據用戶的喜好和歷史訂單數據，提供個性化的商品推薦。與傳統對話系統不同，這種導購系統經過行業語料的訓練，能夠更好地理解外賣平臺的特性，提供更精準的建

137、議。在客服對話場景中，AI 技術的應用提高了客服效率，減少了人力成本。AI 客服系統能夠處理大量常見問題，如訂單狀態查詢、退款申請等，通過自然語言處理技術，理解用戶的問題并提供準確答案，提高用戶滿意度，同時釋放人工客服的時間和精力。在圖片生成方面，人工智能技術的應用旨在降低人工設計成本，提高圖片吸引力。通過“文+圖”的生成方式，人工智能技術能夠根據文本描述自動創建新的圖片，尤其在商家圖片美化方面非常有用。此外，通過圖片效果分析和 AB 測試，商家可以不斷優化圖片，提高用戶的點擊率和購買意愿。對于商家而言，經營小助手是一個強大的工具。8.1 典型案例一：某互聯網平臺公司內部人工智能技術應用PAR

138、T08它能夠快速分析商家數據，提供關于訂單量、用戶評價、商品受歡迎程度等關鍵信息的即時反饋，幫助商家做出更明智的經營決策。隨著人工智能技術在互聯網的深入應用，其影響已經遠遠超出了用戶和商家的直接體驗。人工智能技術不僅在提升用戶滿意度和助力商家經營決策方面發揮著重要作用，而且已經開始滲透到業務支持的各個層面，從商家資質審核到數據分析，全方位推動該平臺公司的數字化轉型。在風控和資質審核方面，人工智能技術的應用提高了審核的效率和準確性。通過審理大模型，系統能夠自動審核商家資質，包括合理性、文字和圖片等內容。這種自動化的審核流程提高了審核速度，減少了人為錯誤的可能性，但同時也需要確保審核過程中的準確性

139、和公正性。通過訓練自然語言與 SQL 語言的轉換模型，致力于將用戶的自然語言查詢轉換為數據庫查詢語言，從而快速找到所需數據并完成分析。這種技術的應用提高了數據處理效率，為非技術背景的用戶提供了一個更加友好的數據查詢方式。8.1.2 人工智能模型使用與評估互聯網平臺公司會廣泛應用各類商用人工智能模型，憑借其先進的自然語言處理技術，為這一領域提供了前所未有的技術支持。在這個案例中，首先是集團內部有一個統一的模型訓練系統，支持開源模型以及經過集團評估認可的模型訓練。專門的語料系統提供內部語料和開可信人工智能治理 白皮書第八章 AI 應用的典型案例36源語料的上架服務，包括審批、脫敏和清洗等步驟，確保

140、數據的質量和安全性。而模型實驗室系統提供境外代理服務，為確保資源的合理分配和使用，流程業務部門需要通過強制性的內部申請調用來分發和使用這些資源。在模型正式投入應用前，必須經過全面的大模型評測，這一過程涵蓋了隱私保護和內容安全等多個維度。評測中特別關注模型在面對各種指令攻擊時的表現，如隱私泄露和不當內容生成等，以確保模型的安全性和合規性。對于未能通過評測的模型，需要進行黑盒的內生加固流程，主要通過重新訓練語料來提升模型的魯棒性。雖然模型上線前的測評并非強制性要求，但對于直接面向終端用戶的模型將進行強調。一旦模型上線，將被納入在線布防系統，通過濾網進行實時監控。這包括對 FAQ 內容的過濾和檢索功

141、能的增強。利用自定義樣本包，系統能夠自動過濾掉潛在的不安全內容，同時，基于檢索庫的碰撞檢測機制能夠去除虛假信息，防止惡意數據投毒，確保輸出結果的安全性。在模型的發布和監控方面，該案例中的公司正在引入強制卡點，以應對模型特性的不斷變化。此外，對模型的監控還包括實施事后監控和運維策略，利用攔截內容進行逆向分析，以訓練更有效的黑名單，同時，密切關注用戶投訴，以持續優化模型性能。最后，定期對模型進行評測，以確保其持續符合最新的安全和合規標準。這一系列措施共同構成了模型安全管理的框架，旨在為用戶提供安全、可靠和高質量的服務。8.1.3 人工智能技術投入分析在實際業務部署中，盡管人工智能模型對業務流程提供

142、了顯著的輔助作用，但它們并非不可或缺。從技術投入的視角來看，員工配置并沒有因為這些模型的引入而經歷大規模的調整，這表明現有的業務流程和人員架構能夠適應融入新技術的環境。在財務投資方面，此前的支出主要集中在滿足用戶、商家和配送員的基本需求上，而近期則更加側重于提升內部運作的效率。這一策略轉變體現了對資源優化和流程改進的重視，目的是為了在不增加額外成本的前提下，利用技術手段提高業務的整體效能。在新能源汽車領域，人工智能技術的應用正日益廣泛，不僅提升了駕駛體驗，還推動了整個行業的技術進步。8.2.1 人工智能模型使用現狀在汽車企業中，人工智能技術的應用正日益成為提升用戶體驗、優化經營效率和提高數據處

143、理能力的關鍵驅動力。以下是人工智能技術在汽車企業中的幾個主要應用場景：在自動駕駛場景中，人工智能是實現自動駕駛汽車的關鍵技術，涵蓋了感知、決策、控制等多個模塊。通過機器學習、深度學習等先進算法，車輛能夠準確識別道路環境、預測行人和其他車輛的行8.2 典型案例二：某汽車公司內部人工智能技術應用為，從而實現自動導航和駕駛。在智能充電網絡場景中，人工智能技術可以優化充電站的布局和運營效率。通過預測充電需求、調整充電價格等手段，可以有效減少充電站的擁堵情況，并提高能源利用效率。如通過云、站、樁、車深度協同，實現充電網絡的全面智能化，提升充電效率和用戶體驗。在智能座艙場景中，人工智能技術的應用為用戶提供

144、了更加智能和個性化的車內體驗。這包括語音控制、駕駛員監控、娛樂系統等，通過 AI 驅動的感知交互，實現從被動響應到主動交互的轉變。在智能運維方面，人工智能技術可以通過監測可信人工智能治理 白皮書第八章 AI 應用的典型案例37和分析車輛的運行數據，預測車輛的維護需求，從而提高運維效率。人工智能系統可以對換電站和充電樁的每一個設備、每一個零件進行監測，及時發現并處理問題，保障用車安全。在個性化服務方面，人工智能技術可以根據用戶的駕駛習慣和偏好，提供個性化的服務，如推薦路線、調整車內環境等。在智能充電場景中，人工智能系統通過智能算法和數據分析，自動選擇最佳的充電時間和功率，實現充電過程的優化。這種

145、系統能夠實時監控和管理充電過程，根據各種變量自動調整充電策略，從而節省成本并減輕電網壓力。8.2.2 人工智能模型使用與評估在汽車行業邁向智能化的浪潮中，該汽車公司通過引入先進的人工智能技術，提升了其智能駕駛系統性能。通過深度學習和大數據分析，該企業不僅提高了人工智能系統的準確性，還縮短了響應時間，從而顯著增強了駕駛安全性。這一案例展示了人工智能在汽車領域實際應用中的潛力。該車企通過車載高清攝像頭、激光雷達和毫米波雷達等多種傳感器，結合多傳感器融合技術，構建出車輛周圍環境的三維模型，實現對周圍環境的全面感知，使用收集的大量圖像和數據對人工智能系統進行訓練，以精準檢測和識別行人、車輛、交通標志等

146、目標物體，為智能駕駛提供決策依據；同時綜合利用視覺、聽覺、觸覺等多種模態信息，提高感知精準度。在評估人工智能表現方面，該車企采用任務導向基準測試方法，通過讓人工智能系統執行特定任務，如高速并線、復雜路況自動泊車等，并評價其完成情況，以此來評估性能；此外，還通過虛擬環境進行測試和驗證工作，確保智能駕駛輔助系統在各種條件下的穩定性和可靠性。這些方法不僅提升了智能駕駛輔助系統的性能，還確保了系統的可靠性和安全性，為消費者提供了更加安全、智能的駕駛體驗。8.2.3 人工智能技術投入分析隨著技術的不斷進步，人工智能在新能源汽車領域的應用將更加廣泛和深入，為用戶帶來更加便捷、智能的出行體驗。但是，隨著人工

147、智能和新應用模式的推廣，也帶來了更復雜的安全風險和挑戰。例如：雖然自動駕駛技術能夠提升駕駛體驗，但也可能因為系統錯誤或外部環境的復雜性導致事故；智能充電網絡在優化充電站布局和運營的同時，也可能面臨黑客攻擊的風險，攻擊者可能會通過遠程控制充電站，造成充電站服務中斷或電能浪費；以及也可能因為軟件漏洞或數據泄露，導致用戶隱私受到威脅為了降低這些安全風險，相關企業可以參考本白皮書的安全管控建議內容，建立人工智能安全風險管控體系，持續管理人工智能風險?？尚湃斯ぶ悄苤卫?白皮書第八章 AI 應用的典型案例38隨著可信人工智能治理白皮書的深入探討，我們不難發現人工智能作為一項革命性技術，正站在一個新的歷史起

148、點上。它不僅代表著技術進步的速度，更考驗著人類智慧的深度。在 AI 的浪潮中，我們既面臨著前所未有的機遇，也必須應對種種挑戰。白皮書的撰寫，是我們對人工智能未來發展的一次深思熟慮。我們探討了全球人工智能的發展態勢，分析了監管體系的構建，討論了可信原則的重要性，并深入挖掘了企業合規要求和風險治理的策略。我們希望通過這些內容，能夠為社會各界提供有價值的參考和啟發。在 AI 的世界里，信任是基石?？尚诺?AI 不僅要在技術上可靠，更要在倫理上可靠，它需要在尊重人權、保護隱私、確保公正的基礎上，為社會帶來積極的影響。因此，建立一個全面、有效的 AI 治理體系，是確保 AI 技術健康發展的關鍵。我們呼吁

149、，所有 AI 的參與者，無論是技術開發者、企業決策者還是政策制定者，都應該共同承擔起構建可信 AI 的責任。我們相信，通過不斷地探索和努力，人類社會能夠找到與 AI 和諧共存的最佳方式。讓我們攜手合作，共同迎接一個更加智能、更加可信、更加美好的與人工智能同行的未來。1 Fortune Business Insights.人工智能(AI)市場規模、份額和行業分析，按組件（硬件、軟件/平臺和服務）、按功能（人力資源、營銷和銷售、產品/服務部署、服務運營、風險、供應鏈管理）、其他（戰略和企業財務）、按部署（云和本地）、按行業（醫療保健、零售、IT 和電信、BFSI、汽車、廣告和媒體、制造等）以及區域

150、預測，2024-2032.(2024-12-16).https:/ 中國青年報.深陷“信息繭房”，年輕人如何破繭.(2023-07-14).https:/ 澎湃新聞10%公司.英國醫院向人工智能公司共享 160 萬病人信息被認定違法.(2017-07-04).https:/ Cyberhaven.Shadow AI:how employees are leading the charge in AI adoption and putting company data at risk.(2024-05-21).https:/ Microsoft Azure.人工智能(AI)共擔責任模型.(202

151、4-09-29).https:/ 語可信人工智能治理 白皮書39建設更美好的商業世界安永的宗旨是建設更美好的商業世界。我們致力幫助客戶、員工及社會各界創造長期價值，同時在資本市場建立信任。在數據及科技賦能下，安永的多元化團隊通過鑒證服務，于 150 多個國家及地區構建信任，并協助企業成長、轉型和運營。在審計、咨詢、戰略、稅務與交易的專業服務領域，安永團隊對當前最復雜迫切的挑戰，提出更好的問題，從而發掘創新的解決方案。安永是指 Ernst&Young Global Limited 的全球組織，加盟該全球組織的各成員機構均為獨立的法律實體，各成員機構可單獨簡稱為“安永”。Ernst&Young Global Limited 是注冊于英國的一家保證（責任）有限公司，不對外提供任何服務，不擁有其成員機構的任何股權或控制權，亦不擔任任何成員機構的總部。請登錄 。2025 安永（中國）企業咨詢有限公司。版權所有。APAC no.03022041ED None本材料是為提供一般信息的用途編制，并非旨在成為可依賴的會計、稅務、法律或其他專業意見。請向您的顧問獲取具體意見。 白皮書40