《中國信通院：人工智能治理藍皮書（2024年）（58頁）.pdf》由會員分享，可在線閱讀，更多相關《中國信通院：人工智能治理藍皮書（2024年）（58頁）.pdf（58頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能治理藍皮書人工智能治理藍皮書(2022024 4 年年)中國信息通信研究院2024年12月人工智能治理藍皮書人工智能治理藍皮書(2022024 4 年年)中國信息通信研究院2024年12月No.202415版權聲明版權聲明本藍皮書版權屬于中國信息通信研究院，并受法律保護。轉載、摘編或利用其它方式使用本藍皮書文字或者觀點的，應注明“來源：中國信息通信研究院”。違反上述聲明者，本院將追究其相關法律責任。本藍皮書版權屬于中國信息通信研究院，并受法律保護。轉載、摘編或利用其它方式使用本藍皮書文字或者觀點的，應注明“來源：中國信息通信研究院”。違反上述聲明者，本院將追究其相關法律責任。更名聲明更

2、名聲明原“集智”白皮書更名為“集智”藍皮書?！凹恰彼{皮書將繼續秉承原有的編撰理念和高質量標準，致力于提供有價值的信息和洞見。原“集智”白皮書更名為“集智”藍皮書?！凹恰彼{皮書將繼續秉承原有的編撰理念和高質量標準，致力于提供有價值的信息和洞見。前言前言人工智能治理是各方為解決人工智能領域風險分擔和利益分配問題，通過政策制定、法律監管、倫理指導等手段，對人工智能的研發、應用等行為進行全面管理和調控的過程。人工智能治理應為人工智能領域發展和安全問題建立有效的風險矯正機制、利益分配機制及機構協調機制，積極應對發展不平衡、規則不健全、秩序不合理問題并促進全球協商合作。近一年來，全球人工智能治理面臨復

3、雜多變新形勢。全球人工智能行業實現高速增長，在產業規模、投融資、企業數量等方面表現明顯，具身智能、數字人等人工智能應用將驅動下一輪產業洗牌。通用人工智能技術飛速躍遷敲響安全警鐘，幻覺難消除、場景難限定、責任難追溯等特性放大了虛假信息、隱私侵犯、網絡犯罪等現實風險。同時，全新的人機交互模式開啟了“人類外腦”時代，在未來發展中可能引發情感依賴、勞動替代、生存性風險等方面的人機倫理風險，不斷挑戰政府傳統監管模式、加劇國際合作協調難度、考驗供應鏈主體自治能力。本報告從新技術革命引發的經濟社會發展變革和歷史經驗出發，在“以人為本、智能向善”理念指引下，基于供應鏈條、價值鏈條、全生命周期鏈條等底層邏輯，從

4、 What、Why、Who、How 四個維度搭建了人工智能治理體系框架。在梳理人工智能概念分歧、人工智能風險譜系基礎上，框架從安全和發展兩個維度提出四組議題。安全側來看，安全可控是人工智能治理的底線基礎，強調基于風險的全生命周期治理思路，亟需對透明度、紅隊測試、評估評測等工具細化落地；倫理先行是人工智能治理的價值導向，需提前研判人工智能對人類生活、生產乃至生存問題帶來的沖擊，強調敏捷治理、動態監測。發展側來看，負責任創新是人工智能治理的源頭根本，存在算力供給不平衡、高質量數據集建設、開源模型生態治理等問題，提出基于產業鏈的“要素+場景”治理；可持續發展是人工智能治理的終極要求，提出公平普惠的包

5、容性治理，圍繞經濟、社會和環境三個維度，協力應對數字鴻溝、能源短缺等問題，推動聯合國 2030 年可持續發展目標實現。從落地實踐來看，主要經濟體人工智能治理模式初具雛形，在監管模式、治理重點、實踐策略等方面日益成熟完善。企業主體、專業機構、產業聯盟等主體積極實踐，在安全技術研發、資源共享等方面發揮關鍵作用。大國間圍繞人工智能安全合作共識初建，各方在議程設置、規則塑造等多方面進程提速，聯合國系統積極醞釀新的人工智能治理協調機制，各雙多邊機制推動高層次承諾向可執行政策落地。展望未來，人類社會將邁向更深層次的智能化發展階段，需要系統謀劃、綜合施策，在倫理監測、制度設計、監管模式、國際合作等方面持續改

6、革創新。中國信息通信研究院持續跟蹤評估人工智能治理焦點議題和趨勢進展，嘗試提出人工智能治理的體系框架，期待為推進各方交流討論、促進合作共贏貢獻綿薄之力。目錄目錄一、人工智能治理面臨復雜多變新形勢.1（一）人工智能行業高速增長，商業生態分化形態初現.1（二）人工智能技術深刻變革，挑戰政府傳統監管能力.3（三）國際合作取得關鍵成果，各國治理共識差異并存.4（四）人工智能技術風險加劇，亟需搭建完善治理框架.6二、人工智能治理的核心議題進展及趨勢.12（一）基于產業鏈的治理：全要素推進負責任創新.12（二）確保技術普惠共享：多維度促進可持續發展.16（三）制度技術治理并進：全生命周期確保安全可控.19

7、（四）人機關系如何重塑：新型風險中推動倫理先行.27三、多元主體協同推進人工智能治理進程.33（一）主要經濟體政府監管模式各異，規則落地取得實質進展.33（二）企業和專業機構等主體創新探索，形成協同共治生態圈.39（三）國際人工智能治理日益深化，三大維度熱點持續深化.43四、人工智能治理對策建議.48（一）深化落地人工智能協同敏捷治理模式.48（二）系統監測預警人工智能倫理社會影響.49（三）圍繞要素和場景細化負責任創新方案.49（四）立足于全生命周期優化安全技術工具.50（五）加速落地全球人工智能能力建設方案.51圖 目 錄圖 目 錄圖 1 全球人工智能產業規模.1圖 2 2019-2024

8、 Q3 AI 領域融資占全行業比例.2圖 3 新晉 AI 獨角獸數量及占比.3圖 4 2019-2024 年中區域間和區域性人工智能治理舉措及關鍵成果.5圖 5 人工智能風險視圖.8圖 6 人工智能治理框架圖.11圖 7AI Safety Benchmark Q2.24圖 8 不同崗位、受教育程度受 AI 影響大小.30圖 9 中國人工智能行業自治圖譜.43表 目 錄表 目 錄表 1 本報告所參考的人工智能治理框架素材.8表 2 我國人工智能相關的主要制度文件.36人工智能治理藍皮書（2024 年）1一、人工智能治理面臨復雜多變新形勢人工智能技術顛覆性、跨越式突破引發通用人工智能新一輪發展熱潮

9、，推動全球人工智能治理進入規則構建的關鍵階段。人工智能領域發展不平衡、規則不健全、秩序不合理等問題日益顯現，全球人工智能治理面臨前所未有的挑戰。（一）人工智能行業高速增長，商業生態分化形態初現（一）人工智能行業高速增長，商業生態分化形態初現大模型等新技術帶動全球人工智能行業實現高速增長。從產業規模來看，受人工智能存儲、服務器等基礎設施市場拉動，2024 年全球人工智能產業收入高速增長。據 IDC 預測，2024 年全球人工智能產業收入規模達 6421.8 億美元，同比增長 22.2%。1從企業財務表現看，人工智能技術研發和應用落地有效推動了巨頭企業營收增加，微軟、谷歌、亞馬遜營收增速均超 10

10、%，AI 云服務、AI 助手及 AI 廣告投放在其中發揮關鍵作用。來源：根據 IDC 數據整理圖 1 全球人工智能產業規模-億美元1IDCAsia/PacificAI Maturity Study 2024.https:/www.intel.in/content/dam/www/central-libraries/us/en/documents/2024-04/idc-infobrief-asia-pacific-ai-maturity-study-2024-india.pdf人工智能治理藍皮書（2024 年）2從投融資來看，2022-2024 年前三季度，全球投資持續低迷，融資金額持續下降，

11、相比較而言，人工智能領域融資復蘇，全球 AI 融資占全行業融資比例持續上升，從 2022 年的 6.1%上升至 2024 年前三季度的 12.0%。人工智能領域巨額融資金額大幅上升。2024 年前三季度，全球巨額融資金額為 265.6 億美元，同比上升 148%，融資筆數為 73 筆，同比上升 40%。大模型領域融資金額大幅上升。2024 年前三季度全球大模型企業風險融資額為 162 億美元，已約為 2023 年的兩倍，投資筆數達 165 筆。來源：根據 CBInsights 數據整理圖 2 2019-2024 Q3AI 領域全球融資占全行業融資比例從企業數量來看，截至 2024 年第三季度，

12、全球人工智能企業數量為 31206 家，其中美國企業 10840 家，占全球總數的 35%，中國企業 4676 家，占全球總數的 15%。AI 獨角獸數量大幅增加，截至 2024年第三季度，全球 AI 獨角獸共 255 家。其中，2024 年 AI 獨角獸新增數量達 30 家，占所有新增獨角獸企業數量的 47.6%。AI 獨角獸的人工智能治理藍皮書（2024 年）3主要賦能領域為商業智能、AIGC 及大模型、醫療等板塊。2來源：中國信息通信研究院圖 3 新晉 AI 獨角獸數量及占比人工智能技術創新需求持續加大，產業鏈條拉長、商業生態分化等特征顯現。自 2022 年 11 月 ChatGPT 發

13、布以來，人工智能已被應用于金融、法律、設計等多個行業。人工智能產業鏈條從大多數情況下由單一企業完成，發展為在開發、調優、應用等不同環節，由不同企業合作完成。圍繞生態主企業構建的商業生態開始出現分化，開源與閉源、通用與專用等不同路線均呈現競爭與融合并存態勢。（二）人工智能技術深刻變革，挑戰政府傳統監管能力（二）人工智能技術深刻變革，挑戰政府傳統監管能力以大模型為代表的新一輪人工智能具有強生成、強推理、強交互等能力特征，技術深度變革為人工智能政府監管帶來新挑戰。一是體現為新內容生產方式，從“人和信息”的鏈接轉向“人和答案”的鏈接，規?；嵘尚?，內容生成機制成為人類難以破解的黑箱。二是變革人機

14、交互模式，從傳統的復雜繁瑣、多樣化的交互接口轉變2AI 100:The most promising artificial intelligence startups of 2024-CB insights research.https:/ 年）4為統一便捷的自然語言接口。人工智能脫離工具角色，成為能自主完成工作流程的“人類外腦”。三是通用泛化水平急劇攀升，未來可能在產業發展中發揮基礎設施和數字技術市場“看門人”作用，基礎性、公共性、外溢性將顯著增強。在此背景下，傳統政府監管模式和工具面臨重大挑戰。一是事前風險審查缺乏統一標準，政府亟待優化評估審查工具。斯坦福大學2024 年人工智能指數報告3

15、指出，人工智能嚴重缺乏標準化評估，OpenAI、谷歌和 Anthropic 等企業根據不同的負責任人工智能基準測試他們的模型，導致難以對頭部人工智能模型的風險和局限性進行比較。二是事中介入機制缺乏實踐經驗，政府亟需提升常態化監測水平。各主要國家未就事中監測和介入手段積累有效經驗，對人工智能的事中監管尚處初期階段。三是事后調查溯源取證困難，政府尚缺乏有力的核查核驗工具。監管部門難以核查企業真實合規情況，在生成式人工智能版權糾紛、內容安全等問題上取證困難，尚缺乏成熟完備的技術溯源措施。（三）國際合作取得關鍵成果，各國治理共識差異并存（三）國際合作取得關鍵成果，各國治理共識差異并存近一年來，主要經濟

16、體在聯合國、二十國集團、經合組織、國際電聯、金磚國家等多雙邊機制中圍繞全球人工智能治理開展對話協商，取得了部分關鍵成果，如聯合國抓住安全、可靠和值得信賴的人工智能系統帶來的機遇，促進可持續發展 加強人工智能能力建設國際合作決議、七國集團廣島進程指導原則等。然而，全球各方因政治制度、法律體系和文化傳統的不同，對人工智能治理模式和需3AI index report.Stanford Institute for Human-CenteredArtificial Intelligence.https:/hai.stanford.edu/research/ai-index-report人工智能治理藍皮書

17、（2024 年）5求有著不同認識，人工智能安全和發展張力加大，進一步增加了共識凝聚的難度，削弱了國際協調合作的動力。來源：HLAB-AI治理人工智能，助力造福人類終期報告圖 4 2019-2024 年 6 月區域間和區域性人工智能治理舉措及關鍵成果在治理需求方面，人工智能安全可控和發展優先路線并存。一方面，國際社會普遍關注人工智能風險問題，將“安全、可靠和值得信賴”理念納入多部共識文件；同時探索通過英國、韓國、法國系列人工智能峰會，推進全球安全研究網絡和評估評測合作。另一方面，各國對技術發展不平衡帶來的“智能鴻溝”問題表示憂慮。例如 G20主席國巴西將“人工智能資產和基礎設施分布不均”作為優先

18、議題。4東盟發布東盟人工智能治理與倫理指南，闡述東盟“發展優先”的治理觀，提出支持人工智能人才培養、人工智能創新等國家級建議。在治理機制方面，多邊機制和多利益攸關方均發揮重要作用。部分國家認為政府對人工智能等新技術知識認識不足，應推動發揮企業、第42024 年二十國集團數字經濟部長會議在巴西馬塞約召開，載人民郵電報，https:/ 年）6三方機構等多利益攸關方作用。發展中國家則普遍面臨基礎能力不足等挑戰，希望通過多邊機制參與全球人工智能治理。人工智能治理評估指數（AGILE 指數）報告5顯示，發展中國家在技術、資金和人才方面的不足，限制了它們在人工智能國際治理中的參與度和影響力?？傮w來看，世界

19、經濟、技術不穩定風險仍存，各方需高度認識人工智能技術帶來的巨大挑戰。（四）人工智能技術風險加劇，亟需搭建完善治理框架（四）人工智能技術風險加劇，亟需搭建完善治理框架1.人工智能風險的系統認識人工智能風險可劃分為內生風險和衍生風險。內生風險主要指人工智能系統自身所存在的風險，包括數據、框架、模型等自身安全帶來的風險問題。比如模型存在缺陷、后門被攻擊利用的風險，具體指人工智能算法模型設計、訓練和驗證的標準接口、特性庫和工具包，以及開發界面和執行平臺可能存在邏輯缺陷、漏洞等脆弱點，還可能被惡意植入后門，存在被觸發和攻擊利用的風險。再比如人工智能的生成“幻覺（Hallucination）”問題導致生成

20、內容不可信風險。生成幻覺通常指模型按照流暢正確的語法規則產生的包含虛假信息甚至無意義內容的文本。OpenAI 公司前首席技術官 Mira Murati 指出，底層大型語言模型的最大挑戰是會編造錯誤的或不存在的事實。6衍生風險包括個人、社會、國家和全人類等多個層面。個人層面5全球人工智能治理評估指數(AGILE 指數)正式發布，首次評估解碼全球人工智能治理新格局，載深圳市人工智能產業協會官網，https:/ 4).Unveiling 7 interesting facts about Mira Murati,OpenAIs chatgpt creator andTrailblazer in Te

21、ch.Women in Tech Network.https:/ 年）7包括對個人隱私、自主性等人格尊嚴帶來的挑戰。2024 年 10 月，美國美國佛羅里達州奧蘭多地方法院受理“全球首例 AI 機器人致死案”，14歲少年的母親梅根 加西亞指控AI公司Character.ai存在管理疏忽，導致其聊天機器人產品誘導青少年開槍自殺。社會國家層面包括對就業、公共安全、國家安全等帶來的風險。例如人工智能沖擊就業市場，加劇財富分化與社會不公。據高盛研究報告分析，以美國為例，46%的行政工作和 44%的法律工作將受到較高程度的影響。7人工智能可以被用于制作虛假文本、音頻、視頻等深度偽造內容，進而實施政治干預

22、、煽動暴力和犯罪等破壞公共利益、侵害國家安全行為。全人類層面包括能源消耗、數字鴻溝、生存性風險等問題。例如，模型訓練導致大量資源消耗，抬高碳排放水平。研究人員指出，GPT-3 模型能耗相當于 1287 兆瓦時的電力，同時產生 552 噸二氧化碳。8近一年來，前沿人工智能引發的生存性風險受到關注，從英國主導的系列 AI 安全國際峰會以及 OpenAI、Anthropic、DeepMind 等企業認識來看，化學、生物、放射和核（統稱 CBRN）濫用、自主復制等被認為是典型的生存性風險。Anthropic 與頂級生物安全專家一起對其模型進行紅隊測試后，警告生物濫用風險可能在未來 23 年內成為現實。

23、7Artificial Intelligence.Goldman Sachs.https:/ HAI.(2023).Artificial Intelligence Index Report 2023.p120.Retrieved fromhttps:/aiindex.stanford.edu/report/.人工智能治理藍皮書（2024 年）8來源：中國信息通信研究院圖 5 人工智能風險視圖2.人工智能治理的體系框架人工智能治理攸關全人類命運，具有典型的跨國界、跨學科、分散性、動態性等特征。聯合國全球數字契約指出，人工智能具有積極和消極兩方面顛覆性潛力，需要全球性和多學科的對話，以審視、評估和

24、調整人工智能應用。近年來，全球部分國際組織、政府、企業、研究機構等均嘗試從不同視角維度搭建人工智能治理體系框架。表 1 本報告所參考的人工智能治理框架素材序號序號框架名稱框架名稱發布機構發布機構發布時間發布時間類型類型1聯合國系統人工智能治理白皮書：分析聯合國系統的制度模式、功能和現有制度適用于人工智能治理的國際規范框架聯合國人工智能機構間工作組2024 年 5 月國際組織2G7 廣島進程守則框架G72023 年 5 月國際組織3人工智能系統的分類框架OECD2022 年 3 月國際組織4東盟關于人工智能治理與倫理指引文件東盟2022 年 11月國際組織人工智能治理藍皮書（2024 年）95實

25、施人工智能治理：從框架到實踐歐委會2022 年 12月區域性組織6人工智能風險管理框架 1.0美國NIST2023 年 1 月科研院所7生成式人工智能模型人工智能治理框架：促進可信賴的生態系統新加坡 AIVerify 基金會與新加坡信息、通信及媒體發展管理局聯合發布2024 年 5 月非營利組織/政府機構8可信人工智能總體框架中國信息通信研究院2021 年 7 月科研院所9人工智能風險管理體系中國信息通信研究院2023 年 12月科研院所10面向產業的人工智能風險治理實踐框架中國信息通信研究院2024 年 12月科研院所11全周期人工智能治理框架Presidio2024 年 1 月企業12全生

26、命周期風險治理框架阿里巴巴2023 年 8 月企業13前沿安全框架（1.0 版本）DeepMind2023 年 7 月企業14負責任的擴展政策Anthropic2023 年 4 月企業15人工智能治理框架與實施路徑清華大學2024 年 7 月學術機構16人工智能治理框架圖爾庫大學人工智能治理和審計組織（AIGA）2022 年 6 月學術機構17人工智能治理的分層模型哈佛大學2021 年 9 月學術機構18卡內基人工智能國際治理框架卡內基2020 年 10月非營利組織來源：中國信息通信研究院從具體特點來看，現有治理框架分為以下幾種類型：一是全面宏觀的治理框架，對于推進國際合作具有重要意義，例如聯

27、合國系統人工智能治理白皮書所包含的風險類型和議題最為廣泛，既有傳統人工智能治理藍皮書（2024 年）10的透明度、數據和網絡安全風險，也有近期廣受關注的勞動替代、環境倫理等風險；既有監管執法難等挑戰，又有發展方面的包容性、數字鴻溝等問題。二是注重基于生產流程的全生命周期治理框架，體現人工智能治理的流程性。例如美國 NIST 框架中的全生命周期包括設計、收集和處理數據、建立、使用和修改模型、開發和使用、操作和監控、使用或被影響的群體和生態等環節。中國信息通信研究院“可信人工智能總體框架”、“人工智能風險管理體系”均涵蓋規劃設計、數據處理、模型建設、測試驗證、部署上線等階段。三是提出基于產業鏈或社

28、會影響的分層治理，體現人工智能治理的產業邏輯。例如 聯合國系統人工智能治理白皮書提出基于計算機硬件-云平臺-數據和人工智能模型-應用程序-服務的人工智能價值鏈，并針對不同環節提出存在的風險問題。哈佛大學 AI 治理框架提出社會和法律層、道德層和技術層三層框架等。芬蘭圖爾庫大學 AI 治理框架提出人工智能系統層、組織層和環境層三層框架。四是側重于某一類人工智能的風險管控框架，如遵循韓國首爾 AI 安全峰會承諾，OpenAI、Anthropic、Deepmind 等企業均提出前沿人工智能的風險管理框架。以 Deepmind的前沿人工智能安全框架為例，提出風險預警評估、風險緩解措施、明確風險閾值，以

29、及問責制、透明度等保障機制。人工智能治理藍皮書（2024 年）11來源：中國信息通信研究院圖 6 人工智能治理框架圖在梳理上述治理框架基礎上，本報告從新技術革命引發經濟社會發展變革和歷史經驗出發，在“以人為本、智能向善”理念指引下，基于產業鏈條、治理鏈條、價值鏈條等底層邏輯，從 What、Why、Who、How 四個維度搭建了“1244”治理框架，即一組概念、兩類風險、四類主體、四組議題，力求框架的全面性、系統性和前瞻性，希望為加深人工智能治理體系研究、推進各方人工智能治理共識提供框架基礎。從治理理念來看，2023 年 10 月，習近平總書記提出全球人工智能治理倡議，強調堅持以人為本、智能向善

30、的理念和宗旨，為人人工智能治理藍皮書（2024 年）12工智能治理指明了根本性方向?？蚣苷w以“以人為本、智能向善”為基本理念，堅持統籌安全和發展、活力和秩序、效率和公平的關系。從治理主體來看，倡導多元主體敏捷互動治理、合作治理的思路，不僅改革創新政府橫向監管模式，也為企業、專業機構等參與縱向治理提供充足空間，推進多元主體平等交流和協商對話。從治理議題來看，在發展方面，負責任創新是人工智能治理的源頭根本，存在算力供給不平衡、高質量數據集建設、開源模型生態治理等問題，提出基于產業鏈的“要素+場景”治理；可持續發展是人工智能治理的終極要求，提出公平普惠的包容性治理，圍繞經濟、社會和環境三個維度，協

31、力應對數字鴻溝、能源短缺等問題，推動聯合國 2030 年可持續發展目標實現。在安全方面，安全可控是人工智能治理的底線基礎，強調基于風險的全生命周期治理思路，亟需對透明度、紅隊測試、評估評測等工具細化落地；倫理先行是人工智能治理的價值導向，需關注通用人工智能等技術發展帶來的人類主體性危機，強調通過敏捷治理、動態監測的思路，提前研判人工智能對人類生活、生產乃至生存問題帶來的沖擊。二、人工智能治理的核心議題進展及趨勢（一）基于產業鏈的治理：全要素推進負責任創新（一）基于產業鏈的治理：全要素推進負責任創新負責任創新是人工智能治理的源頭根本，涉及芯片、數據、模型、應用等產業鏈各個環節。當前，國際社會共同

32、關心高質量數據集供給等問題，為人工智能創新發展謀求要素支撐和制度空間。1.數據層，高質量數據集的供給存難題人工智能治理藍皮書（2024 年）13高質量數據集直接影響人工智能的最終性能。數據集來源合法性是人工智能研發面臨的首要障礙。OpenAI 在 Scaling Laws for NeuralLanguage Models中提出大語言模型所遵循的“縮放法則”9，即增加訓練數據量有助于提升預訓練模型的效果。實踐中，由于嚴苛或模糊的制度要求，企業往往難以通過正常、合法的途徑獲取數據，面臨較大個人信息和知識產權侵權風險。在個人信息保護方面，知情同意授權規則難以得到實施，同時難以援引訂立合同所必須、履

33、行法定職責等其他合法性基礎。而匿名化處理的具體要求和標準尚不明確，導致開發企業難以把握采集、利用用戶數據的合法邊界。在知識產權規則方面，相關訴訟糾紛和監管處罰不斷。美國各地法院已受理超 19起未經授權使用版權材料進行模型訓練的訴訟。法國競爭管理局因谷歌未向訓練數據版權人支付費用，對其處以 2.5 億歐元罰款。10YouTube 首席執行官尼爾莫漢（Neal Mohan）表示，如果 Sora 文生視頻大模型被發現使用了YouTube 來源數據，將違反該平臺的服務條款。我國國內也出現“Trik模型侵權案”“奧特曼侵權案”11等相關案件。多國在制度層面放寬數據來源限制，解決高質量數據集關鍵堵點問題。

34、歐盟人工智能法序言第 140 條規定，參與沙盒測試的企業可以將基于其他合法目的收集的個人數據用于人工智能訓練，而不需要用戶同意。2024 年 7 月，韓國發布了關于處理公開數據以開發和服務 AI 的指南，允許基于“合法利益”使用公開數據進行 AI9Scaling laws for neural language models.OpenAI.https:/ 2.5 億歐元，https:/ 05 民終 945 號。人工智能治理藍皮書（2024 年）14訓練和服務開發。知識產權方面，韓國、德國和英國等國家持開放態度。2024 年 9 月，德國漢堡地方法院在 LAION 案一審判決中首次確認，AI 模

35、型訓練可適用文本與數據挖掘（TDM）版權保護的例外12。2024 年 10 月，英國政府就 AI 訓練中的“選擇退出”版權制度進行公開咨詢，該制度以合理使用為原則，權利保留為例外。美國司法判例對使用版權作品的態度較為寬松。2024 年 11 月，紐約聯邦法院駁回了 Raw Story 和 Alternet 針對 OpenAI 聊天機器人訓練數據提起的版權訴訟。13法官認為，原告尋求救濟的真正原因是 OpenAI 未經授權使用其文章進行 AI 訓練且未提供補償，但這種損害缺乏版權法依據，因此原告不具備提起訴訟的資格。2.模型層，開源模型的生態治理引爭議開源模型具有促進人工智能創新的公共屬性，可顯

36、著降低創新成本，加速人工智能迭代速度。例如，Stable Difiusion 模型通過開源吸納全球創新力量，在不到兩個月的時間內，實現了圖片生成速度 15%以上的提升。而在實踐中，大模型開源生態受多方因素裹挾限制。一方面，模型開源實際受商業利益影響，未完全遵守透明和協作原則。如 Meta、Amazon 等企業將開源作為追趕行業領先者的手段，通過開源部分模型或部分模塊，促進行業內形成利己生態，同時部分關鍵技術因商業秘密、隱私保護等原因保留為閉源，從而增強自身競爭優勢。另一方面，開源模型的資源支持和技術積累難度更大。大模型對數據集、算力和高效分布架構等基礎資源需求較高，頭部科技公司主導的12Ham

37、burg Regional Court,Germany 2024:Robert Kneschke v.LAION e.V.,Case No.310 O 227/2313https:/roninlegal.in/raw-story-media-amp-alternet-media-inc-v-openai-legal-implications-for-ai-and-copyright/人工智能治理藍皮書（2024 年）15閉源模型更容易匯聚豐富的資源用于持續性技術迭代，并能迅速響應市場需求變化。前沿人工智能開源可能因濫用和失控引發災難風險。美國生命未來研究所認為，開發者在開源模型后，會喪失對模型

38、的控制和限制能力，開源模型可能會被濫用于惡意目的，并造成大規模的意外傷害。14GovAI 發布報告指出，高能力模型可能被用于生產生化武器或進行網絡攻擊，開源可能加劇極端風險發生。對此，產業界積極探索應對開源風險的治理措施。開源社區 Hugging Face 倡導使用開放式負責任人工智能許可證（RAIL），以限制危險用例。Meta 開源的 Llama2配備了安全措施和負責任使用指南，以幫助對其進行安全部署。15政府方面，OpenAI 建議各國政府投資建立評估模型的實驗平臺，并針對濫用后果準備緩解措施。美國未來生命研究所建議，應對開源模型進行事前評估，考慮安全限制措施被惡意移除的可能性，并主張禁止

39、發布未采取充足保障措施的開源模型。3.應用層，分級分類的具體標準不明確各國政府或行業機構均在探索分級分類方案。歐盟 人工智能法基于應用場景劃分出四個風險等級，又根據模型能力區分出具有系統風險的通用人工智能、一般的通用人工智能兩個特殊類別。例如將構成重要基礎設施（如交通、通信系統）的人工智能、屬于重要的產品安全部件的人工智能等列入高風險場景。日本深度學習協會（JDLA）14Dual-use Foundation models with widely available model weights report.Dual-Use Foundation Models withWidelyAvaila

40、ble Model Weights Report|National Telecommunications and InformationAdministration.(2024,July 30).https:/www.ntia.gov/issues/artificial-intelligence/open-model-weights-report.15參見開源 VS 閉源，大模型永不會結束的戰爭，載騰訊新聞深網，https:/ 年）16提出的 Risk Chain Model 有效評估了智能化駕駛、智能識別攝像等應用場景中的安全風險，幫助日本產學界探索風險分類依據。德國電子電力與信息技術協會

41、VDE 根據歐盟人工智能法推出類似的風險研判框架，以風險矩陣形式指導各方進行風險定級。伴隨人工智能技術迭代更新，亟需創新人工智能產業應用層的分級分類標準。算法分級分類是我國在人工智能服務分級分類部署的重大一步，但借由算法治理邏輯調整模型服務忽略了模型風險與算法風險的差異，尤其算法分類并不基于具體的行業劃分，導致某一模型應用領域可能被歸入多種算法功能中，破壞了算法分類的整體性。截止 2024 年 3 月，國內模型服務應用數量約有 100 余項，細分市場規模相對有限，導致分類分級依據尚不明晰，如何辨識風險類別和等級仍亟待產學界進一步討論。（二）確保技術普惠共享：多維度促進可持續發展（二）確保技術普

42、惠共享：多維度促進可持續發展1.經濟層面，亟待彌合智能鴻溝問題全球層面人工智能技術發展不平衡問題日益突出，主要資源向少數國家集中。一是南方國家在數字基礎設施建設方面存在顯著不足。根據 datacentermap 統計16，2024 年美國擁有 2626 個數據中心，占據顯著優勢。相比之下，印度、中國、巴西等國數據中心數量僅數百個，凸顯南方國家在數字基礎設施建設上的不足。同時，全球頂級超級計算機多集中在美國、日本和中國，南方國家占比偏低，進一步加劇了計算資源的集中。二是南方國家在數據獲取方面處于劣勢，語料代表性不足。在專有數據方面，全球醫療保健數據集的一半以上集中于北16Colocation,c

43、loud and connectivity.Data Center Map.https:/ 年）17美地區，而非洲、拉丁美洲及亞太地區的發展中國家，在人口普查數據、行政記錄數據與地理空間數據的開放與共享方面明顯滯后。據加利福尼亞大學的一項研究顯示，高達 50%的人工智能訓練數據源自12 家頂尖機構，其中 10 家為美國機構。17三是全球對人工智能人才需求旺盛導致發展中國家人才外流問題嚴重。據 MacroPolo全球人工智能人才追蹤 2.0報告顯示，頂尖人才集中趨勢明顯，美國匯聚了全球 60%的頂尖 AI 機構，并吸引 77%非美國籍頂尖人才留美工作。18相比之下，印度僅留住五分之一的本土 AI

44、 研究人才。2.社會層面，全面應對文化偏見問題對非英語語言訓練數據的忽視引發文化偏見，成為生成式人工智能浪潮下偏見歧視的突出表現形式。當前，盡管全球范圍內的大語言模型在通過豐富的知識平臺拓展多元文化理解能力，以實現文化交往適用性的“螺旋式上升”，但仍然可能帶來文化沖突甚至文化湮沒現象。例如在 Sora 生成視頻片段中，由于依賴于西方中心化的數據源，審美表達延續好萊塢電影工業等歐美影視文化傾向。Midjourney 等國外 AI 繪畫技術被認為侵蝕非西方文化價值觀。在非洲黑人藝術家使用人工智能創作作品時，人工智能無法理解臟辮、非洲辮等文化造型，也無法理解非洲的傳統建筑美術風格等，如要求人工智能生

45、成“達喀爾建筑”，可能會返回一個廢棄的場地中的破舊建筑。對此，國際社會提出用符合本國文化和思維方式的數據訓練人工智能模型、形成本17UC Ai Working Group FinalReport.https:/www.ucop.edu/ethics-compliance-audit-services/compliance/uc-ai-working-group-final-report.pdf.18The GlobalAi Talent tracker 2.0.MacroPolo.(2024,March 6).https:/macropolo.org/digital-projects/the-

46、global-ai-talent-tracker/.人工智能治理藍皮書（2024 年）18地產品及產業生態等要求。19聯合國人工智能咨詢機構終期報告指出，應確保人工智能模型在多樣化、真正具有代表性的數據集上進行訓練。印度聯邦政府宣布推出預算 12.5 億美元的“印度人工智能計劃”，旨在為公私營合作創建的人工智能項目提供印度本土數據等支持。203.環境層面，有效化解能源短缺問題大模型等人工智能訓練中能源消耗顯著增加，多位行業巨頭頻頻預警人工智能將面臨能源短缺問題。在博世互聯世界 2024 大會上，馬斯克表示，人工智能算力每 6 個月就會提升 10 倍，預計在未來的兩年里，行業關注點將從“缺硅”轉

47、向“缺電”，恐成為制約人工智能發展的關鍵因素。從算力和數據需求來看，AI 芯片朝高算力、高集成方向發展，AI 訓練所需數據量未來將大幅增長。據預測，到 2025年，AI 業務在全球數據中心用電量中的占比將從 2%激增到 10%，數據處理需求將顯著加大能源消耗。從模型訓練來看，新模型迭代升級大幅提升能源消耗量。例如 GPT-4 的訓練能耗是 GPT-3 的 40 倍以上，相當于一個普通家庭日均用電量的 68 萬倍。從模型應用來看，AI 應用的廣泛部署同樣帶來了顯著的能源消耗。與訓練階段相比，應用階段占據了 AI 系統約 60%的能量消耗。據 SemiAnalysis 研究，一次由AI 驅動的谷歌

48、搜索耗電量為 2.9 瓦時，是傳統搜索方式的 10 倍。21各國積極探索多元化路徑以應對能源短缺問題。一是強化政策引19AVision for SovereignAI:Indias Collaboration with NVIDIA.Muskan Goel(2024,February27).https:/ AI 強國的先決條件？，載南亞研究通訊，https:/ 年）19領與規范。歐盟人工智能法規定，“高風險人工智能系統”需報告其能源消耗和資源使用情況，以合理評估 AI 的能耗影響。美國能源部國家實驗室發布AI 能源前沿研究方向報告，提出加速清潔能源應用，以應對 AI 能源挑戰的戰略構想。22二

49、是加大對可再生能源的投資與能源技術創新。政府層面，美國能源部通過量子計算計劃部署了百億億次級計算系統，為能源產業的復雜建模與仿真提供強大支持。產業層面，多家科技公司加速布局核能、太陽能等可再生能源。例如微軟正籌備利用新一代小型模塊化反應堆（SMR）支持其數據中心和 AI 項目，Alphabet、OpenAI 等科技公司同樣正加大核能投入力度。三是利用人工智能技術節能減碳。例如通過優化人工智能模型，采用剪枝、量化、蒸餾等先進技術大幅降低能耗。英特爾推出的 AI大模型 Hala Point，能耗僅為傳統計算機的百分之一，節能成效顯著。（三）制度技術治理并進：全生命周期確保安全可控（三）制度技術治理

50、并進：全生命周期確保安全可控1.制度應對：事前事中事后全流程監管方案（1）透明度率先成為各國普遍認可的人工智能監管工具在監管層面，人工智能透明度是一種“信息收集、信息公開和信息共享機制”23，在各國實踐中率先從規則走向實踐。各國對如何劃定透明度范圍存在不同標準。一是算力標準。美國14110 號行政令以運算能力的高低劃分備案范圍，要求浮點計算能力超過 1026的模型向聯邦政府披露必要信息。2024 年上半年，OpenAI 等部分大模型、22AI for Energy Report 2024|Argonne National Laboratory.https:/www.anl.gov/ai/ref

51、erence/ai-for-energy-report-2024.23參見高小芳.作為新型信息規制工具的行政備案：角色變遷、功能定位與效能保障J.中國行政管理,2021(09):26-33.人工智能治理藍皮書（2024 年）20云廠商企業已根據14110 號行政令要求向商務部披露相關信息。二是場景標準。2024 年 5 月美國科羅拉多州 SB205 法案將教育、就業、金融等領域的人工智能劃入法律監管范圍。歐盟人工智能法則要求醫療、交通等場景下高風險人工智能模型向歐盟數據庫報備。三是用戶數標準。2024 年 9 月美國加利福尼亞州通過的人工智能透明度法案（SB 942）要求每月用戶超過 100

52、萬的 AI 系統履行透明度義務。向監管部門披露的具體形式內容存在差異。歐盟、新加坡要求采用產品信息披露的形式，相關主體須編制詳細的透明度信息目錄，包括聯系方式、人工智能運行機制、市場投放狀態、認證類型及有效期等內容。類似地，新加坡生成式人工智能治理框架提出以“食品標簽”的形式披露相關信息。美國的披露內容更為具體，體現了對前沿人工智能和國際競爭的關注。美國14110 號行政令要求向聯邦機構提供紅隊測試情況、隱私審查情況、外國客戶情況等信息。我國的披露內容涉及數據、模型等要求，重點關注用戶權益保護和信息內容安全，要求說明模型數據來源、規模、類型、標注規則等。截至到11 月 17 日，我國國家網信辦

53、發布生成式人工智能備案信息共 309 家，注冊用戶超六億。24（2）監管沙箱為人工智能創新提供靈活監管方案人工智能監管沙箱是一種創新監管工具，被稱為“在監管存在之前進行監管”。監管沙箱能夠為人工智能提供安全可控的測試空間。24中國網信網：國家互聯網信息辦公室關于發布生成式人工智能服務已備案信息的公告，https:/ 年）212024 年 8 月，為有效應對前沿人工智能風險，美國參議院人工智能核心小組要求金融機構設立人工智能測試沙箱，以安全、負責任地試驗金融服務領域的前沿人工智能技術。歐盟人工智能法第 53 條將 AI 監管沙盒界定為 AI 產品市場部署前的“受監管和指導的可控測試環境”。監管沙

54、箱為監管機構制定和適時調整規則提供實踐基礎。歐盟于 2024 年 6 月發布簡報指出，“支持監管學習”是設立監管沙箱的核心目標之一。信息與民主論壇建議通過沙箱賦予監管機構訪問AI 系統 API 的權限，以便監管機構有效分析人工智能模型。25此外，西班牙和瑞士蘇黎世州均將提供監管建議、支持標準制定等作為設立監管沙箱的重要目的。監管沙箱在促進技術創新、提高產品市場接受度等方面發揮重要作用。一方面，監管沙箱為技術方提供資金扶持、數據資源和政策引導，例如韓國對申請進入沙箱的“特例”企業提供專項基金支持；瑞士蘇黎世州承諾在 AI 監管沙盒中開放新數據源。北京 AI 數據訓練基地監管沙盒允許企業采用弱版權

55、保護政策等激活數據資源，鼓勵探索新場景、新技術和新模式。26另一方面，監管沙盒為參與企業提供政府背書，有助于增強其市場競爭力。例如西班牙政府為成功通過沙箱試驗的項目頒發“符合性印章”，顯著提升了參與企業的市場競爭優勢。（3）問責制是培育可信人工智能生態的關鍵問責制的核心在于通過事前責任分配和事后“安全網”明確各主25張廣偉：歐盟人工智能監管沙盒制度的功能、局限及其啟示基于歐盟的解析.載 德國研究,2024,39(02).26曹政：國內第一個人工智能數據訓練基地、北京最大的公共算力平臺同日啟用 最強算力設施練就“最強大腦”，載北京日報，https:/ 年）22體權利義務。一是建立清晰的責任分配制

56、度。一方面，靈活調整歸責原則為人工智能問責制提供底層邏輯。2024 年 11 月，歐盟人工智能責任指令提出了因果關系推定規則，當受害者已盡合理努力卻無法獲得支持賠償請求的證據時，法庭可命令披露高風險人工智能系統的相關信息。另一方面，擴大責任主體范圍成為人工智能問責制的重要方向。2024 年 3 月，美國國家電信和信息化管理局發布的人工智能問責政策報告強調，人工智能系統的開發者和使用者需對產品的整個生命周期負責，確保其不會對社會或個人帶來負面影響。2024年 5 月，新加坡發布的生成式人工智能模型治理框架根據開發鏈各主體的控制能力分配責任，要求人工智能開發全鏈條的參與者，包括模型開發者、應用程序

57、部署者、云服務提供商等，均需對最終用戶負責。二是建立新型多樣救濟制度。新加坡治理框架創新性地提出靈活高效的新型救濟機制，將開發者的責任承諾、產品損害責任與無過失保險結合，確保在風險發生時能夠為受害者提供有效救濟。三是類推適用“避風港”規則。人工智能服務同時參與內容的生產和傳播，打破了創作者-提供者的二分結構，應靈活適用“避風港”規則。我國人工智能法（學者建議稿）規定，權利人應承擔發現和通知的前置義務，合理分配使用者、提供者等各方的注意義務，而非由提供者獨立承擔全部責任。2.技術治理：以技治技化解新技術內生風險當前，技術工具在人工智能治理中發揮愈加重要的作用。一方面，越來越多的制度要求需要技術工

58、作予以落地，例如通過內容標識技術人工智能治理藍皮書（2024 年）23實現透明度；另一方面，更多的技術工具被寫入各國制度文件中，比如紅隊測試被納入歐盟人工智能法、美國14110 號行政令中。因此，推進安全技術研發和應用日益重要且迫切。（1）評估評測對事前風險研判具有重要作用多國將評估評測作為人工智能風險管控的基礎工具。美國拜登政府簽署的14110 號行政令要求聯邦貿易委員會制定嚴格的人工智能安全測試標準，以加強對前沿人工智能系統的安全監管。同時，美國商務部國家電信和信息管理局就大模型的評估標準廣泛公開征求意見，旨在構建全面嚴謹的評估框架。歐盟將安全測試作為市場準入門檻，人工智能法對高風險人工智

59、能產品提出要求，在部署前需由歐盟官方指定的第三方機構實施 CE 認證。中國探索安全評估配套落地標準，例如 2024 年 8 月生成式人工智能安全服務基本要求詳細規定了生成式人工智能服務在安全方面的基本要求，包括語料安全、模型安全、安全措施等。產業界對人工智能安全測試的關注度顯著提升，測試類型與數量不斷豐富。據英國政府估計，當前人工智能安全領域市場規模已超過6 億英鎊，并預計將在未來 10 年增長 6 倍。27中國信通院統計數據顯示，截至 2023 年底，產學研各界已經累計報告了 325 項與大模型基準測試相關數據集、方法及榜單等研究成果。值得注意的是，僅 2023年一年出現的基準測試集數量超過

60、之前 5 年之和，達到 209 個。在眾多測試類型中，三大領域較為突出。一是大模型基準測試體系和工具，27英國科學、創新與科技部網站：確保對 AI 的信任，在未來十年釋放 65 億英鎊，https:/www.gov.uk/government/news/ensuring-trust-in-ai-to-unlock-65-billion-over-next-decade。人工智能治理藍皮書（2024 年）24如中國信息通信研究院依托中國人工智能產業發展聯盟（AIIA），與多家企業聯合推出的大模型安全基準測試（AI Safety Benchmark），該測試構建了 300 余萬條關鍵詞，50 余萬

61、條提示詞規模的測試數據集，以及 80 余種經過驗證的攻擊方法模板，在評估國內外大模型安全性能方面表現突出，旨在幫助識別安全風險、分享典型樣本，并應用技術手段化解已知安全風險。至今，該測試已發布 3 批次結果，完成了對 30 余個大模型的評估工作。二是測評數據集，這類測試對于提升模型性能、保護數據隱私與安全、以及支持行業應用具有重要作用。例如，上海人工智能實驗室的司南 OpenCompass 平臺，集成了58 項評測數據集，覆蓋從基礎對話到醫療、法律、視覺識別等多個領域。三是大模型測評榜單，大模型能力評估是推動大模型進步的關鍵，通過榜單數據，用戶和企業能夠清晰了解不同模型的性能差異，從而選擇最適

62、合其需求和應用場景的工具。例如 Hugging Face 推出開源大模型排行榜單 Open LLM Leaderboard，為行業提供了對大模型能力的直觀比較和評估。來源：中國信息通信研究院圖 7AIIAAI Safety Benchmark 2024 Q2人工智能治理藍皮書（2024 年）25（2）內容標識有助于提升內容真實性與準確性一般而言，內容標識是指用于確保數字內容質量和真實性的一種技術，通常將某些特定信息（如文件名、創建日期或作者）嵌入數字內容以驗證真實性和準確性，可分為顯性標識28與隱性標識29兩類。生成內容標識為內容安全治理提供重要技術支撐。歐盟 人工智能法主張建立便于用戶區分生

63、成內容的標識與檢測制度。2024 年 3 月，布魯金斯學會生成式人工智能在全球大選年的影響報告提出通過穩定可靠的水印技術標識內容來源與生成情況，幫助選民判斷生成內容的可信程度。我國國家網信辦在 2024 年 9 月發布人工智能生成合成內容標識辦法（征求意見稿），明確規定了 AI 服務提供者和信息傳播平臺在顯性標識方面的責任，AI 服務提供者需對生成的文本、音頻、圖片、視頻等內容進行顯性標識，如文字提示、語音提示或視覺標記；信息傳播平臺需核驗標識內容，及時補充不規范標識，并提供直觀說明以保障公眾知情權。2023 年下半年至今，內容標識規范標準在紛紛推進落地。例如，網絡安全標準實踐指南生成式人工智

64、能服務內容標識方法進一步明確顯式和隱式水印的定義，劃分了文本、圖片、音頻、視頻四類生成內容的標識方法。國內外企業積極探索添加生成內容標識的實踐做法和技術方案。2023 年 7 月，谷歌、微軟、OpenAI 等七家美國人工智能巨頭就做出自愿承諾，同意在生成音頻和視頻內容上使用水印來幫助識別人工智能生成的內28顯性標識即用戶通過肉眼可以觀察到水印內容的標識，該類標識可以提示用戶注意辨別內容的真偽。29隱性標識主要指通過在圖片、音頻、視頻等文件元數據中添加擴展字段的、人類無法直接感知，但可通過技術手段從內容中提取出的標識。人工智能治理藍皮書（2024 年）26容。302023 年 9 月，國內企業更

65、新社區自律公約等規則，要求無論來源的生成內容都應當添加顯性的標識。未來，如何建立統一的標識及解析技術標準，推動內容標識檢測等技術的產業化落地，建立跨國家跨平臺標識互認機制是需要各方協調化解的問題。（3）價值對齊、紅隊測試等技術成為各國治理共識為應對新一輪人工智能安全治理需求，紅隊測試與價值對齊被廣泛應用在模型風險管理中。紅隊測試（Red Teaming）起源于軍事演習的模擬攻擊，通過制造特定語境施加對抗壓力，主動使 AI 被誘導產生不符合預期的輸出或行動（如欺騙、有毒或有偏、權力尋求等），以提高這些場景下 AI 系統的穩健性。自大模型興起以來，OpenAI、Anthropic 等企業探索紅隊測

66、試方式降低模型風險，面向全球招募各學科領域的紅隊測試成員。這些技術做法逐步被相關立法所認可，歐盟人工智能法要求具有系統性風險的模型接受對抗測試和模型對齊；美國14110 號行政令則要求聯邦機構中部署的人工智能系統應接受紅隊測試，達到一定能力的兩用模型的開發者、提供者還需向政府報告紅隊測試結果。紅隊測試能力也成為頂尖人工智能企業的競爭力之一。微軟人工智能部門提出了負責任 AI 紅隊測試框架，其內容包括紅隊成員的招募、測試內容和流程的確定等。Anthropic 在其Claude 模型的使用說明中透露，Claude 模型在上線前曾經過 150 小時以上的對抗攻擊測試。來自各領域的紅隊專家和成熟的測試

67、方案加速了模型的安全測試流程，對 Claude 的成功卓有貢獻。3130谷歌、微軟等“七巨頭”發聲！，載第一財經網，https:/ 年）27價值對齊技術持續發揮源頭性風險治理作用。價值對齊技術旨在使模型理解人類意圖，遵循人類指令，滿足人類偏好并符合人類的道德準則，可以從源頭上將模型風險控制在一定范圍。價值對齊的核心技術主要表現為基于人類反饋的強化學習（Reinforcement Learningwith Human Feedback，RLHF），其將人類反饋轉化為對模型的“獎勵”，使其不斷向人類的意圖靠攏，緩解了大模型生成內容公平性、魯棒性等的倫理挑戰。GPT-4、Llama3 等知名大模型均

68、使用了 RLHF 技術。同時，價值對齊也面臨著許多問題和挑戰。一方面，價值對齊技術面臨全球價值多樣性的挑戰。如何平衡不同文化背景下的價值標準成為一個挑戰。OpenAI、Google 等掌握最先進 AI 技術的實體，實際上擁有了影響用戶價值取向的能力。另一方面，價值對齊技術消耗了大量資源和成本。價值對齊的額外成本被稱為“對齊稅”，為了實現對齊，可能會延長模型開發時間、消耗額外算力，或導致模型性能下降等。OpenAI 等公司也多次公開表示，價值對齊的訓練需要耗費大量的計算資源，成本高達數百萬美元。32（四）人機關系如何重塑：新型風險中推動倫理先行（四）人機關系如何重塑：新型風險中推動倫理先行倫理先

69、行是人工智能治理的價值導向。在人工智能研發應用中，人工智能削弱人類交互自主性33、改變勞動市場和社會結構、引發身份認同危機、帶來生存性風險等問題已引發各方關注。Buck.(n.d.).Alignment faking in large language models.LessWrong.https:/ 1).Visualizing the training costs ofAI models over time.Visual Capitalist.https:/ 年）281.情感陪伴威脅人類交互主體性人形機器人、數字人等應用日益廣泛，例如利用人工智能復活親人已形成產業鏈，能夠模擬已故親人進行視

70、頻對話。隨著基于大模型的聊天機器人能力不斷突破，其為用戶提供情感陪伴服務的能力實現了較大提升。其一，情緒感知能力得到提升。OpenAI 于 2024 年 5 月發布 GPT-4o，該模型可以感知用戶情緒，例如從急促的喘氣聲中理解“緊張”的含義，并模擬情感表達，還具有一定幽默感。其二，情緒具身投射能力得到提升。將大模型嵌入人形機器人后，機器人能夠更好地理解表情、語言、動作，并作出響應。李飛飛團隊的成果將大模型接入服務機器人“天軼”，使其能夠察覺到人類的情緒變化。其三，情感聯系能力得到提升。數字人可以通過個性化互動提升人機交互體驗。例如，通過學習用戶的興趣、偏好和情感反應，從而提供個性化的互動體驗

71、。在抖音、嗶哩嗶哩、YouTube 等國內外直播平臺上，數字人主播已經吸引了大量的粉絲關注，具備了初步的互動能力與情感聯系。對人工智能產生情感依賴可能導致倫理危害。首先，情感依賴將侵蝕人類自主性。例如，人工智能大模型存在“諂媚”問題，會不斷迎合用戶的需求和情感，提供正面反饋并避免負面評價。而真實的人際交往中充滿了多樣性和復雜性，包括負面反饋和情感挫折。34這種反差可能使用戶越來越依賴人工智能，產生心理學上所稱的情感回避問題，侵蝕其自主性和獨立性。其次，情感依賴將影響親密關系、沖擊家庭結構，改變人類社會形態。隨著人與人工智能的情感互動達到34胡曉萌、李倫：防范人工智能引發的倫理風險，載學習時報，

72、https:/ 年）29一定比例，將使用戶回避建立和維持婚姻等親密關系，家庭結構可能受到沖擊，社會可能會逐漸失去多樣性和復雜性，導致家庭結構和社會形態的瓦解。對此，部分企業在開發人工智能產品時，開始考慮用戶的情感健康，探索建立防依賴、防沉迷的相關機制。例如，谷歌語音助手 Google Assistant 中包含情感識別功能，能夠根據用戶的情緒變化提供適當的支持和建議。微軟小冰（Xiaoice）在設計時加入了時間管理和提醒功能，根據用戶與 AI 的互動頻率和內容，對其心理健康狀態進行評估，并在必要時發出警示。學界等積極研究人工智能對人類情感和社交行為的長期影響。例如，美國斯坦福大學成立了“人工智

73、能與倫理研究中心”，匯集了計算機科學家、心理學家和社會學家等多領域的專家，共同研究人工智能對人類情感和社交行為的影響，為制定有效的干預措施提供科學依據。2.勞動替代快于崗位創造引發就業擔憂勞動者的工作不僅是其經濟來源，更是個體在社會中定位和建立社會關系的關鍵。失業會影響個體的自我價值感、社會角色和身份，削弱其在社會中的主體性。與之前相比，新一輪人工智能替代就業的能力、影響范圍等都有了一定提升，需加以高度關注。從行業崗位來看，人工智能替代效應將沖擊中高端收入群體。據2024 年 6 月 BBC 報道，某科技公司在應用人工智能技術后，將負責撰寫博客文章和專欄的采編團隊由原本的60人規?？s減到只剩1

74、人。OpenAI 發表論文指出35，數據處理、金融財會、出版傳媒等行業是受35Eloundou,T.,Manning,S.,Mishkin,P.,&Rock,D.(2024).GPTs are gpts:Labor market impact potential ofLLMS.Science,384(6702),13061308.https:/doi.org/10.1126/science.adj0998.人工智能治理藍皮書（2024 年）30影響最大的行業，制造業、農業、采礦業等受影響較小。從影響方式看，雖然可能受到影響的崗位數量較多，但只有少數崗位有被完全替代風險。高盛人工智能對經濟增長的

75、潛在巨大影響報告，對美國900 個職業和歐盟 2000 個職業的工作任務進行分析認為，人工智能將完全替代美國 7%的工作崗位，并推動 63%的崗位向人機協同的方式轉化，同時預計歐盟也會產生類似影響。36國際貨幣基金組織在 人工智能和勞動世界的未來中指出，人工智能預計將對全球近 40%的工作崗位產生影響，在發達國家這一數字則為 60%。37人工智能發展將對我國未來就業結構產生深遠影響。麥肯錫預測隨著人工智能的發展與應用，到 2030 年我國將有 2.2 億勞動力需要進行技能升級或再培訓，其中客戶服務、后臺支持、IT、創意及藝術管理等職業受到的影響最大。38來源：OpenAI圖 8 不同崗位、受教

76、育程度受 AI 影響大小36The potentially large effects of artificial intelligence on economic growth(Briggs/Kodnani).(n.d.-a).https:/ artificialintelligence and the future of work.International Monetary Fund.38Woetzel,L.,&Seong,J.(2021,January 13).Transforming Worlds largest workforce into lifelong learners.Mc

77、Kinsey&Company.https:/ 年）31但與此同時，人工智能也將帶來新的就業機遇。世界經濟論壇發布未來職業報告顯示39，50%的企業認為人工智能技術將增加工作崗位，25%的企業認為將減少工作崗位。其中當前已創造就業規模較大的是數據標注員崗位。量子位智庫發布的中國 AIGC 數據標注產業全景報告顯示，大模型時代，數據標注員人才缺口或達百萬。2023 年 8 月，百度智能云與?？谑姓献鞴步ǖ膰鴥仁讉€大模型數據標注中心正式啟動運營，現擁有數百名專職大模型數據標注師，本科率達到 100%，未來三到五年，新增就業有望突破 5000 人規模。在寧夏吳忠人工智能產業園，數據標注行業也已解決

78、數百人就業，且收入相對穩定。面對人工智能對勞動市場帶來的影響，應重點關注 AI 替代就業和創造就業的速度，通過監測、培訓等方式保持二者基本同步，通過社會保障防范二者脫節風險。例如，建立人工智能對勞動力市場影響的監測機制。對被替代勞動人群進行常態化調研并建立專業的勞動替代趨勢測算機構，對中短期內可能引發大規模就業替代風險的人工智能技術及其應用進行預警，為制定和啟動針對性的應對方案提供依據。嘗試通過培訓降低勞動力市場的主體性沖擊。通過技能提升和再培訓，可以有效緩解人工智能對勞動力市場的沖擊，促進就業市場的平穩過渡和勞動者的可持續發展。例如，英國公布人工智能技能提升指南以提高勞動力生產力，旨在使雇主

79、和培訓提供商能夠支持工人適應人工智能驅動的工作場所。谷歌承諾投入 2500 萬歐元，將用于幫助“最39The Future of Jobs Report 2023.World Economic Forum.https:/www.weforum.org/publications/the-future-of-jobs-report-2023/人工智能治理藍皮書（2024 年）32有可能從培訓中受益”的人。3.智能失控潛藏人類生存性風險引爭議通用人工智能是否會引發生存性風險成為新一輪人工智能治理的焦點議題。2024 年 10 月，“卷積網絡之父”、圖靈獎得主楊立昆接受華爾街日報采訪時指出，當前通用人

80、工智能的智能水平遠未達到構成威脅的程度，認為人工智能帶來生存性風險的警告毫無依據。2024 年 5 月，約書亞 本吉奧(Yoshua Bengio)、杰佛瑞 辛頓（GeoffreyHinton）、姚期智教授等圖靈獎得主領銜在Science發文指出，不受控制的人工智能可能最終導致生物圈大規模滅亡、人類被邊緣化甚至滅絕風險。40一方面，過度依賴人工智能可能導致人類決策權讓渡給機器。通用人工智能在決策，特別是跨專業領域的復雜決策中相對人類將具有顯著優勢，如果人類過度依賴人工智能，將可能實質上受到控制。辛頓教授預測，在未來 5 到 20 年內，人類有 50%的可能性將面對人工智能接管經濟的問題。41另

81、一方面，通用人工智能具備控制人類目標的能力，可能背離人類長期福祉。AGI 可能擁有遞歸自我改進的能力，并可能發展出防止被關閉、修改或控制的自我保護機制，從而與人類的控制目標發生沖突。Yoshua Bengio 曾提出思想實驗：“我們讓人工智能解決氣候變化問題，它可能會設計出一種病毒，殺死大量人口，因為我們的指令中危害二字的含義不夠清楚，而人40Bengio,Y.,Hinton,G.,Yao,A.,Song,D.,Abbeel,P.,Darrell,T.,Harari,Y.N.,Zhang,Y.-Q.,Xue,L.,Shalev-Shwartz,S.,Hadfield,G.,Clune,J.,M

82、aharaj,T.,Hutter,F.,Baydin,A.G.,McIlraith,S.,Gao,Q.,Acharya,A.,Krueger,D.,Mindermann,S.(2024).Managing extreme AI risks amid rapid progress.Science,384(6698),842845.https:/doi.org/10.1126/science.adn0117.412024 諾貝爾物理學獎獲得者 Geoffrey Hinton：我很擔心未來人類能否控制 AI中企薦讀，載中國企業家雜志，https:/ 年）33類實際上是解決氣候危機的主要障礙?！?2對

83、此，國際社會考慮明確人工智能“風險閾值”并進行早期預警評估。谷歌推出人工智能前沿安全框架提出，應識別模型可能具有嚴重危害的能力閾值；定期評估前沿模型，以檢測它們何時達到這些關鍵能力閾值；當模型達到早期預警評估時，應用緩解計劃。對于如何確定風險閾值，國際上產生不同定義方案，例如有部分企業選擇將“能力閾值”作為“風險閾值”的替代方案，例如 Anthropic 發布負責任拓展政策，提出對前沿人工智能在 CBRN 等領域的應用能力進行評估，確保部署的模型能力保持在可控閾值之下。也有采用可操作性更高的“計算閾值”作為風險接受度標準，例如美國14110 號行政令 僅對算力水平超過 1026的人工智能設置信

84、息披露等強監管義務。三、多元主體協同推進人工智能治理進程（一）主要經濟體政府監管模式各異，規則落地取得實質進展（一）主要經濟體政府監管模式各異，規則落地取得實質進展1.美國堅持促進創新的治理理念，多部門協同推進落地在過去四年執政期間，拜登政府相繼發布人工智能權利法案藍圖關于利用人工智能實現國家安全目標的備忘錄等政策文件，形成以14110 號行政令為核心，以聯邦各政府部門指引文件為分支的傘狀式治理架構。一是支持人工智能科技創新，推動人工智能增進社會福祉。研發方面，發布國家人工智能研究與發展戰略計劃，42Mitchell,M.(2024).Debates on the nature ofArtif

85、icial General Intelligence.Science,383(6689).https:/doi.org/10.1126/science.ado7069.人工智能治理藍皮書（2024 年）34并啟動國家人工智能研究資源（NAIRR）試點項目43，為全美多地科研團隊提供高端算力與數據集支持。人才方面，政府加大對頂尖人才吸引和培養力度，明確 O-1 和 H-1B 簽證規則、簡化簽證流程，并投資數百萬美元培養人工智能創新人才。二是加強前沿人工智能監管力度，探索建立安全治理框架。美國商務部等政府部門已經圍繞 14110號行政令開展數十項落地行動，包括針對先進人工智能模型的相關風險收益、生

86、成式人工智能風險管理方法、紅隊測試最佳實踐等提出公眾咨詢或制度方案。44總體來看，美國政府將監管焦點擴展至前沿人工智能領域，尤為關注前沿人工智能在自啟動核武器、生物合成、化學等領域的潛在生存性風險，要求部分企業按季度披露紅隊測試結果、前沿模型訓練計劃等信息。與此同時，繼美國國家標準與技術研究院發布人工智能風險管理框架 1.0后，白宮科技政策辦公室等機構相繼對生成式人工智能、兩用基礎模型、核酸合成篩查等具體領域發布安全框架。45三是多方位參與人工智能國際合作，搭建安全研究網絡。積極參與多邊機制并與主要經濟體就國際規則規范進行接觸協商。推動聯合國大會通過首個人工智能全球決議，積極簽署歐洲委員會人工

87、智能與人權、民主和法治框架公約，支持建立國際法紅線等。與此同時，聯合英日等十國成立“全球人工智能安全研究合作網絡”，推進人工智能安全國際合作進程。462.歐盟正式出臺人工智能立法，加速人工智能監管落地43Democratizing the future ofAI R&D:NSF to launch NationalAI Research Resource pilot.https:/new.nsf.gov/news/democratizing-future-ai-rd-nsf-launch-national-ai44https:/ 年）352024 年 8 月 1 日，歐盟人工智能法正式生效，標

88、志著歐盟全面邁向具有強制約束力的法律規制階段，初步形成以 人工智能法為核心，輔以通用數據保護條例數字服務法數字市場法等法規的全面治理體系。從核心內容來看，一是根據應用場景確立四級風險體系，將社會信用評分、預測性警務、在工作和教育中的情緒識別系統等列為不可接受風險并禁止使用。二是將基本權利影響評估、透明度作為核心義務要求，體現濃厚的個人權利保障訴求。三是要求10 億以上參數或浮點算力超過 1025的通用目的人工智能，在履行影響評估、透明度之外，還需承擔對抗性測試、嚴重事故報告等義務。從實施角度來看，一是在法案執行機構方面，構建多層級人工智能監管網絡。2024 年 5 月，歐盟正式成立人工智能辦公

89、室，全面負責監督和協調成員國人工智能研發和部署的合規情況，并制定統一的細化標準。47各成員國將在 2025 年 8 月 2 日前設立各自的人工智能監管機構。48二是法案解釋方面，制定準則指南等具體實施細則。歐盟將成立獨立的人工智能專家科學小組，為人工智能法的細化實施提供科學有效的指導。2024 年 11 月，歐盟發布通用目的人工智能模型行為準則（初稿），并啟動人工智能系統定義和禁止用例指南的起草工作。三是在企業自律方面，積極通過人工智能公約推進企業自愿承諾。谷歌、OpenAI 等超過 120 家企業已簽署該公約，共同建立企業間最佳實踐交流平臺和法案遵守情況共享機制，承諾采取高標準約束性措施，對

90、高風險人工智能系統進行精準識別及監管。四47https:/digital-strategy.ec.europa.eu/en/news/commission-establishes-ai-office-strengthen-eu-leadership-safe-and-trustworthy-artificial48https:/eur-lex.europa.eu/eli/reg/2024/1689/oj人工智能治理藍皮書（2024 年）36是在國際合作方面，推動形成國際法約束規則。2024 年 9 月，歐盟與美英等國共同簽署人工智能、人權、民主和法治框架公約49，推動首個具有法律約束力的國際性

91、 AI 公約落地。3.我國構建四大層級制度體系，初步形成三項落地舉措從橫向來看，我國堅持人工智能發展與安全并重，強調國家主導，涵蓋頂層設計、法律制度、部門規章和技術標準四大層面，形成了由政府引導、多部門協同、公私部門合作參與的全方位治理格局。2017年，國務院發布新一代人工智能發展規劃，確立人工智能治理總體目標和規劃，到 2020 年，部分領域的人工智能倫理規范和政策法規初步建立。2025 年，初步建立人工智能法律法規、倫理規范和政策體系，形成人工智能安全評估和管控能力。2030 年，建成更加完善的人工智能法律法規、倫理規范和政策體系。已有立法為人工智能治理奠定扎實制度基礎。個人信息保護法網絡

92、安全法數據安全法三部立法從基礎設施、數據要素、自動化決策等方面對人工智能進行了要素治理，民法典 電子商務法 反不正當競爭法等立法針對性回應人工智能帶來的肖像權侵犯、惡意競價排序等問題。50表 2 我國人工智能相關的主要制度文件制度類型制度類型時間時間名稱名稱頂層設計2017新一代人工智能發展規劃2019新一代人工智能治理原則2021新一代人工智能倫理規范2023全球人工智能治理倡議法律制度2017網絡安全法2021個人信息保護法49https:/digital-strategy.ec.europa.eu/en/news/commission-signs-council-europe-frame

93、work-convention-artificial-intelligence50https:/ 年）372021數據安全法2021科學技術進步法部門規章2022互聯網信息服務算法推薦管理規定2022互聯網信息服務深度合成管理規定2023生成式人工智能服務管理暫行辦法技術標準2020國家新一代人工智能標準體系建設指南2022網絡安全標準實踐指南生成式人工智能內容標識方法2023生成式人工智能服務基本安全要求2024人工智能安全治理框架1.0 版2024國家人工智能產業綜合標準化體系建設指南（2024 版）來源：中國信息通信研究院部門規章方面，我國人工智能治理自 2017 年起至今經歷了三個階段

94、，體現出急用先行的治理特點。第一階段（2017-2020 年），技術普及尚處于起步階段，技術創新主要體現在語音助手、智能家居和無人機等智能設備的興起，主要風險集中在數據隱私等問題上。2017年，我國出臺 互聯網新聞信息服務新技術新應用安全評估管理規定，要求涉及新技術和新應用的新聞信息服務開展安全評估?？傮w來看，該階段主要以柔性治理為主，依靠政策引導和自愿參與等方式。第二階段（2021-2022 年），算法推薦技術逐漸成為數字經濟的重要驅動力，其應用范圍從電商、短視頻拓展至金融、教育等多個領域。技術濫用的典型表現包括“大數據殺熟”、信息繭房效應、虛假信息等。2021 年，我國頒布互聯網信息服務算

95、法推薦管理規定，明確了平臺、用戶和政府三方主體的權責邊界。其治理特點是強化平臺主體責任。51第三階段（2023 年至今），生成式人工智能迅速崛起，典型51互聯網信息服務算法推薦管理規定第七條規定：“算法推薦服務提供者應當落實算法安全主體責任，建立健全算法機制機理審核、科技倫理審查、用戶注冊、信息發布審核、數據安全和個人信息保護、反電信網絡詐騙、安全評估監測、安全事件應急處置等管理制度和技術措施，制定并公開算法推薦服務相關規則，配備與算法推薦服務規模相適應的專業人員和技術支撐?！比斯ぶ悄苤卫硭{皮書（2024 年）38風險主要包括深度偽造、知識產權糾紛、不可控風險、勞動替代等，2023 年，我國發

96、布生成式人工智能服務管理暫行辦法，明確了生成式 AI 服務提供者的責任，包括確保數據來源合規、生成內容的標識性要求等。其治理特點體現為敏捷治理、多元治理等理念，推動多方共同構建跨領域、跨國界的治理生態。標準方面，各部門圍繞產業發展和風險治理出臺多項人工智能標準，為企業合規提供具體指引。2020 年 7 月，國家標準化管理委員會等五部門印發國家新一代人工智能標準體系建設指南，對人工智能的基礎共性標準、支撐技術與產品標準等八個方面的治理目的和治理標準進行了明確規定。2024 年 2 月，全國網絡安全標準化技術委員會發布 TC260-003生成式人工智能服務安全基本要求，重點針對語料安全、模型安全、

97、安全措施、安全評估等事項進行具體指引，為生成式人工智能服務提供者的合規義務履行提供詳細指導。2024年 7 月，工業和信息化部等部門聯合印發國家人工智能產業綜合標準化體系建設指南（2024 版），從基礎共性標準、基礎支撐標準等七方面明確標準化體系建設的重點方向，提出到 2026 年，我國人工智能產業標準與產業科技創新的聯動水平持續提升，新制定國家標準和行業標準 50 項以上，引領人工智能產業高質量發展的標準體系加快形成。2024 年 9 月，國家網信辦發布強制性網絡安全技術人工智能生成合成內容標識方法（征求意見稿）標準，明確細化了 人工智能生成合成內容標識辦法（征求意見稿）中的標識要求和具體人

98、工智能治理藍皮書（2024 年）39操作指引。52實踐方面，我國形成監管備案、倫理審查和安全框架三個維度相互獨立又緊密關聯，各有側重但相輔相成的制度保障體系。在監管備案方面，隨著備案項目數量的不斷增加和用戶基礎的擴大，監管備案制度在增強透明度、保障用戶權益以及推動行業健康發展方面發揮了愈發重要的作用。在倫理審查方面，通過推進人工智能等領域的倫理審查方法，為行業發展提供了科學的指導工具。未來，如何進一步明確人工智能科技倫理審查范圍、審查標準、審查流程，推動人工智能科技倫理的技術化、工程化、標準化，成為各方關心的問題。在安全框架方面，人工智能安全治理框架1.0 版本的發布進一步完善了治理的落地指引

99、工作。這一框架分為 7 個子類，共 26 項具體內容，從風險識別、防控到治理，明確了人工智能安全發展的方向，為行業構建了安全管理的“防火墻”。（二）企業和專業機構等主體創新探索，形成協同共治生態圈（二）企業和專業機構等主體創新探索，形成協同共治生態圈科技企業、技術社區、行業共同體作為人工智能研發、部署和應用第一線的先行者，通過提供技術工具、充當“資源中介”、促進信息流動以及參與國際治理等發揮重要作用。1.企業自愿性承諾成為重要手段，不斷創新技術治理策略一方面，頭部科技企業積極尋求與監管者溝通合作，力求通過自愿承諾、自我約束的方式參與 AI 治理。2023 年，先后兩批共 15 家52以顯性標識

100、為例，網絡安全技術人工智能生成合成內容標識方法（征求意見稿）標準第五部分詳細規定了文本、圖片、音頻和視頻內容的標識要求，以及交互場景界面的標識要求。人工智能治理藍皮書（2024 年）40大模型開發、軟硬件廠商等企業向美國政府作出自愿性承諾，承諾將履行紅隊測試、數字水印等義務。53隨后，美國將這些企業所承諾采取的治理工具推向國際，逐漸轉化為全球人工智能治理的通用手段，對全球人工智能治理的具體落地方案發揮了實質性影響。另一方面，企業探索開發新技術治理策略，并創新制度解決方案。例如，IBM 推出了 AI FactSheets 360 網站，提供關于人工智能模型重要特征（包括目的、性能、數據集、特征等

101、）的“情況說明書”組裝方法。54OpenAI提供“版權盾”（Copyright Shield）侵權賠償基金，解決用戶因使用GPT 而引發的版權糾紛；提出漏洞賞金計劃等。Anthropic 公司發起人工智能憲法（ConstitutionalAI）公眾參與計劃，探索公眾價值觀和不同偏好。55值得注意的是，近期產業競爭加劇，危及企業自愿承諾落地實踐。2023 年以來，谷歌、Meta、亞馬遜等廠商接連升級大模型產品，激烈競爭局勢下 OpenAI 旗下產品用戶訪問量一度出現負增長。國內來看，大模型廠商打響價格戰，各大企業通過降價策略搶占市場份額。例如字節豆包大模型在 B 端市場的定價為 0.0008 元

102、/千 Tokens，比行業便宜 99.3%。激烈的市場競爭恐遲滯行業的安全治理落地實踐。繼2023 年 11 月 OpenAI“換將風波”之后，2024 年 5 月，OpenAI 超級對齊團隊兩位負責人接連離職，OpenAI 進而解散了代表公司安全負責任形象的超級對齊團隊。微軟、谷歌也相繼解散道德倫理團隊，安53https:/www.whitehouse.gov/briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-administrationsecures-voluntary-commitments-from

103、-eight-additional-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/54IBM Research,IBMArtificial Intelligence Pillars(30August 2023),accessed 17 September 2023.55https:/ 年）41全承諾的效力受到一定影響。2.政府引導下專業機構百花齊放，在協同治理中角色凸顯鑒于新一輪人工智能技術的復雜性、不可控性提升，政府支持引導下專業力量的興起，在優化人工智能技術治理方面發揮了舉足輕重的作用。一是美國國家標準與

104、技術研究所（NIST）為代表的標準化機構。通過組建生成式 AI 公共工作組56，集結了 2500 多名技術專家與志愿者，推動 IBM、Google、OpenAI 等企業內部風險管理流程與NIST 風險管理框架對接，同時相關成果被納入拜登政府14110 號行政令。二是以新加坡 AI Verify 基金會為代表的公益開放組織。在新加坡信息、通信及媒體發展管理局（IMDA）支持下，基金會通過開放編輯和全球協作開發 AI 檢測工具，共享人工智能測試框架、代碼庫、標準和最佳實踐。例如，聯合其他設計伙伴推出 ProjectMoonshot，初步彌補早期工具包在測試大語言模型方面的能力缺陷。57國際層面，推

105、進 AI Verify 工具包與歐盟、經合組織和新加坡等多個國際監管框架對齊，提升國際合作軟實力。三是以人工智能安全研究所為代表的安全研發機構。自 2023 年 11 月以來，英、美、日、韓等國依托政府部門或科研機構組建人工智能安全研究所，如，美國設在商務部下屬國家標準與技術研究院，日本設在經產省管轄的信息處理推進機構（IPA）等。國內來看，包括中國信通院、中國科學院、上海人工智能實驗室、北京智源人工智能研究院、清華大學、北京大學等在內的科研機構、高等院校等在人工智能安全基準、技術標準、評56https:/www.nist.gov/news-events/news/2023/06/biden-

106、harris-administration-announces-new-nist-public-working-group-ai57https:/aiverifyfoundation.sg/project-moonshot/人工智能治理藍皮書（2024 年）42測工具等方面已具有良好積淀?？傮w來看，各方安全研究機構在打造人工智能安全標準和指南、推進人工智能安全評估與測試、推進安全研究國際合作等方面均發揮重要作用。3.行業社區組織形式日益多樣化，構建高效開放的生態圈企業等私人主體積極搭建產業聯盟，探索提升人工智能安全性能的坐標尺。國際層面，2023 年 12 月，Meta、IBM 等全球 50

107、多個創始成員和合作者，聯合發起成立人工智能聯盟（AI Alliance）58，開發和部署基準和評估標準、工具和其他資源，以加速 AI 技術負責任的創新與發展。2024 年 2 月，包括 200 多家非營利組織、大學、研究團體和企業的美國人工智能安全研究聯盟宣布成立59，與國際合作伙伴一同制定人工智能模型合作研究和安全指南、開發和推廣風險管理工具，并建立人工智能安全事件應急響應機制。國內層面，中國人工智能產業發展聯盟（AIIA）提出“人工智能風險管理體系”60，起草并組織企業簽署人工智能安全承諾，推出針對大模型、人臉識別等典型應用的風險防控標準，形成安全防御的“坐標尺”，并建設了大模型安全動態評

108、測系統、內容標識平臺，建設安全防控的“工具箱”。此外，通過開源社區建設、賽事激勵機制、國際論壇的思想碰撞等形式61，逐步形成多元且敏捷的 AI 治理平臺。這一平臺不僅為行業提供了豐富的交流與合作機會，還在技術創新與應用推廣方面構58https:/ 2024 年 10 月舉辦的第五屆中國人工智能大賽，https:/ 年）43建了一個高效開放的生態圈。來源：中國信息通信研究院圖 9 中國人工智能行業自治圖譜（三）國際人工智能治理日益深化，三大維度熱點持續深化（三）國際人工智能治理日益深化，三大維度熱點持續深化新一輪人工智能技術創新導致治理舉措急劇增加，國家、國際和區域組織等競相發布原則、宣言、聲明

109、等，全球人工智能治理格局復雜而分散，包容性有待進一步提升。1.機制層面，聯合國醞釀新的人工智能治理協調機制聯合國致力于實現全球人工智能治理的協調和統合，新進程建設進入窗口期。2024 年 5 月發布的聯合國系統人工智能治理白皮書指出，聯合國系統在技術、氣候、裁軍、衛生等領域的規范制定和共識建立、能力發展和國際合作方面發揮著獨特作用，展現了其在引導和塑造全球人工智能治理框架中具有重要潛力。2024 年 3 月，聯合國大會通過了首個有關人工智能的全球決議抓住安全、可靠和值得人工智能治理藍皮書（2024 年）44信賴的人工智能系統帶來的機遇，促進可持續發展62，強調人工智能系統倫理、人權保護、數據安

110、全，支持 17 項可持續發展目標。2024年 7 月，聯合國大會通過中國主提的加強人工智能能力建設國際合作決議，強調通過國際合作幫助各國尤其是發展中國家加強人工智能能力建設，促進人工智能的包容性、普惠性和可持續發展。9 月 22日，聯合國未來峰會發布全球數字契約，就聯合國框架下全球人工智能治理達成初步方案。63一方面，聯合國內部現有機構積極依托現有框架，推進全球人工智能治理落地。例如國際電信聯盟（ITU）作為聯合國負責信息通信技術事務的專門機構，擔任聯合國系統機構間人工智能工作組聯合主席，在人工智能標準制定、監管政策協調等方面具有獨特優勢，通過建立“人工智能惠及人類”（AI for Good）

111、全球公益平臺及峰會、發布聯合國系統人工智能治理白皮書等方式推動人工智能治理全球合作。另一方面，醞釀新的協調機制，提出設立發揮粘合劑作用的協調機構。9 月 19 日，聯合國人工智能高級別咨詢機構終期報告發布，核心是在聯合國秘書處下設立人工智能辦公室，以應對當前人工智能有關倡議在代表性、協調性和實施性上面臨的碎片化挑戰。64報告還提出建立人工智能科學小組、政策對話、標準交流中心、能力發展網絡和基金、數據框架等七項建議，強調從民用航空、海上作業或核能全球治理的實體模式中吸取與審計和監測程序有關的經驗教訓。62https:/www.state.gov/united-nations-general-as

112、sembly-adopts-by-consensus-u-s-led-resolution-on-seizing-the-opportunities-of-safe-secure-and-trustworthy-artificial-intelligence-systems-for-sustainable-development/63https:/www.un.org/zh/documents/treaty/A-RES-79-1-Annex-I64https:/news.un.org/zh/story/2024/10/1132941人工智能治理藍皮書（2024 年）452.議題層面，人工智能發

113、展優先與風險管控路線并行一方面，國際社會提出以能力建設為抓手彌合智能鴻溝，推動實現可持續發展目標。聯合國在推動全球人工智能能力建設方面發揮關鍵作用。2024 年 9 月，聯合國全球未來峰會聚焦 AI 加劇數字鴻溝的風險，圍繞“為人類管理人工智能”主題，探討數據、技術與治理的互聯互通。峰會通過全球數字契約，倡導“以人為本的 AI 治理”，鼓勵成員國加強公共教育以提升數字技能，并敦促電信運營商增強偏遠地區網絡覆蓋，確保 AI 發展惠及全人類。65多邊組織支持發展中國家提升人工智能研發與應用能力。二十國集團（G20）發布G20數字鴻溝倡議及數字公共基礎設施系統框架，提供數字基礎設施資助，增強數據可及

114、性與安全性。經濟合作與發展組織（OECD）通過分享政策與經驗，發布 AI 政府間政策指導方針，幫助制定 AI發展戰略。中國高度關注全球南方的需求，致力于成為能力建設的倡導者與實踐者，推動公平普惠的全球治理。自第 78 屆聯合國大會通過加強人工智能能力建設國際合作決議后，中國迅速采取行動，發布人工智能能力建設普惠計劃，提出“五大愿景”及“十項行動”，覆蓋基建、研發、政策交流等關鍵領域。662024 年 9 月，中國與聯合國秘書處在上海共辦首屆 AI 能力建設研討班，近 40 國代表受益。中方還計劃至 2025 年底舉辦 10 期研修項目，并倡議成立國際合作之友小組，持續推動普惠計劃，確保全球南方

115、平等共享AI發展成果。67另一方面，前沿人工智能安全問題備受國際社會關注。前沿人工65https:/www.un.org/zh/summit-of-the-future66https:/ 年）46智能的風險較一般人工智能體現出更大的不可控性、未知性，加州大學伯克利分校的知名專家斯圖爾特羅素（Stuart Russell）教授指出，人工智能系統可能在新應用場景中暴露出難以預料的災難性缺陷。在組織層面，人工智能安全峰會提供全球對話平臺，推動建立人工智能安全研究合作網絡。在 2023 年 11 月的英國人工智能安全峰會上，與會各方簽署了 布萊切利宣言，強調共同努力設定共同的監管方法，以應對 AI 帶

116、來的機遇和風險。在 2024 年 5 月韓國首爾人工智能安全峰會上，美、英、日等 10 個國家聯合發布“全球人工智能安全研究所合作網絡”計劃，推動全球人工智能安全政策和技術的協同。682025年法國安全峰會將進一步推動各方在安全閾值、安全評估評測等方面達成共識。法國峰會將發布正式版 先進人工智能安全國際科學報告，對前沿人工智能的迅速發展進行科學評估；將討論有關前沿人工智能“嚴重風險”閾值提案；在全球人工智能安全研究網絡下，將進一步推進人工智能安全評估評測等方面合作。3.執行層面，各方推動高層次承諾向可執行政策落地國際組織密集推出各類治理舉措，成為全球人工智能治理首要供給方。根據歐洲委員會正在編

117、制的全球人工智能監管倡議清單，國際組織在 2020 年超過國家行為體成為此類倡議的主要來源。二十國集團兼顧全球南北發展需要，巴西峰會聚焦發展問題。2023 年 9 月，G20 在新德里峰會提出二十國集團領導人新德里峰會宣言，推動建立維護全球數字公共基礎設施儲存庫（GDPIR）。2024 年 11 月，68https:/www.csis.org/analysis/ai-seoul-summit人工智能治理藍皮書（2024 年）47G20 在巴西里約熱內盧召開會議，充分肯定人工智能在推動持續發展方面的關鍵作用，強調支持發展中國家的能力建設，推進“促進創新的人工智能治理”，并將于 2025 年設立人

118、工智能工作組，進一步深化國際合作。七國集團推廣人工智能治理共同價值，爭取人工智能規則制定主動權。2023 年 10 月，G7 就承諾執行廣島進程組織開發先進人工智能系統的國際指導原則和廣島進程組織開發先進人工智能系統的國際行為準則發表聯合聲明。2024 年 3 月，G7 數字部長提出將廣島人工智能進程框架推廣到 G7 成員國之外，試圖擴大G7 集團在國際治理中的影響力。2024 年 5 月，七國集團首腦在廣島召開峰會，同意在廣島 AI 進程框架下成立一個工作組，協調各國 AI監管事項。69經濟合作與發展組織聚焦人工智能發展議程，協助制定人工智能治理政策。2024 年 5 月，經合組織部長理事會

119、會議通過了經合組織人工智能原則的修訂文本，強調對人工智能全生命周期商業行為進行治理。70東盟推崇“發展優先”的治理觀，為地區人工智能治理提供軟性指引。2024 年 2 月，東盟發布東盟人工智能治理與倫理指南，闡述東盟“發展優先”的治理觀，提出支持人工智能人才、人工智能創新等國家級建議，以及成立東盟人工智能治理工作組、開發針對人工智能生成物的治理框架等區域級建議。金磚峰會著力確保全球南方國家共享人工智能紅利。金磚國家擴員后的首屆峰會于 2024 年 10 月在俄羅斯舉行，峰會推動人工智能技術、政策、人才、產業等方面交流合作，提出人工智能金磚方案。2024 年 7 月，69https:/www.c

120、sis.org/analysis/shaping-global-ai-governance-enhancements-and-next-steps-g7-hiroshima-ai-process70https:/oecd.ai/en/ai-principles人工智能治理藍皮書（2024 年）48我國成立中國金磚國家人工智能發展與合作中心，推動金磚國家間在人工智能領域加強信息交流和技術合作、深化產業對接和項目合作、應用賦能和能力提升、治理合作和標準規范建設等。71四、人工智能治理對策建議人工智能作為我國實施創新驅動發展戰略的關鍵力量，是加快形成新質生產力的重要引擎。展望未來，人工智能技術帶來的

121、發展紅利和全球性挑戰同步顯現，各國圍繞人工智能評估評測、知識產權、價值對齊等加速搭建規則標準體系，人工智能治理加速邁入實踐落地和國際合作的關鍵窗口。（一）深化落地人工智能協同敏捷治理模式（一）深化落地人工智能協同敏捷治理模式探索敏捷治理理念，建立靈活性、全面性制度框架，推動人工智能高質量發展和高水平安全實現良性互動。一是統籌發展和安全。通過敏捷治理實現多項目標的平衡，既要摒棄以往以犧牲安全為代價的粗放增長，又要避免嚴格監管帶來的創新抑制效應。支持相關機構在基礎創新、數據互通、應用賦能、風險防范等方面開展協作。二是推動跨部門協同治理。深入推進跨部門綜合監管，是加快轉變政府職能、提高政府監管效能的

122、重要舉措。應加強跨部門監管能力建設，完善跨部門綜合監管協同方式，有力整合央地各方技術支撐力量，深化監管事項清單管理、信息共享、聯合檢查等機制，跨部門、跨區域、跨層級實施綜合監管，避免出現治理真空、治理競次等問題。三是建立健全多元敏捷互動機制。塑造以政府為主導，企業實施自我管理、行業71https:/ 年）49加強自律規范、社會廣泛監督的全方位社會共治模式。政府引導企業查找問題，協調解決試點企業相應困難。企業定期報送風險階段性評估報告，建立完善內部合規監測與預警機制，在發生重大風險后及時上報事件情況。（二）系統監測預警人工智能倫理社會影響（二）系統監測預警人工智能倫理社會影響為有效應對具身智能、

123、數字人等應用帶來的情感依賴、勞動替代等倫理挑戰，應對相關倫理影響進行系統監測預警。一是科學設定監測目標。選擇可追蹤、可量化的目標指標進行定期調查，如重點行業的就業替代情況，重點區域的人工智能能源消耗情況等，在建立獨立調研渠道的基礎上，匯總其他各來源數據，如研究機構、企業、國際組織等的相關報告，確保監測數據來源的客觀性、全面性。二是加強前瞻預警，制定風險預案。集結經濟學、社會學、計算機科學、倫理學、能源科學等領域的專家，構建跨學科團隊，確保多角度分析能力。研究劃定人工智能在重點領域倫理風險的臨界風險。三是引導公眾提升智能素養。通過電視廣播、社交媒體、學校教育等渠道開展廣泛的宣傳活動，普及 AI

124、基礎知識，探討人工智能對情感和社會互動的影響，同時強調公眾倫理和安全意識，培養健康的情感管理技能。（三）圍繞要素和場景細化負責任創新方案（三）圍繞要素和場景細化負責任創新方案面對人工智能帶來的制度性挑戰，針對產業鏈各環節，堅持“小步快跑”“邊發展邊治理”的制度路徑具有重要現實意義。一是圍繞算力、模型、數據，醫療、教育等“要素+場景”思路率先制定低位階立法、標準規范。例如針對數據+醫療、模型+金融等情形細化制度人工智能治理藍皮書（2024 年）50方案。二是破除高質量數據集建設的制度障礙。推進完善數據共享流通規范，推進數據資源互通。推動版權激勵方案，探索在著作權法等立法中增加“文本與數據挖掘”例

125、外條款，優化關于個人信息使用的合法性基礎，健全具體場景下個人信息保護實施細則。三是以監管沙箱試點探索成熟的分級分類方案。建議推進應用成熟、制度需求大的行業領域，開展人工智能治理試點工作，鼓勵企業積極試行治理方案和工具，摸清主要場景和關鍵環節的風險問題，明確細化分級分類的可操作標準，并根據實際情況做動態調整。（四）立足于全生命周期優化安全技術工具（四）立足于全生命周期優化安全技術工具人工智能治理既需要完善治理理念與規則，也需要優化治理手段與能力，進一步更新豐富治理工具箱。一是探索安全技術研發創新。工具，推進事前、事中、事后全流程監管。廣泛發掘一批可推廣復制的技術路線，不斷豐富內容標識、紅隊測試、

126、價值對齊等技術工具和治理經驗，發布數據審查庫、數據標注規范等具體評估指引，增強人工智能風險的動態感知、科學預警、留痕溯源能力。二是強化人工智能監管平臺資源配備。建立國家級安全基準測試平臺，促進產學研用各創新主體聯動和共建共享，通過政策扶持、競賽獎勵、創新支持等方式，推進評估評測方法、測試數據集、可信數據庫建設，推進發布規則規范、測試框架和標準體系。三是加強人工智能領域第三方評估機構力量。明確人員專業能力、技術工具儲備、資源平臺建設等資質認定條件，并定期進行資質年審。鼓勵科研院所、協會、企業等挖掘一批專業過硬的人才重點培養，建設專家力量儲備，就重大議題加強人工智能治理藍皮書（2024 年）51研

127、究儲備，共同構建優勢互補、協同發展的安全研究網絡。（五）加速落地全球人工智能能力建設方案（五）加速落地全球人工智能能力建設方案人工智能治理攸關全人類命運，是世界各國面臨的共同課題，應積極參與并推動國際合作治理。一是推動建立人工智能能力建設平臺。落實聯合國未來峰會成果，深化人工智能產供鏈國際合作，開展基礎設施建設、研發和應用合作，協助落后國家人才培養和教育培訓，促進人工智能技術公平獲取和安全使用。二是協助后發國家加快人工智能治理能力建設。推動安全技術開源開放共享，積極分享在人工智能測試、評估、認證與監管方面的政策與技術實踐。通過國際標準化組織（ISO）、國際電工委員會（IEC）和國際電信聯盟（ITU）等平臺，圍繞關鍵術語等開展標準研究，共同探索國際互認的測試評估方法。三是推進公平普惠發展。推動人工智能數據語料庫平等多樣，消除種族主義、歧視和其他形式的算法偏見，促進、保護和保全語言和文明多樣性。中國信息通信研究院地址：北京市海淀區花園北路 52 號郵編：100191電話：010-62305772傳真：010-62302476網址：