《上海人工智能實驗室：2024人工智能安全作為全球公共產品研究報告.pdf》由會員分享，可在線閱讀，更多相關《上海人工智能實驗室：2024人工智能安全作為全球公共產品研究報告.pdf（8頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能安全作為全球公共產品研究報告AI Safety as Global Public GoodsWorking Report中國 上海西岸對話West Bund DialogueCONTENTS引言“人工智能安全作為全球公共產品”的理念“人工智能安全作為全球公共產品”的原則“人工智能安全作為全球公共產品”的全球價值“人工智能安全作為全球公共產品”的中國探索推動“人工智能安全作為全球公共產品”的行動倡議010102020303040405050606目 錄“人工智能安全作為全球公共產品”是指，考慮到人工智能技術創新、產業應用規律及其引致風險機制的特殊性，人工智能安全應被視為具有公共屬性的知識

2、、能力、資源，政府、企業、第三方等不同主體需要在共商共建共享過程中共同探索，促進關于人工智能安全知識、能力、資源的增長和積累。這一公共產品可更好指引人工智能產業發展與社會應用，確保每個人及人類整體從中獲益，形成“小河有水大河滿”的良性生態。人工智能安全作為全球公共產品的理念認為，人工智能安全在消費上應具有非競爭性、在收益上應具有非排他性：前者是指，人工智能安全知識、能力、資源并不因新增主體而降低原有主體的使用與消費；后者是指，人工智能安全知識、能力、資源在使某些主體受益的同時，不排斥其他主體受益。在全球層面，具有非競爭性、非排他性的國際公共產品較少。但人工智能安全議題的特殊性，正在要求我們將其

3、建設成為全球公共產品。人工智能技術創新過程的“黑箱性”、動態性，人工智能應用的廣泛性、普遍性，人工智能安全風險的不確定性、爭議性，都對利益相關方推動人工智能安全治理提出了新挑戰、新要求。第一，與傳統技術安全風險治理重點關注信息不對稱問題不同，人工智能安全風險體現出明顯的“共同無知”特征，技術創新和應用主體、政府監管部門、受影響群體都缺乏人工智能安全風險知識。第二，人工智能的跨領域、跨國界應用使得人工智能安全風險呈現出強外部性特征，不同主體間相互關聯、相互依存，一方安全須建立在他方安全基礎之上，任何一方都不能獨善其身。第三，人工智能作為人類發展新領域的變革潛力，使得發展議題與安全議題緊密關聯，發

4、展與安全并重原則要求人工智能安全治理需要被置于發展進程中動態演化、敏捷調適。正因為人工智能安全及其治理的新特征、新要求，人工智能安全知識、能力、資源才具有了“公地喜劇”屬性。像“狂歡節”一樣，越多主體參與其中，節日的氣氛才越濃烈，每個人從中獲得的歡樂與收益也才越大。由此，人工智能安全要求多邊、多方主體的開放合作，以創造、維系有利于自身、也有利于整體的公共產品。引言人工智能可能帶來極大收益，但也可能帶來系統風險，而其快速演化的技術迭代速度正在加劇發展的不確定性。這一現象已經引起了全球利益相關方的普遍關注，多邊、多方主體具有共識性地認為，當前應對人工智能風險的治理措施選擇至關重要，是實現人工智能可

5、信賴與負責任的關鍵。為不斷提升人工智能技術的可靠性、可控性、公平性，加強人工智能安全研究、推動人工智能安全合作的重要性得到了各方肯定。人工智能安全是釋放人工智能變革潛力、控制人工智能系統風險的關鍵措施。起草人工智能安全科學報告、形成人工智能安全評測基準、加強人工智能安全研究投入、成立人工智能安全研究機構、促進人工智能安全對話等都已成為近年來人工智能國際治理的重要行動與進程。我們認可多邊、多方主體在人工智能安全方面開展行動的積極和重要意義，同時我們也認識到當前進程的可能改善空間?；谥袊鴮嵺`經驗，我們提出，在推動人工智能安全實踐、形成人工智能安全規則、促進人工智能安全共識的過程中，應將人工智能安

6、全視為“全球公共產品”，致力于建設公共性的安全知識、安全能力、安全資源?！叭斯ぶ悄馨踩鳛槿蚬伯a品”的理念價值是其能夠統籌發展與安全的雙重目標，不僅僅將安全視為風險管理措施或監管手段，而是同時強調安全知識、能力、資源的積累與增長，以促進人工智能更好發展。該概念能夠兼顧國內與國際，既有利于引導各國國內人工智能安全治理機制和體系改革，同時也有利于推動人工智能安全的國際合作與全球治理。0201“人工智能安全作為全球公共產品”的理念圖“人工智能安全作為全球公共產品”理念框架圖“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working

7、Report“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report“公共原則”是指，多邊、多方主體要秉持全球公共性原則，在人工智能安全風險治理過程中注重開放性、包容性、普惠性，合作建設具有公信力的治理機構或跨機構的合作治理機制，共同分享、相互學習人工智能安全風險知識和治理經驗，推動形成發揮公共價值作用的安全管理框架或工具，以多種形式幫助中小企業或發展中國家提升人工智能安全能力?！翱茖W原則”是指，應遵循、尊重人工智能技術創新、應用的科學規律，調動企業、科學家、技術社群、監管機構、公眾等利益相關方積極性，在技術創新應

8、用過程中，共同探索、學習、積累人工智能安全知識，漸進演化、逐步提升人工智能安全共識水平，并在此過程中培養人工智能安全能力、建設人工智能安全資源。0403“人工智能安全作為全球公共產品”是基于中國人工智能安全治理實踐的經驗總結和理論提煉，其可作為各國國內人工智能安全治理改革、人工智能安全國際治理進程的有益補充，對在全球范圍內提升人工智能安全水平具有重要的理論價值和實踐指導意義。全球范圍內當前推進人工智能安全治理的制度模式和改革進程可分為三類。第一，以美國國家標準及技術研究所（National Institute of Standards and Technology,NIST）提出的人工智能風險

9、管理框架為代表，從治理（Govern）、匹配（Match）、測度（Measure）、管理（Manage）這四個維度展開人工智能安全治理，基本特征是將人工智能安全視為風險管理的對象。第二，以英國人工智能安全研究所（UK AI Safety Institute）開發的一系列人工智能風險管理技術工具為代表，旨在通過利益相關方自主開發的技術方案來回應人工智能安全風險，基本特征是將人工智能安全視為技術風險問題加以管理、回應。第三，以歐盟 人工智能法案 中確立的風險分類管理、風險評估體系等系列制度安排為代表，基本特征是將人工智能安全視為被監管對象加以規制。以上三種模式具有積極意義和重要價值。相比于此，“人

10、工智能安全作為全球公共產品”概念的補充價值在于，其并不僅僅將人工智能安全視為風險管理、技術方案、規制對象，而是注意到了人工智能安全風險及其治理的新特征、新要求，并因此強調多邊、多方主體在人工智能安全知識、能力、資源等方面展開同步探索的重要性。在此理念下，我們重視人工智能安全治理進程中，以創造公共產品為引導，促進多邊、多方主體形成相互依賴、相互信任、共同合作的治理關系?！叭斯ぶ悄馨踩鳛槿蚬伯a品”理念價值的釋放要求治理體系和治理機制的逐漸完善?！叭斯ぶ悄馨踩鳛槿蚬伯a品”既不意味著政府規制的強制性要求，也不代表放任自流的自愿性行為，而是應遵從公共產品治理的基本邏輯，需要依賴利益相關方共同

11、參與的制度設計與演化過程，以促進公共產品的形成和豐富。公共原則科學原則“責任原則”是指，要形成多類型、具有不同約束力程度的責任治理框架和制度安排，根據具體安全風險等級形成相匹配的責任制度要求，以激勵相容的責任理念促進利益相關方更主動、積極參與人工智能安全公共產品建設，確保公共產品不被濫用、誤用，形成良性生態體系?！懊艚菰瓌t”是指，多邊、多方主體應致力于形成相互關聯、相互依存的治理關系，基于寬泛共識，及時回應人工智能安全風險，以反饋互動、迭代創新的安全治理過程應對人工智能安全風險及其演化的動態性與不確定性。責任原則敏捷原則中國實踐，對話世界為實現“人工智能安全作為全球公共產品”的目標，應在尊重多

12、邊、多方自主決策的基礎上，充分發揮各國政府、聯合國及其他政府間國際組織、國際社會其他公共機構等的引導、橋接、催化作用，推動國際社會在人工智能安全領域形成能力共建、風險共擔、體系共商、知識共享的可信治理環境，以克服集體行動困境，實現人工智能安全作為全球公共產品的可持續生產、維系與再生產。實現“人工智能安全作為全球公共產品”理念的關鍵原則包括四個方面：公共原則、科學原則、責任原則、敏捷原則?！叭斯ぶ悄馨踩鳛槿蚬伯a品”的原則“人工智能安全作為全球公共產品”的全球價值“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Rep

13、ort“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report0605自年以來，大語言模型的突破帶來了人工智能新一輪的技術創新浪潮，打開了通用人工智能技術演進的序幕，成為當前全球人工智能治理的關注焦點。但在充分擁抱大模型技術變革潛力的同時，人工智能安全風險也出現了新挑戰。大模型在語言、計算、推理等多個維度接近乃至超過人的能力表現，同時凸顯了虛假內容、深度偽造、輿論操縱以及就業沖擊、權益侵蝕等多維度安全風險。但與傳統技術安全風險不同，大模型作為新技術與新業態引致的安全風險具有以下三方面新挑戰，而這也對安全治理提出了新

14、要求。第一，安全風險的不確定性與動態性特征更加明顯。內容安全風險監管目標的模糊性以及大模型安全風險的演化特征，導致作為監管方的政府部門、作為被監管方的技術創新和應用主體、作為利益相關方的公眾都難以提前預知安全風險，“共同無知”現象更為嚴重。這一新挑戰要求多邊、多方主體共同探索并積累安全知識與安全資源，普遍性地提升安全能力。第二，發展與安全作為核心治理目標的對立、統一特征更加明顯，并體現在各個層面。例如政府與企業之間作為監管與被監管方的訴求既存在重合、也存在沖突，不同政府部門之間的職責劃分既存在交疊、也存在邊界，不同企業之間也會以安全風險之名互相舉報并走向惡性競爭。這些新特征在要求多方參與、責任

15、共擔的同時，也沖擊了傳統治理框架和治理行為。第三，大模型安全風險治理機制日益復雜并呈現亂象，算法備案、紅隊測試、算法影響評估等現有機制存在制度定位不明確、測試標準碎片化、評估基準少公信等系列問題。這些問題導致現行治理機制不僅不能有效應對安全風險，甚至出現監管套利等亂象。大模型安全治理的上述三點新挑戰并不局限于當前，其反映的是人工智能技術迭代創新引發的一般性安全治理問題。近年來，上海市相關機構在此領域的治理探索與創新具有一定的標桿借鑒意義，同時體現了“人工智能安全作為全球公共產品”的基本理念。以年發布的 新一代人工智能發展規劃 為起點，中國近年來在人工智能發展、安全與治理等領域積極行動。針對新技

16、術、新業態的安全治理風險與挑戰，出臺了一系列治理規則、建設了一批治理機構、形成了一套治理方案，為全球人工智能治理積累了中國經驗。人工智能安全是中國人工智能治理的重點關注對象和重要組成部分?；谌斯ぶ悄芗夹g創新和產業應用的科學規律，立足發展和安全并重的中國國情，中國在人工智能安全方面的治理行動可概括為以下四個方面。第一，推動利益相關方對話，就人工智能安全治理形成寬泛共識，提出了公平公正、尊重隱私、安全可控、共擔責任、敏捷治理等人工智能安全治理的基本原則。第二，針對人工智能安全治理的具體問題迅速反應，在信息服務算法、深度合成、生成式人工智能的安全治理方面出臺法律法規，提出了算法備案、算法分級分類、

17、算法影響評估等系列安全治理機制。第三，調動科研機構、企業等一線力量，鼓勵、要求開發人工智能安全治理技術方案，提升技術創新和應用主體安全能力，并在此過程中探索建設了人工智能安全標準、人工智能安全風險管理框架、人工智能安全風險評測基準、人工智能安全治理標桿案例等安全資源庫。第四，積極參與人工智能安全全球治理進程，在 全球人工智能治理倡議 中提出推動安全治理國際合作的倡議、參加全球人工智能安全峰會、主動搭建世界人工智能大會對話平臺等。在推動人工智能安全治理進程中，中國積累了豐富的治理經驗，其中重要的一條即是認為，政府、企業、第三方等利益相關主體均應將人工智能安全視為公共產品，在公共、科學、責任、敏捷

18、原則指導下，共同推進人工智能安全知識、能力、資源的生產與積累，從而提升個體及整體層面的人工智能安全水平。在此過程中，不同主體扮演的角色有所差異：政府發揮框架作用，搭建激勵相容的制度框架以為人工智能技術創新和應用主體提供探索空間，以公共服務的方式提供安全知識、能力、資源；企業及其他技術創新和應用主體發揮主體作用，主動探索人工智能安全治理方案，采取合理方式參與人工智能安全公共產品的生產與管理；第三方主體發揮催化作用，豐富治理機制、平衡利益訴求，完善人工智能安全公共產品生產與治理良性生態。該經驗是在近年來應對人工智能大模型安全治理的過程中被逐漸挖掘、總結出來的，而上海市相關機構展開的探索性實踐可被視

19、為落實國家要求下的標桿案例?！叭斯ぶ悄馨踩鳛槿蚬伯a品”的中國探索人工智能大模型安全治理的新挑戰1中國實踐，對話世界“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report推動“人工智能安全作為全球公共產品”的行動倡議0807針對大模型安全治理挑戰，上海相關機構主要探索了以下三方面治理創新，并在此過程中積累了治理經驗。第一，針對安全風險的不確定性和動態性特征，上海市監管部門轉變

20、傳統監管思路，成為安全治理知識的學習者、匯聚者、傳播者，以克服“共同無知”挑戰。監管部門清楚地認識到任何一方都不可能掌握大模型安全治理所需要的全部知識，但其處于關鍵節點位置，既能面向廣大技術創新應用一線主體，同時也具備監管權力、資源基礎，因而在迅速了解安全風險點及其應對方法之后，通過與特定企業“一對一”調研交流、面向社會舉辦安全沙龍等方式，能夠將局部知識擴散為全局知識，從而促進整個業態安全治理知識和能力的提升。第二，針對發展與安全目標的對立、統一問題，上海市監管部門一邊抓安全風險“底線共識”，一邊創設跨部門協同機制，在為一線創新應用主體提供寬泛發展空間的同時，保留事中事后責任追究可能性的“懲罰

21、性威懾”。上海市監管部門認識到安全治理不能忽視發展需要，且安全治理問題往往也需要在發展過程中才能得以解決，因而以主動探索、動態調整、共識驅動的方式設置底線范圍，允許一線主體在底線以上的寬泛空間展開創新應用活動；同時，基于一線主體的自我承諾，監管部門保留算法備案、約談預警、風險告知等治理手段，以使在出現嚴重后果的情況下仍然能夠對企業追責。第三，針對安全治理機制的碎片化問題，上海市監管部門充分調動公共科研、技術機構的監管支撐能力，并在此過程中廣泛納入利益相關方參與，以過程的開放性來實現安全評測數據庫等安全資源庫建設的公信力。同時，該安全評測數據庫的制度定位不在于作為市場準入的前提，而是作為安全知識

22、、安全能力積累與動態演化的載體。上海應對大模型安全治理的實踐經驗2上海實踐體現了“人工智能安全作為全球公共產品”的基本理念。第一，監管機構致力于安全治理知識的學習、匯聚、傳播，體現了公共原則與科學原則，其并不排斥任何主體受益于安全治理知識的增長過程，同時任何新主體的加入也不影響其他主體。第二，發展與安全目標的統籌堅持了責任原則與敏捷原則，在允許創新、鼓勵創新的同時保留了責任追究的可信威懾。第三，安全資源庫建設的開放性、安全評測制度定位的轉變堅持了公共原則、科學原則、責任原則，其試圖以激勵相容的方式推動人工智能安全作為公共產品的持續增長與維系?！叭斯ぶ悄馨踩鳛槿蚬伯a品”的理念體現3上述報告

23、對“人工智能安全作為全球公共產品”的理念、原則、價值、案例進行了解釋。在此基礎上，我們為未來多邊、多方主體在人工智能安全領域的持續改革提出以下行動倡議，并提議形成“西岸對話：人工智能安全與治理對話網絡”，以促進以下倡議的落實。引導人工智能安全知識、能力、資源的生產與再生產過程。應打破將人工智能安全視為競爭手段的傳統思路，成立具有公共屬性的人工智能安全研究機構，同時鼓勵私人部門參與人工智能安全公共產品的生產過程。應轉變政府治理思路，在深度融入人工智能技術產業生態的過程中，成為人工智能安全公共產品的學習者、匯聚者、傳播者。在全球層面，應建設穩定對話交流機制，在國際社會創造人工智能安全公共產品。將人

24、工智能安全治理根植于人工智能技術與產業發展規律，承認安全治理的新挑戰、新要求，并以此為基礎尋找制度創新新空間。應按照人工智能安全治理需要，建設一系列人工智能安全公共產品資源庫，包括安全風險評測數據庫、安全風險治理案例集、安全研究公共基金等。在全球層面，應鼓勵多邊、多方主體加強人工智能安全治理研究，推動科學共識的逐步形成。第一，以公共原則為準繩，推動 開放對話第二，以科學原則為依托，提升 科學共識“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report“人工智能安全作為全球公共產品”研究報告“AI Safety as

25、 Global Public Goods”Working Report在一定范圍內針對人工智能安全風險實現迅速響應，并在此過程中建構多邊、多方主體的相互依存治理關系。應要求多邊、多方主體保持對人工智能安全風險演化的開放性和敏感性，能夠在不確定與動態變化的治理環境下識別安全風險、探索治理回應。應鼓勵創設人工智能安全風險的協同、交流機制，實現安全知識、能力、資源的快速傳播與賦能應用。在為人工智能技術與產業創新提供廣闊空間的同時，保留、探索多種類型的責任機制，進而創設安全邊界。應要求政府部門探索從透明、開放等程序性要求到懲罰、救濟等實質性要求的全頻譜責任機制創新，以解放人工智能安全治理的制度想象空間

26、。應鼓勵一線的技術創新應用主體主動探索人工智能安全治理措施，以回應責任性要求。在全球層面，應鼓勵人工智能安全治理機構開展同行評議、政策學習，以豐富人工智能安全治理的工具箱與政策庫。第三，以責任原則為邊界，實現 可信承諾第四，以敏捷原則為方法，促進 協同合作0910“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report11上海人工智能實驗室治理研究中心清華大學產業發展與環境治理研究

27、中心上海交通大學國際與公共事務學院中央廣播電視總臺超高清視音頻制播呈現國家重點實驗室上海市經信委上海市網信辦阿里研究院薛 瀾 清華大學文科資深教授、蘇世民書院院長王迎春 上海人工智能實驗室治理中心副主任、研究員賈 開 上海交通大學國際與公共事務學院副教授陳 玲 清華大學公共管理學院教授趙 靜 清華大學公共管理學院副教授秦川申 上海交通大學國際與公共事務學院副教授袁 媛 阿里研究院執行院長傅宏宇 阿里研究院人工智能治理中心主任梁興洲 上海人工智能實驗室與上海交通大學國際與公共事務學院聯合培養博士生起草機構支持機構主稿顧問主稿專家“人工智能安全作為全球公共產品”研究報告“AI Safety as Global Public Goods”Working Report