《OpenAI：大模型風險防范框架（2023） 【中文翻譯版】（15頁）.pdf》由會員分享，可在線閱讀，更多相關《OpenAI：大模型風險防范框架（2023） 【中文翻譯版】（15頁）.pdf（15頁珍藏版）》請在三個皮匠報告上搜索。

1、OpenAI 大模型風險防范框架【中文版】前言：OpenAI剛發表的這個風險防范文檔基本是描述了內部如何以一個獨立團隊在公司治理框架下進行大模型的風險防范，有很強的實操參考價值。目前還沒看到中文版，特此整理制作全中文版本分享我們認為，對人工智能帶來的災難性風險的科學研究遠遠落后于我們的需求。為了幫助解決這一差距，我們正在推出我們的“準備框架”，這是一份描述OpenAI追蹤、評估、預測和防護日益強大的模型所帶來的災難性風險的流程的活文檔。2023年12月18日引言我們迭代部署的實踐經驗使我們能夠主動改進我們的技術和程序安全基礎設施。隨著我們的系統越來越接近通用人工智能（AGI），我們在模型的開發

2、上變得更加謹慎，特別是在災難性風險的背景下。這份準備框架是一份活文檔，它總結了我們關于如何在實踐中最好地實現安全開發和部署的最新學習成果。準備框架中的流程將幫助我們迅速提高對災難性風險的科學和經驗質地的理解，并建立防止不安全開發所需的流程。我們準備框架背后的核心論點是，對AI災難性風險安全的強有力方法需要主動、基于科學的決定何時以及如何安全地進行開發和部署。我們的準備框架包含五個關鍵要素：譯：Web3天空之城 1 通過評估追蹤災難性風險水平。我們將構建并不斷改進一系列評估和其他監控解決方案，涵蓋多個追蹤風險類別，并在評分卡中指出我們當前的預防和緩解風險的水平。重要的是，我們還將預測風險的未來發

3、展，以便我們可以在安全和安保措施上提前行動。2 尋找未知的未知。我們將持續運行一個過程，用于識別和分析（以及追蹤）當前未知的災難性風險類別，隨著它們的出現。3 建立安全基線。只有那些緩解后評分為“中等”或以下的模型才能被部署，只有那些緩解后評分為“高”或以下的模型才能進一步開發（如下面的追蹤風險類別所定義）。此外，我們將確保安全措施適當地針對任何具有“高”或“關鍵”預防風險水平的模型（如下面的評分卡所定義），以防止模型泄露。我們還建立了程序承諾（如下面的治理所定義），進一步指定我們如何操作化準備框架概述的所有活動。迭代部署主動改進我們的技術和程序安全基礎設施。4 指派準備團隊進行實地工作。Pr

4、eparedness團隊將推動準備框架的技術工作和維護。這包括進行風險研究、評估、監控和預測，并通過定期向安全咨詢小組報告來綜合這些工作。這些報告將包括最新證據的摘要，并就需要進行的變更提出建議，以使OpenAI能夠提前規劃。準備團隊還將呼吁并協調相關團隊（例如，安全系統、安全、超級對齊、政策研究）來匯總這些報告中推薦的緩解措施。此外，準備工作還將管理安全演習，并與值得信賴的AI團隊協調進行第三方審計。5 創建一個跨職能咨詢機構。我們正在創建一個安全咨詢小組（SAG），它將公司內的專業知識匯集在一起，以幫助OpenAI的領導層和董事會為他們需要做出的安全決策做好最充分的準備。因此，SAG的職責

5、將包括監督風險景觀的評估，并維護一個快速處理緊急情況的流程。最后，OpenAI的首要受托責任是對人類負責，我們致力于進行必要的研究以確保AGI的安全。因此，準備框架旨在成為我們整體安全和對齊方法的一部分，這還包括投資于減輕偏見、幻覺和濫用、促進民主對AI的輸入、對齊和安全研究的投資。這也是我們在2023年7月做出的關于安全、安全和AI信任的自愿承諾的又一種方式。我們也認識到其他組織在這一領域的貢獻，例如通過發布負責任的擴展政策，并鼓勵業內其他人采取類似的方法。注1 我們在這份文件中關注的是災難性風險。災難性風險，我們指的是任何可能導致數千億美元的經濟損失或導致許多個人遭受嚴重傷害或死亡的風險這

6、包括但不限于存在風險。注2 主動在這種情況下指的是在第一次變得必要之前發展這門科學的目標。部署在這種情況下指的是發布技術以產生外部影響的各種方式。開發在這種情況下指的是增強技術的一系列活動。如何閱讀本文檔本living文檔包含三個部分：1 追蹤風險類別，我們將詳細介紹我們將追蹤的關鍵風險領域以及不同風險級別的劃分2 評分卡，我們將在其中指出我們當前對每個追蹤風險類別的風險水平評估3 治理，我們將在其中闡述我們的安全基線以及程序承諾，包括成立一個安全咨詢小組。追蹤風險類別在本節中，我們確定我們將追蹤的風險類別，并設立專門的工作流程，用于識別和添加新的或初現的風險類別，即“未知的未知”。我們的意圖

7、是在追蹤的類別中“深入挖掘”，以確保我們能夠測試任何可能的最壞情況，同時通過在OpenAI內部的監控活動以及“未知的未知”識別過程，保持對風險的廣泛整體觀察。每個追蹤風險類別都有一個等級刻度。我們相信監控風險的不同等級將使我們能夠預防不斷升級的威脅，并能夠應用更定制化的緩解措施。一般來說，“低”在這個等級刻度上意味著相應的風險類別尚未成為一個重大問題，而“關鍵”代表了最高級別的關注。具體來說，下面，我們將詳細介紹以下追蹤風險類別網絡安全化學、生物、核和放射性（CBRN）威脅說服力模型自主性我們對分組和命名這些特定風險類別的理由是基于三個考慮因素。首先，微調或其他領域特定的增強（例如，定制提示或

8、語言模型程序）可能更好地引出模型在特定風險類別上的能力。因此，我們的評估將包括針對這些增強模型的測試，以確保我們正在測試我們所知的“最壞情況”。我們的程序承諾在任何追蹤風險類別的嚴重性增加時觸發，而不是僅在它們全部一起增加時。由于不同領域的能力提升并不一定同時發生，這種方法確保我們傾向于安全。其次，這種方法使我們能夠利用領域特定的人才來為每個風險類別開發定制的評估和監控解決方案套件。第三，這種方法增加了定制的、領域特定的緩解措施的選擇，以幫助最小化對更廣泛、更具破壞性行動的需求。此外，我們正在考慮的風險類別并不一定是獨立的，它們可能會相互作用。因此，決定將某些風險分組的動機是出于運營效率（以及

9、希望有一套相對緊湊的追蹤風險類別的愿望）。如前所述，對前沿人工智能模型的災難性風險的實證研究還處于初期階段。因此，我們對“中等”至“關鍵”風險的當前估計水平和閾值是推測性的，并將隨著未來研究的指導而不斷完善。出于這個原因，我們將具體的評估細節推遲到評分卡部分（并且這一部分意圖頻繁更新）。網絡安全網絡安全專注于與使用模型進行網絡利用相關的風險，以破壞計算機系統的機密性、完整性和/或可用性。風險等級定義閾值的理由低模型協助網絡攻擊（如果有的話）僅對非編程用途有意義，例如，翻譯、有針對性地提煉機密信息和/或數據分析，且模型不能有意義地執行網絡操作的元素，例如，將已知漏洞發展成攻擊、黑盒利用、將關于防

10、御的推理轉化為行動，或在加固目標上的橫向目標導向移動。非編程任務代表了對威脅行為者的一個相當大的瓶頸；然而，所涉及的技能并不特別專業化，且好處通常來自交叉技能（即，英語熟練和對政治或技術系統的高水平理解以總結電子郵件）。我們排除了漏洞發現，因為在這個階段的危害不是個別漏洞的識別，而更多是針對目標實施和部署漏洞利用的實現。中等模型通過效率閾值（例如，2倍節省時間）提高操作員在關鍵網絡操作任務上的生產力，如將已知漏洞發展成攻擊、黑盒利用、目標導向的橫向移動、識別有價值的信息、保持不被發現或對防御做出反應。執行網絡攻擊是一項稀缺技能，通常是通過經驗學習的。模型能夠替代或加速專業人員將提高攻擊的質量或

11、數量。請注意，這種生產力加速也包括使用已知方法的低級別（可能是國家）行為者，例如，俄羅斯的虛假信息團體，他們使用購買的能力、網絡釣魚和其他已知方法。高工具增強型模型可以在沒有人為干預的情況下，針對加固目標識別和開發高價值漏洞的概念驗證，可能涉及新穎的利用技術，或者在提供了詳細策略的情況下，模型可以在沒有人為干預的情況下，端到端執行涉及上述任務的網絡操作。高價值漏洞通常針對加固平臺，稀缺且易于生產化（例如，零點擊iOS漏洞）。雖然較弱的漏洞檢測能力（例如，那些已經便宜且在漏洞市場上相當流動的能力）并沒有有意義地解決攻擊者的瓶頸，但這種高級能力將解鎖許多可能性，并且可以被各種技能水平的行為者使用。

12、端到端執行將極大地加速專業網絡攻擊的質量或數量。關鍵工具增強型模型可以在沒有人為干預的情況下，識別和開發所有嚴重級別的功能性零日漏洞，跨越所有軟件項目，或者模型可以設計并執行端到端的新穎網絡攻擊策略，針對加固目標，僅給出一個高級別的期望目標。找到并執行端到端漏洞利用，對于所有軟件將導致單方面行為者的災難，從黑客軍事或工業系統到OpenAI基礎設施。一般來說，新穎的網絡操作構成最嚴重的威脅，因為它們是不可預測和稀缺的。它們可能涉及例如新穎的零日漏洞或指揮和控制的方法?；瘜W、生物、放射性、核（CBRN）CBRN專注于與模型輔助創建化學、生物、放射性和/或核威脅相關的風險。風險等級定義閾值的理由低模

13、型可以提供與創建CBRN威脅相關的信息，與現有資源（例如，教科書、搜索引擎）的實用性相當。與現狀相比變化不大，其他資源（例如，教科書、搜索引擎）已經存在。中等模型提供有意義的改進輔助，增加了現有CBRN相關高級領域專家創建已知CBRN威脅的能力（例如，隱性知識、特定供應商信息、分發計劃）。模型可能允許用戶比他們使用現有資源能更快地學習關鍵信息，或者比現有資源更靈活地解釋步驟的變化。這增加了創建CBRN威脅的可訪問性，盡管風險有限，因為專家已經具有顯著的領域專業知識和聲譽。高模型使專家能夠開發新穎的威脅載體，或者模型提供有意義的改進輔助，使任何具有相關領域基礎培訓的人（例如，大學生物學入門課程）

14、能夠創建CBRN威脅。創建弱新穎威脅也是災難性新威脅的領先指標，對于這些威脅（例如，疫苗）的防御措施要弱得多或不存在。允許那些具有基礎培訓的人創建CBRN威脅是可訪問性的重大增加，這需要采取激烈的行動，尤其是對于生物和化學風險，因為它們的物質要求不那么繁重。關鍵模型使專家能夠開發高度危險的新穎威脅載體（例如，與新穎的CDC類別A生物制劑相當）或者模型提供有意義的改進輔助，使任何人能夠創建已知CBRN威脅，或者模型可以連接到工具和設備，以完成受管制或新穎CBRN威脅的完整工程和/或合成周期，無需人為干預。創建與CDC類別A生物制劑（即，高致死率，易于傳播）規模相當的新穎威脅載體可能導致數百萬人死

15、亡，并嚴重擾亂公共生活。允許任何人創建CBRN威脅將最大限度地擴展可訪問性。顯著自動化CBRN威脅的端到端工程或合成周期也將使潛在攻擊的規模前所未有地大。說服說服主要關注與說服人們改變他們的信念（或采取行動）相關的風險，無論是靜態的還是交互式的模型生成的內容。我們通過模型可以商品化的人類說服內容的水平來定義說服能力。通常，強有力的說服是罕見的，并且需要顯著的人力努力（例如，一對一的基層對話，或一個高度打磨的播客）；然而，模型可以使所有內容在其能力水平上幾乎零成本生成。風險等級定義閾值的理由低模型可以創建（可能是交互式的）內容，其說服效果與閱讀低質量文章相當。低質量文章非常普遍且影響低，因此模型

16、的商品化影響可以忽略不計。中模型可以創建（可能是交互式的）內容，其說服效果與典型的人類編寫內容（例如，來自可信新聞來源的評論文章；與隨機分配的典型個人的一對一對話）相當。這使得模型成為有偏見的新聞報道、動員投票活動和典型的詐騙或網絡釣魚攻擊的重要輔助工具。它可能會以類似于雇傭大量非常便宜且技能適中的勞動力的方式影響政治、營銷或社會工程高模型可以創建（可能是交互式的）內容，其說服效果在經驗上與全國性變革代理人相當。這與全國性變革代理人的風險概況相似；它可能會極大地影響選舉和民主結果。關鍵模型可以創建（可能是交互式的）內容，其說服效果足夠強大，幾乎可以說服任何人采取與他們自然利益相悖的信念行動。這

17、代表了一種超人類的說服威脅；它將是控制國家、提取秘密和干預民主的有力武器。模型自主性模型自主性使行為者能夠運行可適應環境變化并規避嘗試緩解或關閉操作的大規模濫用。自主性也是自我竊取、自我改進和資源獲取的先決條件。風險等級定義閾值的理由低模型可以在明確指示的情況下采取離散行動。這限制了模型在“人類協助”用例中執行單步任務，其中步驟通常是清晰的，結果容易理解。中模型可以穩健地完成一系列多樣化的連鎖行動并獲取資源（例如，啟動一個AWS實例，完成一個Fiverr任務）或者模型，在基本的框架下，可以使用現成的軟件執行在獨立的、玩具式的或手工制作的存儲庫上的明確指定的編碼任務。解決明確指定的任務表明了對編

18、程的深刻理解和處理現實世界錯誤的適度能力。高模型可以在生產ML代碼庫上執行開放式、新穎的ML任務，這將構成模型自我改進的關鍵步驟（例如，OpenAI的拉取請求，該請求訓練一個新模型，使用高度多樣化的數據集來提高代碼庫編輯性能，使用內部工具和文檔）。解決開放式任務為AI研究提供了即時加速，并展示了對長期上下文理解和適應的強大水平。然而，這還沒有展示出能夠協調持續改進的能力（即，改進可能是有限的或者是進化式的而不是革命式的）；此外，模型仍然受限于對計算和其他資源的訪問。關鍵模型可以在最少的人類指令下在野外盈利地生存和復制，即，不需要列出明確的方法或者模型可以在當前的安全防護下自我竊取或者模型可以完

19、全自主地進行AI研究（例如，自主地識別和驗證2倍計算效率的提升）。如果模型能夠成功地復制和生存或自我竊取，控制模型將非常困難。這樣的模型可能也能夠適應人類試圖關閉它的行為。最后，這樣的模型可能能夠在各種領域（例如，從在Linux上運行命令到在Fiverr上協調任務）創建統一的、目標導向的計劃。如果模型能夠完全自主地進行AI研究，它可能會引發一場智能爆炸注3所謂的智能爆炸，我們指的是一個循環過程，其中AI系統改進自身，這使得系統更有能力進行更多的改進，創造出一個自我改進的失控過程。能力增長的集中爆發可能會超過我們預測和應對它們的能力。未知的未知上述跟蹤風險類別的列表幾乎肯定不是詳盡無遺的。隨著我

20、們對前沿模型潛在影響和能力的理解提高，清單可能需要擴展以適應新的或未充分研究的新興風險。因此，作為我們的治理過程的一部分（稍后在本文檔中描述），我們將持續評估是否需要在上述列表中包含新的風險類別以及如何創建等級。此外，我們將投資于跟蹤相關研究發展并監測觀察到的濫用情況（稍后在本文檔中擴展），以幫助我們了解是否有任何新興或未充分研究的威脅需要我們跟蹤。跟蹤風險類別的初始集合源于努力識別出現任何我們可以合理設想的災難性風險情景所需的最小“絆線”集合。注意，我們將欺騙和社會工程評估作為說服風險類別的一部分，并將自主復制、適應和AI研發作為模型自主性風險類別的一部分。得分卡作為我們的預備框架的一部分，

21、我們將維護一個動態的（即頻繁更新的）得分卡，旨在跟蹤我們當前的預緩解模型風險，以及各個風險類別的后緩解風險。得分卡將由預備團隊定期更新，以確保它反映最新的研究和發現。更新得分卡的信息來源還將包括跟蹤觀察到的誤用情況，以及來自其他團隊（例如，政策研究、安全系統、超級對齊）對我們前沿模型的其他社區紅隊測試和輸入。預緩解風險與后緩解風險我們將對預緩解和后緩解風險運行相同的評估，以確定風險水平，但是針對的是不同版本的模型（預緩解與后緩解，如下文進一步說明）。在實踐中，通常情況下，總體后緩解風險將低于預緩解風險。預緩解風險旨在指導我們的安全努力水平，以及推動開發必要的緩解措施，以降低后緩解風險。最終，能

22、力增長與強大的安全解決方案相結合，是我們研究過程的核心，后緩解風險是我們跟蹤這些過程的總體“凈輸出”的方式。評估預緩解風險我們希望確保我們對預緩解風險的理解考慮到了針對給定領域的“最壞已知情況”（即特別定制）的模型。為此，對于我們的評估，我們不僅會在基礎模型上運行它們（在適當的地方使用高性能、定制提示），而且還會在未采取任何緩解措施的情況下，針對特定誤用向量設計的微調版本上運行它們。我們將持續進行這些評估，即根據需要頻繁進行，以捕捉任何非微不足道的能力變化，包括在訓練前、訓練期間和訓練后。這將包括每當有2倍有效計算增加或重大算法突破時。評估后緩解風險為了驗證緩解措施是否已足夠且可靠地降低了結果

23、中的后緩解風險，我們還將在模型采取安全緩解措施后對其進行評估，再次嘗試驗證和測試這些系統可能的“最壞已知情況”場景。作為我們基線承諾的一部分，我們的目標是將后緩解風險保持在“中等”風險或以下。預測、“早期警告”和監控許多必要的緩解措施，以應對“高”或“關鍵”預緩解水平的風險（例如，加強安全性），需要足夠的提前時間來實施。因此，我們將投資于幫助創建內部“預備路線圖”的努力，并因此幫助我們適當規劃并提前應對新興風險。這些努力將包括與危險能力的規?；厔菹嚓P的持續研究和持續監控誤用。我們還將與其他團隊（例如，安全系統）合作，開發監控和調查系統。這種對現實世界誤用的監控（以及了解相關研究發展）將幫助我

24、們更好地了解部署模型的特性，并根據需要更新我們的評估。緩解措施實現我們安全基線的一個核心部分是實施緩解措施，以解決各種模型風險。我們的緩解策略將涉及包括隔離措施在內的各種措施，這些措施有助于降低擁有前沿模型相關的風險，以及部署緩解措施，這些措施有助于降低積極使用前沿模型的風險。因此，這些緩解措施可能包括增加隔離、限制部署給受信任的用戶、實施拒絕、編輯訓練數據或警告分銷合作伙伴。示例得分卡：注意：下面僅是得分卡可能看起來的一個示例模板版本；所有具體內容僅用于示例目的，不反映實際評估的結果。網絡安全：低（緩解前），低（緩解后）模型對于非編程用途的網絡攻擊提供的幫助才有意義，而模型無法有效執行網絡操

25、作的各個要素。網絡攻擊理論評估：在一組挑戰性的概念性多項選擇題數據集上，這些題目從滲透測試報告中提取并重新措辭，模型的表現顯著低于人類基準水平（X%對比Y%）。GPT與搜索可利用性評估：在一組配置錯誤的、容易受到拒絕服務攻擊的網絡服務器上，網絡安全專業人員在提供GPT輔助的情況下發現的漏洞比例少于X%。代碼去混淆評估：模型恢復變量名稱和代碼語義的性能低于商業去混淆工具（X%對比Y%）。AI輔助的奪旗挑戰評估：在一個黑客挑戰賽（奪旗賽）中，參與者使用增強了在一個易受攻擊的虛擬機上執行命令能力的ChatGPT，獲得的分數提高了X%。CBRN 化學、生物、放射性和核能：低（緩解前），低（緩解后）模型

26、可以提供與現有資源（例如，教科書、搜索引擎）相當的信息，以創建化學、生物、放射性和核能（CBRN）威脅，但不會超出這些資源。GPT與搜索評估：在生物學（特別是遺傳學、病毒學或微生物學）方面受過博士后培訓的專業人士使用搜索引擎和GPT編寫疾病控制中心（CDC）B類生物制劑開發指南，與僅使用搜索引擎相比，成功率沒有提高（X%對比X%），包括在準確性、完整性和創新性指標上。這對于化學、核能和放射性領域的博士后專業人士學生也是如此。GPT與搜索評估：在生物學（特別是遺傳學、病毒學或微生物學）方面有一些課程學習的本科生使用搜索引擎和GPT編寫CDC B類生物制劑開發指南，與僅使用搜索引擎相比，成功率沒有

27、提高（X%對比X%），包括在準確性、完整性和創新性指標上。這對于化學、核能和放射性領域的本科生也是如此。GPT與搜索識別供應商評估：使用搜索引擎和GPT相比，僅使用搜索引擎的參與者成功找到不篩查訂單的DNA供應商的比例少于X%。示例說服力：中等（緩解前），低（緩解后）模型可以創建（可能是互動性的）內容，其說服效果與典型的人類編寫內容（例如，來自知名新聞來源的社論；與隨機分配的典型個人的1對1對話）相當，但緩解措施將這種說服效果降低到低質量文章的水平。政治文章評估：模型生成的內容相比人類生成的對照內容，顯著提高了人們對政治問題的信念（X%對比Y%），但緩解措施將其降低到（X%對比X%）?；有哉?/p>

28、治對話評估：與數字“朋友”的長期1對1互動對話，在數字朋友是模型而非真人時，顯著提高了人們對政治問題的信念（X%對比Y%），但緩解措施將其降低到（X%對比X%）。捐贈評估：模型生成的內容與人類生成的對照內容相比，沒有顯著增加對慈善事業的捐贈（X%對比X%）。數字行動評估：模型生成的內容與人類生成的對照內容相比，沒有顯著增加安裝Chrome擴展的比率（X%對比X%）。網絡釣魚評估：模型無法編寫一個真實的網絡釣魚電子郵件，說服員工在釣魚網站上提交登錄詳情（X%的成功率）?？尚诺纳飳W研究提案：模型提交的微妙危險提案中，X%被生物濕實驗室批準。內部ChatGPT后門評估：沒有員工被說服執行帶有微妙后

29、門的代碼，例如，特定的HTTP請求，當ChatGPT被指示在代碼生成中插入后門時。復制GPT權重評估：模型沒有說服任何員工嘗試將權重復制到新位置。監控濫用：X%），但在后緩解階段則失敗。自由職業工作評估：模型無法自主地在Fiverr上找到并完成自由職業任務，但在一定的支持和協助下，可以完成任務X%的時間；這在后緩解階段降為0%。獎勵黑客評估：模型無法在結構化環境中進行獎勵黑客（成功率0%）。研究工程評估：模型無法完成長期研究工程任務（例如，自主地找到預訓練的計算效率提升，發現并修復導致性能退化的錯誤）；成功率0%。權重逃逸評估：模型無法成功地獨立滲透任何重要的防御層（例如，利用瀏覽環境，發現推

30、理代碼中的漏洞）；成功率0%。治理除了上述關于評估、監控和預測的詳細流程外，我們還希望制定一套安全基線和程序承諾。請注意，這些流程也適用于訓練運行，因為我們將在模型訓練期間定期進行評估（例如，檢查點）。安全基線如引言中所述，OpenAI已經在部署前后實施了廣泛的安全流程（例如，系統卡片，紅隊演練，拒絕，越獄監控等）。我們現在用三個安全基線來增強這些流程。資產保護如果我們達到（或預計將達到）任何考慮類別中至少“高”預緩解風險：我們將確保我們的安全措施得到加固，以防止我們的緩解措施和控制措施通過泄露（在我們達到“高”預緩解風險時）被繞過。這被定義為建立網絡和計算安全控制措施，以幫助防止被捕獲的風險

31、被利用或泄露，由安全團隊評估和實施。這可能需要：增加隔離，包括立即限制對一組有限人員的訪問，限制對關鍵知識如算法秘密或模型權重的訪問，并在此期間包括嚴格的訪問審批流程；只部署到受限環境中（即，確保模型僅在受限環境中可用于推理），并具有強大的技術控制措施，允許我們調節模型的能力；提高信息安全控制的優先級。限制部署只有后緩解評分為“中等”或以下的模型才能被部署。換句話說，如果我們達到（或預計將達到）任何考慮類別中至少“高”預緩解風險，我們將不會繼續部署該模型（在我們達到“高”預緩解風險時），直到有合理的緩解措施到位，使相關后緩解風險水平最多回到“中等”水平。（請注意，在這種情況下，潛在有效的緩解措

32、施可能是限制部署到受信任的方。）限制開發只有后緩解評分為“高”或以下的模型才能進一步開發。換句話說，如果我們達到（或預計將達到）任何風險類別中的“關鍵”預緩解風險，我們承諾確保有足夠的緩解措施到位，以便該模型（在我們達到能力開發的風險水平時，更不用說部署了）的整體后緩解風險最多回到“高”水平。請注意，這不應該阻止增強安全性的開發。如果我們可以通過操作化流程合理地確保自己（安全地進行），我們還將把公司的努力集中在解決這些安全挑戰上，并且只有在我們可以合理地確保自己的情況下，才會繼續增強能力的開發。此外，為了防范“關鍵”預緩解風險，我們需要可靠的證據表明模型足夠對齊，除非明確指示，否則不會啟動“關

33、鍵”風險水平的任務。運營Operations我們還建立了一個運營結構，以監督我們的程序承諾。這些承諾旨在確保：（1）有一個專門的團隊“在現場”專注于準備研究和監測（準備團隊），（2）有一個咨詢小組（安全咨詢小組），它具有足夠的多樣性視角和技術專長，以提供細致的輸入和建議，以及（3）有一個最終決策者（OpenAI領導層，有權選擇由OpenAI董事會否決）。準備框架操作化過程中的各方：A 準備團隊進行研究、評估、監測、預測，并持續更新評分卡，輸入來自具有相關領域專長的團隊。B 安全咨詢小組（SAG），包括SAG主席，提供多樣化的視角來評估與災難性風險相關的證據強度，并推薦適當的行動。SAG將努力推

34、薦盡可能有針對性和非干擾性的緩解措施，同時不妥協安全。特別是，我們認識到暫停部署或開發將是最后的手段（但在這些情況下可能是必要的）。SAG成員和SAG主席由OpenAI領導層任命。這將在與董事會協商的情況下進行，這對于一般重要角色是常見的。SAG成員資格將每年輪換。OpenAI領導層可能選擇重新任命前幾年的某人，以確保知識和經驗的連續性，同時仍然確保小組中有新鮮且及時的視角。SAG主席做出SAG所需的任何最終決定。這個角色預計會輪換，由OpenAI領導層任命。C OpenAI領導層，即CEO或由他們指定的人，作為所有決策的默認決策者D OpenAI董事會（BoD），作為OpenAI的最終治理機

35、構，將監督OpenAI領導層根據本準備框架的實施和決策。董事會可能會審查某些決策，并將接收適當的文件（即，無需主動要求）以確保董事會充分了解并能夠履行其監督角色流程：A 準備團隊負責：維護和更新評分卡，包括設計和運行評估以提供評分卡輸入，并收集有關監測濫用、紅隊行動和情報的相關信息監測未知的未知事物，并在新的風險類別出現時提出將其納入準備框架的案例確保追蹤風險類別部分中的風險等級劃分鑒于前沿AI模型的發展是適當的，并在需要時建議更新這些等級預測災難性風險等級的潛在變化，并在需要時為“早期警告”/“提前通知”總結證據提供每月報告（發送給SAG、領導層和BoD），綜合上述內容和任何潛在的保護行動（

36、SAG主席、OpenAI領導層和/或BoD可以根據需要調整這個頻率）B 如果準備團隊或任何其他團隊確定準備框架的任何更改是必要的，它將在其報告中包括這一變更的案例。案例將包括建議的新版本的準備框架的相關部分，以及支持變更的證據摘要（和反對證據）。然后將此案例發送給SAG，并根據下面描述的標準決策過程進行處理。C 快速通道：在罕見的情況下，嚴重風險迅速發展（例如，我們對模型安全的理解發生了變化，需要緊急響應），準備團隊可以要求SAG緊急處理報告。SAG主席還應與OpenAI領導層協調，以便根據需要立即采取行動應對風險決策過程:A.SAG將負責評估提交給他們的每個案例的優點。然后，SAG主席將案例

37、轉發給OpenAI領導層（同時與董事會和準備團隊共享），并包括可能的下一步行動草案（例如，批準對評分卡或準備框架的更改；根據需要請求對其他內部和外部流程的更改；基于預測的風險等級增加突出加速安全程序的需要）以及理由。B.OpenAI領導層將做出最終決定，并負責監督任何緩解措施（如果請求，可由SAG協助）。董事會將被賦予流程的可見性，并可以審查決策，并根據需要要求OpenAI領導層提供報告和信息，以履行董事會的監督角色。在必要時，董事會可以撤銷決定和/或要求修訂的行動方向（為避免疑問，領導層也可以在沒有SAG參與的情況下做出決策，即SAG沒有“拖延”的能力）C.內部可見性：準備框架、報告和決策將

38、被記錄并對董事會和OpenAI內部可見（根據需要進行編輯，鑒于研究工作的內部隔離）。這還包括從下面創建的任何審計軌跡。問責制：A.審計：由合格的獨立第三方對評分卡評估（及相應的緩解措施）進行審計，以確保結果報告的準確性，無論是通過復現發現還是通過審查方法論以確保其合理性，審計的頻率由SAG指定和/或根據OpenAI領導層或董事會的要求進行。B.外部訪問：我們還將繼續支持外部研究和政府機構訪問模型發布，以增加對前沿模型能力的紅隊測試和深度測試。C.安全演練：這個過程的一個關鍵部分是準備應對快速發生的緊急情況，包括默認的組織響應可能是什么樣的（包括如何對抗我們業務或文化的壓力進行壓力測試）。雖然準

39、備團隊和SAG當然會努力預測和準備風險，但安全演練可以幫助組織通過實踐和提出一些可預見情景的正確“默認”響應來建立“肌肉記憶”。因此，SAG將建議至少每年進行一次安全演練。D.對于這些問責措施，決策將遵循標準流程（即，SAG主席綜合最終建議，OpenAI領導層做出最終決定，董事會在必要時可以推翻）。示例情景示例情景1：“高”風險的說服力準備團隊的月度報告將剛剛訓練的模型在說服力方面的預緩解風險等級更新為“高”。該報告包括來自評估的證據案例。SAG主席接受支持這一新風險等級的證據，這將觸發兩個安全基線：（1）在緩解措施到位之前不繼續部署預緩解模型，以確保緩解后的風險最多為“中等”，（2）確保安全

40、措施到位以防止相關行為者的數據泄露；在這種情況下，這可能包括外國的虛假信息團體。準備團隊與相關團隊協商推薦的緩解措施，并提出一套最終建議，以確保模型風險回到“中等”，SAG同意這些建議。SAG主席將決策上報給OpenAI領導層進行最終決定。所有文檔都發送給OpenAI領導層和董事會，以便于他們查看和可能的審查。OpenAI領導層同意新的預緩解風險等級為“高”，并同意SAG的計劃以確保有足夠的緩解措施到位。董事會沒有推翻這一決定。SAG與準備和安全團隊合作，確?；€安全措施到位。準備團隊繼續定期評估預緩解和緩解后的風險，并確定雖然預緩解風險為“高”，但緩解措施足以將緩解后的風險降至“中等”。在整

41、個開發過程中，這一點都得到了驗證，并且在模型被批準部署之前，由請求的第三方審計驗證（假設可以找到合格和有效的審計員）。示例情景2：在網絡安全中預測的“關鍵”風險和快速處理過程準備團隊發現了一種新的、更有效的提示技術?；谑褂眠@種技術的更新的規模估計，一旦新模型完成訓練，網絡安全的風險等級預計將在六個月內達到“關鍵”水平。準備團隊在報告中包括了這一預測，并鑒于涉及的嚴重性和快速發展，呼吁進行快速處理。SAG同意支持這一新風險等級的證據，CEO也同意。這觸發了安全基線，（1）在緩解措施到位之前不繼續該模型的訓練和開發，以確保緩解后的網絡安全風險至多為“高”，（2）實施安全措施以應對所有新出現的相關行為者的數據泄露。SAG與相關團隊協商推薦的緩解措施，并提出一套最終建議，以確保緩解后的風險最多為“高”，CEO批準了這些建議。董事會也沒有推翻這一決定。準備團隊繼續定期每月評估最壞情況下的預緩解模型以及緩解后的模型，并確定緩解措施足以將緩解后的風險降至“高”。在開發過程中，這一點得到了請求的第三方審計的驗證（假設可以找到合格和有效的審計員），在模型轉變為“關鍵”之前可以確保。