1、 - 1 - 2021 年 7 月 5 日 第2021 年 7 月 5 日 第4545期 總第 658 期期 總第 658 期 歐盟搶跑人工智能立法規制數字技術風險 歐盟搶跑人工智能立法規制數字技術風險 當前，全球數字經濟正逐漸向以人工智能（AI）為核心驅動力的智能經濟新階段邁進。AI 技術在各行業得到廣泛應用，但在為經濟和社會發展注入新動能的同時， 也帶來了監管難題。 為此，2021 年 4 月， 歐盟發布 人工智能法1提案 （以下簡稱 法案 ） ，提出了 AI 統一監管規則，旨在從國家法律層面限制 AI 技術發展 1 歐盟人工智能法，試圖觸及人工智能發展的所有方面，被稱為“西方政府提出的涉

2、獵范圍最廣泛的法規之一”，也是迄今為止國際上制定監管人工智能技術最嚴苛的規則之一。 法案的提出，是歐盟擴大其全球科技強者角色影響力的重要一步。一旦正式通過，將對投入大量資源開發人工智能應用及服務的大型互聯網科技巨頭產生深遠影響，也將給其他使用人工智能軟件研發藥物、承銷保險以及評判信用度的企業帶來沖擊。 - 2 - 帶來的潛在風險和不良影響，使 AI 技術在符合歐洲價值觀和基本權利的基礎上技術應用創新得到進一步加強，讓歐洲成為可信賴的全球 AI 中心。作為 AI 領域的“GDPR”2，該法案是全球首部 AI 管制法律，研究其內容和創新點，對制定我國 AI 等數字技術治理方案具有重要借鑒意義。 一

3、、 法案核心內容 寬泛定義了一、 法案核心內容 寬泛定義了 AI 系統，并設置了系統，并設置了 AI 規則的域外適用性。規則的域外適用性。一方面， 法案定義了 AI 系統、AI 系統供應鏈上涉及到的相關環節以及不同類別的 AI 數據等相關要素，對監管對象（AI 系統）的定義表現出極強的寬泛性，幾乎涵蓋了全部使用傳統及新興 AI技術的系統（AI 技術使用常態化的互聯網服務均為監管對象） ，與GDPR中對受監管的個人數據的寬泛定義保持一致。 另一方面，法案明確了所有在歐盟市場投放、使用 AI 系統及相關服務的國內外供應商、服務商和公共服務用戶提供者，只要其 AI 系統影響到歐盟及歐盟公民的，均將受

4、到法案約束，從而保證了 AI 規則的域外適用性。 2通用數據保護條例 （GDPR），是歐盟在全球數據治理領域進行開拓的首部基礎性法律，其對各國數據治理有著重要的示范和影響。在 GDPR 的基礎上，法案是歐盟在數字經濟領域再上的一道“緊箍咒”，也是一項“里程碑式”的監管規則。 - 3 - 表表 1 AI 相關要素定義相關要素定義 概念概念 定義定義 AI 系統 是利用一種或多種技術和方法開發的軟件， 此類軟件針對一組特定人群定義的目標，可以產生諸如內容、預測、建議、決定影響之類的輸出。 產品或系統的安全 AI 組件 為產品或系統提供安全功能， 或其發生故障會導致人員生命或財產威脅的安全組件。 情

5、感識別系統 利用個體的生物特征數據推斷個體情感的 AI 系統。 生物分類系統 利用個體生物特征數據對個體的性別、年齡、族裔、政治取向等進行分類的 AI系統。 遠程生物特征識別系統 通過個體的生物特征識別數據與參考數據庫中的數據比對， 以實現遠距離暗中識別自然人的 AI 系統。包括實時識別和事后識別兩種類型。 實時遠程生物特征識別系統 是一種無延遲識別的遠程生物特征識別系統。使用該 AI 系統可即刻獲知個體身份。 事后遠程生物特征識別系統 實時系統之外的其他遠程生物特征識別系統。 該系統使用后需要一定的處理時間才可獲知個體身份。 提供者 是指開發 AI 系統或擁有已開發的 AI 系統， 并將其投

6、放市場或以自身名義投入使用的自然人、法人、公共機構等。 合格評定機構 執行第三方合格評定活動（包括測試、認證）的機構。 通知機構 負責建立必要的評估程序，并制定和通知合格評定機構開展評定。 訓練數據 用于擬合 AI 系統模型參數的數據。 驗證數據 用于對經過訓練的 AI 系統進行評估，調整模型參數以防止過擬合的數據。 - 4 - 測試數據 用于對經過訓練和驗證后的 AI 系統進行測試，通過確定輸入從而獲取預期目標的數據。 生物特征識別數據 通過特定技術處理獲取到的個體生理、行為特征數據，且這些數據具有唯一性和不可篡改性。 對不同應用場景的對不同應用場景的 AI 系統實施風險定級，并分別提出規制

7、路徑。系統實施風險定級，并分別提出規制路徑。 法案基于不同應用場景的風險差異性，將 AI 系統分為“不可接受、高、有限、極小”四個風險等級，并針對不同級別風險實施不同程度的規制，從而構建起以風險為基礎的四級治理體系。一是將對基本人權和社會公平構成明顯威脅的 AI 系統視為“不可接受” ；二是將可能危及公民人身安全及生活基本權利場景中的 AI 系統視為“高風險” ；三是將具有特定透明度義務的AI 系統視為“有限風險” ；四是將提供簡單工具性功能的 AI 系統視為“極小風險” 。 表表 2 法案對不同應用場景的法案對不同應用場景的 AI 系統實施風險定級系統實施風險定級 級別級別 AI 系系統應用

8、場景統應用場景 約束力度約束力度 不 可 接 受 公共機構開展社會信用評分。 非特殊情況下 （搜尋受害人或失蹤兒童、 防止恐怖襲擊等明確且緊急的危害發生、 追查犯罪嫌疑人除外） 基于執法目的在公共場所進行實時遠程生物識別。 在平臺算法推薦等具有算法偏見的場景中對人類意識和行為進行操縱。 在具有算法偏見的場景中傷害兒童及殘疾人等弱勢群體。 此類系統在市場上的部署和應用被絕對禁止。 - 5 - 高 風 險 關鍵基礎設施領域： 包括無人駕駛等道路交通管理、 水氣熱電供應等。 就業領域： 包括招聘 （簡歷評估） 、 升職 （工作任務分配與評估） 、解雇以及建立合同關系等。 教育和職業培訓領域：包括招生

9、錄取、考試評定等。 社會保障領域：包括銀行貸款、財政補助、電力電信服務、保障性住房等。 執法領域：包括測謊儀、情緒狀態監測、證據可靠性評估、犯罪風險評估等。 司法領域：幫助司法部門研究和解釋事實和法律等。 移民與邊境管理：包括核實旅行證件真實性、評估移民風險等。 產品或系統的安全組件： 歐盟其他協調性法規中涵蓋的產品中嵌入 AI 組件的場景，如 AI 機器人（組件）用于輔助醫療器械執行手術。 此類系統被嚴格管控，需在符合一定強制性要求的情況下，才能進入歐洲市場。 有 限 風 險 用戶能夠清晰意識到其與 AI 系統交互，并可隨時決定繼續或終止交互行為的場景， 包括具有透明度的聊天機器人、 情緒識

10、別系統、生物特征分類系統、深度偽造系統等。 此類系統需履行用戶告知等透明義務，保障用戶的知情、選擇權。 極 小 風 險 提供視頻、游戲、郵箱等簡單功能的 AI 賦能工具。 未實施干預措施。 為在特定領域提供為在特定領域提供“高風險高風險”AI 系統的企業提出系統的企業提出“全生命周期全生命周期”式的多重合規要求，旨在增強式的多重合規要求，旨在增強 AI 產品及服務的透明度。產品及服務的透明度。 法案重點對“高風險”AI 系統的開發、部署和應用等全生命周期提出了系列規范，并要求企業等 AI 系統供應商履行以下透明化義務：一是在 AI 系統開發過程中，建立風險管理系統、進行數據質量檢驗、設計用戶告

11、知和日志追溯功能、搭建網絡安全保障能力、編制用于監管審計的技術信息文件等。二是在 AI 系統首 - 6 - 次運營前或系統升級迭代后，及時開展合規性評估，并在歐盟委員會建立和管理的大數據庫中進行備案登記。三是在 AI 系統投入使用過程中，建立與 AI 風險級別相匹配適應的售后監測系統與人為監督機制，對 AI 應用中的風險進行監控預警，在發現可能的風險后召回系統處理并通知相關監管機構。四是在 AI 系統發生故障或嚴重事故時，應立即采取補救措施，并在半個月內向相關監管部門報告。 設立專項設立專項 AI 監督機構，加大監管執法力度。監督機構，加大監管執法力度。在 AI 監管主體方面， 法案提出將通過

12、建立歐洲人工智能委員會，推動 AI 新規則的實施完善，以及后續 AI 標準的制定出臺，并借此構建各國監管部門的聯絡渠道，協調歐盟層面的 AI 監管政策，以保持AI 監管體系的統一性。此外，要求各成員國建立通知機構，指定和通知第三方合格評定機構開展監管評估，并定期將監管調查信息發送至 AI 委員會。在 AI 監管執法方面， 法案提出將對創建或應用 AI 系統過程中的違法企業處以高達約 3600 萬美元的行政罰款，或全球年度總營業額的 2%-6%，取兩者中最高的金額進行處罰。相比 GDPR 中 4%年營業額的罰款金額， 法案的 AI - 7 - 監管處罰力度進一步加大。此外，將撤回未在規定時間內實

13、施整改措施企業的 AI 系統，并限制其市場銷售。 二、 法案亮點分析 與二、 法案亮點分析 與GDPR有效銜接有效銜接3， 進一步明確了， 進一步明確了AI系統的數據治理要求。系統的數據治理要求。數據和算法是 AI 技術的核心要素，AI 系統通過數據喂養進行算法模型優化，算法模型也應用于對個人數據的深度挖掘，實現基于學習的智能化服務。為此， 法案重點關注了 AI 系統的數據安全和算法歧視偏見等問題，并進行了明確規制，包括：AI 系統在收集用戶數據前需履行告知義務，以保證用戶的知情權和選擇權，確保數據采集的合法性；在訓練、驗證、測試“高風險”AI系統數據集時， 應完成數據質量檢驗、 算法偏見評估

14、檢查等要求；在 AI 監管沙盒中處理個人數據時，應保證個人數據均處于功能獨立、隔離且受保護的數據處理環境中，并需實施授權訪問和數據刪除機制。 搭建具備可拓展性的法律框架，彌補了技術監管的滯后性缺陷。搭建具備可拓展性的法律框架，彌補了技術監管的滯后性缺陷。面對飛速發展的 AI 等新興數字技術，法律的適用性持續時 3 此前 GDPR 中提及，在開發 AI 和大數據應用程序時應竭力平衡數據保護和其他社會經濟利益，但其對如何實現這一目標并未進一步明確。而此法案特設條款，對“高風險”AI 系統和 AI 監管沙盒等場景中的數據和算法治理提出了明確的要求，與 GDPR 進行了較好的銜接與匹配。 - 8 -

15、間往往較短，新制定的法律規定可能很快就無法適用于實際情況，難以實現對迭代快速的 AI 技術進行全面監管，AI 領域的法制體系滯后性凸顯。為此， 法案專門預留了及時調整更新法律的空間，通過設臵“動態清單” ，巧妙化解了法律滯后性和技術飛速發展之間的矛盾。例如，對 AI 系統的定義， 法案以附件形式詳細列舉了屬于 AI 范圍內的技術和方法清單，并通過更新清單機制，保持與最前沿 AI 技術的同步性；針對“高風險”AI 系統的界定， 法案制定了“高風險”清單，并賦予人工智能委員會結合風險多邊性判斷并提出添加新“高風險”應用場景建議的權利，以確保法律的及時更新。 實施對人工智能系統的分類分級監管，構建系

16、統性實施對人工智能系統的分類分級監管，構建系統性 AI 治理體系。治理體系。AI 技術具有跨學科、前沿知識融合等復雜屬性，不同 AI系統在相同場景中可造成不同種類的風險，相同 AI 系統在不同場景中應用也可能帶來不同種類或不同程度的風險。為此， 法案采用分類分級思路，在梳理重點應用場景類別的基礎上，對不同應用場景按照 AI 系統風險可能的影響程度和危害性質實施不同等級的分類治理，替代對不同場景的 AI 風險進行分散專項 - 9 - 治理的傳統路徑。通過構建清晰且系統性的治理框架，實現對 AI系統復雜性風險的“降維”治理。 率先建立率先建立 AI 監管沙盒機制，探索監管人工智能風險的新模式。監管

17、沙盒機制，探索監管人工智能風險的新模式。技術規制的法律制定常見難點之一就是如何在實現有效監管的同時，兼顧技術創新發展，鼓勵企業負責任的創新行為。為此， 法案提出通過建立 AI 監管沙盒，為 AI 系統的開發、部署、驗證、測試提供了一個可控的隔離環境，使歐洲企業可在免責條件下進行 AI 相關的試驗和創新，且試驗全過程受到監管部門的監督。通過在可控范圍內實行容錯糾錯機制，在杜絕AI 未知問題向不可控外部環境擴散風險的同時，也為AI 創新企業創造了相對寬松的發展環境。 三、四點啟示 強化三、四點啟示 強化 AI 立法，制定具備銜接性與靈活性的法律監管框架。立法，制定具備銜接性與靈活性的法律監管框架。

18、基于 AI 風險的復雜性、多變性，以及其與數據安全的緊密關聯性，在探索 AI 法律規制路徑時，可參考歐盟法案亮點，增強法律內容的銜接協調與靈活開放特性。一方面，確保 AI 法律與網絡安全法 、 民典法 、 數據安全法 、 個人信息保護法（草案） 四項數據和個人信息保護基本法的有效銜接，明確 AI - 10 - 語境下的數據安全及個人隱私保護原則，規制 AI 數據安全風險。另一方面，針對 AI 技術、 “高中低”風險應用場景等具有變化特征的概念實施動態定義，通過設臵清單列表并建立類數據庫功能的“增刪改查”調整機制，確保法律在技術發展和場景變更下的時效性和靈活性，防止 AI 法律內容滯后帶來的監管

19、困境。 探索分類分級監管路徑，依據不同應用場景精準施策。探索分類分級監管路徑，依據不同應用場景精準施策?？煽紤]采用法案中的分類分級治理思路，依托對不同場景類別的梳理， 以及場景風險對個人生命和生活權利、 社會秩序影響大小，將不同應用場景進行分級，對歸屬于同一風險級別場景中的 AI系統進行統一管控，對不同風險級別場景中的 AI 系統分別采取具有不同約束程度的治理方式，從而建立起自下而上限制逐步加深的“風險金字塔”規制模型。嘗試以“風險金字塔”為抓手，構建系統精準的 AI 監管治理體系，解決長久以來面臨復雜多樣的 AI 系統風險時監管效能低下的困境。 明確企業在明確企業在 AI 產品開發、 運營過

20、程中的強制性義務， 提高產品開發、 運營過程中的強制性義務， 提高 AI系統的透明度。系統的透明度。要求企業在 AI 產品開發過程中，建立完善的 AI系統風險管控流程， 包括開展數據質量檢驗避免數據投毒等事件發 - 11 - 生、建立日志追溯機制強化風險的歸因溯源、建設網絡安全保障能力防止數據泄露等；在 AI 產品投入市場使用前或系統改造后，定期通過第三方評估機構開展評估認證，向監管部門備案 AI 算法的設計運行機制、可能的偏見和漏洞、AI 數據安全保護和風險管控措施；在 AI 產品投入使用后，及時開展監控預警，建立應急響應機制，及時處理可能的 AI 風險事故并同步監管部門。 多措并舉構建體系

21、化的多措并舉構建體系化的 AI 監管機制，制定包容審慎的技術監管措施。監管機制，制定包容審慎的技術監管措施。一是建立 AI 監管專項負責機構，及時跟蹤和制約 AI風險。AI 監管機構負責跟蹤 AI 技術發展和應用場景變化，及時提出 AI 新風險應對、監管范圍更新等相關建議；對各類不負責任的 AI 提供者實施約談處罰，進行有效制約和威懾。二是完善標準體系，建立第三方機構開展 AI 風險檢測認證。加快制定 AI相關技術和應用的安全標準，明確各領域 AI 系統的審計、日志、告知等透明性要求與衡量指標；培育權威的第三方 AI 風險評估機構，開展 AI 算法、透明度、數據安全風險等相關評估。三是探索設立 AI 沙盒監管，探尋風險制約和創新保護之間的最佳結合點。建議由 AI 監管的專項負責機構確定沙盒監管基本原則和 - 12 - 條件，將具備創新性但風險未知的 AI 產品或商業模式在進入市場前，預先在沙盒環境進行迭代驗證，使用戶在受保護的環境使用 AI 產品或服務。 本文作者：工業和信息化研究院 王偉潔 鄧攀科 聯系方式：18810775891 電子郵件：wangweijie