《歐盟委員會：人工智能白皮書（中文譯本）（33頁）.pdf》由會員分享，可在線閱讀，更多相關《歐盟委員會：人工智能白皮書（中文譯本）（33頁）.pdf（33頁珍藏版）》請在三個皮匠報告上搜索。

1、 歐盟委員會人工智能白皮書歐盟委員會人工智能白皮書 WHITE PAPER On Artificial Intelligence-A European approach to excellence and trust（2020-2-19）中文譯本中文譯本 吳沈括等吳沈括等 譯譯 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 20202020 年年 2 2 月月 北京北京 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 特別鳴謝特別鳴謝 北京師范大學網絡法治國際中心研究員（排名不分先后）崔婷婷、胡涵、程佳泓、張馨童、王雪西、邵萍、林苗、張萍萍、曹祜、陳宣瑋、梁怡冉、史婉瑩、

2、王洪鵬、崔辰淼、張宸銘、馬嘉旭、陳梓菡、陳泓宇、李鈺清、劉藝林、呂崎、程寬、馬浩翔、孫雪莉、米佳派、武小川、王寅、雷子晴、鄭佳瑤、張曦月、王天盈、董雨仙、張偉鑫 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 白皮書白皮書 關于人工智能關于人工智能 通往卓越與信任的歐洲道路通往卓越與信任的歐洲道路 歐盟委員會 布魯塞爾,19.2.2020 COM(2020)65 最終版 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 關于人工智能的關于人工智能的白皮書白皮書 通往卓越與通往卓越與信任信任的歐洲道路的歐洲道路 目前，人工智能發展迅速，這將會對民眾的生活帶來許多方面的改善：如提

3、高醫療水平（提高診斷精確度，增強疾病防控能力），提高農業生產效率，促進對氣候變化的緩解和適應，通過預見性維護提高生產系統的效率，增強歐洲的安全，以及許多可能預想不到的其他方面。同時，人工智能（下文稱 AI）也涉及不少潛在的風險，例如決策的不透明，基于性別或是其它可能的歧視，侵犯人的生活隱私，乃至用于犯罪目的。為應對全球激烈競爭的形勢，需要在 2018 年 4 月提出的歐洲人工智能戰略1的基礎上，走出一條堅定的歐洲道路。為了應對人工智能帶來的機遇和挑戰，歐盟必須團結一心，以歐式價值觀為根基，尋找適合自身的發展方式，從而促進人工智能的發展和部署。委員會致力于促進科學發展上的創新突破，以維持歐盟在技

4、術上的領先地位；并會確保新技術服務于全體歐洲人民，以改善他們的生活，同時尊重他們的權利。委員會主席烏爾蘇拉馮德萊恩在她的施政方針2中公布了關注人工智能對人和倫理的影響，以及如何更好地利用大數據進行創新思考，協同合作的人工智能歐洲發展道路。因此，委員會支持采取以監管和投資為導向的手段，其目的是促進人工智能的使用，并解決新技術在使用上的一些風險問題。本白皮書的目的，是就如何實現這些目的提供政策備選項，但不涉及為軍事目的開發和使用人工智能的相關問題。委員會邀請成員國、其他歐洲機構和所有利益攸關方，包括工業界、社會伙伴、民間社會組織、研究人員、一般公眾和其他有關方面，對下列備選方案提出意見和建議，并為

5、委員會今后在該領域的決策提供幫助。1 歐洲人工智能戰略,COM/2018/237 最終版。2 https:/ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_en.pdf。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 1.1.引言引言 隨著在民眾生活的各個方面逐漸占據中心地位，數字技術應該做到足以信賴。而可信度也正是信賴的先決條件。鑒于歐洲對價值觀和法治的強烈重視，以及在航空、能源、汽車和醫療設備領域提供安全、可靠和精密產品和服務的成熟能力，這對歐洲來說是一

6、個機遇。歐洲目前和未來經濟的可持續增長與社會福利的維持，將越來越依賴于數據所創造的價值，而人工智能是數據經濟中最重要的應用之一。目前，大部分數據都是與消費者相關的，并在基于云的中心化基礎設施上進行存儲和處理。相比之下，將來更豐富的數據，將有很大一部分會來自工業、商業和公共部門，并且這些數據會被存儲在不同的系統上，尤其是位于網絡邊緣的計算機設備上。這給歐洲帶來了新的機遇，歐洲整體在數字化行業和B2B 應用中具有領先地位，但相對的，在消費平臺則處于劣勢。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 簡單地說，人工智能是數據、算法和計算能力相結合的技術集合。因此，計算技術的進步和數據日益

7、增進的可用性是當前人工智能熱潮的關鍵驅動因素。歐洲可以將其技術和產業優勢與高質量的數字基礎設施和基于其基本價值觀的監管框架相結合，成為數據經濟及其應用創新的全球領導者，這是歐洲數據戰略 3所規定的。在此基礎上，它可以發展一個人工智能生態系統，為整個歐洲社會和經濟帶來該技術的好處:讓公民獲得新的利益，例如改善醫療、減少家用機械故障、提供更安全、更清潔的交通系統以及更好的公共服務;在產業發展方面，例如，在歐洲特別突出的領域(機械、交通、網絡安全、農業、綠色和循環經濟、醫療保健以及時尚和旅游等高附加值行業)開發新一代產品和服務;公共利益的服務,例如通過減少成本提供服務(交通、教育、能源和廢物管理),

8、通過改進產品的可持續性4和執法當局配備適當的工具來確保公民5的安全,提供適當的保護措施,尊重他們的權利和自由?？紤]到人工智能可能對我們的社會產生的重大影響，以及建立信任的需要，歐洲的人工智能必須以歐洲價值觀和人類尊嚴及隱私保護等基本權利為基礎，這一點至關重要。此外，對于人工智能系統的影響不僅要從個人的角度來考慮，還要從整個社會的角度來考慮。使用人工智能系統可以在實現可持續發展目標、支持民主進程和社會權利方面發揮重要作用。歐洲最近提出了有關歐洲綠色交易6的建議，在應對氣候和環境相關挑戰方面處于領先地位。像人工智能這樣的數字技術是實現綠色交易目標的關鍵推動因素。鑒于人工智能的重要性日益增加，人工智

9、能系統的環境影響需要在其整個生命周期和整個供應鏈中得到充分考慮，例如在算法訓練和數據存儲的資源使用方面。為了達到足夠的規模，避免單一市場的分裂，歐洲有必要采取一種共同的人工智能方法。國家層面舉措的引入可能會危及法律確定性，削弱公民的信任，并阻止一個充滿活力的歐洲產業的出現。3 COM(2020)66 最終版。4 總的來說，人工智能和數字化是歐洲綠色交易藍圖的關鍵推動者。然而，目前信息和通信技術部門的環境影響估計占全球總排放量的 2%以上。本白皮書所附的歐洲數字戰略提出了數字化的綠色轉型措施。5 人工智能工具可以為更好地保護歐盟公民免遭犯罪和恐怖主義行為的侵害提供機會。例如，這些工具可以幫助識別

10、網絡恐怖主義宣傳，發現危險產品銷售中的可疑交易，識別危險隱藏物或非法物質或產品，在緊急情況下為公民提供幫助，幫助指導急救人員。6 COM(2019)640 最終版。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 本白皮書在充分尊重歐盟公民的價值觀和權利的情況下，提出了使人工智能在歐洲可信和安全發展的政策選擇。本白皮書的主要內容如下:該政策框架規定了協調歐洲、國家和區域各層級努力的措施。通過私人和公共部門之間的合作，框架的目的是調動資源實現在整個價值鏈上打造卓越的生態系統，進行研究和創新，并建立正確的激勵機制，加快采用基于人工智能的解決方案，包括中小企業(SMEs)。未來歐洲人工智能監

11、管框架的關鍵要素，將創建一個獨特的“信任生態系統”。要做到這一點，它必須確保遵守歐盟的規則，包括保護基本權利和消費者權利的規則，特別是在歐盟運行的、風險較高的人工智能系統7。建立一個信任的生態系統本身就是一個政策目標，它應該讓公民有信心接受人工智能應用，為企業和公共組織利用人工智能進行創新提供法律確定性。委員會大力支持以人為本的方法，該方法以在以人為本的人工智能8中建立可信交流為基礎，并將考慮到人工智能高級別專家組編寫的倫理準則在試點階段獲得的思路。此外，與白皮書一同發布的歐洲數據戰略旨在使歐洲成為世界上最具吸引力、最安全、最具活力、數據最敏捷的經濟體，能夠利用數據改善決策，改善全體公民的生活

12、。該戰略提出了實現這一目標所需的一系列政策措施，包括動員私人和公共投資。最后，本白皮書附帶的委員會報告分析了人工智能、物聯網和其他數字技術對安全和責任立法的影響。2.2.利用工業及專業市場的優勢利用工業及專業市場的優勢 歐洲處于有利地位，能夠從人工智能的潛力中受益，不僅是作為用戶，而且是作為這項技術的創造者和生產者。它擁有優秀的研究中心、創新的初創企業、機器人領域的全球領先地位，以及從汽車到醫療保健、能源、金融服務和農業等頗具競爭力的制造業和服務業。歐洲已經發展了強大的計算基礎設施(如高性能計算機)，這對人工智能的運行至關重 7 雖然可能需要作出進一步的安排，以防止和反對濫用人工智能作犯罪用途

13、，但這已超出本白皮書的范圍。8 COM(2019)168 通訊。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 要。歐洲還擁有大量的公共和工業數據，但這些數據的潛力目前并未得到充分利用。歐洲在安全可靠、低功耗的數字系統方面擁有業界公認的優勢，這對人工智能的進一步發展至關重要。利用歐盟在下一代技術和基礎設施方面的投資能力，以及在數據素養等數字能力方面的投資能力，將增強歐洲在數據經濟的關鍵技術和基礎設施方面的技術主權?；A設施應該支持創建歐洲數據池，以支持可靠的人工智能，例如遵守歐洲價值觀和規則的人工智能。歐洲應該利用自己的優勢，鞏固擴大自己在生態系統和價值鏈上的地位，包括從某些硬件制造

14、業到軟件再到服務業。這種情況已經在一定程度上發生了。歐洲生產超過四分之一的工業和專業服務機器人(如精密農業、安全、衛生、物流)。這些機器人在為公司和組織使用軟件應用程序(b2b 應用，如企業資源規劃、設計和工程軟件)，以及使用支持電子政務和“智慧企業”的應用程序中扮演著重要的角色。歐洲在制造業部署人工智能方面領先。超過一半的頂級制造商在制造業務中至少創造了一個人工智能實例9。歐洲在研究方面的強勢地位的原因之一是歐盟的資助計劃，事實證明該計劃有助于聯合行動、避免重復以及利用成員國的公共和私人投資。在過去三年中，歐盟對人工智能的研究和創新資金已經上升到 15 億歐元，即與前一期間相比增加 70%。

15、然而，歐洲的研究和創新投資仍然是世界其他地區公共和私人投資的一小部分。2016年在歐洲的人工智能投資約為 32 億歐元，而北美約為 121 億歐元，亞洲約為 65 億歐元10。對此，歐洲需要大幅提高投資水平。與成員國共同制定的關于人工智能的協調計劃11被證明是在歐洲建立更密切的人工智能合作和創造協同效應以最大限度地投資于人工智能價值鏈的良好起點。3.3.把握未來機遇：下一波數據浪潮把握未來機遇：下一波數據浪潮 雖然歐洲目前在消費者應用程序和在線平臺上處于弱勢地位，從而導致數據獲取方面 9 其次是日本（30%）和美國（28%）。資料來源：CapGemini（2019 年）。10 AI 和自動化時

16、代歐洲的 10 個當務之急，麥肯錫（2017）。11 COM(2018)795。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 處于競爭劣勢，但各部門數據的價值和再利用正在發生重大變化。世界上產生的數據量正在迅速增長，從 2018 年的 33 ZB 增加到 2025 年的 175 ZB12。每一波新的數據浪潮都為歐洲在數據敏捷經濟中定位自己并成為這一領域的世界領先者帶來了機遇。此外，在今后五年中，數據的儲存和處理方式將發生巨大變化。今天，云中 80%的數據處理和分析發生在數據中心和中心化計算設施，20%發生在智能連接的對象，如汽車、家用電器或制造機器人，以及接近用戶的計算設施（“邊緣

17、計算”）。到 2025 年，這些比例將發生顯著變化13。歐洲在低功耗電子產品（發展下一代人工智能專業處理器的關鍵技術）方面，處于全球領先地位。這一市場目前由非歐盟參與者主導。在歐洲處理器項目(European Processor Initiative)等計劃的幫助下，這種情況可以改變，該項目的重點是為邊緣和下一代高性能計算開發低功耗計算系統，以及擬議于 2021 年開始的關鍵數字技術聯合項目的工作。歐洲在神經形態解決方案14領域同樣具有領先地位，這些解決方案非常適合自動化工業過程（工業 4.0）和運輸模式。它們可以提高幾個數量級的能源效率。量子計算的最新進展將導致處理能力的指數增長15?；谒?/p>

18、在量子計算方面的學術優勢，以及歐洲工業在量子模擬器和量子計算編程環境中的強大地位，歐洲可以站在這項技術的前沿。旨在增加量子測試和實驗設施的歐洲倡議將有助于將這些新的量子解決方案應用于一些工業和學術部門。與此同時，歐洲將繼續引領人工智能算法基礎的進步，這建立在其自身卓越的科學積淀之上。需要在目前獨立的學科之間建立橋梁,如機器學習、深度學習(以有限的可解釋性為特征,需要大量的數據來訓練模型并通過相關性來學習)和符號學方法(規則是通過人工干預創建的)。將符號推理與深度神經網絡相結合可以幫助我們提高人工智能結果的可解釋性。4.4.卓越的生態系統卓越的生態系統 為了建立一個卓越的生態系統，以支持整個歐盟

19、經濟和公共行政部門對人工智能的發 12 IDC(2019)。13 Gartner(2017)。14 神經形態解決方案是指模仿神經系統中的神經生物結構的超大規模的集成電路系統。15 量子計算機將有能力在不到幾秒的時間內處理遠超目前性能最高的計算機的數據集，從而可以開發跨部門的新的人工智能應用。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 展和采用，有必要在多個層面加強行動。A.A.與成員國合作與成員國合作 歐盟委員會于 2018 年 4 月通過了關于人工智能的戰略16，并于 2018 年 12 月提出了一項協同計劃與成員國一起制定以促進歐洲人工智能的發展和使用17。該計劃提出了約 7

20、0 項聯合行動，以便成員國與歐盟委員會在研究、投資、市場吸收、技能和人才、數據以及國際合作等關鍵領域開展更密切、更有效的合作。該計劃預計運行到 2027 年，并定期進行監測和審查。其目的是最大限度地擴大在研究、創新和部署方面的投資的影響，評估國家人工智能戰略，并在此基礎上擴大與成員國的人工智能協調計劃:行動 1:歐盟委員會將考慮白皮書的公眾咨詢結果，向成員國提議修訂將于 2020 年底之前通過的協調計劃 歐盟層面在人工智能領域的資助，應該能夠吸引并集中投資于所需行動超出單個成員國能力范圍的領域。其目標是在未來十年內，在歐盟內每年吸引超過 200 億歐元18的人工智能投資。為了刺激私人和公共投資

21、，歐盟將從“數字歐洲”(Digital Europe)計劃、“地平線歐洲”(Horizon Europe)以及“歐洲結構投資基金”(European Structural and investment Funds)中提供資源，以滿足欠發達地區和農村地區的需求。這個協調的計劃也可以作為人工智能的一個關鍵原則來處理社會和環境福利。人工智能系統承諾幫助解決最緊迫的問題，包括氣候變化和環境惡化。同樣重要的是，這要以一種對環境友好的方式進行。人工智能能夠而且應該嚴格檢查資源使用和能源消耗，并被訓練做出對環境有利的選擇。委員會將考慮與成員國一起鼓勵和促進人工智能解決方案的達成。B.B.聚焦研究和創新社群的

22、努力聚焦研究和創新社群的努力 歐洲無力維持目前分散的能力中心格局，沒有一個能達到與全球領先機構競爭所需的規模。有必要在人工智能研究中心之間建立更多的協同效應和網絡，并協調他們的工作以 16 歐洲人工智能，COM(2018)237。17 人工智能協同規劃，COM(2018)795。18 COM(2018)237。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 提高水平，保留和吸引最好的研究人員并開發最好的技術。這些中心和網絡應集中在歐洲有潛力成為全球冠軍的部門之中，例如工業，衛生，運輸，金融，農業，能源/環境，林業，地球觀測和太空。在所有這些領域中，爭奪全球領導地位的斗爭一直在進行，歐

23、洲提供了巨大的潛力、知識和專業技術19。同樣重要的是創建測試和實驗站點，以支持新型人工智能應用的開發和后續部署。行動 2：委員會將協助建立卓越中心和測試中心，將歐洲、國家和私人投資結合起來，其中可能包括一項新的法律工具。歐盟委員會提出了巨額撥款，專門用于支持數字歐洲計劃(Digital Europe Programme)下的歐洲的世界級檢測中心，并在適當情況下通過“地平線歐洲”（Horizon Europe）的研究和創新行動予以支持，后者是 2021 至 2027 多年度財務框架的組成部分。C.C.技能技能 歐洲人的人工智能道路需要高度重視技能方面的問題，以彌補能力短缺20。歐盟委員會將很快提

24、出強化技能議程的方案，旨在確保歐洲每個人都能從綠色和數字化轉型的歐盟經濟中受益。倡議還包括部門監管機構的支持，提高他們的人工智能技能，以便有效和高效地執行有關規則。更新的數字教育行動計劃將有助于更好地利用數據和基于人工智能的技術，例如學習和預測分析，以改善教育和培訓系統并使之適應數字時代。該計劃還將在各級教育中提高人們對人工智能的認識，以使公民為將受到越來越多人工智能影響的更好決定做好準備。發展與人工智能相關的必要技能，并提高勞動力以適應由人工智能主導的轉型，這將是與成員國一起制定的經修訂的人工智能協調計劃的優先事項。這可能包括將道德準則的評估清單轉變為人工智能開發者的指示性“履歷”，進而成為

25、培訓機構的資源。對于增加在該領域接受培訓和就業的婦女人數應做出更多的努力。此外，歐洲的人工智能研究與創新中心將吸引來自世界各地的人才，因為它可以提供各種機會。它還將發展和傳播歐洲原有的并不斷發展的卓越技能。行動 3：通過建立和支持由一流大學和高等教育機構組成的數字歐洲計劃網絡的高等技能支柱，吸引最優秀的教授和科學家，并提供人工智能領域世界領先的碩士學位 19 未來的歐洲國防基金和永久結構化合作組織（PESCO）也將為人工智能的研發提供機會。這些項目應該與致力于人工智能的歐盟民用計劃保持協調。20 https:/ec.europa.eu/jrc/en/publication/academic-o

26、ffer-and-demand-advanced-profiles-eu。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 課程。除了提高技能外，工人和雇主還直接受到工作場所中人工智能系統的設計和使用的影響。社會合作伙伴的參與將是確保在工作中以人為本的人工智能發揮作用的關鍵因素。D.D.關注中小企業關注中小企業 確保中小企業可以訪問和使用人工智能也很重要。為此，應進一步加強建設數字創新中心21和人工智能需求平臺22，并增進與中小企業之間的合作。數字歐洲計劃將有助于實現這一目標。所有數字創新中心都應為各國中小企業提供支持，以幫助它們理解和采用人工智能，同時每個成員國至少有一個創新中心在人

27、工智能方面實現高度專業化，這一點很重要。中小企業和初創企業需要獲得資金以適應其工作流程或使用人工智能進行創新。在即將出臺的針對人工智能和區塊鏈的 1 億歐元試點投資基金的基礎上，歐盟委員會計劃根據投資歐洲計劃 進一步擴大人工智能的融資渠道23。投資歐洲計劃的擔保所覆蓋的合理使用領域中明確提到了人工智能。行動 4：委員會將與成員國合作，以確保每個成員國至少有一個高度專業化的人工智能數字創新中心?！皵底謿W洲計劃”將為數字創新中心提供支持。歐盟委員會和歐洲投資基金將在 2020 年第一季度啟動 1 億歐元的試點計劃，為人工智能的創新發展提供股權融資。在與 MFF 達成最終協議的情形下，歐盟委員會的意

28、圖是從 2021 年起通過投資歐洲計劃大幅擴大該規模。E.E.與私營部門的伙伴關系與私營部門的伙伴關系 確保私營部門充分參與研究和創新議程的設定并提供必要的共同投資水平也很重要。這要求建立廣泛的公私合作伙伴關系，并確保公司最高管理層的一致同意。行動 5:在“地平線歐洲”項目的背景下，委員會將在人工智能、數據和機器人技術方面，與“地平線歐洲”中的其他公私伙伴關系進行協作，并與上文涉及的測試設施和數字創新中心共同努力，確保人工智能領域研究與創新的協調發展。21 ec.europe.eu/digital-single-market/en/news/digital-innovation-hubs-he

29、lping-companies-across-economy-make-most-digital-opportunities。22 www.Ai4eu.eu。23 Europe.eu/investeu。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 F F推動公共部門對人工智能的應用推動公共部門對人工智能的應用 公共管理部門、醫院、公用事業和運輸服務部門、金融監管機構以及其他公共利益領域必須迅速開始部署基于人工智能的產品和服務。重點是醫療衛生和運輸領域，這些領域的技術已經成熟，可以大規模部署。行動 6:委員會將發起公開透明的部門對話，優先考慮醫療衛生、農村行政管理和公共服務運營商，以

30、便提出一項促進發展、試驗和采用的行動計劃。該部門對話將被用于制定一個具體的“人工智能應用方案”，以支持人工智能的公共采購系統，并幫助改變公共采購流程本身。G G確保對數據和計算基礎設施的訪問確保對數據和計算基礎設施的訪問 本白皮書中列出的行動領域是對歐洲數據戰略下平行提出的計劃的補充。改善對數據的訪問和管理是根本。沒有數據，就不可能開發人工智能和其他數字應用。尚未生成的海量新數據，為歐洲提供了使自己位居數據和人工智能轉型前沿的機會。促進負責任的數據管理和數據合規實踐符合 FAIR 原則將有助于建立信任和確保數據的可再利用性24。同樣重要的是對關鍵計算技術和基礎設施的投資。歐盟委員會已經提議在數

31、字歐洲計劃下提供超過 40 億歐元的資金以支持高性能和量子計算，包括邊緣計算和人工智能、數據和云基礎設施。歐洲數據戰略進一步發展了這些優先事項。H H國際方面國際方面 在圍繞共同價值觀建立聯盟和促進人工智能的應用倫理方面，歐洲處于全球領先地位。歐盟在人工智能方面的工作已經影響了國際討論。在制定其倫理準則時，高級別專家組吸收了一些非歐盟組織和若干政府觀察員。與此同時，歐盟密切參與制定經合組織的人工智能25道德原則。二十國集團隨后在其 2019 年 6 月關于貿易和數字經濟的部長聲明中認可了這些原則。與此同時，歐盟認識到，在其他多邊平臺中正在開展有關人工智能的重要工作，包括歐洲委員會，聯合國教育、

32、科學與文化組織（UNESCO），經濟合作與發展組織（OECD），世 24 Findable,Accessible,Interoperable and Reusable，該等原則被闡述在 2018 年委員會專家組關于FAIR 數據的最終報告和行動計劃之中：https:/ec.europa.eu/info/sites/info/files/turning_fair_into_reality_1.pdf。25 https:/www.oecd.org/going-digital/ai/principles。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 界貿易組織（WTO）和國際電信聯盟（I

33、TU）。在聯合國，歐盟參與了數字合作高級別小組的報告的后續行動，包括其有關人工智能的建議。歐盟將基于歐盟規則和價值觀（例如，支持向上的監管趨同、獲取包括數據在內的關鍵資源、創造公平的競爭環境），在人工智能方面繼續與志同道合的國家合作，也與其他全球參與者合作。委員會將密切監測第三國限制數據流動的政策，并將通過世界貿易組織范圍內的行動，處理雙邊貿易談判中的不當限制。委員會堅信，在人工智能問題上的國際合作必須基于一種促進尊重基本權利的方法，包括人的尊嚴、多元化、包容、非歧視以及對隱私和個人數據的保護26，委員會將努力在全世界傳播其價值觀27。同樣明顯的是，負責任地開發和使用人工智能可以成為實現可持續

34、發展目標和推進 2030 年議程的驅動力。5.5.可信的生態系統：人工智能的監管框架可信的生態系統：人工智能的監管框架 與任何新技術一樣，使用人工智能既帶來了機遇，也帶來了風險。當面臨算法決策的信息不對稱時，公民擔憂在捍衛他們的權利和安全時陷于無能為力，而公司則擔心法律上的不確定性。雖然人工智能可以幫助保護公民的安全并使其享有基本權利，但公民也擔心人工智能會產生意想不到的影響，甚至被用于惡意目的。這些問題需要解決。此外，除了缺乏投資和技能外，缺乏信任也是阻礙人工智能廣泛應用的主要因素。因此，歐盟委員會于 2018 年 4 月 25 日制定了人工智能戰略28，以解決社會經濟方面的問題，同時增加了

35、歐盟范圍內對研究、創新和人工智能能力的投資。它與成員國商定了一項協調計劃29，以統一各國戰略。委員會還成立了一個高級別專家組，于 201930年 4 月發布了有關可信人工智能的指南。委員會發表了一份通訊31，歡迎高級別專家組指南中確定的七項關鍵要求：人類代理和監督 26 根據伙伴關系工具，歐盟委員會將資助一項 250 萬歐元的項目，以促進與志同道合的合作伙伴的合作，進而促進歐盟人工智能倫理指南并采納共同原則和操作結論。27 馮德爾萊恩（Von der Leyen）主席，追求更多的聯盟我的歐洲議程，第 17 頁。28 COM(2018)237。29 COM(2018)795。30 https:/

36、ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines#Top。31 COM(2019)168。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 技術韌性和安全性 隱私和數據治理 透明度 多樣性、非歧視性和公平性 社會和環境福祉 問責制 此外，該準則還包含一份供公司實際使用的評估清單。在 2019 年下半年，超過 350 個組織測試了此評估列表并發送了反饋。高級別小組正在根據這一反饋意見修訂其指南，并將在 2020 年 6 月之前完成這項工作。反饋過程的一個關鍵結果是，雖然一些要求已經反映在現有的法律或監管制度中，但許多

37、經濟部門的現行立法并沒有具體涵蓋透明度、可追溯性和人力監督方面的要求。在高級別專家組的非約束性指南的基礎上，并且根據主席的政治準則，明確的歐洲監管框架將在消費者和企業之間建立對人工智能的信任，從而加快技術的吸收。這樣一個監管框架應該和其他措施一起提升歐洲在該領域的創新能力和競爭力。除此之外，它必須確保在社會、環境和經濟層面實現結果，并符合歐盟的法律、原則和價值觀。這在公民權利可能會受到直接影響的一些領域中尤其重要，例如人工智能在執法和司法領域的應用。人工智能的開發者和部署者已經受制于歐洲法律對于基本權利（如數據保護、隱私、非歧視）、消費者保護、產品安全和責任規則等方面的規定。無論一個產品或系統

38、是否依賴人工智能，消費者都期待同樣水平的安全性和對他們權利的尊重。然而，人工智能的一些特有特征（如不透明）會使該法規的應用和執行更加困難。因此，我們有必要對現有法律能否解決人工智能的風險，能否被有效執行，以及法律是否有必有進行修訂，或者是否需要新的法律等問題進行調研。鑒于人工智能發展得如此快速，該監管體系必須為其更長遠的發展留下空間。任何修正都應當限于有明確解決方案的問題。歐盟成員國指出目前缺乏一個共同的歐洲框架。德國數據倫理委員會（The German Data Ethics Commission）呼吁建立一個以風險為基礎的 5 級監管系統，從對最無害的人工智能系統無監管到對最危險的人工智能

39、系統的全面禁止。而丹麥剛剛推出了數據倫理印章的原型。馬耳他為人工智能引進了自愿認證系統。如果歐盟無法提供一個供歐洲共同使 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 用的方法，內部市場將會有分裂的風險，這將破壞已有的信任、法律確定性和市場份額?？煽糠€固的人工智能歐洲監管框架將會保護所有的歐洲公民，并有助于為人工智能的進一步發展和采用創造一個無摩擦的內部市場，以及鞏固歐洲人工智能的產業基礎。A.A.問題定義問題定義 雖然人工智能可以有很多有益的應用，包括讓產品和流程更加安全，但它也可能帶來危害。這種危害可能是物質上的（個體的安全和健康，包括生命損失、財產損失），也可能是非物質的（隱

40、私的喪失、言論自由權的限制、人的尊嚴和就業等方面的歧視），并可能涉及各種廣泛的風險。監管框架應集中于如何最大程度地減少潛在危害的各類風險，尤其是那些最為顯著的風險。人工智能使用相關的最主要的風險是：旨在保護基本權利（包括個人數據和隱私以及非歧視）的規則適用，以及安全性32和責任相關問題?；緳嗬娘L險，包括個人數據和隱私保護以及非歧視基本權利的風險，包括個人數據和隱私保護以及非歧視 人工智能的使用可能會影響歐盟的基礎價值觀，并導致基本權利受到侵害33，包括言論自由、集會自由、人的尊嚴、圍繞性別、種族或族裔的非歧視、宗教信仰自由、或圍繞殘疾、年齡、性取向的非歧視(適用于某些領域)、保護個人數據和

41、私生活34、獲得有效司法救濟和公平審判的權利，以及消費者保護權等。這些風險可能是由于人工智能系統的總體設計存在缺陷(包括在人為監督方面)，也可能是是由于使用數據時沒有糾正可能的偏差(例如，系統僅使用或主要使用來自男性的數據進行培訓，導致與女性相關的結果不佳)。人工智能可以執行許多以前只能由人類完成的功能。因此，公民和法律實體將越來越多地受制于人工智能系統采取的行動和做出的決定，或者在人工智能系統的協助下采取的行動和做出的決定，這些行動和決定有時可能難以理解，也難以在必要時提出有效質疑。此外，人工智能增加了跟蹤和分析人們日常習慣的可能性。例如，存在一種潛在的風險，32 這包括網絡安全問題、與關鍵

42、基礎設施中人工智能應用相關的問題或人工智能的惡意使用。33 歐洲委員會的研究表明，使用人工智能可能會影響大量的基本權利，https:/rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5。34 一般數據保護條例和電子隱私指令(正在醞釀的新電子隱私條例)解決了這些風險，但可能需要檢查人工智能系統是否會帶來額外的風險。委員會將持續監測和評估 GDPR 的施行。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 即在違反歐盟數據保護和其他規則的情況下，國家當局或其他實體可能會使用人工智能進行大規模監控，而雇主可能會使用人工智能來觀察其

43、員工的行為。通過分析大量數據并識別它們之間的鏈接，人工智能還可能被用來追溯和消除關于個人的數據的匿名性，從而產生新的個人數據保護風險，即使對于本身不包括個人數據的數據集也可能如此。人工智能也被在線平臺用來為他們的用戶區分信息的優先級，并執行內容審核。經過處理的數據、應用程序的設計方式以及人為干預的范圍都會影響言論自由權、個人數據保護權、隱私權和政治自由。某些人工智能算法，當用于預測刑事累犯時，會表現出性別和種族偏見，顯示女性對男性或國民對外國人不同的再犯預測概率。資料來源:Tolan S.,Miron M.,Gomez E.and Castillo C.Why Machine Learning

44、 May Lead to Unfairness:Evidence from Risk Assessment for Juvenile Justice in Catalonia,Best Paper Award,International Conference on AI and Law,2019 某些用于面部分析的人工智能程序顯示出性別和種族偏見，表明膚色較淺的男性在確定性別時誤差較小，而膚色較深的女性在確定性別時誤差較大。資料來源:Joy Buolamwini,Timnit Gebru;Proceedings of the 1st Conference on Fairness,Account

45、ability and Transparency,PMLR 81:77-91,2018。偏見和歧視是任何社會或經濟活動的固有風險。人類的決策不能避免錯誤和偏見。然而，當同樣的偏見出現在人工智能中時，可能會產生更大的影響，如果沒有控制人類行為的社會治理機制，就會影響和歧視許多人35。當人工智能系統在運行中“學習”時，也會發生這種情況。在這種情況下，如果在設計階段無法預防或預計到結果，風險將不會來自系統原始設計中的缺陷，而是來自系統在大型數據集中識別的相關性或模式的實操影響。許多人工智能技術的具體特征，包括不透明性(“黑匣子效應”)、復雜性、不可預測性和部分自主行為，可能使其難以核實是否符合旨在保

46、護基本權利的現有歐盟法律的規 35 該委員會的男女機會平等咨詢委員會目前正在編寫一份“人工智能意見”，其中分析了人工智能對兩性平等的影響，預計該委員會將于 2020 年初通過該意見。歐盟 2020-2024 年性別平等戰略也處理了人工智能與性別平等之間的聯系；歐洲平等機構網絡(Equinet)將于 2020 年初發布一份報告(由 Robin Allen 和Dee Masters 撰寫)，題為“監管人工智能:平等機構的新角色應對日益增長的數字化和人工智能的使用對平等和非歧視提出的新挑戰”。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 則，并可能妨礙其有效執行。執法當局和受影響的人可能

47、沒有辦法核實某一特定決定是如何做出的，是否有人工智能的參與，因此也就沒有辦法核實相關規則是否得到遵守。在此類決定可能對個人和法人產生不利影響的情況下，個人和法人在有效訴諸司法方面可能面臨困難。安全風險和責任制度的有效運作安全風險和責任制度的有效運作 當人工智能技術嵌入到產品和服務中時，可能會給用戶帶來新的安全風險。例如，由于對象識別技術的缺陷，自動駕駛汽車可能會錯誤地識別道路上的物體，并導致涉及人身傷害和財產損害的事故。與對基本權利的風險一樣，這些風險可能是由人工智能技術的設計缺陷造成的，可能與數據的可用性和質量問題有關，也可能與機器學習產生的其他問題有關。雖然其中一些風險并不局限于依賴人工智

48、能的產品和服務，但人工智能的使用可能會加劇這些風險。除了對相關個人造成風險之外，缺乏明確的安全條款來應對這些風險，還可能給在歐盟銷售涉及人工智能產品的企業帶來法律上的不確定性。市場監督和執法當局可能無法確定是否可以進行干預,因為他們可能沒有權力采取行動或沒有適當的技術能力來檢查系統36。因此，法律的不確定性可能會降低整體安全水平，削弱歐洲公司的競爭力。如果安全風險成為現實，則缺乏明確的要求和上述人工智能技術的特點，將很難追溯到人工智能系統參與下的潛在問題決策。這反過來可能使遭受傷害的人難以根據現行歐盟和國家法律獲得賠償。37 根據產品責任指令，制造商應對缺陷產品造成的損害負責。然而，在基于人工

49、智能的系統(如自動駕駛汽車)的情況下，可能很難證明產品存在缺陷、已經發生的損害以及兩者之間的因果關系。此外，在某些類型的缺陷情況下（例如，如果這些缺陷是由產品的網絡安全缺陷造成的），產品責任指令的適用方式和效力范圍還存在一些不確定性。因此，與上文提到的與基本權利有關的潛在問題類似，追溯人工智能系統做出的存疑決定的困難同樣存在于安全和責任相關問題之中。例如，遭受損害的人可能無法有效收集在法庭上立案所必需的證據，而且與損害是由傳統技術造成的情況相比，補救的可能性較 36 兒童智能手表就是一個例子。本產品可能不會對佩戴本產品的兒童造成直接傷害，但由于缺乏最低程度的安全性，因此可輕松用作接觸兒童的工具

50、。市場監管機構可能會發現，在風險與產品本身無關的情況下，很難進行干預。37 本白皮書所附的委員會報告分析了人工智能、物聯網和其他數字技術對安全和責任立法的影響。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 低。隨著人工智能的廣泛使用，這些風險將會增加。B.B.歐盟現行有關人工智能的立法框架可能作出的調整歐盟現行有關人工智能的立法框架可能作出的調整 歐盟現有的廣泛的產品安全和責任立法38，包括由國家立法進一步補充的特定部門的規則，對一些新出現的人工智能應用具有相關性和潛在的適用性。關于基本權利和消費者權利的保護，歐盟立法框架包括諸如種族平等指令39、就業和職業平等待遇指令40、關于就

51、業和獲得商品和服務方面男女平等待遇的指令41、一些消費者保護規則42以及關于個人數據保護和隱私的規則等立法，特別是一般數據保護條例和其他涉及個人數據保護的部門立法，如數據保護執法指令43。此外，從 2025 年起，歐洲可及性法案中規定的貨物和服務可及性要求規則將適用44。在實施歐盟其他立法時，包括在金融服務、移民或網絡中介責任等領域，必須尊重基本權利。盡管不論是否存在人工智能，歐盟法律在原則上仍然完全適用，但重要的是評估它能否得到充分執行以應對人工智能系統造成的風險，或是否需要對具體法律工具進行調整。例如，經濟主體仍然對人工智能遵從保護消費者的現有規則負有全部責任，任何違反現有規則的、利用消費

52、者行為的算法都是不允許的，違反規則的行為將受到相應的懲罰。委員會認為，可以改進立法框架以處理下列風險和情況:有效地實施和執行現行的歐盟和國家立法:人工智能的關鍵特征對確保正確實施與執行歐盟和國家立法提出了挑戰。缺乏透明度(人工智能的不透明性)使得識別和證明可能的違法行為變得困難，包括保護基本權利、歸責和滿足索賠條件的法律條款。因此，為了確保有效的實施和執行，可能有必要調整或闡明某些領域的現有立法，例如本白皮書所附報告中進一步詳細說明的關于賠償責任的規定。歐盟現行法律范圍的限制:歐盟產品安全立法的關注重點是產品投放市場環節。而在 38 歐盟產品安全的法律框架包括作為安全網的 產品安全一般指令(2

53、001/95/EC 指令)，以及涵蓋從機器、飛機和汽車到玩具和醫療器械等不同類別產品的若干行業特定規則，旨在提供高水平的健康和安全。產品責任法由不同的產品或服務造成損害的民事責任制度來補充。39 2000/43/EC 指令。40 2000/78/EC 指令。41 2004/113/EC 指令;2006/54/EC 指令。42 例如不公平商業行為指令(2005/29/EC 指令)和消費者權利指令(2011/83/EC 指令)。43(EU)2016/680 指令，也即歐洲議會和理事會 2016 年 4 月 27 日關于預防犯罪、調查犯罪和刑事訴訟過程中處理個人數據的指令。44(EU)2019/88

54、2 指令關于產品和服務的可及性要求。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 歐盟產品安全立法中，當軟件是最終產品的一部分時，必須遵守相關的產品安全規則，但在某些部門中沒有明確規定的情況下45，歐盟產品安全法規是否涵蓋獨立軟件是一個開放的問題。歐盟現行的一般安全法規適用于產品而非服務，因此原則上也不適用基于人工智能技術的服務(如衛生服務、金融服務、交通服務)。人工智能系統功能的改變:將軟件(包括人工智能)集成到產品中可以在產品和系統的生命周期中修改它們的功能。對于需要頻繁更新軟件或依賴機器學習的系統尤其如此。這些特性可能會導致系統上市時是不存在新的風險的。這些風險在現有的立法中

55、沒有得到充分的解決，現有的立法主要關注的是上市時存在的安全風險。供應鏈中不同經濟主體之間責任分配的不確定性:一般而言，歐盟產品安全立法將責任分配給市場上產品的生產者，涵蓋人工智能系統等所有組件。但如果人工智能是由非生產商的一方在產品投放市場后添加的，這些規定可能會變得不明確。此外，歐盟的產品責任立法規定了生產者的責任，并保留國家責任規則來管理供應鏈中其他主體的責任。安全概念的變化：在產品和服務中使用人工智能可能會產生歐盟立法目前沒有明確解決的風險。這些風險可能與網絡威脅、人身安全風險（例如，對于新型人工智能的應用，如家用電器等的應用中所產生的風險）、連接中斷產生的風險等有關。這些風險可能存在于

56、產品投放市場時或使用產品而產品處于軟件更新或自我學習時。歐盟應充分利用其掌握的工具，包括利用歐盟網絡安全局（ENISA）的經驗評估人工智能風險情況，以加強關于人工智能應用相關威脅風險的證明基礎。如前所述，一些成員國已經在探索國家立法的方案，以應對人工智能帶來的挑戰。這就增加了單一市場分裂的風險不同的國家規則可能會給那些想在單一市場銷售和運營人工智能系統的公司制造障礙。確保在歐盟一級采取共同的做法，將使歐洲公司能夠順利進入單一市場中獲益，并支持它們在全球市場上具有競爭力。關于人工智能、物聯網和機器人技術安全和責任影響的報告關于人工智能、物聯網和機器人技術安全和責任影響的報告 本白皮書所附的報告分

57、析了相關的法律框架。在人工智能系統和其他數字技術構成的特定風險方面，它確認了該框架應用存在不確定性。結論是，現行的產品安全法規已經支持了一個擴展的安全概念，即根據產品的用途 45 例如，根據醫療器械條例，制造商計劃用于醫療目的的軟件被視為醫療器械：（EU）2017/745 條例。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 保護用戶免受產品各種風險的影響。但是，可以引入明確涵蓋新興數字技術帶來的新風險的條款，以提供更多的法律確定性。某些人工智能系統在其生命周期內的自主行為可能導致對安全有影響的重要產品變更，這可能需要新的風險評估。此外，從產品設計到人工智能產品和系統的整個生命周期，

58、都需要人為的監督作為保障。在適當的情況下，還可以考慮生產者在用戶心理安全風險方面的明確義務。（例如，仿人機器人的相關合作）。歐盟產品安全立法可規定在設計階段解決錯誤數據的安全風險的具體要求，以及規定確保在使用人工智能產品和系統的整個過程中保持數據質量的機制?；谒惴ǖ南到y的不透明性可以通過透明性要求來解決。當一種在市場上銷售或在產品上市后下載到產品中的獨立軟件對安全有影響時，現有的規則可能需要加以修改和闡明。鑒于新技術在供應鏈方面的復雜性日益增加，特別要求供應鏈中的經濟主體與用戶之間的合作規定可以提供法律方面的確定性。人工智能、物聯網和機器人等新興技術的特點可能會挑戰責任框架的某些方面，并可能

59、降低其有效性。根據大多數國家的規則，基于過失的索賠必須將損害追溯到存在過失的人身上。但新興數字技術的一些特點可能使得受害者很難將損害追溯到這些人身上。這可能會大大增加受害者的成本，也意味著對生產者以外的其他人的責任索賠可能難以提出或予以證明。因人工智能系統的參與而遭受傷害的人需要與因其他技術而遭受傷害的人享有同等程度的保護，同時應允許技術創新繼續發展。應仔細評估確保這一目標的所有選擇，包括可能對產品責任指令做出的修訂，以及可能進一步有針對性地調整國家責任規則。例如，委員會正在尋求是否需要以及在何種程度上需要減輕國家責任規則所要求的證明責任復雜程度，以適應人工智能應用造成的損害方面的索賠。從上述

60、討論中，委員會得出結論，除了可能對現有立法作出調整外，可能還需要引入專門針對人工智能的新法規，以使歐盟法律框架適應當前和預期的技術以及商業發展。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 C.C.未來歐盟監管框架的范圍未來歐盟監管框架的范圍 未來人工智能具體監管框架的關鍵問題是確定其適用范圍?？尚械募僭O是，監管框架將適用于依賴人工智能的產品和服務。因此，基于本白皮書的目的，以及未來任何可能的決策倡議，人工智能應該被明確定義。歐盟委員會在其關于人工智能的報告中首次對人工智能作出了定義46。高級別專家組進一步完善了這一定義47。在任何新的法律工具中，人工智能的定義必須足夠靈活以適應技

61、術進步，同時又必須足夠精確以提供必要的法律確定性。就本白皮書的目的，以及未來可能就政策措施進行的任何討論而言，闡明構成人工智能的主要元素（即數據和算法）似乎很重要。人工智能可以集成到硬件中。就構成人工智能子集的機器學習技術而言，訓練算法根據一組數據推斷特定模式，以確定實現給定目標所需的行動。算法在使用時可以繼續學習。雖然基于人工智能的產品可以通過感知其環境而不遵循預先確定的一組指令來自主地進行操作，但它們的行為在很大程度上是由其開發人員定義和約束的。人類確定并編設目標，人工智能系統對此進行優化。歐盟有一個嚴格的法律框架，以確保消費者得到保護，解決不公平的商業行為，并保護個人數據和隱私。此外，歐

62、盟法律包含特定行業(如醫療、交通)的具體規則。歐盟法律的該等現有規定將繼續適用于人工智能，盡管該框架的某些更新可能是必要的，以反映數字轉型和人工智能的應用(見 B 章節)。因此，現有的橫向或部門立法（例如關于運輸系統 46 COM(2018)237 最終版，第1頁:“人工智能(AI)是指通過分析其環境和采取行動這在一定程度上是自主的展示智能行為以實現特定的目標的系統?；谌斯ぶ悄艿南到y可以完全基于軟件，在虛擬世界中運行(例如語音助手、圖像分析軟件、搜索引擎、語音和人臉識別系統)，還可以嵌入硬件設備(例如，高級機器人、自動駕駛汽車、無人機或物聯網應用)?！?7 高級別專家組，人工智能的定義，第

63、8 頁:“人工智能(AI)系統是由人類設計的軟件(也可能還是硬件)系統，它給定一個復雜的目標，通過在物理或數字維度上感知其環境，包括通過數據采集、對采集到的結構化或非結構化數據進行解釋、知識推理或者信息處理，基于這些數據，并決定最好的行動以實現的特定的目標。人工智能系統既可以使用符號規則，也可以學習數字模型，它們還可以通過分析他們以前的行動如何影響環境來調整自己的行為?！崩缭谧詣悠囻{駛中,該算法實時使用來自汽車的數據(速度、發動機消耗、減震器等)和從傳感器掃描整個汽車的環境(道路，標志，其他車輛，行人等)來推導出汽車要到達某一目的地需要的方向、加速度和速度。根據觀測到的數據，該算法適應道路

64、的情況和外部條件，包括司機的其他行為，付諸最舒適和最安全的駕駛。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 中的醫療設備48）已經涉及的那些方面將繼續受這些立法的管轄。原則上，新的人工智能監管框架應有效地實現其目標，同時又不要過度規制，以免造成不成比例的負擔，尤其是對中小型企業而言。為了達到這一平衡，歐盟委員會認為應遵循基于風險的方法?；陲L險的方法對于幫助確保監管干預是相稱的很重要。但它需要明確的標準來區分不同的人工智能應用，特別是在關于它們是否屬于“高風險”49的問題上。確定什么是高風險的人工智能應用應該清晰易懂，并且適用于所有相關方。但是，即使人工智能應用程序不符合高風險條

65、件，它也完全受制于現有的歐盟規則。歐盟委員會認為，考慮到相關的領域和預期用途是否都存在重大風險，特別是從保護安全、保護消費者的角度出發，鑒于所涉及的風險，通常應將特定的人工智能應用視為高風險。更具體地說，在滿足以下兩個疊加標準的情況下，應將人工智能應用視為高風險：在某個部門中使用人工智能應用，考慮到通常進行的活動的特征，預計會發生重大風險。這第一項標準確保監管干預針對通常認為最有可能發生風險的領域。所涵蓋的部門應在新的監管框架中明確列出。例如，醫療保??；交通運輸；能源和部分公共部門50。該清單應根據實踐中的相關動態進行定期審查和必要時的修訂；第二，在相關行業中使用人工智能的方式可能會引起重大風

66、險。這第二項標準反映了這樣的判斷，也即并非在特定的部門中每次使用人工智能都必然會帶來重大風險。例如，盡管醫療保健通常很可能是一個相關部門，但醫院預約安排系統中的缺陷通常不會帶來具有重大意義的風險，以證明立法干預是合理的。對特定用途的風險水平的評估可以基于對受影響方的影響，例如：對個人或公司的權利產生法律或類似重大影響的人工智能應用程序的使用；造成受傷、死亡或重大財產或非物質損失的風險；產生的效果是個人或法人無法合理避免的。兩個疊加標準的應用將確保針對監管框架的范圍提供法律確定性。原則上，新的人工智能監管框架（請參閱下文 D 章節）中包含的強制性要求僅適用于根據這兩個疊加標準被確定為高風險的應用

67、情形。48 例如，對于向醫師提供專業醫療信息的人工智能系統，直接向患者提供醫療信息的人工智能系統以及直接在患者身上自行執行醫療任務的人工智能系統，存在不同的安全考慮和法律含義。委員會正在研究醫療保健所面臨的這些安全和責任挑戰。49 歐盟法規對“風險”的分類可能與此處所描述的有所不同，具體取決于領域，例如產品安全性等。50 公共部門可以包括庇護、移民、邊境管制和司法、社會保障和就業服務等領域。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 盡管有上述規定，但在某些特殊情況下，由于存在風險，故此出于某些特定目而使用人工智能應用將被認為是高風險的，即無論相關行業如何，以下要求仍適用。51作

68、為說明，人們能夠特別考慮以下幾點：鑒于人工智能對個人和解決就業平等的歐盟要求的重要性，在招聘過程中以及在影響員工權利的情況下使用人工智能應用將始終被視為“高風險”，因此以下要求將始終適用。還可以考慮進一步影響消費者權利的其它特定應用。將人工智能應用程序用于遠程生物特征識別52和其他侵入性監視技術始終被視為“高風險”，因此以下要求將始終適用。D.D.要求的類型要求的類型 在為人工智能設計未來的監管框架時，有必要確定對相關行為體適用的強制性法律要求的類型。這些要求可通過標準進一步予以規定。如上文 C 章節所述，除了現有的立法之外，這些要求只適用于高風險的人工智能應用，從而確保任何監管干預都是有針對

69、性并且相稱的?？紤]到高級別專家組的指導方針和上文所述內容，針對高風險人工智能應用的要求可包括以下關鍵特征，這些特征將在下面的小節中進一步詳細討論：訓練數據；數據和記錄保存；提供的信息;韌性和準確性；人為監督;特定人工智能應用的特殊要求，例如針對遠程生物特征識別的要求。為了確保法律確定性，將進一步具體規定這些要求，為所有需要遵守這些要求的行為者提供一個明確的基準。51 必須強調的是，歐盟的其他立法也可能適用。例如，當并入消費品時，一般產品安全指令可適用于人工智能應用的安全性。52 遠程生物識別應與生物識別區分開來（生物識別是一種安全過程，依賴于個人獨特的生物特征來驗證他/她是誰，他/她說他/她是

70、誰）。遠程生物識別是指在一定距離、公共空間以連續或持續的方式，通過將多人的身份與數據庫中存儲的數據進行核對，借助生物識別（指紋、面部圖像、虹膜、血管模式等）來建立多人的身份聯結。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 a)a)訓練數據訓練數據 促進、加強和捍衛歐盟的價值觀和規則顯得比以往任何時候都重要，特別是公民從歐盟法律中獲得的權利。為此做出的這些努力無疑也擴展到了在歐盟市場上銷售和使用的高風險人工智能應用。如前所述，如果沒有數據，就不會有人工智能的存在。許多人工智能系統的功能以及它們可能產生的動作和決策在很大程度上都取決于由系統訓練過的數據集。因此，應采取必要的措施，以確

71、保當涉及用于訓練人工智能系統的數據時，應當尊重歐盟的價值觀和規則，特別有關安全以及保護基本權利的現行立法規則。以下關于用于訓練人工智能系統的數據的要求可以被納入構想：旨在保證人工智能系統支持的產品或服務是安全的各項要求，其要求符合目前適用的歐盟安全規則（現有的以及可能的補充規則）。例如，要求確保人工智能系統接受足夠廣泛的數據訓練，并且需要涵蓋避免危險情況所需的所有相關場景。要求采取合理措施確保人工智能系統后續的使用不會產生歧視的結果。這些要求可能需要特定權限，以便那些具有足夠代表性的數據可以被納入使用，尤其應該確保性別、種族和其他禁止歧視的理由能適當地反映在這些數據當中；確保在使用人工智能產品

72、和服務期間，個人數據和隱私都應得到充分的保護。對于那些屬于各自范圍內的問題，一般數據保護條例和執法指令條例需要對其加以約束。b)b)記錄和數據保存記錄和數據保存 考慮到許多人工智能系統的復雜性、不透明性以及難以有效核實遵守和執行適用規則的困難情況，諸如“保存與算法設計有關的記錄”、“保存用于訓練高風險人工智能系統的數據”以及在某些情況下的“保存數據本身”等種種要求往往會產生。這些要求使得人工智能系統那些潛在的問題行動或決策可以被追溯和驗證。這不僅有助于監督和執行，也可能會增加有關經營者在尊重這些規則的早期階段考慮到這些因素的動機。因此，監管框架可以規定應遵守以下保存要求：用于訓練和測試人工智能

73、系統的數據的準確記錄，包括主要特征的描述以及選擇數據的方法；在某些合理的情況下，數據本身；北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 有關建立、測試和驗證人工智能系統的過程和技術的文檔53，包括與安全性以及避免發生可能導致禁止性歧視偏見等方面的相關信息。這些記錄、文件和相關的數據需要在有限的時間內留存，從而確保相關立法的有效執行。應采取措施以確保根據要求提供這些材料，尤其是主管當局進行測試或檢查時。必要時，應做出安排以確保機密信息（例如商業秘密）受到保護。c)c)信息提供信息提供 除了 c）點以上所討論的記錄保存要求之外，還需要透明度。為了實現所追求的目標，特別是促進對人工智能的

74、負責任使用，建立信任并在需要時促進補救，事先提供有關高風險人工智能系統使用的充分信息是很重要的。因此，可以考慮以下要求：確保提供有關人工智能系統的功能和局限性的明確信息，尤其是系統的預期用途，其按預期運行的條件以及達到指定目的的預期水平。該信息對于系統的部署者非常重要，但也可能與主管部門和受影響的各方有關。另外，應在公民與人工智能系統而非人類進行互動時將情況清楚告知。盡管歐盟數據保護法規已經包含某些此類規則54，但仍需要更多要求才能實現上述目標。在此前提下，應該避免不必要的負擔。因此，在一些情況下無需提供此類信息，例如在公民可以立即清楚地意識到他們正在與人工智能系統交互時。此外，提供的信息必須

75、客觀、簡明且易于理解是十分重要的。提供信息的方式應針對具體情境進行調整。d)d)韌性和準確性韌性和準確性 人工智能系統（當然還有高風險的人工智能應用）必須在技術上強大且準確才能可信。這意味著需要以負責任的方式開發此類系統，并事先充分考慮到它們可能產生的風險。必須確保人工智能系統的開發和運行是按預期且可靠的。應采取一切合理措施以最大程度減輕造成傷害的風險。因此，可以考慮以下要素：53 例如，有關算法的文檔，包括模型應優化的對象、設計的權重以及開始時的某些參數等。54 特別是根據第 GDPR 第 13（2）（f）條規定，控制者必須在獲取個人數據時向數據主體提供必要的進一步信息（以確保存在的自動決策

76、處理的公平、透明）以及其他補充信息。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 要求確保人工智能系統在其生命周期的所有階段均可靠并且準確，或者至少可以正確反映其準確性水平；要求確保結果是可重復的；要求確保人工智能系統可以在其生命周期的所有階段妥善處理錯誤或不一致性。要求必須確保對于可見攻擊和更隱蔽地操控數據或算法本身的企圖，人工智能系統都要有較強的抵御能力，并且該種緩解措施已經在一些案例中得到運用。e)e)人為監督人為監督 人為監督幫助確保人工智能系統不會削弱人類自主權或造成其他有害的影響。一個值得信賴的、符合道德倫理的、以人為中心的人工智能，其客觀性只能通過確保相關人員對于高風

77、險人工智能應用的適當參與來實現。即使在特定法律制度框架下，本白皮書中考慮的人工智能應用都被認為是高風險的，適當的人工監督類型和程度仍然可能因情況而異。這種變化應當主要基于系統特定的用途和對相關民眾和法律實體的使用產生的效果與影響。此外在人工智能系統處理個人數據時，還應當尊重 GDPR 規定的各項合法權利。例如，人工監管可以包含但不局限于以下幾種表現形式：除非經過人工復核和確認，否則人工智能系統的輸出結果就不能生效（例如，拒絕社會保障福利的申請只可能由人工完成操作）；人工智能系統的輸出結果立即生效，但在后續過程中人工干預要得到保障（例如，人工智能系統可能可以辦理拒絕信用卡申請的業務，但在后續應當

78、可能進行人工復核）；在人工智能系統運作過程中實現監測，并具備實施干預和停止系統運作的能力（例如，在無人駕駛汽車行駛過程不安全時能夠人為操作停止按鈕或程序）；在設計階段，對人工智能系統施加操作限制（例如，一臺無人駕駛汽車應當在能見度較低、感應器沒那么可靠的特定情況下停止運行，或是應當在任何特定情況下保持和前車的特定距離）。f)f)對遠程生物識別的特定要求對遠程生物識別的特定要求 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 為遠程身份識別55的目的對生物數據56進行的收集和使用，例如在公共場合部署面部識別應用，會對基本權利57帶來特定的風險。使用人工智能系統的遠程生物識別功能對基本人

79、權的影響可能因使用目的、環境和范圍的不同而有很大差異。除特殊情況外58，歐盟數據保護條例原則上禁止為了識別特定自然人而進行的對生物識別數據的處理。具體來說，根據 GDPR，這種處理只能基于特定的限制情形而開展，其中主要是出于維護重大公共利益目的的情形。在這種情況下，處理活動必須根據歐盟或國家法律進行，須符合相應的比例要求，尊重數據保護權利的實質并且采取適當的保障措施。根據執法指令(Law Enforcement Directive)的規定，在原則上，此類處理必須出于嚴格的必要，得到歐盟或各國法律的授權，并配備適當的保障措施。由于任何以識別特定自然人為目的生物特征數據處理都將涉及到歐盟法律所規定

80、的禁令例外，所以它將需要受到歐盟基本權利憲章的約束。因此，根據現行的歐盟數據保護規則和基本權利憲章，只有在正當的、符合比例的，并受到充分保護的情況下，才可將人工智能系統用于遠程生物識別。.為了解決公眾對在公共場所使用人工智能這一社會問題的擔憂，并避免內部市場分裂，歐盟委員會將展開一場全歐洲范圍內的論辯，討論可以依法使用人工智能的具體情況和相應的保障措施。E.E.歸屬歸屬 就上述高風險人工智能應用的法律要求的歸屬而言，有兩個主要問題需要考慮。首先，有一個問題是如何在相關經營者之間進行分配。許多相關者都參與了人工智能系統的生命周期。這包括開發人員、部署人員(使用人工智能裝備的產品或服務的人)和其

81、55 對人臉識別而言，身份證明意味著一個人面部圖像的模板要和儲存在數據庫里的其他模板進行對比，以便知道他/她的數據是否儲存在內。另一方面，身份驗證（或查證）經常被認為是一對一配對。它能夠進行兩個生物模型的對比，結果通常屬于同一個體。將兩個生物模型進行對比，為了證實兩幅圖像上的人是否是一個人。例如，這個過程通常被運用于機場自動邊境控制口的邊境檢查。56 生物數據被定義為“源自對一個自然人自然、生理或行為特征的具體技術處理的個人數據，并且能夠識別或者確定自然人身份。例如面部圖像或指紋數據”(Law Enforcement Directive,Art.3(13);GDPR,Art.4(14);Reg

82、ulation(EU)2018/1725,Art.3(18)。57 例如個體的尊嚴。與此相關的是，在運用人臉識別科技時尊重私人生活和保護個人數據的權利是基本權利所關注的核心。還對特殊群體的非歧視原則和權利有著潛在的影響，例如兒童、老人以及殘疾人。再者，表達、交往和集會的自由不應當因為科技的使用而被削弱。參見:Facial recognition technology:fundamental rights considerations in the context of law enforcement,https:/fra.europa.eu/en/publication/2019/facial

83、-recognit。58 GDPR 第 9 條，執法指令第 10 條。另見（EU）2018/1725 條例（僅適用于歐盟機構）第 10 條。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 他潛在的人員(生產者、分銷商或進口商、服務提供者、專業用戶或私人用戶)。歐盟委員會認為，在未來的監管框架中，每一項義務都應由最能應對任何潛在風險的行動者承擔。例如，雖然人工智能的開發人員可能最適合處理開發階段產生的風險，但他們在使用階段控制風險的能力可能比較有限。在這種情況下，部署人員應當承擔相應的義務。當然，這并不影響這樣一個問題，即為了對最終用戶或其他利益受損方負責并確保有效地獲得公正司法，任何

84、一方都應對其所造成的所有損害負責。根據歐盟產品責任法，有缺陷產品的責任歸生產者承擔，當然這不影響在國家法律的效力下，也允許向其他方追償。第二，立法干預的地理范圍問題。歐盟委員會認為，最重要的是，這些規定必須適用于所有在歐盟提供人工智能支持的產品或服務的相關經營者，無論他們是否建立在歐盟境內。否則，前面提到的立法干預的目標就無法得到充分實現。F F合規與執法合規與執法 為了確保人工智能是值得信任的和安全的，并且符合歐洲的價值觀和規則，在實踐中必須遵守可適用的法律規定，并由主管國家和歐洲當局以及受影響的各方有效執行。主管當局不僅能調查個別案件，也應能夠評估對社會的影響。鑒于某些人工智能應用對公民和

85、社會帶來的高風險(見上文 A 章節)，委員會認為在這個階段，客觀評估其合規性之前需要驗證并確保上述某些強制要求適用于高風險應用(見上文 D 章節）。先前的合格評定可以包括測試、檢驗或認證程序。59它可以包括檢查算法和開發階段使用的數據。高風險人工智能應用的合規性評估應該是符合性評估機制的組成部分，該機制已經適用于存在于歐盟內部的大量產品。如果出現不能依賴現有機制的場景，可能需要建立類似的機制，利用好利益相關者和歐洲標準化組織的最佳實踐和相關積累。任何這種新機制都應是符合比例的和非歧視性的，并根據國際義務運用透明和客觀的標準。當設計和實施依賴于先前的符合性評估機制的系統時，應特別注意以下因素：并

86、非所有上述要求都適合通過先前的符合性評估機制進行驗證。例如，關于給予告 59 考慮到人工智能的特殊性，該系統將基于歐盟的符合性評估程序，見第 768/2008/EC 號決定或歐盟2019/881 號條例(網絡安全法案)。參見 2014 年關于歐盟產品規則的藍色實施指南。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 知的要求一般不適于通過這種評估進行核實。應該特別考慮到某些人工智能系統演變和從經驗中學習的可能性，這可能需要在有關人工智能系統的整個生命周期中反復進行評估。需要驗證用于訓練的數據，以及用于構建、測試和驗證人工智能系統的相關編程和培訓方法、流程和技術。如果符合性評估顯示,一

87、個人工智能系統不符合有關的要求（例如相對于用于訓練它的數據）,則需要糾正所發現的缺陷,比如在歐盟重新訓練系統等方式以確保滿足所有適用的要求。符合規定的所有相關經營者，無論其公司的地點如何，都必須進行符合性評估。60為了減輕中小企業的負擔，可以設想一些支持結構，包括通過數字創新中心的支持。此外，標準和專用的在線工具可以助益合規實踐。任何事先的符合性評估都不應妨礙國家主管當局對符合性的合規監測和后續執法工作。這既適用于高危險性的人工智能應用，也適用于符合特定法律規定的其他人工智能應用，盡管可能因為前者的高風險性國家主管部門會給予更高的關注度。后續執法管控措施應當得到充分的、關于人工智能應用的相關材

88、料(見上文 E 章節)的相應支撐，并在適當情況下由第三方，例如主管當局，對此類應用進行測試。根據具體場景，在基本權利面臨風險的情況下，這一點可能尤其重要。這種對合規性的監測應成為持續市場監測計劃的一部分。下文 H 章節將進一步討論與治理有關的問題。此外，對于高風險的人工智能應用和其他人工智能應用，應確保對受到人工智能系統負面影響的當事人給予有效的司法補救措施。與責任相關的問題將在本白皮書附帶的安全與責任框架報告中進一步討論。G.G.非高風險人工智能應用的自愿標簽非高風險人工智能應用的自愿標簽 對于不符合“高風險”的人工智能應用(見上文 C 章節)，以及因此不受上述強制性規定(見上文 D、E 及

89、 F 章節)約束的人工智能應用，除了適用的立法外，還可選擇設立自愿標簽機制。根據該機制，不受強制性規定約束的、感興趣的經營者，可在自愿的基礎上決定是否成為那些強制規定的約束對象，或成為特別為自愿機制而訂立的一組類似規定的約束對 60 包括指定進行符合性評估的機構在內的相關治理結構，見下文 H 章節。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 象。自愿接受這些規定約束的有關經營者的人工智能應用將獲頒質量標簽。這些質量標簽將有利于有關的經營者證明其人工智能產品和服務是值得信賴的。它將使用戶容易地辨別有產品服務是否符合歐盟層面的某些客觀的、標準化的要求（它往往超出了一般的法律要求）。這

90、將有助于增強用戶對人工智能系統的信任，并促進該技術的全面應用。這一選擇將推動產生一項新的法律工具，為不被視為高危的人工智能系統的開發人員以及部署人員設定自愿的標簽機制。雖然參與標簽機制是自愿的，但一旦開發人員或部署人員選擇使用標簽，這些規定就具有約束力。需要通過事前部署和事后安排確保所有要求都能夠得到切實的遵守。H.H.治理治理 為了避免責任的碎片化，提高成員國的治理能力，確保歐洲逐步具備測試和認證人工智能支持的產品和服務所需的能力，建立基于國家主管當局合作框架的人工智能歐洲治理框架是有必要的。實現上述這點，將有助于國家管理部門確保在人工智能應用領域的管理部門能夠履行自己的責任。一個歐洲治理框

91、架可以有多項使命，例如作為一個定期交流信息和最佳實踐、識別新興趨勢、就標準化活動和認證工作提供建議的平臺。它還可以通過發布指南、意見和專門知識等方式，在促進法律框架的實施方面發揮關鍵作用。為此，它應該依靠國家當局網絡以及國家和歐盟層面的行業網絡和監管當局。此外，一個專家委員會可以向委員會提供支持。治理框架應該保證利益相關者最大程度的參與。在實施和進一步發展該架構時，應咨詢消費者組織、社會伙伴、業界、研究人員和民間社會組織等相關人士的意見。鑒于金融、制藥、航空、醫療器械、消費者保護、數據保護等現行情況，擬議的治理框架不應重復現有職能。相反，它應該與歐盟其他部門和各國主管部門建立密切聯系，以補充現

92、有的專業知識，并幫助現有部門監測和監督涉及人工智能系統和人工智能支持的產品和服務的相關經營者的活動。最后，如果采用這種方法，可以將合格性評估的執行授權給成員國指定的相關機構。測試中心應根據上述要求對人工智能系統進行獨立審計和評估。獨立評估將增加信任并確?？陀^性。它也可以便利有關主管當局的工作。歐盟擁有優秀的檢測和評估中心，也應該發展其在人工智能領域的能力。在第三國設 北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 立的、希望進入國內市場的相關經營者可以利用在歐盟設立的指定機構，或者在與第三國達成相互承認協議的情況下，可以求助于進行這種評估的指定第三國機構。有關人工智能的治理框架和可能

93、的一致性評估問題，不影響相關主管機關根據現行歐盟法律在特定部門或具體問題(金融、醫藥、航空、醫療器械、消費者保護、數據保護等)領域的權力和責任。6.6.結論結論 人工智能是一項戰略性技術，只要它以人為本、合乎倫理、可持續發展要求，并且尊重基本權利和價值觀，就能為公民、企業和整個社會帶來諸多好處。人工智能顯著提高了效率和生產率，可以增強歐洲工業的競爭力，改善公民的福祉。它還有助于找到一些最緊迫的社會挑戰的解決辦法，包括與氣候變化和環境惡化作斗爭，應對與可持續性和人口變化有關的挑戰，以及保護我們的民主，并在必要時合適地與犯罪開展斗爭。歐洲要充分抓住人工智能帶來的機遇，就必須發展和加強必要的工業和技

94、術能力。正如歐洲數據戰略(European strategy for data)所述，這還需要采取措施，使歐盟能夠成為全球數據中心。歐洲的人工智能方案旨在促進歐洲在人工智能領域的創新能力，同時支持在整個歐盟經濟中發展和采用道德和可信的人工智能。人工智能應該為人民服務，成為社會公益的力量。憑借這份白皮書和與之相關的關于安全與責任框架的報告，委員會開始了成員國、民間社會、產業界和學術界的廣泛磋商，就歐洲人工智能方案的具體建議展開討論。這些措施包括促進研究和創新投資的政策手段、加強技能開發和支持中小企業采用人工智能，以及對未來監管框架關鍵要素的建議。這次磋商允許與所有利益相關方進行全面對話，這將為委員會今后的步驟提供信息。北京師范大學網絡法治國際中心北京師范大學網絡法治國際中心 歐盟委員會歡迎各界人士透過公開咨詢，就白皮書所載的建議提出意見，網址為https:/ec.europa.eu/info/consultations_enhttps:/ec.europa.eu/info/consultations_en。公眾可于 2020 年 5 月 19 日前提出意見。針對公眾咨詢，委員會一般會公布所收到的意見書。但是，可以要求提交的文件或其部分內容保密。如果是這種情況，請在你提交的材料的首頁清楚地說明不應公開，并將你提交的材料的非機密版本送交委員會作公開。