清華大學：我國算法治理政策研究報告（2023）（48頁）.pdf

《清華大學：我國算法治理政策研究報告（2023）（48頁）.pdf》由會員分享，可在線閱讀，更多相關《清華大學：我國算法治理政策研究報告（2023）（48頁）.pdf（48頁珍藏版）》請在三個皮匠報告上搜索。

1、 研究團隊 研究團隊 課題負責人：課題負責人：梁正教授 課題組成員：課題組成員：曾雄、張輝 課題聯系人：課題聯系人：梁正教授 電話：電話：13911193019 電子郵件:電子郵件: 報告內容僅代表課題組觀點和意見，敬請批評指正。摘要 摘要 人類社會已經進入第四次科技革命時代，算法成為新的生產工具，并給生產關系帶來深刻變化。由于算法運用具有的擴散性和分散性，同時某些算法結果具有的不可解釋性，給社會治理帶來挑戰。為實現“科技向善”，并將算法關進制度的籠子里，需要堅持公私合作治理的模式，不能僅靠政府機構的單向控制式規制，而是需要充分發揮政府規制與企業自治的雙重作用。此外，算法深深嵌入到社會運作的方

2、方面面，算法治理的對象不應局限于平臺和算法技術本身，而是需要分析與算法運行發生聯系的各個組成部分，比如從主體維度看，包括技術研發者、技術運用者、監管者及消費者等；從技術環節看，包括數據處理環節、算法研發環節及算法落地環節等。只有各個組成部分實現協同治理，才能實現算法系統的“良治”。算法治理也不是一場“打地鼠游戲”，應為算法建立一套體系化的綜合治理框架。對此，本報告提出算法治理的五要素，即治理目標、治理主體、治理對象、治理手段和治理模式，并依據此治理框架橫向比較其他法域的治理實踐、分析我國算法治理現狀和未解決的問題以及提出繼續完善我國算法治理的政策建議。具體而言，本報告共分為四個部分：第一部分主

3、要分析算法的社會價值與潛在風險，算法猶如一把“雙刃劍”，既有正向價值，也有負面效應。治理算法的目標就是要實現趨利避害，因此政府和社會公眾對算法價值和風險的認知需秉持“管、促、創”的基本認知邏輯，即堅持守住風險底線的前提下促進算法應用，同時創造條件實現算法創新。第二部分總結和分析歐盟、美國、新加坡以及主要國際標準組織在算法治理方面的實踐經驗。第三部分以算法治理五要素為維度，重點對比分析歐盟和美國算法治理的相同點和不同點，這些算法治理的最新實踐可以為我國構建算法治理框架提供鏡鑒。同時分析了我國算法治理現狀和未解決的問題。第四部分提出了若干政策建議，包括（1）在治理目標上，實現算法可問責與算法經濟高

4、質量發展；（2）在治理主體上，通過部際聯席會議制度形成算法治理合力；（3）在治理對象上，從算法應用主體和應用場景角度拓寬算法治理的范圍；（4）在治理手段上，補強司法救濟和技術治理措施；（5）在治理模式上，優化多元主體參與的協同共治模式。同時對醫療輔助算法和自動駕駛算法的產業發展與治理問題進行了案例分析。算法治理是一項需要持續完善和迭代的系統工程，應結合技術的演進和場景的變化完善治理措施。目前我國針對算法治理集中出臺了一些規制措施，其治理效果如何需要追溯和評估，并根據治理情況及時調試治理框架和改進治理措施，治理效果評估是未來研究的一個重點內容。目錄目錄 一、算法概述與算法治理框架.1（一）算法的

5、定義和分類.1 1.算法的概念.1 2.算法的分類.1（二）算法的經濟和社會價值.2 1.助力制造業智能化升級，提升生產效率.2 2.推動商業模式創新拓展，算法成為行業核心競爭力.2 3.算法催生新業態，顯著拉動就業.4（三）算法的不確定性影響.4 1.可能的社會風險：算法可能加劇“信息繭房”和數字鴻溝.5 2.可能的經濟風險：算法可能加大“數字勞工”合法權益保護的難度.6 3.可能的法律風險：算法可能影響公平正義.7 4.可能的道德風險：算法可能引致“道德困境”和追責難題.8（四）算法治理的概念界定與治理框架.9 1.算法治理的概念.9 2.算法治理五要素框架.10 二、域外（國際組織）算法

6、治理的基本現狀與主要案例.10（一）歐盟算法治理現狀和案例.10 1.歐盟算法治理的總體思路.11 2.歐盟對算法的治理框架和應用規則.12 3.歐盟將算法治理嵌入數據治理的框架中.13 4.歐洲算法治理最新案例：意大利禁止算法歧視.14（二）美國算法治理現狀和案例.14 1.美國沒有采取集中的、命令控制式的治理方式.14 2.美國沒有統一的監管部門而由各個部門在自己職責范圍內規制算法.15 3.美國聯邦層面尚沒有就算法治理制定專門法律.15 4.美國州層面出臺算法治理的各類規章.16 5.美國的非政府組織和行業自律發揮作用.16 6.美國算法治理最新案例：FTC 要求違法主體刪除數據和算法.

7、17（三）新加坡算法治理現狀和案例.18 1.新加坡發布人工智能治理框架模型.18 2.新加坡就算法審計提出原則性要求.18 3.新加坡推動自愿性自我評估測試工具的研發和使用.19（四）國際標準組織在算法治理規則和實踐上的探索.19 三、歐美算法治理實踐比較與我國算法治理現狀分析.20（一）歐美算法治理實踐比較.20 1.治理目標：歐盟以前瞻性的立法和監管謀求規則主導權，美國秉持敏捷性的監管原則鼓勵技術創新和發展.20 2.治理主體：歐盟的治理主體為數據保護機構，美國的治理主體較為分散和多元.22 3.治理對象：歐盟和美國都重視對市場私主體和公共管理機構相關算法問 題的治理.22 4.治理手段

8、：歐盟和美國都提出了算法影響評估作為制度性工具.23 5.治理模式：歐盟和美國都采用多元主體參與、協同共治的模式.24（二）我國算法治理現狀分析.25 1.算法治理的“法治之網”雛形初步形成.25 2.現階段算法治理的重點問題和場景基本明確.25 3.互聯網信息領域的算法治理主管機構得以確定.26（三）比較視野下我國算法治理的現存問題.26 1.在治理目標上，現有規則缺乏體系性，治理目標不夠聚焦.26 2.在治理主體上，多部門“治理競爭”，未形成治理合力.26 3.在治理對象上，重點規制市場主體，忽視公共主體的算法責任.27 4.在治理手段上，以行政監管為主，對技術治理措施重視不夠.27 5.

9、在治理模式上，以落實平臺責任為主要抓手，覆蓋多方利益相關者的責任機制不夠完善.28 四、完善我國算法治理模式的政策建議.28（一）在宏觀維度上，調試與完善算法治理框架.28 1.在治理目標上，實現算法可問責與算法經濟高質量發展.28 2.在治理主體上，通過部際聯席會議制度形成算法治理合力.29 3.在治理對象上，建立一套共性的規則和標準后統籌考慮多元應用場景.30 4.在治理手段上，善用技術治理措施.31 5.在治理模式上，優化多元主體參與的協同共治模式.31（二）在微觀維度上，構建并適用全生命周期風險管理流程.32 1.保證數據可問責.33 2.保障算法可問責.33 3.監督并適時調整模型.

10、33（三）用例分析：醫療輔助算法和自動駕駛算法的治理與發展.34 1.醫療輔助算法.34 2.自動駕駛算法.37 參考文獻.40 1/42 一、算法概述與算法治理框架一、算法概述與算法治理框架（一）算法的定義和分類（一）算法的定義和分類 1.算法的概念算法的概念 目前，國內的法律法規對算法尚沒有明確的定義。2006 年算法導論一書中曾解釋算法為：“任何定義明確的計算步驟都可稱為算法”。在計算機科學中，算法是指一個被定義好的、計算機可施行其指示的有限步驟或次序，常用于計算、數據處理和自動推理。從純技術的角度理解，只要是為實現某一目標而明確設定的一系列步驟或策略，都可以被稱為算法。2.算法的分類算

11、法的分類 根據不同維度，算法有不同的分類：（1）從算法范疇的維度看，可以分成廣義算法、利用機器學習的復雜算法兩個層次。廣義的算法，既包括在人工智能（AI）、機器學習（Machine-Learning）等基礎上產生的復雜“算法”，也包括簡單的函數公式，以及非數學領域的所有決策程序或步驟。利用機器學習的復雜算法，主要指利用機器學習、人工智能技術等復雜的數據處理方式進行計算，輸出相應預期結果的系統。（2）從算法技術邏輯的維度看，根據學習方式，機器學習算法可分為：監督學習算法、非監督學習算法、半監督學習算法、強化學習算法。監督學習算法，就是向計算機提供數據以及這些數據已提前打好的“標簽”，通過這種指引

12、的方式，讓計算機最終學會自己判斷的算法。無監督學習算法，就是只給計算機提供無特征的數據，讓計算機自己去判斷和歸類，自行發現規律的算法。半監督學習算法，即使用少量的有標簽樣本和大量的沒有標簽樣本進行訓練和分類的算法，綜合了監督學習和非監督學習的特征。強化學習算法，即讓計算機處于完全陌生的環境或者完成從未接觸過的任務，讓它最后成功適應這一陌生環境的學習方式。（3）從算法應用的維度看，根據我國互聯網信息服務算法推薦管理規定，主要分為：生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類算法。2/42（二）算法的經濟和社會價值（二）算法的經濟和社會價值 在數字經濟時代，數據已經成為重要的生產資

13、料。2020 年我國公布中共中央國務院關于構建更加完善的要素市場化配置體制機制的意見 明確了數據作為一種新型生產要素。數據價值的挖掘離不開生產工具，即算法。數據和算法的結合會創造巨大的經濟和社會價值。1.助力制造業智能化升級，提升生產效率助力制造業智能化升級，提升生產效率 人工智能技術在制造業轉型升級中發揮重要作用，算法在智能工廠的應用中主要體現在機器管理、設備維護、能源減排等方面，不但提高工廠的科技競爭力，而且實現降本增效。算法助力工廠效率提升具體表現為：其一，保障生產安全。工廠可以通過算法實現全方位智能監控和預警，及時發現和處理各個生產環節的安全隱患，保證安全生產。其二，實現降本增效。工廠

14、利用機器人代替傳統人工生產流程，實現人力資源的優化，提高生產效率。其三，提升產品質量，減少殘次品。通過算法質檢可以提升準確率，及時發現產品瑕疵，優化產品生產流程，控制原材料的損耗。其四，實現智能管理。以算法對人、物、機器和場所進行精準識別統計和管理，實現全生產要素的高效管理，提升資源配置效率。2020 年，英特爾就推出工業互聯網賦能計劃，并打造工業互聯網創新中心，助力能源和制造業智能化轉型。寧德時代通過與英特爾合作實現了產業智能化轉型，寧德時代將人工智能算法運用于產品質量等領域，構建了一套覆蓋端、邊、云的 AI 系統，在云上做集中管控和模型訓練，邊緣做模型推理，端上做數據采集、預處理和實時管控

15、。2.推動商業模式創新拓展，算法成為行業核心競爭力推動商業模式創新拓展，算法成為行業核心競爭力 隨著算法的進步以及移動信息技術的持續發展，越來越多的互聯網應用以及平臺企業得以落地。在收集到大量的高價值數據后，平臺企業可以通過獨特的算法，在“互聯網+”的新經濟形態下，將更多的要素資源轉化為商業價值。對于商家來說，互聯網經濟使得他們的目標客戶人群更加廣泛了。各種平臺的算法都致力于發現更加優秀的產品和服務。如果你對你的商品有足夠的信心，算法會幫 3/42 你找到更加合適的目標客戶人群。在互聯網平臺中，商家無需花費過多精力在商鋪地點的選擇和前期廣告投入上，就可以在搜索引擎以及算法的幫助下為來自天南地北

16、的客戶提供服務，這在一定程度上降低了商家的準入門檻。利用基于算法的市場分析、用戶數據解析、場景分析、營銷推廣分析等技術手段，商家可以獲得更加人性化和精準的影響力。此外，在算法的幫助下，線上消費場景正在不斷被擴展。線下門店結合線上營銷正在成為數字時代的商業模式新常態。中國信通院發布的大數據白皮書（2020 年）報告顯示，引入大數據算法模型后，平臺下訂單轉化率增長了 66.7%，下定商品轉化率增長了 18%，總銷量增長了 46%。算法正在幫助商家實現銷售額持續增長，為社會經濟發展增加了新的動能。另一方面，商家也可以通過算法以及大數據平臺，更好的優化管理庫存以及周轉資金，以此提升資源配置效率。對于買

17、賣雙方來說，算法的發展使得更加精確的匹配成為可能，資源可以在平臺上得到高效的分配。這種市場環境更好的契合消費者的需求，從而開辟嶄新的經濟增長空間。此外，在“十四五”期間，算法與大數據量化分析工具將會成為新的商業核心競爭力。算法可以從更多的維度來刻畫用戶包括：客戶收入、購買偏好、家庭結構等。這使得數字經濟的規模將進一步擴大，對社會經濟產生更加深遠的影響。由此看來，算法對于推動企業升級思維，創新模式都有著舉足輕重的作用?；ヂ摼W企業的發展依賴于算法對收集到的數據進行整理和分析。通過各種復雜的數據模型，算法正在變得越來越智能。通過模仿人腦的神經網絡，深度學習正在成為一類重要的算法，這種特性可以幫助算法

18、更好的應對復雜的外部環境?；ヂ摼W平臺開發定價算法，基于用戶的使用習慣、消費需求和商品品質，為用戶推薦不同價位的商品，從而提升匹配效率，滿足用戶個性化消費需求。隨著云計算、區塊鏈等技術的快速發展，算法正在幫助企業更好的發掘當代社會中產生的海量數據所蘊含的巨大價值。在萬物互聯的時代，算法已經變成企業最重要的核心競爭要素之一。4/42 3.算法催生新業態，顯著拉動就業算法催生新業態，顯著拉動就業 隨著算法、大數據、云計算等新技術的廣泛應用，數字經濟成為提升和優化我國經濟結構的一大動力。根據中國信通院發布的全球數字經濟新圖景（2020年）報告顯示，數字經濟規模不斷增長的同時，在國民經濟中的比重不斷提高

19、，其中 2019 年中國數字經濟體量位居全球第二，達 5.2 萬億美元。在全球疫情的大背景下，數字經濟對于復工復產和保證就業起到了舉足輕重的作用。依托于人工智能算法、大數據、云計算等技術的發展，各個平臺企業作為數字經濟的中流砥柱，為催生新業態、保證就業提供了有力的支持。在算法的幫助下，一批生活服務平臺提供了大量的就業機會，創造了新的就業形態。比如一些外賣平臺為騎手提供了新的就業崗位并為其創造收入，成為穩定就業的“蓄水池”。與傳統的勞動崗位相比，數字經濟依托于算法和大數據，打破了傳統的勞工關系。勞動者的工作地點、時間和內容變得更加彈性化，因此產生了諸如外賣服務、直播帶貨等新業態崗位。另一方面，算

20、法還降低了創業門檻，激發了企業活力，為之后發掘市場商業新形態夯實了基礎。在線招聘就業服務更是充分利用算法和大數據分析，大幅提升了就業質量和數量。通過算法精準匹配、重點推送等工具，求職者可以獲得更加適合自己的招聘信息。這不僅僅節省了求職者的搜索成本，也降低了企業的招聘成本，提升了求職效率。以農民工返鄉就業為例，在算法和大數據的支持下，政府和企業可以建議和鼓勵農民工就近就業，并且兼顧扶貧、疫情防控等政策需求，從而達到穩就業，鞏固扶貧成果的目標。在“十四五”期間，數字化轉型升級將會成為企業乃至政府的重要發展戰略之一。算法不僅在推動第三產業發展以及吸納就業上發揮作用，而且在第二產業也會大有作為。未來，

21、企業和政府將會聚焦于生活服務新基建，從而更大效度的發揮算法在保就業方面的積極作用。（三）算法的不確定性影響（三）算法的不確定性影響 算法本身應視為中立，規避技術進步帶來的風險才是根本。風險來源于人的實踐活動，有兩種視角看待風險：（1）不確定性視角；（2）損失性視角。不確定性視角既包含負面也包含正面，而“風險”通常只包含對負面結果的預期。實際 5/42 上，如果將風險視作是一種概率或預期的話，那么必然包含不確定性，只不過這種不確定性通常以負面為主。因此，本文將風險的概念定義為損失的不確定性。作為數字時代發展的驅動引擎，數據、算法及算力正改變和重塑人類生活。算法在不斷嵌入社會生活并提供諸多便利的同

22、時，諸多風險也伴隨而生。算法所帶來的風險，既有技術自身層面的，也有涉及到技術應用之后的，對個體以及對經濟社會發展所帶來的預期為負面的影響。深刻理解和反思算法技術應用可能引發的潛在風險，是探討算法治理的必要前提，以下從社會、經濟、法律、道德四個維度對算法風險進行分析（見圖 1）。圖 1：算法的潛在風險分析框架 1.可能的社會風險：算法可能加劇可能的社會風險：算法可能加劇“信息繭房信息繭房”和數字鴻溝和數字鴻溝 當前算法深深嵌入到社會運行的方方面面，其引發的社會風險主要體現在以下兩個方面：一方面，可能加劇“信息繭房”（Information Cocoon House）現象。在算法應用平臺中，用戶的

23、各種信息數據通過信息內容推薦、信息生產、協過濾等算法機制，很容易使用戶被自身的興趣愛好所引導甚至牽制，導致平臺算法源源不斷地向其輸入某一類型的信息流或推薦相關用戶群，從而使用戶的生活桎梏算法的潛在風險 社會風險 信息繭房 數字鴻溝 經濟風險 數字勞工 財富再分配 法律風險 算法不透明 算法偏見 倫理風險 責任認定 道德困境 6/42 于像蠶繭一般的“信息繭房”中。另一方面，“信息繭房”將強化用戶群體的“標簽性”，從而加劇網絡社會的階層分化，形成新的數字鴻溝（Digital Divide），導致網絡社會的碎片化與群體極化現象。尤其是算法媒體通過算法技術及其架構實現了對人、地點、對象和思想以及與這

24、些過程相關的思維、行為和表達習慣的重新排序、分類和分級，進而導致“信息繭房”現象的迅速蔓延與日益固化，基于年齡、學歷、知識背景等對不同內容消費的階層分化現象逐漸加劇。這一新數字鴻溝的出現進一步強化了不同階層、群體之間的信息隔膜，造成某一群體針對某一信息不能暢通地與其他群體進行溝通交流，由此加劇了群體內部的極端化程度，導致群體極化現象的產生。這種群體極化現象，既存在于同代人之間也存在于代際之間，同時也存在于不同文化、民族、性別的人口差異之間。數字鴻溝在人工智能時代將會進一步成為無法忽視的問題。在運用大數據和人工智能技術方面，除了發達國家和發展中國家，富裕人口和貧困人口之間的巨大差距，還有一條顯著

25、的鴻溝在年輕和年老的社會群體之間。由于老年人口在信息共享和運用技術方面的活躍程度遠不如年輕人口，在算法依據互聯網大數據進行自動化決策的時，有可能在決策過程和相關的資源分配上將老年群體邊緣化甚至徹底遺忘。此外，由于性別、種族、文化、城鄉、受教育程度方面的差別，一部分人口在接觸和獲得以數字化和算法為代表的新生產力時天然處于劣勢，無法充分參與數字化和智能化的進程，這樣不僅造成了這些群體在信息獲取和發展機遇方面的不對稱，并且將進一步加劇貧富差異和金字塔型社會的固化，如果沒有及時和合理的監管與政策的介入，反烏托邦的場景很可能就是算法自動化決策所引向的未來。2.可能的經濟風險：算法可能加大“數字勞工”合法

26、權益保護的難度可能的經濟風險：算法可能加大“數字勞工”合法權益保護的難度 人工智能和算法在智能制造領域的應用，主要體現在效率提升和流程再造上，這意味著廣泛應用算法的制造業將會再次獲得生產力水平的極大提升，其整體影響不亞于一次新的工業革命。工業革命所帶來的生產效率的提升，隨之而來的是大規模失業的潛在風險。斯坦福大學人工智能與倫理學教授杰瑞卡普蘭在人工智能時代 一書中指出，人工智能對未來的影響與挑戰主要在數字勞工和財富再分配這兩個方面。隨著數字產業和平臺經濟的迅速崛起，“數字勞工”人群日 7/42 漸凸顯。算法持續而深刻地改變著人們的生產生活方式，形成了互聯網經濟下的新型經濟模式和勞動形態。新模式

27、帶動外賣跑腿、滴滴打車、直播網紅等新型職業，在為人提供新機遇的同時又使人深陷算法控制之中。算法通過日益增強的精準性和標準化管理，將外賣員的勞動過程置于細致入微的監管之下。從言語表述、肢體行為到時間、空間、數量、級別等各個層面的數字操控，使得技術理性最終得以管理“人的情感”，并以此實現勞動價值的最大化和高效化。算法對數字勞工的經濟風險問題不應該被忽視，重新理解并審視算法的技術社會價值成為當務之急。因為它深刻影響著勞動政治、勞動關系和中國的社會轉型。3.可能的法律風險：算法可能影響公平正義可能的法律風險：算法可能影響公平正義 對于人工智能在社會治理領域的應用，算法的不透明會在不同程度上削減社會公眾

28、的知情權并進而影響公眾行使權利。隨著大型公司主體在算法技術及其架構方面優勢的不斷強化，傳統“國家-公民”二元主體框架下的金字塔型權力結構逐漸被打破，并型塑為“政府監管的制度權力、平臺運營商的技術權力與用戶享有的正當權利”的扁平化權力結構。在這種新型權力結構框架下，日常生活中用戶以交換個人數據而享受平臺公司應用的數字生活方式，隨著算法技術及其架構與公眾社會生活的并軌交融，其可能產生的侵犯公民隱私權等法律風險日漸突出。一方面，算法應用需要以持續監控和收集個人數字行為數據為基礎，而這種持續性、無間斷地“搜集-分析-加工-決策”的運作邏輯實質上是以公民各類信息如消費習慣、興趣愛好、社交結構，甚至家庭成

29、員、醫療信息、婚姻財產狀況等隱私為導向的挖掘式精準營銷。在數字經濟時代背景下這些具有潛在無窮大價值海量的數據資源，在實踐中很容易被泄露而直接應用于其它商業目的，甚至非法目的。另一方面，許多大型互聯網公司借助算法技術、算法決策、算法推薦等一系列手段，對直接涉及用戶正當權益的事項進行決策。公眾等社會主體由于信息不對稱、對算法知識的缺乏等原因，加之算法偏見的隱蔽性植入，難以真正理解算法決策的過程，其知情權、參與權等基本權利難以得到有效保障，實踐中這類損害發生后也難以舉證進行司法救濟。算法是由人設計和編寫的，會受到編程人員主觀意識的影響。特別是在算法實現路徑多樣化的情況下，編寫者還會進行一定方法乃至價

30、值上的取舍，尤其是 8/42 傾向于做出更有利于自身利益的選擇，這又難免會帶有感性的因素。因此，僅從技術角度來看，純粹意義上的“算法中立”就很難實現，算法總是帶有一定程度的“偏見”。除技術性因素外，人為設置的算法偏見更值得重視，典型的如平臺企業利用“信息權力”針對終端消費者實施剝削性和歧視性定價。所謂歧視性定價，是指平臺企業通過收集、追蹤用戶數據，利用數據挖掘技術對用戶進行分類和預測的基礎上，對具有一定黏性的用戶進行歧視性定價，從而獲得差額利潤。歧視性定價是特定算法程序批量分析和執行的結果，只要符合設定特征的用戶群體就會被程序篩選出來并受到類似對待，因此雖一定程度上體現了“個性化定價”特質，但

31、實際上具有批量化、數據化、平臺化特征。由于歧視性定價具有極強的數據依賴特性，因此在平臺自行收集和追蹤用戶數據之外，對數據標簽化歸類后還可能再次交易。所以在數據標簽化時代，不僅單個平臺上的歧視性定價現象值得警惕，跨場景、跨類型的平臺間利用數據挖掘技術對特定標簽的用戶群體進行歧視定價甚至達成“算法共謀”的情形更加令人擔憂。對此，我國多部法律規定企業不得利用算法在交易價格等交易條件上實施不合理的差別待遇。4.可能的道德風險：算法可能引致“道德困境”和追責難題可能的道德風險：算法可能引致“道德困境”和追責難題 算法在道德層面的風險，最直接體現在由算法控制的機器與人交互的安全風險，這里引發的一個關鍵道德

32、問題是：人的生命安全是否可以由機器決定？谷歌、百度等科技巨頭數年前就開始研發自動駕駛汽車，該行業面臨的一個難題是將人的生命安全交給機器所帶來的道德難題。除了顯性的道德困境外，人工智能的發展還隱含著深層次的道德風險。一方面，人工智能訓練數據的選擇和算法的使用很難做到公正客觀，開發者選取了什么樣的樣本和數據庫，使用了哪些算法和規則，不僅沒有想象中的客觀，其過程中研究者甚至還可能是完全主觀并埋藏惡意。另一方面，互聯網上數據本身的偏見性，可能使基于此學習的人工智能產生違背道德約束的行為。自動駕駛是最容易產生算法倫理困境的一個領域。正如著名的“電車難題”，在五個人的生命和一個人的生命之間做出抉擇，即使是

33、不同的倫理學流派也會給出不同的分析和選擇，功利主義認為挽救五人犧牲一人是符合倫理的，而絕對律令派則會強調人生命價值的底線原則。目前已有研究通過對 VR 設備對人所做出 9/42 的選擇進行算法建模，從而使機器模仿人類在類似情境下進行道德選擇，但由于涉及情境的復雜性，其進展依然在實驗階段。如果將這些人類都無法達成統一標準的道德判斷任務交給機器和算法，其所帶來的巨大社會爭議可想而知。這也就是為什么越來越多的人工智能專家強調“人在環中”（Human in the Loop）的模式，即無論算法如何發展，最終承擔責任的都應該是人，否則模糊了人與機器的邊界，而這正是不少反烏托邦的文學藝術作品中所描繪的令人

34、憂慮的前景。我國自動駕駛的規則處于探索期，有眾多問題亟待解決。相比國外政策，目前我國的政策體系和前瞻性有待提高，目前的政策體系中針對無人配送車行業的相關文件指引只涉及到技術標準層面，還未延伸至行駛過程中的法律法規及政策，特別是對一些倫理上的難題和責任分配的問題沒有明確規則同時，關于無人配送落地的實施細則、條例及行業標準規范，特別是相關監管制度的也有待加強，無人配送領域面臨的道德風險也需要預先防范。（四）算法治理的概念界定與治理框架（四）算法治理的概念界定與治理框架 1.算法治理的概念算法治理的概念 關于算法治理，學界有兩個研究方向：其一，算法治理（Algorithmic Governance）

35、，即利用算法實現精準化、智能化的治理。主要關注公共機構利用算法做出決策的過程和結果，進而觀察算法對行政體系、權力分配的影響，如討論“算法官僚”的問題。其二，治理算法（Governance of Algorithms），即基于風險預防的理念，將算法及其運用場景作為治理對象，如討論“算法歧視”、“算法霸權”、“算法共謀”等問題。每一項人工智能技術背后都有一套算法支撐，算法不僅被用于各種商業場景中，而且被廣泛用于公共服務領域?，F如今我們深處算法“統治”的世界中，算法的運行直接或間接地影響每一個人的利益。算法本身不是完美的，被人類使用時也可能被濫用，如騎手“困于”算法、“大數據殺熟”、“深度偽造”（D

36、eepfake）等問題引發了社會熱議，增加了人類社會對算法技術的不信任。這些問題不僅影響社會大眾的眼前利益，而且對人工智能的長遠健康發展不利，因而具有治理的必要性和迫切性。對此，本報告聚焦于對算法技術和算法應用場景的治理。10/42 2.算法治理五要素框架算法治理五要素框架 算法治理不是一場“打地鼠游戲”，而是應建立體系化的算法治理機制，包括識別風險、明確目標和篩選制度工具等?？偨Y目前關于算法治理的文獻可以發現，大家在討論算法治理時沒有就治理要素達成共識，也未形成統一的治理邏輯和治理框架。對于全球治理，俞可平提出五個治理要素，即包括全球治理的價值、全球治理的規制、全球治理的主體或基本單元、全球

37、治理的對象或客體以及全球治理的結果。為了橫向比對歐美在算法治理方面的經驗，本文以全球治理五要素學說為參考，對算法治理的各項要素進行明確，即包括治理目標、治理主體、治理對象、治理手段和治理模式，各項治理要素的定義見表 1。表表 1 算法治理五要素框架算法治理五要素框架 治理要素治理要素 治理要素的定義治理要素的定義 治理目標 實現何種治理效果？治理主體 誰來開展治理活動？治理對象 治理誰和治理什么問題？治理手段 依靠什么制度工具進行治理？治理模式 以何種組織形式開展治理活動 二、域外（國際組織）算法治理的基本現狀與主要案例二、域外（國際組織）算法治理的基本現狀與主要案例（一）歐盟算法治理現狀和案

38、例（一）歐盟算法治理現狀和案例 在目前歐盟的法律和治理體系中，歐盟并未專門針對算法問題制定特別的規范。歐洲議會研究服務中心受歐洲議會委托，研究并發布了算法責任與透明框架，初步體現了歐盟算法治理的總體思路，結合現有的數據規則等法律規范，共同構成了目前歐盟算法治理的體系。這一體系可以歸納為具有三個視角的規范和準則：首先，體現總體思路的治理框架，即 2019 年由歐洲議會研究服務中心未來與科學和技術小組發布的算法責任與透明治理框架。其次，涉及人工智能的倫理準則和具體領域規范，主要為可信人工智能倫理指南。最后，保護 11/42 個人權利的法案如通用數據保護條例，這是具有法律約束力的規定。1.歐盟算法治

39、理的總體思路歐盟算法治理的總體思路 2019 年由歐洲議會研究服務中心未來與科學和技術小組發布的算法責任與透明治理框架體現了歐盟算法治理的總體思路。在一系列現實案例基礎上，該框架闡明不公平算法產生的原因及可能導致的后果。在公平性的目標下，該報告提出以算法透明和問責制兩大工具實現算法公平。透明是問責的基礎，涉及到數據、程序、目標、使用、影響和合規性，這意味著為公眾、監管者、第三方提供更多的細節。問責制是指個人或組織對其活動承擔責任、進行解釋的法律和道義義務。同時該報告強調了負責任研究與創新（Responsible Research and Innovation）在促進實現算法公平中的作用和意義。

40、在對既有案例梳理和技術問題的分析上，該報告提出了幾個治理層次的建議：（1）應當提升公眾算法意識和素養，形成社會輿論的治理氛圍 該報告認為公眾的算法素養限制了公眾對算法進行評價和批判的能力，從而削弱了行業主體自治的壓力，為此應當通過教育和宣傳的方式增進公眾對計算思維、數據的作用和優化標準的理解。同時引入標準化的披露實踐，對要求算法決策過程需披露的內容類型和程度進行規定。鑒于算法決策問題的暴露和批判主要來自于調查報告和舉報者，因此該框架指出應當為這些從事算法問責的調查者提供技術的基礎設施和專家咨詢支持，使其能夠進行數據分析和算法逆向工程的工作。同時該框架認為出于公共利益考慮，允許算法問題揭秘人在違

41、反服務條款或者侵犯知識產權情況下免于追究責任。（2）建立算法影響評估機制 該機制的目標是評估算法系統在相關場景使用下，可能帶來的預期影響并提供改進建議，由此建立算法問責機制。算法影響評估機制的流程包括披露算法的目的、范圍、預期用途、相關政策或實踐，執行和發布算法系統的自我評估，公眾參與，公布算法評估結果。這一機制主要針對公共部門，要求公共部門制定公眾參與和公眾教育的指南，確保所有相關方均能夠參與算法評估，同時制定和實 12/42 施采購算法系統的問責制和透明度要求，以使公共當局能夠獲得必要的技術和其他信息對算法系統的影響進行評估。（3）建立監管機制 對于私營部門而言，該框架認為許多私營部門的算

42、法并不會對社會造成深遠影響，因此無法要求進行強制性的算法影響評估。該框架建議可以根據私營部門算法的影響范圍，建立分層監管機制，對于可能引發嚴重或不可逆后果的算法決策系統，考慮強制算法影響評估機制評估流程。對于僅具有一般影響的算法系統，可要求系統操作者承擔比較較大的侵權責任，同時減輕其評估認證算法系統、保證系統符合最佳標準的義務。此外，該框架還要求建立專門的算法監管機構，其職責包括進行算法風險評估、調查涉嫌侵權人的算法系統的使用情況、為其他監管機構提供關于算法的建議、與標準制定組織、行業和民間社會協調確定相關標準和最佳實踐。（4）實現全球協調治理 該框架建議建立一個永久性的全球算法治理論壇，吸納

43、與算法技術相關的多方利益攸關者參與國際對話，交流政策及專業知識，討論和協調算法治理的最佳實踐，促進算法的負責任創新。2.歐盟對算法的治理框架和應用規則歐盟對算法的治理框架和應用規則 算法是人工智能的核心，因此人工智能的治理內在地涉及到了算法治理的內容。2018 年歐盟委員會發布政策文件歐盟人工智能，提出以人為本的 AI 發展路徑。2019 年歐盟委員會的人工智能高級專家組發布了人工智能倫理框架建構：可信人工智能的倫理指南，從倫理維度對算法提出了實質性的要求，比如合法性、符合倫理、穩健性。具體而言，主要體現為尊重人類自主性原則、防止損害原則、公平原則、可解釋原則。為了實現可信人工智能，該框架還提

44、出了七項可以落地的關鍵要求。第一，通過分別在 AI 系統開發前后建立基本權利影響評估和建立外部反饋機制，確保 13/42 對人類的能動性和權利不造成損害，并在 AI 系統決策周期、系統設計周期以及整個 AI 系統生命周期中建立人工干預和監督機制。第二，確保 AI 的穩健性和安全性。第三，嚴格保護用戶隱私和數據，確保收集到的信息不被非法利用。第四，應確保 AI 決策的數據集、過程和結果的可追溯性，保證 AI 的決策結果可被人類理解和追蹤。第五，避免 AI 系統對弱勢和邊緣群體造成偏見和歧視，應以用戶為中心并允許任何人使用 AI 產品或接受服務。第六，鼓勵 AI 系統負擔起促進可持續發展和保護生態

45、環境的責任，充分考慮 AI 對社會、環境和政治的影響。第七，落實人工智能系統開發、部署和使用全過程的責任主體；建立人工智能系統的審計機制，實現對算法、數據和設計過程評估；識別、記錄并最小化人工智能系統對個人的潛在負面影響，當人工智能系統產生不公正結果時，及時采取適當的補救措施。為落實上述要求，該指南還提出應當研究開發可解釋的人工智能技術、訓練監控模型、構建人工智能監督法律框架、建立健全相關行業準則、技術標準和認證標準、教育提升公眾倫理意識等具體措施?？傮w來說，該框架認為 AI 治理是一個系統工程，因此為公司等其他組織提供了 AI 的評估清單，確保各個組織的各個部門協同參與到 AI 的治理過程中

46、。3.歐盟將算法治理嵌入數據治理的框架中歐盟將算法治理嵌入數據治理的框架中 從個人數據保護的角度來看，通用數據保護條例（以下簡稱為 條例）將基于算法技術而產生的大量數據分析、處理、決策行為，以及可能導致的算法偏見、算法歧視等危害后果納入到條例確立的框架體系的調整范圍之內。條例禁止相關算法處理涉及個人敏感數據的信息，也賦予了數據權利主體以更廣泛的權利，比如數據主體的數據訪問權、糾正權、被遺忘權、限制處理權、反對權、拒絕權和自主決定權。同時數據控制者負有關于數據處理的告知義務，增強數據主體對自身數據的控制。在此基礎上，條例規定了數據控制和處理者的行為準則和各項義務。值得注意的是，條例提出設置數據保

47、護官、專門的監管機構等方式，從法律制度層面不斷強化算法規范應用的外部監督體系。14/42 4.歐洲算法治理最新案例：意大利禁止算法歧視歐洲算法治理最新案例：意大利禁止算法歧視 2021 年 7 月 5 日，意大利數據保護機構認定 Deliveroo 違反 GDPR，處以 290萬歐元罰款。因該平臺用算法自動懲罰騎手：如果騎手的評分低于某一水平，將他們排除在工作機會之外，這是一種歧視，而且沒有進行人工審查，騎手沒有能力質疑平臺的決定。該案的啟示：應開展數據保護影響評估，測試算法是否有偏見，并告知員工公司如何使用算法做出決定，且應以易于理解的方式解釋算法的功能。（二）美國算法治理現狀和案例（二）美

48、國算法治理現狀和案例 1.美國沒有采取集中的、命令控制式的治理方式美國沒有采取集中的、命令控制式的治理方式 2016 年奧巴馬政府發布報告討論人工智能已有的和潛在的應用，以及人工智能可能給社會和公共政策帶來的問題。同時，奧巴馬政府還發布人工智能戰略計劃（AI Strategic Plan），討論人工智能的科技差距，并提出開發人工智能促進對經濟和社會產生積極影響。2019 年 2 月，美國總統特朗普簽署了“維持美國在人工智能領域的領導地位”的第 13859 號行政命令。2020 年 1 月，美國白宮科技政策辦公室（OSTP）發布 人工智能應用監管指南（Guidance for Regulatio

49、n of Artificial Intelligence Applications），該文件提出監管機構不要放棄之前的監管原則，而是將人工智能納入已有的治理和監管機制中，同時建議少用“硬性”監管，鼓勵行政機構與私營部門合作。為了促進人工智能的發展，該文件提出加強公共參與，鼓勵行政機構公布更多聯邦數據供公眾使用。OSTP 在該文件中提議監管的十項指引原則，具體包括：（1）公眾信任 AI，即行政機構應該促進可依靠、魯棒的和值得信任的人工智能應用。（2）公眾參與，即公眾有機會提供信息和參與規則制定過程中的各個環節。（3）科學誠信和信息質量，即制定政策應基于可核驗的證據，并向公眾明確溝通。（4）風險評

50、估和管理，即行政機構僅解決那些可能出現無法接受的或者損害超過了收益的風險。（5）收益與成本，即行政機構應該考慮部署人工智能的潛在收益和成本。（6）靈活性，即考慮到人工智能技術的快速變化，“僵硬的、基于設計的規則”15/42 不再有效。制定政策時應該考慮美國公司在全球的競爭力。（7）公平與非歧視，即行政機構應該考慮人工智能部署的公平和非歧視的問題。（8）披露和透明，即透明和披露可以增加公眾對人工智能的信任，但是行政機構不能在現有規制足夠的情況下要求額外的披露。（9）安全，即行政機構應該注意人工智能任何潛在的安全風險，同時注意惡意部署和使用人工智能的風險。（10）跨機構合作，即行政機構應該合作保證

51、人工智能相關政策的一致性和可預期性。2.美國沒有統一的監管部門而由各個部門在自己職責范圍內規制算法美國沒有統一的監管部門而由各個部門在自己職責范圍內規制算法 聯邦貿易委員會（Federal Trade Commission，FTC）將其職責解釋為在國家層面監管侵權隱私的問題，FTC 舉行多次聽證會討論算法對競爭和消費者保護的影響。聯邦食品和藥品管理局（Food and Drug Administration，FDA）針對人工智能的具體用途發布了一些指導文件，比如人工智能賦能（AI-powered）的醫療軟件和移動醫療應用程序，以保證這些應用程序遵守現有的規章。FDA 還批準了其他一些人工智能應

52、用領域，如允許制藥企業銷售基于人工智能的軟件和人工智能賦能的糖尿病篩查技術等。證券交易委員會（Securities and Exchange Commission，SEC）發布一系列指導文件，將智能投資顧問（Robo-Advisers）和算法交易等納入其管轄范圍內，SEC 自己也使用機器學習算法提升監管能力。交通部（Department of Transportation，DoT）發布一份報告，將自動駕駛汽車安全納入現有的交通系統中，報告還討論了監管問題。美國國家科學基金會（National Science Foundation）與亞馬遜合作，研究如何構建公平非歧視的算法。美國國家標準與技術研

53、究院（National Institute of Standards and Technology,NIST）發布一項計劃，協助聯邦政府制定與人工智能和算法相關的技術標準。3.美國聯邦層面尚沒有就算法治理制定專門法律美國聯邦層面尚沒有就算法治理制定專門法律 1970 年的公平信用報告法（Fair Credit Reporting Act，FCRA）規定了（使用算法或人工決策進行）消費者信用信息的收集、信用報告的制作和獲取。1996 年的健康保險可攜帶性和問責法（Health Insurance Portability and Accountability Act，HIPAA）規定了醫療信息（包

54、括個人可識別信息）的收集和流動，醫療企業采用算法和數字技術也有責任確保遵守該法的隱私保護要求。以 16/42 上法律表明相關領域使用算法技術需要受到現有規則的監管。同時，美國國會還在討論專門規制算法的法律，比如 算法問責法（Algorithmic Accountability Act），該文件要求美國 FTC 制定和實施新規則，要求使用“自動化決策系統”的私人公司設立內部影響評估委員會、定期發布公開報告，討論自動化決策對準確性、公平性、偏見、歧視、隱私和安全的影響。再如 2022 年 2 月，美國俄勒岡州民主黨參議員 Ron Wyden 與參議員 Cory Booker 和眾議員 Yvette

55、 Clarke 推出更新版的算法責任法案。本法案要求科技企業在使用自動化決策系統做出關鍵決策時，對偏見、有效性和相關因素進行系統化的影響評估。本法案首次規定聯邦貿易委員會應當創建自動化決策系統的公共存儲庫，包括自動化決策系統的數據源、參數以及對算法決策提出質疑的記錄。該法案還提出，建議為美國 FTC 增加 50-75 名工作人員，并成立一個專門的技術局來執行該項立法。4.美國州層面出臺算法治理的各類規章美國州層面出臺算法治理的各類規章 在自動駕駛領域，根據國家議會州立法（National Conference of State Legislatures）數據庫的數據顯示，美國 50 個州中已經

56、有 40 個州通過了法律或行政命令對自動駕駛汽車進行規制，相關政策包括允許自動駕駛車輛在特定環境和特定道路上行駛，鼓勵自動駕駛車輛開發商與州監管機構合作開發試點項目以保證自動駕駛車輛的安全等。在算法問責方面，2017 年美國紐約市首次通過了算法透明法案，并于 2018 年設立了“算法問責特別工作組”（Algorithmic Accountability Task Fore），專門負責市政府使用算法的情況，就加強紐約市算法應用的公共問責提出建議。該法案主要規制政府機構利用算法的行為，因為紐約市政府在各種場景中已經運用了算法，包括刑事調查、教師評估、消防、公共住房等。在數據隱私方面，加州制定了 加

57、州消費者隱私法（California Consumer Privacy Act），規定了加州公民有權了解其個人數據的收集和使用情況，并且有權查閱個人數據和禁止個人數據的銷售。5.美國的非政府組織和行業自律發揮作用美國的非政府組織和行業自律發揮作用 在非政府組織方面，美國多個智庫都在研究人工智能和算法問題，引發公眾對算法治理的討論，對算法治理起到重要作用。具體包括：（1）人工智能伙伴 17/42（Partnership on Artificial Intelligence）：該組織整合了研究機構、私人企業和非政府組織，討論人工智能促進公共利益的問題。（2）消費者報告組織：敦促企業和政府讓公眾對個

58、人數據擁有更大的控制權。（3）美國公民自由聯盟：主要關注現代科技的影響和涉及使用算法影響個人權利的訴訟案件，如隱私、數字權利等。（4）Up-turn：重點關注公平金融、刑事司法和數字權利方面的法律和政策。（5）人工智能現代研究所（AI Now）：研究人工智能對社會影響的法律和政策，關注權利和自由、勞動和自動化、偏見和包容，以及安全和關鍵基礎設施，每年會發布相關報告。（6）美國程序代碼組織：關注通過數字技術增加各級政府的有效性和可訪問性。（7）民主與技術中心：研究制定與算法和公民自由相關的政策建議。（8）數據與社會研究所：致力于促進公眾關于以數據為中心的技術和自動化對社會影響的理解。在行業自律方

59、面，2016 年，亞馬遜、微軟、谷歌、IBM 和 Facebook 聯合成立了一家非營利性的人工智能合作組織（Partnership on AI），且蘋果、英特爾等企業也陸續加入該組織。Partnership on AI 致力于推進公眾對人工智能技術的理解，同時也將設立未來人工智能領域研究者需要遵守的行為準則，并針對當前該領域的挑戰及機遇提供有益有效的實踐。美國諸多科技公司設立內部機構實現算法的自我治理，比如微軟內部成立了人工智能倫理道德委員會，并承諾在開發應用人工智能過程中始終遵循堅持六項人工智能準則：安全與可靠；隱私與保護；公平性；包容性；透明度；義務與負責。英特爾內部成立了負責任人工智能

60、委員會，并建立了人工智能倫理影響分析的評估流程，確保人工智能項目和產品符合倫理要求。此外，早在 2017 年，Google（谷歌）旗下的 AI 研究公司 DeepMind就宣布成立專門研究小組，探討 AI 倫理問題。Facebook 也宣布將資助德國慕尼黑工業大學，成立獨立的人工智能倫理研究所，為社會和經濟用途的相關技術制定負責任的道德準則。6.美國算法治理最新案例：美國算法治理最新案例：FTC 要求違法主體刪除數據和算法要求違法主體刪除數據和算法 Ever利用用戶照片訓練人臉識別算法，未在隱私條款中寫明，且將算法賣給執法機關和軍方。該公司涉嫌欺騙消費者，違反了聯邦貿易委員會法案（Federa

61、l Trade Commission Act）第 5a 條中禁止不公平或欺騙性行為和慣例的規 18/42 定。FTC 要求刪除以非法所得照片訓練出的人臉識別技術。（三）新加坡算法治理現狀和案例（三）新加坡算法治理現狀和案例 1.新加坡發布人工智能治理框架模型新加坡發布人工智能治理框架模型 新加坡在 2019 年 1 月 22 日至 25 日舉行的世界經濟論壇（WEF）年會上發布了人工智能（AI）治理框架模型，該模型框架是亞洲首個為私營機構提供詳細且易于實施的指南，用于處理使用 AI 解決方案時的道德和管治問題。該模型框架的兩個主要原則是協助機構確保，AI 做出的或在 AI 幫助下做出的決定對消

62、費者來說是可解釋的、透明的和公平的。該模型從四個方面闡述了適用于常見 AI部署流程的關鍵道德原則和實踐：內部治理結構和措施、自主決策中的風險管理、運營管理和客戶關系管理。新加坡相關機構表示“新加坡旨在推進其成為領先的數字經濟和智能國家，不斷接受數字化轉型并重塑自我以保持全球競爭力。該模型框架是新加坡通過投資和建設 AI 能力來實現這一目標的努力的一部分?！?020 年 1 月 21 日，新加坡在世界經濟論壇上發布了第二版人工智能治理框架模型。在最新版本中，增加了若干個行業實踐案例。2.新加坡就算法審計提出原則性要求新加坡就算法審計提出原則性要求 在算法治理方面，新加坡的人工智能治理框架對算法審

63、計作出了規定。首先，關于審計的必要性。審計是有管轄權的監管機構要求下進行的，因為需要專業技術知識，可能需要外部專家參與。其次，開展審計的考慮因素。第一個因素是審計的目的。第二個因素是審計的目標受眾，因為不同受眾所需要的信息不同。第三個因素是數據責任，需要保證數據的準確性，并定期審查和更新數據。最后，算法可能屬于有商業價值的信息，將影響市場競爭力。因而開展審計時應該采取保護措施，比如保密協議。英文完整版文件參見 Model Artificial Intelligence Governance Framework(Second Edition)，載https:/www.pdpc.gov.sg/-/

64、media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/SGModelAIGovFramework2.pdf.19/42 3.新加坡推動自愿性自我評估測試工具的研發和使用新加坡推動自愿性自我評估測試工具的研發和使用 為幫助相關組織實現人工智能系統更透明，并讓相關組織與其利益相關者建立信任，新加坡當局開發了一套人工智能治理測試框架和工具。其中，測試框架（Testing Framework）由以下內容組成：人工智能倫理原則的界定、測試標準（包括技術和非技術標準）、測試過程以及衡量指標，其中倫理原則包括了 11 項國際上已經被接受的人工智能倫理

65、原則，如透明、可解釋、可復現、安全、魯棒、公平等等。新加坡當局提供的工具包（Toolkit）有測試可解釋性的 SHAP(SHapley Additive exPlanations)、測試魯棒性的 Adversarial Robustness Toolkit 和測試公平性的 AIF360 and Fairlearn。這些工具容易在開發者或用戶的環境下被部署。相關組織可以先下載工具包，準備好人工智能模型和數據集，然后調整測試維度，并啟動測試進行完整的過程檢查，最后生成測試結果和報告。此外，新加坡當局還致力于搭建一個人工智能測試社群（Community），包括開發者、系統擁有者、技術提供者、咨詢機構

66、以及相關研究者。新加坡當局已經邀請了行業實踐者參與到這個項目中，參與者可以對自己的人工智能系統進行自我測試，生成相關報告向利益相關者展示系統的透明度并建立信任；向當局反饋意見讓這個項目更能反映行業需求；也能加入到人工智能測試社群中，各個成員可以就人工智能治理實踐經驗進行分享和合作。目前，這個項目尚處于早期階段，新加坡當局表示未來可能引入第三方審計機構實現可信人工智能的測試和認證。（四）國際標準組織在算法治理規則和實踐上的探索（四）國際標準組織在算法治理規則和實踐上的探索 ISO/IEC JTC1/SC 42 是負責制定人工智能國際標準的標準化組織（下面簡稱SC 42）。SC 42 已完成或正在

67、進行的工作中，包括 AI 基本概念、可信賴、AI系統和 AI 輔助決策中的偏見應對、AI 風險管理與治理、AI 管理體系等。SC 42正在構建一套可用于 AI 治理的體系化標準工具，算法治理也是整個 AI 體系化治理的一部分，例如：ISO/IEC TR 24027:2021 提供了對 AI 系統和 AI 輔助決策中的偏好問題的概述，并且正在進一步編制 ISO/IEC TS 12791 標準規定如何處 20/42 理不必要的偏見；ISO/IEC 38507:2022 為正在應用或考慮應用 AI 的組織或公司提供了治理指引，該標準中分析了 AI 系統與其他信息技術的區別，以及組織或公司應用 AI

68、技術時的治理策略，其中也包括自動化決策方面的分析和建議；正在制定中 ISO/IEC 42001 是關于 AI 系統管理體系的標準，規定了建立、實施、維護和持續改進人工智能管理系統的要求，并提供了指導；ISO/IEC 23894 是關于 AI 風險管理的標準，提供管理組織在 AI 技術和系統的開發和應用過程中面臨的風險的指南，包括有效實施和集成人工智能風險管理的過程，旨在幫助組織將風險管理納入其人工智能相關活動和職能。此外，SC 42 還正在開展進一步的工作，以支持可信賴（如關于可解釋性的 ISO/IEC TS 6254，關于透明度分類的ISO/IEC12792，關于社會/個人影響評估的 ISO

69、/ISO 42005，關于質量評估的ISO/IEC TS 5471，關于可控性的 ISO/IEC TS 8200）、數據質量管理（ISO/IEC 5259系列）、生命周期過程（ISO/IEC5338）、測試（ISO/IEC TS 29119-11）等。在人工智能和算法治理上，不同國家和地區、不同行業和企業目前尚有差異，而上述國際標準為全球人工智能治理提供了標準化的方法、指引和工具，可以用于構建協調的、標準化的內部治理規則，推薦行業采納這些標準作出事前治理，從而實現行業治理水平的統一。三、歐美算法治理實踐比較與我國算法治理現狀分析三、歐美算法治理實踐比較與我國算法治理現狀分析（一）歐美算法治理實

70、踐比較（一）歐美算法治理實踐比較 歐盟和美國在算法治理中既有共通的經驗，也有差異化的策略。整體上看，歐盟以行政干預為重心，而美國以市場調節為主。1.治理目標：歐盟以前瞻性的立法和監管謀求規則主導權，美國秉持敏捷性的監管原則鼓勵技術創新和發展治理目標：歐盟以前瞻性的立法和監管謀求規則主導權，美國秉持敏捷性的監管原則鼓勵技術創新和發展 以歐盟出臺的政策文件看，其先通過政策建議或倫理指南進行“軟性”治理，之后再發布帶有懲罰措施的法律，其監管“硬度”呈現出由弱變強的趨勢。（相關治理文件見表 2）在新興技術領域，歐盟歷來重視規則的制定，希望以高標準的法律和規制政策來重構全球新技術的發展模式。同時，歐盟高

71、度關注公民數字 21/42 人權的保護，強調打造可信人工智能，擅長運用預防式規制手段防范技術風險。因產業發展狀況的差異，美國重視人工智能技術的創新與發展，強調監管的科學性和靈活性，致力于確保和增強美國在高科技領域的領導地位。在美國白宮辦公室發布的一份文件中，美國政府強調應保證其在人工智能的全球領導者地位，并避免采取預防式的規制方法。2020 年美國白宮科技政策辦公室（OSTP）發布的人工智能應用監管指南（Guidance for Regulation of Artificial Intelligence Applications）重申了應少用“硬性”監管，鼓勵行政機構與私營部門合作。表表 2

72、歐盟人工智能治理政策文件匯總歐盟人工智能治理政策文件匯總 發布時間發布時間 文件名稱文件名稱 發布主體發布主體 文件性質文件性質 2016 年 5 月 關于機器人民事法律規則的立法建議報告草案（Draft Report with Recommendations to the Commission on Civil Law Rules on Robotics）歐盟議會 研究報告 2018 年 4 月 歐盟人工智能政策（Artificial Intelligent for Europe）歐盟委員會 政策建議 2019 年 4 月 算法的可問責和透明的治理框架（A Governance Framew

73、ork for Algorithmic Accountability and Transparency）歐洲議會 政策建議 2019 年 4 月 可信任 AI 倫理指南（Ethics Guidelines for Trustworthy AI）歐盟專家組 倫理指南 2020年10月 人工智能和民事責任（Artificial Intelligence and Civil Liability）報告 歐洲議會 研究報告 2021 年 4 月 人工智能法（提案）歐盟委員會 法律草案 22/42 2.治理主體：歐盟的治理主體為數據保護機構，美國的治理主體較為分散和多元治理主體：歐盟的治理主體為數據保護機

74、構，美國的治理主體較為分散和多元 歐盟將具體的算法治理規則置于數據保護框架中，主要通過強化公民的個人權利來規避算法損害，可以說歐盟的算法治理采取了個人賦權的規制方法?！皵祿巹t+算法原則”構成了歐盟治理算法的制度體系，即通過“數據規則”實現算法的源頭治理，體現了治理的完整性。比如歐盟 通用數據保護條例（GDPR）第 12 條至第 22 條賦予數據主體獲取數據處理相關信息的權利、對個人數據的訪問權、對個人數據的更正權、對個人數據的刪除權（被遺忘權）、限制處理權、數據攜帶權、一般反對權和反對自動化處理的權利。在美國，從縱向看，治理主體較為分散。在聯邦層面暫無統一的立法，由各個州出臺區域性規則實現治

75、理的先行先試。從橫向看，治理主體較為多元。不同監管機構在自己的業務管轄范圍內發布新規或對舊規進行解釋，將算法納入自己的職責范圍。比如美國聯邦貿易委員會基于消費者保護和競爭執法的職權，關注算法壟斷的問題，并針對算法歧視、欺詐和數據濫用等問題制定監管規則。美國食品和藥物管理局就算法醫療軟件發布一系列指導文件。美國證券交易委員會就算法交易頒布指引性文件。美國交通部研究將自動駕駛汽車的安全規制問題納入到現有的交通監管體系中。美國住房和城市發展部正擬定新規，允許人們對與住房分配有關的算法決策不公提起訴訟和要求索賠。美國平等就業機會委員會發起一項在人員雇傭和辦公場所管理等方面需合理采用算法的倡議。3.治理

76、對象：歐盟和美國都重視對市場私主體和公共管理機構相關算法問題的治理治理對象：歐盟和美國都重視對市場私主體和公共管理機構相關算法問題的治理 在歐盟，2019 年發布的算法責任與透明治理框架（A Governance Framework for A Algorithmic Accountability and Transparency）提出對公共主體實施算法影響評估的強制要求，評估流程包括：首先，先自我評估，如披露算法的目的、范圍、預期用途等；其次，公布評估結果，引入公眾參與；最后，根據社會監督情況調整應用規則。這一機制主要針對公共部門，要求公共部門制定公眾參與和公眾教育的指南，確保所有相關方參與

77、算法評估，同時制定和實施采購算法系統的問責制和透明度要求。對于私營部門，通常不需強制性的算法影響評估。23/42 主要根據算法的影響范圍建立分層監管機制，僅對可能引發嚴重或不可逆后果的算法系統引入算法影響評估。2021 年 4 月，歐盟發布的 人工智能法案（AI Act）則主要從人工智能應用場景的維度對私營部門的算法問題進行系統性規定。在美國，2017年紐約市通過算法透明法案，并設立“算法問責特別工作組”（Algorithmic Accountability Task Fore），其專門監督市政府使用算法的情況，監督場景包括刑事調查、教師評估、消防、公共住房等。特別是對于人臉識別技術，多個州和

78、城市禁止在政府和司法機構使用該項技術，比如紐約州暫時禁止在學校中使用面各種生物識別技術。對于私營部門，2022 年紐約市頒布自動化就業決策工具法（AEDT Law），要求在就業場景下使用的自動化決策工具必須確保無偏見，且應當由第三方審計團隊進行“偏見審計”。2021 年美國議員提出的算法正義和在線平臺透明度法案（Algorithmic Justice and Online Platform Transparency Bill）禁止在線平臺通過算法歧視性處理個人信息。4.治理手段：歐盟和美國都提出了算法影響評估作為制度性工具治理手段：歐盟和美國都提出了算法影響評估作為制度性工具 歐美在算法治理中

79、沒有過分強調算法可解釋性或算法透明的要求，而是以結果控制的原則，由責任人進行自我評估，算法影響評估（Algorithmic Impact Assessment）是典型的結果控制型制度工具。算法影響評估要求設計或運營算法的主體闡述算法系統的技術特征和實現目標，識別其潛在風險的類型和程度，并準備對應補救措施。影響評估制度被廣泛應用于環境保護、人權保護和數據保護等領域，比如美國國家環境保護法案要求聯邦機構為所有“立法和其他對人類環境質量有重大影響的聯邦行動的提議”編制并公開發布環境影響報告書（Environmental Impact Statement），社會公眾可以對報告書進行審查。在歐盟，歐盟

80、GDPR 規定了數據保護影響評估制度，歐盟算法責任與透明治理框架也提出針對公共機構強制要求實施算法影響評估。在美國，2019 年算法問責法案明確了算法影響評估的主要內容，包括：（1）算法的詳細描述，包括設計、訓練、數據及其目標。（2）數據最小化的要求、個人信息及決策結果存儲的時間。（3）消費者對決策結果的獲取權和修改權。（4）評估算法對個人信息隱私和安全的影響，以及歧視性后果方面的風險。（5）算法主體采取的降低風險的措施。紐約大學 AI Now 研究所發布的一份報 24/42 告指出開展算法影響評估的關鍵要素包括：（1）自動化決策系統對公平、公正、偏見等潛在影響。（2）開發外部研究員審核程序以

81、發現、測量或追蹤影響。（3）向公眾披露關于自動化決策系統的定義，以及自我評估和外部研究員審核程序相關事項。（4）征求公共評論以澄清相關擔憂和答復相關問題。（5）為受影響的個人或群體提供正當程序以便他們挑戰不公平的、偏見的或具有其它損害的系統。5.治理模式：歐盟和美國都采用多元主體參與、協同共治的模式治理模式：歐盟和美國都采用多元主體參與、協同共治的模式 從上文的表 2 可以看到，在歐盟，政府機構在算法治理中扮演了主要角色，其算法治理具有明顯的行政主導色彩，同時歐盟重視協同其他利益相關者參與到治理中。其一，對于私營部門，強調研發和創新過程對技術后果和倫理的反思，要求其主動承擔道德和倫理責任，實現

82、負責任創新。其二，提高公眾的算法素養，建設算法問責的氛圍。其三，對于技術人員，引入標準化的披露準則，要求算法系統的開發使用者主動披露算法的邏輯、使用目標、可能的影響等。其四，建立保護制度鼓勵“吹哨人”發現和提出算法的漏洞與問題。在美國，其在新興科技領域歷來重視利用政府、企業、行業組織、第三方機構以及社會公眾等不同主體的力量，構建起多主體共同參與治理的格局。2016 年美國科技政策辦公室 OSTP發布報告建議人工智能的相關倫理問題可以通過透明度和自我規制伙伴關系來解決。在行政干預偏弱的環境下，非政府組織如第三方智庫、行業組織和社會公眾等發揮了重要作用。比如第三方非盈利組織“為了人民”(Pro P

83、ublica)發現了一些量刑算法中存在的系統性歧視問題。人工智能伙伴（Partnership on Artificial Intelligence）、消費者報告組織、美國公民自由聯盟等加大研究人工智能和算法問題，引發了公眾對算法治理的討論。在行業自律方面，2016 年亞馬遜、微軟、谷歌、IBM 和 Facebook 聯合成立人工智能合作組織（Partnership on AI），共同推進公眾對人工智能技術的理解，并設立人工智能行為準則。綜上可以看到，歐盟以自上而下的方式制定規則來治理算法，如明確倫理標準、修訂法律責任認定規則、嚴格執行數據保護規則等。而美國側重于以市場化的路徑治理算法，對算法可

84、能產生的風險秉持謹慎的態度，沒有過多的制定成文規則，而是依賴市場主體自發地形成約束機制。美國治理算法綜合考慮了國內國外的競爭情形，為了保證其在人工智能領域的領先優勢，美國將重心放在降低各 25/42 種壁壘并推動新一代人工智能研發上，這體現了約束與發展并行的治理思路。（二）我國算法治理現狀分析（二）我國算法治理現狀分析 1.算法治理的算法治理的“法治之網法治之網”雛形初步形成雛形初步形成 羅豪才教授認為，“軟法”是指不具有任何約束力或約束力比傳統法律（即所謂“硬法”）要弱的準法律文件。軟法有多種表述形式，諸如“合作規制”、“自律規范”和“準規制”等?？梢钥吹剑ㄒ姳?3），我國已經初步形成一張算

85、法治理的“法治之網”，主要由法律法規、標準指南和行業自律公約構成，共同形成了“硬法”與“軟法”共治的局面。表表 3 我國算法治理的相關文件我國算法治理的相關文件 文件類型文件類型 文件名稱文件名稱 法律法規 數據安全法電子商務法個人信息保護法互聯網信息服務算法推薦管理規定 網絡信息內容生態治理規定關于規范金融機構資產管理業務的指導意見關于加強互聯網信息服務算法綜合治理的指導意見 等 標準或指南 個人信息安全規范人工智能倫理安全風險防范指引深度學習算法評估規范遠程人臉識別系統技術要求等 行業自律公約 人工智能北京共識面向兒童的人工智能北京共識新一代人工智能行業自律公約等。2.現階段算法治理的重點

86、問題和場景基本明確現階段算法治理的重點問題和場景基本明確 基于對社會穩定、市場公平競爭、個人的公平和正義等價值目標的追求，現階段我國重點治理的算法應用場景包括自動化決策、人臉識別、互聯網信息服務推送、深度合成等，其涉及的治理問題包括深度偽造、大數據殺熟、算法共謀、數字勞工等。26/42 3.互聯網信息領域的算法治理主管機構得以確定互聯網信息領域的算法治理主管機構得以確定 我國網信部門作為互聯網信息內容管理機構，在算法治理領域的規則制定和監管行動上先行先試，起到牽頭和組織的作用，其重點關注消費者權益保護、市場競爭秩序、意識形態管理、國家安全等，其制定的算法治理規則主要適用于互聯網信息領域。（三）

87、比較視野下我國算法治理的現存問題（三）比較視野下我國算法治理的現存問題 1.在治理目標上，現有規則缺乏體系性，治理目標不夠聚焦在治理目標上，現有規則缺乏體系性，治理目標不夠聚焦 除了個人信息保護法和互聯網信息服務算法推薦管理規定外，市場監管部門、網信部門、央行、人社部門等發布的法律文件多數屬于指導意見或指引規范，缺乏強制約束力。而且各個法律文件規制算法的嚴厲程度不一，缺乏統一的治理思路和規制框架。雖然這些法律文件都強調要實現算法公平和透明的治理目標，但是沒有對其概念內涵進行明確，業界對可解釋性和算法透明的認識也較為模糊。因此，這些法律文件的治理效果有限。2.在治理主體上，多部門在治理主體上，多

88、部門“治理競爭治理競爭”，未形成治理合力，未形成治理合力 對于算法治理，多個部委展開“監管競爭”，相繼發布自己職權范圍內的低位階法律文件。比如反壟斷部門治理算法壟斷問題，央行治理金融領域的算法問題，人社部門關注數字勞工保護問題，網信辦治理互聯網信息服務領域的算法問題。對于此類現象，有學者稱其為部門法規制路徑。本文認為部門法規制路徑存在明顯的缺陷，因各個部門的職能不同，算法治理的規范比較分散，算法的整個生命周期會落入不同部門的監管范圍內。比如算法設計部署階段屬于軟件行業歸入工信部門監管，算法執行應用中涉及網絡產品和服務的安全可信受到網信部門的監管，算法執行的結果可能影響行業競爭格局或損害消費者合

89、法權益，又受到市場監督管理部門的監管。這種多頭監管的格局可能產生監管重疊或監管真空，不利于落實算法的可信控制。27/42 3.在治理對象上，重點規制市場主體，忽視公共主體的算法責任在治理對象上，重點規制市場主體，忽視公共主體的算法責任 如今不少學者討論“算法官僚”的問題，側面反映出算法成為國家權力的重要運行工具，時刻影響個人的公民權利，也會對政府權力分配和運作產生深遠影響。在疫情期間人們使用的“健康碼”是“自動化行政”的典型例子，如果“健康碼”底層的算法出現問題，對其如何治理尚無明確規定。2018 年以來，美國紐約市、華盛頓州、加利福尼亞州及加拿大相繼發布算法問責法自動化決策指令，均將“行政機

90、構的算法決策”視為規制對象。這與我國將“私營部門的算法推薦”作為規制重心形成鮮明對比。實際上，在國家機關自動化行政過程中，也容易出現算法歧視、算法“黑箱”、結果失控的問題。比如個別地方“健康碼”彈窗導致行動不便，用戶又缺乏明確的解釋規則和救濟辦法?？梢?，公共管理機構利用算法實現社會治理的活動同樣需要納入算法治理的范圍中。4.在治理手段上，以行政監管為主，對技術治理措施重視不夠在治理手段上，以行政監管為主，對技術治理措施重視不夠 算法具有復雜性、系統性和不確定性等特征，政府治理算法時，會借助平臺、程序員和人工智能專家的信息優勢和技術優勢。平臺、程序員和人工智能專家不僅是政府監管的對象，也是政府監

91、管過程的參與者、決策者和執行者。一旦規制者與被規制者存在較為嚴重的信息不對稱時，規制者在不了解新事物的情況下急于出臺強硬的監管措施，被規制者出于自身利益以各種方式逃避監管，監管目標難以實現。對此，不能僅倚賴于行政監管手段實現治理目標。我國互聯網信息服務算法推薦管理規定 明確了相關主體應落實算法安全主體責任、定期審核算法、加強信息安全管理、加強用戶模型和用戶標簽管理等義務，還要求針對特定算法進行備案，嚴重違反者會面臨關閉網站、吊銷業務許可證或營業執照的行政處罰?？梢?，我國行政機構承擔了主要的算法監管職責。算法本身是一種高效的技術治理工具，正在被廣泛運用于治理活動中，比如國外一些企業在數據處理階段

92、、算法設計階段和模型優化階段嘗試“倫理設計”，通過技術手段實現對隱私泄露、算法歧視、違規內容泛濫等問題的高效治理。但就現有的治理規則看，我們對技術治理方案的重視程度并不夠。28/42 5.在治理模式上，以落實平臺責任為主要抓手，覆蓋多方利益相關者的責任機制不夠完善在治理模式上，以落實平臺責任為主要抓手，覆蓋多方利益相關者的責任機制不夠完善 現階段我國算法治理的著力點在于強調平臺問責。在我國，平臺企業是新興技術領域的主要參與者，平臺不僅創造了政府和社會的新型回歸關系，而且平臺私權力的地位及其作為生態治理者的角色使其在算法治理中成為關鍵樞紐。我國將算法治理機制鑲嵌在平臺治理框架中，并在平臺的各種應

93、用場景中賦予用戶知情權、選擇權和退出權等。但僅以平臺義務和平臺責任為杠桿的治理機制可能導致較高的總體社會成本。而且“監管機構平臺用戶”的線性監管路徑具有平臺責任邊界不清的風險，可能給平臺施加過多義務和責任進而影響產業發展，同時平臺合規成本的提高在客觀上不利于中小平臺的生存發展。在智能化社會中，不以平臺模式經營的人工智能技術研發應用的規模也十分龐大，僅通過平臺問責無法應對千變萬化的市場。單一歸責的做法容易忽視其他主體的規制責任，比如分散在各條產業鏈上的算法開發者或科研人員。隨著編程語言的豐富擴展、開源代碼規模的顯著增長，算法應用呈現分散、多樣、復雜的特征，算法設計者可以在不具備資質的情況下推出算

94、法應用或使用開源代碼，加劇風險失控。有必要建立算法源代碼的追責機制，讓開發者遵守法律規則和職業倫理標準，通過此類能覆蓋多方利益相關者的機制，實現算法的全生命周期治理。四、完善我國算法治理模式的政策建議四、完善我國算法治理模式的政策建議（一）在宏觀維度上，調試與完善算法治理框架（一）在宏觀維度上，調試與完善算法治理框架 1.在治理目標上，實現算法可問責與算法經濟高質量發展在治理目標上，實現算法可問責與算法經濟高質量發展 首先，透明和可解釋是算法治理的重要目標。算法透明并非指將算法代碼公開，而是指向社會公眾解釋算法的運行規則和基本功能。堅持算法透明可以督促技術界從技術角度增強算法的可解釋性，如技術

95、界提出可解釋性人工智能（Explainable Artificial Intelligence）方案，目的使算法更透明、更可靠。實現算法透明需要配套措施，如算法審計、影響評估機制、個體解釋權制度等。其次，算法存在歧視的風險，因而平等、公正成為重要目標。平等和公正是社會主義核 29/42 心價值觀的重要內容，是堅持以人為本的重要體現。我國算法治理聚焦社會熱點，重視對消費者、弱勢群體和未成年人的保護，重點解決大數據殺熟、外賣騎手權益保護以及未成年人網癮等。最后，算法被廣泛用于信息服務、交通運輸、智能制造等領域，安全也應成為重要目標。算法治理需要顯著的安全增強，既包括算法本身的安全，也包括模型、數據

96、和系統的安全保護；既要防止一般性安全攻擊，也要防止 AI 特定攻擊，如對抗性攻擊、數據投毒等。算法安全包括技術安全，即避免算法技術出現嚴重漏洞。同時包括運用安全，即避免算法被用于危害安全的目的。為保障算法安全，應對不同風險等級的算法場景進行分類，如低風險場景、中風險場景和高風險場景等，通過制定風險清單的方式對不同風險場景設計不同的規制措施。風險低級的劃分需要結合中國的國情，比如在認定高風險場景時，西方國家偏重對個體自由的絕對保護，我國則重視對個人自由和社會公共利益的平衡保護，也重視對網絡空間安全、信息內容安全和意識形態安全的保護，認定安全時會考慮更多元的因素。與此同時，算法治理的根本目標在于促

97、進算法經濟的高質量發展，在日益復雜的國際競爭形勢下，提高自主技術創新的能力和水平是國家安全發展的根本出路。從歐美的治理實踐可以看到，美國將其在人工智能領域的全球競爭優勢作為優先考慮事項，出臺預防式規制措施時應保持謹慎態度。2.在治理主體上，通過部際聯席會議制度形成算法治理合力在治理主體上，通過部際聯席會議制度形成算法治理合力 隨著公共治理理念的興起，雖然政府機構已經不再是唯一的治理主體，但是仍屬于最具有權威和正當性的主要治理主體。特別是在新技術領域，政府機構的治理主體地位不可或缺。鑒于算法治理的復雜性，不少觀點呼吁為算法治理新設一個治理機構。國外有人呼吁為算法治理創設一個國家算法安全委員會（N

98、ational Algorithm Safety Board），并要求相關主體部署算法前，由委員會對算法進行審計、監管和許可等。也有觀點提議創設一個與美國食品和藥品管理局類似的算法監管機構，并對算法進行行政許可，要求“有實驗證據證明算法是安全和可靠的才能進入市場?！痹趪鴥?，2020 年中國消費者協會也建議設立一個算法倫理監督機構，負責 30/42 算法應用倫理、規則、標準的制定和調查、處理不公平算法應用。對此，本報告認為在我國新設一個監管機構的時機尚未成熟，目前可以參照現行的反壟斷與反不正當競爭部門聯席會議制度，在多部委一起參與算法治理的格局下，通過建立算法治理聯席工作制，可以對齊治理的尺度和

99、目標，強化組織領導和統籌協調，實現部門的密切協同，以形成算法治理合力。特別是算法已經嵌入社會運行的各個方方面面，算法治理需要系統思維，除了關注算法本身的治理問題外，還應協調處理與算法運行相關的其他問題。以外賣騎手“陷入”系統為例，外賣騎手面臨的“時間焦慮”并不僅僅因算法引發的，道路規劃不合理、社區管理不完善、用戶缺乏同理心等等，因而治理外賣騎手的問題，也還需要不同部門協同發力。3.在治理對象上，建立一套共性的規則和標準后統籌考慮多元應用場景在治理對象上，建立一套共性的規則和標準后統籌考慮多元應用場景 從算法應用主體的角度看，全球各個國家的公共部門越來越依賴于大數據和算法實現社會治理，基于上文對

100、歐美治理實踐的對比分析，歐美都同步推進對私主體和行政機構算法應用活動的治理進程。我國現階段主要聚焦于市場企業這一主體，容易忽視公共主體的算法責任。國內學界也關注到“算法官僚”或“算法影子官僚”的問題。算法官僚是對傳統官僚工具理性的延續，被賦予決策權力的算法官僚被用于推動、引導、刺激、控制、操縱和約束人類行為。算法官僚會出錯，因而需要防范算法官僚出錯，并為出錯的情形提供救濟機制?！八惴ㄓ白庸倭拧敝竿ㄟ^政府購買或以公私合作的方式介入政府公共管理過程的算法公司及其員工來幫助政府機構作出決策和進行管理，比如采購算法方案用于交通管理、稅務管理、司法裁決等。由于算法技術本身存在漏洞，而且算法開發公司具有資

101、本逐利性，算法影子官僚存在“逆向選擇”和道德風險，也有治理的必要性。從算法應用場景的角度看，自動駕駛、醫療人工智能、智能投顧等產業興起，其治理問題逐漸顯現。目前我國算法治理的規則體系主要適用于互聯網信息推薦領域，具有場景的局限性。自動駕駛、醫療人工智能和智能投顧領域的算法治理規則分散于大量指導意見或標準文件中，治理目標、尺度和機制不統一，不僅影響治理效率，而且給企業合規帶來困難。為此，本文提出在未來對人工智能或算法的立法中，為算法問責建立一套完整的責任機制，包括明確問責主體、被問責對象、問責方式和 31/42 程序以及問責事項等，同時統籌考慮各種應用場景的特殊性，實現基于風險的分級分類的治理，

102、防止“一刀切”的規制政策。4.在治理手段上，善用技術治理措施在治理手段上，善用技術治理措施 算法治理是一項技術密集型的治理活動，建立治理規則后應該善用技術創新解決技術帶來的新問題。對于算法應用中可能存在的數據泄露和隱私侵犯問題，技術人員嘗試以數據匿名化、聯邦學習、區塊鏈等一系列技術方法予以應對。比如業界一些企業采用聯邦學習的模式，各個參與方不需要共享數據就可以聯合訓練算法模型，該技術方案已經在醫療、金融等行業領域得以落地應用。對于算法“黑箱”的問題，業界也在開發技術方案，比如谷歌提出模型透明性工具“model card”，微軟提供機器學習可解釋性工具 InterpretML。美國電氣與電子工程

103、師協會（IEEE）則提出“遵循倫理的設計”（Ethically Aligned Design），“遵循倫理的設計”包括兩個方面：第一，將價值和倫理標準程序化為代碼嵌入到系統中，并對系統訓練和評估。第二，為設計者提供一套行為準則或設計規范，約束設計者的行為。推行“遵循倫理的設計”機制可以確立算法的底層倫理標準，實現事前干預。對于業界提出的創新技術或方案，需要完善政策導向和專利制度，推進算法相關發明的可專利性，從而激發業界從事技術創新的動力，從而為算法的技術治理不斷提供創新的技術方案。5.在治理模式上，優化多元主體參與的協同共治模式在治理模式上，優化多元主體參與的協同共治模式 協同治理模式在治理理

104、論中廣受關注，它是一種多元主體參與共識導向的決策模式，能讓各主體建設性地跨越公共機構、政府等級以及公共、私人與市政領域的邊界。協同治理模式具有主體多元化、共識協商化的特征，其中多元主體有能力、有動力參與治理是實現協同共治的關鍵。在協同共治模式中，政府機構發揮著主導作用。在國外算法治理實踐中，歐美都非常重視政府機構的作用。除了政府機構外，還需發揮社會和市場的作用。在社會方面，提升全民算法素養，要求將算法規則和評估報告向社會公示，實現社會輿論監督。目前社會公眾和學界對算法存在一些偏見或誤解，或將算法神秘化，或將算法污名化，即認為數字時代的一切“惡”都源于算法。32/42 對此，我們應該對算法有客觀

105、和理性的認識，因而需加強跨學科的研究討論，重視算法科普工作，提升全社會的算法素養。在市場方面，對于整個行業，應當成立以技術、產品和合規人員為主的行業協會，制定具有可操作性的技術規范，就數據收集、利用等關鍵問題達成共識，對算法設計、部署的各項風險實現評估，中國信通院的“護臉”計劃就是一個典型案例。對于企業而言，應重視企業的自我規制，加快推進算法合規標準、合規指南、算法倫理指引等文件的制定，并成立內部的自我糾偏機制，在產品測試環節對各項功能中可能存在的問題進行記錄，正式版本發布之后也要對用戶反饋進行及時處理、記錄與反饋。各個企業可以建立“吹哨人”制度，鼓勵企業內部人員監督舉報，并對“吹哨人”提供保

106、護?？傊?，在算法治理中應堅持以政府為核心，暢通社會參與機制，讓企業、研究智庫、協會、社會公眾等多元主體共同參與，并重視對話與協商，引導不同主體參與規則制定，引入第三方獨立的監督力量（見表 4）。表表 4 多元參與主體的治理作用多元參與主體的治理作用 參與主體參與主體 治理作用治理作用 政府 制定法律規則，引導人工智能的負責任開發與引用。企業 負責任創新，保證合規經營，避免技術濫用。大學 是科學知識的供給者，是人才的培養者，也是社會價值觀塑造的重要主體。社會公眾 參與規則制定，實現社會監督。行業協會 建立自律機制，形成行業標準。（二）在微觀維度上，構建并適用全生命周期風險管理流程（二）在微觀維度

107、上，構建并適用全生命周期風險管理流程 為便于算法運營主體實現算法日常運營的合規，本報告提出全生命周期風險管理流程。根據人工智能的運用流程，主要包括數據準備、算法開發和模型選擇三個步驟，數據、算法與模型是密不可分的，因而需要構建并適用全鏈條的風險管理流程，具體操作流程和措施見下圖 33/42 1.保證數據可問責保證數據可問責 用于構建算法的數據集來源很廣、種類很多，既包含自采數據，也包含外來數據；既包括個人數據，也包括非個人數據。數據集來源的合法性與否、質量水平高低都將直接影響算法和模型的風險大小，比如一個算法模型使用了有偏見、不準確的數據，模型產生歧視性結果的可能性將大增。因而需要在輸入數據的

108、階段充分保證數據的可問責性，具體而言應包括以下舉措：其一，了解數據來源，保證數據來源的合法性，特別是個人數據，應該獲得當事人的授權。其二，保證數據質量，包括提高數據集的準確性、完整性、真實性。其三，采取措施盡量避免數據集的歧視風險，比如通過擁有異構數據集（從不同來源收集數據，保證數據來源的多元化）來降低潛在歧視風險。其三，在測試、驗證和調試環節使用不同的數據集，檢查算法模型是否存在系統性偏差。其四，定期審計和更新數據集，保障數據的準確性和可靠性。2.保障算法可問責保障算法可問責 保證算法的可解釋性、可重復性和魯棒性可以提高算法模型的可信任度?？山忉屝园üδ芙忉尯蜎Q策過程解釋，如果能夠解釋算法

109、做出的預測，將有助于建立人們對算法模型的理解和信任。為了提高算法的可解釋性，可以采取以下措施：其一，完善技術規范文檔，將算法設計、預期行為、產品描述等包括在內，以易于理解的描述方式解釋模型的功能。其二，在技術上提供解釋工具，特別是對于具有“黑箱”特性的模型而言，技術工具有助于人們理解模型輸出的基本原理。其三，在特定場景中，對外解釋算法模型并不可行。比如在用于信息安全、金融安全等領域的算法運用場景中，為了防止出現“算法算計”的問題，應該對算法解釋和公開保持謹慎。同時，提高算法可解釋性時應該考慮知識產權利益，避免暴露機密商業信息。3.監督并適時調整模型監督并適時調整模型 算法模型部署者應該建立內部

110、流程對模型進行定期的調整，保證模型能夠根據場景的變化、數據的變化靈活調整。特別是商業目標、潛在風險發生變化時，調整算法模型是很有必要的。為了能夠有效監督和調整模型，應該記錄模型的訓 34/42 練和決策結果，實時跟蹤、審計和評估模型的功能。（見圖 2）圖 2 算法全生命周期治理框架（三）用例分析：醫療輔助算法和自動駕駛算法的治理與發展（三）用例分析：醫療輔助算法和自動駕駛算法的治理與發展 1.醫療輔助算法醫療輔助算法 2019 年 7 月，我國成立人工智能醫療器械創新合作平臺，發布深度學習輔助決策醫療器械軟件審評要點，明確人工智能醫療器械審評關注重點。2022年 3 月，國家藥監局器審中心組織

111、制定了 人工智能醫療器械注冊審查指導原則（以下簡稱指導原則），旨在指導注冊申請人建立人工智能醫療器械生存周期過程和準備人工智能醫療器械注冊申報資料，同時規范人工智能醫療器械的技術審評要求。盡管相關部門出臺實施了上述治理規則，但是醫療輔助算法領域存在的醫療數據缺失、個人信息保護不足及市場準入壁壘較高等問題妨礙了醫療輔助算法的產業發展和商業落地。（1）醫療數據缺失妨礙醫療輔助算法大規模開發和利用的問題和建議 35/42 醫療輔助算法行業普遍面臨高質量醫療數據缺失的困境，即雖然各個醫院擁有一定數量的數據，但這些數據的完整性和標準化程度不高。特別是各個醫院的醫療數據呈現分割狀態，數據不足影響了算法訓練

112、的效果。且我國醫療資源分配不均衡，醫療欠發達的地區存在誤診率較高的問題，不同醫療水平地區所產生的數據誤差較顯著，可能給深度學習算法帶來嚴重的負面效果。對此，建議首先應提升醫院的數據質量，希望相關部門加快推動醫院數據化建設的標準和要求。其次推動數據交易規則的建設。制定完善跨平臺、跨醫院的數據交換規則，實現醫療數據的流通。最后是建議推動建立高質量的醫療數據共享機制，特別是加快建設各個地方醫療數據集，為醫療輔助算法的訓練提供數據基礎。（2）以技術創新加強數據安全和個人信息保護的問題和建議 人工智能技術需要高質量醫學數據進行算法訓練，尤其是基于數據的算法。由于受多方面客觀條件的限制，算法訓練所用數據存

113、在數據質量不高、數據量不足、數據多樣性不夠、數據分布不合理等問題，易引入算法偏倚，降低算法泛化能力，導致產品難以在臨床落地。相關機構應推進醫療數據共享機制的建設，打破醫療數據“煙囪”，為醫療算法訓練提供高質量的數據條件，能從源頭保證算法泛化能力。要實現完全的醫療數據共享，一方面需要解決如何保護數據隱私和安全的問題，另一方面要解決相關各方的獲益分配的問題。業界逐漸成熟的聯邦學習方案在一定程度上可以實現“數據可用不可見”，與一般的機器學習或深度學習方法相比，聯邦學習方法具有以下特征：數據不脫離本地，參與者利用自身擁有的數據訓練全局模型；每個參與方都參與學習過程，模型損失可控；訓練過程中兼顧隱私和安

114、全，參與各方能夠在不披露底層數據及其加密形態的前提下共建模型。此外，聯邦學習還具有良好的效果激勵機制，即通過聯邦學習建立模型后，模型的效果能夠獲得評估，并通過永久數據記錄機制進行記錄。提供高質量數據多的參與方所獲得的模型效果會更好，模型效果取決于數據提供方對自己和他人的貢獻。這些模型的效果在聯邦效果激勵機制上會分發給各數據源，以此獲得聯邦的獎勵，并繼續激勵更多數據源加入聯邦。36/42 因此，社會公眾對數據共享可能產生的隱私侵權擔憂可以嘗試以技術創新的途徑予以解決，基于以上特點，聯邦學習可以很好的解決醫療行業數據共享對隱私安全和對利益分配的關切，應當鼓勵使用這類技術手段推進相關機構實現醫療數據

115、共享，確保算法泛化能力。（4）促進臨床試驗中使用人工智能技術的問題和建議 傳統的臨床試驗方法費時費力，通過人工智能技術可以實現臨床試驗的智能化、遠程化，比如在臨床試驗中采用虛擬對象或設計虛擬環境，從而加速臨床試驗，縮短試驗周期，利于推動新藥品上市。另外，在一些特殊情況下傳統的臨床試驗可能難以實施，比如受新冠疫情影響，臨床試驗中的一些監查或稽查工作無法有效開展，此時也可以通過人工智能找到替代方案，比如國家藥品監督管理局藥品審評中心(CDE)發布新冠肺炎疫情期間藥物臨床試驗管理指導原則(試行)，指導原則中明確指出：“受疫情影響，傳統臨床試驗面臨著許多實際困難，可嘗試選擇遠程智能臨床試驗方法，借助智

116、能化臨床試驗管理平臺及遠程通訊技術，以受試者為中心開展臨床試驗?！币虼?，隨著人工智能技術的發展成熟，藥物臨床試驗本身也會變得更加智能化和數字化。比如 2020 年 4 月藥物臨床試驗質量管理規范提到中心化監查使用數據驅動的方式，是現場監查的補充。相關機構可以出臺更多政策鼓勵和支持有條件的單位通過人工智能加速藥物臨床試驗，包括更多采用遠程技術或去中心化監查的方式。（5）降低人工智能輔助醫療算法的市場準入壁壘的問題和建議 根據人工智能醫用軟件產品分類界定指導原則，若軟件產品的處理對象為醫療器械數據，且核心功能是對醫療器械數據的處理、測量、模型計算、分析等，并用于醫療用途的，符合醫療器械監督管理條例

117、有關醫療器械定義，作為醫療器械管理。若軟件產品的處理對象為非醫療器械數據（如患者主訴等信息、檢驗檢查報告結論），或者其核心功能不是對醫療器械數據進行處理、測量、模型計算、分析，或者不用于醫療用途的，不作為醫療器械管理。其中，對于算法 37/42 在醫療應用中成熟度低（指未上市或安全有效性尚未得到充分證實）的人工智能醫用軟件，若用于輔助決策，如提供病灶特征識別、病變性質判定、用藥指導、治療計劃制定等臨床診療建議，按照第三類醫療器械管理；若用于非輔助決策，如進行數據處理和測量等提供臨床參考信息，按照第二類醫療器械管理。在醫療輔助算法行業，器械審批認證成為稀缺“資源”，獲得認證面臨周期較長、不確定性

118、較高、通過比例較低等挑戰，影響醫療輔助算法的商業運用和產業發展。因此，建議相關機構推動人工智能醫療器械領域標準的制定工作，進一步完善和細化審批要求，特別是對于社會亟需的醫療服務盡快搭建“綠色”通道，嘗試優先審批程序，指導相關產品早日上市運用，支持鼓勵人工智能醫療產品的創新發展。2.自動駕駛算法自動駕駛算法 在我國的自動駕駛領域，目前存在市場準入機制不夠健全、法律責任認定規則不明確及配套保險制度不完善等，這些治理問題影響了自動駕駛產業的發展。（1）自動駕駛汽車的市場準入問題和建議 目前，自動駕駛汽車在我國缺乏統一的市場準入標準，缺乏產品安全技術標準，并且未被賦予道路通行權。我國道路交通安全法規定

119、，上路行駛的汽車必須達到各種安全技術標準，獲取機動車行駛證，駕駛人員取得機動車駕駛證，只有具備這兩個證件，機動車才能獲取道路通行權。根據現有的法律法規，自動駕駛汽車面臨車輛不能入市、不能上牌、不能運營收費等市場準入問題。雖然北京、上海、廣州、深圳等地推行了自動駕駛載人出行服務的試點服務，但是自動駕駛車輛只能在限定區域內行駛，車輛數量有限，商業化推廣進程較為緩慢。因此，應當完善道路交通安全法，完善對自動駕駛汽車的管理。一是為自動駕駛汽車建立特殊的登記管理制度，為自動駕駛汽車“上路”掃除制度障礙。比如要求車輛所有人投保相關交通事故責任險，要求車輛安裝符合相關技術標準的車載設備等。而且可以對車牌施行

120、分類分級的管理制度，可以為自動駕駛汽車設置獨特號牌，以便對自動駕駛汽車進行有效區分。二是完善自動駕駛汽車管理制 38/42 度，為自動駕駛汽車商業化提供制度保障?？梢愿鶕詣玉{駛汽車的智慧化等級、用途、行駛速度和行駛區域等，分類分級實施相應的準入制度，如 2021 年德國監管機構率先批準了奔馳的 L3 級自動駕駛系統上市。三是加快制定自動駕駛汽車安全技術標準和產品標準。特別是在算法方面，鼓勵基于人類駕駛員的最佳駕駛行為進行數字化建模，用于設計完善自動駕駛汽車在遇到各種路況和突發事件時的反應策略，從而提升自動駕駛汽車算法的安全性。四是鑒于末端配送、自動清掃、港區無人集卡等應用場景的技術已相對成熟

121、，可以出臺政策支持自動駕駛貨車實現商業化運輸，比如為符合條件的車輛頒發道路運輸證和運輸經營許可證。（2）自動駕駛汽車的法律責任規則問題和建議 現行道路交通安全法律法規對車輛發生交通事故及違章的處理規則，是按照車輛有駕駛人的傳統思維設計的。在有駕駛人的情況下，仍可參照現行道路交通安全法律法規的有關規定來處理，但是在無駕駛人的情況下，則存在規則缺失。構建自動駕駛汽車的法律責任機制的重點是合理分配自動駕駛汽車所有人、控制人和車廠之間的法律責任?？紤]到一是車輛所有人和控制人是自動駕駛汽車“運行利益”的主要受益者；二是自動駕駛汽車上市后為車輛所有人、控制人所支配和使用。因此，可以考慮由自動駕駛汽車的所有

122、人、控制人承擔法律責任，這樣可以督促車輛所有人、控制人在使用自動駕駛功能時保持高度警惕，降低自動駕駛的安全風險。當然為了督促自動駕駛汽車生產者生產出符合產品安全標準的車輛，若交通事故是因為車輛本身的缺陷造成的，車輛所有人、控制人可以事后向車輛生產者追償。（4）自動駕駛汽車的保險制度問題和建議 目前的汽車保險制度是針對有駕駛員的機動車，保險金額是以事故責任比例進行分配。而自動駕駛汽車的法律責任主體不易確定，現行的機動車保險制度難以最大程度保障相關人員合法權益。39/42 為此，需要更新保險法和侵權責任法，明確自動駕駛汽車保險的主體和責任。一是制定自動駕駛汽車強制責任保險制度。為加強自動駕駛汽車車

123、內人員和社會公眾利益的保護，降低自動駕駛汽車的運營風險，應該將購買交通事故責任保險作為車輛上路的前提條件。二是鼓勵創設自動駕駛汽車的其他責任險險種。比如為鼓勵科技創新，推動技術進步，可以創設設計者責任險，既能分散設計者責任風險，又能使受害者得到相應賠償。40/42 參考文獻參考文獻 1俞可平.全球治理引論J.馬克思主義與現實,2002(01):20-32.2Alex Engler.The EU and U.S.are starting to align on AI regulation EB/OL.(2022-02-01)2022-03-20.https:/www.brookings.edu/

124、blog/techtank/2022/02/01/the-eu-and-u-s-are-starting-to-align-on-ai-regulation/.3Executive Office of the President.Maintaining American Leadership in Artificial Intelligence EB/OL.(2019-02-14)2022-03-20.https:/www.federalregister.gov/documents/2019/02/14/2019-02544/maintaining-american-leadership-in

125、-artificial-intelligence.4陸凱.美國算法治理政策與實施進路J.環球法律評論,2020,42(03):5-26.5European Parliament.A governance framework for algorithmic accountability and transparency R/OL.(2019-04-01)2021-12-07.https:/www.europarl.europa.eu/RegData/etudes/STUD/2019/624262/EPRS_STU(2019)624262_EN.pdf.6汪慶華.算法透明的多重維度和算法問責J.比

126、較法研究,2020(06):163-173.7羅豪才,宋功德.認真對待軟法公域軟法的一般理論及其中國實踐J.中國法學,2006(02):3-24.8王瑩.算法侵害類型化研究與法律應對以個人信息保護法為基點的算法規制擴展構想J.法制與社會發展,2021,27(06):133-153.9許可.算法規制體系的中國建構與理論反思J.法律科學(西北政法大學學報),2022,40(01):124-132.10鄭智航.人工智能算法的倫理危機與法律規制J.法律科學,2021(01):14-26.11張欣.從算法危機到算法信任：算法治理的多元方案和本土化路徑J.華東政法大學學報,2019,22(06):17-3

127、0.12宋亞輝.網絡市場規制的三種模式及其適用原理J.法學,2018(10):81-94.13丁道勤.電子商務法平臺責任“管道化”問題及其反思J.北京航空航天大學學報(社會科學版),2018,31(06):1-6.41/42 14王德夫.論人工智能算法的法律屬性與治理進路J.武漢大學學報(哲學社會科學版),2021,74(05):29-40.15Ben Shneiderman.Algorithmic Accountability:Design for Safety EB/OL.(2017-05-31)2021-12-08.https:/www.cs.umd.edu/ben/Algorithmi

128、cAccountability-ATI-BritishLibrary-London-5-30-2017-v6X.pdf.16Andrew Tutt.An FDA for AlgorithmsJ.Administrative Law Review,2017,69(01):83-123.17段哲哲.控制算法官僚困境與路徑J.電子政務,2021(12):2-16.18鄭崇明.警惕公共治理中算法影響官僚的風險J.探索與爭鳴,2021(01):103-109,179.19尹鋒林,李玲娟.算法私人治理的三個維度：主體、內容與方式J.理論月刊,2021(03):141-149.20閆坤如.人工智能“合乎倫理

129、設計”的實現路徑探析J.大連理工大學學報(社會科學版),2019(06):123-128.21Wendell Wallach,Colin Allen.Moral machines:Teaching robots right from wrongM.London:Oxford University Press,2009:25-33.22張吉豫.構建多元共治的算法治理體系J.法律科學(西北政法大學學報),2022,40(01):115-123.23克里斯安塞爾,艾利森加什.協同治理：理論與實踐C/王浦劬,臧雷振編.治理理論與實踐：經典議題研究新解.北京:中央編譯出版社,2017:304.24段鵬.

130、平臺經濟時代算法權力問題的治理路徑探索J.東岳論叢.2020,41(05):110-117,192.25沈偉偉.算法透明原則的迷思算法規制理論的批判J.環球法律評論,2019(06):20-39.26張欣.算法解釋權與算法治理路徑研究J.中外法學,2019(06):1425-1445.27蘇宇.算法規制的譜系J.中國法學,2020(03):165-184.28丁曉東.論算法的法律規制J.中國社會科學,2020(12):138-159,203.29張凌寒.個人信息保護法（草案）中平臺算法問責制及其完善J.經 42/42 貿法律評論,2021(01):36-46.31美杰瑞卡普蘭著.人工智能時代M.李盼譯.浙江人民出版社,2016.