《泰和泰律師事務所:2024年人工智能法律風險年度報告(16頁).pdf》由會員分享,可在線閱讀,更多相關《泰和泰律師事務所:2024年人工智能法律風險年度報告(16頁).pdf(16頁珍藏版)》請在三個皮匠報告上搜索。
1、1/162024 年人工智能法律風險年度報告2024 年人工智能法律風險年度報告泰和泰(北京)律師事務所于夢圓 法律服務團隊泰和泰(北京)律師事務所于夢圓 法律服務團隊2/16編制說明編制說明1.本報告匯總 2024 年度人工智能領域法律法規與典型案例。2.本報告結合 2024 年前人工智能領域法律法規與典型案例,形成現行監管框架與合規指引,以期幫助從業者整體把控法律風險。3.本報告中“人工智能”僅指“通用人工智能”,對于金融、生物醫藥、生命健康、自動駕駛等垂直領域不作展開。4.本報告僅供參考,不構成法律意見。3/16目錄第一章 2024 年人工智能法律法規.4一監管對象.41.管轄范圍.42
2、.產業劃分.5二法律法規.6三監管框架.91.算力.92.INPUT 語料.93.模型及系統.104.OUTPUT生成物.115.其他.11四安全治理框架.12第二章 2024 年人工智能典型案例.13一INPUT 語料.131.知識產權侵權糾紛.132.人格權侵權糾紛.133.數據/計算機類犯罪.134.不正當競爭.14二模型及系統.141.數據安全違法處罰.142.模型安全違法處罰.143.算法安全違法處罰.15三OUTPUT 生成物.151.人格權侵權糾紛.152.違法不良信息處罰.15四產品設計:計算機類犯罪.16五算法備案與安全評估.164/16第一章 2024 年人工智能法律法規第
3、一章 2024 年人工智能法律法規一監管對象1.管轄范圍一監管對象1.管轄范圍我國賽博法(或稱“網絡法”、“數據法”)的管轄范圍主要考察被監管對象的“運營主體”和“服務/處理對象”兩個因素的地理位置,隨著立法進程的推進,管轄范圍的規定愈見精確。國內人工智能管轄范圍的設置將很大概率沿襲生成式人工智能服務管理暫行辦法、生成式人工智能服務安全基本要求的規定,確定為由“境內/境外運營主體境內/境外運營主體”向“中華人民共和國境內公眾中華人民共和國境內公眾”提供的服務/產品。法律法規法律法規管轄范圍管轄范圍網絡安全法第二條在中華人民共和國境內建設、運營、維護和使用網絡,以及網絡安全的監督管理,適用本法。
4、數據安全法第二條在中華人民共和國境內開展數據處理活動及其安全監管,適用本法。在中華人民共和國境外開展數據處理活動,損害中華人民共和國國家安全、公共利益或者公民、組織合法權益的,依法追究法律責任。個人信息保護法第三條在中華人民共和國境內處理自然人個人信息的活動,適用本法。在中華人民共和國境外處理中華人民共和國境內自然人個人信息的活動,有下列情形之一的,也適用本法:(一)以向境內自然人提供產品或者服務為目的;(二)分析、評估境內自然人的行為;(三)法律、行政法規規定的其他情形?;ヂ摼W信息服務算法推薦管理規定第二條在中華人民共和國境內應用算法推薦技術提供互聯網信息服務(以下簡稱算法推薦服務),適用本
5、規定。法律、行政法規另有規定的,依照其規定。前款所稱應用算法推薦技術,是指利用生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等算法技術向用戶提供信息?;ヂ摼W信息服務深度合成管理規定第二條 在中華人民共和國境內應用深度合成技術提供互聯網信息服務(以下簡稱深度合成服務),適用本規定。法律、行政法規另有規定的,依照其規定。5/16生成式人工智能服務管理暫行辦法第二條 利用生成式人工智能技術向中華人民共和國境內公眾提供生成文本、圖片、音頻、視頻等內容的服務(以下稱生成式人工智能服務),適用本辦法。國家對利用生成式人工智能服務從事新聞出版、影視制作、文藝創作等活動另有規定的,從其規定。行業
6、組織、企業、教育和科研機構、公共文化機構、有關專業機構等研發、應用生成式人工智能技術,未向境內公眾提供生成式人工智能服務的,不適用本辦法的規定。生成式人工智能服務安全基本要求3.1 利用生成式人工智能技術向中華人民共和國境內公眾提供生成文本、圖片、音頻、視頻等內容的服務。表 1 管轄范圍法律法規匯總表表 2 管轄范圍沿革表2.產業劃分2.產業劃分根據國家人工智能產業綜合標準化體系建設指南(2024 版),人工智能產業鏈包括基礎層、框架層、模型層、應用層等 4 個部分。人工智能標準體系框架主要由基礎共性、基礎支撐、關鍵技術、智能產品與服務、賦能新型工業化、行業應用、安全/治理等 7 個部分組成。
7、6/16類別類別定義定義細分產業細分產業基礎層算力、算法和數據。AI 芯片智能服務器/智算中心/高性能計算中心AI 傳感器AI 算法邊緣計算/霧計算/云計算數據采集、數據標注、清洗、增強與管理等框架層用于模型開發的深度學習框架和工具。/模型層大模型等技術和產品。視覺識別及 AIGC圖像/視頻/人臉識別文字/符號識別語音識別/自然語言處理AIGC 大模型AI 創意軟件AI 數字人AI 影像等應用層人工智能技術在行業場景的應用。AIoTAI 藥物研發企業數據決策自動駕駛智慧城市科學智算智慧農業智慧能源智慧環保智慧金融智慧物流智慧教育智慧醫療智慧交通等表 3 人工智能產業劃分二法律法規二法律法規金字
8、塔立法金字塔立法在 2023 年人工智能立法元年的基礎坐標之上,人工智能行業監管體系在 2024 年得到7/16進一步完善,形成了網絡安全法 數據安全法 個人信息保護法 科學技術進步法四大上位法統領,互聯網信息服務算法推薦管理規定 互聯網信息服務深度合成管理規定 生成式人工智能服務管理暫行辦法 生成式人工智能服務安全基本要求 科技倫理審查辦法(試行)五大專項法規協同,系列國家標準與行業標準指引操作的監管體系,于此同時,國務院 2024 年度立法工作計劃將人工智能法列入預備提請全國人大常委會審議項目。國內人工智能監管法律法規呈現由基層向上延伸的金字塔立法趨勢。細分領域,重點監管細分領域,重點監管
9、自動駕駛生命科學醫藥健康金融政府事務智能制造工業互聯網物聯網等領域,因其對民生影響較大的特性,在“人工智能”的進程中,已率先推出多部專項法律法規,受到重點監管。傳統互聯網,兼容并管傳統互聯網,兼容并管人工智能法目前仍處于傳統互聯網監管體系框架內的位置,受到傳統互聯網法律法規的監管體系的廣泛約束,傳統互聯網行業的知識產權計算機/數據類犯罪消費者權益保護不正當競爭反壟斷網絡信息內容數據安全網絡安全隱私保護數據分類分級數據跨境未成年保護等法律法規同樣適用于人工智能行業監管。類型類型法律法規法律法規專項法律人工智能法(預備提請審議)四大上位法網絡安全法數據安全法個人信息保護法科學技術進步法五大專項法規
10、互聯網信息服務算法推薦管理規定互聯網信息服務深度合成管理規定生成式人工智能服務管理暫行辦法生成式人工智能服務安全基本要求科技倫理審查辦法(試行)8/16國家標準行業標準規范性文件等網絡安全標準實踐指南 人工智能倫理安全風險防范指引GB/T 40691-2021 人工智能 情感計算用戶界面 模型GB/T 42018-2022 信息技術 人工智能 平臺計算資源規范GB/T41867-2022 信息技術 人工智能 術語GB/T42131-2022 人工智能知識圖譜技術框架GB/T42755-2023 人工智能 面向機器學習的數據標注規程GB/T42888-2023 信息安全技術 機器學習算法安全評估
11、規范網絡安全標準實踐指南 生成式人工智能服務內容標識方法GB/T 43782-2024 人工智能 機器學習系統技術要求信息安全技術 生成式人工智能預訓練和優化訓練數據安全規范(征求意見稿)GB/T 45087-2024 人工智能 服務器系統性能測試方法GB/T 45079-2024 人工智能 深度學習框架多硬件平臺適配技術規范GB/T 45081-2024 人工智能 管理體系信息安全技術 生成式人工智能數據標注安全規范(征求意見稿)網絡安全技術 人工智能生成合成內容標識方法人工智能安全治理框架1.0 版人工智能生成合成內容標識辦法(征求意見稿)網絡安全標準實踐指南生成式人工智能服務安全應急響應
12、指南(征求意見稿)等垂直領域法律法規自動駕駛生命科學醫藥健康金融政府事務智能制造工業互聯網物聯網等傳統互聯網法律法規知識產權計算機/數據類犯罪消費者權益保護不正當競爭反壟斷網絡信息內容數據安全網絡安全隱私保護數據分類分級數據跨境未成年保護等表 4 現行人工智能監管體系表9/16法律法規法律法規發布日期發布日期生成式人工智能服務安全基本要求2024/2/29GB/T 43782-2024 人工智能 機器學習系統技術要求2024/3/15信息安全技術 生成式人工智能預訓練和優化訓練數據安全規范(征求意見稿)2024/4/3信息安全技術 生成式人工智能數據標注安全規范(征求意見稿)2024/4/3網
13、絡安全技術 人工智能生成合成內容標識方法2024/6/25人工智能安全治理框架1.0 版2024/9/9人工智能生成合成內容標識辦法(征求意見稿)2024/9/14GB/T 45087-2024 人工智能 服務器系統性能測試方法2024/11/28GB/T 45079-2024 人工智能 深度學習框架多硬件平臺適配技術規范2024/11/28GB/T 45081-2024 人工智能 管理體系2024/11/28網絡安全標準實踐指南生成式人工智能服務安全應急響應指南(征求意見稿)2024/12/17表 5 2024 年新增人工智能法律法規表三監管框架三監管框架人工智能行業現行監管框架主要由以下五
14、個板塊組成:算力、INPUT 語料、模型及系統、OUTPUT 生成物、產品設計。1.算力1.算力對于基礎層的智能硬件產業而言,法律風險主要集中于:知識產權的保護、商業秘密保護、出口管制與貿易制裁及全球化過程中各地商業活動合規。2.INPUT 語料2.INPUT 語料INPUT 語料,即訓練數據,從類型上分為預訓練數據與優化訓練數據。*預訓練,使用大規模數據使生成式人工智能模型獲得通用知識的訓練過程。*優化訓練,使用專門領域數據使生成式人工智能模型獲得一定面向領域服務能力的10/16訓練過程。(1)語料來源語料來源可追溯訓練數據通常包括開源語料、自采集語料、商業語料、使用者輸入語料等類型,訓練數
15、據的收集過程必須保障來源的可追溯。違法不良信息警惕訓練數據被“投毒”,導致輸出違法不良信息,進而造成準確性、可信度下降。語料來源合規訓練數據的獲取以及提供服務與用戶交互過程中,應當保障數據安全、知識產權與隱私安全。阻斷信息阻斷不符合網絡安全等相關法律法規的語料投入訓練。(2)語料內容語料過濾進一步過濾違法不良信息,避免違法不良信息污染模型。知識產權保護訓練數據應當設立知識產權保護管理機制,妥善安排知識產權糾紛投訴舉報機制及責任機制。隱私保護進一步審查語料內容是否包含違反隱私保護的信息,執行完整的隱私保護流程。(3)語料標注語料標注應當依法對標注人員進行培訓,建立健全清晰、具體、可操作的標注規則
16、,開展質量評估。3.模型及系統3.模型及系統符合算法備案及大模型備案條件的項目,需完成算法備案與大模型備案。(1)算法安全算法是人工智能發展中最容易引發重大安全事故的環節,也是人工智能監管的審查重點,其監督方向主要有:算法透明度、偏見與歧視、魯棒性、被竊取及篡改風險應對、輸出不可靠風險應對、對抗攻擊性,以及信息繭房、大數據殺熟等。(2)系統安全應當保障人工智能系統安全,避免缺陷、后門被攻擊利用風險,算力安全風險,供11/16應鏈安全風險等。(3)模型安全符合備案要求的模型需完成備案手續,如需接入第三方基礎模型,需確保第三方基礎模型已經備案。(4)數據安全模型及系統應當符合數據安全與網絡安全需求
17、,建立健全數據安全、網絡安全保障機制與應急管理措施等。4.OUTPUT 生成物AI 不等于 AIGC。4.OUTPUT 生成物AI 不等于 AIGC。AIGC,人工智能生成內容(Artificial Intelligence Generated Content),即利用生成式人工智能技術向中華人民共和國境內公眾提供生成文本、圖片、音頻、視頻等內容的服務。盡管當前AI產業發展以AIGC的落地情況為最佳,但AI并不等同于AIGC,AI 的 OUTPUT 生成物也并不局限于“文生圖”的“圖”、“文生文”的“文”。(1)AIGC 標識應當依法對生成內容進行標識。(2)生成內容生成內容應當確保安全、準確
18、、可靠,設置生成內容測試題庫,拒答測試題庫。5.其他5.其他(1)科技倫理人工智能應當依法進行科技倫理審查,設立科技倫理(審查)委員會,開展科技倫理風險評估,報請所在地方或相關行業主管部門組織開展專家復核。(2)安全措施簽訂服務協議,明確人工智能服務提供者與服務使用者權利責任義務;建立健全違法內容停止生成、停止傳輸、消除等處置措施,完善整改措施與向有關主管部門報告制度;建立健全違法活動警示限制功能、暫?;蛘呓K止向其提供服務等處置措施,保存有關記錄,并向有關主管部門報告;建立健全知識產權等投訴、舉報機制。12/16四安全治理框架四安全治理框架2024 年 9 月 9 日,在 2024 年國家網絡
19、安全宣傳周主論壇上,全國網絡安全標準化技術委員會發布人工智能安全治理框架1.0 版,將人工智能安全風險拆分為兩大類七項,明確人工智能安全治理范圍。人工智能內安全風險模型算法安全風險(a)可解釋性差的風險(b)偏見、歧視風險(c)魯棒性弱風險(d)被竊取、篡改的風險(e)輸出不可靠風險(f)對抗攻擊風險數據安全風險(a)違規收集使用數據風險(b)訓練數據包含不當內容,被“投毒”風險(c)訓練數據標注不規范風險(d)數據泄露風險系統安全風險(a)缺陷、后門被攻擊利用風險(b)算力安全風險(c)供應鏈安全風險人工智能應用安全風險網絡域安全風險(a)信息內容安全風險(b)混淆事實、誤導用戶、繞過鑒權的
20、風險(c)不當使用引發信息泄露風險(d)濫用于網絡攻擊的風險(e)模型復用的缺陷傳導風險現實域安全風險(a)誘發傳統經濟社會安全風險(b)用于違法犯罪活動的風險(c)兩用物項和技術濫用風險認知域安全風險(a)加劇“信息繭房”效應風險(b)用于開展認知戰的風險倫理域安全風險(a)加劇社會歧視偏見、擴大智能鴻溝的風險(b)挑戰傳統社會秩序的風險(c)未來脫離控制的風險表 6 人工智能安全治理框架13/16第二章 2024 年國內人工智能典型案例第二章 2024 年國內人工智能典型案例一INPUT 語料一INPUT 語料2024 年,國內人工智能優質訓練數據的采集成本高、難度大,訓練數據供不應求,服
21、務提供者普遍采取違法采集的方式訓練模型,進而引發一系列 INPUT 語料司法案例,例如知識產權糾紛、人格權糾紛、數據/計算機類犯罪及不正當競爭等。1.知識產權侵權糾紛1.知識產權侵權糾紛奧特曼案2024 年 2 月 8 日,廣州互聯網法院審理國內 AIGC 文生圖訓練數據集侵權第一案。被告 AI 文生圖應用在輸入“生成奧特曼”時,顯示與原圖一致的“奧特曼”圖片輸入“奧特曼拼接長發”,顯示一張有長發的奧特曼,輸入“插畫風格的奧特曼”,生成插畫風格的奧特曼。廣州互聯網法院作出判決:被告的行為侵犯了原告對奧特曼作品所享有的復制權和改編權,并據此判決被告承擔相應的民事責任。AI 繪畫侵權案2024 年
22、 6 月,北京互聯網法院在線開庭審理了四起畫師起訴 AI 繪畫軟件開發運營者的著作權侵權案,四位畫師認為,某 AI 繪畫軟件的開發運營者未經授權使用其原創作品作為訓練數據,侵犯了其合法權益。2.人格權侵權糾紛2.人格權侵權糾紛AI 聲音侵權案2024 年 4 月,北京互聯網法院審理首例“AI 聲音侵權案”。被告公司未經原告許可,使用原告的聲音 AI 化,并在其 App 上以“魔小璇”的名義對外出售。北京互聯網法院作出判決:帶有 AI 特征的聲音并不必然切斷與自然人的聯系,對辨識度較弱的自然人聲音,只要一般社會公眾或者相關領域的公眾根據其音色、語調和發音風格,能夠關聯到該自然人,那么該聲音即便帶
23、有人工智能合成特征,也具有可識別性。被告的行為構成對原告聲音權益的侵犯,判決賠償損失 25 萬元。北京首例“AI 換臉”軟件侵權案件6 月 20 日,北京互聯網法院一審開庭宣判了兩起北京市首例“AI 換臉”軟件侵權案件,認定使用他人視頻“換臉”后制作模板再提供“換臉”服務的網絡服務提供者侵害了他人的個人信息權益。3.數據/計算機類犯罪3.數據/計算機類犯罪倒賣新生兒信息案14/166 月 16 日,杭州互聯網法院作出判決:李某通過非法渠道陸續購入多地新生兒個人信息 3 萬余條,犯“侵犯公民個人信息罪”,包括新生兒出生日期、性別、父母姓名及聯系方式等,判處有期徒刑二年十個月,并處罰金 30 萬元
24、,目前正在服刑。兩家攝影機構也被追責。4.不正當競爭4.不正當競爭高德地圖“擁堵延時指數”案6 月 28 日上午,涉數據權益的不正當競爭糾紛案,在北京市朝陽區人民法院公開開庭審理,一審法院經審理作出判決:“被告未經許可,利用不正當手段抓取高德地圖的“擁堵延時指數”數據,并將抓取的數據存儲并傳播給用戶,構成不正當競爭,判處被告停止侵權、消除影響,并賠償二原告經濟損失及維權合理開支共計 1250 萬元。二模型及系統二模型及系統數據安全、系統安全、模型安全與算法安全是人工智能模型及系統安全運行的基礎,主要由網信等監管部門予以監督處罰。1.數據安全違法處罰1.數據安全違法處罰兩家公司因違反數據安全法被
25、鄭州市網信辦處罰10 月 25 日消息,鄭州市網信辦查處兩起因未正確配置數據庫,導致敏感信息泄露事件,鄭州市網信辦依據相關法律法規分別對兩家企業作出責令改正、給予警告和處罰款的行政處罰。湖南省網信辦對某信息技術公司作出行政處罰12 月 2 日,湖南某信息技術公司因未履行網絡安全、數據安全保護義務,導致其相關系統存在未授權訪問漏洞,造成部分數據多次泄露。湖南網信辦依據中華人民共和國數據安全法和湖南省網絡安全和信息化條例,對該公司責令改正、給予警告,并對公司、主管人員和直接責任人員分別處以罰款。浙江某軟件公司因未履行數據安全保護義務被公安機關處罰12 月 24 日,浙江某軟件科技公司因受托搭建的數
26、據庫存在安全漏洞,數據庫中承載的大量電子政務數據存在泄露風險,未對受托維護、處理的電子政務數據履行應盡的數據安全保護義務,未依法建立全流程數據安全管理制度,違反中華人民共和國數據安全法,受到臺州公安機關行政處罰,并責令其依法依規履行數據安全保護義務。2.模型安全違法處罰2.模型安全違法處罰接入未經備案的 ChatGPT 被關停15/162024 年上半年,重慶市網信辦對未經安全評估上線提供 Chat-GPT 生成式人工智能信息服務的“南川區 x 城網絡科技工作室”依法開展執法約談,責令立即關停相關服務。3.算法安全違法處罰3.算法安全違法處罰“清朗網絡平臺算法典型問題治理”專項行動11 月,農
27、夫山泉創始人鐘睒睒在江西贛州的一場媒體交流會上,公開發表問責今日頭條和抖音的算法機制,要求其承擔企業文明的責任,立即刪除對他個人及家人的傷害與污蔑,并公開道歉。他指出,算法推薦系統在為用戶提供個性化服務的同時,也帶來了諸如“信息繭房”、大數據“殺熟”、侵犯用戶隱私等一系列問題,這些問題不僅影響了用戶體驗,也對社會秩序和公平正義造成了挑戰。11 月 24 日,網信辦等四部門開展“清朗網絡平臺算法典型問題治理”專項行動,全面整治信息繭房、操縱榜單、大數據殺熟等侵害用戶合法權益的典型算法問題。三OUTPUT 生成物三OUTPUT 生成物2024 年初,包小柏使用 AI 工具復活其女兒的新聞引發廣泛關
28、注,張國榮、李玟、喬任梁、高以翔的 AI 復活版也瞬間涌入大眾視野,引發人工智能 OUTPUT 生成物人格權糾紛。此外,因接入 ChatGPT 等境外大模型而未妥善處置違法不良信息、被惡意投毒等原因,致使模型/應用生成違法不良信息,繼而遭到舉報、處罰甚至關停。1.人格權侵權糾紛1.人格權侵權糾紛李玟 AI 復活案2024 年 3 月,李玟母親委托律師發布聲明,要求部分網絡用戶停止利用李玟肖像制作、發布“AI 復活李玟”系列短視頻,聲明嚴正警告涉嫌侵權責任人,于聲明發布之日起 7 日內下架、刪除含有上述侵權內容的相關圖片、視頻及文章,立即停止實施相應侵權行為。2.違法不良信息處罰2.違法不良信息
29、處罰x 語智能被封2024 年 2 月,北京某法律大模型 x 語智能因輸出內容違規遭到舉報,被永久關停。開 x 猴 AI 寫作網被處罰九龍坡區網信辦依法對屬地“開 x 猴”AI 寫作網站運營主體重慶 xx 科技有限公司未盡到審核管理義務、履行主體責任不到位的行為作出行政處罰,給予其行政警告處罰,并責令該公司限期全面整改,加強信息內容審核,健全信息內容安全管理相關制度,暫停網站信息更新及 AI 算法生成式寫作功能 15 日。x 水 AI 被處罰16/16因違規生成法律法規禁止的信息,未盡內容審核的主體責任,南昌市網信辦依法對屬地網站“x 水 AI”的運營主體南昌 x 水科技有限公司進行處罰,責令
30、其關停整改,健全信息內容安全管理相關制度。運營主體公司后公開發表聲明,“有人用 x 水 AI 引導生成政治敏感內容,然后截圖舉報我們”。四產品設計:計算機類犯罪四產品設計:計算機類犯罪AI 游戲外掛案2024 年 5 月 6 日,江西省鷹潭市余江區人民法院公開宣判全國首例“AI 外掛”案,對被告人王某合以“提供侵入、非法控制計算機信息系統程序、工具罪”判處有期徒刑三年,緩刑五年,并處罰金;已退繳的違法所得及扣押的作案工具予以沒收,上繳國庫;剩余未退繳的個人違法所得繼續追繳?!敖涜b定,案涉“AI 外掛”中“cvc”等程序對多款游戲中游戲畫面數據進行了未授權獲取,對游戲中處理的鼠標數據指令進行了未
31、授權的修改,增加了游戲中“自動瞄準”和“自動開槍”的功能,干擾了游戲的正常運行環境,屬于破壞性程序。盒子程序源代碼具有接收計算機 USB 端口傳輸的鼠標數據指令,并對指令進行計算解析,再將計算結果發送至計算機 USB 端口,從而實現控制計算機鼠標指針自動移動和點擊的功能?!蔽逅惴▊浒概c安全評估五算法備案與安全評估2024 年上半年,重慶市網信辦針對“x 象智問 AI”“重慶 x 兵拓展迷”等網站未經安全測評備案、違規提供生成式人工智能服務問題,依法對運營主體開展執法約談,責令立即停止相關服務。于夢圓 法律服務團隊國內首批專注于服務人工智能、科技、數據行業的一站式法律服務團隊,以“做最懂行業的法律服務”為使命,協助企業合理規劃法律事務成本,一站式解決企業法律需求。爭議解決 常年法律顧問 數據資產AI 合規 公共數據授權 數據確權知識產權 數據出海|勞動用工E-mail:版權所有,禁止外傳,不可商用,侵權必究。版權所有,禁止外傳,不可商用,侵權必究。