賽迪：面向兒童的人工智能（2022）（29頁）.pdf

《賽迪：面向兒童的人工智能（2022）（29頁）.pdf》由會員分享，可在線閱讀，更多相關《賽迪：面向兒童的人工智能（2022）（29頁）.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、-1-2022!711#$28%&$&$547%面向兒童的人工智能面向兒童的人工智能 !#$%!#$%2022 年 3 月，世界經濟論壇首次發布面向兒童的人工智能報告。人工智能可被用來教育兒童和青少年，并賦予他們力量進而積極影響社會。但是，如果在人工智能技術設計中未充分考慮潛在風險，其存在的隱患同樣容易對兒童造成負面影響。因此，制定兼具創新性和責任感的人工智能設計準則，滿足兒童成長需求十分必要。報告研究了人工智能設計理念、隱私安全與數據安全等關鍵問題，提出了以兒童為本的五項指導原則，為人工智能的兒童適齡化發展提供相應指導和啟示。賽迪智庫科技與標準研究所對該報告進行了編譯，期望對我國有關部門有所

2、幫助。!&(%)*!&(%)*+,-.+,-./012/012 3 33 3-2-()*()*兒童和青少年的日常生活中充斥著各種人工智能產品。人工智能可被用來教育兒童和青少年，并賦予他們力量，進而對社會產生積極影響。但是，人工智能技術也將帶來潛在風險，包括偏差、網絡安全和無障礙性的缺失，兒童和青少年尤其容易受這些風險的影響。因此人工智能的設計必須具有包容性，要尊重兒童用戶的權利。人工智能技術的發展必須兼具創新性和責任感。負責任的人工智能應當是安全、合乎倫理、透明、公平、無障礙和包容的。父母、監護人和成年人均有責任慎重選擇設計上合乎倫理的人工智能產品，并幫助兒童安全地使用這些產品。本報告旨在為人

3、工智能的負責任設計、消費和使用提供指導，給企業、設計人員、父母、監護人、兒童和青少年提供幫助，確保人工智能尊重兒童權利，并給他們的生活帶來積極影響。（一）企業用戶（一）企業用戶 企業應當了解，兒童經常會使用并非專門為其設計的人工智能產品。應慎重考慮如何為兒童和青少年爭取利益，并減少技術帶來的潛在風險。給高管層的清單旨在幫助企業管理層更好地了解人工智能對兒童和青少年的利弊，以便使其能夠更好地對人工-3-智能進行領導、創新和發展。同時，給產品團隊的指導原則可以為工程師、開發人員、產品經理及產品團隊的其他成員提供指導。（二）人工智能標簽系統（二）人工智能標簽系統 人工智能標簽系統將被用于所有人工智能

4、產品的外包裝，可通過二維碼在線查看，旨在向消費者展示產品的工作原理以及用戶的選擇。（三）消費者：父母和監護人（三）消費者：父母和監護人 父母和監護人要在進一步了解人工智能技術的基礎上，謹慎地選擇給孩子購買哪些人工智能技術，確保人工智能能夠給孩子的生活帶來積極影響。人工智能標簽系統（圖 1）旨在幫助父母和監護人了解人工智能的重要特性。!1#$%&()*+(,-./0123456789:+(,-./0123456789:無無障障礙礙性性年年齡齡數數據據使使用用網網絡絡人人工工智智能能的的使使用用傳傳感感器器-4-可行框架和實際指導能夠幫助企業為兒童和青少年設計創新和負責任的人工智能?？尚锌蚣芎蛯嶋H

5、指導能夠幫助企業為兒童和青少年設計創新和負責任的人工智能。在幾乎沒有可以依據法規的情況下，企業只能在數據捕捉和人工智能模型訓練及應用方面的隱私和倫理問題上自行摸索。該清單旨在幫助高管層層及其他企業決策者反思并采取行動，為弱勢群體提供負責任的人工智能。（一）面向兒童和青少年的人工智能應該是值得信賴和負責任的：給管理層的清單（一）面向兒童和青少年的人工智能應該是值得信賴和負責任的：給管理層的清單人工智能的復雜性和影響范圍極廣，通過審慎實施人工智能技術，可以使青少年能夠按照自己的節奏和學習風格成長和發育。但是，假如草率地實施人工智能技術，或是缺乏指導，就可能侵害弱勢用戶的權利。在兒童發育、適用性和保

6、護隱私等方面，管理層應當追求嚴格的倫理和社會標準，以贏得消費者的信賴。（二）企業可能存在的不足（二）企業可能存在的不足人工智能應用正在不斷提速，同時又缺乏標準和指導。企業應避免諸如拒絕披露人工智能的使用方式、放大和放任偏差、跳過以用戶為中心的驗證、漠視隱私保護和安全漏洞等危險行為。（三）相關行動（三）相關行動建議采取以下步驟：1了解法律義務和監管范圍 1了解法律義務和監管范圍 -5-利用電氣和電子工程師協會（IEEE）倫理規范、世界經濟論壇指導等現有法規，以及為父母和監護人以及兒童和青少年提供的資源，承諾對人工智能進行監督。使用易懂的表述披露合規且權威的措施，以便于買方了解。2 2建立建立一一

7、支多元化支多元化的的精干精干團隊團隊 建立一支包括倫理學家、研究人員、隱私保護專家、教育工作者、兒童發育專家、心理學家、用戶體驗（UX）設計師和數據科學家的精干團隊。與非營利組織、教育和研究機構合作，以獲取更多的專業知識。3 3培訓培訓團隊并提供團隊并提供資源資源，讓讓他們他們借借助這助這份份清單取清單取得得成成功功 讓團隊成員了解設計兼具責任感和信賴感的人工智能十分重要，并為其提供執行企業愿景所需的技能、工具和時間。針對可能出現的情形以及原因進行開誠布公的對話，確保團隊考慮到了人工智能的五大特征（圖 2）。4 4提供專業提供專業知識知識，為，為制定法規制定法規、標、標準準和指導提供和指導提供

8、信息信息 針對如何在產品或服務中使用人工智能展開討論。分享指導和要求制定方面的經驗。5 5嘗試嘗試依據原則給產品和依據原則給產品和服務貼服務貼標簽標簽 應根據人工智能對用戶的潛在影響來給產品貼標簽。高管層應認可并參與制定標簽和評級標準的活動，以幫助消費者根據相-6-關建議做出明智的選擇。公平公平 公司文化和流程解決了人們對人工智能模型如何開發以及人工智能模型在使用中的影響的道德和偏見問題。包容包容 人工智能模型與來自不同文化和不同能力的用戶公平互動；產品測試包括不同的用戶。負責任負責任 課程反映了最新的學習科學，以促進健康的認知、社會、情感和/或身體發展。安全安全 該技術保護用戶和購買者的數據

9、，公司披露其如何收集和使用數據，并保護數據隱私；用戶可以隨時選擇退出，并刪除或刪除其數據。透明透明 該公司用非技術性的術語向買家和用戶解釋了人工智能的使用原因、工作原理以及如何解釋其決策。該公司還承認人工智能的局限性和潛在風險，并歡迎監督和審計。!2+,-./0123456789:;(?ABC;(?ABC 產品團隊應在產品團隊應在整個整個產品生產品生命周期命周期對設計負責。對設計負責。（一）簡介（一）簡介 1 1目目的的 這些指導原則旨在協助有關人員為兒童和青少年開發負責任的人工智能產品。2 2有有關關人員人員 整支產品團隊：開發人員、項目經理、技術文檔撰寫人、產品所有人、軟件架構師、用戶體驗

10、設計師、營銷經理，以及其他任何參與產品開發的人員。3 3有有關關工作工作 “以兒童和青少年為本”需要準從五個原則：公平、包容、-7-負責任、安全和透明（圖 3）。每個原則又分為三個部分：目標、最有可能造成的危害以及降低風險。公平公平 倫理、偏差和義務 包容包容 無障礙性、神經差異和孩子們的反饋 負責任負責任 與年齡和發育階段相稱、反映最新的學習科學，并面向兒童而設計 安全安全 沒有危害；網絡安全和減輕成癮性 透明透明 能夠向初學者或外行人解釋人工智能的工作原理和用途!3+,-./012345678（二）基本原則（二）基本原則 將聯合國兒童權利公約的第 3 條第一款作為“以兒童為本”的基本原則：

11、“關于兒童的一切行動，均應以兒童的最大利益為首要考慮，無論執行主體是公共或私營社會福利機構、法院、行政當局或立法機構?！苯⒖紤]兒童利益的系統重點是能否清楚地闡明積極影響，并制定策略來確定系統是否具備這種影響。上述指導原則的目的是幫助有關人員在產品構思、制造、測試和部署時發現風險并找出潛在的盲點。為兒童制造產品應采取以兒童為本的設計方法。作為產品團隊中的一員，在設計人工智能時，必須將兒童和青少年放在首位，即人工智能技術必須是公平、包容、負責任、安全和透明的。以-8-上五個特征中的每一個均包含了內容清單（圖 4）上的三要素：目標、潛在危害和風險緩解指導。目標目標 最有可能造成的危害最有可能造成的

12、危害 降低風險降低風險 公平公平 關鍵是公平地對待用戶并照顧他們的尊嚴 違反信任和同意 采取主動而負責任的治理策略 思考并積極應對人工智能在訓練、表達和反饋環節的偏差問題 情感和發育方面的傷害 運用持續的倫理思維和想象力 嘗試了解義務 偏差、不均等的機會和影響 采取合乎倫理的治理方式追求公平 在威脅分析中涵蓋將人工智能武器化的危害 用數據進行測試和訓練，了解模型的行為方式及其偏差所在 包容包容 實現無障礙性；而非馬后炮 設計方面的排斥 制定研究計劃，建立咨詢委員會和具有廣泛代表性的參與者 以“包容”來解釋和推崇神經多樣性 偏差輸入，偏差輸出，偏差內化 積極查找造成用戶被排斥體驗的短板 將來自兒

13、童和青少年的反饋意見融入技術開發周期和測試 用數據進行測試和訓練，了解模型的行為方式及其偏差所在 負責任負責任 技術設計能夠與年齡和認知發育階段相稱 技術失控 建立咨詢委員會和具有廣泛代表性的參與者 技術能夠體現最新的學習科學 不成熟的、笨拙的人工智能模型 積極查找造成用戶負面體驗的短板 技術的設計和開發過程以兒童和青少年為中心 把孩子當成愚笨的小號成年人 積極溝通隱私保護和安全影響 以人工智能的行為及其如何適配用戶的發育階段為目標 安全安全 技術不會對客戶造成傷害，也不會被用來傷害他人 技術在有意或無意中被惡意、偏頗或不成熟地使用 開展用戶研究，為極端情況進行情景規劃并制定緩解策略 將網絡安

14、全作為優先事項，包括客戶數據的隱私和安全 不安全的群體 建立多元化的評估策略 -9-重視過度使用并積極制定減輕成癮性的措施 冷眼旁觀者 在兒童、監護人和技術之間建立起一種透明、易懂、由用戶數據驅動的關系模型，以便發現和減輕傷害 用天然屬性來定義用戶 讓產品團隊針對與兒童和青少年相關的技術建立專業 數據隱私和安全漏洞 制定考慮兒童和青少年的認知、情感和人身安全的安全計劃 透明透明 團隊中的每個成員都能向初學者或外行人解釋人工智能的工作原理和用途 缺少或混淆知情同意 確保使用的條款清晰、易懂 任何想了解人工智能的人都能輕松做到這一點 規避或無視政府的規章制度 明確披露高風險技術用途，比如人臉識別和

15、表情識別，以及如何管理此類數據 將安全和隱私保護責任推卸給用戶 明確技術遵守哪些地區的數據保護和隱私法 監護人被排除在外 將安全選項設置為默認，允許監護人在閱讀具體使用條款后進入高級功能 明確指出應用程序所針對的年齡段 提供關于技術使用環境的指導原則 為監護人建立預警機制，以便在使用中發現風險時進行干預!4+,-./0123456789:;1 1挑戰挑戰 編寫上述指導原則的目的在于引導有關人員了解為兒童和青少年構建人工智能的風險。指導原則旨在權衡對所開發產品過分樂觀的期待，有助于發現設計中代入的缺陷，并減少可能的風險，使之不會暴露給客戶。-10-2 2兒童和青少年的兒童和青少年的定義定義 對兒

16、童和青少年并沒有統一的定義。聯合國將兒童定義為未滿 18 歲的人。甚至可以認為，兒童和青少年是指年齡在 26 歲以下的人，因為人的前額葉皮質要到這個年齡段才發育完全。年齡可以用出生后的年數來衡量，也可以通過測試認知能力、身體靈活性和情商來衡量。人類的能力存在著較大的可變性，因此應當使用認知、情感和生理發育階段等更可靠的概念，作為理解、標定、溝通和營銷產品的方式。3 3社社交交網絡網絡 假如一款產品包含社交內容，則建議采取以下措施：（1）注重安全：防范那些利用社交網絡系統接觸兒童和青少年以謀取私利的個體（例如，計算機病毒、剝削兒童等）。（2）注重公平：設計替代方案，將隱性的社會階層嵌入到產品的體

17、驗中（例如積累點贊和粉絲數量等）。4 4總總體體限限制制 工程師應咨詢兒童發育等領域的專家，對產品的價值、安全和效用客觀地提出問題，以評估兒童和青少年使用的人工智能。（1）審視產品的人工智能/機器學習技術，幫助有關人員了解其中的偏差，以及減少偏差的方法。（2）制定用戶研究計劃，采用多種方法應對產品問題：縱向-11-研究和傳統方法；情境調查和訪談；標桿管理和記分卡。（三）以兒童和青少年為本涵蓋的內容（三）以兒童和青少年為本涵蓋的內容 1 1公平公平 基于人工智能和機器學習的技術和系統可以改變人與人之間的交互方式。但也給用戶帶來了潛在的偏差、排斥和缺少公平等問題。這種潛在的變化和權力的轉移也對人工

18、智能設計提出了道德責任要求。因此，兒童和青少年人工智能工具的設計、開發、維護、存檔和研究人員在設計人工智能系統時，應注意自身工作的敏感性和倫理影響。潛在潛在危害危害 如不慎重進行設計，人工智能模型就可能帶有偏差或不公平、辜負用戶的信任，并對兒童和青少年用戶造成情感和發育傷害。違違反信反信任和同任和同意意條款條款 產品團隊在收集父母/監護人及其子女的數據之前，應征得他們的同意，父母/監護人和兒童必須被告知有哪些數據將被收集以及如何使用，他們有權控制自身數據如何流通并保留所有權。情情感和發育感和發育方面方面的的傷傷害害 成年人有責任確保向兒童展示的信息必須有利于他們成長。兒童正在快速發育，稍有不慎

19、或疏忽，系統的設計方式會對其發育產生負面影響。-12-偏差、偏差、不不均均等等的的機機會和影響會和影響 算法決策往往會強化現有的社會性偏見和成見，并對不同人群造成不均等的影響。僅依靠單一的綜合性能指標，比如準確性，可能無法捕捉和發現被系統所懲罰、遺漏或虐待的人員。風險風險緩緩解解 主動采主動采取負責任的取負責任的治治理理策策略略 在啟動一個項目前，專注一系列簡單的因素可以產生巨大的效益，并有助于減少風險。盧基德斯、梅森和帕蒂爾在倫理與數據科學 中的內容清單可以通過類似“deon”1的模板庫在軟件庫中具像化。同時，與倫理清單相關的愿景文檔、宣言或原則集規定了在構建人工智能系統時應追求的美德。設計

20、人員有義務研究并利用他人的工作成果來為客戶提供保障。持續運持續運用倫理用倫理思思維和維和想象想象力力 有關人員應當在開發周期中持續開展倫理評估，并確保囊括受到技術影響的相關方。兒童合作組織的倫理評估數據可以提供開展持續反思的策略。采采取取符符合倫理的合倫理的治治理理方式追求方式追求公平公平 有關人員需要定期思考其項目的倫理“健康”。定期的內部評估至關重要，因為工作的范圍和內容會隨著時間的推移而變化。1 Deon 為一款虛擬合作平臺，已與 Microsoft 生態系統中的 MS Teams、O365、Sharepoint 和 OneDrive 進行了集成。-13-而且，人們常常受限于自身對工作進

21、展的個人看法，因此有關審查還應包括定期的外部評估。用用數數據進行據進行測測試試和和訓練訓練，了解，了解模型模型的行為的行為方式方式及其偏差所在及其偏差所在 需要考慮的問題有：（1）產品是如何定義和衡量人工智能中的偏差的？（2）這些偏差是如何被修正的？（3）從對人工智能的綜合研究合中發現了哪些差距或好處？2 2包容包容 所有人都渴望一種歸屬感，并能夠自然地適應被排斥、被包容以及由此產生的不確定感。但兒童和青少年往往缺少必要的應對技巧，無法處理被排斥的負面感受。假如不重視建立一種包容性的體驗，可能帶來認知、情感或社交方面的困擾和傷害。潛在潛在危害危害 所有人工智能模型都帶有來自程序員和數據的偏差，

22、可能在無意中造成設計和實踐方面的排斥，對兒童和青少年造成傷害。設計設計排排斥斥 技術種存在多種排斥形式。然而，兒童和青少年可能不具備推理出自己或他人被排斥的判斷力。他們所受到的排斥可能更不可控，并可能導致對自己和自身能力的負面感受。偏差偏差輸入輸入、偏差偏差輸輸出出、偏差、偏差內內化化 -14-所有的人工智能都存在偏差。只要預置的態度、能力、功能和信念與用戶的有差異，人工智能中的偏差就會造成傷害。這些偏差可能會導致用戶陷入迷茫，產生消極的影響。風險風險緩緩解解 建立建立受受眾代眾代表廣表廣泛泛的的研究研究計計劃劃、咨詢委咨詢委員會和員會和參與參與人員人員庫庫 在產品路線圖中，每個開發階段都應包

23、括來自用戶、家長/監護人和教育專業人士的反饋途徑。關鍵是盡早收集并在產品發布后持續接收反饋。有關人員應在每個開發階段都有計劃地收集客戶反饋，同時接收專家對于發育階段和年齡適宜性的反饋。積極查積極查找找造造成用戶被成用戶被排排斥斥體驗體驗的的短板短板 需要讓兒童和青少年參與開發周期的每個階段，并持續記錄產品開發過程是如何吸納他們的意見的。在產品測試期間，應針對那些已知的、可能導致兒童和青少年無法如期使用產品的領域，來設計定向用戶研究。用用數數據進行據進行測測試試和和訓練訓練，了解，了解模型模型的行為的行為方式方式及其偏差所在及其偏差所在 承認人工智能存在偏差。設法了解其局限性，記錄下這些偏差可能

24、對兒童和青少年造成何種傷害，并致力于減少此類偏差。3 3負責任負責任 該主題的目的是確認產品團隊已經充分了解對使用其產品的兒童和青少年的責任。首先，這需要產品團隊能夠充分評估向兒-15-童和青少年推廣其人工智能產品的風險。其次，產品的構思、設計、規劃、開發和測試均應基于適宜的年齡和發育階段，并采用可反映最新的科學方法來加以檢驗。潛在潛在危害危害 與成年人相比，兒童和青少年的大腦對代表愛、歸屬和包容的信號異常敏感，他們會不斷去追尋這些信號，并且會用不同于成年人的方式進行解讀。產品團隊必須明白他們產品的潛在危害。因此，應對風險進行慎重分析并開發緩解技術。技術失技術失控控 兒童和青少年尚無法理解數據

25、共享和個人可識別信息泄露的影響，以及授權他人獲取其數據的相關風險。不不成成熟熟的人工智能的人工智能模型模型 人類的生理、情感和認知發育是不同步的，其速度和軌跡也不一致。鑒于人類發育過程的不可預測性，在設計面向兒童和青少年的人工智能時必須做到精細化，使之適用于不同發育階段。把把兒童作為成年人同兒童作為成年人同等等對對待待將將面面臨臨風險風險 兒童和青少年的語言能力有限，不能把他們當作生理上的小號成年人。兒童和青少年的大腦有別于成年人。這意味著在各種認知、社會和生理因素方面，他們與成年人相比優劣勢并存。有關人員可以利用他們的特質來提供良好的用戶體驗。-16-風險風險緩緩解解 建立建立受受眾代眾代表

26、廣表廣泛泛的的咨詢委咨詢委員會和員會和研究研究人員人員庫庫 需要考慮的問題：（1）考慮產品商業模式時，如何確定發育階段和年齡相適宜？（2）為何使用人工智能？如何證明回報大于風險？（3）孩子、父母/監護人、教師和主題專家從多長時間以及多少次參與了產品的研究和測試過程？（4）產品如何確定未來迭代、功能和產品路線圖的反饋回路？積極查積極查找找造造成用戶負成用戶負面體驗面體驗的的短板短板 需要考慮的建議：（1）讓兒童和青少年參與開發周期的每個步驟；（2）持續記錄產品開發過程是如何吸納兒童和青少年意見；（3）允許進行任何形式的產品測試以及定向使用；專注于可能導致兒童和青少年無法如期使用產品的風險領域。積

27、極積極溝溝通通隱私隱私和安全影響和安全影響 需要考慮的問題：（1）數據管理如何遵守與消費者、特別是與兒童相關的管理數據法律和政策？（2）如何通知用戶與產品或第三方有關的任何商業活動？（3）產品和人工智能的使用如何讓用戶與他人安全互動？-17-圍圍繞繞人工智能的行為及其如何人工智能的行為及其如何適適配配用戶發育用戶發育階段階段設設立目立目標標 需要考慮的問題。（1）能否闡明，產品如何實現設計者為發育階段的用戶帶來的變化，以及人工智能如何能夠（或不能）適應這種變化？（2）人工智能是否會根據發育階段隱含信息調整自身行為？（3）用戶能否糾正人工智能對其發育階段得出的錯誤結論？4 4、安全、安全 社會心

28、理發育通常以安全感為前提。兒童的前額葉皮質尚未發育完全，意味著他們預測后果的能力較差，更容易沖動，缺少自制力，也缺少經驗來判斷自己是否正在被操縱。因此，產品團隊必須承擔起保護所有用戶免受傷害的責任。潛在潛在危害危害 產品團隊的職責是向專家進行咨詢，思考自己的技術是否在無意中幫助了壞人去傷害兒童和青少年，然后建立起防范或減輕這種傷害的方法。技術對兒童和青少年的潛在危害包括：技術被技術被惡惡意意、偏、偏激激或不或不成成熟熟地使用地使用 技術可以通過多種方式在無意中導致負面的行為和結果。（1）惡意意圖：個人懷有實施傷害的明確意圖，或是以對自身和他人有危害的方式使用該產品。-18-（2）天真/無知：用

29、戶無視安全警告，或因為對后果認識不足而故意冒險。這在兒童和青少年中尤為明顯。（3）偏激使用：人們并不總會依照開發者的意圖使用產品，足以證明開發者沒能降低風險并做出安全產品。不不安全的安全的群體群體 社交技術的潛在威脅和風險最近幾年才被重視。惡意群體會利用技術來接觸弱勢群體。成年人尚且因此大受影響，對于兒童和青少年而言，這種糾結只會被放大。冷眼旁冷眼旁觀觀者者 假如技術旨在促進兒童或青少年與機器間的互動，那么必須預見到用戶信息泄露可能造成傷害或危險情況。必須在產品開發過程中決定人機關系的性質和參與者，并清楚地闡明有害情形發生的過程以及如何解決方法。技術無視弱勢用戶需求的另一類情形是，未能解決過度

30、使用或減輕成癮性的問題。用用自自然屬然屬性來性來定義定義用戶用戶 行為是預測人們使用技術目的的有力數據源。產品團隊應廣泛深入各類數據，以求證自己的假設。人口統計學數據也應通過行為參數和明確的偏好指標加以補充和完善。數數據據隱私隱私和安全和安全漏洞漏洞 對于圍繞數據保護而進行的各種強大功能的開發十分重要。-19-任何可以讓他人獲取和倒賣數據，或以其他方式傷害客戶的方法，都應在產品的生命周期內被模擬、緩解和反復審視。風險風險緩緩解解 開展用戶開展用戶研究研究，為，為惡惡意意用用例例做情景規做情景規劃劃并并制定制定緩緩解解策策略略（1）惡意意圖：開發者能檢測到惡意的用例嗎？當檢測到時應該通知誰？以及

31、該做什么？技術是否能自行關停？假如自動檢測出錯，會導致什么負面后果？（2）天真/無知：能否檢測到這些用例并重新引導或采用不同的交互路徑來遷就用戶嗎？是否在模型的可解釋性中建立了目標？假如技術被不規范地使用，有哪些情況可能會對兒童或青少年造成人身或情感傷害？這些風險是否需要在設置中與監護人和/或兒童或青少年一起解決？（3）偏激使用：團隊應與外部各相關方集思廣益，討論產品可能被使用的方式以及由此產生的意外后果。相關數據應當由真正的兒童或青少年用戶來補充。建立多元化建立多元化的的衡衡量量策策略略 應采用多個指標，從定量和定性角度衡量產品狀況。關于如何建立衡量策略和咨詢建議如下：（1）與專業的用戶研究

32、人員共同實施用戶研究、人種學、社區陪審團和結果研討會。-20-（2）安排設計研討會來發現和應對風險，并鼓勵工程團隊制定此類策略和解決方案。（3）確定交互指標和所做的優化不會在無意中“使人上癮”。在兒童、監護人和技術在兒童、監護人和技術之之間建立間建立起起一種透明、易一種透明、易懂懂、基于用、基于用戶戶數數據的據的關關系系模型模型，以便發，以便發現現和減和減輕輕傷傷害害 為兒童和青少年開發產品，也是在為父母、教師和監護人開發。為了檢驗是否已將所有客戶考慮在內，應思考的關鍵問題是：（1）當工具發現潛在傷害時，工具會做什么？（2）當發生安全或隱私泄露時，如何通知監護人？應為監護人、兒童或青少年采取什

33、么行動？（3）當報告風險時，工具會報告哪些風險？向誰報告？以及報告的頻率是多少？（4）哪些數據將被記錄下來用于監管審計目的？（5）父母或監護人如何控制或不控制他們孩子所使用的技術？這種控制是滯后的還是實時的？（6）是否有某種機制可在發現風險時自動將工具關停？讓讓產品團隊在兒童和青少年產品團隊在兒童和青少年相關相關技術技術問題問題上發展專業上發展專業 產品團隊的所有成員都應當具備關于兒童和青少年發育的專業知識。然而，這并不能取代與其他相關領域專家的必要合作。前瞻性的做法可以提高敏感性和風險識別能力，包括：-21-（1）審查該領域內設計專家的工作；（2）了解即使是優良設計在交付給兒童和青少年后也會

34、出錯；（3）制定成功標準，在用戶、商業和技術需求之間實現平衡。制定制定將兒童和青少年的將兒童和青少年的認知認知、情情感和人感和人身身安全考慮在安全考慮在內內的安的安全計全計劃劃，假如有黑客入侵客戶的系統，產品團隊有什么應對計劃？（1）數據如何加密？是傳輸加密還是靜態加密？（2）哪些個人數據需要被收集？能否匿名處理以保護隱私（3）確定個人/敏感數據在遭遇攻擊等時能夠得到高度保護。5 5、透明、透明 所有產品都必須根據當地和州的法規向客戶提供明確的免責聲明。本文鼓勵產品團隊給所有產品添加人工智能標簽系統。面向兒童和青少年的人工智能產品應包括以下六項內容。年齡：產品適合哪個年齡段或發育階段的孩子使用

35、？用戶可能會接觸到哪些材料？如何確定這些材料適合用戶？包容性：對不同年齡段、具有不同程度殘疾以及教育背景的兒童和青少年而言，該產品的包容性表現如何？人工智能的訓練和測試環節是否考慮到了包容性？攝像頭和麥克風：產品是否會用到這兩樣設備？能否手動打開和關閉？這兩樣設備是否會觀察用戶或其他使用產品的人？-22-網絡：產品是否允許用戶通過聯網游戲或社交網絡與其他用戶開展社交？產品如何打造一個安全和健康的社交體驗？有哪些社區規章制度可以用來保證兒童不會遇到危險？人工智能的使用：產品如何使用人工智能？使用人工智能對于用戶及其體驗有哪些好處？可能給用戶帶來哪些風險？數據使用：用戶的數據會被如何使用？由誰來保

36、有這些信息，與誰共享？用戶的數據儲存在何處，如何保護？潛在潛在危害危害 假如沒有適當的透明度，人工智能就可以無視法律、暗箱操作，并將父母和監護人排除在過程之外。缺少透明度的人工智能還可能會讓用戶承擔不合理的隱私保護和安全責任。不透明的人工智能最有可能造成的危害包括：缺少缺少或或混淆混淆知情知情同同意意 人工智能技術通常被構建為一種反饋回路：信息在用戶和技術之間來回流動。因此，人工智能的開發人員必須取得知情同意，即用戶有能力在知情和自愿的前提下同意上述契約中的條款，并且可以隨時接受或拒絕，而不會受到任何懲罰。建議產品團隊在技術中將知情同意作為一項明確的行為。規避或規避或無無視政視政府府的的規規章

37、章制制度度 產品團隊和產品銷售企業，均有義務遵守與技術相關的當地-23-規章制度。應當讓消費者清楚地了解在產品開發過程中所遵循的國家、地區、州和當地的法規。將安全和將安全和隱私隱私保護責任保護責任推推卸卸給用戶給用戶 最理想的情況是，構建的人工智能可以在最高級別安全和隱私保護設置下正常工作。此外，產品團隊還有責任披露調節安全和隱私保護的好處和風險?？蛻魬斄私庾陨頉Q定的影響。監護人被監護人被排排除除在外在外 對于人工智能的安全使用而言，技術與監護人建立起的關系十分重要。因此，應當了解、歸納并盡可能聽取用戶監護人的意見，讓其了解有關技術是否適合他們的孩子，以及使用參數和風險邊際，并在發生越界或發

38、現高風險行為時密切關注使用情況。風險風險緩緩解解 確保使用的確保使用的條款條款清清晰晰、易、易懂懂，不懂不懂技術的用戶也能理解技術的用戶也能理解 當解釋使用條款和條件時，應避免使用復雜的技術或法律術語，并限定使用條款長度。否則應向用戶提供一個簡化的說明。明確明確披露披露高風險技術的用高風險技術的用途途（例例如，人如，人臉臉識識別別和和表情識表情識別別）以及如何管理此以及如何管理此類類數數據據（1）應用中使用的所有高風險技術均必須事先向監護人介紹。（2）必須清楚地解釋技術在收集數據時的提取、分析和存儲流程，以及用戶決定加入/退出安全和隱私保護選項的權利。-24-（3）確定并設計技術將進行重大更新

39、的知情同意方案。確保用心設計新的同意請求，并在其中體現監護人的重要性。（4）某些被歸類為高風險的技術可能會隨著時間的推移而變化，因此需要重新審視其產品設計和披露方法。（5）在將收集數據用于高風險技術時，都必須告知用戶，且對方有權拒絕。明確指明確指出該出該技術技術遵守遵守哪些地哪些地區區的的數數據保護和據保護和隱私法隱私法（1）具體說明遵守的是哪些地區的數據保護和隱私法。（2）提到法律章節/條款時應當具體，不要模棱兩可。（3）大多數國家的相關法律都在不斷更新，應定期審視。將安全選將安全選項項設設置置為為默默認認，允許允許監護人在監護人在閱閱讀讀具具體體使用使用條款條款后后選擇進選擇進入入高高級功

40、級功能能（1）將最安全和保守的選項作為默認選項。（2）當開啟使用人工智能的功能時提供所用技術的詳細信息。（3）通過基于安全功能選項的用戶體驗矩陣來工作。明確指明確指出出應用程應用程序序所所針針對的年對的年齡段齡段 必須向監護人提供關于技術所針對的發育階段、年齡段的準確信息，有助于監護人決定是否以及如何向孩子推廣該技術。提供提供關關于技術使用于技術使用環環境境的指導原則的指導原則 產品團隊必須將預期使用環境告知監護人，以幫助其制定購-25-買決策和提高正確使用概率，提升用戶體驗。為監護人為監護人建立建立預預警警機制機制，以便在發，以便在發現現風險時進行風險時進行干干預預 產品開發周期應建立威脅模

41、型。威脅建模的結果應當成為檢測濫用的解決方案和干預方法。產品文件中應當包含潛在的威脅，以及監護人和用戶可用來降低風險的功能。D(EFGHIJKLD(EFGHIJKL 人工智能標簽系統人工智能標簽系統促促進了兒童和青少年用戶、其父母和監護進了兒童和青少年用戶、其父母和監護人對人工智能技術的了解和人對人工智能技術的了解和信信任。任。人工智能標簽系統（圖 5）將被用于所有人工智能產品的外包裝，可通過二維碼在線查看，旨在告知消費者人工智能的工作原理，以及用戶都有哪些選項。年年齡齡 技術和內容是為哪個年齡段設計的？!推薦適齡范圍，例如：4 到 6 歲，7 到 10 歲 無障礙性無障礙性 不同身體條件和背

42、景的用戶都可以使用嗎？!用兒童進行測試過：!對聽障人士無障礙：!對盲人無障礙：!它的設計涵蓋哪些神經多樣性用戶（例如，自閉癥、閱讀障礙）？!它的設計涵蓋哪些身體殘障人士（例如，精細動作技能、行動能力）？!支持哪些語言？-26-傳傳感感器器 它是否使用攝像頭和麥克風捕捉用戶的圖像或聲音？!攝像頭：!如果是，你能關掉它嗎？!麥克風：!如果是，你能關掉它嗎？網絡網絡 用戶在使用過程中能否與其他人玩耍和交談？!聯網游戲和社交：!如果是，可以關閉該功能嗎？人工智能的使用人工智能的使用 它如何使用人工智能與用戶互動？!人臉識別：!語音識別：!表情識別：數數據使用據使用 它是否收集個人信息？!采集數據：!與

43、他人共享數據：!你能控制自己的數據是否共享嗎？：!遵守美國的兒童在線隱私保護法（COPPA）：!遵守歐盟的通用數據保護條例（GDPR）：!遵守英國信息專員辦公室（ICO）的適齡設計規范：!收集數據的原因（例如，創建定制化課程）來源：世界經濟論壇!5#$%&()*M(NO0PQERM(NO0PQER 本指本指南南有助于為兒童和青少年購買和使用人工智能產品的有助于為兒童和青少年購買和使用人工智能產品的決策決策。本指南旨在幫助父母和監護人（圖 6）了解購買人工智能玩具、設備或應用的注意事項。-27-重重要要的原因的原因 你你應應做做的工作的工作 年齡年齡：它：它是是為哪個為哪個年齡年齡段設計的段設計

44、的？了解了解你你的孩子的孩子適合哪個適合哪個發育階段。發育階段。玩具和設備是為特定年齡段設計的。假如用戶年齡太小，技術和內容對他們而言可能難以使用，并可能使其面臨風險。而假如年齡太大，技術和內容可能不是太有趣或好玩。訪問產品網站。從“常識媒體”等其他來源了解更多關于為不同年齡和發育階段選擇合適產品的信息。無障礙性無障礙性：不同身體不同身體條條件件和和背景背景的用戶的用戶都都可以可以使用使用它嗎？它嗎？雖雖然然存存在在個個體差異，體差異，但但技術應技術應適適用用于所于所有人。有人。所有用戶都應當能夠使用技術。對有身體或精神殘疾的用戶而言，需要適應和修改。不同的用戶語言各異，假如人工智能設計不周，

45、可能會造成問題。訪問產品網站。閱讀用戶評論。傳傳感感器：它器：它是是否否使用使用攝攝像頭像頭和和麥克麥克風風捕捉捕捉用戶用戶的的圖像圖像或或聲音？聲音？了解該技術如何保護隱私，了解該技術如何保護隱私，比比如如允許允許用戶關用戶關閉攝像頭閉攝像頭或或麥克麥克風，并風，并借助密碼借助密碼和設和設置置設設備備收集數據的偏收集數據的偏好好來保護信來保護信息息。人工智能產品使用攝像頭、麥克風和傳感器的參數來觀察、識別并向用戶學習。人工智能產品可能會使用面部識別來識別你孩子的臉，或使用語音識別來探測他們的聲音。這些信息還可能會被這些設備和產品存儲或發送至其他地方，或是被犯罪分子入侵。訪問產品網站。致電企業

46、客服。網絡網絡：用戶在使用用戶在使用過過程程中能中能否否與其他人與其他人玩耍玩耍和和交談交談？兒童不應該兒童不應該分分享享個個人信人信息息或與不認或與不認識識的人的人接接觸觸，并應，并應當提當提防壞防壞人。人。有些人工智能產品可以讓用戶與其他人在線玩游戲和交談。與他人在網上玩?？赡芎苡腥?，但你應當確保自己的孩子在任何時候都謹言慎行。閱讀關于在線禮儀和在線安全的內容。與你的孩子交談，并使用谷歌的家庭安全中 心 和“暢 享 互 聯網”，以及其他資源。-28-人工智能的使用人工智能的使用：如何如何使用人工智能與用戶互使用人工智能與用戶互動動？了解人工智能決策和了解人工智能決策和建建議議的的優優勢勢和

47、局限，并和局限，并牢記牢記人工智能決策可能會出人工智能決策可能會出現現錯誤錯誤。人工智能產品可能會根據收集的數據和你孩子之前的活動做出預測。這可能會幫助你的孩子做決定，但也可能會給用戶貼標簽或造成誤解。閱讀用戶評論。了解更多關于人工智能以及人臉和語音識別工作原理的內容。數據使用數據使用：它：它是是否否收集收集個個人信人信息息？為？為什么什么？如如何收集何收集？改變改變設設置置和偏和偏好好以保護以保護你你孩子的數據。了解孩子的數據。了解人工智能產品人工智能產品都都收集收集哪些哪些信信息息，在，在哪哪里里以及以及保保存存多多久久，有，有誰誰可以可以獲獲取取這些這些信信息息。人工智能產品可以收集你和你孩子的數據，并將其儲存起來。你家人和孩子的信息非常重要，應當得到保護。訪問產品網站并致電企業客服，了解人工智能產品都收集哪些信息，在哪里以及保存多久，誰可以獲取這些信息。!6?#ABCD6EF 譯自：Artificial Intelligence for Children,March 2022 by the World Economic Forum 譯文作者：工業和信息化部賽迪研究院 楊磊 聯系方式：18631728689 電子郵件：