商湯：“平衡發展”的人工智能治理白皮書-商湯人工智能倫理與治理年度報告（2022年）（28頁）.pdf

1、 “平衡發展”的人工智能治理 白皮書 商湯人工智能倫理治理年度報告（2022 年）人工智能倫理與治理委員會 2022 年 9 月 2 目錄【關于商湯】.3【關于本報告】.5 一、人工智能發展與治理概述.6 二、商湯的人工智能治理思考.10 三、商湯的人工智能治理理念.13 四、商湯的人工智能治理目標.16 五、商湯的人工智能治理實踐.18 六、合乎倫理的產品設計實踐.26 3 【關于商湯】【關于商湯】作為人工智能軟件公司，商湯科技以“堅持原創，讓 AI 引領人類進步”為使命，“以人工智能實現物理世界和數字世界的連接，促進社會生產力可持續發展，并為人們帶來更好的虛實結合生活體驗”為愿景，旨在持續

2、引領人工智能前沿研究，持續打造更具拓展性更普惠的人工智能軟件平臺，推動經濟、社會和人類的發展，并持續吸引及培養頂尖人才，共同塑造未來。商湯科技擁有深厚的學術積累，并長期投入于原創技術研究，不斷增強行業領先的全棧式人工智能能力，涵蓋感知智能、決策智能、智能內容生成和智能內容增強等關鍵技術領域，同時包含 AI 芯片、AI 傳感器及 AI 算力基礎設施在內的關鍵能力。此外，商湯前瞻性打造新型人工智能基礎設施SenseCore 商湯 AI 大裝置，打通算力、算法和平臺，大幅降低人工智能生產要素價格，實現高效率、低成本、4 規?；?AI 創新和落地，進而打通商業價值閉環，解決長尾應用問題，推動人工智能

3、進入工業化發展階段。商湯科技業務涵蓋智慧商業、智慧城市、智慧生活、智能汽車四大板塊，相關產品與解決方案深受客戶與合作伙伴好評。商湯科技堅持“平衡發展”的倫理觀，倡導“可持續發展、以人為本、技術可控”的倫理原則，實行嚴格的產品倫理風險審查機制，建設全面的 AI 倫理治理體系，并積極探索數據治理、算法治理相關的檢測工具和技術手段，致力于將倫理原則嵌入到產品設計、開發、部署的全生命周期，發展負責任且可評估的人工智能。目前，商湯科技（股票代碼：0020.HK）已于香港交易所主板掛牌上市。商湯科技現已在香港、上海、北京、深圳、成都、杭州、南平、青島、三亞、西安、臺北、澳門、京都、東京、新加坡、利雅得、阿

4、布扎比、迪拜、吉隆坡、首爾等地設立辦公室。另外，商湯科技在泰國、印度尼西亞、菲律賓等國家均有業務。5 【關于本報告】【關于本報告】商湯科技（以下簡稱“商湯”、“公司”或“我們”）主動向社會公眾報告公司的人工智能倫理與治理情況，讓全社會了解、監督商湯的人工智能倫理與治理工作。商湯面向社會各界發布人工智能倫理與治理報告，旨在通過及時披露商湯的人工智能倫理治理理念和實踐，促進商湯與利益相關方以及社會公眾之間的了解、溝通與互動，推動發展負責任且可評估的人工智能。作為商湯科技人工智能倫理與治理的年度報告，本報告于 2022年 9 月以中英文版本面向全球發布，如對本報告有任何建議和意見，請通過以下方式與商

5、湯聯系：電子郵箱： 6 一、一、人工智能發展人工智能發展與治理與治理概述概述 “2010 年前后，人工智能步入新發展階段，算力和數據成為主要驅動。此階段的人工智能，某種程度上不再以人的認知為依據，其規則跳出了當前人的認知邊界，引發更多有關治理的探討”商湯科技 CEO，徐立 過去十年，人工智能技術在深度學習、大數據，以及“摩爾定律”的支撐下取得一個又一個突破性進展，在計算機視覺、自然語言處理、語音識別等不同細分領域實現商業化落地。截至目前，人工智能已在城市治理、教育、金融、醫療、零售、交通、文娛、制造等眾多場景獲得廣泛應用，并正加速向科學研究、文藝創作等知識拓展類場景滲透。人工智能作為一項通用目

6、的技術，正在被廣泛的認可和采用，一個泛在智能的時代正在加速到來?？v觀歷史，通用目的技術在推動社會生產力實現躍遷的同時，不可避免地會對原有的社會生產關系帶來革命性影響。這一規律同樣適用于人工智能，尤其是，當數據驅動的人工智能突破人類既有認知的邊界時，其對原有社會生產關系形成的沖擊將比以往任何一次技術革命都要強烈。即便在尚處于“弱人工智能”階段的當下，人們對自動化決策系統魯棒性、公平性的關切，對算法推薦、深度合成以及生物特征信息識別技術濫用的擔憂，無不清晰地表明，如果不能盡快就人工智能的發展目標、發展方式以及應用規范等問題達成廣泛共識，人工智能技術走向規模應用將持續面臨信任挑戰。正因如此，人工智能

7、治理在過去十年里同樣獲得了企業、政府機7 構、國際組織、社會團體等多利益相關方的高度重視，并取得顯著進展。目前，人工智能治理已經進入落地實踐的階段目前，人工智能治理已經進入落地實踐的階段。從從發展歷程看發展歷程看，人工智能治理人工智能治理至今已經至今已經走過了三個走過了三個階段階段：圖 1 全球人工智能治理發展歷程 資料來源：商湯智能產業研究院 人工智能治理的人工智能治理的 1.01.0 階段階段：起于起于 2 2016016 年，年，以原則討論為主以原則討論為主。哈佛大學 Jessica Fjeld 等1在研究中將人工智能治理 1.0 階段的開端定位于 2016 年 9 月，由 Google

8、、Facebook、IBM、亞 馬 遜 和 微 軟 等 美 國 企 業 發 布 的 Principles of Partnership on AI。Anna Jobin 等2通過梳理來自全球 84份人工智能倫理相關的原則或準則文件同樣發現，2016 年之后發布的占比高達 88%；其中，私營企業和政府部門發布的文件數量分別占比 22.6%和 21.4%。人工智能治理的人工智能治理的 2.02.0 階段階段：起于起于 2 2020020 年，年，以政策討論為主以政策討論為主。2020 年 2 月，歐盟委員會發布人工智能白皮書，在全球率先提出了“基于風險的人工智能監管框架”。此后，主要國家紛紛跟進，

9、均在不同程度開展了監管人工智能相關技術及應用的探索。因此，2020年也常被稱為“人工智能監管元年”。1 https:/cyber.harvard.edu/publication/2020/principled-ai 2 https:/doi.org/10.1038/s42256-019-0088-2 8 據經合組織（OECD）的統計3，全球已有 60 余個國家提出了700 余項人工智能政策舉措，而德勤全球(Deloitte Global)則進一步預測 4，2022 年將會有大量關于更系統地監管人工智能的討論。人工智能治理的人工智能治理的 3.03.0 階段階段：起于起于 2 2022022 年

10、年，以技術驗證為主。，以技術驗證為主。進入 2022 年，隨著全球人工智能治理進程的持續推進，以及可信、負責任人工智能等相關理念的持續滲透，有關驗證人工智能治理如何落地實施的倡議日益增多。在政府側，2022年 5 月，新加坡政府率先推出了全球首個人工智能治理開源測試工具箱-“AI.Verify”；2022 年 6 月，西班牙政府與歐盟委員會發布了第一個人工智能監管沙箱的試點計劃。在市場側，美國人工智能治理研究機構 RAII 發布了“負責任人工智能認證計劃”，向企業、組織、機構等提供負責任 AI 認證服務。面向面向 3 3.0.0 階段階段，我們認為，我們認為，人工智能治理的人工智能治理的技術驗

11、證技術驗證應應當當包包括兩個層面括兩個層面：一是通過實踐驗證原則、政策要求和標準的可落地一是通過實踐驗證原則、政策要求和標準的可落地性，二是通過采用技術工具驗證各方對人工智能治理規范的落實性，二是通過采用技術工具驗證各方對人工智能治理規范的落實程度。程度。未來，未來，深入推進深入推進人工智能治理人工智能治理還還應重點應重點處理好處理好以下“三組以下“三組關系”：關系”：3 https:/ https:/ 9 圖 2 人工智能治理落地應重點關注“三組關系”資料來源：商湯智能產業研究院 理念與行動的關系理念與行動的關系。IBM 的一項研究5發現，雖然超過半數接受其調研的組織發布了或公開認可了人工智

12、能倫理的共同原則，但只有不到四分之一的組織將其付諸實施。人工智能倫理治理在實踐過程中仍面臨諸多現實挑戰：一是人工智能治理與現有組織結構的融合問題。人工智能治理工作涉及信息安全、數據治理等與現有組織結構重疊的領域，職責交叉、工作范圍難以厘清等問題在組織層面對推動落地實踐形成了一定的制約；二是倫理治理尚未真正融入企業的業務價值閉環。在推動人工智能倫理治理工作時，業務方可能會因看不到短期收益，出現對倫理治理工作重視程度降低、治理工作落實缺位等情況；三是倫理治理落實缺乏共識性標準的問題。政策與實踐的關系政策與實踐的關系。政策制定者與技術開發者的視角不同、立場不同，對政策意涵的理解也不盡相同，在推動人工

13、智能治理落地的過程中，還需要將政策要求轉化為技術和業務團隊可執行的實踐標準。處理好政策與實踐的關系，應重點考慮以下四方面：一是政策制定應考慮產業、技術應用的動態性和多樣性，為行業發展提供一定寬松的環境；二是不同機 5 https:/ 10 構、部門、國家應努力推動 AI 治理標準的互聯互通；三是應加強 AI 治理實踐部門在政策制定過程中的參與程度，提升政策要求的可落地性；四是政策層面與產業層面在 AI 治理相關問題的定義方面應當尋求更多共識。技術與用戶的關系技術與用戶的關系。目前，AI 治理仍主要局限于專業討論、企業內部治理領域，尚未將最終用戶納入 AI 治理的工作體系之中。因此，市場或者社會

14、上對 AI 相關的治理問題還存在不少的誤解，有些用戶會將暫時的技術問題定義為長期性的治理問題，例如，將新部署的 AI 系統暫時性的識別效果不佳的問題理解為算法歧視問題。IBM 的研究6發現，只有 40%的消費者相信企業在開發和部署新技術時是負責任且合乎倫理的，用戶對 AI 治理缺乏深度認識。因此，在推動 AI 治理落地的過程中，還應處理好技術與用戶間的關系。為此，技術提供方應使用用戶語言講解技術，AI 治理機構應主動厘清治理挑戰的根源、深化用戶對 AI 治理問題的理解，并且提升用戶參與 AI 治理的能力。此外，企業還應加大對治理技術工具的投入，提升 AI 治理的可驗證性。二二、商湯商湯的的人工

15、智能治理人工智能治理思考思考 “今天，科技與人類活動深度結合。我們需要科技倫理的規范和人文精神的熏陶，促進科技朝著有益于人類的方向健康發展。因此，6 https:/ 11 我們十分重視人工智能倫理治理”商湯科技 CEO，徐立 長期以來，商湯始終高度重視人工智能的治理問題，自 2019 年起，便在內部建立并持續維護“全球 AI 倫理風險庫”，涵蓋上百項全球人工智能倫理正面及負面事件、案例分析等。在密切跟蹤全球人工智能治理發展趨勢的同時，我們不斷深化自身對人工智能治理的認識和理解，并逐步形成對人工智能治理問題的系統性思考?；趯θ蝻L險案例的深入分析，我們認為，人工智能時代的風我們認為，人工智能時

16、代的風險挑戰主要來自數據、算法和險挑戰主要來自數據、算法和應用管理應用管理三個層面，具體來說三個層面，具體來說：數據層面數據層面的風險主要涉及個人信息保護、數據治理與數據質量三個方面。其中，個人信息保護風險是指在人工智能的開發、測試、運行過程中存在的隱私侵犯問題，這一類問題是當前人工智能應用需要解決的關鍵問題之一。數據質量風險是指用于人工智能的訓練數據集以及采集的現場數據可能會存在的質量問題，以及導致相應的不良影響，這也是人工智能特有的一類數據風險問題。數據安全風險是指人工智能開發及應用過程中，企業對持有數據的安全保護問題，其涉及數據采集、傳輸、存儲、使用、流轉等全生命周期，以及人工智能開發和

17、應用等各個環節。算法算法層面層面的風險主要涉及算法決策、算法“黑箱”與算法安全三個方面。其中，算法決策風險是指因算法推理結果的不可預見性與人類自身的認知局限，導致無法預測智能系統做出的決策原因與產生的效果，歸責問題便是此類風險的典型12 代表。算法“黑箱”風險主要指因采用復雜神經網絡的算法導致決策不透明與無法被充分解釋，而造成的可解釋性風險。算法安全風險是指因模型參數泄露或被惡意修改、容錯率與彈性不足引發的風險。應用管理應用管理層面層面的風險涉及算法歧視、倫理沖突、勞動競爭等多個方面。例如，因人為原因、原始訓練數據存在偏見性、機器在自我學習過程中輸入了數據的多維不同特征，而造成算法將偏見引入決

18、策過程的算法歧視風險；因算法設計者出于自身的利益，對用戶進行不良誘導、過度依賴算法本身、盲目擴大算法的應用范圍而導致的算法濫用風險；以及人工智能在長期對于就業的負面影響，加劇不正當競爭與市場支配地位，引起責任界定的困境與風險?；趯θ蛉斯ぶ悄苤卫碓V求的分析，并結合自身對技術和市場的理解，我們認為，人工智能治理我們認為，人工智能治理應當是一個價值牽引、技術先行、應當是一個價值牽引、技術先行、多方參與、分層推進多方參與、分層推進的的動態動態進進程程。從治理從治理效果效果看，人工智能治理看，人工智能治理的實的實現由低至高，可分為現由低至高，可分為可用、可靠、可控、可信四個可用、可靠、可控、可信四個

19、層次層次?！翱捎谩笔侵溉斯ぶ悄芟到y在功能、性能層面應當能夠滿足應用場景需求?！翱煽俊笔侵溉斯ぶ悄芟到y在安全性、魯棒性層面應當能夠滿足部署環境和可持續運營要求?！翱煽亍笔侵溉斯ぶ悄芟到y在功能層面應當能夠充分保護人類的自主意志和權利、保障人類對系統的控制權。13 “可信”是指人工智能系統的設計和應用應當符合人類的價值理念和倫理道德。圖 3 人工智能治理的“分層目標”資料來源：商湯智能產業研究院 三、商湯的人工智能治理理念三、商湯的人工智能治理理念 “人工智能的發展和治理要并行。治理如果過早出現，可能會限制人工智能的發展；但若過于滯后，亦可能帶來災難性后果，且抬高后續治理成本”商湯科技 CEO，徐立

20、 從技術成熟度及行業普及度的角度觀察，人工智能技術及其應用仍然處于發展初期，與人工智能相關的經濟形態、產業生態、商業模式還處在探索階段。與歷史上涌現的其他通用目的技術一樣，人工智能技術及其相關產業的健康和可持續發展，既需要符合技術產業發展特點的創新空間，也需要規則層面的正確引導和保障。因此，我們認我們認為，為，人工智能的人工智能的發展發展與與治理治理應當應當并行，兩者的并行，兩者的功能功能和關系正如和關系正如汽車汽車的的“發動機發動機”和和“方向盤”一樣，“方向盤”一樣，相輔相成、相輔相成、缺一不可。缺一不可。14 基于以上對于人工智能發展與治理的認識，我們我們于于 2 2021021 年正式

21、年正式提出提出了了“平衡發展”的人工智能倫理觀，并進一步明確了“平衡發展”的人工智能倫理觀，并進一步明確了“以人為本、“以人為本、技術可控、可持續發展”的倫理原則技術可控、可持續發展”的倫理原則。具體來說，“平衡發展”的倫理觀就是倡導，統籌推進人工智能的治理和發展，以人工智能治理促進人工智能產業的健康可持續發展和經濟社會的數字化轉型、智慧化升級?！耙匀藶楸尽本褪且非蟛煌幕g的道德共識，尊重、包容、平衡全球不同國家地區的歷史、文化、社會、經濟等方面的發展差異，確保人權和個人信息保護，以及無偏見地應用技術?！凹夹g可控”就是要確保人工智能由人類開發、為人類服務、受人類控制，相應地，其人工智能應

22、用導致的倫理責任也應由其控制者（人類）承擔?！翱沙掷m發展”就是要促進社會、經濟、文化及環境的可持續發展，崇尚開放及包容合作，積極探索創新及可持續的人工智能治理模式的應用。15 圖 4 商湯人工智能倫理原則的核心意涵 資料來源：商湯智能產業研究院 同時，基于“平衡發展”的倫理觀，我們我們圍繞圍繞“以人為本、技術以人為本、技術可控、可持續發展可控、可持續發展”的倫理原則，進一步提出的倫理原則，進一步提出了了合乎倫理的產品設計合乎倫理的產品設計要求：要求：尊重人權。應保護人類自由、尊嚴等基本權利，維護全球公認的道德倫理，提升人類職業發展與生活體驗，不得損害人類的主體地位。向善。應促進人類可持續發展，

23、保護弱勢群體利益，不應違背人類倫理道德的基本方向，在使用過程中合理合法合規。無偏見。使用的數據應該保持相對的客觀中立、具有整體的代表性，應兼顧普遍適用性和特殊人群需求。保護隱私。對個人信息的收集與使用應堅持最小必要原則，特別是對個人敏感信息的處理應基于個人信息主體的明示同意，或法律規定的特定情形?？煽靠煽?。在一定時間內、一定條件下可以無故障地實現特定的功能；并且，在故障情況下，能實現有效停止和人類接16 管。透明可解釋。應優先采用可解釋性強的算法模型，應向用戶提供清晰、易懂、充分的產品運行機制說明，并明確告知用戶產品的局限性及潛在的風險?？沈炞C。算法模型以及結果均應可以在同等或近似的條件下被重

24、復驗證?？蓡栘?。應明確研發、設計、制造、運營和服務等各環節主體的權利義務，應具備相關機制實現對輸出結果背后的模型和數據進行追溯。四、商湯的人工智能治四、商湯的人工智能治理理目標目標 “隨著新技術的興起，科技倫理面臨許多新的課題，需要全社會各界聯合加強研究。商湯科技作為業內領先企業，做好人工智能倫理相關工作責無旁貸”商湯科技副總裁，人工智能倫理與治理委員會主席，張望“AI 倫理風險的邊界和核心要求是發展負責任的人工智能。在治理和合規上企業要先想一步，先做一步”商湯科技聯合創始人、副總裁，人工智能倫理與治理委員會委員，楊帆 信任是商業社會運行的底層邏輯，也是新興技術獲得廣泛認可的基本前提。商湯作為

25、一家人工智能領域的科創企業，向來將市場與用戶的信任視為自身發展的“生命線”。因此，我們從創業之初便將負責任地開發與部署人工智能作為指導一切行動的根本遵循。同時，我17 們認為，負責任的人工智能不僅僅是一項原則要求，也應當是具體的、可實施的，而實現這項目標的關鍵就在于人工智能治理體系的建構。隨著對人工智能治理探索的深入，我們深刻地認識到，人工智能治理體系的建構不應停留在“口頭上”、“紙面上”，還應做到有跡可循、有據可查。因此，我們在業界首次提出，發展“負責任且可評估”我們在業界首次提出，發展“負責任且可評估”的人工智能，并將其作為我們開展人工智能治理的愿景目標。具體來的人工智能，并將其作為我們開

26、展人工智能治理的愿景目標。具體來說，“負責任且可評估”的人工智能應說，“負責任且可評估”的人工智能應當當滿足滿足以下以下基本要求基本要求：對人負責。人工智能系統應當充分尊重和保護人的尊嚴與權利，有利于提升人的健康福祉。對社會負責。人工智能系統應當充分尊重、適應不同社會文化的風俗習慣，有利于促進社會的健康可持續發展。對環境負責。人工智能系統的開發應當充分考慮對自然環境的影響，其使用應當有益于環境的可持續發展。責任可溯源。人工智能系統應當具備充分的可溯源能力，確保不同的子模塊和環節具有明確的責任方。風險有評估。人工智能系統在上線部署前應當通過充分的倫理風險評估審查。過程可評估。人工智能系統的全生命

27、周期及相應的治理過程應當具備完善的技術日志和文檔記錄。效果可評估。人工智能系統在全生命周期中對人工智能治理要求的落實應當具備客觀的支持憑據。18 圖 5“負責任且可評估的人工智能”的核心特點 資料來源：商湯智能產業研究院 五、五、商湯的人工智能治理實踐商湯的人工智能治理實踐 （一）組織建設（一）組織建設 商湯是業界最先組建人工智能倫理與治理委員會并將倫理治理工作作為公司戰略級方向的科技創新企業之一。為系統應對數據、算法及應用等不同層面的人工智能倫理風險，2020 年 1 月，商湯正式成立“人工智能倫理與治理委員會”，統籌推進人工智能倫理治理工作體系建設。在人員構成上，人工智能倫理與治理委員會由

28、內、外部委員共同組成，其中，外部委員 2 名、內部委員 4 名，他們均來自技術、工程、法律、倫理等相關專業背景。同時，委員會下設秘書處、專家顧問組和執行工作組，保障倫理治理與審查工作的獨立性、透明性、專業性和有效性。此外，為確保人工智能倫理委員會的高效運轉、強化全體員工對人工智能倫理治理的貫徹落實，我們先后制定了人工智能倫理與治理委員會管理章程、商湯集團倫理治理制度等相關配套管理制度。19 圖 6“人工智能倫理與治理委員會”的工作職責及內容 資料來源:商湯科技 與此同時，為強化數據和算法層面的倫理風險治理，商湯全面打通內部組織結構和工作流程，賦予集團“信息安全管理委員會”開展個人信息及隱私數據

29、保護評估和算法安全評估的工作職責。（二）機制建設（二）機制建設 目前，針對人工智能領域面臨的數據、算法及應用管理風險，商湯建立了覆蓋產品全生命周期的風險控制機制，初步形成了人工智能治理閉環：在在應對應對數據風險方面數據風險方面，我們建立了“個人信息及隱私數據影響評估機制”，并設置“數據安全與個人信息保護委員會”，對涉及個人信息及隱私數據獲取、存儲、傳輸、處理的產品開展個人信息及隱私數據影響評估，確保產品遵循默認符合個人信息保護的設計要求。在在應對應對算法風險方面算法風險方面，我們建立了“算法定級備案管理與安全評估機制”，成立了“算法安全管理工作組”，依據算法的數據類型、業務場景、倫理風險等級、

30、數據質量、存儲現狀、用戶規模、數據重要程度、對用戶行為的干預程度將算法進行分類分級備案管理，并從技20 術局限、算法設計、軟件缺陷、數據安全、框架安全等相關維度對算法風險進行安全評估。在在應對應對應用管理風險方面應用管理風險方面，我們建立了“倫理風險分級分類管理機制”，設立了“倫理風險審核小組”，對產品設計、開發、部署、運營的全生命周期實施分階段、分目標的倫理風險分級分類管理，并建立了配套的風險自查、評估、審查和跟蹤審查流程。我們依據產品對最終產品安全、個人權益、市場公平、公共安全和生態安全的影響程度，將倫理風險由低至高劃分為 E0 至 E4，五個等級：E4 級產品，即禁止類產品。指背離商湯倫

31、理原則、違反法律法規要求的人工智能產品。E3 級產品，即倫理高風險產品。指直接關系最終產品安全、個人權益、市場公平、公共安全和生態安全的產品。E2 級產品，即倫理中風險產品。指對最終產品安全、個人權益、市場公平、公共安全和生態安全具有間接或潛在重要影響的產品。E1 級產品，即倫理低風險產品。指對最終產品安全、個人權益、市場公平、公共安全和生態安全不具備明顯影響的產品。E0 級產品，即倫理無風險產品。指不包含機器學習算法、不具備人工智能功能的產品。21 圖 7 產品倫理風險分級分類管理評估標準 資料來源:商湯智能產業研究院 此外，為保障人工智能治理體系的有效落實、推動形成倫理治理“人人有責”的企

32、業文化，我們還建立了倫理風險目標管理機制、倫理風險事件處置機制和倫理治理質量控制機制。（三）工具建設（三）工具建設 為推動發展“負責任且可評估”的人工智能，我們在內部開發了一系列覆蓋數據治理、算法測評、模型體檢、倫理審查的流程工具和技術平臺。在應對數據風險方面在應對數據風險方面，我們開發了統一的數據治理平臺以及規范的數據采集流程保證流入的數據準確性、均衡性、合理性，并依托于數據個人信息保護平臺實現對于數據的隱私加密，全方位保證數據可用性、可靠性和安全性。同時，我們設計了一套產品研發全流程的個人信息保護評估清單，推動面向個人信息保護的產品功能設計，確保人工智能產品設計流程，使收集和處理（包括使用

33、、披露、保留、傳輸和處置）限于所確定的必須的目的。此外，我們在數據處理過程中，通過開發、使用自動化標注工具，22 減少人工接觸的數據量，在模型訓練的源頭降低引入人類偏見的風險，并且，數據標注平臺具備訪問控制和身份驗證功能，僅能由認證的數據標注人員進行訪問。目前，我們通過了多項網絡安全及數據安全國際性權威資質，包括：ISO/IEC 27001:2013 信息安全管理體系國際認證、ISO/IEC 27701:2019 個人隱私信息管理體系（PIMS）標準認證、ISO/IEC 29151:2017 個人信息保護實踐指南、BS10012 個人信息安全管理體系認證，所售產品也獲得了重要信息系統等級保護三

34、級認證、可信人臉認證專項檢測證書等。在應對算法風險方面在應對算法風險方面，算法黑箱是目前算法不可信任和不可解釋的重要風險來源。在設計模型時，我們會將各種信息在代碼中輸出，當算法決策出錯時，可以實現快速追溯原因。同時，我們通過建立模型體檢平臺，對模型進行推理攻擊和逆向攻擊測試，可以檢出算法模型對數字世界白盒對抗、數字世界黑盒查詢對抗魯棒準確率、數字世界遷移攻擊對抗魯棒準確率、物理世界對抗樣本攻擊成功率、模型后門攻擊成功率等測試因子進行檢測并評分，判定算法模型是否符合設計要求。在算法模型不符合設計要求的情況下，我們會啟用相應的算法修復模塊進行安全性的提升；同時，我們在系統層面建立 AI 防火墻，用

35、于抵御對抗樣本的攻擊。在模型發布時，會在產品定義的測試集上做測試，并進行人工測試，保證測試集規模足夠大，且在各類上的精度都可以達到要求的水平。此外，我們基于真實場景下的數據集的算法驗證與評測，開發了23 “算法測評工具”：通過對主要場景和長尾場景的算法測評的全覆蓋、計多元化的測評項目和豐富的指標體系，以及足夠充分的數據集和全方面的評測方案對算法進行充分的評測，實現了所有商業化算法的可信與可控。在應對應用管理風險方面在應對應用管理風險方面，我們結合產品倫理風險審查的不同階段設計了一整套倫理風險自查工具，并開發了產品倫理風險審查平臺。目前，所有商湯人工智能產品在立項、發布，再到上線運營的不同階段均

36、需通過產品倫理風險審查平臺進行倫理風險審查，并且，在進入審查程序之前，可以利用自查工具開展審查前的準備工作。在審查過程中，我們可選擇駁回新產品方案、中斷進行中的產品開發項目，或下線不符合我們原則及標準的現有產品。憑借上述實踐，我們的人工智能倫理治理體系和相關技術工具，多次獲得第三方機構的積極評價，并先后入選哈佛商業評論及中國人工智能產業發展聯盟“可信 AI”的優秀案例。我們發布的首份 AI 可持續發展白皮書也獲得聯合國人工智能戰略資源指南收錄。24 圖 8 商湯人工智能治理實踐獲得的外部認可 資料來源:商湯科技 25 （四）文化建設（四）文化建設 我們深刻地認識到發展負責任且可評估人工智能的關

37、鍵還在于在集團層面形成倫理治理的組織文化。為了統一認識、強化執行，我們陸續發布了商湯集團倫理治理制度、商湯集團人工智能倫理與治理委員會管理章程、商湯集團產品倫理風險評審指引，為深化員工對倫理治理體系和實踐的認識提供統一的指引和明確的標準。為加強員工對人工智能治理話題的關注和理解，我們建立了定期宣傳和培訓機制，每周都會向全體員工發送人工智能治理相關的重要動態，并會定期組織研討會、邀請內外部專家開展倫理治理培訓。（五）生態建設（五）生態建設 我們積極參與國家信安標委、IEEE 等人工智能倫理治理相關的標準組織，并在多個工作組擔任組長或副組長。同時，我們也與清華大學、上海交通大學、新加坡“人工智能國

38、際研究院”等國內外知名高校和專業研究機構建立起密切的倫理研究合作機制，并聯合國內外的行業伙伴發起“亞洲科技促進可持續發展目標聯盟”（Tech4SDG），穩步推動發展負責任且可評估的人工智能。目前，Tech4SDG 聯盟涵蓋亞洲地區 9 個國家和地區，機構成員超過 40 家，包括中國大陸、中國香港、中國澳門、新加坡、印度、沙特等地的多家知名高校和智庫。26 六、六、合乎倫理的產品設計實踐合乎倫理的產品設計實踐 案例案例展示展示：“元蘿卜元蘿卜”AI”AI 下棋機器人下棋機器人 當手機、平板電腦越來越司空見慣，“讓孩子放下電子設備”成了眾多家長的需求和心聲。2022 年 8 月 9 日，商湯正式推

39、出了首個家庭消費級人工智能產品“元蘿卜 SenseRobot”AI 下棋機器人?！霸}卜 SenseRobot”AI 下棋機器人結合商湯領先的 AI 視覺技術和機械臂技術，將其濃縮到一個在家庭書桌上就能擺放的實體機器人產品中，讓孩子從電子屏幕中跳脫出來，在學棋、下棋的同時，還能提升專注力，保護視力不傷眼。圖 9“元蘿卜 SenseRobot”使用場景展示 資料來源：商湯科技官網 “元蘿卜 SenseRobot”AI 下棋機器人的外觀簡約、酷萌、科技感十足，以一個小小“宇航員”的形象呈現，如同家里來了一位新成員，與孩子“面對面”進行象棋教學和對弈。商湯科技董事長兼 CEO 徐立在發布會中談到：“

40、我們希望通過創新和領先的人工智能技術，打造一個能夠真正思考和行動的27 機器人產品，讓產業級 AI 技術走進千家萬戶，與孩子、長輩進行真實互動；不僅能陪伴兒童的成長，也讓長輩輕松享受高科技，消除數字鴻溝，用科技搭建情感的橋梁，為全家人帶來更多樂趣?！痹}卜 SenseRobot”包含 AI 學棋、殘局挑戰、棋力闖關、巔峰對決等多種模式，可以從“0 基礎”為孩子介紹和講解象棋的文化、規則及每個棋子的使用技巧，在鍛煉思維的同時，還能提升孩子的文化素養。此外，它還帶來 100 多個殘局設定和 26 個等級的棋力對戰，讓用戶不僅可以體驗“執子下棋”的真實感受，還能開動腦力享受高水平對弈的樂趣?；谏虦?/p>

41、原創的“AI 黑科技”，“元蘿卜 SenseRobot”AI 下棋機器人可以做到“手眼協同”，實現毫米級的操作精準度，保證在下棋對弈過程中的運行順暢和落子準確。不僅如此，它還“滿腹經綸”，得到國家體育總局棋牌管理中心、中國象棋協會的權威認證和授權，為用戶提供專業課程，并實現在家里足不出戶就能完成 16-13級的官方象棋考級評測，獲得專業證書?！昂猛婢鸵乙黄稹边@是“元蘿卜 SenseRobot”首批測試用戶的真實反饋?！霸}卜 SenseRobot”AI 下棋機器人通過 AI 深度學習和自我訓練，棋力水平達到大師級，無論初學者還是已經具備一定象棋水平的玩家都能找到適合自己的對弈等級。不僅如此，它還能讓全家人一起出謀劃策，共同挑戰，提升孩子與父母、長輩之間的互動感，成為全家人的情感紐帶。鍛煉思維、全家陪伴，“元蘿卜 SenseRobot”AI 下棋機器人通28 過踐行“以人為本”的倫理設計理念，為孩子的成長打開通向更高成就的階梯。