人工智能技術應用的網信安全新挑戰-陳鐘-北京大學計算機學院教授.pdf

《人工智能技術應用的網信安全新挑戰-陳鐘-北京大學計算機學院教授.pdf》由會員分享，可在線閱讀，更多相關《人工智能技術應用的網信安全新挑戰-陳鐘-北京大學計算機學院教授.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、人工智能技術應用的網信安全新挑戰S&S Challenges with AI and Cybermatics陳鐘Chen Zhong北京大學計算機學院 教授、元宇宙技術研究所所長Professor,Peking University,Director of MTI,School of CSCONTENTS目 錄01.世界大變局下的安全與發展“網信事業”概念的提出，體現了互聯網對于國家經濟和社會發展的重要意義網絡安全和信息化是一體之兩翼、驅動之雙輪，沒有網絡安全就沒有國家安全，沒有信息化就沒有現代化02.人工智能案例分析與賽博學（Cybermatics:Safety&Security）人工智能自

2、動駕駛的兩座大山：致命的L4和算法倫理道德與法律03.重塑數字信任、直面問題與挑戰數字化轉型需要新型數字信任理念與機制區塊鏈引發的記賬科技演進才剛剛開始，將促使商業協作和組織形態發生變革2 0 2 3 W E S T L A K ED I G I TA L S E C U R I T YC O N F E R E N C E01世界大變局下的安全與發展01.習總書記：我們正處在世界百年未有之大變局 習總書記主持第十九屆中央政治局集體學習，2017年10月27日以來已經四十一次。第二次：2017年12月8日，主題：實施國家大數據戰略加快建設數字中國 第九次：2018年10月31日，主題：人工智能

3、發展現狀與趨勢 第十八次：2019年10月24日，主題：區塊鏈技術發展現狀和趨勢 第二十四次：2020年10月16日，主題：量子科技研究和應用前景 第三十四次：2021年10月18日，主題：推動我國數字經濟健康發展 形勢：世界百年未有之大變局 挑戰：新科技革命和產業變革的時代浪潮奔騰而至，如果我們不應變、不求變，將錯失發展機遇，甚至錯過整個時代 機遇：新科技革命和產業變革是一次全方位變革，將對人類生產模式、生活方式、價值理念產生深刻影響。信息化為中華民族帶來了千載難逢的機遇網絡安全和信息化對一個國家很多領域都是牽一發而動全身的網絡安全和信息化是一體之兩翼、驅動之雙輪，必須統一謀劃、統一部署、統

4、一推進、統一實施。做好網絡安全和信息化工作，要處理好安全和發展的關系沒有網絡安全就沒有國家安全，沒有信息化就沒有現代化。超前識變超前識變積極應變積極應變主動求變主動求變01.黨中央高度重視網絡安全與信息化網信事業、數字中國 2014年2月27日，中央網絡安全與信息化領導小組中央網絡安全與信息化領導小組成立并召開第一次會議。習近平任組長，李克強、劉云山任副組長。十八屆四中全會上決定完善網絡安全保護方面的法律法規 2015年7月1日，中華人民共和國國家安全法正式生效（由第十二屆全國人民代表大會常務委員第十五次會議通過的，國家主席習近平簽署第29號主席令予以公布）將“建設網絡與信息安全保障體系，提升

5、網絡與信息安全保護能力”作為維護國家安全的重要職責。2016年11月7日中華人民共和國網絡安全法于第十二屆全國人民代表大會常務委員會第二十四次會議通過，2017年6月1日起正式實施。2016年12月27日，經中央網絡安全和信息化領導小組批準，國家互聯網信息辦公室發布國家網絡空間安全戰略國家網絡空間安全戰略相較于2007年實施的信息安全等級保護管理辦法所確立的等級保護1.0體系，為了適應現階段網絡安全的新形勢、新變化以及新技術、新應用發展的要求，2018年公安部正式發布網絡安全等級保護條例（征求意見稿），國家對信息安全技術與網絡安全保護邁入等保2.0時代。2019年10月26日中華人民共和國密碼

6、法于第十三屆全國人民代表大會常務委員會第十四次會議通過，自2020年1月1日起施行。2021年6月10日中華人民共和國數據安全法于第十三屆全國人民代表大會常務委員會第二十九次會議通過，自2021年9月1日起執行。2021年8月20日中華人民共和國個人信息保護法于第十三屆全國人大常委會第三十次會議通過，自2021年11月1日施行。2021年7月30日中華人民共和國國務院第745號令，發布關鍵信息基礎設施安全保護條例，自2021年9月1日起施行。01.網絡安全標準化與制度建設快速跟進 2007年實施的信息安全等級保護管理辦法所確立的等級保護1.0體系 2018年公安部正式發布網絡安全等級保護條例（

7、征求意見稿），國家對信息安全技術與網絡安全保護邁入等級保護2.0時代。適應現階段網絡安全的新形勢、新變化以及新技術、新應用發展的要求。2021年7月30日中華人民共和國國務院第745號令，發布關鍵信息基礎設施安全保護條例，自2021年9月1日起施行。（關基保護一周年）02人工智能案例分析與賽博學（Cybermatics:Safety&Security）02.賽博空間（Cyberspace）與賽博安全（Cyber Security）最早見于加拿大作家威廉 吉布森在其1982年發表的短篇小說融化的鉻合金，并在1984年發表的小說神經漫游者中普及：將電腦直接移植入大腦的漫游者，實際上面臨的就是全球的

8、計算機網絡化，把人、機器和信息源聯結起來的虛擬空間 美國國防部：賽博空間是通過網絡化系統及相關的物理基礎設施，利用電子和電磁頻譜存儲、修改和交換數據的領域 賽博空間是一個非常真實的物理領域，該領域由使用電磁能量的電子裝置和網絡化系統組成，并貫穿于陸、海、空、天領域而同時存在，通過對數據的存儲、修改或交換連接各領域處理器傳感器控制器賽博空間現實空間網絡空間02.計算科學演進：計算機科學、信息科學、賽博科學m m-toto-1 1MCMC1 1-toto-m mUCUC主要目的主要目的(Main Purpose)Main Purpose)處理內容處理內容(Proc.Content)Proc.Con

9、tent)計算計算(Computation)Computation)信息信息(Information)Information)賽博賽博(CyberizationCyberization)數值/數據(Numbers/Data)媒體/流數據(Media/Stream Data)物+云(Things+Cloud/Edge)大型主機(Mainframes)個人計算機(Personal Computers)計算單元計算單元(Comp Element)Comp Element)內容/大數據(Context/Big Data)存在形式存在形式(Existing Form)Existing Form)Mark

10、 WeisersThree Relationsin ThreeComputing Eras基本行為基本行為(Basic Behavior)Basic Behavior)被動(Passive)主動(Active)交互(Interactive)大型(Large/Stationary)小型/便攜(Small/Portable)不可見/泛在(Invisible/Ubiquitous)研究領域研究領域(Field of Study)Field of Study)計算科學計算科學=計算機科學Computer ScienceCS/CE/SE/IS/IT信息科學Information Science(Info

11、rmatics)賽博科學Cyber ScienceCyber Science-CybermaticsCybermatics-中心目標中心目標(Central Goal)Central Goal)快速精確(Fast/Precise)豐富即時(Rich/On-demand)感知自動(Aware/Autonomic)人 與 計算機的關系1 1-toto-1 1PCPC1991年馬克 維瑟（Mark Weiser）在Scientific American上發表章“21 世紀的計算機”（The Computer for the 21st Century）02.Cyber Space vs Cyber C

12、ommand02.Panel DiscussionCybermatics is a holistic field for the systematic study of cyber entitiesand cyber-enabled worlds.Cyberization is the process for conjugationsof cyber entities with entities in conventional worlds with a suite ofCyber sciences including theories/technologies/engineering.AI

13、and Blockchain are two of the recent technology trends that arecatalyzing the pace of innovation and introducing radical shifts ineveryday life and every industry.How will they and other mergingCybertechnologiesimpactonCyber-XfieldsandaccelerateCyberization?This panel aims at providing an academic r

14、oundtable for scholars tobrain storming and discuss the topics include but not limited to:(1)Fundamental Problems of Cyber Sciences(2)Emerging and Promising Cyber Technologies(3)Disruptive Cyber-EnabledApplications(4)Governance and Evolutionary of the Cyber EcosystemThe Future of Cybermatics:AI and

15、Blockchain Empowered CyberizationVincenzo Piuri,University of Milan,ItalyFrank Hsu,Fordham University,USAQun Jin,Waseda University,JapanYanchun Zhang,Victoria University,AustraliaValerio Pascucci,University of Utah,USAPaulo Pires,Federal University of Rio de Janeiro,Brazil02.舉例一：Cyber-Health 他/她是誰？人

16、 有 心臟和大腦（Natural human-being peoplewith hearts and brains）機器人 只有 AI/程序（Man-made/Artificial peoplemade by human without hearts and brains butAI/programs）混合人呢？半人/半機（Mixtures:partial human/partial machine）數字克隆人？（Digital Clone：Body&Mind）谷歌首席未來學家庫茲韋爾(Ray Kurzweil)：2030年后人類將逐漸永生02.舉例二：人臉識別欺騙 清華大學研究小組運用GAN

17、對抗手機人臉識別攻擊進行測試，19款主流品牌手機及數款銀行應用被破解。據介紹，研究人員選取了20款手機進行測試，除了蘋果以外，還涉及到國內五大主流手機品牌的不同價位機型。經過測試，除了一臺iPhone11，其余安卓機型全部被成功解鎖。攻擊者進入手機系統后，可以任意翻閱機主的微信、短信、照片等私密信息。他們測試了一款2020年12月發布的國產品牌旗艦機，也是“一下子就打開了”。02.舉例三：對話機器人的倫理、道德、法律負責任的AI馬斯克創立的OpenAI實驗室預訓練大模型：GPT-2 15億個參數，GPT-3 1750億個參數。GPT-3.5、GPT-4、GPT-5Nvidia Megatron

18、 80億個參數，Microsoft 圖靈NLG 170億個參數。ChatGPT，10 billions USD investment into OpenAI by Microsoft in 2023，Bing+ChatGPT，after 1 billion investment in 2019如何應對：美國/歐洲：提出人工智能發展戰略和Safety and Responsible AI我國：算法治理互聯網信息服務算法推薦管理規定2022年3月1日起施行；互聯網信息服務深度合成管理規定自2023年1月10日起施行生成式人工智能服務管理辦法(征求意見稿)2023.4.11-5.10意見征集。石黑浩

19、教授02.GB/T信息安全技術 機器學習算法安全評估規范02.舉例：數字人的算法與AIGC02.AIGC:Midjourney V5上線用Mid journeyV5 畫出一對中國情侶A pair of young Chinese lovers,wearing jackets and jeans,sitting on the roof,the background is Beijing in the 1990s,and the opposite building can be seen-v 5-s 250-q 202.AI創作：真假難辨02.美國版權局：AI自動生成的作品，不受版權法保護 在美國

20、政府發布的3月16日聯邦公告中顯示，美國版權局（USCO）發布的美國法規第202部分，通過ChatGPT、Midjourney等AI自動生成的作品，不受版權法保護。USCO表示，作者通過Photoshop進行創作的圖片作品是受保護的，這是因為在整個過程中有人工參與進行創作，從最初的構思到最終作品完成。02.國際自動機工程學會SAE分級標準02.GB/T 40429-2021 汽車駕駛自動化分級分級名稱持續的車輛橫向和縱向運動控制目標和事件探測與相應動態駕駛任務后援設計運行范圍0級應急輔助駕駛員駕駛員及系統駕駛員有限制1級部分駕駛輔助駕駛員和系統駕駛員及系統駕駛員有限制2級組合駕駛輔助系統駕駛員

21、及系統駕駛員有限制3級有條件自動駕駛系統系統動態駕駛任務后援用戶(執行接管后成為駕駛員）有限制4級高度自動駕駛系統系統系統有限制5級完全自動駕駛系統系統系統無限制*排除商業和法律因素等限制02.血的教訓：“自動駕駛”“自動輔助駕駛”，過度營銷得以糾偏2016年1月20日，京港澳高速河北邯鄲段發生一起追尾事故，一輛特斯拉轎車直接撞上一輛正在作業的道路清掃車，特斯拉轎車當場損壞，司機高雅寧不幸身亡。經交警認定，在這起追尾事故中駕駛特斯拉的司機高雅寧負主要責任。然而時隔半年之后，高雅寧的家人卻把特斯拉的經銷商告上了法庭。高雅寧早在2011年剛滿十八歲的時候就考取了駕照，駕駛技術很好。而且，2013年

22、，高雅寧以在校大學生的身份參軍入伍，在部隊中也是擔任大型軍用車輛的駕駛員，一直表現優秀。在事故發生前的2015年9月，剛剛復員回家。02.致命的L4:翻過一座山02.致命的L4:翻過一座山、還有一座山世界各國人民評選出無人駕駛汽車饒命順序：世界各國人民評選出無人駕駛汽車饒命順序：嬰兒車嬰兒車女孩女孩男孩男孩孕婦孕婦男醫生男醫生女醫生女醫生女運動員女運動員男運動員男運動員男高管男高管胖女人胖女人胖男人胖男人無家可歸者無家可歸者男老人男老人女老人女老人狗狗罪犯罪犯貓貓03重塑數字信任、直面問題與挑戰03.人類社會的進步：農業社會、工業社會、信息社會世界經濟論壇創始人Klaus Schwab:區塊鏈

23、是第四次工業革命的核心成果:互聯網已經解決了分布式場景下傳遞 信息 的問題。分布式賬本科技可能會解決傳遞 可信信息 的問題(價值互聯網)。區塊鏈引發的記賬科技的演進，將促使商業協作和組織形態發生變革。核心價值在于為（通過合約為）多方協同關系提供 可信基礎03.信任理論與數字信任傳統信任理論信任（Trust）理論的研究是一個多學科交叉綜合的復雜議題。最早的信任理論是在哲學和政治學領域作為道德和政治關系的組成，20世紀以來，信任被各國學者廣泛引入到社會學、經濟學、心理學、博弈論和國際關系等多個學科中，形成不同范式的信任理論模型并在政府的公共治理實踐和企業的市場商業行為中大量應用。新型數字信任概念信

24、任關系會受到行為主體、信息溝通機制、社會依存關系和社會主要風險四種因素的影響。當人類文明進入以數字技術和數字經濟為基礎的數字文明時，這四種約束條件都發生了顛覆性變化，傳統社會的信任關系必然演變為新特點、新內涵的數字信任（Digital Trust）關系數字信任定義與作用基于網絡安全學科視域將數字信任（Digital Trust）定義為：鏈入/映射到數字空間的兩個網絡實體，基于可信數字身份和對對方網絡安全能力、數據活動的穩定預期，形成持續數字交互的過程和關系。數字信任的核心基石數字身份、數字信任關注的主要風險網絡安全和數據安全 數字信任基于數字技術和應用場景動態變化 數字信任是數字經濟市場的基礎

25、、現代政府數字治理的關鍵 數字信任能加快新興技術的創新應用、彌合國際/區域數字鴻溝當前亟需從可信數字身份出發，借助密碼技術、區塊鏈、大數據、人工智能等技術，打造面向數字經濟時代的新型數字信任體系，為政府和企業的數字化轉型奠定數字安全基礎設施，賦能數字經濟發展和智慧城市建設。03.數字化轉型需要新型數字信任理念農業文明（農業社會）工業文明（工業社會）數字文明（信息社會）主要信任模式人際信任：基于人機關系構建的信任關系，具備較強的情感性、信任傳遞性較低制度信任：基于政府監管和市場契約形成的信任關系，穩定性較強，信任傳遞性有限數字信任：基于數字技術在虛擬數字空間形成的信任關系，高度依賴于數字技術和數

26、字應用行為主體類型社會個體企業、各種社會組織所有鏈接/映射到數字空間的組織、人和物信息溝通機制通過熟人關系網絡（宗族、村落）和書信進行信息傳遞通過印刷術、電報、電話進行信息傳遞通過互聯網、移動設備進行信息傳遞社會依存關系以自給自足的農業生產為主，商業化水平、社會分工和依存度整體較低以社會化工業生產為主，依靠高商業化水平下發達市場經濟形成社會化分工，社會依存關系較高依靠互聯網平臺企業和跨國互聯網公司形成了技術數字經濟的精細化社會分工、社會依存關系極高社會主要風險自然災害、社會動亂為主工程災害、環境污染為主網絡安全、數據安全為主崔久強等.數字經濟時代新型數字信任體系構建J.信息安全與通信保密,20

27、20(10):10-1603.人類社會的進步：農業社會、工業社會、信息社會生產力：利用工具 AI-BigData-Cloud騎馬馬車汽車 火車 動車飛機飛船算盤計算器電腦手機電報電話互聯網軟件程序數據算法？生產關系：Blockchain共同參與、共識機制代碼即法律法律即代碼Code is Law03.關注人工智能應用安全新挑戰：互聯互信03.關注人工智能應用安全新挑戰：互聯互信物理物理世界世界社交世界心靈心靈世界世界Cyber-Social(CS)Cyber-Mental(CM)Cyber-Physical(CP)Cyber-enabledWorldsCyber-PSM(CPSM)CyberWorld03.關注人工智能應用安全新挑戰：互聯互信2023 WEST LAKEDIGITAL SECURITYCONFERENCE謝 謝THANK U愿中國網信事業安全發展走在世界前列！陳鐘北京大學計算機學院網絡與信息安全實驗室100871