數據基礎設施應用與實踐-劉博.pdf

《數據基礎設施應用與實踐-劉博.pdf》由會員分享，可在線閱讀，更多相關《數據基礎設施應用與實踐-劉博.pdf（31頁珍藏版）》請在三個皮匠報告上搜索。

1、2019.102022.122020.032022.062024.01國家數據要素戰略數據要素流通的三個重要方面數據資源入表數據要素市場數據交易所數據集團公共數據授權運營數數據據基基礎設施施適應數據要素特征、促進數據流通利用、發揮數據價值效用數數據據安安全全保保障障體體系系隱私私保保護數數據據加加密密數數字字身身份份數數據據運運營清清算算結算算審計監管管爭爭議仲仲裁裁數數據據應用用智智能能決決策策輔助助設計智智慧慧管管理理數數據據流流通通數數據據空空間隱私私計算算區區塊鏈數數據據脫脫敏敏數數據據沙沙箱箱數數據據處理理云云計算算邊緣計算算分分布布式式計算算大大數數據據處理理AI分分析析綠色色低低

2、碳碳數數據據匯聚聚清清算算結算算物物聯網網、區區塊鏈、標識編碼和和解解析析可信登記、精準確權高高速速通通信信網網絡高效接入分分類分分級數據基礎設施數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算區塊鏈數據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入分類分級數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保

3、護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算數據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈分類分級第二屆全球數字貿易博覽會：首次提出數據基礎設施建設 劉烈宏解讀國家數據局工作任務。國家數據局局長劉烈宏首論數據基礎設施：供得出、流得動、用得好第二屆全球數字貿易博覽會世界互聯網大會期間，劉局長蒞臨杭州濱江智慧E谷參觀考察，聽取范淵董事長關于數據可信流通基礎設施的匯報中國數谷（杭州濱江）恒腦（大模型）+AiSort提升

4、分類分級效率30倍數據分類分級數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算數據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈分類分級大模型驅動的數據分類分級效率提升30倍業內首家分類分級產品結合大模型進行落地的廠商數據分類分級效率提升30倍初始識別更準確結果復核更快速效果調優更便捷部分規則：學生姓名-1:(表注釋 正則匹配 本科生|

5、?？粕鷟研究生|獎學金)&(字段注釋 正則匹配 姓名|姓名拼音)學生姓名-2:(表名 正則匹配student|xuesheng|bks|yj s|bys|xs|j xj|zks|benke|yanj i u|zhuanke|)&(字段名 正則匹配XM$|XSXM|nam e|cn_nam e|chi nese)教職工姓名-3:(表名 正則匹配f acul ty)&(字段名 正則匹配XM$|XSXM|nam e|cn_nam e|chi nese)傳統方方法法全部指令：學生姓名請分到類別：學生管理數據-學生基本數據-學生基本數據-學生基本數據子類教職工姓名請分到類別：教職工數據-教師基本數據-教

6、職工基本數據-教職工基本數據子類設備負責人姓名請分到類別：教育資源數據-儀器設備管理數據-儀器設備基本數據-儀器設備基本數據子類A Ai iS So o r rt t工工具具+恒恒腦大大模模型型解解決決 姓姓名名 等等類似似1 1 個個問題需需要要約2 2 小小時解解決決 姓姓名名 等等類似似1 1 個個問題需需要要約5 5 分分鐘提提升升2 20 0倍倍以以上上某政數局智能數據分類分級實踐AiSort 作為數據安全平臺方案的一個重要組件，與某大數據局的編目系統進行了對接，通過中間表交互及時反饋與更新分類分級標簽變化。分類分級的關鍵作用分類分級策略制定技術管控優化改進承上啟下組織構建在此基礎上

7、，也具備成熟的API能力，將分類分級結果與AiMask數據脫敏、用戶登錄中心、API安全代理、AiThink用戶與實體分析系統等進行對接聯動。進行持續的數據安全分級監測與管控。已經完成487103數據項的分類分級工作，分類分級率已達98%數據脫敏數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈分

8、類分級自動化智能數據脫敏數據脫敏基于分類分級標簽的自動化數據脫敏數據脫敏系統可基于分類分級結果選擇不同脫敏策略，包括：1.利用分類結果顯著提升敏感數據識別能力：不再局限于脫敏系統內置的百個敏感標簽，而是拓展至500多個分類。例如原先針對所有“姓名”數據無法進行區分，僅可配置一種通用的脫敏算法，聯動后可針對性的對“醫生姓名”、“患者姓名”、“客戶姓名”等不同姓名數據基于實際場景選擇不同脫敏策略。2.根據分級結果的脫敏策略選擇：例如配置高敏感等級數據（4級）全部脫敏，或針對高敏感等級數據采用保護性更強的脫敏策略。某市大數據局-數據脫敏實踐客戶背景大數據局作為數據資源的統籌管理單位歸集了來自全市各職

9、能部門的公共數據，其中包含很多個人信息，如：姓名、身份證號、手機號、車牌號、地址等。不同部門要求這些數據在共享、公開及使用過程中按照特定要求進行脫敏。項目挑戰 滿足不同部門的個性化脫敏要求：部分歸集部門明確要求對原始數據按照特定要求進行脫敏處理，例如公安部門要求手機號4-6位遮蔽處理等。滿足數據脫敏的處理時效性要求：該大數據局數據都存儲在ODPS數據庫環境中且歷史存量大，通過常規數據脫敏方式無法滿足其時效性要求。技術優化 優化脫敏配置交互：可事先針對不同部門制定自定義脫敏模板和個性化脫敏規則，保障客戶日常使用中可一鍵快速配置脫敏任務。優化數據寫入方案：將通過JDBC方式寫入數據的常規方案升級為

10、通過Tunnel數據通道進行上傳寫入的優化方案。將原耗時數個小時的百萬級數據脫敏任務縮短至十幾分鐘完成，脫敏速度提升10倍以上。優化任務運行策略：為滿足了脫敏數據在共享、公開及使用過程中的時效性要求。個性化脫敏保留姓氏，其他以*替代保留前X后X，其他以*替代保留前X后X，其他以*替代保留前X字符，其他以*替代保留至社區，其他以*替代數字隱藏，并以*替代姓名身份證號手機號車牌地址描述信息上為某部門部分特定脫敏要求。對數據量大的表進行分區增量脫敏對數據量小的表進行定時全量脫敏針對B/S架構系統，提供“零改造 無感知”的加密傳輸安全服務數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用

11、數據安全保障體系隱私保護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈分類分級隱私計算數據加密數據脫敏數據加密整體解決方案密碼管理層租戶自服務門戶產品訂購產品配置工單中心用戶管理運營管理門戶產品管理訂單管理工單管理租戶管理許可管理監控告警密碼態勢日志管理密碼服務層密碼資源層云服務器密碼機SSL VPN網關簽名驗簽服務器安恒云-天池密碼資源池應用對接服務密碼咨詢服務方案編制服務密碼培訓服務

12、密碼專家服務管理制度密碼管理體系人員管理建設運行應急處置密鑰產生密鑰全生命周期管理密鑰分發密鑰存儲密鑰使用密鑰更新密鑰歸檔密鑰撤銷密鑰備份密鑰恢復密鑰銷毀云上密碼應用用戶終端密碼應用網絡和通信安全密碼應用設備和計算安全密碼應用應用和數據安全密碼應用PC端智能密碼鑰匙國密瀏覽器移動端協同簽名服務通信實體身份鑒別通信數據完整性通信數據機密性訪問控制信息完整性登錄用戶身份鑒別遠程管理安全通道訪問控制信息完整性日志記錄完整性重要可執行程序完整性登錄用戶身份鑒別訪問控制信息完整性數據傳輸機密性&完整性數據存儲機密性&完整性數據原發&接收不可否認性超融合服務器云平臺密碼安全租戶密碼安全租戶A應用租戶B應用

13、租戶C應用.平臺A應用平臺B應用平臺C應用.簽名驗簽服務安全通道服務數據加解密服務安全認證服務密鑰管理服務協同簽名服務某政數局建設統一密碼服務平臺，集約開展國密改造根據文件要求，結合XX市政務云網絡環境部署基礎版密碼服務平臺，確保服務可用；選擇某個業務系統，通過密碼改造，滿足密評需求；項目后期能夠根據個性化系統的情況，逐步完善密碼服務平臺的各項密碼服務（豐富密碼資源池、平滑擴容）。項目背景項目成果目前密碼服務平臺已接入10+業務系統，并順利幫助用戶完成密評改造建設，順利通過測評。核心訴求某省大數據發展管理局內部發文XX大數據發展管理局關于征求浙江省政務外網安全評估指標（試行）（征求意見稿）意見

14、的函，文件要求省內各個地市需要各地建設密碼服務平臺，實現密碼資源統一管理，滿足云上系統的密評需求。建設內容通過建設云上密碼服務平臺，以資源服務模式面向云租戶提供密碼服務，所有密碼資源及密碼設備納入管理平臺進行集中管控和調度，滿足接入系統密評合規相關的需求。隱私計算數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用隱私保護、數據加密、數字身份數據運營清算結算爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間數據脫敏數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈數據安全保障體系

15、分類分級審計監管數據沙箱隱私計算構建以安恒數據安全島（隱私計算+數據沙箱）為底座的數據可信流通平臺隱私計算不同技術路徑適用的場景場景技術路徑計算架構特征 數據參與方將數據匯總，統一進行計算、統計、模型訓練等，安全性高；能夠實現高性能大規模的計算，且適用于任何場景；難點在于可信環境的構建，對于信任關系要求高，需要通過政府監管、加密硬件等方式構建 完全去中心化的分布式部署；基于密碼學，安全性高；適用于任何場景，但模型規模和復雜性的限制較多 介于集中式和分布式之間，多方聯合進行機器學習；每一方都會參與模型訓練，同時存在一個中間計算層；只適用于機器學習，安全性低隱私計算三大核心技術的對比可信執行環境參

16、與方可信TEE可信任務合約可信多方安全計算秘密分享、隱私求交、匿蹤查詢機構間有互信基礎聯邦學習橫向聯邦、縱向聯邦機構間無互信基礎計算模塊服務器機構1機構2機構3數據計算模塊數據計算模塊數據計算模塊計算模塊服務器數據計算模塊數據計算模塊數據計算模塊機構1機構2機構3數據數據數據集中式模式去中心化模式聯合計算模式為大數據聯合計算中心提供可信執行環境隱私計算底層技術支撐TEE可信執行環境業界支持大模型訓練的隱私計算技術，保障訓練原始數據不被竊取數據要素金融服務：浙江某地市大數據局公共數據授權運營四大普惠金融場景價值呈現賦能普惠金融 縣大數據發展管理中心牽頭 縣數據管理發展有限公司負責承建 商業銀行參

17、與結果驗證 普惠小微貸產品模型已得出企業評分數據3.2萬條，可為當地符合信貸條件的2.9萬家小微企業提供精準融資服務入選中國經濟時報“偉大變革”案例當地政府舉辦產品推介會產品培訓使用價值呈現經濟研判與創新社會治理區政數局協同福田區稅務局、深圳市市場監督管理局開展數據應用及創新社會治理開展企業真實性核實、企業經濟普查等政務公共數據開放場景，以及金融風控、普惠金融等數據要素流通公共服務應用場景方面，不斷強化大數據在經濟運行研判和社會管理等領域的深層次應用。首批合作伙伴簽約賦能交通銀行“普惠金融”、“個人貸”賦能交稅務局打擊虛假企業賦能統計局“經濟普查”、“四上”企業挖掘數據要素金融服務：某一線城市

18、公共數據授權運營23年11月初，首例公共數據授權運營數據賦能案例至24年5.4日，累計為4826人提供近3.13億元貸款某一線城市公共數據授權運營階段性成果數據要素社會治理：公安、銀行、運營商聯合反詐運營商開卡信息風險標簽隱私計算子節點本地數據批量上傳銀行用戶信息特征標簽隱私計算子節點本地數據批量上傳政府運行“一件事”改革用戶信息灰黑名單隱私計算子節點本地數據批量上傳公安多方數據聯合反詐模型風險標簽聯查模型銀行存量卡治理模型銀行、運營商新開卡風險管控模型數據安全融合數據安全融合技術原理：隱私求交（Private Set Intersection，PSI）隱私求交是指參與方在不泄露任何額外信息的

19、情況下，得到其持有數據的交集。隱私求交匹配過程參與方 1參與方 2參與方 n1.數據預處理：映射提速、加密集合1集合2集合na1，a2b1，b2n1，n2OPPRF秘密分享2.輸入密文集合3.調用OPPRF、秘密分享算法4.得到密文交集集合，解密交集集合x1，x2數據要素醫療健康：某省醫保局建設多方數據安全融合計算平臺“醫保局”網絡數據中心前置機本地數據加密加密上傳安全島平臺密文傳輸商業保險公司網絡保單數據前置機本地數據加密重度殘疾人等特殊人群商保模型貧困人口商保模型1貧困人口商保模型2模型傳輸精準商保產品商保APP用戶輸入個人授權信息精準商保產品推薦某省醫療保障局會同省扶貧、殘聯、公安、民政

20、、財政、人力資源社會保障、住房城鄉建設、衛生健康、市場監管、大數據、稅務等11部門聯合印發關于建立全省醫療保障領域基礎信息共享機制的通知，全力打通部門間“數據壁壘”，建立全省醫療保障領域基礎信息共享機制，為醫保政策精準聚焦和精準落實提供堅實支撐。審計監管：數據合規流通數字證書（數據交易發票）數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用隱私保護、數據加密、數字身份數據運營清算結算爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算數據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確

21、權高速通信網絡高效接入區塊鏈數據安全保障體系分類分級審計監管彈性包容審慎監管，創新以“數據交易發票”為抓手的數據全流程交易合規監管。助推占比高達95%以上的場外數據交易主動擁抱監管彈性包容審慎監管，創新以“數據交易發票”為抓手的數據全流程交易合規監管助推占比高達95%以上的場外數據交易主動擁抱監管建立政府包容審慎監管、企業誠信自治自證為原則的數據流通交易、全流程合規監管制度01打造數據合規流通數字證書基礎設施作為抓手有效落地上述制度02交易中存證交易前核驗合規性自查手冊數據流通管理數據交付管理交易稽核溯源交易跨域認證節點管理交易后稽核法已可為1.企業自查自檢、自主、自治、自證2.政府檢查、貫標

22、、稽核1.政府層面“盡職免責”2.企業層面“合規不起訴”“首違不罰或輕罰”3.推動組建“合規委員會”明確試點方案、技術、標準、流程、制度法無禁止法不可為數據合規流通數字證書合規委員會標準委員會技術委員會“數據交易發票”支撐平臺合規自檢模塊場景證書模塊數據交付存證數據交易登記交易稽核模塊審查通過生成場景證書稽核方飛檢手冊飛檢工具箱數據提供方數據使用方交易溯源核驗1.合規性自查過程存證2.交易注冊（開發票）3.數據交付摘要存證核心能力審計監管：數據合規流通數字證書（數據交易發票）數字證書：新型數據交易納管納規體系納規、納管、納統-找到撬動數據要素市場的金鑰匙實施市場激勵計劃-有依據為下一步數據確權

23、、定價、數據資產入表可信參考提供依據業務部門有推手監管部門有抓手沙盒監管-促進發展和監管規范兩手抓企業誠信自主自證-發揮行業自規監管，發揮市場能動場外交易自愿納規-有效服務無感監管市場主體有動力沙盒監管合規背書-敢交易市場交易有規矩-有依據降低市場合規成本-有能力提升競爭力-有動力退稅管理有依據-有動力降低市場合規成本-有能力為數據確權提供法院可采信的證據為數據資產入表提供可信參考依據安恒數盾2.0數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保護、數據加密、數字身份數據運營清算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算數

24、據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入區塊鏈分類分級2.0為數據基礎設施構建全方位的數據安全保障2.0恒腦大模型驅動智能化數據分類分級，數據全生命周期高效防護全場景，全流程，全周期，全自研智全聯CompleteIntelligentAssociate恒腦2.0:大模型+智能體基于數據分類分級，管控平臺作為承載，驅動全棧產品能力的互聯互通與場景化聯動安恒數盾2.0數據基礎設施適應數據要素特征、促進數據流通利用、發揮數據價值效用數據安全保障體系隱私保護、數據加密、數字身份數據運營清

25、算結算審計監管爭議仲裁數據應用智能決策輔助設計智慧管理數據流通數據空間隱私計算區塊鏈數據脫敏數據沙箱數據處理云計算邊緣計算分布式計算大數據處理AI分析綠色低碳數據匯聚清算結算物聯網、區塊鏈、標識編碼和解析可信登記、精準確權高速通信網絡高效接入分類分級數數據據要要素素流流通通安安全全法法律律法法規框框架架數數據據要要素素流流通通安安全全標準準框框架架“三三數數一一鏈”數數據據可可信信流流通通基基礎設施施框框架架和和數數據據要要素素治治理理體體系系數數聯網網(安全高效流通基礎設施)數數據據發票票(數數據據合合規流流通通數數字字證書)數數據據交交易易場所所（規范市場）區區塊鏈(跨鏈互認)數據基礎設施

26、實踐-中國數谷“三數一鏈”在數據要素流通安全法律法規框架和數據要素流通安全標準框架下，創新政府數據治理機制、壓實企業的數據治理責任，建立中國數谷“三數一鏈”數據要素安全流通框架和范式，釋放市場活力。中國數谷“三數一鏈”01多元數據融合需求商圈數據”、“宏觀洞察、區域研究數據”、“營銷標簽“等數據產品交易需求04“數據合規流通數字證書”（數據交易發票）護航合規流通1.不參與交易過程、不接觸交易數據、不成為交易第三方2.低成本實現合規交易存證、無代碼實現安全高效抽檢03數據交付網1.身份認證：數聯貓設備認證；2.在數聯網中完成數據安全分級交付；3.數據可用不可見，內置聯邦學習聯合建模和多方安全計算

27、引擎等高密級交付05區塊鏈全程存證1.場景認證、數據交易，數據交付等摘要上鏈，可證可溯2.對接互聯網法院和公證處的聯盟鏈02數據交易場所掛牌1.數據供需雙方入駐認證；2.產品掛牌；3.場景/產品合規審查；4.交易結算、交付確認數數據據要要素素流流通通安安全全法法律律法法規框框架架數數據據要要素素流流通通安安全全標準準框框架架“三三數數一一鏈”數數據據可可信信流流通通基基礎設施施框框架架和和數數據據要要素素治治理理體體系系數數聯網網(安全高效流通基礎設施)數數據據發票票(數數據據合合規流流通通數數字字證書)數數據據交交易易場所所（規范市場）區區塊鏈(跨鏈互認)“三數一鏈”已成為全國數據要素流通先

28、進”范式“三數一鏈”實踐案例-助力商業選址及商圈洞察數聯網數聯貓杭州數據交易所數據合規流通數字證書中心自有數據+商業數據商圈洞察數據 區域畫像報告 商圈展業洞察 商圈流量畫像區塊鏈某銀行-濱江支行數聯貓上市上網合規存證固證、驗證交付存證交付目錄第一部分 數據要素市場第1章 數據要素制度體系第2章 數據要素市場發展第二部分 數據安全第3章 數字化轉型驅動數據安全建設第4章 數據安全理論與實踐框架第5章 數據安全常見風險第6章 數據安全保護最佳實踐第7章 代表性行業數據安全實踐第8章 數據安全技術原理第9章 大模型與數據安全第三部分 隱私計算第10章 可信數據流通交易空間第11章 隱私計算技術原理第12章 隱私計算實踐案例第13章 隱私保護大模型基礎設施最新政策解讀：對國家數據局發文及數據要素X的詳細解讀。大模型與數據安全的結合：探討了大模型技術在數據安全領域的應用?？缇硵祿踩阂詰獙θ蚧尘跋聰祿鲃拥陌踩魬?。數據資產入表與數字合規流動證書：對于理解和實施數據資源會計處理以及數據合規流通具有指導意義。行業實踐案例分享：書籍深入探討了數字政府、電信、金融、醫療、教育等關鍵行業的數據安全實踐，提供了針對性的策略和解決方案。新版本更新重點數據安全與隱私計算（第2版）全新重磅發布