4-4 基于區塊鏈的可信聯邦學習架構.pdf

1、|基于區塊鏈基于區塊鏈的的可信聯邦學習架構可信聯邦學習架構主講人：陳川 副教授中山大學計算機學院|01隱私計算概述隱私計算概述02區塊鏈區塊鏈+隱私計算隱私計算03研究工作進展研究工作進展04未來發展分析未來發展分析目錄目錄 CONTENT|隱私計算概述01|隱私計算的法律與合規目前，中華人民共和國密碼法、中華人民共和國網絡安全法、信息安全技術個人信息安全規范等一系列法律法規的正式生效，規范了信息安全和隱私保護的具體要求，隱私保護的重要性和迫切性不言而喻。2020年4月，國務院印發關于構建更加完善的要素市場化配置體制機制的意見把數據列為生產要素，并要求”加強數據資源整合和安全保護”，”制定數據

2、隱私保護制度和安全審查制度”。2020年5月，國務院印發關于新時代加快完善社會主義市場經濟體制的意見中明確提出:“加強數據有序共享，依法保護個人信息”。2020年12月，國家發改委聯合3部委發布關于加快構建全國一體化大數據中心協同創新體系的指導意見，以深化數據要素市場化配置改革為核心，優化數據中心建設布局。.歐盟史上最嚴格的隱私保護法案通用數據保護法案(GDPR)、美國的加州消費者隱私法案(CCPA)、新加坡的個人資料保護法令(PDPA).國外相關法規|資料來源：隱私計算技術金融應用研究報告|隱私計算保護的罰款在國際社會上，被稱為史上最嚴格的隱私保護法案通用數據保護法案（GDPR）除了明確技術

3、效果之外，更是引入了巨額的罰款措施，一個國際集團中任一個子公司可能會因單次違規事件，而面臨可能高達集團前年全球年度總收入 4%的巨額罰款，GDPR 法案的實施進一步加強了隱私保護產業化的必要性和迫切性。年份年份公司名稱公司名稱事件事件涉及金額涉及金額報道機構報道機構2018Facebook意大利數據保護監管機構DPA處罰Facebook違反GDPR法案1千萬歐元英國衛報2019Facebook美國聯邦貿易委員會處罰Facebook50億美元英國BBC2019Google法國數據保護監管機構CNIL處罰Google違反GDPR法案5千萬歐元法國數據保護機構CNIL資料來源：微眾銀行區塊鏈WeDP

4、R隱私保護白皮書，收集日期：2019年12月13日|隱私計算的行業標準隨著隱私計算技術近幾年的快速發展和落地應用，國際與國內隱私計算的相關標準相繼制定發布。國內中中國人民銀行發布金融業數據能力建設指引標準，明確了金融業數據工作的基本原則；中國通信標準協會分別再2020年、2021年發布以信通院牽頭制定的四個關于數據應用與安全的團體標準，從功能、性能、安全性方面對隱私計算的幾個主要技術路線進行規范；.國際上電氣和電子工程師協會(IEEE)標準組于2020年3月發布了聯邦學習系統架構和應用指南，該標準對聯邦學習的定義、概念、分類、算法框架規范等方面進行了系統性闡述;IEEE標準組多方安全計算推薦實

5、踐、國際標準化組織ISO多方安全計算標準、國際電信聯盟ITU多方安全計算指南都發布了相應標準；.|隱私計算的市場前景當前國內各行業對于數據流通的需求日趨旺盛，IDC于 2021 年 8 月在2021 年全球大數據支出指南中預測，到 2024 年國內大數據市場規模將超過 200 億美元；畢馬威于 2021 年 4 月在2021 隱私計算行業研究報告中指出，國內隱私計算技術營收服務將在 2024 年達到 200 億人民幣。公司類型公司類型公司名稱公司名稱市值市值/融資融資上市公司Snapchat(NYSE:SNAP)市值211億美元初始公司OneTrust融資2億美元初始公司Acronis融資1.

6、6億美元初始公司TrustArc融資1億美元資料來源：NYSE，Crunchbase|隱私計算的市場前景Gartner 在 2021 和 2022 連續兩年將隱私增強計算（Privacy Enhancing Computation）評為重要戰略技術趨勢之一。|隱私計算的定義與作用隱私計算的目標主要是防止數據中隱私信息的泄露，因此隱私保護技術最主要的性能指標為隱私保護強度。對于個人消費者而言對于企業和機構而言對于政府而言隱私計算應用有助于保障個人信息安全。隱私計算在很多場景的應用,可以提升對個人信息的保護水平,降低個人信息在應用過程中泄露的風險。隱私計算是數據協作過程中履行數據保護義務的關鍵路徑

7、。一方面,在企業內借助隱私計算,能夠切實保護企業在采集、存儲、分析等過程中的關鍵信息等數據，另一方面,隱私計算能夠促進企業的跨界數據合作。隱私計算是實現數據價值和社會福利最大化的重要支撐。一是借助隱私計算能夠在政府數據開放過程中,在采集、存儲、協作等方面提升數據安全和隱私保護水平，二是借助隱私計算推動數據要素賦能產業升級。資料來源：隱私計算技術金融應用研究報告、騰訊隱私計算白皮書|隱私計算金融行業應用場景 金融機構同運營商數據合作營銷理財產品客戶營銷保護挖掘結果人群信息保護已有用戶信息PSI安全求交集基本屬性消費偏好、行為標簽運營商運營商用戶基礎信息，交易情況，產品使用情況銀行銀行|資料來源：

8、隱私計算技術金融應用研究報告|隱私計算金融行業應用場景 金融政務數據聯合風控小微貸款類產品風控外部數據納稅、發票、收單資產、流水、財務標簽行內數據客戶數據準備聯合建模數據不出本地加密訓練解決方案行內數據征信數據稅務數據收單數據信用良好小微貸款申請通過隱私求交技術聯邦學習|資料來源：隱私計算技術金融應用研究報告|隱私計算技術分類旨在解決一組互不信任的參與方之間保護隱私的協同布局問題，為數據需求方提供不泄露原始數據前提下的多方協同計算能力。其設計目標是在保障數據交換時的安全、保護隱私的前提下，在多參與方或多計算節點之間開展高效率的機器學習。通過基于硬件的可執行環境對使用中的數據進行保護。安全多方計

9、算聯邦學習機密計算|資料來源：騰訊 隱私計算白皮書|安全多方計算 安全多方計算（SMPC或MPC）最初由圖靈獎獲得者、中國科學院院士姚期智教授在1982年通過百萬富翁問題提出 主要是針對無可信第三方情況下如何安全地進行多方協同計算問題 主要涉及到零知識證明同態加密、差分隱私、不經意傳輸技術等|安全多方計算 通過MPC則可以設計一個協議，在這個協議中，算法取代中間人的角色，Alice和Bob的薪資以及比較的邏輯均交由算法處理，參與方只需執行計算協議，而不用依賴于一個完全可信的第三方。安全多方計算所要確保的基本性質就是：在協議執行期間發送的消息中不能推斷出各方持有的私有數據信息，關于私有數據唯一可

10、以推斷的信息是僅僅能從輸出結果得到的信息。不泄露薪資前提下，比較兩人的薪資水平|聯邦學習 如果機器學習模型是羊，分布在不同公司的數據是草傳統機器學習（集中式）聯邦學習（分布式）|聯邦學習 假設企業 A 和 B 聯合訓練一個模型，它們分別擁有各自用戶的數據。出于數據隱私保護，A 和 B 無法直接進行數據交換，通過引入可信第三方C，在聯邦學習系統基礎上建立模型如下：協作者 C 把公鑰分發給 A 和 B，用以對訓練過程中需要交換的數據進行加密。A 和 B 之間以加密形式交互用于計算梯度的中間結果。C 通過匯總A和B的結果計算總梯度值并將其解密。C 將解密后的梯度分別回傳給 A 和 B，A 和 B 根

11、據梯度更新各自模型的參數|機密計算 機密計算是一種云計算技術，它在處理過程中將敏感數據隔離在受保護的CPU飛地中，飛地的內容只由授權的編程代碼訪問，并對任何人或任何其他人都是不可見和不可知的。主要通過利用基于硬件的可信執行環境(TEE)解決可能受到的惡意攻擊問題。|資料來源：中國移動隱私計算應用白皮書|隱私計算技術對比關鍵技術關鍵技術安全多方計算安全多方計算聯邦學習聯邦學習機密計算機密計算計算過程保護效果計算性能計算精度硬件依賴無無有理論支持場景任意計算機器學習任意計算實際已商用場景國外：拍賣、薪酬統計國內：密鑰管理、聯合建模國外：橫向FL為主國內：縱向FL為主國外：密鑰管理國內：區塊鏈計算模

12、式分布式分布式中心化優勢可證明的安全性通信代價相對較低可大規模不存在算法和網絡瓶頸，性能更強劣勢包含復雜的密碼學操作，性能一般較低，受底層理論、網絡帶寬等制約。難以保證模型更新過程中的零信息泄露；性能受帶寬、延遲等制約必須依賴對執行環境廠商的信任；而且成本較高。資料來源：信安院等隱私保護計算技術研究報告(2020年)|區塊鏈+隱私計算02|區塊鏈+隱私計算的必要性引入隱私計算引入隱私計算引入區塊鏈引入區塊鏈區塊鏈和隱私計算技術具有互補性，兩者融合是必然趨勢區塊鏈和隱私計算技術具有互補性，兩者融合是必然趨勢 通過對數據流通的所有環節、所有參與者進行記錄，實現數據共享流程中的權責分明 在數據傳輸環

13、節，區塊鏈記錄數據的提供者，確認數據提供方身份的真實性，有利于數據確權 保障數據從產生、感知、發布、傳播到存儲、處理、使用、銷毀等全生命周期的隱私性 對數據進行規范化處理，提升數據處理、數據共享的效率，從而提升區塊鏈的數據處理能力從區塊鏈角度來看鏈上數據公開透明鏈上數據處理能力不足從隱私計算角度來看數據共享缺乏安全校驗數據共享缺乏確權機制|區塊鏈與隱私計算結合的案例隱私計算對區塊鏈技術的剛性需求在現實當中尚未大規模地呈現出來。不過，業界對此已經有了前瞻性的認知。已有機構看到，區塊鏈與隱私計算的結合是未來的必然趨勢，技術融合解決方案的探索正在進行當中。2021年是隱私計算規?；涞卦陓資料來源

14、：騰訊隱私計算白皮書|微眾銀行：多方大數據隱私計算平臺 WeDPR-PPC2020 年 1 月，微眾銀行發布了即時可用場景式隱私保護高效解決方案WeDPR。WeDPR 融合了區塊鏈技術與隱私計算技術，使得實際商業場景中的敏感數據在區塊鏈上可以得到更好的隱私保護。2021 年 5 月，結合區塊鏈和安全多方計算的優勢，微眾銀行又推出多方大數據隱私計算平臺 WeDPR-PPC。|資料來源：微眾銀行區塊鏈WeDPR隱私保護白皮書|螞蟻鏈：區塊鏈網絡平臺 FAIR2021 年 10 月 22 日，在云棲大會上，螞蟻集團旗下螞蟻鏈推出全新區塊鏈網絡平臺FAIR。目前，FAIR 平臺已經開始在政務領域、大型

15、企業中落地，并且在金融等更多領域的探索正在進行當中。|資料來源：騰訊隱私計算白皮書|趣鏈科技：金融業數據共享平臺趣鏈科技與央行分支機構、銀行開展合作，運用區塊鏈+隱私計算技術設計了數據報送模式，在江西南昌成功落地金融業數據共享平臺，建立了融資聯合征信平臺，解決了機構數據共享的問題。資料來源：隱私計算技術金融應用研究報告|八分量：政府稅務數據平臺稅務部門在監管各個企業匯總的稅務數據時，無法準確識別稅務信息（如發票）是否造假，其背后有沒有真實交易行為發生。八分量提供基于隱私計算及跨鏈的稅務數據平臺，來解決各企業間的數據安全、數據共享、數據流通和數據驗證問題。資料來源：隱私計算技術金融應用研究報告|

16、星云基因：Oasis Network 框架醫療行業里的病人數據具有高度隱私性，目前缺乏一套記錄患者完整醫療信息的數據系統。星云基因使用 Oasis Network 的框架，客戶可以保留其基因組數據的所有權，而星云基因可以在不查看客戶原始信息的情況下對數據進行分析。|資料來源：隱私計算技術金融應用研究報告|研究工作進展03|聯邦學習概念 Konen,McMahan,and Ramage:Federated optimization:distributed optimization beyond the datacenter.arXiv:1511.03575,2015 Konen于 2015 年在

17、機器學習中引入了一種新的分布式優化設置，在此設置的基礎上提出了聯邦學習的概念，旨在在數據分布在大量客戶端上的場景中訓練一個高效的集中式模型。|聯邦學習概念 Konen,McMahan,and Ramage:Federated optimization:distributed optimization beyond the datacenter.arXiv:1511.03575,2015 Konen于 2015 年在機器學習中引入了一種新的分布式優化設置，在此設置的基礎上提出了聯邦學習的概念，旨在在數據分布在大量客戶端上的場景中訓練一個高效的集中式模型。(e.g.E epochs of SGD)

18、(e.g.E epochs of SGD)averageupdates.服務器隨機選擇一個客戶端子集，該子集中的客戶端將全局模型下載到本地子集中的每個客戶端執行一定輪次的模型訓練并計算局部梯度子集中的客戶端將其局部梯度發送到服務器服務器接收局部梯度并整合構建全局梯度.|聯邦學習應用Gboard:next-word predictionFederated RNN(compared to prior n-gram model):Better next-word prediction accuracy:+24%47%reduction in unhelpful suggestionsFederate

19、d modelcompared to baselineA.Hard,et al.Federated Learning for Mobile Keyboard Prediction.arXiv:1811.03604|聯邦學習應用Apple:personalized Siri|聯邦學習應用Intel:brain tumor detection資料來源：Federated Learning Tutorial NeurIPS 2020|聯邦學習應用Nvidia:mammogram analysisFederated learning addresses this challenge,enabling

20、differentinstitutions to collaborate on AI model developmentwithout sharingsensitive clinical data with each other.The goal is to end up withmore generalizable models that perform well on anydataset,instead of an AI biased by the patient demographics orimagingequipment of one specific radiologydepar

21、tment.|聯邦學習存在問題Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness|聯邦學習存在問題Massive,slow networksMalicious client attackServer VulnerabilityVariable

22、 hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness由于客戶端的硬件水平和計算資源差異所帶來的系統異構性，會降低全局模型的訓練速度。由于客戶端的數據分布差異，會導致全局模型在不同客戶端上表現不同。LI X,HUANG K,YANG W,et al.On the convergence of fedavg on non-iid dataA.2020.LI T,SAHU A K,ZAHEE

23、R M,et al.Federated optimization in heterogeneous networksA.2020.ZHAO Y,LI M,LAI L,et al.Federated learning with non-iid dataA.2018.BRIGGS C,FAN Z,ANDRAS P.Federated learning with hierarchical clustering of local updates to improve training on non-iid dataC/OL/2020 International Joint Conference on

24、Neural Networks(IJCNN).2020:1-9.|聯邦學習存在問題Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness聯邦學習過程中客戶端節點數量，通訊輪次，傳輸參數大小，都會直接影響整體訓練效率 Aji A F,Heafiel

25、d K.Sparse communication for distributed gradient descentC/Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing,EMNLP 2017,Copenhagen,Denmark,September 9-11,2017 Wen W,Xu C,Yan F,et al.Terngrad:Ternary gradients to reduce communication in distributed deep learningC/

26、Advances in Neural Information Processing Systems,4-9 December 2017,Long Beach,CA,USA.2017:1509-1519.Han S,Mao H,Dally W J.Deep compression:Compressing deep neural networks with pruning,trained quantization and huffman codingJ.2015 Sandler M,Howard A G,Zhu M,et al.Mobilenetv2:Inverted residuals and

27、linear bottlenecksC,Salt Lake City,UT,USA CVPR 2018|聯邦學習存在問題Massive,slow networksMalicious client attackServer VulnerabilityVariable hardware,connectivity,etcUnbalanced,non-IID dataSystems HeterogeneityStatistical HeterogeneityCommunication CostSecurity&Robustness聯邦學習框架由于缺乏對局部梯度的身份認證，容易受到拜占庭客戶端攻擊，例如

28、梯度放縮攻擊、全零和反向梯度攻擊在實際應用中，商業競爭使得在參與者中很難找到一個完全可信的中心服務器惡意服務器的存在降低全局模型性能，嚴重影響著聯邦學習的魯棒性 CHEN Y,SU L,XU J.Distributed statistical machine learning in adversarial settings:Byzantine gradient descentJ/OL.BLANCHARD P,MHAMDI E M E,GUERRAOUI R,et al.Machine learning with adversaries:byzantine tolerant gradient d

29、escentA.2017 HU C,JIANG J,WANG Z.Decentralized federated learning:A segmented gossip approachA.2019 ROY A G,SIDDIQUI S,PLSTERLS,et al.Braintorrent:A peer-to-peer environment for decentralized federated learningA.2019.KIM H,PARK J,BENNIS M,et al.Blockchained on-device federated learningJ/OL.IEEE Comm

30、unications Letters,2020,24(6):1279-1283.LI L,XU W,CHEN T,et al.RSA:byzantine-robust stochastic aggregation methods for distributed learning from heterogeneous datasets.AAAI 2019|解決思路：去中心化聯邦架構Centralized Federated Learning中心化聯邦學習Decentralized Federated Learning去中心化聯邦學習|去中心化聯邦架構:BrainTorrent-based ROY

31、 A G,SIDDIQUI S,P LSTERL S,et al.Braintorrent:A peer-to-peer environment fordecentralized federated learningA.2019BrainTorrent-basedNodes complete aggregation through P2P protocol|去中心化聯邦架構:Gossip-based HU C,JIANG J,WANG Z.Decentralized federated learning:A segmented gossip approachA.2019.Gossip-base

32、dNodes complete aggregation through Gossip protocol|去中心化聯邦架構:Blockchain-based KIM H,PARK J,BENNIS M,et al.Blockchained on-device federated learningJ/OL.IEEE Communications Letters,2020Blockchain-basedNodes complete aggregation through Blockchain consensus|去中心化聯邦架構局限性Current Byzantine-tolerance algor

33、ithmsCannot achieve satisfactory performanceCannot provide effective defense in the presence of malicious serversCurrent decentralized FL frameworksNot resistant to Byzantine attacksHigh communication overheadCMFL基于委員會機制的去中心化聯邦:A Decentralized Federated Learning Framework with Committee MechanismLi

34、et al.“A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus”.IEEE Network 2020（中科院一區)Che et al.“A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee”,minor revision,TPDS.(CCF A)|CMFL架構介紹 聯邦節點構成 訓練客戶端 獲取全局模型、訓練模型、上傳本地更新參數 委員

35、會客戶端 獲取訓練者模型更新、驗證模型更新、選擇聚合客戶端、參與共識 聚合客戶端模型更新滿足委員會選擇策略，并參與全局模型聚合 空閑客戶端不參與本輪次模型更新|CMFL架構介紹 功能模塊組成 評分模塊：委員會客戶端根據既定的評分系統對訓練客戶端的局部梯度進行評分 選擇模塊：符合選擇策略的合格梯度被選中用于構建全局梯度 選舉模塊:選舉策略旨在完成委員會成員的更替。所有委員會客戶端進行投票選舉，部分符合選舉策略的訓練客戶端成為下一輪的委員會客戶端 委員會共識協議：基于 pBFT的委員會共識協議，以請確保選擇、聚合和選舉等過程的正確執行|技術流程CMFL簡要流程4132委員會節點6587訓練節點Gl

36、obal model區塊鏈區塊鏈區塊鏈節點區塊鏈節點(1)下載(3)上傳(2)本地訓練Local model(4)上傳更新Local model(5)下載所有更新90.初始時通過智能合約對全局模型初始化，隨機挑選客戶端作為委員會節點，剩余作為訓練節點。1.訓練節點首先獲取區塊鏈中最新的全局模型2.然后訓練者利用本地數據進行本地訓練3.訓練節點通過合約接口獲取委員會節點信息，傳輸模型更新到委員會節點4.委員會節點對模型進行驗證后，將模型更新上傳到區塊鏈5.委員會節點可以獲取所有模型更新|技術流程CMFL簡要流程4132委員會節點6587訓練節點Global model區塊鏈區塊鏈區塊鏈節點區塊鏈

37、節點(1)下載(3)上傳(2)本地訓練Local model(4)上傳更新Local model(5)下載所有更新(6)評分Global model(7)模型聚合&更新413592789(1)下載Local model(4)上傳更新6.委員會節點利用本地數據驗證模型更新，并進行評分，然后再上傳到區塊鏈7.區塊鏈中的智能合約自動聚合評分，并依據評分聚合模型更新，形成新一輪的全局模型。8.最后基于評分自動選舉出新一輪的委員會節點9.同理，下一輪訓練如此進行|CMFL各模塊功能介紹 評分模塊Scoring SystemThe scoring system based on Euclidean dis

38、tance to distinguish malicious and honest gradients Honest gradients get a high scoreMalicious gradients get a low scoreThe c-th committee clients scoreTotal score|CMFL各模塊功能介紹 選擇模塊Selection Strategy 我們設計了兩種相反的選擇策略來確定用于更新全局模型的局部梯度。Selection strategy Consideration:Robustness 魯棒性Applicable scenario:Byz

39、antine attack scenario 攻擊場景下|CMFL各模塊功能介紹 選擇模塊Selection Strategy 我們設計了兩種相反的選擇策略來確定用于更新全局模型的局部梯度。Selection strategy Consideration:Heterogeneity 數據異構性Applicable scenario:Non-attack scenario 無攻擊場景下|CMFL各模塊功能介紹 選舉模塊Election Strategy 選舉策略旨在保證委員會客戶的誠實Considerations Robustness 魯棒性System Stability 系統穩定性|CMFL

40、各模塊功能介紹 委員會共識協議CCP:Committee Consensus Protocol評分過程結束后，每個委員會客戶端計算得到每個訓練客戶端的分數。然后每個委員會客戶端將其分數廣播給其他委員會客戶端委員會客戶端 p 被隨機選擇為主節點主節點，而其他委員會客戶端成為次要次要節點節點每個委員會客戶端根據選擇策略決定其聚合客戶端集,主節點創建一個請求,并其廣播給所有次要節點，詢問,是否正確，其中為局部梯度聚合所有次要節點執行到來的請求。它們每個人都檢查是否,與自己的,；如果相同，則執行聚合過程；聚合后，檢查結果是否與請求一致。如果是，則將執行結果,返回給主節點主節點檢查它是否從次要節點中收到

41、至少 C/2+1 條相同的結果。如果是，則達成共識；否則，應重新選擇主節點并重復步驟3-6主節點將全局模型廣播給所有其他客戶端，并準備開始下一輪訓練|CMFL訓練算法隨機采樣本地訓練梯度驗證全局更新新委員會選舉該算法重復上述五個步驟，直到算法收斂或 超過最大通信輪次 T|理論分析 針對CMFL框架的收斂性進行了理論證明 假設前提：|理論分析 定義：模型在聚合客戶端集上的平均局部損失客戶端異構程度衡量|理論分析 收斂性定理|通信高效性 在 CMFL 的同步訓練中，訓練客戶端必須等待下一輪之前的數據傳輸和委員會的共識操作。此外，訓練客戶端可能是異構的，配備了不同的 GPU、CPU、移動計算等。系統

42、的異構性導致本地訓練時間和數據傳輸時間有很大差異。委員會在收到所有梯度之前不會執行聚合，從而減慢了訓練過程。高效的通信版本 ECMFL（Efficient-CMFL）:時序圖異步訓練機制,計算與通信階段重疊 LI Y,YU M,LI S,et al.Pipe-sgd:A decentralized pipelined SGD framework for distributed deep net trainingC/BENGIO S,WALLACH H,LAROCHELLE H,et al.Advances in Neural Information Processing Systems:vol

43、ume 31.Curran Associates,Inc.,2018|實驗設置Dataset&ModelFEMNIST-AlexNetSentiment140-LSTMBaseline methodsTypical Federated LearningMedianTrimmed MeanKrum&Multi-KrumBrainTorrentGossip Federated Learning|實驗設置|實驗分析常規訓練實驗（無攻擊場景）|CMFL under selection strategy achieves the best performance in the non-attack sc

44、enario|實驗分析常規訓練實驗（無攻擊場景）CMFL under selection strategy achieves the best performance in the non-attack scenario|實驗分析魯棒性驗證實驗 惡意攻擊方式|實驗分析魯棒性驗證實驗 惡意攻擊下準確率對比 惡意節點比例小于50%條件下，BFLC準確率均穩定在80%以上 惡意節點比例越高，基線方法準確率逐漸下降|實驗分析魯棒性驗證實驗 不同惡意攻擊下準確率對比|CMFL 在不同攻擊場景下均能達到最佳性能 CMFL是唯一不依賴中央服務器的框架，自然地實現了抵抗惡意服務器影響的魯棒性|實驗分析超參數分

45、析實驗|適當增加委員會成員的比例 可以提升全局模型的性能適當增加聚合客戶端的比例 可以提升全局模型的性能更多的惡意客戶端 可能會在某些特殊情況下產生更好的全局模型性能|實驗分析委員會成員分析實驗|適度的惡意客戶端可提升所有誠實節點參與訓練幾率，進而提全局模型表現如果惡意客戶端過多，則會破壞委員會的評分系統，委員會成員將失去消除惡意局部梯度的能力，導致全局模型的性能急劇下降|實驗分析對比其他去中心化聯邦架構的時效性|CMFL achieves a better performance than other two decentralized FL framework(BrainTorrent a

46、nd Gossip)|實驗分析對比其他去中心化聯邦架構的時效性|The communication overhead is lower than other two decentralized FL framework|學界與業界評價-StarFL:Hybrid Federated Learning Architecture for Smart Urban ComputingProf.Qiang Yang，IEEE/IAPR/AAAS Fellow-Deep reinforcement learning for blockchain in industrial IoT:A surveyProf

47、.Victor C.M.Leung，IEEE Fellow|學界與業界評價李冠憬：李冠憬：IET Fellow,靜宜大學特聘教授靜宜大學特聘教授Ernesto Damiani:意大利計算機科學大學聯盟主席意大利計算機科學大學聯盟主席Ruidong Li:日本金澤大學智能計算與網絡日本金澤大學智能計算與網絡實驗室主任實驗室主任znur zkasap:科奇大學計算機工程系教授科奇大學計算機工程系教授Roberto Morabito:芬蘭愛立信研究中心芬蘭愛立信研究中心研究員研究員|總結區塊鏈Blockchain聯邦學習Federated Learning分布式隱私保護特性計算可驗證特性Li et

48、al.“A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus”.IEEE Network 2020（中科院一區)Che et al.“A Decentralized Federated Learning Framework via Committee Mechanism with Convergence Guarantee”,2ndrevision,TPDS.(CCF A)|課題組研究方向：可信機器學習（聯邦學習，魯棒學習），及圖機器學習 已發表 中科院一區/CCF A類論文

49、 30余篇，ESI高被引 1篇 擔任 Elsevier 期刊 Software Impacts 副主編,AAAI/IJCAI等多個國際學術會議的高級程序委員,中國計算機學會(CCF)人工智能與模式識別專委會委員,廣東省計算機學會區塊鏈專委會/數字經濟專委會委員主持國家重點研發計劃項目課題、國家自然科學面上項目、青年基金、CCF-騰訊犀牛鳥基金10余項，課題組與多個企業（包括騰訊/微眾銀行/網易游戲/招聯金融）等開展研究合作項目課題組與區塊鏈，隱私計算相關科研項目項目類型項目名稱國家級項目基于區塊鏈的*智能*技術研究國家級項目基于區塊鏈的聯邦學習技術研究CCF-騰訊犀牛鳥科研基金基于區塊鏈的安全

50、聯邦學習方案研究廣東省重點領域研發計劃項目基于區塊鏈與大數據的城市土壤污染智能管控關鍵技術研發及應用示范廣東省自然科學基金面上項目面向聯邦學習的信息幾何優化方法廣州市重點研發計劃項目具備隱私安全的高性能聯盟鏈關鍵技術研究與應用圖與可信機器學習課題組 研究簡介|未來發展分析04|未來發展分析隱私計算技術和區塊鏈技術融合會改變什么解決隱私保護問題解決數據確權問題解決多方協作問題重塑大數據產業人工智能新一輪發展區塊鏈產業的新機遇對現有業態的改變推動數據資產化的發展發現數據的市場價值推動企業業務改善推動企業數字化轉型形成大規模數據流通和數據要素市場|未來發展分析區塊鏈與隱私計算技術融合的重點領域政務領

51、域金融領域醫療領域一方面，實現政府不同部門之間的互聯互通及數據共享；另一方面，可以促進政務數據與民間數據的雙向開放。擴大數據來源，有助于信貸及保險等金融產品的精準定價；內外部多方數據的共享融合有助于提高金融機構的反洗錢甄別能力。在疾病治療和藥物研究方面，促進更多的醫療數據被聯合起來進行分析和研究，從而為許多疾病的治療帶來新的突破。在醫療保險方面，主要是可以使得保險公司可以應用到更多的數據，改善保險產品的設計。|資料來源：生態重塑:區塊鏈+隱私計算一線實踐報告|未來發展分析區塊鏈+隱私計算需解決的問題目前全社會的數字化正在快速推進當中，大多數機構都是正在進行自身內部的數據治理他們需要先處理好自己

52、的數據，之后才能產生更多的與外部數據進行協作的需求從外部環境來看，需要全社會整體的數字化水平的提高區塊鏈+隱私計算技術的應用，實際上是犧牲了部分數據流通的效率、提升了安全性，但是數據流通的效率也非常重要，未來需要在效率和安全這兩個方面形成一定的平衡，安全要保障，足夠的效率也要滿足從技術發展來看，技術成熟尚需投入隨著需求的爆發、技術的完善，相關的法律法規以及商業模式就會隨之形成還需要相關法律法規的完善，以及數據交易商業模式的形成|未來發展分析區塊鏈+隱私計算的國產化是未來趨勢區塊鏈+隱私計算的應用，涉及網絡、數據安全，未來將成為新基建的重要部分參考資料來源：2021騰訊隱私計算白皮書區塊鏈隱私計算服務指南生態重塑：區塊鏈+隱私計算一線實踐報告隱私計算法律與合規研究白皮書微眾銀行區塊鏈WeDPR隱私保護白皮書中國移動隱私計算應用白皮書Federated Learning Tutorial NeurIPS 2020|非常感謝您的觀看|郵箱：主頁：https:/gtml-