彭麟-KubeFATE 云原生的聯邦學習部署與運維管理平臺（GOTC上海會場）（30頁）.pdf

《彭麟-KubeFATE 云原生的聯邦學習部署與運維管理平臺（GOTC上海會場）（30頁）.pdf》由會員分享，可在線閱讀，更多相關《彭麟-KubeFATE 云原生的聯邦學習部署與運維管理平臺（GOTC上海會場）（30頁）.pdf（30頁珍藏版）》請在三個皮匠報告上搜索。

1、AI、大數據與數字經濟開源技術論壇專場VMware-CTO辦公室 云原生實驗室 資深研究員彭麟（Layne Peng）2021年7月10日KubeFATE:云原生的聯邦學習部署與運維平臺2 2021 VMware,Inc.提綱1.什么聯邦學習？聯邦學習解決什么問題？2.FATE:工業級聯邦學習開源開源平臺；3.開源開源云原生聯邦學習方案：a)KubeFATE:基于Kubernetes的聯邦學習部署與運維平臺b)FATE-Operator:Kubeflow子項目，基于KubeFATE3 2021 VMware,Inc.人工智能三大要素算法算力數據4 2021 VMware,Inc.數據的現狀并不

2、理想算法算力數據數據孤島數據分布不均5 2021 VMware,Inc.數據的現狀并不理想算法算力數據數據孤島數據分布不均 制造數據：GAN 利用公有(public)和開放(open)數據：遷移學習 私有數據方合作一起訓練:聯邦學習(Federated learning)6 2021 VMware,Inc.聯邦學習概念出現(Source:Federated Learning:Collaborative Machine Learning without Centralized Training Data,Google AI Blog,2017）數據數據孤島數據分布不均7 2021 VMware,

3、Inc.聯邦學習的誤解：無隱私保護(Source:Secure Collaborative Learning,2017）數據數據孤島數據分布不均早期的研究報告、論文往往基于無隱私保護的聯邦學習方案。8 2021 VMware,Inc.（安全&保護隱私的）聯邦學習數據孤島數據分布不均隱私法律法規數據安全。聯邦學習(Federated learning)=（安全（安全&保護隱私的）保護隱私的）聯邦學習數據9 2021 VMware,Inc.（安全&保護隱私的）聯邦學習數據數據孤島數據分布不均隱私法律法規數據安全。(Source:Practical Secure Aggregationfor Pri

4、vacy-Preserving Machine Learning,Keith Bonawitz et al,2017）10 2021 VMware,Inc.聯邦學習的定義數據數據孤島數據分布不均隱私法律法規數據安全。兩個或更多的（子）組織共同訓練模型組織間無數據交換加密模型在多方安全計算框架下共同訓練：加密模型在多方安全計算框架下共同訓練：同態加密共享密鑰 不經意傳輸11 2021 VMware,Inc.聯邦學習與傳統的機器學習傳統的機器學習傳統的機器學習模型不動，數據動聯邦學習聯邦學習數據不動，模型動(Source:Federated Learning(Synthesis Lectures

5、on Artificial Intelligence and Machine Learning),Qiang yang,et al.）數據不動模型動，數據可用不可見12 2021 VMware,Inc.聯邦學習是解決數據孤島問題的一個可行方案13 2021 VMware,Inc.聯邦學習是解決數據孤島問題的一個可行方案14 2021 VMware,Inc.聯邦學習的分類橫向聯邦學習/同構聯邦學習縱向聯邦學習/異構聯邦學習特征特征數據孤島情況 1:樣例分散在不同的組織，單個組織樣例不足以支持優質訓練。數據孤島情況 2:樣本數據的特征分散在不同組織，單個組織有樣本片面的理解，造成訓練結果偏差。樣本

6、分區的聯邦學習(Source:https:/ 2021 VMware,Inc.橫向聯邦學習/同構聯邦學習縱向聯邦學習/異構聯邦學習樣本樣本特征特征橫向、縱向聯邦學習的案例小微企業信用風險管理小微企業信用風險管理多元數據來源組合獲得更準確的用戶畫像AUC增加了12%跨銀行反洗錢應用跨銀行反洗錢應用在符合法規情況下，組合各銀行數據成大量實證案例(Source:https:/www.fedai.org/cases/utilization-of-fate-in-anti-money-laundering-through-multiple-banks/）加密模型推理查詢計算推理值獲得結果微眾反洗錢平臺下

7、載加密的初始模型以推理值查詢概率返回概率AUC增加了14%(Source:https:/www.fedai.org/cases/utilization-of-fate-in-risk-management-of-credit-in-small-and-micro-enterprises/）16 2021 VMware,Inc.FATE:Federated AI Technology Enabler17 2021 VMware,Inc.FATE:Federated AI Technology Enabler1.開箱即用的算法；2.聯邦學習算法開發框架：a)底層工具b)通信協議引擎c)工作流引擎d

8、)互聯互通協議e)算法編譯器1.重用已有算力：支持開源計算、傳輸、存儲框架a)Sparkb)Pulsar/RabbitMQc)HDFSd)Hivee)2.異構加速器：a)GPUb)FPGAc)ARM服務器加速卡驅動環境框架聯邦算法FATE是開箱即用的聯邦學習平臺平臺：1.內置典型的聯邦學算法；2.可視化建模界面；3.DAG工作流引擎；4.支持多種多方計算安全協議：同態加密、共享密鑰，etc.5.支持審計等功能，滿足銀監等保要求；6.分布式計算、存儲、傳輸引擎；7.支持異構加速器。18 2021 VMware,Inc.FATE:Federated AI Technology Enabler v1

9、.7.0FATE v1.7.0是一個聯邦學習的生態系統（FedAI）服務器加速卡驅動環境框架聯邦算法工作流引擎GUIAPIs互聯互通算法框架算法市場Source:破解不同技術平臺交互阻礙，富數科技和微眾銀行實現異構聯邦學習平臺互通 19 2021 VMware,Inc.聯邦學習的發展Source:企業級聯邦學習平臺建設的探索與思考，中國銀聯金融科技研究院，周雍愷我們在這里：1.為下一階段搭建互聯互通的平臺2.推動更多的生產落地。20 2021 VMware,Inc.FATE設計為工業級聯邦學習開源平臺，但是。1.分布式系統、分層結構架構及部署環境復雜2.復雜的企業環境：安全、網絡、遺留系統適配

10、機器學習是一個系統工程(Source:Hidden Technical Debt in Machine Learning Systems,D.Sculley,et al.)1.聯邦學習需要與已有系統對接2.聯邦學習需要管理功能：數據、權限、etc.21 2021 VMware,Inc.人工智能第四要素運維算法算力數據22 2021 VMware,Inc.人工智能第四要素云原生聯邦學習-可插拔可擴展全生命周期管理安全高可用管理算法算力數據23 2021 VMware,Inc.KubeFATE:云原生聯邦學習平臺KubeFATEvs.1.測試、體驗多方FATE集群；2.上手簡單。1.面向生產環境：

11、1)支持多個FATE環境及集群；2)聲明式擴展能力；3)升級，遷移；4)日志及監控功能2.強大的定制功能ContainersML ExpertSWESRE24 2021 VMware,Inc.KubeFATE:架構、模塊25 2021 VMware,Inc.KubeFATE:cluster.yaml 基本信息：o 名字o 命名空間o 版本o Chart名字：fate or fate-servingo 自定義registry（離線部署）o?？蛇x安裝模塊 各模塊自定義屬性26 2021 VMware,Inc.Cluster.yamlchartName:fatechartVersion:v1.6.0

12、https:/ Chart for FATE v1.4.0KubeFATE ServiceKubeFATE:chart渲染Cluster.yaml27 2021 VMware,Inc.KubeFATE:定制化部署28 2021 VMware,Inc.FATE-Operator:Kubeflow官方子項目，Kubeflow聯邦學習方案FATE-Operator:https:/ 2021 VMware,Inc.基于Kubebuilder(https:/ 2021 VMware,Inc.KubeFATE:FATE+VCF企業級方案參與方 11222443參與方 21參與方 31Lifecycle Mgr.生命周期管理：部署,聯邦建立，監控等等FML Mgr.聯邦訓練管理：聯邦數據管理、模型管理、授權?；赩CF的HA，安全方案FATE-OperatorFML Site PortalFATE-OperatorFML Site PortalFATE-OperatorFML Site PortalFATE-OperatorFML Site Portal Exchange