1-4 聯邦學習技術應用創新探索.pdf

1、聯邦學習技術應用創新探索|周旭華博士中國電信研究院 安全技術研究所2022年07月09日01聯邦學習簡介聯邦學習簡介背景介紹聯邦學習概念聯邦學習分類與其他隱私保護計算技術02聯邦學習技術創新探索聯邦學習技術創新探索創新探索一：不同技術架構靈活適應不同的業務場景需求創新探索二：抗數據污染或惡意竊取的新數據檢測方法創新探索三：抗成員推斷攻擊的聯邦線性模型在線推理創新探索四：針對縱向聯邦學習的異步優化方法創新探索五：參與方在聯邦學習系統中對模型的價值貢獻目錄目錄 CONTENT|聯邦學習簡介 背景介紹 聯邦學習概念 聯邦學習分類 與其他隱私保護計算技術01|背景介紹Background Introd

2、uction政府數據運營商數據行業數據運營商數據孤島群政府數據孤島群行業數據孤島群彼此獨立的 數據孤島DATA“數據孤島”現象普遍存在|聯邦學習概念Federated Learning Definition聯邦學習或聯邦機器學習，是實現在本地原始數據不出平臺的情況下，通過對中間加密數據的流通和處理來完成多方聯合的機器學習訓練和預測。其設計目標是在保障大數據聯合價值開發時的數據安全、保護終端數據和個人數據隱私、保證合法合規的前提下，在參與多方或多計算結點之間開展高效率的機器學習，實現數據可用不可見。|橫向聯邦學習可簡單理解為建模算法在不同分段數據上進行訓練和合并?？v向聯邦學習可簡單理解為將建模算

3、法拆分為不同模塊，分別在各數據提供方進行訓練，期間需要中間參數交互。聯邦學習分類Federated Learning Classification|與其他隱私保護計算技術With Other Privacy-preserving Computing Technologies|提供技術框架，容易與其他隱私保護計算技術結合聯邦學習特點：針對傳統集中模型訓練存在泄露數據隱私問題而提出，增加交互安全設計強調“數據不出平臺”，核心理念是“數據不動模型動”模型性能接近或幾乎無損多種隱私保護計算技術交叉應用|技術創新探索 創新探索一：不同系統架構靈活適應不同的業務場景需求 創新探索二：抗數據污染或惡意竊取的

4、新數據檢測方法 創新探索三：抗成員推斷攻擊的聯邦線性模型在線推理 創新探索四：針對縱向聯邦學習的異步優化方法 創新探索五：參與方在聯邦學習系統中對模型的價值貢獻02創新探索一：標準架構、交易中心架構靈活適應不同的業務場景需求隱私保護計算系統計算引擎模塊安全多方計算引擎隱匿查詢安全求交安全數值計算 聯邦學習引擎聯邦預測聯邦建模 聯邦特征工程業務功能模塊合作方管理數據管理任務管理模型管理權限管理項目管理計算引擎模塊安全多方計算引擎隱匿查詢安全求交安全數值計算 聯邦學習引擎聯邦預測聯邦建模 聯邦特征工程業務功能模塊合作方管理數據管理任務管理模型管理權限管理項目管理隱私保護計算系統數據池數據池對等模式

5、安全連接標準架構可滿足中國電信作為數據提供方向多行業提供電信數據開發數據價值的需要|解決了現網應用遇到的億級大數據量、兆級低帶寬高延時、網絡不直達問題標準版特點一標準版特點二創新探索一：標準架構、交易中心架構靈活適應不同的業務場景需求|交易中心架構隱私保護計算系統數據池數據池中心模式控制流數據接入網關安全多方計算引擎聯邦學習引擎數據接入網關安全多方計算引擎聯邦學習引擎業務功能中心平臺合作方管理數據管理任務管理模型管理權限管理項目管理控制流數據流本地化部署本地化部署實現管理模塊與計算模塊相分離保證數據不出各方管理域的前提下，做到統一管理、統一入口交易中心版特點一交易中心版特點二創新探索二：縱向聯

6、邦學習場景的數據污染的新數據檢測方法|聯邦學習數據污染檢驗技術探索在聯邦學習框架下參與方不能直接訪問他方的數據，污染數據或惡意數據更有可能發生，使模型失效。通過訓練數據特性的提取與存儲以及針對其不同特征的分類分析來計算參與方新提供數據是有效數據的概率。存在問題數據污染檢方案將出現概率P(x)與概率閾值進行比較來判定是否異常計算單條數據x的出現概率P(x)根據各特征的概率分布特征設置正常出現概率閾值存儲基于一批有效訓練數據得到的各特征的概率分布特征創新探索二：縱向聯邦學習場景的數據污染的新數據檢測方法|聯邦學習數據污染檢驗技術探索在聯邦學習框架下參與方不能直接訪問他方的數據，污染數據或惡意數據更

7、有可能發生，使模型失效。通過訓練數據特性的提取與存儲以及針對其不同特征的分類分析來計算參與方新提供數據是有效數據的概率。存在問題數據污染檢方案創新探索三：抗成員推斷攻擊的聯邦線性模型在線推理|聯邦在線推理技術探索聯邦模型通過聯邦在線推理提供數據預測功能，傳統過程中使用明文方式進行，存在數據泄露和用戶隱私信息問題。利用過濾器、同態加密算法和隨機數乘法盲化法保護發起方的請求無法被響應方精確獲悉，從而抵抗成員推斷攻擊。存在問題安全在線推理方案創新探索四：針對縱向聯邦學習的異步優化方法|聯邦異步加速技術探索每個參與方數據量、計算速度、網絡延遲都不一致，訓練時間由處理最慢的參與方決定，從而形成木桶效應，影響訓練效率。引入存儲參與方特征計算值的緩存單元，打破參與方編碼模型訓練時的相互依賴，實現各參與方編碼模型之間的異步訓練。存在問題聯邦異步加速方案創新探索五：參與方在聯邦學習系統中對模型的價值貢獻|聯邦模型貢獻量評估當前聯邦學習系統中忽視各參與方數據對聯邦模型增益的貢獻差異，無法推動跨域跨行業數據共享的良性循環。探索提出基于SV理論的貢獻量評估方法，通過考慮特征重要性來反映各方數據在聯邦學習系統中對模型的價值貢獻。存在問題貢獻量評估方案非常感謝您的觀看|