范濤-聯邦學習在金融領域的落地和應用.pdf

《范濤-聯邦學習在金融領域的落地和應用.pdf》由會員分享，可在線閱讀，更多相關《范濤-聯邦學習在金融領域的落地和應用.pdf（49頁珍藏版）》請在三個皮匠報告上搜索。

1、聯邦學習在金融領域的落地和應用范濤微眾銀行人工智能部聯邦學習研發負責人，人工智能資深研究員當前國內大數據行業發展面臨的挑戰聯邦學習一站式解決方案聯邦學習商業化落地思考數據新基建“十九屆四中全會：黨中央首次提出將數據作為生產要素參與收益分配”監管趨嚴數據合作困境跨機構間數據合作受阻消費信貸公司A大數據公司B機構內跨部門間數據中臺建立困難重重支付部門貸款部門保險部門數據中臺數據？No數據？No數據？No如何破局數據-生產資料聯邦學習-生產關系人工智能-生產力當前國內大數據行業發展面臨的挑戰聯邦學習一站式解決方案聯邦學習商業化落地思考隱私計算技術體系數據“所有權”和“使用權”分離數據可用不可見用途可

2、控可度量隱私計算軟件硬件多方安全計算（MPC）聯邦學習（FL）可信硬件（TEE）9將草從各地集中到一起喂羊，并不合規隱私和數據安全保護的要求使得獲取數據成為障礙聯邦學習提供了新思路：讓羊群在各地移動，而草不出本地，主人無法知道它吃了哪些草聯邦學習：數據不動，模型動縱向聯邦學習-聯合建模需求場景舉例：企業A與企業B聯合建模，企業B有Y（業務表現），期望優化本方的Y預測模型設定：企業B擁有 Y=“逾期表現”企業A無法暴露含有隱私的 X傳統建模方法問題：企業A缺乏Y無法獨立建模企業A數據全量傳輸到企業B不可行期望結果：保護隱私條件下，建立聯合模型聯合模型效果超過單邊數據建模橫向聯邦學習-聯合建模需求

3、場景舉例：銀行A和銀行B共建反洗錢模型，期望優化反洗錢模型設定：Y 表示“是否存在洗錢行為”銀行A和銀行B都有（X,Y）雙方不暴露自己的（X,Y）傳統建模方法問題：銀行A和銀行B各自樣本不夠多期望結果：保護隱私條件下，建立聯合模型聯合模型效果超過單邊數據建模聯邦學習一站式解決方案企業解決方案層核心應用組件層核心框架層FATE：工業級聯邦學習開源框架FATE是微眾銀行人工智能團隊發起的全球首個聯邦學習工業級開源框架，可以讓企業和機構在保護數據安全和數據隱私的前提下進行數據協作FATE于2019年2月首次對外開源，并于2019年6月捐獻給Linux基金會，并成立FATE TSC對FATE社區進行開

4、源治理，成員包含國內主要云計算和金融服務企業核心功能包括聯邦特征工程，聯邦統計，聯邦機器學習，聯邦深度學習，聯邦遷移學習等FATE開源治理FATE 社區概況570+家企業機構，350+所高校7個FATE社群3000+人3200+GitHub Star TSC（技術管理委員會）成員信通院信通院隱私計算白皮書（隱私計算白皮書（2021年）年）發布，發布，根據白皮書中國信通院的調研，根據白皮書中國信通院的調研，55%的國內隱的國內隱私計算產品是基于或者參考開源項目開發，這私計算產品是基于或者參考開源項目開發，這其中開源項目就以其中開源項目就以FATE為主。為主。微眾銀行聯邦學習標準建設【國際標準】發

5、布全球第一個聯邦學習相關國際標準IEEE P3652.1IEEE Guide for Architectural Framework and Application of Federated Machine Learning【國內標準】參與編寫已發布標準：參與信通院基于多方安全計算的數據流通產品技術要求與測試方法，聯邦學習技術與應用，隱私計算 跨平臺互聯互通 第1部分：總體框架標準編寫金融行業標準：參與央行金融標準化委員會多方安全計算金融應用技術規劃的標準微眾銀行聯邦學習產品安全認證FATE開源社區里程碑 2019-20212019：社區初創，功能豐富階段2020：社區生態快速發展階段2021

6、：企業級產品和標準快速推進階段FATE-ML：機器學習遇見安全計算FATE-MLLogisticRegressionGBDTDNN.同態加密秘密分享安全聚合.安全計算協議機器學習算法庫橫向聯邦：傳統機器學習算法可以無縫接入安全協議，低成本實現聯邦機制縱向聯邦：滿足高性能，可用性，機器學習實現聯邦機制需定制聯邦協議FATE-ML：縱向樣本對齊PSIID set YID set XParty AParty Bu1,u2,u3,u4u1,u2,u3,u5如何尋找交集:=u1,u2,u3？滿足條件：Party A 不知道Party B 有 u5 Party B 不知道 Party A 有u4解決方案：

7、RSA+哈希機制的安全求交方案FATE-ML：縱向樣本對齊PSIFATE-ML：縱向聯邦LogisticRegressionFATE-ML：縱向聯邦SecureBoostBoosting+分裂點信息保護+同態加密（精度無損）FATE-ML：縱向聯邦SecureBoostFATE-ML：縱向聯邦SecureBoostFATE-ML：縱向聯邦SecureBoostFATE-ML：縱向聯邦DNNSplitNN+同態加密+隨機噪音（精度無損）FATE-ML：縱向聯邦DNN-前向傳播FATE-ML：縱向聯邦DNN-后向傳播挑戰千萬樣本聯邦訓練*統計運行穩定時構建一顆決策樹的時間，40W，2000維度Pa

8、illier下持續優化獲得24.6倍提升縱向SecureBoost挑戰千萬樣本聯邦訓練縱向SecureBoost千萬級別(百維特征)樣本的訓練*統計運行穩定時構建一顆決策樹的時間，1000W，100維度FATE-Board：聯邦建?？梢暬涂山忉屝訤ATE-Serving：在線模型服務與監控FATE-SQL：安全合規的聯邦統計查詢橫向統計用例：select mean(t.age,t.salay)from(select*from partya.liba.tablea union all select*from partyb.libb.tableb）t;縱向統計用例：select count(1)

9、from partya.liba.tablea where partya.liba.tablea.id=partyb.libb.tableb.id;FATE-SQL：架構設計FATE-SQL：從解析到執行select corr(t1.age,t2.salary)from partya.liba.tablea t1 join partyb.libb.tableb t2 抽象語法樹聯邦安全執行算子FATE-SQL：匿名查詢（PIR）安全SQL查詢語句：select t.riskscore from partya.liba.tablea t where partya.liba.tablea.phon

10、e=partyb.libb.tableb.phone;問：Alice有兩條消息M0，M1，Bob想要Alice手里M0信息，但是不希望讓Alice知道他拿走了M0消息。你覺得他能做的到嗎？答案：YES。方案：不經意傳輸協議-OT（Oblivious Transfer）手機號風險分18923*09015825*92013412*15917789*43413532*78813672*87613652*118數據服務方（Alice）手機號18923*015825*913412*117789*4業務方（Bob）查詢用戶風險分FATE-SQL：聯合統計多頭共債：貸款：10w金融機構A貸款：20w金融機構

11、B貸款：0w金融機構C查詢用戶A已貸款金額？安全SQL查詢語句：select sum(t.loan)from(select loan from partya.liba.tablea union all select loan from partyb.libb.tableb union all select loan from partyc.libc.tablec）t;安全要求：不能泄露每家金融機構具體貸款金額安全方案：FedAverage，SecretSharing當前國內大數據行業發展面臨的挑戰聯邦學習一站式解決方案聯邦學習商業化落地思考兩個前提隱私計算的高關注度緣何而來？雙邊網絡效應高質量

12、數據吸引更多用數方豐富的用數方更利于數據源質量評價合規數據流通平臺構建關鍵因素打造雙引擎助力合規數據流通面向企業開發者提供零門檻聯邦學習開發平臺面向企業開發者提供零門檻聯邦學習開發平臺集交互式聯邦建模，聯邦查詢統計，數據管理，模型部署為一體解決方案FATE-StudioFATE-Cloud面向企業開發者提供聯邦數據合作網絡搭建平臺面向企業開發者提供聯邦數據合作網絡搭建平臺集聯邦站點注冊，站點監控，站點集群可視化部署，合約管理，交易管理為一體解決方案案例一：基于FATE建設聯邦智能協同中臺案例二：融合多方數據，以消費意愿預測為核心的存量客戶線索挖掘展望聯邦學習系統需與當前主流大數據生態系統，AI生態系統緊密結合不同聯邦學習系統間互聯互通，不同數據合作網絡間互聯互通大的平臺型企業還沒誕生，賽道機會依然很多關注FATE歡迎來GitHub 加入FATE建設star我們，第一時間接收項目進展國內首個聯邦學習官方社區，這里有：超500家企業機構開發者共同交流學習 國內最新聯邦學習產品資訊搶先獲取Thanks