因果性學習初探.pdf

《因果性學習初探.pdf》由會員分享，可在線閱讀，更多相關《因果性學習初探.pdf（40頁珍藏版）》請在三個皮匠報告上搜索。

1、因果性學習初探蔡瑞初數據挖掘與信息檢索實驗室廣東工業大學什么是因果性學習？2 人類是如何學習的？什么是因果性學習人類學習人類學習技能下棋、游戲、駕駛書籍觀察實驗 人類是如何學習的？什么是因果性學習人類學習人類學習機器學習（相關性）技能下棋、游戲、駕駛書籍觀察實驗數據模型 認知：視頻分析、圖像識別 決策：游戲、駕駛相關性學習 人類是如何學習的？什么是因果性學習人類學習人類學習機器學習（相關性）技能下棋、游戲、駕駛書籍觀察實驗數據模型 認知：視頻分析、圖像識別 決策：游戲、駕駛相關性學習機器學習（因果性）數據知識行為模型 認知：視頻分析、圖像識別 決策：游戲、駕駛因果性學習 更強的泛化性為什么需要

2、因果性學習6 6沙漠駝峰駱駝沙漠駝峰駱駝相關性因果性為什么需要因果性學習 更好的可解釋性:7?相關性因果性為什么需要因果性學習 更容易的先驗引入方式:8?因果知識數據擬合能力數據與知識混合驅動的機器學習有哪些因果性學習方法9基于先驗因果結構的因果性學習方法已知因果結構問題：因果知識如何利用？思路：因果結構+深度學習基于因果發現的因果性學習方法未知因果結構問題：因果知識哪里來？+怎么利用？思路：因果發現+（因果結構+深度學習）基于先驗因果結構的因果性學習方法10 Traditional supervised learning：Might not be the case in practice:基

3、于先驗因果結構的因果性學習方法：領域自適應11Source(Train)Target(Test)Domain adaptation基于先驗因果結構的因果性學習方法：候選的因果結構 Domain Adaptation in Causal View:Graphical Model12Zhang,Kun,et al.Domain adaptation under target and conditional shift.International Conference on Machine Learning.PMLR,2013.DXYCovariate ShiftTarget ShiftDYXDYX

4、Conditional ShiftDYXGeneralized Target Shiftdomainfeaturelabel基于先驗因果結構的因果性學習方法：候選的因果結構 Domain Adaptation in Causal View:Graphical Model13Zhang,Kun,et al.Domain adaptation under target and conditional shift.International Conference on Machine Learning.PMLR,2013.DXYCovariate ShiftTarget ShiftDYXDYXCon

5、ditional ShiftDYXGeneralized Target Shiftdomainfeaturelabel基于先驗因果結構的因果性學習方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled14Entangledand distorted feature space Cai R,Li Z et al.Learning disentangled semantic representation for domain adapta

6、tionC.IJCAI 2019domain latent representationfeature space基于先驗因果結構的因果性學習方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled15Entangledand distorted feature space Cai R,Li Z et al.Learning disentangled semantic representation for domain adaptati

7、onC.IJCAI 2019domain latent representationfeature spaceCausal view of the generation process基于先驗因果結構的因果性學習方法：DSR From the causal view,the latent domain representation and the sematic representation are disentangled16Disentangledlatent representationEntangledand distorted feature space Cai R,Li Z et

8、al.Learning disentangled semantic representation for domain adaptationC.IJCAI 2019semantic latent representation domain latent representation domain latent representationfeature spaceCausal view of the generation process基于先驗因果結構的因果性學習方法：DSR Solution:using VAE to disentangle the latent representation

9、 with the help of the causal structure 17Cai R,Li Z et al.Learning disentangled semantic representation for domain adaptationC.IJCAI 2019基于先驗因果結構的因果性學習方法：DSAN 單一的特征提取器不能提取領域不變的特征 修改因果圖18?,?|?Stojanov,Petar,Zijian Li,Mingming Gong,Ruichu Cai,Jaime Carbonell,and Kun Zhang.Domain Adaptation with Invari

10、ant Representation Learning:What Transformations to Learn?.Advances in Neural Information Processing Systems 34(2021).基于先驗因果結構的因果性學習方法：DSAN 通過少數修改將191.Encoder 中引入domain 信息3.約束domain對于z-x過程影響很小，即z依然保留y的信息（類似風格遷移的思路）2.Decoder 中模仿conditional shift的數據生成過程，即,Stojanov,Petar,Zijian Li,Mingming Gong,Ruichu

11、Cai,Jaime Carbonell,and Kun Zhang.Domain Adaptation with Invariant Representation Learning:What Transformations to Learn?.Advances in Neural Information Processing Systems 34(2021).基于先驗因果結構的因果性學習方法：more examples 進一步引入intervention 操作20Kun Kuang,Peng Cui,Susan Athey,Ruoxuan Xiong and Bo Li.Stable Pred

12、iction across Unknown Environments.KDD,2018Kaihua Tang,Jianqiang Huang,and Hanwang Zhang.Long-tailed classification by keeping the good and removing the bad momentum causal effect.“NeurIPS 2020Yang Zhang,Fuli Feng,et al.Causal intervention for leveraging popularity bias in recommendation.SIGIR 2021.

13、Stable LearningIn Computer VisionIn Recommendation基于先驗因果結構的因果性學習方法：有待解決的問題 給定的因果圖可識別嗎？21Cai et.al IJCAI 2019Kong et.al ICML2022Li et.al NeurIPS2023基于先驗因果結構的因果性學習方法：有待解決的問題 一些初步的結果：inductive biases+explicit supervision22Locatello,Francesco,et al.“Challenging common assumptions in the unsupervised lea

14、rning of disentangled representations.”ICML best paper，2019.基于先驗因果結構的因果性學習方法：有待解決的問題 一些初步的結果23Shu,R.,Chen,Y.,Kumar,A.,Ermon,S.,&Poole,B.,“WEAKLY SUPERVISED DISENTANGLEMENT WITH GUARANTEES”ICLR2020基于先驗因果結構的因果性學習方法:有待解決的問題 到底需要多少監督信號？242n+1 Supervised Signaln+1 Supervised SignalLingjing Kong,Shaoan Xi

15、e,Weiran Yao,Yujia Zheng,Guangyi Chen,Petar Stojanov,Victor Akinwande,Kun Zhang Partial Disentanglement for Domain Adaptation.ICML2022Zijian Li,Ruichu Cai,Guangyi Chen,Boyang Sun,Zhifeng Hao,Kun Zhang.Subspace Identification for Multi-Source Domain Adaptation.NeurIPS2023基于因果發現的因果性學習方法25基于因果發現的因果性學習方

16、法：時間序列挑戰 Challenges in time series domain adaptation多種偏移：不同的偏移(Offset),值域(Value Range)和不同變量之間的時延(Response Time).復雜依賴：即使一階markov，第一時刻也會影響整個序列26Causal Mechanism Transfer Network for Time Series Domain Adaptation in Mechanical Systems.TIST.Zijian li,Ruichu Cai,Hongwei Ng.and etc.基于因果發現的因果性學習方法：數據生成過程的啟

17、發27 現實世界的數據生成過程共享的因果機制不同場景下的體現基于因果發現的因果性學習方法：SASA Sparse Associated Structure Alignment28不同領域的時序數據有著不同的偏移(Offset),值域(Value Range)和不同變量之間的時延(Response Time).因果結構難以獲得情況下，我們通過稀疏相關結構對齊的方法解決時序遷移的問題Time Series Domain Adaptation via Sparse Associative Structure Alignment.AAAI 2020.Ruichu Cai,Jiawei Chen,Zij

18、ian Li,Wei Chen,Jie Qiao,Keli Chen,Junjian Ye,Zhuozhang Li,Xiaoyan Yang,Zhenjie Zhang基于因果發現的因果性學習方法：SASA Sparse Associated Structure Alignment29Time Series Domain Adaptation via Sparse Associative Structure Alignment.AAAI 2020.Ruichu Cai,Jiawei Chen,Zijian Li,Wei Chen,Jie Qiao,Keli Chen,Junjian Ye,Z

19、huozhang Li,XiaoyanYang,Zhenjie Zhang通過注意力機制，求出不同時間序列之間的稀疏相關矩陣，通過相關矩陣對齊的方法，解決時序遷移問題基于因果發現的因果性學習方法：GCA Granger Causality Alignment30Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang?Causal Structure asLatent Variables?基于

20、因果發現的因果性學習方法：GCA Granger Causality Alignment31Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果發現的因果性學習方法：GCA Granger Causality Alignment32Transferable Time-Series Forecasting under Causal Conditional Shift.Under Su

21、bmission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果發現的因果性學習方法：GCA Generalization bound for Semi-supervised Time-series Domain adaptation33Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun ZhangCausal Structures Discrep

22、ancy 基于因果發現的因果性學習方法：GCA Granger Causality Alignment34Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果發現的因果性學習方法：GCA Granger Causality Alignment35在人體骨架行為序列遷移任務中，因為人體關節本質上是一種因果結構，我們的方法取得更好的效果。在空氣質量預測數據集上，我們在解決PM2.5預測

23、任務的同時，揭露了PM2.5產生的機制Transferable Time-Series Forecasting under Causal Conditional Shift.Under Submission Zijian Li,Ruichu Cai,Tom Z.J Fu and Kun Zhang基于因果發現的因果性學習方法：有待解決的問題36因果發現算法的局限因果發現和深度學習融合的困難因果發現往往具有強假設機器學習往往是開放問題因果發現普遍依賴獨立檢驗等工具機器學習普遍基于優化方法強假設與開放場景之間的矛盾兩類方法基礎工具方法的不調和小結37基于先驗因果結構的因果性學習方法可能路徑：通過引

24、入領域知識/歸納偏置提升泛化性/解決數據偏差有待解決：模型的可識別性基于因果發現的因果性學習方法可能路徑：通過挖掘數據內在因果結構提升泛化性/可解釋性有待解決：開放場景的因果發現算法+因果發現與深度學習的融合Causality+AI=Toward General AI？基于探索的因果性學習方法？可能路徑：通過因果強化學習等探索策略解決未知環境學習問題？讀書觀察嘗試causal-learn:因果發現算法平臺 基于Python實現了經典和部分最新的因果學習算法。其中包含了因果發現的經典算法與API，并且提供了模塊化的代碼 GitHub:https:/ 文檔:https:/causal-learn.

25、readthedocs.io/en/latest/簡單使用案例：https:/ causal-learn支持：基于約束的因果發現方法（Constrained-based causal discovery methods）:PC、FCI、CD-NOD算法等；基于評分的因果發現方法（Score-based causal discovery methods）：包含BIC、BDeu、generalizedscore等評分的GES算法；基于函數因果模型的因果發現方法（Functional causal models-based causal discovery methods）:LiNGAM及其拓展方法、ANM、PNL等；隱因果表征學習方法（Hidden causal representation learning）：GIN方法；格蘭杰因果分析（Granger causal analysis）；多個獨立的基礎模塊，比如獨立性測試，評分函數，圖操作，評測指標；更多最新的因果發現算法，如gradient-based methods等。3940Thanks&questions？Resources:email:codes:https:/