部分可觀下APT攻擊行為捕獲：馬爾可夫決策助力AI模型_孟雷（29頁）.pdf

1、部分可觀下APT攻擊行為捕獲：馬爾可夫決策助力AI模型孟雷孟雷斗象科技高級機器學習專家（照片部分由主辦方添加）AgendaAPT威脅嚴峻AI模型助力APT檢測馬爾可夫決策助力AI模型Data Exfiltration 檢測與防御總結極光行動（2009-2019）夜龍行的（2007-2011）沙蟲（2009-2019）震網（2006-2010）Duqu（2007-2012）火焰（2010-2012）高斯（2010-2011）黑袋行動（2010-2011）索尼事件（2014）TAO攻擊（1998-2013）KBS事件（2003-2013）Hearbeat（2009-2012）Hangover（20

2、10-2013）Darkhotel APT（2018-2019）海蓮花（2012-2018）Winnti（2009-2013）Safe行動（2012-2013）RSA入侵（2011）APT1（2009-2019）烏克蘭電網攻擊（2015.12）響尾蛇APT（2012-2019）網絡旅行者（2004-2013）全球高級持續威脅（APT）以精確打擊要害及核心信息竊取為主要目，對企業網絡安全，信息資產安全構成嚴重威脅。APT|威脅持續中Social EngineeringSpear phishing0-Day ExploitsCustom MalwareMalware Variants metamo

3、rphism&packerConvert/Encrypted Tunnel攻擊行為挖掘|Cyber Kill Chain and ATT&CK智能檢測|基于人工智能和大數據的威脅分析檢測AI模型平臺漏洞盒子安全專家 C&C 連接 內部異常訪問 異常數據傳輸網絡流量分析 郵件附件 Web頁面下載文件 其它文件文件分析智能檢測|基于人工智能的威脅檢測建模監督學習DGA檢測模型DNS隧道檢測模型惡意加密流量檢測非監督學習Webshell檢測模型異常流量檢測模型ICMP隧道檢測深度學習惡意文件檢測模型僵尸網絡檢測惡意文件家族檢測Decision Tree Random forestlogistics

4、regressionIsolation forest k-means SVM檢測能力/時間復雜性困境|未知的威脅嚴峻，防御是與時間賽跑有效處理有效告警沒有告警誤報造成的平均損失:每年130萬美元19%40%4%快速響應平均降低了40%的成本反應慢造成的損失:成本增加40%40%新型攻擊：隱蔽 偽裝APT 0day 滲透入侵無處不在挑戰|海量告警響應&模型準確性提升無法及時響應，資產數據已受損模型存在噪聲模型運算成本提升模型準確性快速響應部分可觀環境（檢測模型存在噪聲）弱智能體強智能體解決|構造一個強智能體analyze，block，passnormal，anomalyState:blockin

5、g，passing計算資源、算力、分析損耗DGA模型惡意文件模型Webshell模型DNS隧道模型ICMP隧道模型加密流量模型Mysql模型含噪音的AI模型集RewardObservationAction部分可觀馬爾可夫決策馬爾可夫模型|MC HMM MDP POMDPNo observation uncertainty,with decisionWith observation uncertainty,no decisionWith both observation uncertainty and decisionMarkov Chain(MC)Hidden Markov Model(HMM

6、)Markov Decision Process(MDP)Partially Observable Markov Decision Process(POMDP)WORLDTransition DynamicsObservationRewardActionSEPolicybAgentPOMDP 通過六元組（S，A，T，R，Z，O）表示一個序貫決策過程。相對于MDP，智能體并無法直接觀察目前狀態，必須根據部分區域觀測結果推斷狀態的分布。S是有限集，其中sS代表一個狀態A是有限集，其中aA代表一個行動T：SA(S)稱為狀態轉移函數，用T(s,a,s)表示在狀態s上執行a達到s的概率P(s|s,a)R

7、：SAR稱為回報函數，R(s,a)表示在s上執行行動a所得即時回報Z是一個有限集，zZ代表一個觀察O：SA()稱為觀察函數，O(s,a,z)表示執行a達到s觀察到z的概率P(z|s,a)框架|部分可觀馬爾可夫決策過程（POMDP）th公式(4-2)的充分統計量Agent通過維持一個信度狀態b來對其歷史進行總結,b0代表初始信度狀態。(=Pr(=|,1,1,.0,0(=(0,(1,(2,.,(,(定義|基于POMDP的APT攻擊行為捕獲策略對于一個給定策略，在初始信念狀態下，按策略執行動作得到累計代價值為：(=(,(+(|,(其中，(,(=(,(|,()()()(,()(,(),)s SsSP

8、z b ab sb s T s s aO z as=(|,(=(,(,(,POMDP模型目標是求解使累計代價值最小的最優策略*，即b，有下式成立：+1(+1(求出POMDP決策模型為：+(=(,+(,(,(POMCP|蒙特卡洛搜索樹Default PolicyTree PolicySelectionExpansionSimulationBackpropagation通過郵件附件、漏洞利用、植入后門等方式感染主機與遠端C&C服務器連接獲取控制命令竊取憑證，提升系統權限，感染其他主機數據收集數據傳遞日志協議沙箱情報惡意文件模型Webshell模型滲透DGA模型C2服務端模型C&C連接橫移檢測模型橫

9、移感染隱蔽隧道檢測惡意加密流量模型命令執行傳輸僵尸網絡模型UEBA攻擊行為檢測模型（弱AI）POMDP（強AI）World（S，A，T，R，Z，O）Agent觀察值/獎懲動作APT攻擊行為捕獲|弱AI 強AI案例介紹Data Exfiltration 檢測和抵御近幾年數據泄露事件0200000000400000000600000000800000000Ministry of Health(Singapore)WestpacHealth Sciences Authority(Singapore)Universiti Teknologi MARADesjardinsDoorDash2019 Bul

10、garian revenue agency hackStockXAdobe Inc.Quest DiagnosticsMobile TeleSystems(MTS)JustdialCapital OneCanvaZyngaTruecallerFacebookFirst American Corporation2019年 企業數據泄露統計02000000004000000006000000008000000001E+09AcFunSacramento BeeTicketflyPaneraFacebookMyHeritageAadhaarUnderArmour華住旗下酒店圓通2018年 企業數據泄

11、露統計數據泄露|方式在進化以前現在Data Exfiltration|Hidden TunnelCommand and ControlExternal Remote AccessHidden DNS TunnelHidden HTTP/S TunnelSuspicious RelaySuspect Domain ActivityMalware UpdatePeer-to-PeerPulling InstructionsSuspicious HTTPStealth HTTP PostTOR ActivityThreat Intel MatchReconnaissanceInternal Dark

12、net ScanPort ScanPort SweepSMB Account ScanKerberos Account ScanFile Share EnumSuspicious LDAP QueryRDP ReconRPC ReconLateral MovementSuspicious Remote ExecSuspicious Remote DesktopSuspicious AdminShell KnockerAutomated ReplicationBrute-Force AttackSMB Brute-ForceKerberos Brute ForceSuspicious Kerbe

13、ros ClientSuspicious Kerberos AccountKerberos Server ActivityRansomware File ActivitySQL Injection ActivityExfiltrationData SmugglerSmash and GrabHidden DNS TunnelHidden HTTP/S TunnelBotnet MonetizationAbnomal Web or Ad ActivityCryptocurrency MiningBrute-Foce AttackOutbound DoSOutbound Port SweepOut

14、bound SpamAI模型|基于機器學習的DNS隱蔽隧道檢測模型監督學習方式DNS隧道數據流量316268對正常數據流量320677對使用隨機森林算法，檢測準確度95%查詢域名舉例：0ufb582xgcxaabacuqa4xzabagdvasfsicykawrfxdahixa.aaqigumdecfrupcikhnyryf7dlk6pvclqvdzh.2hsemtaah3w2ra.log.riskivy.info通過DNS隧道攻擊特征：響應時間間隔平均值和方差；查詢域名長度平均值和方差；應答段長度平均值和方差；查詢子域名各字符信息熵平均值和方差；查詢類型頻率AI模型|基于機器學習的惡意HTT

15、PS流量檢測模型解析流量生成，conn.log、ssl.log、x509.log連接四元組（SrcIP，DstIP，DstPort，協議）SSL聚合（一個連接記錄、一個SSL記錄、一個證書記錄）連接記錄是非ssl的Connection.log中的連接記錄包含28特征（SSL聚合和連接記錄的數量、持續時間均值.）POMDP模型|針對 Data Exfiltration 設計Data Exfiltration POMPD模型是一個具有狀態空間S、動作空間A、狀態轉移T、觀測空間Z、觀測概率O和報酬函數R的元組（S，A，T，Z，O，R）狀態空間定義 動作空間定義 觀察空間定義阻止態、放行態AI模型分

16、析、阻止、放行合法流量、隧道流量S=Sblocking,SpassingA=Aanalyze,Ablock,ApassZ=Zregular,ZtunnelData Exfiltration POMPD模型是一個具有狀態空間S、動作空間A、狀態轉移T、觀測空間Z、觀測概率O和報酬函數R的元組（S，A，T，Z，O，R）狀態轉移函數定義當前狀態下，執行動作a，轉移到s概率狀態s下，執行動作a，獲得觀察值z概率T(s,a)=1,=1|,=1|,=觀察概率函數定義(|,=,=|=sin=1 ,=|=passing=,=|=1 ,=|=1|,Q指代AI模型準確率POMDP模型|針對 Data Exfilt

17、ration 設計Data Exfiltration POMPD模型是一個具有狀態空間S、動作空間A、狀態轉移T、觀測空間Z、觀測概率O和報酬函數R的元組（S，A，T，Z，O，R）報酬函數定義狀態s下，執行動作a，獲得的即刻回報(,=,=passing,=,=,=1 ,=,=1,=passing,=,=POMCP 在線求解部分可觀的蒙特卡洛搜索樹算法L指代網絡安全等級，C指代模型計算開銷POMDP模型|針對 Data Exfiltration 設計DNS隧道檢測基于POMDP決策強化狀態轉移圖|狀態轉移概率矩陣、觀測轉移概率矩陣Aanalyze-1.0Zregular-0.05,Ztunnel-0.95Sblocking:Spassing:Zregular-0.95,Ztunnel-0.05Aanalyze-1.0Ablock，Apass-0.5Ablock，Apass-0.5超參數設置：基于ML的DNS隧道檢測器準確率Q=0.95 模型計算開銷C=1.28數據生成|DNS隧道攻擊場景模擬內網搭建攻擊環境，使用多種工具（iodine、dns2tcp、dnscat2、ozymandns）模擬攻擊過程總結問題：傳統基于ML的APT攻擊檢測模型存在噪音、處理響應慢、耗費資源等手段：部分可觀馬爾可夫決策+蒙特卡洛搜索樹結果：模擬實驗，驗證方法可行孟 雷斗象科技高級機器學習專家