2019年分布式流式關聯引擎.pdf

1、分布式關聯分析引擎Sabre在NGSOC中的應用01：事件關聯和CEP02：大數據場景下的CEP關聯分析03：分布式流式關聯分析引擎-Sabre目錄新一代分布式流式關聯分析引擎CEP(復雜事件處理)技術在大數據領域的一個實現中文名-軍刀，代表開箱即用，威懾力強“Sabre”是什么？事件關聯和CEP01事件是計算機系統中某一活動產生的一組數據。事件的體現形式是一個對象，它由特定屬性和數據組成。什么是事件？src_user:fangwen,dport:80,log_type:fw,msgid:d00de753f73a4583a5197d34d8a30b25,collect_ip:10.95.36.

2、14,dip:110.12.12.15,protocol:TCP,event_name:Match url profile,dev_type:/安全設備/防火墻,occur_time:1564453383000,sip:110.12.12.13,severity:6_信息,serial_num:1896129436,systype:log,dev_ip:10.91.130.216,sport:7704事件關聯是一類用于對數以百計的設備中產生的數以百萬計的日志進行分析以發現難以捉摸的攻擊模式的技術什么是事件關聯？網絡攻擊是復雜的，多階段，持續時間段，跨多節點的動態過程獨立的日志源無法看到攻擊的全

3、貌，而只能看到完整攻擊的一個片段不進行關聯，就無法把大量的片段組合起來完成 全景拼圖什么是事件關聯？CEP：Complex Event Processing（復雜事件處理）一種基于動態環境中事件流的分析技術什么是CEP？CEP：COMPLEX EVENT PROCESSING（復雜事件處理），CEP是 SIEM(SOC)的核心技術之一。什么是CEP？事件復雜度處理速度復雜事件簡單事件人類速度機器速度傳統商務智能技術關系型數據庫復雜事件處理Complex、Event、Processing消息隊列Messaging&Routing、Systems數據庫技術和CEP的區別水庫vs水管CEP：SQL

4、on stream大數據場景下的CEP關聯分析02海量數據如何有機結合？擁有各種類型的日志或數據，彼此之間孤立，不能發現深層復雜安全事件。大量告警如何高效應對？傳統安全設備產生的大量告警事件，數量級已經達到靠人工無法有效處置。典型場景如何精準防御？缺乏對典型場景的關鍵影響因素細粒度地分析。高級威脅如何及時發現？面對的高級威脅事件APT攻擊越來越多，沒有能力及時地發現此類威脅。大數據場景下的工程難點難 點 1難 點 2難 點 3計算與存儲資源的平臺化趨勢與已建大數據平臺的兼容性依賴重運維的自有系統 VS 輕運維的產品大數據場景下CEP關聯分析實現的過程步 驟 1步 驟 2步 驟 3(流式)計算框

5、架的選擇復雜邏輯的拆分，使能分布式計算任務的生命周期管理（創建，運行，監控）分布式流式關聯分析引擎-SABRE03SABRE的特性技 術特 性產 品獨有的事件處理語言(EPL)圖計算代碼生成聚合計算、序列分析、關聯計算、時間窗口、分組去重、表計算、國內首款大數據分布式實時關聯分析引擎（產品級）可橫向擴展的分布式引擎支持多源、異構日志支持漏洞、資產、威脅情報等多維數據支持自定義對象內容類Visio可拖拽輕松配置150+預置規則100+語義表達建模更簡便支持分布式部署支持橫向擴展集群更可靠可達10WEPS的實時處理能力性能更強勁國內第一款具有自主知識產權及專利的大數據分布式關聯分析引擎來源更豐富靈

6、活的規則建模能力傳統安全設備的規則是基于代碼級別的編碼，通過特征識別發現威脅的。但威脅是快速變化的，通過規則升級來響應是滯后的。通過類VISIO的圖形化連線拖拽配置，就可實時地對威脅場景進行建模，配置規則統計規則關聯規則序列規則快速配置和上線通過Sabre關聯分析引擎，將一個新的監控需求的實現從開發、測試和上線的復雜流程中解放出來。通過工具化的配置拖拽即可輕松定制任何檢測場景！遇到問題遇到問題分析原理分析原理確定方法確定方法編程開發編程開發測試上線測試上線具備具備監測能力監測能力快速配置和上線通過Sabre關聯分析引擎，將一個新的監控需求的實現從開發、測試和上線的復雜流程中解放出來。通過工具化

7、的配置拖拽即可輕松定制任何檢測場景！遇到問題遇到問題分析原理分析原理確定方法確定方法編程開發編程開發測試上線測試上線具備具備監測能力監測能力威脅建模威脅建模線上驗證線上驗證old規則建模工具威脅建模-統計規則Use Case-工作時間某IP地址突現異常流量場景描述：工作日時間范圍內,當前1小時內的TCP平均流量超過一周時間內TCP平均流量的40%。選擇統計規則模板,先配置規則屬性,再進行計算單元配置：日志過濾1：數據源選擇流量日志(TCP流量日志),過濾條件設置,發生時間 屬于 工作時間(對象資源)將日志過濾與日志統計1計算單元進行連線 日志統計1：計算1小時內，相同源IP分組條件下，TCP流

8、量日志.下行字節數的平均值；將日志過濾與日志統計2計算單元進行連線 日志統計2：計算一周內，相同源IP分組條件下，TCP流量日志.下行字節數的平均值；將日志統計1、日志統計2與閾值比較計算單元進行連線閾值比較：日志統計1的值 變化幅度超過 40%的 日志統計2的值配置規則響應：此時只一個。該場景描述了對一些異常情況的關注。威脅建模-日志關聯規則Use Case-網站被網絡攻擊利用成功場景描述：WAF出現攻擊類報警的事件，且同時發現在IPS的報警日志中，被訪問服務器（目的地址）中存在可利用漏洞時，被認為是一個高?？尚鸥婢?。選擇日志關聯規則模板，先配置規則屬性，再進行計算單元配置：日志過濾1：數據

9、源選擇WAF報警事件，過濾條件設置WAF.目的IP=漏洞表.資產IP 日志過濾2：數據源選擇IPS報警事件，過濾條件設置IPS.目的IP=漏洞表.資產IP 日志連接：日志過濾1.目的P=日志過濾2.目的IP 日志統計：5分鐘時間范圍內，聚類條件根據源IP、目的IP分組，默認統計方法為計數 閾值比較：聚類統計的計數結果=1備注：日志關聯規則模板的連線關系不可修改。配置規則響應，如果需要先對規則的準確性進行驗證，輸出結果配置為關聯事件。以上典型場景是對多類型、多維度日志和數據進行的關聯分析。威脅建模-序列規則Use Case-“永恒之藍”勒索病毒攻擊場景描述：內網主機被蠕蟲利用漏洞MS17-010

10、攻擊，釋放勒索病毒，并進一步感染其他主機。選擇連接規則模板，先配置規則屬性，再進行計算單元配置：日志過濾1：數據源為DNS解析日志，過濾條件中引用威脅情報，設置日志.解析域名=威脅情報.host 日志過濾2：數據源為Windows主機日志，過濾條件為“創建計劃任務”包含“mssecsvc2”日志過濾3：數據源為TCP流量日志，過濾條件為目的port=445，135、137、138、139 將日志過濾1、日志過濾2、日志過濾3與序列分析計算單元進行連線 序列分析：5分鐘時間范圍內，對源IP（被感染主機）進行分組，對事件日志過濾1、日志過濾2、日志過濾3發生順序進行判斷。配置規則響應，可以設置告警

11、的攻擊階段、置信度等信息。以上典型場景是對全球范圍內爆發的安全事件，利用威脅情報的關聯，及時的內網發現和后續變種攻擊的持續監測。整體架構規則配置前端詞語法解析Sabre服務規則分析規則編譯代碼生成Flink集群告警kafka數據源KafkaXML格式規則任務包（JAR）XML格式規則支持多規則多規則進行全局語義優化規則匹配優化成流式圖計算圖計算編譯器將規則匹配映射成等價代碼直接運行對應代碼，大幅提高規則匹配效率自動代碼生成規則匹配拆分為圖計算節點全局監控規則運行狀態，包含內存、CPU、事件匹配情況等分布式狀態監控核心技術圖計算 引擎內部引入可計算對象的抽象概念，將各個計算節點抽象成對象，對象通

12、過數據流圖組成DAG，這樣可以簡化數據結構的設計難度，提高引擎的可擴展性計算單元計算單元語義語義dataSource數據源，如kafka、database等filter對從數據源讀取的事件進行過濾window聚集符合窗口時間的事件aggregation統計相關計算：count、max、min、average、sumsequence處理事件序列邏輯join兩數據源事件關聯operator對象計算模塊action動作響應，處理規則觸發之后的動作分布式運行 Sabre的分布式能力基于流式處理框架：Apache Flink Apache Flink 是一個框架和分布式處理引擎，用于在無邊界和有邊界數據流上進行有狀態的計算。Flink 能在所有常見集群環境中運行，并能以內存速度和任意規模進行計算對Flink的技術依賴只使用Flink的分布式計算能力業務代碼盡可能減少對Library層的依賴Sabre很容易適配到Flink的各個版本（1.4/1.7.2）技術決策-最小依賴原則分布式狀態監控THANKS