2019年從基礎大數據到安全業務大數據的演進.pdf

1、從基礎大數據到安全業務大數據的演進目錄1.安全數據來源與利用方法現狀安全數據來源主要分類與特性安全數據的利用思路與應用路線MASSIF框架2.數據價值轉換的階段特性基礎大數據到安全業務大數據的演進方式安全數據各階段特性與業務價值轉換安全業務大數據的持續運營實現與應用場景目錄安全數據來源基礎大數據大體量數據中小體量數據 數量級大，數量大（條數多）非關系型數據庫存儲，離線數據挖掘應用較多 數據采集點類型少 數據信噪比平衡問題難以解決 專用安全數據少，流量數據與業務數據類型居多，C端數據除外 典型：全流量鏡像數據，運營商核心網設備數據 數據量級相對較小，條數經預處理（合并，壓縮）降低 關系型數據庫存

2、儲，分析方法與表結構強相關 數據采集點類型多 專門用途設備日志居多 典型：單一業務系統日志，安全設備日志抽樣深度分析（惡意樣本提?。┚唧w業務全量分析（DNS解析記錄）離線分析實時分析全量日志分析多種類數據關聯分析實時分析歷史分析數量抽離規則細化安全數據基本利用思路與定義大體量安全數據中小體量安全數據安全業務大數據樣本特征模式訓練異常挖掘匹配場景事件關聯特殊樣本安全數據=用于安全分析的基礎數據與安全設備產生的日志數據來自于基礎大數據，安全分析人員可感知、可理解或安全防護設備可機讀，具備安全管理輔助決策業務屬性的可用安全數據安全數據運維工具級應用分布式搜索索引器自動化負載均衡轉發器本質是日志集成搜

3、索系統對大數據架構日志系統支持乏力商業化軟件成本高封閉式架構擴展性較差基于搜索結果進行分析，分析行為后置字段提取、合并、統計與建模行為分離分析能力取決于分析師個人能力或外部團隊支持企業內部運維級安全數據分析體系受限于“后置”安全數據運營平臺系統級應用告警驅動事件驅動（前、中、后）場景驅動(多元化)基于日志數據解析基于預置判定規則基于分散數據檢索基于設備數據采集基于數據可視圖表基于預置關聯分析算法安全數據分析風險監控與評估分析安全運營平臺安全信息和事件管理平臺日志審計平臺/工具設備數據采集與回傳工具數據存儲與計算平臺安全協同？受限于“預置”MASSIF框架MICRO（微觀）&MESO（中觀）安全

4、數據核心價值轉換數據“活動”基礎大數據基礎安全大數據安全大數據安全業務大數據可操作性具備可感知性具備可理解性具備可交付性具備數據管理關注數據形態組織關注數據內稟屬性提高數據處理效率增強數據組織能力轉換數據價值形態分析面向業務交付使動使活安全數據原始來源可感知事件（Micro）中觀（Meso）模型驅動場景可決策安全場景數據形態分析對象基礎安全大數據與“（微觀）事件”的定義與構建（微觀）事件：組成基礎安全大數據的元素對象，由基礎大數據中的原始日志經安全業務導向的事件模型構造，具備最細粒程度的安全屬性。大數據環境存儲的原始日志（Something happened）微事件（What happened

5、）裁剪關聯聚合審計設備日志登錄對象日志流量/會話日志登錄行為關聯的原始日志根據模型抽取有意義的最小字段登錄行為事件衍生為規則異常登錄行為事件1.在原始數據來源穩定情況下，固化關聯模型，減少取數資源消耗，尤其適應列數據庫環境；2.多源數據關聯避免單點數據造成的I型與II型錯誤；3.為場景建模提供可感知的建模元素形態與數據通道；4.降低分析人員工作難度與專業度要求。嘗試登陸次數超過閾值，賬戶鎖定，不再記錄登陸行為，如何識別異常事件模型示例ETL中觀場景威脅模型的業務建模中觀攻擊行動行為步驟1行為步驟2行為步驟3行為子步驟1行為子步驟2行為子步驟3事件1事件2事件3事件N行為M級子步驟1中觀場景威脅

6、模型的數據建模安全場景ER建模 確定安全場景各主題、實體 確定主客體屬性及相關關系安全場景邏輯建模 使用標準業務元數據字段名，將安全場景ER模型映射為安全場景維度表 使用事件模型構建安全場景事實表，并與維度表關聯安全場景物理建模 基于邏輯模型已建立的各事件模型關系，建立索引 根據事件模型算法，生成ETL腳本，提供提數接口基于ATT&CK模型的中觀攻擊行動業務模型安全業務大數據的持續運營實現1.形成基礎大數據到安全業務大數據持續轉換生產的技術支撐能力；2.解決大數據安全應用場景下，安全大數據挖掘與實時業務系統“取數難”的問題；3.解決安全分析師在數據分析建模能力的短板問題，降低安全數據分析認知難度；4.數據形態轉換各階段均可自定義，避免先驗認知誤差問題。安全業務大數據對大數據安全應用支撐框架THANKS