專場14.1-貨拉拉大數據安全體系建設實踐和思考-王海華.pdf

《專場14.1-貨拉拉大數據安全體系建設實踐和思考-王海華.pdf》由會員分享，可在線閱讀，更多相關《專場14.1-貨拉拉大數據安全體系建設實踐和思考-王海華.pdf（32頁珍藏版）》請在三個皮匠報告上搜索。

1、貨拉拉大數據安全體系建設實踐和思考王海華 貨拉拉目錄1背景和挑戰大數據安全體系總結與思考232-1 大數據安全規范2-2 大數據安全能力建設2-3 大數據安全治理背景和挑戰6+業務線352國內城市66萬月活司機3+IDC20K+日均任務數1000+機器數10PB+存儲量950萬月活用戶貨拉拉介紹大數據基礎平臺基礎層離線計算(Hive/Spark/Presto/.)實時計算(Flink)資源管理(YARN/K8S)離線存儲(HDFS/OBS)OLAP多維分析(Druid/CK/Doris)在線存儲(Hbase/ES)實時數據接入埋點數據接入數據對賬數據鏈路監控離線數據接入數據接入平臺接入層數據門

2、戶權限中心個人中心內容管理知識庫建議反饋數據門戶權限中心個人中心內容管理知識庫建議反饋門戶首頁平臺層&數倉數據研發平臺飛流實時開發BQ數據即席查詢IDP數據集成開發數據倉庫DWB基礎整合層DWT明細數據層數據湖接入（T+1、近實時、實時）DWS公共匯總服務層用戶集市司機集市主數據庫數據治理平臺數據成本管理元數據管理數據安全管理數據質量管理數據工具箱自助分析可視化大屏數據服務工具快捷分析快速報表數據智能支撐工具服務層預警/告警監控多維分析固定報表AB Test特征平臺大數據分析平臺數據應用支撐服務工具數據工具箱自助分析可視化指標庫管理數據上報固定報表用戶畫像數據云服務大數據分析平臺數據應用輔助決

3、策類應用賦能業務類應用應用層智能營銷智能廣告投放實時報表鷹眼監控經營分析用戶分析數據資產ODS貼源數據層DWS公共匯總服務層DIMDWD明細數據層DWB明細數據整合層集市層標簽畫像體系特征體系指標體系AI平臺大數據使命：驅動業務數智化，助力公司業務持續增長DIM維表層貨拉拉-大數據貨拉拉-數據流為什么要做大數據安全？數據資產保護要求 商業機密 經營數據 用戶信息1法律法規要求 個人信息保護法 網絡安全法 數據安全法 數據安全管理辦法2難點與挑戰10P+數據量，8+數據資產數據集中存儲、敏感數據多生命周期長數據資產類型多,管控復雜度高 10+使用場景 需要統籌考慮使用場景多，攻擊面廣 20+大數

4、據產品 5000+用戶數量數據產品多,用戶數量大難點基本安全線業務曲線安全需求初創期平衡數據安全和業務發展的關系挑戰爆發期穩定期大數據安全體系建設思路數據采集數據處理數據銷毀數據交換數據傳輸數據存儲數據全生命周期圍繞數據生命周期構建安全能力建能力02PART TWO有法可依立規范建立組織保障建組織04解決存量安全問題做治理03建立全數據生命周期的安全防護體系，防止數據泄露，滿足合規需求01PART OnePART THREEPART FOUR大數據安全體系大數據安全體系概覽數據全生命周期安全防護能力數據采集數據敏感分級數據質量監控數據傳輸傳輸加密數據存儲數據備份和恢復數據加密存儲數據處理報表權

5、限管控庫表權限管控指標權限管控認證和鑒權行為審計云桌面數據交換下載分享審批數據水印數據銷毀數據生命周期數據脫敏研發平臺權限治理報表權限治理庫表權限治理公網訪問治理庫表權限系統報表權限系統庫表安全管理規范決策層（高管、信息安全委員會）：制定數據安全目標和愿景，發布安全制度和規范管理層（信息安全部門、大數據部門）：負責制定數據安全策略和規劃，及具體管理規范，組織安全培訓執行層（業務部門數據安全接口人、大數據部門）：負責保證數據安全工作推進落地安全治理技術工具數據質量管理平臺元數據管理平臺數據災備系統數據血緣管理數據資產管理制度規范報表安全管理規范敏感數據存儲和使用規范組織建設其他規范2-1大數據安

6、全規范數據安全規范-敏感分級分級名稱定義被利用價值使用范圍重要程度公開數據(C1)已通過正規渠道正式對外發布的數據，不會對公司造成影響的數據無價值外部公開一般限制數據(C2)不適合對外公開，但是對內部人員訪問基本無限制的數據，一旦發生泄露，不會對數據主體造成直接損害低價值公司內部敏感商業秘密(C3)公司專有或公司保密的，一旦發生泄露，將顯著影響相關業務的開展，對數據主體造成直接或者間接損害中價值可間接利用公司內部限于相關人員重要核心秘密(C4)具有最高安全屬性要求，一旦發生泄露，可能導致公司法律或商業上造成重大影響和損失高價值可直接利用公司重要部門特定人員關鍵數據敏感分類分級結合公司業務場景，

7、同時參考了金融數據安全分類分級標準：金融數據安全數據安全分級指南（JR/T 01972020）數據安全規范-敏感分級庫表研發人員元數據平臺建表審批表元信息字段元信息建表自動分級(字段備注)安全分級模型數據管理人員人工上報修正分級報表研發人員報表平臺上線審批報表分級信息上線報表管理人員修正分級指標研發人員指標平臺上線審批指標分級信息上線指標管理人員修正分級庫表：算法定級為主，人為定級為輔報表：研發人工定級，報表管理員審批指標：研發人工定級，指標管理員審批庫表安全管理規范庫表創建權限申請數據使用數據下載明確元信息（庫表屬主、字段敏感級別等）分級審批主體身份限制有效期設置（庫/表/列級）每個數倉庫必

8、須有業務組歸屬行為審計庫管理員一/二級部門負責人直屬負責人公司級數據管理員角色定義業務組業務負責人數倉庫數據管理員個人賬號服務賬號組賬號YARNL1隊列YARNL2隊列資源管理員擁有1NNN1擁有擁有負責管理包含擁有NNN1N1111庫/表/列級鑒權分級審批1N庫表安全管理規范序號發起方發起方所在部門庫表庫表所屬部門安全級別備注審批流程1userAAdb1.t1AC1/C2部門內非敏感數據userA-leader3A-adminA2userAAdb1.t2AC3/C4部門內敏感數據userA-leader3A-adminA-adminHLL3userAAdb2.t1BC1/C2跨部門非敏感數據

9、userA-leader3A-adminB4userAAdb2.t2BC3/C4跨部門敏感數據userA-leader3A-leader2A-adminB-adminHLL庫表權限審批流程詳情報表安全管理規范報表上線報表使用報表下載明確元信息（明確屬主、分級等）上線審批分級審批主體身份限制有效期設置行為審計部門報表管理員一/二級部門負責人直屬負責人公司級報表管理員分級審批下載有效期數據量限制發起方發起方所在部門報表所屬部門安全級別備注審批流程userAAAC1/C2部門內非敏感報表userA-leader3A-adminAuserAAAC3/C4部門內敏感報表userA-leader3A-ad

10、minA-adminSuserAABC1/C2跨部門非敏感報表userA-leader3A-adminBuserAABC3/C4跨部門敏感報表userA-leader3A-leader2A-adminB-adminS安全級別備注審批流程單次申請時限單次申請可下載條數C1/C2非敏感報表userA-leader3A17天無限制C3/C4敏感報表userA-leader3A-adminS17天 leader3A-leader1A-adminS17天上限報表使用流程規范報表下載申請流程規范角色定義高敏感數據存儲和使用規范03PART THREE高敏感數據下載02PART TWO脫敏使用、解密嚴格審批

11、、解密條數限制高敏感數據使用01PART 0NE入倉加密、高敏明文數據獨立空間存儲高敏感數據存儲等級類別內容必須加密字段建議加密字段C4身份信息身份證號、護照號、行駛證號、駕駛證號、照片、手機號手機號、身份證號、駕駛證號C4銀行卡信息借記卡賬號、信用卡賬號銀行卡號C4精確定位信息常用經緯度、精確地址信息(精確到街道)、郵寄詳細地址、身份證地址、拉貨訂單信息/C4車輛重要信息車牌號碼(包括用戶車輛及車外設備拍攝的其他車輛的車牌號碼)/車牌號脫敏下載、解密下載嚴格審批、下載條數限制2-2大數據安全能力建設數倉庫表安全能力元數據管理系統庫表分級系統庫表權限管理系統權限管理服務權限申請權限查詢鑒權服務

12、列級鑒權計算引擎HiveSparkPresto研發人員使用人員1.建表2.庫表字段信息3.獲取庫表信息4.申請權限5.列級鑒權覆蓋庫表權限全生命周期，支持列級細粒度鑒權RangerRanger Plugins5.庫級/表級鑒權后臺任務管理庫級/表級賦權異步賦權有效期巡檢權限過期回收數據報表安全能力報表權限管理系統報表敏感定級敏感級別打標敏感級別審核報表元數據管理權限元數據報表分組分組報表管理員公司級報表管理員使用報表報表權限申請管理統一入口統一屬性研發報表統一入口統一屬性覆蓋報表權限全生命周期，包含研發、上線、使用等過程云桌面報表權限管理權限元數據管理分級審批權限生命周期查看/下載鑒權高敏感數

13、據加密和脫敏解密明文數據下載嚴格審批數據源在線存儲MySQLESHBase.上報數據IoT埋點日志數據采集離線導入實時導入非敏感數據敏感加密數據高敏感數據解密明文數據高密域數據加工閉環大數據 在線加密敏感數據導入加密兼容 高敏數據和解密數據獨立空間存儲，嚴格審批高密域存儲敏感數據解密到高密域普通域存儲敏感數據脫敏使用普通域數據研發和分析高密域數據研發和分析普通域數據共享高密域數據共享解密數據災備能力大數據系統所面臨的風險和威脅無處不在：人為誤刪云機房故障.造成核心數據丟失數倉重要原始/結果數據異地備份基礎設施安全能力數據產品大數據基礎組件云基礎設施數據開發平臺BigQuery數據即席查詢10%

14、以下場景直接通過基礎組件或者云基礎設施90%以上場景通過數據產品進行數據治理平臺SSO菜單權限管理數據服務平臺數據智能支撐平臺數據分析平臺授信訪問機制生產隔離堡壘機訪問訪問密鑰加密限制生產域訪問云主機云存儲2-3大數據安全治理大數據安全治理開展專項治理數倉庫表安全治理報表安全治理高敏感數據治理庫治理：每個庫必須有部門歸屬、數據敏感分級不合理權限收歸：研發不得擁有非本部門庫的庫級權限權限有效期覆蓋和批量過期報表歸屬和敏感分級覆蓋率提升非崗位必需敏感報表權限回收跨部門報表權限批量回收高敏感數據全量加密、或遷移高密域脫敏函數推廣和替代解密非數據研發人員數據研發權限回收逐部門逐項治理治理結果庫表敏感分

15、級覆蓋庫全部有歸屬不合理庫表權限全部回收報表敏感分級和歸屬覆蓋不合理報表權限全部回收高敏感數據全部標識不合理研發系統權限全部回收總結和思考總結數倉庫表安全數據報表安全高敏感數據存儲使用安全數據災備和基礎設施安全數據安全能力數倉庫表安全治理報表安全治理高敏感數據治理數據安全治理立規范建能力做治理數據安全規范數據分類分級庫表安全管理規范報表安全管理規范高敏感數據存儲使用規范大數據安全防護體系：全數據生命周期覆蓋+有效防護方法（規范、能力、治理）一些思考安全是業務1前面的那個0，安全投入需要跟業務投入取得平衡大數據安全需要數據生命周期全局和體系化保障，不能只靠局部點突破借鑒業界和專業安全團隊最佳實踐，同時結合公司實際情況可落地能解決問題未來展望對標行業，安全能力成熟度提升：中-高安全攻防，避免事故樣本太小能力效果不佳問題產品能力完善，部分線下-全面線上化