《華為:華為數據治理案例-引領企業數字化新紀元的智慧密鑰(21頁).pdf》由會員分享,可在線閱讀,更多相關《華為:華為數據治理案例-引領企業數字化新紀元的智慧密鑰(21頁).pdf(21頁珍藏版)》請在三個皮匠報告上搜索。
1、郎豐利于2023年8月整理制作,碳排放數字化建設及數字化駕駛艙建設綜合解決方案整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行華為數據治理案例引領企業數字化新紀元的智慧密鑰一、數據治理服務二、案例分享目錄32數據需求清單數據責任清單數據標準元數據.公共數據資源附加屬性業務屬性數據倉數據湖數據服務化用業務活動全景
2、圖邏輯實體屬性業務梳理、系統梳理概念模型制定質量標準質量改進分析數據流向梳理邏輯模型質量評估六大特性數據質量標準數據模型治全域數據資產數據資產梳理業務流程業務活動數據治理及數據集設計的整體方法論盤職責目錄系統目錄數據目錄完整性有效性一致性獲取源系統數據字典獲取源系統數據資源擴展屬性基礎屬性ID數據負面清單系統&數據業務對象識別業務場景管理元數據業務元數據邏輯設計系統調研業務調研業務&數據集主數據擴展唯一性準確性及時性33.34 提升數據準備度,為業務運作提供可信的足量的數據支撐 實現業務上下游數據的快速傳遞共享,提升業務運作效率 數據質量的持續提升減少糾錯成本,降低運營風險,提升業務服務滿意度
3、數據集成與共享數據分布數據資產目錄架構模型組織架構數據模型規范數據模型設計實體、屬性識別數據模型管控數據模型數據銷毀安全數據交換安全數據處理安全數據存儲安全數據傳輸安全數據采集安全數據安全數據落IT系統指標數據數據字典發布業務對象識別數據標準制定數據標準數據質量改進數據質量度量數據質量控制數據質量標準數據質量數據地圖血緣關系元數據元數據規范元數據數據治理框架 有效的數據質量控制 高效的數據共享 一致的數據標準 可信數據源數據治理組織/流程數據治理框架價值體現治理訴求優化提升夯實基礎職責&業務活動數據導向展開(自下而上)組織架構&規章制度標準規范業務系統(OLTP)增量部分落標應用場景導向展開(
4、自上而下)數據安全合規制度規范數據安全(數據分類分級)數據資產目錄&數據服務(數據運營)數據標準核標(管理看板)技術元數據數據質量檢查(管理看板)業務模型數據資產盤點(元數據-數據標準關聯)通過數據模型設計規范貫標業務數據基礎數據標準數據模型賦能部門業務數據治理路徑數據湖數據架構(OLAP)主數據35一體化數據架構這一步是數據中臺核心工作內容,其中業務模型、數據模型也是數據中臺建設的關鍵所在。數據資產(數據湖)數據標準業務模型業務流程業務架構數據責任數據安全入湖標準元數據數據模型數據資產目錄數據資產層標準層架構層加工層36模型發布模型治理運營無人DDL腳本模型上線交付核標與數據質量元數據融合資
5、產目錄維護數據權屬認責信息分級分類邏輯數據湖數據標準落標模型設計數據湖實時入湖批量入湖元數據管理部門業務系統數據庫TP&AP一體化建模體系技術元數據采集數據標準落標率模型審計定時/自動采集應用&數據交付一體化數據資產數據湖4、連接&萃取自動發布邏輯實體、屬性定時/自動采集5、應用開發1、部門數倉3、數據建模2、數據同步6、數據校驗數據模型管理湖側元數據模型驗證自助入湖37需求分析運行維護系統測試開發階段的數據模型標準化數據模型設計是開發過程的重要一環,影響程序架構,內外部API,會影響業務邏輯,以至分布式組件架構。詳細設計業務概念模型邏輯模塊領域類圖物理模型實現類圖模型基線數據庫差異數據字典物
6、理模型基線封版上線概要設計上線交付數據庫具體實現Hibemate/JPA澄清業務需求設計數據流程功能模塊設計主要數據屬性數據模型封板交付編碼開發數據庫監測項目成效由數據資產系統建立數據模型管理,實現數據模型事前-事中-事后的管理通過統一模型工具以及在數據資產管理平臺簡歷數據模型管理功能,實現數據模型事前-事中-事后的管理。并且實現了數據資產管理的閉環。元數據完整性檢查其他(模型瀏覽、探索等)數據資產的閉環,通過模型關聯元數據和標準,為數據標準落地打下基礎設計模型模型檢查與監控模型審核一致性對比架構師等人員審核模型完整性檢查數據模型數據標準元數據事前事中事后39模型工具自動審核提供核準通過證書確
7、定標注主題邏輯模型參考模型工具自動監測差異發送差異報告模型庫提供模型落標報告審核重點標準使用問題通過模型工具自動落標初期提供落標指導人員設計上線維護開發測試定位核準監測落標評審自動化和落標流程基礎知識儲備培訓/架構/工具自動檢測發送報告標準落標過程管理實時推薦人工服務自動檢測智能核準工具輔助人工審核開發過程管理數據標準管理模型設計模型審核元數據管理數據標準管理員項目組模型設計員模型架構師元數據管理員NYYNNY是否提供模型反饋意見N是否通過模型評審N是否與基線模型一致?Y線模型數據模型管控流程修改模型并提交模型評審引用數據標準數據庫上線采集元數據發布模型報告使用建模工具進行模型設計數據標準管理
8、數據標準審核發布郵件通知相關負責人自定義數據標準是否有可引用的數據標準?數據標準體系建設發布數據標準?發布基Y 不建議在沒有業務需求時,強制按標準進行系統改造 配合已有的系統改造計劃,將數據標準要求作為需求執行 可考慮在不同系統交互時,完成標準轉換 不強制執行 可作為外購產品的評估指標 可考慮在不同系統交互時,完成標準轉換 在業務系統建設時,執行適用的數據標準 新建系統的代碼應遵照數據標準項的代碼不同類型系統的落標策略新建系統現有系統外購系統42內部數據重要數據核心數據涉密數據內部公文、業務數據、組織架構等企業經營數據、個人信息等極大商業價值數據、核心商業、敏感信息等國際有關保密規定、涉及國家
9、安全秘密、機密數據、特殊用途研發數據等數據安全法網絡安全法中央企業商業秘密安全保護技術指引個人信息保護(草案)個人信息安全規范等基礎風險排查數據庫的漏洞情況,補丁情況,安全配置情況,是否存在諸如弱口令,缺醒口令,高危代碼等認為造成的使用缺陷統計分析,可視化展現賬號檢查梳理檢查已有的數據權限情況,尤其是高危操作的權限,特權賬號的權限,運維人員的權限,以及43在用的管控措施結合法規要求,優化數據分類分級標準,聯合數據治理團隊,提供數據分類分級方法,識別最重要的數據,形成數據分類分級標準參考目錄,同時識別重要數據資產安全風險隱患公開數據公開發布的財務報表、業務通告和政策等數據資產排查數據分級規則數據
10、安全分類分級盤點數據資產梳理訪問狀況源,不同使用場景等條件進行數據資產使用情況的形成資產地圖,包括數據庫,表的詳情和數量按不同時間段,不同訪問盤點數據資產分布情況,依據參考數據安全架構和授權體系數據安全三維框架:人 數 安全框架數據自動授權體系:建自動訪問體系和白名單相結合44OLAP數據資產和安全管理安全定密盤點分類數據標準治理敏感數據識別脫敏數據流脫敏函數脫敏規則訪問策略數據安全框架數據安全分級數據安全分類數據安全管理制度組織機構組織人員訪問等級數據安全共享制度數據安全訪問引擎數據安全應用血緣關系治理靜態脫敏工具數據治理數據服務API數據資產目錄數據資產訪問控制動態脫敏數據庫即時查詢資產盤
11、點白名單OLTP數據安全網關數據分類分級驅動的數據資產安全管控姓名電話地區張三1512*0325北京李四1432*0452上海王五1222*1325北京姓名電話地區張三1512*0325北京李四1432*0452上海王五1222*1325北京效能監控安全審計分類分級訪問統一數據查詢SQLBI安全訪問JDBC風險識別數據資產分類登記MYSQLOracel Hive業務應用級用戶UserA業務應用級用戶UserBUser數據安全網關Data安全防控45一、數據治理服務二、案例分享目錄46數據中臺-支撐基礎庫的建設-賦能數字政府轉型47業務信息數據公安口出生、死亡及戶籍登記基本信息人社口社會五險參保
12、等信息稅務口民政口地理實體數據影像數據高程數據基礎庫管理應用人口庫應用人口概況、人口查詢、人口統計、人口畫像、周期管理、模板管理、字段映射、執行策略、入庫管理、異常告警、標簽管理、標簽映射和關系、圖形化分析 法人庫應用法人概況、法人查詢、法人統計、法人畫像、周期管理、模板管理、字段映射、執行策略、入庫管理、異常告警、標簽管理、標簽映射和關系、圖形化分析 空間地理應用地圖服務、影像服務、地名地址服務、三維服務與坐標轉換等功能服務 基礎數據庫人口庫法人庫空間地理庫數據抽取/數據交換電子地圖數據地名地址數據三維數據基礎庫建設民政口婚姻關系雙方信息衛計口孕產婦及家屬信息建模建模元數據管理建模元數據管理
13、元數據管理空間地理數據法人數據人口數據質監口工商口48一、數據治理服務二、案例分享三、總結目錄49遵循“橫向規劃,縱向切入”建設模式 全局規劃、全盤考慮,打通各部門所有權責覆蓋的業務活動 數據中臺建設不可能一蹴而就,需要從應用場景出發梳理數據需求堅持“應用場景需求牽引,咨詢、軟件、平臺、服務四位一體推進”原則 按需搭建平臺 基于平臺敏捷實施 圍繞業務場景,從“盤數、歸數、治數、用數”的數據閉環構建起數據中臺的能力 按照全景規劃、迭代、創新,逐步實現全域數據中臺 以滿足一網通辦、一網通管、一網協同需求為目標 總體規劃數據中臺建設建議50郎豐利于2023年8月整理制作,碳排放數字化建設及數字化駕駛艙建設綜合解決方案整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行整理制作:郎豐利1519 制作時間:2023年 睿利而行謝謝聆聽