數據湖建設解決方案（2022）（38頁）.pdf

《數據湖建設解決方案（2022）（38頁）.pdf》由會員分享，可在線閱讀，更多相關《數據湖建設解決方案（2022）（38頁）.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、數據湖建設解決方案目 錄項目概述1總體規劃2建設方案3項目建設背景“4智”應用基礎支撐企業集團大數據智能化經營管理智能化業務作業智能化醫療健康行業運營智能化解決數據“匯”、“存”、“管”、“用”、“營”難題數據湖及應用平臺數據管理和業務應用要求 數據分散：基礎數據分布在各個應用平臺中，應用開發商整合能力差； 數據管理能力較弱：缺乏統一的數據標準管理、數據質量管理、數據開發管理、數據服務管理、數據安全管理和監控運維管理等； 數據利用能力不強：現有數據無法適應新業務需求，同時歷史數據無法并入新的系統再利用。集團戰略要求 集團戰略管控數字化； 業務運營數字化； 產業協同數字化； 管理支撐數字化?！笆?/p>

2、四五“規劃愿景 響應國家“十四五”規劃提出的“加快數字發展，建設數字中國”，推進“三醫”聯動持續深化改革，以“守護生命與健康”為使命，籌劃建設“集團城市健康中心”，打造以傳統中醫藥理論為基礎，依托現代科技賦能，基于用戶關系經營，通過大數據、實體醫療、網絡診療平臺、藥事服務平臺和新零售平臺等提供防、養、調全渠道多場景的健康產品、健康內容、健康定制和健康管理服務，打造一站式解決目標用戶健康問題的創新型健康服務中臺。集團信息化現狀分析集團領導市場財務銷售運營辦公自動化系統三方OMS生產管理系統全渠道數字化平臺移動應用門戶網站ERP系統人力資源系統業務信息系統集團級集團財務系統業務系統信息化基本形成體

3、系項目管理級公司級1線上線下業務信息化整合工作穩步推進2決策管理和數據分析應用正在迭代完善3集團統一數據管理和應用體系尚未建成4業務運營和管理遇到的問題分析未統一業務口徑和數據標準數據質量層次不齊缺乏統一數據管理支撐平臺需方多、變化快信息化投入較大，卻不能及時有效了解集團整體業務運營情況海量業務報表，卻無法對決策管理提供有效支撐無法通過企業關鍵績效指導決策大量時間精力投入到數據收集、報表制作中缺乏統一的業務運營口徑和指標標準業務的管理口徑和財務口徑不一致，各部門運營管理信息存在交叉重復對上級部門運營管理匯報要求不夠靈活，響應效率低下；對下級單位數據收集不及時、不準確運營管理缺乏綜合性系統和完整

4、的數據支撐能力缺少統一的平臺滿足決策層、管理層和運營層等對數據應用的各種需求運營管理需求反復變更、“多對多”的情況，IT服務部門疲于應付運營管理應用需求類型多、數量多、口徑不一和數據質量差等原因，導致開發周期較長，時效性差等問題業務數據來源分散，缺乏整合統一的基礎數據，無法有效支撐決策和管理集團高管層（決策層）IT服務支撐層業務運營管理層數據孤島、數據分散總體建設目標以“守護生命與健康”為使命，推動企業數字化轉型，建立集團數據湖及應用平臺，全面提升集團智慧化經營決策管理能力。借助5G、云計算、大數據、物聯網和人工智能等技術，重點解決戰略閉環、業務運營、管理支撐等業務系統間數據不通和數據孤島等問

5、題，破解數據“匯”、“存”、“管”、“用”、“營”等難題。通過建立集團統一的數據湖及應用平臺，提供數據匯聚、存儲、治理、分析、服務、共享、應用和運營能力，夯實企業大數據智能化、經營管理智能化、業務作業智能化、醫療健康行業運營智能化的“4智”應用基礎支撐能力，構建跨業務、跨部門和跨層級的融合應用場景，形成企業“數智化”運行的智能中樞，實現經營狀態的實時監測，經營數據的輔助決策、指標的智能預警預測，關鍵問題的智慧決策，打造集團運行管理閉環與智慧化決策能力?？傮w建設目標數據匯聚能力數據存儲能力數據治理能力數據分析能力數據服務能力數據應用能力數據運營能力離線數據采集實時數據采集結構化數據采集非結構化數

6、據采集視頻數據采集物聯網數據采集互聯網數據采集手工數據補錄采集數據庫數據存儲文件數據存儲圖片數據存儲聲音數據存儲視頻數據存儲關系圖譜數據存儲時序數據存儲數據架構管理數據標準管理數據建模管理數據開發管理數據調度管理數據質量管理元數據管理數據安全管理數據生命周期管理統計分析靈活查詢多維分析數據挖掘人工智能標簽管理指標管理知識圖譜數據可視化數據需求管理資源目錄管理數據服務接口管理數據共享交換管理數據報送管理數據開放管理數據服務評價人員管理用戶管理營銷管理渠道管理財務管理風控管理工程管理生產管理監管報送數據運維管理數據產品管理數據資產價值評估數據資產營銷推廣數據資產合作數據資產價值變現數據運營考核評價

7、1234567 總體架構規劃 數據架構規劃 技術架構規劃 應用體系規劃 數據治理規劃 數據共享規劃 平臺工具規劃 平臺建設藍圖規劃 建設目標規劃數據湖及應用平臺框架體系、搭建技術基礎平臺，實現C端用戶數據采集、入湖、治理和共享服務，以及支撐企業務+（私域流量業務）綜合分析和智能化應用，總結經驗教訓，為集團數據湖及應用平臺的整體建設奠定基礎。目標基礎平臺搭建數據治理體系建設數據共享服務建設數據分析應用建設框架體系規劃大數據平臺TBDS安裝部署數據治理產品安裝部署數據共享交換產品安裝部署用戶數據采集用戶數據建模用戶數據開發數據質量檢查元數據管理數據標準管理用戶需求分析應用設計數據及應用開發數據共享

8、與服務對接共享服務需求分析資源目錄梳理共享服務發布共享服務申請用戶信息調研共享服務調用12345共享服務授權預期成效：”七步走”解決企業面臨的數字化轉型發展痛點利用大數據技術建立集團統一的數據湖，實現數據采集、存儲、處理、分析和服務的統一管理，提高信息和數據的響應時間，提高經營管理工作效率，有利于壓縮開支，降低管理成本，推進數字化轉型發展。03020406070503信息煙囪數據分散利益割據數據保密不全面數據標準不統一管理機制不成體系安全保障不健全數字化轉型面臨的痛點”七步走”解決問題1設立專管機構，完善管理體系2整合數據孤島，統一數據標準3構建數據采集體系，打通數據整合通道4設計數據存儲策略

9、，提升數據存儲效率5初步構建數據治理體系6制定數據共享服務策略，促進數據融合安全發展7奠定數據應用基礎，打造大數據綜合應用能力目 錄項目概述1總體規劃2建設方案3建設總體思路搭建技術基礎平臺，探索平臺應用能力第一階段夯實數據基礎，推進服務與應用建設第二階段完善應用體系，提升平臺智慧能力第三階段建立數據運營體系，持續優化平臺能力第四階段數據湖及應用平臺建設規劃數據采集技術平臺搭建數據存儲技術平臺搭建數據處理技術平臺搭建數據調度技術平臺搭建數據治理技術平臺搭建數據共享技術平臺搭建試點數據域（用戶）采集、存儲、治理、分析和共享實施集團與事業部應用建設全面支撐（人員管理、用戶管理營銷管理、渠道管理、財

10、務管理、工程管理、合同管理、生產管理、風控管理、應急指揮、監管報送）基礎分析能力完善（指標、標簽、知識圖譜）綜合分析應用增強態勢感知能力建設實時分析應用場景體系建設算法模型體系建設AI服務體系化建設區塊鏈技術場景應用數據資產運營規劃數據產品體系建設數據產品價值評估體系建設數據價值變現體系建設數據運營安全體系建設數據采集能力迭代升級數據治理能力迭代升級數據分析能力迭代升級數據應用能力迭代升級數據共享服務能力迭代升級算法模型中心健全AI服務能力迭代升級場景應用持續推進數據運營考核體系建設數據治理體系咨詢規劃技術平臺能力增強集團與四大事業部數據入湖全域數據采集、存儲、治理、分析和共享體系建設數據治理

11、體系建設AI平臺搭建與應用探索基礎分析能力建設（指標、標簽、知識圖譜）綜合分析應用建設實時分析與應用場景探索重點應用建設支持數據湖及應用平臺總體架構（構建六個平臺、四個中心、三個保障體系，一個統一門戶）運維保障體系安全保障體系標準規范體系保障體系數據運營中心數據共享開放平臺數據匯聚平臺存儲計算平臺數據處理平臺數據共享交換離線數據同步實時數據同步數據補錄共享監測共享審計權鑒發布訂閱認證注冊數據源業務系統互聯網數據外部數據物聯網數據HR系統OAERP主數據渠道系統三方OMS財務系統Hadoop關系數據庫MPP內存數據庫圖數據庫對象數據庫時序數據庫爬蟲離線數據處理實時數據處理非結構化數據轉化數據統一

12、調度數據分析平臺統計分析多維分析即席查詢機器學習數據挖掘數據治理平臺數據質量管理元數據管理數據標準管理數據模型管理數據生命周期管理數據安全管理主數據管理AI中心數據資源中心指標服務標簽服務數據產品服務知識圖譜服務可信計算服務數據沙箱服務多方安全計算服務數據檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別數據服務中心數據需求管理應用集成運營可視化數據資源目錄管理租戶管理統一用戶/權限數據統一門戶數據產品管理數據資產價值評估數據資產營銷推廣數據資產價值變現數據運營維護運營考核評價12345678實時分析9101112業務賦能管

13、理駕駛艙客戶營銷資金管理財務分析產能預測風險審計用戶分析績效考核監管報送13平臺管理實時數據區匯聚區臨時庫ODS庫基礎區主題區分析區應用集市區實時數據存儲實時分析處理實時指標計算當事人財務用戶管理營銷管理指標庫標簽庫經營分析用戶畫像數據湖及應用平臺分階段規劃運維保障體系安全保障體系標準規范體系保障體系數據運營中心數據共享開放平臺數據匯聚平臺存儲計算平臺數據處理平臺數據共享交換離線數據同步實時數據同步數據補錄共享監測共享審計權鑒發布訂閱認證注冊數據源業務系統互聯網數據外部數據物聯網數據HR系統OAERP主數據渠道系統三方OMS財務系統Hadoop關系數據庫MPP內存數據庫圖數據庫對象數據庫時序數

14、據庫爬蟲離線數據處理實時數據處理非結構化數據轉化數據統一調度數據分析平臺統計分析多維分析即席查詢機器學習數據挖掘數據治理平臺數據質量管理元數據管理數據標準管理數據模型管理數據生命周期管理數據安全管理主數據管理AI中心數據資源中心指標服務標簽服務數據產品服務知識圖譜服務可信計算服務數據沙箱服務多方安全計算服務數據檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別數據服務中心數據需求管理應用集成運營可視化數據資源目錄管理租戶管理統一用戶/權限數據統一門戶數據產品管理數據資產價值評估數據資產營銷推廣數據資產價值變現數據運營維護運營

15、考核評價12345678實時分析9101112業務賦能管理駕駛艙客戶營銷資金管理財務分析產能預測風險審計用戶分析績效考核監管報送13平臺管理實時數據區匯聚區臨時庫ODS庫基礎區主題區分析區應用集市區實時數據存儲實時分析處理實時指標計算當事人財務用戶管理營銷管理指標庫標簽庫經營分析用戶畫像二階段：夯實三階段：完善一階段：打基礎四階段：運營事業部數據資源池集團數據資源池實時區實時數據存儲實時分析處理實時指標計算匯聚區臨時庫ODS庫集團數據健康數據藥品數據中藥數據省醫藥數據基礎區當事人內部機構產品合約采購生產銷售庫存營銷地理區域財務運輸事件計劃項目主題區用戶管理營銷管理運營管理風險管理財務管理集市區

16、經營分析用戶畫像風險審計監管報送產能預警財務分析事業部應用分析區指標庫標簽庫關系圖譜事業部實時區事業部匯聚區臨時庫ODS庫事業部基礎區事業部主題區事業部分析區事業部應用集市區123456123456數據湖及應用平臺數據架構（統一標準，構建集團和四大事業部數據湖的六大數據區）（1）數據源（2）采集（3）匯聚（6）共享服務（4）治理（5）分析（7）數據應用標簽服務API實時服務API數據庫共享文件共享數據共享服務API共享離線采集實時采集消息CDCAPI.文件數據庫接口補錄填報.實時數據源物聯感知數據實時營銷數據物流數據離線數據源業務系統HR系統OAERP主數據渠道系統三方OMS財務系統外部數據互

17、聯網數據數據來源數據采集平臺指標服務API關系圖譜服務API數據檢索服務API數據安全服務API數據應用管理駕駛艙客戶營銷資金管理財務分析產能預測風險審計指揮調度績效考核監管報送用戶分析集團數據湖與事業部四大數據湖之間定位及關系探討事業部數據資源池集團數據資源池實時區實時數據存儲實時分析處理實時指標計算匯聚區臨時庫ODS庫集團數據健康數據藥品數據中藥數據省醫藥數據基礎區當事人內部機構產品合約采購生產銷售庫存營銷地理區域財務運輸事件計劃項目主題區用戶管理營銷管理運營管理風險管理財務管理集市區經營分析用戶畫像風險審計監管報送產能預警財務分析事業部應用分析區指標庫標簽庫關系圖譜事業部實時區事業部匯聚

18、區臨時庫ODS庫事業部基礎區事業部主題區事業部分析區事業部應用集市區123456123456方案一：事業部獨立建設數據湖，集團匯聚整合建湖方案二：集團統一建湖，事業部數據湖同步和特色發展方案建議：集團領導牽頭，統一標準和統一建湖 方案描述：事業部根據自身業務特色構建數據湖和數據治理體系，集團數據湖匯聚事業部數據湖數據，設計數據標準，進行數據治理、數據分析和數據共享服務。 優點：建設靈活，能快速滿足各事業部和集團數據湖的應用需求。 缺點：難以統一標準和數據口徑，多頭數據采集，后期維護工作量較大。 方案描述：集團數據湖統一標準和數據治理體系，統一匯聚、治理、分析和數據共享服務；集團數據湖根據事業部

19、數據需求統一分發數據，事業部同步數據和，并根據自身特色構建數據湖及應用。 優點：集團與事業部數據標準統一，后期管理協調難度較少。 缺點：前期統一難度較高，事業部建設靈活度不高。 先進經驗：目前信息化領先行業和企業的數據平臺能力建設，大部分采用集團統一標準、統一建設、統一管理和統一運營。 方案建議：目前集團和事業部業務系統已較為完備，數據湖建設處于起步階段，為集團統一標準和建湖奠定了基礎。目 錄項目概述1總體規劃2建設方案3建設范圍數據湖平臺框架體系規劃、技術基礎平臺搭建，集團C端用戶數據采集、入湖、治理、共享服務和用戶分析應用 總體架構規劃 數據架構規劃 技術架構規劃 應用體系規劃 數據治理規

20、劃 數據共享規劃 平臺工具規劃 平臺建設藍圖規劃 1.數據湖平臺框架體系規劃3.數據匯聚4.數據資源中心建設5.數據治理6.數據分析2.平臺搭建7.數據共享服務 TBDS基礎平臺搭 數據治理平臺搭建 數據共享服務平臺搭建 健康事業部用戶數據匯聚 省醫藥公司用戶數據匯聚 藥品事業部用戶數據匯聚 云健康事業部用戶數據匯聚 信息調研 基礎區數據模型設計 主題區數據模型設計 應用數據集市模型設計 數據清洗、轉換和匯總 數據標準管理 元數據管理 數據質量管理 C端用戶分析需求調研 C端用戶數據分析設計 C源用戶數據分析開發 C端用戶數據資源目錄梳理 C端用戶數據共享發布建設總體思路事業部用戶數渠道分析用

21、戶月活用戶日活地域分析時間分析數據入湖及治理數據分析應用數據可視化FineReportFineBI用戶信息數據用戶標簽模型填報數據、參數數據采集數據建模數據清洗數據加載數據整合數據匯總數據源健康事業部省醫藥公司藥品事業部智慧零售達人管理微信公眾號后臺醫療器械app電商系統數據excelerp孩子王電商saas云健康電商平臺用戶電商平臺用戶門店用戶數據生意參謀數據共享服務用戶資源目錄梳理用戶數據目錄掛接用戶數據共享發布邏輯架構：搭建基礎平臺，以集團C端用戶需求為試點打通數據湖鏈路本期范圍運維保障體系安全保障體系標準規范體系保障體系數據運營中心數據共享開放平臺數據匯聚平臺存儲計算平臺數據處理平臺數

22、據共享交換離線數據同步實時數據同步數據補錄共享監測共享審計權鑒發布訂閱認證注冊數據源業務系統互聯網數據外部數據物聯網數據HR系統OAERP主數據渠道系統三方OMS財務系統Hadoop關系數據庫MPP內存數據庫圖數據庫對象數據庫時序數據庫爬蟲離線數據處理實時數據處理非結構化數據轉化數據統一調度數據分析平臺統計分析多維分析即席查詢機器學習數據挖掘數據治理平臺數據質量管理元數據管理數據標準管理數據模型管理數據生命周期管理數據安全管理主數據管理AI中心數據資源中心指標服務標簽服務數據產品服務知識圖譜服務可信計算服務數據沙箱服務多方安全計算服務數據檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎

23、共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別數據服務中心數據需求管理應用集成運營可視化數據資源目錄管理租戶管理統一用戶/權限數據統一門戶數據產品管理數據資產價值評估數據資產營銷推廣數據資產價值變現數據運營維護運營考核評價12345678實時分析9101112業務賦能管理駕駛艙客戶營銷資金管理財務分析產能預測風險審計用戶分析績效考核監管報送13平臺管理實時數據區匯聚區臨時庫ODS庫基礎區主題區分析區應用集市區實時數據存儲實時分析處理實時指標計算當事人財務用戶管理營銷管理指標庫標簽庫經營分析用戶畫像數據架構事業部數據資源池集團數據資源池實時區實時數據存儲實時分析處理實時指標計算

24、匯聚區臨時庫ODS庫集團數據健康數據藥品數據中藥數據省醫藥數據基礎區當事人內部機構產品合約采購生產銷售庫存營銷地理區域財務運輸事件計劃項目主題區用戶管理營銷管理運營管理風險管理財務管理集市區經營分析用戶畫像風險審計監管報送產能預警財務分析事業部應用分析區指標庫標簽庫關系圖譜事業部實時區事業部匯聚區臨時庫ODS庫事業部基礎區事業部主題區事業部分析區事業部應用集市區123456123456（1）數據源（2）采集（3）匯聚（6）共享服務（4）治理（5）分析（7）數據應用標簽服務API實時服務API數據庫共享文件共享數據共享服務API共享離線采集實時采集消息CDCAPI.文件數據庫接口補錄填報.實時數

25、據源物聯感知數據實時營銷數據物流數據離線數據源數據來源數據采集平臺指標服務API關系圖譜服務API數據檢索服務API數據安全服務API健康事業部用戶數據省醫藥公司用戶數據藥品事業部用戶數據云健康事業部用戶數據數據應用管理駕駛艙客戶營銷資金管理財務分析產能預測風險審計指揮調度績效考核監管報送用戶分析本期范圍1.數據湖平臺框架體系規劃行業最佳實踐平臺提升機會專家知識戰略定位應用體系規劃規劃原則調研問卷調研訪談現狀調研評估建議分項規劃目標現狀期望問題總體評估平臺提升建議提升機會分析總體架構規劃技術架構規劃數據架構規劃數據共享服務規劃運維體系規劃藍圖規劃與演進藍圖規劃與演進平臺工具規劃數據治理規劃業務

26、與IT部門輸入服務提供商輸入與分析2、基礎技術平臺搭建需求溝通1環境準備2平臺安裝部署3平臺部署驗證4平臺優化完善5 TBDS部署需求溝通 數據共享交換部署需求溝通 數據治理部署需求溝通 網絡訪問需求溝通 服務器確定 網絡環境確定 端口環境確定 操作系統確定 軟件版本確定 操作系統安裝部署 TBDS安裝部署 數據共享安裝部署 數據治理安裝部署 平臺功能驗證 平臺訪問和服務驗證 平臺系統接口驗證 外部接口驗證 網絡訪問驗證 平臺實施需求支持 應用功能優化完善 系統運行問題處理 平臺搭建流程預期成效用戶分析平臺搭建完成，操作使用正常具備數據湖實施支撐能力具備完整平臺運維文檔3、數據采集匯聚提供異構

27、數據源之間的數據同步能力，實現集團C端用戶整庫遷移、全量數據匯聚、增量數據匯聚、ETL任務管理和監控運維。數據匯聚架構數據匯聚流程匯聚范圍確定1匯聚信息整理2數據匯聚開發3任務調度配置45 匯聚業務范圍確定 匯聚系統范圍確定 匯聚表范圍確定 匯聚手工數據范圍確定 系統信息整理 數據字典整理 接口信息整理 網絡信息整理 匯聚調度任務整理 匯聚調度任務基礎信息配置 匯聚調度任務依賴觸發配置 任務調度測試驗證 調度任務監控配置 匯聚任務監控預警 匯聚監控任務故障處理 日常運維巡檢 匯聚監控運維 用戶信息配置 數據源配置 匯聚區建表配置 數據匯聚任務配置與開發 數據匯聚任務測試 數據匯聚查看和問題處理

28、 預期成效數據匯聚需求數據源匯聚知識庫采集匯聚引擎采集匯聚知識庫匯聚知識庫數據源管理數據采集開發管理數據采集調度管理數據采集監控預警匯聚區數據庫文件CDC日志消息接口臨時區ODS數據匯聚平臺健康事業部省醫藥公司藥品事業部智慧零售達人管理微信公眾號后臺醫療器械電商系統數據erp孩子王電商平臺智云健康電商平臺用戶電商平臺用戶門店用戶數據生意參謀4、數據體系建設總體流程信息調研(ID)業務需求分析應用概要設計項目前期準備業務調研(BD）業務需求編寫應用開發系統軟硬件資源安裝系統測試與驗收系統管理與維護項目結束回顧業務訪談項目管理（Project Management）應用詳細設計前端界面設計邏輯數據

29、模型設計物理數據模型設計數據接口規范設計映射/ETL/實時數據開發應用設計需求分析系統開發系統設計上線與維護數據治理4、數據資源中心建設步驟一：信息調研工作內容了解企業的整體IT架構和發展規劃了解企業的當前業務系統的現狀了解3-5年內業務系統建設的規化了解企業針對信息系統建設標準化的規劃詳細查看每個實體業務含義和數據特征、并且進行分類和取舍定義詳細查看每個字段業務含義和數據物理特征、進行分類和取舍定義掌握針對人員、組織機構、客戶、營銷、產品、渠道、合同、財務、生產、ERP等定義重要業務編碼規則仔細整理業務系統的代碼編碼、主外鍵關聯關系檢查客戶提供的重要業務編碼規則是否在系統中完整執行檢查業務系

30、統的代碼的一致性和完整性，并且做出代碼映射關系基于實體和字段的物理特征，給出初步的數據質量審核報告基于現有ID情況，結合業務需求調研，進行簡要的缺口分析識大局找關系掌握業務系統之間的業務功能劃分掌握業務系統之間的數據交換、流向、以及數據衍生關系掌握現有分析系統從業務系統之間進行數據抽取的內容和方式掌握現有分析系統和業務系統以及應用系統的數據回送情況看細節查質量調研流程1.收集源系統源：系統需求文檔、操作手冊、表結構說明書、代碼值、樣本數據、建庫腳本1.了解系統系統架構、功能、業務處理及其它系統間的關系2.了解系統的數據量、改造計劃、軟硬件平臺3.了解數據表的業務含義，并初步篩選出關注的表4.篩

31、選出需求相關的表1.通過分析樣本數據驗證前期調研的結果、分析表間關系2.在復原源系統ER圖的過程中了解表之間關系、表與字段的業務含義1.根據調研結果及入模型策略篩選入倉范圍2.基于信息調研結果編寫信息調研報告1.分系統確認信息調研報告：主要確認如模型范圍2.評審信息調研報告準備訪談分析評審1.了解源系統的字段的業務含義2.只調研初步篩選關注的表(1)生產系數據統結構與資料不一致怎么辦？(2)源系統設計人員不配合怎么辦？(3)入模型范圍如何確定？(4)資料收集資料收集系統與表級調研字段級調研樣本數據分析調研報告編寫調研報告評審1234564、數據資源中心建設步驟二：數據模型設計方法物理模型(技術

32、)邏輯模型(業務)概念模型參考模型行業數據模型選擇：行業主題模型數據主題與主要數據概念客戶化邏輯數據模型客戶化物理數據模型業務訪問數據模型Consistent Compliance Infrastructure AssuranceOperational Analysis & Reporting EnhancementEnterprise Performance Management EnablementFinancial Process OptimizationFinancial Reporting & Analysis ImprovementConsistent Compliance Inf

33、rastructure AssuranceOperational Analysis & Reporting EnhancementEnterprise Performance Management EnablementFinancial Process OptimizationFinancial Reporting & Analysis ImprovementAsset Liability ManagementActive Loan Portfolio Limit and Collateral ManagementOperational Risk & Operational VaRAnti F

34、raud & Money LaunderingMarket Risk & Market VaRCredit Risk & Credit VaRPerformance Measurement & Capital Allocation (RAROC)Compliance & Disclosure(Basel II)Asset Liability ManagementActive Loan Portfolio Limit and Collateral ManagementOperational Risk & Operational VaRAnti Fraud & Money LaunderingMa

35、rket Risk & Market VaRCredit Risk & Credit VaRPerformance Measurement & Capital Allocation (RAROC)Compliance & Disclosure(Basel II)Channel MigrationProduct Development & PackagingDistribution Channel OptimizationPayment AnalysisPerformance ManagementSales & Performance ReportingChannel MigrationProd

36、uct Development & PackagingDistribution Channel OptimizationPayment AnalysisPerformance ManagementSales & Performance ReportingCustomer EquityCustomer AcquisitionCustomer RetentionTarget MarketingOrganic GrowthEvent & Campaign ManagementCustomer EquityCustomer AcquisitionCustomer RetentionTarget Mar

37、ketingOrganic GrowthEvent & Campaign ManagementCustomer ManagementOperationsManagementRiskManagementFinance &PerformanceManagementFront-line Users, Customers, PartnersOperational BI UsersBusiness Users Power UsersIT,Miners視圖集市報表業務需求數據要素清單數據整合映射映射制造業企業行業模型數據湖數據庫4、數據資源中心建設步驟二：數據區定位與數據模型設計流程數據資源中心各區定位模

38、型設計步驟匯聚數據區 源系統分類 數據不整合 保留長期歷史數據 保留明細數據 全量數據 增量數據基礎數據區 主題分類 數據整合 保留長期歷史數據 保留明細數據主題/分析數據區 主題分類結合維度建模 數據整合 保留一定周期的歷史數據 保留部分明細/匯總加工數據集市區 維度建模為主 數據整合 保留特定業務需求的歷史數據 保留部分明細/匯總加工數據面向數據面向需求從業務的角度出發滿足公共需求迭代開發全部原始數據核心數據、清洗融合后匯總與分析數據特定需求數據(1)前期準備項目管理：文檔、溝通、問題跟蹤、回顧、驗證、測試、認可方法技術工具模板經驗業務知識(2) 信息調研(6)物理模型設計(3)構建主題模

39、型(4)構建概念設計(5)邏輯模型詳細設計邏輯模型設計(7)設計評審/驗證物理模型實現：ETL開發4、數據資源中心建設步驟二：基礎區數據模型設計行業主題模型設計參考用戶模型設計部分參考當事人偏好當事人偏好頻率當事人偏好類型當事人偏好聯系事件當事人偏好媒介類型當事人偏好當事人當事人偏好當事人角色當事人偏好地點當事人偏好地點角色當事人偏好地址地理區域地址當事人偏好語言當事人基于成熟行業模型藍本，構建集團C端用戶基礎數據模型，融合集團和事業部內外部數據、規避變化、形成統一的當事人數據視圖。線下活動數據訂單編號商品名稱訂單金額買家ID收貨人姓名收貨地址聯系電話發票抵扣券訂單創建時間微信行為數據掃描二維

40、碼關注公眾號微信ID昵稱公眾號留言打開微頁面注冊會員來源渠道關注公眾號訪問活動微頁面提交活動表單姓名手機號郵箱數據采集、數據清洗微信openidEmailMAC華東地區基本信息：男性30歲微信unionid手機號碼CookieQQ用戶ID：行為軌跡：會員信息：會員等級會員積分會員權益電商訂單數據用戶在不同平臺以不同的 身份留下行為軌跡。通過建立ID 關聯機制，在基礎區進行數據建模和標準化，在不同渠道的身份對應到唯一的獨立身份，不 斷累積用戶的行為“像素”。在基礎區建模的基礎上，根據用戶特征形成清晰的用戶360畫像。4、數據資源中心建設步驟二：用戶標簽數據模型設計線上媒體數據Cookie訪問行為

41、記錄手機號車型頁面停留時間試駕時間姓名城市數據采集、數據清洗數據采集、數據清洗數據采集、數據清洗用戶畫像主題建模ID識別基礎區建模數據標準化【訂單】女裝無縫羽絨長大衣409125 金額：1299元收貨地址：上海市X區XX大街手機號：138*8271購買時間：2018/01/11 09:21:21溝通時間：2018/01/0412:18:00 所在渠道：小程序商城手機號：138*8271咨詢問題：倍舒暖與HEATTECH區別【訂單】童裝 Ultra Stretch 起居套裝 414607 下單時間：2018/01/31 20:22:00下單門店：上?；春Ｖ新菲炫灥暧唵谓痤~：129元付款方式：支付

42、寶2017/10/21 19:40:22 關注公眾號微信昵稱：skyfly001微信OPENID：nsisuykksikqy閱讀“U系列2019春夏款Lookbook” 點擊菜單“會員福利-50元心意券”閱讀“2018年代表作”文章點擊菜單“年貨買買買”點擊商城-男裝-HEATTECH，訪問某倍舒暖商品詳情頁收藏男裝HEATTECH螺紋圓領T恤413314 瀏覽新春新品活動頁訪問時長 00:21:34 跳出電商平臺自有平臺客服線下門店靜態標簽流程標簽模型標簽預測標簽性別地域年齡職業婚否有孩相對穩定的信息、人口學屬性、身份屬性根據行為與軌跡、自定義規則，自動添加參與X活動瀏覽X頁面報名領取權益線

43、上消費線下消費教育水平依據屬性行為、計算得出的客戶標簽重要價值客戶品類偏好-童裝30天活躍度-120分購買力-高利用算法訓練模型得到的預測標簽預測流失風險-低需求推薦-限時特優-女裝復購可能預測-高情感產品活動信息偏好偏好場景偏好銷售價格終端體系情感視覺促銷賣點系統活動關鍵衍生詞品消費者維度人口認知信息信息產品維度基本功能信息賣點內容場景地點社交文化類型屬性氛圍4、數據資源中心建設步驟二：用戶標簽設計源數據標簽構建標簽體系ETL知識庫ETL調度管理ETL任務管理日志管理負載管理ETL監控4、數據資源中心建設步驟三：數據開發體系框架追加清洗、轉換和標準化匯總加載基礎數據區臨時區應用數據集市區實時

44、數據區數據匯聚平臺主題區ODS庫匯總提煉加工任務文件加載任務應用數據加工任務實時數據處理文件檢查任務數據匯聚加工任務數據清洗轉換任務數據質量檢查任務數據抽取加載任務數據治理任務數據處理任務抽取加載任務數據質量管理業務檢核任務文件監聽抽取觸發定時元數據管理庫實時數據采集數據庫主動采集數據文件采集消息、接口追加清洗、轉換和標準化分析區提煉提煉提煉ETL開發管理ETL任務管理數據匯聚平臺元數據加載任務4、數據資源中心建設步驟三：數據開發流程與支撐工具數據開發準備1建庫建表2數據映射3ETL配置開發45 建庫建表環境準備 開發系統準備 配置文件準備 信息調研結果 數據模型成果 . 創建數據庫 創建數據

45、庫用戶 創建數據表 數據庫表賦權 單元測試模板準備 單元測試執行 單元測試報告 單元測試6ETL調度配置7系統集成測試 表映射 字段映射 代碼映射 關聯過濾條件映射 數據開發參數配置 數據映射導入 數據開發配置 公共代碼配置 腳本編寫調試 調度任務整理 調度任務基礎信息配置 調度任務依賴觸發配置 調度任務測試驗證 集成測試模板準備 集成測試執行 集成測試報告 數據開發流程數據開發工具支撐4、數據資源中心建設步驟四：數據統一調度管理郵件短信外部管理應用ETL AutomationRepositoryETL調度平臺管理與控制模塊知識庫模塊Master模塊消息接口功能接口Agent模塊實時監控系統管

46、理統計分析控制臺系統插件文件監控定時任務BTEAgent1Agent2Agent nPrimaryStandby一站式開發平臺數據治理平臺其他工具調度程序生成器歷史明細引擎元數據數據質量數據標準數據生命周期批量接口直連接口Cube構建引擎數據加載數據同步數據卸載質量檢查清洗融合分析匯總數據挖掘機器學習觸發5、數據治理建設：數據標準管理數據標準設計流程1. 標準框架1. 數據主題2. 設計范圍3. 優先策略4. 工作重點5. 配合支持6. 2. 現狀調研1. 現有定義2. 使用習慣3. 問題梳理4. 現狀分析5. 參考文檔6. 3. 標準設計1. 信息大類2. 信息小類3. 信息項4. 數據類型

47、5. 重要規則6. 4. 標準映射1. 系統范圍2. 應用領域3. 數據表4. 數據字段5. 數據取值6. 5. 標準執行1. 影響分析2. 范圍/順序3. 系統改造4. 新建系統5. 手工補錄6. 6. 維護反饋1. 標準發布2. 管理機制3. 工作流程4. 維護增強5. 配套工具6. 標準范圍含哪些？目前的狀況如何？標準應該什么樣？這些內容都在哪兒？標準應該如何執行？如何維護理標準？數據標準工具支撐基礎標準管理：為實體及屬性設置標準統計標準管理：為統計指標設置標準機構清單管理：為層級化實體設置標準公共代碼管理：引入國家、行業或企業自定義的代碼標準業務術語管理：為元數據業務口徑配置業務術語命

48、名規范管理：為系統各類標識符設立統一標準標準內容管理標準審核瀏覽：查看目前已發布的各類標準詳情標準審核審批：審核新創建的標準并發布標準評分評分體系庫管理：設置元數據標準評分計算要素權重標準評分管理：管理各級元數據的標準評分132標準審核管理5、數據治理建設：元數據管理元數據管理流程元數據管理工具支撐元數據采集可以對技術元數據進行細粒度到字段級別的全鏈分析，影響分析和血緣分析元數據使用包括技術元數據和業務元數據使用142血緣&影響分析支持上10種異構元數據采集, 采集配置、采集任務的管理和采集任務配置元數據地圖35知識中心按照數據資產的層級分類，以3D形式展示各個層級數據資產的匯總情況支持文檔上

49、傳、下載、在線預覽元數據采集1血緣影響分析2元數據利用3元數據運營維護4 數據源配置 元數據采集任務配置 數據庫元數據采集 文件元數據采集 接口元數據采集 腳本元數據采集 ETL調度元數據采集 元數據檢索 系統、表與字段血緣關系分析 系統、表與字段影響分析關系分析 業務元數據分析 元數據采集監控預警 元數據采集問題處理 系統日常運維監控 數據資產展示 數據字典管理 數據對標 業務指標管理 數據質量檢查 系統故障排查 變更影響評估 5、數據治理建設：數據質量管理數據質量管理流程數據質量管理工具支撐數據質量檢查規則管理包括檢查模板（質量檢查SQL腳本）的新建、編輯及刪除等工單管理包括工單流程的新建

50、、瀏覽及審批132檢查模板管理數據質量庫2. 配置質量檢查規則3.部署檢查腳本4.數據質量報告1.收集數據質量管理需求元數據資料庫基于元數據配置數據質量規則增加數據質量規則集5. 質量問題工單跟蹤處理抽取數據源數據源基礎區主題區傳輸匯聚區轉換加載匯總抽取ETL處理流程數據質量檢查數據集市分析區數據質量管理7. 質量考核評價6. 處理結果查詢提供檢查規則的創建、編輯、刪除、啟用及停用等功能數據質量探查45質量評分管理一是自動探查，根據系統內置好的探查模板自動對數據進行預設好的分析檢查；二是手動探查，自定義方式設置探查模板，再根據探查模板對數據進行分析檢查包括評分體系庫管理（為元數據質量評分設置評

51、分標準）和質量評分管理（管理各級元數據系統的質量評分）6、數據分析試點應用（運用BI工具對集團C端用戶綜合分析）用戶地域分布產品地域銷量門店地域分布用戶數量統計用戶增長分析日活用戶分析用戶年齡分布用戶評價分析地域用戶消費分析提升效率提升用戶量輔助領導決策助力產品銷量提升大屏PC端移動端7、數據服務試點應用：基于供需對接建立數據服務共享體系目錄清單有什么？在哪里？誰負責？數據資源中心1、目錄問題域2、目錄分類部門目錄主題目錄基礎目錄業務目錄數據目錄管理目錄上級目錄本級目錄下級目錄資源屬性功能分類層級屬性3、目錄建立4、數據掛接提供方主動編目A管理方編目B供需對接推動編目C提供方主動掛接A供需對接

52、推動掛接C需求清單需求方資源信息數據項信息需求說明管理方審批/分發責任清單資源信息共享內容共享條件結束目錄清單：確保數據的系統性需求清單：確保數據的針對性責任清單：壓實數據采集責任提供方以信息化手段推動數據共享服務，建立能按需共享的業務模式，解決各部門數據共享和應用難題。管理方掛接B提供方7、數據共享服務試點應用：基于C端用戶建立數據共享服務流程數據資源目錄梳理1共享資源發布2共享資源申請3共享資源審核授權45 匯聚區資源目錄梳理 基礎區資源目錄梳理 主題區資源目錄梳理 數據集市區資源目錄梳理 . 共享服務目錄創建 共享數據源配置 共享數據接入 共享數據資源配置與更新 共享服務測試 共享服務發布 數據共享資源檢索 數據共享服務調用 數據共享服務調用問題反饋 共享服務調用6共享服務管理與運維 共享服務系統管理 共享服務權限管理 共享服務日志管理 共享服務監控預警 共享服務故障處理 共享服務統計分析 數據共享資源檢索 數據共享資源申請 數據共享資源數量申請 數據共享資源問題反饋 數據共享資源使用審核 數據共享資源數量審核 數據共享資源跨部門授權 數據共享資源部門內授權 數據共享服務流程數據共享服務工具支撐