1、 I 版權聲明 本白皮書版權屬于中國信息通信研究院云計算與大數本白皮書版權屬于中國信息通信研究院云計算與大數據研究所、據研究所、CCSA TC601 大數據技術標準推進委員會,并受大數據技術標準推進委員會,并受法律保護。轉載、摘編或利用其它方式使用本白皮書文字或法律保護。轉載、摘編或利用其它方式使用本白皮書文字或者觀點的, 應注明者觀點的, 應注明“來源:數據資產管理實踐白皮書 (來源:數據資產管理實踐白皮書 (4.0) ) ”。違反上述聲明者,作者將追究其相關法律責任。違反上述聲明者,作者將追究其相關法律責任。 II 編委會編委會 編委會成員:編委會成員:何寶宏、魏凱、姜春宇、劉成成、閆樹、
2、李雨霏、劉海燕、車春雷、郭寶生、藍曾威、馬卓佳、李慧、賈丕星、符山、陳濤、周庭宇、孫龍君、農益輝、劉天斯、黃志、錢嶺、齊驥、侯志強、石在輝、劉童桐、吳嘉、張振、林鋒、周萬、王波、郝濱、王鵬、劉慶會、胡浩、于辰濤、王晟、陳志凌、劉俊良、周剛、王軍、李今朝、李岳璘、王偉哲、曹冬平、藍海、鄒素雯、董喆、熊威、蔡春久、王琤、朱金寶、駱陽、魏民、劉浩、施紅明、白梅、寇新華、陳燕琪、蔣勇、高偉、趙喬、霍琦、訾津津、王雀陵、張治國、武威、薛勇、張輝、周建龍、楊嘉誠、李慧、陳彬 參與單位參與單位:中國信息通信研究院、中國建設銀行、中國電信股份有限公司云計算分公司、中軟國際有限公司、騰訊科技(深圳)有限公司、中
3、國移動蘇州研發中心、中國移動通信研究院、中國電信股份有限公司、杭州數夢工場科技有限公司、 普元信息技術股份有限公司、 北京飛利信科技股份有限公司、 聯想 (北京)有限公司、成都四方偉業軟件股份有限公司、百度在線網絡技術(北京)有限公司、阿里巴巴(中國)有限公司、北京東方金信科技有限公司、烽火通信科技股份有限公司、石化盈科信息技術有限責任公司、北京數語科技有限公司、國網征信有限公司、航天恒星科技有限公司、廣州信安數據有限公司、億信華辰有限公司、北京卓信智恒數據科技股份有限公司、御數坊(北京)科技咨詢有限公司、廣州石竹軟件、航天恒星科技有限公司 III 前 言 黨的十九大報告提出要“推動互聯網、大
4、數據、人工智能和實體經濟深度融合”,進一步突出了大數據作為國家基礎性戰略性資源的重要地位, 掌握豐富的高價值數據資源日益成為搶占未來發展主動權的前提和保障。 數據是資產的概念已經成為行業共識。然而現實中,對數據資產的管理和應用往往還處于摸索階段,數據資產管理面臨諸多挑戰。首首先先, 大部分企業和政府部門的數據基礎還很薄弱, 存在數據標準混亂、數據質量層次不齊、各條塊之間數據孤島化嚴重等現象,阻礙了數據的共享應用。其次其次,受限于數據規模和數據源種類的豐富程度,多數企業的數據應用剛剛起步,主要集中在精準營銷,輿情感知和風險控制等有限場景,應用深度不夠,應用空間亟待開拓。再次再次,由于數據的價值很
5、難評估, 企業難以對數據的成本以及其對業務的貢獻進行評估,從而難以像運營有形資產一樣管理數據資產。 國際上,1990 年以來,以國際數據管理協會(DAMA,Data Management Association International) 、 能力成熟度模型集成 (CMMI,Capability Maturity Model Integration)為代表的組織機構長期從事數據管理的研究,形成了一定的理論成果。在這些理論的指導下,我國金融、電信、能源、互聯網等信息化較為先進的行業,已經積累了豐富的數據資產管理經驗。 這些經驗的總結對于補充完善數據管理理論體系、推進數據資產管理在各個行業的普及
6、和發展有著重要意義。 為了促進數據資產管理的研究,我們組織編寫了數據資產管理 IV 實踐白皮書 。本白皮書分為四大部分:第一部分介紹了數據資產管理的概述及變革中的數據資產管理呈現出來的特征趨勢; 第二部分從實踐角度出發闡述了數據資產管理的主要內容; 第三部分重點介紹了數據資產管理的實施步驟、實踐模式、技術工具和成功要素;最后結合實踐經驗,介紹了電信、金融、政務、醫療和工業等相關領域的數據資產管理案例。本白皮書在數據資產管理實踐白皮書 3.0的基礎上, 以全面盤點數據資產、 不斷提升數據質量、 實現數據互聯互通、提高數據獲取效率、保障數據安全合規、數據價值持續釋放等角度,通過權威數據和典型事件,
7、 生動剖析了數據資產管理的重點內容和目標。在原有管理職能的介紹下,嘗試說明數據資產化管理的關鍵活動步驟,并在實施步驟方面,增加了各實施階段的具體輸出物,并增加了“數據價值管理工具”和“數據服務管理工具”,更好的指導企業搭建數據資產管理平臺,開展數據資產管理相關工作。 本白皮書可以為政府和企業開展數據資產管理工作提供參考, 也可以作為相關產品和服務提供商的參考依據。由于時間倉促,水平所限,我們的工作還有很多不足。下一步,我們還將廣泛采納各方面意見建議,進一步深化相關研究,持續完善白皮書內容,在已有版本的基礎上,適時修訂發布新版。我們誠邀各界專家學者參與我們的研究工作, 積極獻言獻策, 共同完善國
8、內數據資產管理理論和方法論體系,為促進大數據與實體經濟深度融合做出積極貢獻。如您有意愿,請聯系我們:liyufei 。 V 目目 錄錄 一、數據資產管理概述. 1 (一) 數據資產管理的定義與內涵. 1 1. 數據資產管理的概念. 1 2. 數據資產管理的內涵. 2 3. 數據資產管理的演變. 3 (二) 數據資產管理的重要性. 4 1. 數據價值難以有效發揮的原因 . 5 2. 數據資產管理是充分發揮數據價值的必經之路 . 6 (三) 數據資產管理是各方關注的重要議題. 8 (四) 數據資產管理的現狀與發展. 10 1. 數據管理對象變化 . 10 2. 處理架構更新換代 . 11 3. 組
9、織職能升級變遷 . 12 4. 管理手段自動智能 . 12 5. 應用范圍不斷擴大 . 13 二、數據資產管理的主要內容. 14 (一) 管理職能 . 14 1. 數據標準管理 . 14 2. 數據模型管理 . 15 3. 元數據管理 . 17 4. 主數據管理 . 19 5. 數據質量管理 . 20 6. 數據安全管理 . 21 7. 數據價值管理 . 22 8. 數據共享管理 . 25 (二) 保障措施 . 26 1. 制定戰略規劃 . 27 2. 完善組織架構 . 27 3. 建立制度體系 . 29 4. 設置審計機制 . 31 5. 開展培訓宣貫 . 31 三、數據資產管理的實施要點.
10、 33 (一) 實施步驟 . 33 1. 第一階段:統籌規劃 . 34 2. 第二階段:管理實施 . 35 3. 第三階段:稽核檢查 . 37 4. 第四階段:資產運營 . 38 (二) 實踐模式 . 40 1. 數據資產管理的建設策略 . 40 2. 數據資產管理的切入方式 . 42 (三) 軟件工具 . 43 VI 1. 數據標準管理工具 . 44 2. 數據模型管理工具 . 45 3. 元數據管理工具 . 46 4. 主數據管理工具 . 47 5. 數據質量管理工具 . 48 6. 數據安全管理工具 . 49 7. 數據價值管理工具 . 50 8. 數據服務管理工具 . 51 (四) 成
11、功要素 . 52 1. 明確責權利標,有效推進管理. 52 2. 合理引進技術,提升治理能力 . 53 3. 著眼業務應用,釋放數據價值 . 54 4. 加強數據合規,注重風險風控 . 54 5. 持續迭代完善,形成良性閉環 . 55 四、總結與展望. 56 附錄:術語. 58 VII 圖 表 目 錄 表表 1 1 數據成本和價值評估的維度數據成本和價值評估的維度 . 2323 表表 2 2 數據資產價值評估典型方法比較數據資產價值評估典型方法比較 . 2424 表表 3 3 數據資產管理數據資產管理組織架構角色職責組織架構角色職責 . 2828 表表 4 4 數據資產管理的兩種建設策略數據資
12、產管理的兩種建設策略 . 4040 表表 5 5 數據資產管理的切入方式數據資產管理的切入方式 . 4242 圖圖 1 1 數據資產管理在大數據體系中的定位數據資產管理在大數據體系中的定位 . 2 2 圖圖 2 2 大數據背景下的數據資產管理特點特征大數據背景下的數據資產管理特點特征 . 1010 圖圖 3 3 數據資產管理體系架構數據資產管理體系架構 . 1414 圖圖 4 4 數據資產管理保障措施組織架構數據資產管理保障措施組織架構 . 2727 圖圖 5 5 數據認責機制數據認責機制 . 2929 圖圖 6 6 一種典型的制度體系架構一種典型的制度體系架構 . 3030 圖圖 7 7 數
13、據資產管理實施步驟數據資產管理實施步驟 . 3434 1 一、一、 數據資產管理概述數據資產管理概述 眾所周知,數據是資源,伴隨著大數據時代支撐數據交換共享和數據服務應用的技術發展,不斷積淀的數據開始逐漸發揮它的價值,因此,業界提出可以將數據作為一項資產,“盤活”數據以充分釋放其附加價值。但是事實上,如果缺乏恰當有效的管理手段,數據也可能會成為一項負債。同時,相較于實物資產,數據資產的管理目前還處于初級階段,數據質量、數據安全、資產評估、資產交換交易等精細管理、價值挖掘和持續運營也較為薄弱。 數據資產管理是現階段推動大數據與實體經濟深度融合、 新舊動能轉換、經濟轉向高質量發展階段的重要工作內容
14、。本章將闡述數據資產管理的定義與內涵, 分析數據資產管理在大數據領域的重要意義,并對數據資產管理在大數據發展中的趨勢進行分析, 探討數據資產管理在企業中的實踐模式。 (一) 數據資產管理的定數據資產管理的定義與內涵義與內涵 1. 數據資產管理的概念 數據資產數據資產 (Data Asset) 是指由企業擁有或者控制的, 能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源,如文件資料、電子數據等。在企業中,并非所有的數據都構成數據資產,數據資產是能夠為企業產生價值的數據資源。 數據資產管理數據資產管理(DAM,Data Asset Management)是指規劃、控制 2 和提供數據
15、及信息資產的一組業務職能,包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序,從而控制、保護、交付和提高數據資產的價值。數據資產管理需要充分融合業務、技術和管理,以確保數據資產保值增值。 2. 數據資產管理的內涵 數據資產管理在大數據體系中的定位如圖 1 所示,它位于應用和底層平臺中間,處于承上啟下的重要地位。對上支持以價值創造為導向的數據應用開發, 對下依托大數據平臺實現數據全生命周期的管理。數據資產管理包括兩個重要方面,一是一是數據資產管理的核心管理職能,二是二是確保這些管理職能落地實施的保障措施,包括戰略規劃、組織架構、制度體系等。 圖圖 1 數據資產管理在大數據體系
16、中的定位數據資產管理在大數據體系中的定位 數據資產管理貫穿數據采集、存儲、應用和銷毀整個生命周期全過程。企業管理數據資產就是對數據進行全生命周期的資產化管理,促進數據在“內增值,外增效”兩方面的價值變現,同時控制數據在整 3 個管理流程中的成本消耗。在數據的生命周期開始前,企業先期制定數據規劃、定義數據規范,以期獲得實現數據采集、交付、存儲和控制所需的技術能力。 數據資產管理一般來說包括統籌規劃、 管理實施、稽核檢查和資產運營四個主要階段, 詳見第三部分數據資產管理的實施要點。 3. 數據資產管理的演變 數據管理數據管理的概念是伴隨上世紀八十年代數據隨機存儲技術和數據庫技術的使用, 計算機系統
17、中的數據可以方便地存儲和訪問而提出的。國際數據管理協會(DAMA,Data Management Association International)在 2009 年發布的數據管理知識體系 DMBOK1.0中,將數據管理定義為規劃、 控制和提供數據資產, 發揮數據資產的價值。DAMA 數據管理體系將數據管理劃分為 10 個領域, 分別是數據治理、數據架構管理、數據開發、數據操作管理、數據安全管理、參考數據和主數據管理、數據倉庫和商務智能管理、文檔和內容管理、元數據管理和數據質量管理。其中,數據治理是高層次的、規劃性的數據管理制度活動,其關鍵管理活動包括制定數據戰略、完善數據政策、建立數據架構等
18、,注重數據的使用者、使用方式、使用權限等合規性制定,強調開展數據資產全生命周期管理前的基礎工作,關注數據資產管理中的相關保障措施。 2015 年,DAMA 在 DBMOK2.0 知識領域將其擴展為 11 個管理 The DAMA Guide to the Data Management Body of Knowledge 4 職能,分別是數據架構、數據模型與設計、數據存儲與操作、數據安全、數據集成與互操作性、文件和內容、參考數據和主數據、數據倉庫和商務智能(BI,Business Intelligence) 、元數據、數據質量等。 在數據資產化背景下, 數據資產管理是在數據管理基礎上的進一步發
19、展,可以視作數據管理的升級版。主要區別可以從三方面看:一一是是數據管理的視角不同,數據資產管理強調數據是一種資產,基于數據資產的價值、成本、收益開展全生命周期的管理。二是二是管理職能有所不同,數據資產管理包含數據模型、元數據、數據質量、參考數據和主數據、數據安全等傳統數據管理職能,同時整合數據架構、數據存儲與操作等內容,將數據標準管理納入管理職能,并針對當下應用場景、平臺建設情況,增加了數據價值管理職能。三是三是管理要求有所升級,在“數據資源管理轉向數據資產管理”的理念影響下,相應的組織架構和管理制度也有所變化, 需要有更專業的管理隊伍和更細致的管理制度來確保數據資產管理的流程性、安全性和有效
20、性。 (二) 數據資產管理的重要性數據資產管理的重要性 數據作為越來越重要的生產要素,將成為比土地、石油、煤礦等更為核心的生產資源,如何加工利用數據,釋放數據價值,實現企業的數字化轉型,是各企業面臨的重要課題。雖然充分有效挖掘數據價值的過程中充滿了障礙,但是數據資產管理逐步掃平了這些障礙。 5 1. 數據價值難以有效發揮的原因 當前企業在數據資產管理中面臨諸多問題, 這些問題阻礙了數據的互聯互通和高效利用,成為了數據價值難以有效釋放的瓶頸,主要包括以下幾點: 一是缺乏統一數據視圖一是缺乏統一數據視圖。 企業的數據資源散落在多個業務系統中,企業主和業務人員無法及時感知到數據的分布與更新情況, 無
21、法快速找到符合自己需求的數據, 也無法發現和識別有價值的數據并納入數據資產。 二是數據孤島普遍存在二是數據孤島普遍存在。據統計,98%的企業都存在數據孤島問題。而造成數據孤島的原因既包括技術上的,也包括標準和管理制度上的,這阻礙了業務系統之間順暢的數據共享,降低了資源利用率和數據的可得性。 三是數據質量低下三是數據質量低下。 糟糕的數據質量常常意味著糟糕的業務決策,將直接導致數據統計分析不準確、監管業務難、高層領導難以決策等問題。根據數據質量專家 Larry English 的統計,不良的數據質量使企業額外花費 15%到 25%的成本。而數據能夠被當作資產,并發揮越來越大的價值,其前提是數據質
22、量的不斷提升。 四是缺乏安全的數據環境四是缺乏安全的數據環境。 數據安全造成的風險主要包括數據泄露與數據濫用等。根據數據泄露水平指數(Breach Level Index)監測, https:/ https:/ 6 自 2013 年以來全球數據泄露高達 130 億條,其中很多都是由于管理制度不完善造成。隨著各個機構數據的快速累積,一旦發生數據安全事件,其對企業經營和用戶利益的危害性將越來越大,束縛數據價值的釋放。 五是缺乏數據價值管理體系五是缺乏數據價值管理體系。 大部分企業還沒有建立起一個有效管理和應用數據的模式,包括數據價值評估、數據成本管理等,對數據服務和數據應用也缺乏合規性的指導, 沒
23、有找到一條釋放數據價值的“最優路徑”。 2. 數據資產管理是充分發揮數據價值的必經之路 數據資產管理通過解決釋放數據價值過程中面臨的諸多問題, 以體系化的方式實現數據的可得、可用、好用,用較小的數據成本獲得較大的數據收益,具體體現在以下六個方面: 一是全面掌握數據資產現狀。一是全面掌握數據資產現狀。 數據資產管理的切入點是對數據家當進行全面盤點,形成數據地圖,為業務應用和數據獲取夯實基礎。從資產化管理和展示數據的角度出發, 數據地圖作為數據資產盤點的輸出物之一,不承載具體數據內容,卻可以幫助業務人員快速精確查找他們想要的數據。其次,數據地圖作為企業數據的全盤映射,幫助數據開發者和數據使用者了解
24、數據, 并成為對數據資產管理進行有效監控的手段。 二是提升數據質量。二是提升數據質量。早在 1957 年的時候,計算機剛剛發明的時 https:/ 7 候,大家就意識到數據對于計算機決策的影響,提出 Garbage In Garbage Out的警示。 2001 年, 美國公布 數據質量法案 (Data Quality Act) ,提出提升數據質量的指導意見。2018 年,中國銀行保險監督管理委員會發布銀行業金融機構數據治理指引 ,強調高質量的數據在發揮數據價值中的重要性。 數據資產管理通過建立一套切實可行的數據質量監控體系,設計數據質量稽核規則,加強從數據源頭控制數據質量,形成覆蓋數據全生命
25、周期的數據質量管理,實現數據向優質資產的轉變。 三是實現數據互聯互通。三是實現數據互聯互通。 數據資產管理通過制定企業內部統一的數據標準, 建立數據共享制度, 完善數據登記、 數據申請、 數據審批、數據傳輸、數據使用等數據共享相關流程規范, ,打破數據孤島,實現企業內數據高效共享。同時搭建數據流通開放平臺,增強數據的可得性,促進數據的交換流通,提升數據的服務應用能力。 四是提高數據獲取效率。四是提高數據獲取效率。Gartner 統計,數據分析人員或數據科學家需要花費 70%到 80%的精力在數據準備上。數據資產管理通過搭建數據管理平臺,采取機器學習等相關自動化技術,將大量前期的數據準備時間和交
26、付項目的時間縮短,提升數據的獲取和服務效率,讓數據隨時快速有效就緒, 縮短數據分析人員和數據科學家的數據準備時間,加快數據價值的釋放過程。 五是保障數據安全合規。五是保障數據安全合規。保障安全是數據資產管理的底線,數據 https:/en.wikipedia.org/wiki/Garbage_in,_garbage_out 8 資產管理通過制定完善的數據安全策略、 建立體系化的數據安全措施、執行數據安全審計,全方位進行安全管控,確保數據獲取和使用合法合規,為數據價值的充分挖掘提供了安全可靠的環境。 六是數據價值持續釋放。六是數據價值持續釋放。 存儲和管理數據的最終目的是實現數據的價值,數據資產
27、管理將數據作為一項資產,并通過一個持續和動態的全生命周期管理過程, 使數據資產能夠為企業數字化轉型提供源源不斷的動力。從企業高管到業務人員及技術人員,全員都要以持續釋放數據價值為理念來重視數據資源管理工作。管理方面,建立一套符合數據驅動的組織管理制度流程和價值評估體系。技術方面,建設現代化數據平臺、引入智能化技術,確保數據資產管理系統平臺持續、健康地為數據資產管理體系服務。 (三) 數據資產管理是各方關注的重要議題數據資產管理是各方關注的重要議題 數據資產管理不僅僅是單一機構的課題。近年來,地方政府層面越來越重視數據資源的管理,開展了很多工作。在新一輪的政府機構改革中, 設置專門的數據管理機構
28、成為熱點, 已有貴州、 山東、 重慶、福建、 廣東、 浙江、 吉林、 廣西等省份設置了廳局級的大數據管理局,統籌推動地方“數字政府”建設,促進政務信息資源共享協同應用。早在 2017 年 7 月,貴州省大數據發展領導小組辦公室印發實施了貴州省政府數據資產管理登記暫行辦法 ,成為全國首個出臺政府數據資產管理登記辦法的省份。 行業層面,金融行業高度重視數據資產管理工作。2016 年 12 月 9 30 日,中國證券業協會發布證券公司全面風險管理規范 ,明確指出證券公司應當建立健全數據治理和質量控制機制。2018 年 5 月,銀保監會(原銀監會)發布銀行業金融機構數據治理指引 ,要求銀行業應該將數據
29、治理納入公司治理范疇。 2018 年, 中國支付清算協會針對非銀行支付機構數據資產管理狀況開展了調研。醫療行業,2018 年 9 月, 國家衛生健康委員會印發 國家健康醫療大數據標準、安全和服務管理辦法(試行)的通知 ,2019 年 4 月,國家衛生健康委辦公廳印發全國醫院數據上報管理方案(試行) 及全國醫院上報數據統計分析指標集(試行) ,充分發揮健康醫療大數據作為國家重要基礎性戰略資源的作用。在工業領域,在工業和信息化部信息化與軟件服務業司指導下, 工業互聯網產業聯盟 (AII) 聯合中國信息通信研究院發布了中國工業企業數據資產管理調查報告(2018) 。 國家層面,數據合規性與數據跨境流
30、動成為各國關注重點。2017年 6 月 1 日正式生效的中華人民共和國網絡安全法第三十七條規定:“關鍵信息基礎設施的運營者在中華人民共和國境內運營中收集和產生的個人信息和重要數據應當在境內存儲。因業務需要,確需向境外提供的, 應當按照國家網信部門會同國務院有關部門制定的辦法進行安全評估”。2018 年 5 月 25 日,一般數據保護條例(GDPR)正式在歐盟實施。各國對于數據跨境流動的關注則包含了數據主權、隱私保護、法律適用與管轄、乃至國際貿易規則等內容。 10 (四) 數據資產管理的現狀與發展數據資產管理的現狀與發展 隨著管理數據對象越發復雜,數據處理技術越發成熟,數據應用范圍越發廣泛,數據
31、資產管理在數據處理架構、組織職能、管理手段等方面逐漸呈現了一些新的特點和發展趨勢。 圖圖 2 大數據背景下的數據資產管理特點特征大數據背景下的數據資產管理特點特征 1. 數據管理對象變化 數據作為數據資產管理的對象,在近些年體現出規模海量、來源多樣、格式繁雜、采集實時等特征。在數據量方面在數據量方面,單一機構的數據規模由以前的 GB 級上升到 TB 級,甚至 PB 級、EB 級,數據增速快。在數據格式種類方面在數據格式種類方面,除傳統的結構化數據之外,文本數據、圖 11 像數據、語音數據、視頻數據等半結構化數據或非結構化數據占比越來越大,種類日益豐富。在數據來源方面在數據來源方面,數據既包括內
32、部數據,也包括來自第三方的外部數據,既包括傳統業務處理采集的業務數據,也包括手機終端、傳感器、機器設備、網站網絡、日志等技術產生的數據。同時,同時,由于秒級或者毫秒級的響應將幫助企業更快地洞察與分析數據,實時數據正在成為企業數據重要的管理對象,目前實時數據采集和處理已廣泛應用于互聯網、零售、電力、交通等多個行業,利用物聯網、實時數據庫等技術實現交易實時處理、生產實時監控、交通實時調控等。 2. 處理架構更新換代 處理架構的更新換代體現以下幾個方面。 一是數據處理的底層架構向云平臺和分布式系統遷移。Gartner 在 2018 年針對數據和分析采用方式的調查結果表明,63%企業目前使用最普遍的信
33、息基礎架構基技術為“基于云平臺的數據存儲”。同時以 Hadoop、Spark 等分布式技術和組件為核心的“計算&存儲混搭”的數據處理架構,能夠支持批量和實時的數據加載以及靈活的業務需求。 二是數據的預處理流程正在從傳統的 ETL 結構向 ELT 轉變。 傳統的數據集成處理架構是 ETL 結構,這是構建數據倉庫的重要一環,即用戶從數據源抽取出所需的數據,經過數據清洗,將數據加載到數據倉庫中去。而大數據背景下的架構體系是 ELT 結構,其根據上層的應用需求,隨時從數據湖中抽 數據湖(Data Lake) :數據湖是以其自然格式存儲的數據的系統或存儲庫,通常是對象 blob 或文 12 取想要的原始
34、數據進行建模分析。 3. 組織職能升級變遷 傳統的管理制度體系中,數據管理職能主要由 IT 部門來負責,是 IT 部門的一項工作,業務部門配合 IT 部門執行數據管理,提出需求。隨著數據分析與業務融合越來越深入,業務部門逐步成為大數據應用的主角,因而數據資產管理在企業中扮演越來越重要的角色。出現了越來越多的企業設置專門的“數據管理”職能部門或首席數據官(CDO,Chief Data Officer)崗位。在這種變遷背景下,數據管理的組織架構也面臨革新的需求。 4. 管理手段自動智能 依靠“手工人力”的電子表格數據治理模式即將被“自動智能”的“專業工具”取代,越來越多的數據管理員、業務分析師和數
35、據領導者采用“平臺工具”增強企業的數據管理能力,包括梳理元數據、管理主數據,優化數據集成、提升數據質量等。具體來說,機器學習和人工智能通過自動提取元數據,將不同的數據進行關聯并分析;通過配置和優化主數據,使主數據的管理更加便捷和準確;通過語義分析實現相同數據源的連接,簡化數據集成流程;通過增強數據的分析、清理 件。 數據湖通常是企業所有數據的單一存儲,包括源系統數據的原始副本,以及用于報告、可視化、分析和機器學習等任務的轉換數據。 數據湖可以包括來自關系數據庫(行和列)的結構化數據,半結構化 數據(CSV,日志,XML,JSON) ,非結構化數據(電子郵件,文檔,PDF)和二進制數據(圖像,音
36、頻,視頻) 。來源:維基百科 13 和識別,提升數據質量。同時,隨著智能優化技術不斷引入到數據管理活動中,數據間的多維關系將被自動化識別和可視化展現,幫助用戶高效探索數據和分析數據,降低數據使用門檻,有助于非專業人士成為數據科學家,擴大數據的使用對象和應用范圍。 5. 應用范圍不斷擴大 數據資產管理的使用不僅僅局限于擁有海量數據或強大數據處理能力的機構,任何一個機構都可以成為數據資產化管理的實踐者。選擇一個小型且效果明顯的項目實施數據資產管理, 也可以成為逐步構建完整數據資產管理體系的良好開端。此外,數據資產的應用范圍已經從傳統的企業內部應用為主發展為支撐內部和服務外部并重, 數據資產應用和服
37、務范圍的擴大成為企業戰略發展的一部分, 實現數據資產保值到增值的跨越。 14 二、二、 數據資產管理的主要內容數據資產管理的主要內容 數據資產管理框架如圖 3 所示,包含 8 個管理職能和 5 個保障措施。管理職能是指落實數據資產管理的一系列具體行為,保障措施是為了支持管理職能實現的一些輔助的組織架構和制度體系。 本章主要描述具體的管理職能和保障措施的詳細內容。 圖圖 3 數據資產管理體系架構數據資產管理體系架構 (一) 管理職能管理職能 數據資產管理的管理職能包括數據標準管理、數據模型管理、元數據管理、主數據管理、數據質量管理、數據安全管理、數據價值管理以及數據共享管理等 8 個方面,詳細闡
38、述如下。 1. 數據標準管理 數據標準數據標準是指保障數據的內外部使用和交換的一致性和準確性的規范性約束,通??煞譃榛A類數據標準和指標類數據標準。 基礎類數據標準基礎類數據標準一般包括參考數據和主數據標準、 邏輯數據模型標準、物理數據模型標準、元數據標準、公共代碼和編碼標準等。指指 15 標類數據標準標類數據標準一般分為基礎指標標準和計算指標(又稱組合指標)標準?;A指標一般不含維度信息,且具有特定業務和經濟含義,計算指標通常由兩個以上基礎指標計算得出。 數據標準一般包含 3 個要素: 標準分類、 標準信息項 (標準內容)和相關公共代碼和編碼(如國標、行標等) 。其中標準分類指按照不同的特點
39、或性質區分數據概念;信息項是對標準對象的特點、性質等的描述集合;公共代碼指某一標準所涉及對象屬性的編碼。 數據標準管理數據標準管理是指數據標準的制定和實施的一系列活動, 關鍵活動包括: 理解數據標準化需求; 構建數據標準體系和規范; 規劃制定數據標準化的實施路線和方案; 制定數據標準管理辦法和實施流程要求; 建設數據標準管理工具, 推動數據標準的執行落地; 評估數據標準化工作的開展情況。 數據標準管理的目標是通過統一的數據標準制定和發布, 結合制度約束、系統控制等手段,實現企業大數據平臺數據的完整性、有效性、一致性、規范性,推動數據的共享開放,構建統一的數據資產地圖,為數據資產管理活動提供參考
40、依據。 2. 數據模型管理 數據模型數據模型是現實世界數據特征的抽象, 用于描述一組數據的概念 16 和定義。數據模型從抽象層次上描述了數據的靜態特征、動態行為和約束條件。 數據模型所描述的內容有三部分: 數據結構、 數據操作 (其中 ER 圖數據模型中無數據操作)和數據約束,形成數據結構的基本藍圖,也是企業數據資產的戰略地圖。數據模型按不同的應用層次分成概念數據模型、邏輯數據模型、物理數據模型三種類型。 概念模型:概念模型:是一種面向用戶、面向客觀世界的模型,主要用來描述現實世界的概念化結構,與具體的數據庫管理系統(DBMS,Database Management System)無關; 邏輯
41、模型:邏輯模型:是一種以概念模型的框架為基礎,根據業務條線、業務事項、業務流程、業務場景的需要,設計的面向業務實現的數據模型。邏輯模型可用于指導在不同的 DBMS 系統中實現。邏輯數據模型包括網狀數據模型、層次數據模型等; 物理模型:物理模型:是一種面向計算機物理表示的模型,描述了數據在儲存介質上的組織結構。物理模型的設計應基于邏輯模型的成果,以保證實現業務需求。它不但與具體的 DBMS 有關,而且還與操作系統和硬件有關,同時考慮系統性能的相關要求。 數據模型管理數據模型管理是指在信息系統設計時,參考業務模型,使用標準化用語、單詞等數據要素來設計企業數據模型,并在信息系統建設和運行維護過程中,
42、嚴格按照數據模型管理制度,審核和管理新建數據模型, 數據模型的標準化管理和統一管控, 有利于指導企業數據整合,提高信息系統數據質量。數據模型管理包括對數據模型的設計、數據模型和數據標準詞典的同步、 數據模型審核發布、 數據模型差異對比、 17 版本管理等。數據模型管理的關鍵活動包括: 定義和分析企業數據需求; 定義標準化的業務用語、單詞、域、編碼等; 設計標準化數據模型,遵循數據設計規范; 制定數據模型管理辦法和實施流程要求; 建設數據模型管理工具,統一管控企業數據模型。 數據模型是數據資產管理的基礎,一個完整、可擴展、穩定的數據模型對于數據資產管理的成功起著重要的作用。 通過數據模型管理可以
43、清楚地表達企業內部各種業務主體之間的數據相關性, 使不同部門的業務人員、 應用開發人員和系統管理人員獲得關于企業內部業務數據的統一完整視圖。 3. 元數據管理 元數據元數據(Metadata)是描述數據的數據。元數據按用途不同分為技術元數據、業務元數據和管理元數據。 技術元數據技術元數據 (Technical Metadata) : 描述數據系統中技術領域相關概念、關系和規則的數據;包括數據平臺內對象和數據結構的定義、源數據到目的數據的映射、數據轉換的描述等; 業務元數據業務元數據(Business Metadata) :描述數據系統中業務領域相關概念、關系和規則的數據;包括業務術語、信息分類
44、、指標、統計口徑等; 管理元數據管理元數據(Management Metadata) :描述數據系統中管理領域 18 相關概念、關系、規則的數據,主要包括人員角色、崗位職責、管理流程等信息。 元數據管理(元數據管理(Meta Data Management)是數據資產管理的重要基礎,是為獲得高質量的、整合的元數據而進行的規劃、實施與控制行為。 元數據管理的內容可以從以下六個角度進行概括, 即“向前看”:“我”是誰加工出來的; “向后看”: “我”又支持了誰的加工; “看歷史”:過去的“我”長什么樣子;“看本體”:“我”的定義和格式是什么;“向上看”:“我”的父節點是誰;“向下看”:“我”的子節
45、點是誰。元數據管理的關鍵活動包括: 理解企業元數據管理需求; 開發和維護元數據標準; 建設元數據管理工具; 創建、采集、整合元數據; 管理元數據存儲庫; 分發和使用元數據; 元數據分析(血緣分析、影響分析、數據地圖等) 。 元數據管理內容描述了數據在使用流程中的信息, 通過血緣分析可以實現關鍵信息的追蹤和記錄, 影響分析幫助了解分析對象的下游數據信息,快速掌握元數據變更可能造成的影響,有效評估變化該元數據帶來的風險,逐漸成為數據資產管理發展的關鍵驅動力。 19 4. 主數據管理 主數據主數據(Master Data)是指用來描述企業核心業務實體的數據,是企業核心業務對象、交易業務的執行主體。是
46、在整個價值鏈上被重復、共享應用于多個業務流程的、跨越各個業務部門和系統的、高價值的基礎數據,是各業務應用和各系統之間進行數據交互的基礎。從業務角度,主數據是相對“固定”的,變化緩慢。主數據是企業信息系統的神經中樞,是業務運行和決策分析的基礎。例如供應商、客戶、企業組織機構和員工、產品、渠道、科目 COA、BOM 等。 主數據管理主數據管理 (MDM ,Master Data Management) 是一系列規則、應用和技術, 用以協調和管理與企業的核心業務實體相關的系統記錄數據。主數據管理的關鍵活動包括: 理解主數據的整合需求; 識別主數據的來源; 定義和維護數據整合架構; 實施主數據解決方案
47、; 定義和維護數據匹配規則; 根據業務規則和數據質量標準對收集到的主數據進行加工清理; 建立主數據創建、變更的流程審批機制; 實現各個關聯系統與主數據存儲庫數據同步; 方便修改、監控、更新關聯系統主數據變化。 20 主數據管理通過對主數據值進行控制, 使得企業可以跨系統的使用一致的和共享的主數據, 提供來自權威數據源的協調一致的高質量主數據, 降低成本和復雜度, 從而支撐跨部門、 跨系統數據融合應用。 5. 數據質量管理 數據質量數據質量是保證數據應用效果的基礎。 衡量數據質量的指標體系有很多,幾個典型的指標有:完整性(數據是否缺失) 、規范性(數據是否按照要求的規則存儲) 、一致性(數據的值
48、是否存在信息含義上的沖突) 、準確性(數據是否錯誤) 、唯一性(數據是否是重復的) 、時效性(數據是否按照時間的要求進行上傳) 。數據質量是描述數據價值含量的指標,就像鐵礦石的質量,礦石的質量高,則煉出來的鋼材就會多;反之,礦石的質量低,不但練出來的鋼材少了,同時也增加了提煉的成本。 數據質量管理數據質量管理是指運用相關技術來衡量、 提高和確保數據質量的規劃、實施與控制等一系列活動。數據質量管理工作中的關鍵活動包括: 開發和提升數據質量意識; 定義數據質量需求; 剖析、分析和評估數據質量; 定義數據質量測量指標; 定義數據質量業務規則; 測試和驗證數據質量需求; 21 確定與評估數據質量服務水
49、平; 持續測量和監控數據質量; 管理數據質量問題; 分析產生數據質量問題的根本原因; 制定數據質量改善方案; 清洗和糾正數據質量缺陷; 設計并實施數據質量管理工具; 監控數據質量管理操作程序和績效。 通過開展數據質量管理工作,企業可以獲得干凈、結構清晰的數據,是企業開發大數據產品、提供對外數據服務、發揮大數據價值的必要前提,也是企業開展數據資產管理的重要目標。 6. 數據安全管理 數據安全管理數據安全管理是指對數據設定安全等級,按照相應國家/組織相關法案及監督要求,通過評估數據安全風險、制定數據安全管理制度規范、進行數據安全分級分類,完善數據安全管理相關技術規范,保證數據被合法合規、安全地采集
50、、傳輸、存儲和使用。企業通過數據安全管理,規劃、開發和執行安全政策與措施,提供適當的身份以確認、授權、訪問與審計等功能。 數據安全管理的關鍵活動包括: 理解數據安全需求及監管要求; 定義數據安全策略; 22 定義數據安全標準; 定義數據安全控制及措施; 管理用戶、密碼和用戶組成員; 管理數據訪問視圖與權限; 監控用戶身份認證和訪問行為; 定義數據安全強度,劃分信息等級; 部署數據安全防控系統或工具; 審計數據安全。 數據安全管理的目標是建立完善的體系化的安全策略措施, 全方位進行安全管控,通過多種手段確保數據資產在“存、管、用”等各個環節中的安全,做到“事前可管、事中可控、事后可查”。 7.
51、數據價值管理 數據價值管理數據價值管理是對數據內在價值的度量, 可以從數據成本和數據應用價值兩方面來開展。數據成本數據成本一般包括采集、存儲和計算的費用(人工費用、IT 設備等直接費用和間接費用等)和運維費用(業務操作費、技術操作費等) 。數據成本管理數據成本管理從度量成本的維度出發,通過定義數據成本核算指標、監控數據成本產生等步驟,確定數據成本優化方案,實現數據成本的有效控制。數據價值(收益)數據價值(收益)主要從數據資產的分類、使用頻次、使用對象、使用效果和共享流通等方面計量。數據價值(收益)管理數據價值(收益)管理從度量價值的維度出發,選擇各維度下有效的衡量指標,對針對數據連接度的活性評
52、估、數據質量價值評估、數據 23 稀缺性和時效性評估、數據應用場景經濟性評估,并優化數據服務應用的方式,最大可能性的提高數據的應用價值。比如可以選擇數據熱度、廣度等作為數據價值的參考指標,通過 ROI 評估,高效管控和合理應用數據資產。 表表 1 數據成本和價值評估的維度數據成本和價值評估的維度 計量維度計量維度 各維度描述各維度描述 數據成本評估數據成本評估 采集、存儲和計算成本評估 主要包括計量人工費用、 IT 設備等直接費用和間接費用等 運維成本評估 主要包括計量業務操作費、技術操作費等 數據價值評估數據價值評估 活性評估 活性指標主要包括數據連接度、貢獻度等,數據的高連接度和貢獻度,意
53、味著高活性和高數據價值。 數據質量評估 數據質量評估指標主要包括數據一致性、準確性、完整性、及時性等,高數據質量意味著搞數據價值 數據稀缺性評估 數據稀缺性描述數據的供給數量及供給方數量的多寡,通過與最大供給方數量或數據供給豐富程度相比較, 判斷數據稀缺性,高稀缺性數據意味著高數據價值 數據時效性評估 數據時效性描述數據的時間特性對應用的滿足程度, 較高的滿足程度意味著高的數據時效性,即高數據價值 數據應用場景經濟性評估 數據應用場景經濟型描述在具體場景下數據集的經濟價值,由于不同行業的規模、數據應用程度等具有差異性,因而不同的場景下的數據集,其價值會相差很大。通過比較某場景下的經濟價值與所有
54、場景中的最大經濟價值相比較,判斷數據應用場景經濟性,高場景經濟性意味著高數據價值。 當前,對于數據資產評估的研究還處于早期階段,評估方法手段 24 還不成熟??赡艿姆椒òㄊ袌龇?、成本法和收益法三種,三種方法的優缺點如表 所示。以收益法為例,將企業數據資產未來可能產生的收益折現為現金流進行計算。 對數據資產價值的估算可以幫助企業更準確的掌握信息化投資收益,也是數據交易流通的前提之一。 表表 2 數據資產價值評估典型方法比較數據資產價值評估典型方法比較 成本法成本法 收益法收益法 市場法市場法 優點優點 容易把握和操作 考慮未來預期收益和貨幣時間價值因素, 能真實反映價值, 易被雙方接受 能反映
55、資產目前市場狀況,易被雙方接受 缺點缺點 對價值的估算往往偏低 預測難度大、偏主觀 對市場環境要求高、評估難度大 適用場景適用場景 第三方機構,不以交易為目的,如政務數據 適合于數據買方 較少 進行數據價值管理的關鍵性活動包括: 確定企業數據集成度水平; 確定企業數據的應用場景; 確定數據存儲、計算和運維的成本預算; 明確數據成本和收益的具體計量指標; 計算數據在不同應用場景下的成本和收益; 計算企業數據資產的總體成本和收益; 制定數據成本優化方案和提升數據增值方案; 審核、改進方案。 25 8. 數據共享管理 數據共享管理數據共享管理主要是指開展數據共享和交換, 實現數據內外部價值的一系列活
56、動。 數據共享管理包括數據內部共享 (企業內部跨組織、部門的數據交換) 、外部流通(企業之間的數據交換) 、對外開放。數據內部共享的關鍵步驟是打通企業內部各部門間的數據共享瓶頸, 建立統一規范的數據標準與數據共享制度, 數據外部流通和對外開放可以通過數據直接交易與提供數據分析信息的兩種方式實現, 將數據中符合共享開放層級的信息作為應用商品, 以合規安全的形式完成共享交換或開放發布。目前來看,擁有海量數據是企業開展數據資產運營的前提條件,在數據流通環境下,數據資產運營流通職能的服務對象包括了數據提供者、 數據消費者、 數據服務者和數據運營者四類角色。 數據共享管理的關鍵活動包括: 定義數據資產內
57、部共享和運營流通監控指標; 設計數據資產內部共享和運營流通管理方案; 制定數據資產內部共享和運營流通管理辦法和實施流程要求; 監控數據資產內部共享和運營實施; 監督落實數據內部共享與外部流通等合規性管理要求; 分析內部共享與運營流通指標,評價運營效果并改進。 26 重視數據資產管理、運營、流通可以為企業帶來未來經濟利益,同時這也是數據保值增值的重要手段。 數據資產運營流通是使數據資產流動和發揮價值的核心,它將推動數據價值創造模式的不斷創新,從根本上改變企業管理、社會管理和政府治理的發展趨勢。 在數據資產管理的實踐中, 各項管理職能所涉及的管理內容之間往往存在著緊密的聯系。數據資產管理的數據一般
58、包括元數據、主數據和業務數據。數據模型管理為主數據、元數據和業務數據設計數據模型。數據質量管理按照數據標準的規定稽核各部分數據內容。元數據管理發揮承上啟下的作用, 承接數據標準管理和數據模型管理的階段性成果,同時為主數據管理提供有力支撐。數據安全管理貫穿數據全生命周期,為數據資產管理各項管理職能提供了有力支撐。數據標準管理,顧名思義,就是定義數據模型、數據安全和數據質量相關規范,一般以文件形式呈現。 (二) 保障措施保障措施 數據資產管理是體系化非常強的工作, 需要充分考慮企業內部 IT系統、數據資源以及業務應用的開展現狀,同時也要考慮圍繞業務開展所設立的人員和組織機構的情況, 在此基礎上設計
59、一套有針對性的數據資產管理組織架構、管理流程、管理機制和考核評估辦法,通過管理的手段明確“責權利”以保障數據資產管理工作有序開展。 數據資產管理的保障措施可以從戰略規劃、組織架構、制度體系、審計方式和培訓宣貫五方面進行展開,本章將進行詳細闡述。 27 1. 制定戰略規劃 從管理層、領導層出發,從頂向下全局部署數據資產管理規范從而形成全面的標準規則體系和執行調度流程。 戰略規劃是數據資產管理成為企業戰略核心任務應用的重要部分, 是數據資產得到一定程度內外部應用的指導藍圖。值得一提的是,越來越多的企業單位在戰略規劃階段決議成立專門的數據管理部門, 以連通 IT 部門和業務部門。 2. 完善組織架構
60、 典型的組織架構主要由數據資產管理委員會、 數據資產管理中心和各業務部門構成。組織架構劃分和角色設定如下圖所示: 圖圖 4 數據資產管理保障措施組織架構數據資產管理保障措施組織架構 為了讓組織架構中的各個角色相互配合,各司其職,還需要明確他們相應的職責, 讓工作職責融入到日常的數據資產管理和使用工作 28 中。與上述典型的數據資產管理架構相適應的角色職責如下表。 表表 3 數據資產管理組織架構角色職責數據資產管理組織架構角色職責 組織結構組織結構 角色角色 角色描述角色描述 角色主要職責角色主要職責 人員能力要求人員能力要求 數據資產管數據資產管理委員會理委員會 數據決策者 由公司主管領導和各
61、業務部門領導組成 負責領導數據資產管理工作;決策數據資產管理重大工作內容和方向。在數據角色方出現問題時負責仲裁。 熟悉組織行為學、產品、財務知識,具備團隊管理、商業分析與判斷、數據和戰略規劃能力。 數據資產管數據資產管理中心理中心 數據管理者 數據管理中心機構的平臺運營人員 負責牽頭制定數據資產管理的政策、標準、規則、流程,協調認責沖突;監督各項數據規則和規范的約束的落實情況;負責數據資產管理平臺中整體數據的管控流程制定和平臺功能系統支撐的實施;負責數據平臺的整體運營、組織、協調。 熟悉項目管理、關聯管理、質量管理能力,具備項目規劃、跟蹤和控制、風險識別與管控、敏捷項目管理、溝通與執行和產品規
62、劃能力。 各業務各業務/技技術部門術部門 數據提供者 相關數據所有人和權限管理人員 配合制定相關數據標準、數據制度和規則;遵守和執行數據標準管控相關的流程,根據數據標準要求提供相關數據規范。作為數據出現質量問題時的主要責任者。 熟悉 ITIL 理論、 業務能力、 操作系統技術、網絡、應用架構,具備資源規劃和成本控制、質量管理、數據庫和過程/規范設計能力, 同時具備一定的大數據平臺運營能力。 數據開發者 數據開發人員 負責數據開發,有責任執行數據標準和數據質量內容,負責從技術角度解決數據質量問題。作為數據出現質量問題時的次要責任者。 熟悉行業系統和工具、組件,數據傳輸、存儲、計算和分析,運營支持
63、系統,和運維效率和監控的相關知識;具備系統規劃和設計、技術開發、數據分析和建模、測試設計能力,具備一定的 DevOps 與大數據平臺開發能力。 29 數據消費者 數據使用人員, 包含內部用戶和外部用戶 作為數據資產管理平臺數據的使用者, 負責反饋數據效果, 作為數據資產管理平臺數據閉環流程的發起人。 熟悉數據處理、業務能力、技術知識(關聯知識),具備數據規劃、產品應用、數據分析、技術應用和模型與算法研發能力。 數據認責是數據資產管理在服務各領域、 各環節工作落到實處的有效手段,通過數據角色職責開展數據認責相關工作,其主要認責流程如圖 5 所示。 具體認責條例、 管理辦法及相關制度流程由數據資產
64、管理委員會進行制定。 圖圖 5 數據認責機制數據認責機制 3. 建立制度體系 為了保障活動實施和組織架構正常運轉, 需要建立一套覆蓋數據引入、使用、開放等整個生產運營過程的數據管理規范,從制度上保障數據資產管理工作有據、可行、可控。 數據資產管理規范包括元數據管理規范、生命周期管理規范、數據質量管理規范以及數據安全管理規范等對應管理職能的具體規范。 30 在此基礎上,規范需細化至接口設計、接口開發、模型設計、模型開發、數據開放以及服務封裝等內容。規范的標準一般包括基礎分類標準、命名規范要求、數據架構劃分、存儲與數據權限規則、元數據信息完整性要求等。規范和標準在執行的過程中執行監控規定,要求事中
65、檢查和事后監控。事中檢查指的是在開發和上線時進行控制,包括命名規范,信息完整性,合理性等;事后監控指的是對存儲周期,數據安全敏感信息和加密信息, 權限賦權常態化檢查。 圖 6 是可參考的一種典型的制度體系架構舉例。 圖圖 6 一種典型的制度體系架構一種典型的制度體系架構 31 4. 設置審計機制 為進一步保障、評估數據資產管理的規范、規劃、組織機構、制度體系的執行狀況, 保障、 評估數據資產的安全性、 準確性、 完整性、規范性、一致性、唯一性和時效性,需有完整的貫穿數據資產管理整個流程的審計機制。審計方式從審計體系規范建設入手,信息技術審計方法和專職人員審計方法并行。 審計對象包括數據權限使用
66、制度及其審批流程、日志留存管理辦法、數據備份恢復管理機制、監控審計體系規范以及安全操作方案等體系制度規范以及敏感、重要數據。數據資產管理在實施過程中需要保障集中審計的可行性。 5. 開展培訓宣貫 培訓宣貫是企業實施數據資產管理進程中的重要組成部分, 是數據資產管理理論落地實踐、流程執行運作的基礎,是數據資產管理牽頭部門在技術部門和業務部門之間順利開展工作的重要保障。 企業需利用現有資源,合理安排員工參與數據資產管理培訓、課程。促進員工有效培訓和自我提高, 提升人員的職業化水平, 強化工作的標準化、規范化。 企業開展數據資產管理的培訓教育周期、培訓內容和參與方式,包括:行業現有數據資產管理體系課
67、程培訓,行業內、外部單位優秀經驗溝通與交流, 主要參與培訓人員部門內二次培訓, 企業優秀部門、員工經驗、案例分享,常規員工培訓中添加數據資產管理培訓的課程等。 32 各企業單位需將數據資產管理納入現有晉升、薪酬、職位資格等體系范疇,建立員工職業發展通道。根據現實工作環境中完成任務的能力,設立數據資產管理相關獎項,對優秀的個人、團隊進行獎勵,樹立行業、員工優秀模范,引導員工樹立不斷學習,激發員工不斷改進工作,提高工作質量和工作效率。 33 三、三、 數據資產管理的實施要點數據資產管理的實施要點 完整的企業或機構大數據能力的構建步驟一般是“建立組織架構應用需求梳理數據盤點梳理引進平臺技術匯聚多源數
68、據治理數據數據應用數據運營”等。 數據資產管理以數據價值為導向,分布在大數據能力構建的多個環節。本章將主要圍繞數據資產管理,具體闡述實施步驟、主要工具平臺的功能,并基于實踐經驗,提出數據資產管理成功的要素。 數據成熟度不同的企業或單位開展數據資產管理的具體步驟和實施內容要根據自身情況制定。 (一) 實施步驟實施步驟 數據資產管理可參考按照“統籌規劃管理實施稽核檢查資產運營”四個階段的方法策略執行,每個階段對應的管理職能如圖 7所示。以業務應用目標為指引,企業可以按照自身數據及管理情況制定不同的實施步驟順序。 34 圖圖 7 數據資產管理實施步驟數據資產管理實施步驟 1. 第一階段:統籌規劃 第
69、一階段是統籌規劃過程,制定數據資產管理戰略規劃,明確數據資產管理目標,涉及建立數據資產管理組織和制度作為保障措施,盤點數據資產,制定數據資產標準規范等,該階段成果是后續工作的基礎。 一般情況下,數據資產管理的第一步第一步是建立組織責任體系,根據自身情況,制定數據資產管理制度規范。需要建立一套獨立完整的關于數據資產管理的組織機構,明確各級角色和職責,確定兼職專職人員,保障數據資產管理的各項管理辦法、工作流程的實施,推進工作的有序開展,并逐步打造管理及技術的專業人才團隊。 第一步的主要交付物包括: 數據資產管理規劃 、 數據資產管理認責機制 、 數據資產管理工作指引 、 數據資產管理考核評價辦法
70、。 第二步第二步是結合業務盤點數據資產,評估當前數據管理能力。對基礎數據的盤點是開展數據資產管理工作的前提之一, 需要分析企業戰略及業務現狀,結合當前大數據現狀及未來發展,盤點企業內外部數據現狀, 確立數據資產管理的目標, 并逐漸實施需求調研、 盤點資產、采集匯聚等專題任務。與此同時,了解企業數據來源、數據采集手段和硬件設備情況,以定位自身數據資產管理能力,規劃未來數據資產管理成熟度提升方案。 35 第二步的主要交付物包括: 數據資產盤點清單 、 數據資產管理現狀評估 。 第三步第三步是制定數據資產相關的標準規范。在企業組織架構、制度體系和數據資產盤點的基礎上,結合國際標準和行業標準,圍繞數據
71、資產全生命周期管理,制定相關的數據規范體系,包括元數據標準、核心業務指標數據標準、業務系統數據模型標準、主數據標準、關鍵業務稽核規則等,使得數據管理人員在工作中有明確的規則可依,同時,建立參考數據和主數據標準、元數據標準(比如元模型標準) 、公共代碼標準、編碼標準等基礎類數據標準,以及基礎指標標準、計算指標標準等指標類數據標準和關鍵業務稽核規則。 企業應逐步推動相關數據規范和標準的工作建設,使數據有效匯聚和應用,切實保障數據資產管理的流暢實現。 第三步的主要交付物包括: 數據資產標準管理辦法 。 2. 第二階段:管理實施 如果說第一階段重點還在于對數據資產的定義、規劃、梳理,第二階段就是對第一
72、階段成果的落地實實施。首先首先,在搭建大數據管理平臺、完成數據匯聚工作的基礎上,根據企業自身存量數據基礎和增量數據預估, 建設或采購必要的數據資產管理平臺或引入第三方工具以支撐管理工作,切實建立起企業數據資產管理能力。其次其次,要建立安全管理體系,防范數據安全隱患,執行數據安全管理職能。再次再次,還需要制定和管理主數據,以明確企業核心業務實體的數據,如客戶、 36 合作伙伴、員工、產品、物料單、賬戶等,從而自動、準確、及時地分發和分析整個企業中的數據,并對數據進行驗證。 在第二階段里,需要從數據資產管理的相關業務、技術部門日常工作流程入手,切實建立起企業數據資產管控能力,包括從業務角度梳理企業
73、數據質量規則,檢測數據標準實施情況,保證數據標準規范在企業信息系統生產環境中真正得到執行。 針對關鍵性數據資產管理工作,可以借助管理工具,建立數據資產的管理流程,保證相關事情都有專人負責。 同時,企業應加強數據資產服務和應用的創新,可以圍繞降低數據使用難度、 擴大數據覆蓋范圍、 增加數據供給能力等幾個方面開展。通過數據可視化、搜索式分析、數據產品化等降低數據使用難度;通過數據“平民化”(如打造數據應用商店)擴大數據覆蓋范圍,讓一線業務人員接觸到更多的數據, 讓數據分布更加均衡; 通過數據消費者、數據生產者之間靈活的角色轉變,增加數據的供給能力(如形成數據眾籌眾享模式) 。 第二階段的工作目標主
74、要是為企業打造核心的管理數據資產的能力,同時為企業內數據資產管理部門形成數據管理的工作環境,概括起來,就是企業數據資產可管理、可落地。 本階段主要交付物包括: 數據資產管理辦法 、 數據資產管理實施細則 (包括數據標準管理、數據質量管理、元數據管理、主數據管理、數據安全管理、數據應用管理等) 。 37 3. 第三階段:稽核檢查 稽核檢查階段是保障數據資產管理實施階段涉及各管理職能有效落地執行的重要一環。這個階段包括檢查數據標準執行情況、稽核數據質量、監管數據生命周期等具體任務。 這個階段需要抓好三個“常態化”。 一是數據標準執行情況檢查的常態化。 數據標準管理是企業數據資產管理的基礎性工作,通
75、過數據標準管理的實施,企業可實現對大數據平臺全網數據的統一運營管理。 數據標準管理的檢查主要從標準制定和標準執行兩個方面檢查。 標準制定的檢查主要圍繞同國家標準、行業標準的一致性,同時參考與本地標準、數據模型的結合性,包括數據命名規范、數據類別等。標準執行的檢查主要圍繞標準的落地情況,包括數據標準的創建和更改流程的便捷性、數據標準使用的廣泛性、數據標準與主數據的動態一致性等。 二是數據質量稽核的常態化。應對數據質量問題,首先首先要提升數據質量意識, 數據質量意識包括能夠將數據質量問題與其可能產生的業務影響聯系起來,同時也包括“數據質量問題不能僅僅依靠技術手段解決”的理念。盡可能從數據源頭提升數
76、據質量。其次其次,建立一套良性循環、動態更新的數據質量管理流程,制定符合業務目標的數據質量稽核規則, 明確在數據全生命周期管理各環節的數據質量提升關鍵點,持續評估和監督數據質量與數據質量服務水平,不斷調整更新數據質量管理程序,推動數據向優質資產的轉變,逐步釋放數據資產 38 價值,為企業帶來經濟效益。 三是靈活配置數據存儲策略的常態化。數據生命周期管理,其目標是以完全支持企業業務目標和服務水平的需求, 根據數據對企業的價值進行分類分級,形成數據資產目錄,然后制定相應的策略,確定最優服務水平和最低成本,將數據轉移到相應的存儲介質上,爭取以最低的成本提供適當級別的保護、復制和恢復。借助數據生命周期
77、管理,企業不但能夠在整個數據生命周期內充分發揮數據的潛力,還可以按照業務要求快速對突發事件做出反應。 四是數據資產安全檢查的常態化。在大數據時代,數據資產更容易遭受泄露、篡改、竊取、毀損、未授權訪問、非法使用、修改、刪除等問題。2019 年 5 月,國家互聯網信息辦公室發布關于 數據安全管理辦法(征求意見稿) 公開征求意見的通知。企業應通過建立對數據資產及相關信息系統進行保護的體系, 合規采集數據、 應用數據,依法保護客戶隱私, 提高數據安全意識, 定期進行數據資產安全檢查,保證數據的完整性、保密性、可用性。 本階段主要交付物包括: 數據資產管理稽核辦法 、 數據資產管理問題管理辦法 。 4.
78、 第四階段:資產運營 通過前三個階段,企業已經能夠建立基本的數據資產管理能力,在此基礎上,還需要具備以實現業務價值為導向,以用戶為中心,為企業內外部不同層面用戶提供數據價值的能力。 資產運營階段是數據 39 資產管理實現價值的最終階段,該階段包括開展數據資產價值評估、數據資產內部共享和運營流通等。 數據資產價值評估能夠以合理的方式管理內部數據和提供對外服務。在大數據時代,數據運營企業關于數據價值的實現是體現在數據分析、數據交易層面。 數據資產作為一種無形資產, 其公允價值的計量應當考慮市場參與者通過最佳使用資產或將其出售給最佳使用該項資產的其他市場參與者而創造經濟利益的能力。 只有對數據資產價
79、值進行合理的評估, 才能以更合理的方式管理內部數據和提供數據對外服務。 數據資產內部共享和運營流通需要加強管理運營手段和方式方法,促進數據資產對內支撐業務應用,對外形成數據服務能力,打造數據資產綜合運營能力。 數據資產內部共享主要是消除企業內數據孤島,通過相關管理制度和標準體系的建設與推動,構建企業內數據共享平臺,打通各部分各系統的數據,使更多的數據可以成為資產,應用于數據分析,全面動態促進數據價值的釋放。數據資產運營流通主要是實現數據資產價值的社會化,需要從數據安全管理及合規性、數據資產成本及價值創造、組織結構優化、數據質量提升等方面進行規劃并不斷迭代,持續優化數據資產管理能力。 本階段主要
80、交付物包括: 數據資產價值評估方法 、 數據資產成本管理方法 、 數據資產共享流通管理辦法 。 40 (二) 實踐模式實踐模式 數據資產管理在“統籌規劃管理實施稽核檢查資產運營”四個階段的方法策略執行參照下,還可以根據兩個思考維度,選擇一些常用的實踐模式。其一是組織方式,有自上而下的頂層設計模式和自下而上的各個擊破模式兩種類型;其二是建設策略,有生產系統優先和數據系統優先兩種類型。 1. 數據資產管理的建設策略 企業數據資產管理的建設策略主要包括自上而下和自下而上兩種方式。如果企業將數據資產管理納入戰略規劃,且企業的高層擁有較大的決策權,可以采用自上而下的建設策略,結合企業業務發展目標制定長遠
81、的數據資產管理規劃。 如果企業的數據管理部門具有一定的獨立性,并且具備專業技能和相關經驗,可以采用自下而上的建設策略,以探索數據資產管理需求為驅動力,通過問題導向,推動企業數據資產管理的逐步完善。各模式的解釋詳細見表 4。 表表 4 數據資產管理的兩種建設策略數據資產管理的兩種建設策略 建設策略建設策略 建設要點建設要點 優缺點優缺點 自上而下自上而下模式模式 規劃先行,組織體系先行,隨后是分階段分步驟的建設實施。 有體系和節奏, 規范性好, 適合有分支機構的大型企業; 時間和投入成本很大,見效慢。 由下而上由下而上模式模式 從具體某一業務需求開始,由點及面,逐漸擴展到組織的其他業務。 需求驅
82、動,快速行動,見效快; 統一整合比較困難, 適合機構和業務不多的中小型機構。 41 數據資產管理自上而下建設策略自上而下建設策略的顯著特點是“規范、 標準先行”,項目開展通常由數據資產管理咨詢項目開頭, 這種模式通常有以下幾項重要活動: 調研數據資產分布現狀調研數據資產分布現狀:數據資產現狀調研在數據資產盤點、收集調研問卷、現場訪談等調研手段的基礎上,結合業務場景,充分的了解當前企業的數據資產分布情況,也有助于企業在展開自上而下的數據資產管理前掌握業務人員的數據需求; 評估數據資產管理水平評估數據資產管理水平:通過自評估或者專業機構進行數據資產管理評估,將幫助企業在自上而下實施之前了解當前自身
83、數據資產管理的現狀,明確存在的問題和潛在的挑戰,規劃適當的數據資產管理藍圖; 建設數據資產管理體系建設數據資產管理體系:數據資產管理工作是一項跨業務、跨部門的系統工程,數據資產管理的從上而下實施高度依賴于高層管理人員的支持和職能集中化的數據資產管理組織。數據資產管理體系通過明確管理戰略、制定管理制度、搭建組織架構等一系列活動,以企業級的全局視角推進數據資產管理的實施。 數據資產管理自下而上建設策略自下而上建設策略的顯著特點是“問題導向、系統建設先行、快速見效”。以解決各業務部門和業務系統數據管理中的問題為出發點,通過使用成熟的數據資產管理工具,快速搭建數據資 42 產管理平臺,實現問題的逐個擊
84、破,并逐漸探索出全面的解決方案。參考各行業數據管理項目實踐, 自下而上的模式一般以解決企業面臨的元數據管理、 數據質量管理兩項核心數據資產管理任務作為切入點,逐步擴展到數據模型管理、數據標準管理、數據安全管理等其它數據管理職能。 2. 數據資產管理的切入方式 在建設策略方面,一般從生產系統入手或數據系統入手。從生產系統入手的常用建設模式包括企業數據模型建設模式以及主數據建設模式。 從數據系統入手的常用建設模式包括統一數據平臺模式和數據集市模式。 企業在選擇不同建設策略的時候, 可以考慮數據對于企業的重要性以及企業目前對于數據的管理水平。 如果數據是企業重要的業務資源,同時企業已經具備了一定的數
85、據管理專業水平和經驗,可以通過從數據系統入手的實施方式,通過修復數據管理漏洞、提升數據服務應用水平,推進數據管理能力建設。如果企業的數據管理水平并不成熟,那么選擇直接從數據管理系統入手有些冒險,而從業務系統入手則較為穩妥,也易見成效。各模式的解釋詳細見表 5。 表表 5 數據資產管理的切入方式數據資產管理的切入方式 切入方式切入方式 細分方式細分方式 切入要點切入要點 生產系統入手生產系統入手 大型生產系統開發建設模式 從大型生產系統開發入手, 借助項目建設契機, 建立該應用和業務領域數據的企業級標準和質量管控。 43 企業數據模型建設模式 從企業數據模型出發, 在建模同時建立標準, 規范生產
86、環節的數據錄入,保證數據質量。 主數據建設模式 從解決主數據的質量和業務協同入手,推動生產環節在客戶、物料、組織機構、產品、統一編碼。 數據系統入手數據系統入手 統一數據平臺模式 以數倉、 大數據平臺等統一數據整合平臺為切入點, 統一接入各業務各分公司的數據,統一語義和標準,提升數據質量。 數據集市模式 各業務單獨建立自己的數據倉庫,滿足自己的數據分析需求; 或者從某個特定的分析主題為切入點, 進行建設, 后續統一對每個業務的數倉進行語義和標準方面的規范,實現物理分離,邏輯統一。 (三) 軟件工具軟件工具 數據資產管理實踐實施過程中, 需要依托具體的軟件工具來執行。而且隨著技術的發展,軟件工具
87、的自動化、智能化程度不斷地提高,在數據資產管理中的作用越來越大。目前針對上述管理職能,業界很多廠商都開發了相關軟件工具,其中,相對比較成熟的工具有數據標準管理工具、 數據模型管理工具、 元數據管理工具、 主數據管理工具、數據質量管理工具、 數據安全管理工具和數據生命周期管理工具等七類工具,這七類工具有的是單獨呈現,有的是相互組合在一起形成包括多種功能的軟件平臺,其具體意義和主要功能將展開具體闡述。除“數據資產管理”相關的工具之外,在大數據能力構建中,一般還要利用“數據集成工具”、“數據共享交換平臺”等,通過傳統數據倉庫或大數據平臺等媒介將數據集成交換到一起, 從而為應用分析或開放做準 44 備
88、,涉及工具如 “商務智能(BI)分析工具”、“報表工具”、“數據挖掘平臺”、“用戶行為分析平臺”、“數據開放平臺”等。 1. 數據標準管理工具 數據標準制定及維護工具可以規范數據資產格式、 命名的準確性和口徑的一致性,該工具針對數據標準管理職能而開發,需具備以下基礎功能: 標準生成: 可按照業務領域、 業務主題、 信息分類、信息項等生成標準細則; 標準映射:可以將制定的標準與實際數據進行關聯映射,即實現數據標準的落地執行,維護標準與元數據之間的落地映射關系,包括元數據與數據標準的映射、元數據與數據質量的映射,以及數據標準和數據質量的映射,能提供在線的手工映射配置功能,并能對映射結果做頁面展示;
89、 變更查詢:是查詢發布或廢止的標準的變更軌跡; 映射查詢:是查詢標準項與元數據之間的落地情況并提供下載功能; 維護標準: 是指對標準狀態進行管理, 包括增刪改、審核、定版、發布、廢止等; 標準版本查詢:是指對發布狀態的標準進行版本管理; 標準導出:是指按照當前系統中發布的最新標準或 45 者選擇版本來下載標準信息; 標準文檔管理:指對標準相關說明文檔或手冊的管理,包括創建、修改、鏈接查詢等。 2. 數據模型管理工具 針對企業在不同業務發展階段建設的一個個豎井式系統, 最大的挑戰莫過于系統集成過程中數據模型的不一致, 解決這個問題的唯一方法就是從全局入手,設計標準化數據模型,構建統一的數據模型管
90、控體系, 數據模型管理工具負責對企業數據模型的管理、 比對、 分析、展示提供技術支撐,需要提供統一、多系統、基于多團隊并行協作的數據模型管理。解決企業數據模型管理分散,無統一的企業數據模型視圖、 數據模型無有效的管控過程, 數據模型標準設計無法有效落地、數據模型設計與系統實現出現偏差等多種問題。 該工具針對數據模型管理職能而開發,需具備以下基礎功能: 數據模型設計: 支持對于新建系統的正向建模能力,還應支持對原有系統的逆向工程能力,通過對數據模型進行標準化設計,能夠將數據模型與整個企業架構保持一致,從源頭上提高企業數據的一致性; 模型差異稽核:提供數據模型與應用數據庫之間自動數據模型審核、稽核
91、對比能力,解決數據模型設計與實現不一致而產生的“兩張皮”現象,針對數據庫表結構、關系等差別形成差異報告,輔助數據模型管理人員監控數據模型質 46 量問題;提升數據模型設計和實施質量; 數據模型變更管控:支持數據模型變更管控過程,提供數據模型從設計、提交、評審、發布、實施到消亡的在線、 全過程、 流程化變更管理。 同時, 實現各系統數據模型版本化管理,自動生成版本號、版本變更明細信息,可以輔助數據模型管理人員管理不同版本的數據模型。通過工具可以簡單回溯任意時間點的數據模型設計狀態以及數據模型設計變更的需求來由,實現各系統數據模型的有效管控和管治,強化用戶對其數據模型的掌控能力; 模型可視化:支持
92、將管理的數據模型 E-R 圖(實體關系圖)轉換為圖片、數據建模腳本(DDL)等可視化展示形式,方便數據模型管理人員以全局視角監控系統中各類數據實體結構及實體間關系。 3. 元數據管理工具 元數據管理工具可以了解數據資產分布及產生過程, 該工具針對元數據管理職能而開發,需具備以下基礎功能: 元數據采集:能夠適應異構環境,支持從傳統關系型數據庫和大數據平臺中采集從數據產生系統到數據加工處理系統到數據應用報表系統的全量元數據,包括過程中的數據實體(系統、庫、表、字段的描述)以及數據實體加工處理過程中的邏輯,也可通過自動化的方式完成元數據采集,比 47 如用戶維護好數據源連接信息后,可以根據數據源的更
93、新頻率,設定元數據同步周期,元數據管理會根據數據源的連接信息、 同步周期以及開始時間, 定時自動解析、 獲取、 并更新元數據信息,保證平臺元數據信息的及時有效; 元數據識別:能夠從本身不包含元數據信息的數據(比如非結構化數據)中提取特征,并以此識別元數據; 元數據分類:能夠根據業務特點和管理需要,動態分類元數據, 包括技術元數據、 業務元數據和管理元數據等; 元數據展示:能夠根據類別、類型等信息展示各個數據實體的信息及其分布情況,展示數據實體間的組合、依賴關系,以及數據實體加工處理上下游的邏輯關系; 元數據應用:能夠利用元數據發現數據之間的關聯性,一般包括數據地圖、數據血緣分析、影響分析、全鏈
94、分析、熱度分析等; 元數據搜索:可根據數據源庫、類型等搜索元數據信息。 4. 主數據管理工具 數據管理工具用來定義、管理和共享企業主數據信息,可通過數據整合工具(如 ETL)或專門的主數據管理工具來實施主數據管理,具有企業級主數據存儲、整合、清洗、監管以及分發等五大功能,并保證這些主數據在各個信息系統間的準確性、一致性、完整性。簡單 48 說來,存儲、整合是數據的“入口”,分發為數據的“出口”,而中間的清洗與監管將擔負起數據質量提升的重要任務。 該工具針對主數據管理職能而開發,需具備以下基礎功能: 主數據存儲、 整合: 實現主數據整合、 清洗、 校驗、合并等功能,根據企業業務規則和企業數據質量
95、標準對收集到的主數據進行加工和處理,用于提取分散在各個支撐系統中的主數據集中到主數據存儲庫,合并和維護唯一、完整、準確的主數據信息; 主數據管理:支持對企業主數據的操作維護,包括主數據申請與校驗、審批、變更、凍結/解凍、發布、歸檔等全生命周期管理; 主數據分析:實現對主數據的變更情況監控,為主數據系統管理員提供對主數據進行分析、優化、統計、比較等功能; 主數據分發與共享:實現主數據對外查詢和分發服務,前者用于在其它系統發出針對主數據實時響應類查詢請求時,返回所需數據,后者則用于提供批量數據分發服務,一般采用企業服務總線(ESB 工具)實現方式。 5. 數據質量管理工具 數據質量管理工具從數據使
96、用角度監控管理數據資產的質量, 針對數據質量管理職能而開發,需具備以下基礎功能: 49 質量需求管理:對數據使用過程中產生的問題進行收集、存儲、分類并提供查詢檢索功能,為質量規則的制定提供依據; 規則設置:能夠提供稽核規則設置功能,用于設置一個稽核規則應用于哪類數據; 規則校驗:能夠對所關注的數據執行數據質量規則的校驗任務; 任務管理:能夠提供稽核任務調度功能,指定稽核任務周期執行; 監控分析:對規則校驗的結果進行監控和分析,校驗結果能夠定位到原始數據項; 質量報警:能夠對質量問題及時進行報警,避免數據污染的發生,造成成本或業務損失; 報告生成:能夠對校驗結果的質量問題進行記錄,積累形成問題知
97、識庫,并生成報告,在此基礎上,能夠根據檢核結果,生成對問題數據的質量提高建議,并可直接操作修改數據。 6. 數據安全管理工具 數據安全管理工具是結合信息安全的技術手段保證數據資產使用和交換共享過程中的安全。數據管理人員開展數據安全管理,是指執行數據安全政策和措施,為數據和信息提供適當的認證、授權、訪 50 問和審計,以防范可能的數據安全隱患。需具備以下基礎功能: 數據獲取安全:能夠支持數據獲取需要經過申請與審批流程,保障數據獲取安全; 數據脫敏:能夠支持數據脫敏規則、脫敏算法及脫敏任務的管理及應用,一般情況下,脫敏方式有動態脫敏和靜態脫敏兩種; 統一認證:定義數據安全策略,定義用戶組設立和密碼
98、標準等; 租戶隔離:管理用戶,密碼,用戶組和權限; 角色授權:劃分信息等級,使用密級分類模式,對企業數據和信息產品進行分類; 日志審計:審計數據安全,監控用戶身份認證和訪問行為,支持經常性分析; 異常監控:指對賬號異常行為的監控,如同一賬號異地登錄、同時多 IP 登錄、多次重復登錄等; 數據分類分級:能夠支持對數據資產安全進行敏感分級管理,并支持根據各級別生成對應的數據安全策略。 7. 數據價值管理工具 數據價值管理通過對數據內在價值的評估、 數據成本和收益的管理,實現數據資產化管理,需具備以下基礎功能: 數據需求分析:通過數據庫或者數據平臺的各種數 51 據分布分析和訪問狀態分析,協助數據管
99、理人員對數據生命周期管理策略,有效發現和挖掘當前數據平臺或者數據庫中歷史數據增長最快的關鍵數據, 同時, 為管理業務部門需求,滿足業務部門對數據使用的要求提供有效的數據化支撐; 數據價值評估:依據數據需求分析,建立合適的數據價值評估模型,主要包括數據成本和收益的評估方法、評估指標等,并支持對數據價值評估方法與各項指標的動態更新; 數據成本管理:能夠完成數據成本(主要包括存儲成本和計算成本等) 的優化, 并給出影響成本的分析報告 (如包含重復計算、代碼質量差等) ; 數據收益管理:能夠動態調整數據收益評價指標,依據指標對數據應用進行全流程管理,增加數據收益; 數據服務:通過構建服務目錄、授權數據
100、服務等有效完整的記錄數據服務信息,并最終生成數據服務報告,展示數據服務的價值; 數據資產價值統計:能夠可視化展示數據資產的一段時間內的統計視圖,展現數據使用和成本的變動。 8. 數據服務管理工具 數據服務管理是指在數據管理平臺上提供數據或數據分析結果的服務, 包括企業內部數據共享和外部數據流通, 通過構建服務目錄、 52 授權數據服務等有效完整的記錄數據服務信息, 最終生成數據服務報告,展示數據服務的價值,需具備以下基礎功能和輔助功能: 服務目錄:能夠精確的展示各目錄下能夠提供的數據服務類型、服務流程、數據資產目錄等,其實數據資產目錄能夠按照業務要求和企業標準,自定義構建數據資產目錄層級, 并
101、描述數據資產相關屬性, 包括表級屬性 (如表名、 目錄、更新周期、業務類別等)和字段結構(如字段名稱、字段類型、字段長度等); 服務目錄版本管理:能夠記錄數據資產目錄變更版本信息,包括具體變更情況;其中數據資產目錄可以通過元數據關聯導入,在元數據有變更時,自動同步; 數據資產共享和流通:提供數據資產下載、共享、流通及服務接口等,支持按共享屬性(如無條件共享、有條件共享、不共享等)對資源目錄下的數據資產進行分類,支持直接提供數據和數據分析結果; 其他功能:數據服務可以通過“數據超市”的形式開展,用戶通過訂閱具體服務獲取和使用數據。 (四) 成功要素成功要素 1. 明確責權利標,有效推進管理 數據
102、資產管理最重要的成功要素之一就是重視組織管理的作用,將責權利清晰化, 逐步建立健全包括管理型人才和技術性人才的適應 53 數據發展的人才結構,減少工作推進阻礙。并注重數據標準化環節以保障信息體系不發生混亂,確保數據規范一致性。數據標準是數據資產管理的基礎,是對數據資產進行準確定義的過程。對于一個擁有大量數據資產的企業,或者是要實現數據資產交易的企業而言,構建數據標準是一件必須要做的事情。標準化是解決數據的關聯能力,保障信息的交互、流動、系統可訪問,提高數據活化能力。保障信息體系不發生混亂,確保數據規范一致性避免數據混亂、沖突、多樣、一數多源。 數據資產管理的核心目的是有效綜合運營數據以服務企業
103、,讓數據成為利潤中心的一部分,這離不開管理,更離不開技術。 2. 合理引進技術,提升治理能力 人工智能、物聯網、新一代移動通信、智能制造、空天一體化網絡、量子計算、機器學習、深度學習、圖像處理、自然語言處理、4k高清、知識圖譜、類腦計算、區塊鏈、虛擬現實、增強現實等前沿技術正在大數據的推動下蓬勃發展。然而,在實現數據資產管理的過程中,應根據自身實際情況,避免盲從,合理引進創新技術以提高數據挖掘準確性和挖掘效率,節省人力成本。信息時代萬物數化,企業擁有數據的規模、 活性以及收集、 運用數據的能力, 決定其核心競爭力。掌控數據,就可以支配市場,意味著巨大的投資回報,數據是企業的核心資產。數據在實現
104、價值的過程中需要充分依托技術,但更離不開結合自身業務與應用,合理規劃。大數據和云計算的建立與開放至關重要,可以幫助企業梳理數據內容,高效檢索展示,最終給企業帶來 54 一定的經濟收益和社會效應。 但其應用的成功與否還是要取決于企業自身商業模式的建立,以數據融合技術為戰略資產的商業模式,可以決定企業未來。 3. 著眼業務應用,釋放數據價值 數據資產化進程給各類企業帶來重生、顛覆和創新,企業應重點關注、順勢而為,建立起符合自身業務和數據特點的數據資產化體系和能力,數據資產管理人員不能只陷于數據資產管理工作,還應緊密聯系業務,只有明確了前端業務需求,才能做到數據資產管理過程中的有的放矢,張弛有度。數
105、據的價值體現在決策精準、敏銳洞察,數據資產管理能夠使管理具流程化、規范化,結合業務應用的數據資產管理不僅使數據保值增值, 還將會給企業帶來更加巨大的經濟效益和社會效益。 4. 加強數據合規,注重風險風控 在數據資產管理的過程中,綜合考慮困難及挑戰,并全面管控風險,要基于行業模型、行業標準等積累完整、準確的內外部數據以保證數據合規性, 進而規避風險。 數據資產管理是一項持之以恒的工作,不可能一蹴而就,需要一個循序漸進的過程分階段進行。要做好充分地長期作戰準備,就一定要加強數據合規操作,避免安全漏洞,及時風險風控。 55 5. 持續迭代完善,形成良性閉環 一步到位建立一套完美的數據資產管理體系是很
106、困難的。 主要原因是業務需求會隨著市場環境不斷變化,技術手段也在不斷革新,因此數據資產管理體系不是一勞永逸、一蹴而就的,需要建立一個小步迭代的數據資產管理循環模式。在管理制度層面,需要制定有利于業務人員、 技術人員積極為數據資產管理體系循環迭代完善獻言獻策的方法和制度,進而促使數據資產管理體系在實踐中日趨成熟;在技術平臺方面,要借鑒 DevOps 的理念,促進開發、技術運營和質量保障部門之間的溝通、協作與整合,確保數據資產管理系統平臺持續、健康地為數據資產管理體系服務。 56 四、四、 總結與展望總結與展望 “數據之于本世紀,就像石油之于上世紀:它是發展和改變的動力。 數據已經產生了新的基礎設
107、施、 商業領域、 壟斷機構、 政治理論,最關鍵的是,還產生了一種新經濟。數據信息不像過去的其他資源,它采用不同的方式提取、加工、估值和交易。它改變了市場規則,要求使用新的管理方式?!?數據作為日益重要的戰略資源,需要完善的管理體系。為此,中國信息通信研究院云計算與大數據研究所牽頭與其他 TC601 成員單位共同編寫了數據資產管理實踐白皮書 ,闡述了大數據背景下的數據資產管理概念和特征, 描述了數據資產管理的主要管理職能和保障措施,提煉了實施數據資產管理的主要步驟。白皮書的目的是澄清概念,梳理經驗形成方法論,希望引起業界對數據資產管理工作的重視,為數據資產管理研究和實踐提供參考。 我們也認識到,
108、數據資產管理知識體系涉及管理、技術等多個學科,是一個非常復雜的系統工程,相關工作在國內剛剛起步,理論還不完善,也缺乏廣泛的實踐基礎,仍需要業界緊密合作,在數據資產管理的理論和實踐上不斷取得新的進展。 由于時間倉促,水平所限,我們的工作還有很多不足。下一步,我們還將廣泛采納各方面意見建議,進一步深化相關研究,持續完善白皮書內容。 誠邀各界專家學者參與我們的研究工作, 積極獻言獻策, 數據是未來的石油:數據如何推動新經濟增長, 經濟學人 ,2017 年 5 月,https:/ 57 共同完善國內數據資產管理理論和方法論體系, 為促進大數據與實體經濟深度融合做出積極貢獻。 58 附錄附錄:術語:術語
109、 數據管理 Data Management 是規劃、控制和提供數據及信息資產的一組業務職能,包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序,從而控制、保護、交付和提高數據和信息資產的價值。 DMBOK 1.0 數據治理 Data Governance 作為數據管理的其中一個核心職能, 是對數據資產管理行使權力和控制的活動集合(規劃、監控和執行) ,指導其他數據管理職能如何執行,在高層次上執行數據管理制度。 DMBOK 1.0 數據資源 Data Resource 廣義上是指對一個企業而言所有可能產生價值的數據, 包括自動化數據與非自動化數據。wikipedia 數據資產
110、 Data Asset 是指由企業擁有或者控制的,能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源,如文件資料、電子數據等。在企業中,并非所有的數據都構成數據資產,數據資產是能夠為企業產生價值的數據資源。 DMBOK 1.0 參考數據 Reference 參考數據是用于將其他數據進行分類或目錄整編的數據, 通常來說參考數據值是幾個允許值之一(允許值的數據集是一個值域) 。在所有的組織中,參考數據幾乎都虛擬存在于整個組織的每一個數據庫中。 DMBOK 1.0 數據字典 Data Dictionary 是一種用戶可以訪問的記錄數據庫和應用程序源數據的目錄,用規范化的,無二義性的語言表
111、達數據流程圖的各組成部分,是對數據流程圖各個組成部分的詳細數據說明,也是表達新系統邏輯模型的主要工具之一。包括主動數據字典(active data dictionary)和被動數據字典(passive data dictionary),前者是指指在對數據庫或應用程序結構進行修改時,其內容可以由 DBMS 自動更新的數據字典,后者是指修改時必須手工更新其內容的數據字典。 DMBOK 1.0 數據目錄 Data Catalog 作為一種主動數據字典, 用以幫助用戶找到滿足自身需求的數據來源并且幫助他們 59 理解利用數據源進行挖掘的過程,同時也幫助企業在現有的數據源下實現更多的收益。多數關系型 D
112、BMS 產品將數據目錄設置為關系型表格的形式。wikipedia 數據血緣 Data Lineage 通常是數據生命周期的一種,包括數據的起源以及到當前位置的完整路徑描述,幫助用戶分析信息的使用過程并且追溯在每一個節點上有特定用途的信息。 DMBOK 1.0 血緣分析 Lineage Analysis 也即血統分析,是通過對數據處理過程的全面追蹤,從而找到以某個數據對象為起點的所有相關元數據對象以及這些元數據對象之間的關系。 它是對數據對象內在關系的一種映射,同時,還結合了時間順序、遞次關系,也能夠反映出一定的相關性和因果關系。wikipedia 影響分析 Influence Analysis
113、 不同于血緣分析(血統分析)通過回溯方式找到所有元數據對象以及這些元數據對象之間的關系,影響分析是基于某個數據對象,尋找依賴于該對象的處理過程或其他數據對象,并在某些數據對象發生變化或者需要修改時,評估其影響范圍。wikipedia 非結構化數據 Unstructured Data 用來描述具有高度可變數據類型和格式的任何數據 (尚未標記或記錄于行和列的數據) ,如文件、圖形、圖像、文字、報表、表格、視頻或錄音,具有數據格式多樣、數據冗余度高、數據規模大等特點。 DMBOK 1.0 數據倉庫 Data Warehouse 是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合用于支持管理
114、決策。 其主要功能是將組織透過資訊系統之聯機事務處理(OLTP)經年累月所累積的大量資料,透過數據倉庫理論所特有的資料儲存架構,作一有系統的分析整理,以利各種分析方法如聯機分析處理(OLAP)、數據挖掘(Data Mining)之進行,并進而支持如決策支持系統(DSS)、主管資訊系統(EIS)之創建,幫助決策者能快速有效的自大量資料中,分析出有價值的資訊,以利決策擬定及快速回應外在環境變動,幫助建構商業智能(BI)。 Building the data warehouse W. H. Inmon 數據集市 Data Mart 是企業級數據倉庫的一個子集,他主要面向部門級業務,并且只面向某個特定
115、的主 60 題,按照多維的方式進行存儲,包括定義維度、需要計算的指標、維度的層次等,生成面向決策分析需求的數據立方體。wikipedia 數據地圖 Data Mapping 數據地圖作為數據融合的第一步, 指在數據倉庫中使用一系列嚴格定義的數據連接不同的數據模型。數據定義可以為任意的原子單位,比如一個單位的元數據,而數據的連接遵從一系列依賴于該模型閾值的標準。wikipedia 數據湖 Data Lake 數據湖是以其自然格式存儲的數據的系統或存儲庫,通常是對象 blob 或文件。 數據湖通常是企業所有數據的單一存儲,包括源系統數據的原始副本,以及用于報告、可視化、 分析和機器學習等任務的轉換數據。 數據湖可以包括來自關系數據庫 (行和列)的結構化數據,半結構化數據(CSV,日志,XML,JSON) ,非結構化數據(電子郵件,文檔,PDF)和二進制數據(圖像,音頻,視頻) 。wikipedia