愛數:全域數據治理白皮書2022(62頁).pdf

編號:81337 PDF 62頁 3.56MB 下載積分:VIP專享
下載報告請您先登錄!

愛數:全域數據治理白皮書2022(62頁).pdf

1、 1 / 63 2 / 63 目 錄 全域數據治理的必要性 . 7 1.1 全域數據治理的市場動因與主要挑戰 . 7 數據資產安全艱巨挑戰 . 7 數據治理能力困局 . 9 數據治理 ROI 提升 . 10 1.2 什么是全域數據治理 . 12 1.3 全域數據治理規劃 . 13 結構化數據治理規劃 . 14 非結構化數據治理規劃 . 15 機器數據治理 . 15 結構化數據治理 . 17 2.1 結構化數據治理概況 . 17 2.2 結構化數據治理的挑戰 . 17 多業務系統多數據源整合挑戰 . 18 業務迭代發展帶來的持續治理挑戰 . 18 主流數據治理的問題總結:被動式的數據治理 . 1

2、8 2.3 以業務為導向的即時數據治理服務 . 19 數據架構與數據治理相互促進 . 21 Data Fabric 架構 . 21 基于 Data Fabric 架構的業務建模與治理起點 . 23 3 / 63 以業務為導向的即時數據治理流程 . 27 2.3.4.1 業務梳理與數據治理 . 28 2.3.4.2 新業務開發與即時數據治理 . 29 結構化數據的資產與安全合規評估 . 29 2.4 業務導向的數據治理優勢和價值 . 30 結構化數據治理展望 . 30 非結構化數據治理 . 32 3.1 非結構化數據的特征與應用場景 . 32 3.2 非結構化數據的安全挑戰 . 33 3.3 以

3、中臺方案為基礎的即時數據治理 . 34 3.4 非結構化數據的資產分類治理 . 34 非結構化數據資產治理的業務挑戰 . 35 如何對非結構化數據進行分類治理 . 36 3.4.2.1 非結構化數據的特征分析模型 . 36 3.4.2.2 非結構化數據的分類方法與過程 . 36 數據資產分類示例 . 37 3.5 非結構化數據的安全合規治理 . 38 生物醫藥行業的安全合規治理 . 38 汽車制造行業的安全合規治理 . 38 非結構化數據安全合規的治理要點 . 39 3.5.3.1 安全合規治理的框架 . 39 3.5.3.2 安全合規治理的組織與制度保障 . 40 4 / 63 安全合規治理

4、帶來的價值評估 . 40 3.6 非結構化數據的知識治理 . 41 知識管理建設面臨的諸多挑戰 . 41 組織如何規劃知識管理 . 41 3.6.2.1 知識管理的目標是改善組織業務生產力 . 42 如何圍繞知識戰略開展知識治理 . 43 3.6.3.1 知識治理的主要內容 . 43 3.6.3.2 領域知識網絡提升知識治理效率 . 44 通過知識治理提高知識運營效率 . 44 3.7 非結構化數據的資產保留治理 . 45 非結構化數據資產保留的業務場景 . 45 非結構化數據資產保留的治理 . 45 3.8 非結構化數據治理為組織生產力賦能 . 46 機器數據治理 . 47 4.1 什么是機

5、器數據 . 47 4.2 機器數據治理概述 . 47 以中臺方案為基礎的即時數據處理 . 47 機器數據治理的價值 . 48 4.3 加強合規與審計 . 48 合規與審計面臨的挑戰 . 48 通過機器數據治理解決合規與審計問題 . 49 機器數據治理對合規與審計的價值 . 50 5 / 63 4.4 提升運維效能 . 50 運維管理面臨的挑戰 . 50 通過機器數據治理提升運維效能 . 51 機器數據治理對運維管理的價值 . 52 4.5 助力業務運營 . 52 業務運營面臨的挑戰 . 52 通過機器數據治理助力業務運營 . 52 機器數據治理對業務運營的價值 . 53 4.6 機器數據治理賦

6、能組織價值 . 54 第 5 章 全域數據治理加速數據驅動 . 56 5.1 從數據治理轉變為業務洞察力 . 56 5.2 為 CXO 提供數據治理的支持 . 56 5.3 數字生態建設 . 57 5.4 數據驅動文化打造 . 58 全域數據治理的十大關鍵 . 61 6 / 63 文檔信息 材料名稱: 全域數據治理白皮書 版本控制:V1.0 版 2022-06-18 關于本書 全域數據治理白皮書分為 6 個章節組成,將探討: 第 1 章 全域數據治理的必要性 第 2 章 結構化數據治理 第 3 章 非結構化數據治理 第 4 章 機器數據治理 第 5 章 全域數據治理加速數據驅動 第 6 章 全

7、域數據治理的十大關鍵 首先,假如您是組織中負責數據管理和治理的人。也許你是首席信息官(CIO) 、首席合規官(CCO) 、首席數據官(CDO) 、數據保護官(DPO)或首席信息安全官(CISO) ;再或者,您可能是組織的一員,負責客戶或用戶服務,亦或是 IT 經理或架構師。 如果您發現自己讀完這本書后仍在思考, “我從哪里可以學到更多?”請訪問 https:/ 7 / 63 全域數據治理的必要性 1.1 全域數據治理的市場動因與主要挑戰 數字化轉型正在顛覆全球各地的業務。大多數組織已建立自身的數字化戰略,對準業務戰略目標并結合最新的先進技術進行數字化轉型。數據已成為組織接觸客戶、開展營銷活動、

8、留住客戶等業務活動中最重要的戰略資產。組織期望利用高質量的數據,一方面驅動優化運營效能,另一方面驅動業務的創新。數據戰略已成為打造數據驅動型組織重要因素。 數據資產安全艱巨挑戰 隨著數據量指數級增長,嚴格的監管環境,網絡威脅(包括勒索病毒攻擊)的頻繁發生,以及兼具競爭力和創新性的黑馬不斷顛覆市場,保護組織最具戰略意義的數據資產安全并從中提取價值是業務發展的當務之急,也是一項十分艱巨的挑戰。 如果說組織需要某種激勵來嚴格管理數據,那就是法規遵從。因未能遵守嚴格監管要求而產生的成本勢必會迅速增加,包括罰款、外部訴訟與和解費用等法律成本,以及聲譽損害和業務損失。 國際上以歐盟(EU)通用數據保護條例

9、(GDPR)為例,該條例要求處理歐盟公民數據的公司遵守嚴格的數據隱私法規。不遵守 GDPR 的組織將面臨高達其全球年度營業額 4%的處罰。國內中華人民共和國個人信息保護法 、 中華人民共和國數據安全法等法律對數據保護也做出了相關規定。由于潛在的懲罰如此嚴重,許多組織都在大力投資合規落地計劃,有些組織甚至將安全合規能力視為一項關鍵的競爭優勢。 然而,許多因素使得組織越來越難以遵守多個垂直行業中日益增多的法規要求。比如,全球性銀行在任何時候都要遵守 100 多種不同的監管規定,其中包括證券交易委員會(SEC)法規、多德-弗蘭克法案、歐盟 GDPR 和金融工具市場指令(MiFID)等。CIO 和 I

10、T 主管正準備迎接另一項新的銀行業法規:修訂后的支付服務指令(PSD2) ,該指令允許消費者和組織使用第三方提供商(如Google 或 Facebook)來管理財務、支付賬單或分析消費。這對歐盟銀行業的影響是非常顯著的它們將被要求允許第三方提供商通過應用接口(API)訪問客戶賬戶。因此,由于新的安全要求(如更強的身份檢查和 API 開發) ,IT 成本可能會隨之增加。 數據生產者和消費者越來越多,跨越不同系統的數據也越來越多,這讓問題變得更加復雜。在2017 年的一項研究Data Age 2025: The Evolution of Data to Life-Critical中,IDC 預測,

11、到 2025 8 / 63 年,全球數據將增長到 163ZB(萬億 GB 字節) 。而在“數字宇宙”研究中,IDC 估計,全球只有0.5%的數據實現了分析,不到 20%的數據得到了適當保護。 立法和新法規頒布的速度也超過了現有 IT 基礎設施投資的能力和新應對方案所需的預算。例如,為滿足法規必須存儲敏感數據的時間長度可能會超過現有架構的物理能力,因此,許多 IT 領導者過度實施數據控制流程,這不僅扼殺了創新力和生產力,還阻礙了適應監管環境變化所需內在靈活性。例如在合規及監管要求較高的金融行業,因合規及監管導致內部數據應用限制較多。 在每一個新法規或修訂法規下,應用程序、人員、流程、系統和現有技

12、術之間的差距不斷擴大,暴露在風險中的可能性也將不斷增加。 組織及其數據也在不斷受到威脅。美國司法部統計,美國每天會發生 4000 多起勒索病毒攻擊。在全球范圍內,這些攻擊與上一年相比增加了 60 倍。然而,正如最近的攻擊所表明的那樣,勒索軟件是一個全球性問題。2020 年,全球因勒索軟件造成的總損失高達 25 萬億美元,高額的收益讓更多的犯罪者趨之若鶩。 當然,不是所有數據安全威脅都是由外部人員惡意造成。IT 管理者還必須維護數據的完整性,防止數據被意外損壞或徹底刪除,或被某些不可預見的宕機事件破壞。 對于 IT 部門來說,經常進行數據備份和安裝最新的殺毒軟件可以最大程度降低來自勒索軟件攻擊、

13、意外刪除、系統損壞或宕機造成的潛在損害,但這還不夠。 信息安全和身份管理解決方案可以幫助防止未經授權的訪問,但數據安全必須從組織的核心擴展到每個入口。例如,金融機構可能會遵守法規,但一旦該機構允許通過客戶的個人設備進行交易行為,就會引入一個新的入口,并增加遭受攻擊的風險。 復雜的監管和隱私安全要求組織實現數據全生命周期管理,由于存在數據孤島組織忽視了對非/半結構化數據的安全及治理。為了應對這些數據治理挑戰,組織必須捕獲、控制和利用日益增長的數據,帶來具有競爭力的洞察,為新產品開發提供支撐,并能更深入地了解客戶。然而,許多業務和技術領導者普遍被以下問題困擾: 哪些數據對組織來說有業務價值的? 這

14、些數據是否受到保護? 數據應該保留多長時間? 能否快速準確的定位和獲取數據? 9 / 63 誰可以擁有訪問權限? 數據背后包含什么價值? 數據是否可信,準備度如何? 如何利用這些數據來產生競爭優勢? 數據治理能力困局 組織的數據隨著數字化轉型的幾波浪潮下,已深度覆蓋組織的不同業務域。如對于政府而言數字化的業務領域主要是政務云、政務辦公和智慧應用。對于企業單位而言涉及研發、生產、營銷、管理等方方面面。高校主要涉及教育、學工、科研、綜合管理等。醫療行業主要為科研、臨床、采購、管理領域。 數字化轉型逐步進入深水區,全域數據能力成為組織核心競爭力。以全域數據能力驅動組織轉型、數字創新以及打造新的商業模

15、式已經成為各地組織的共識,各領域的組織期望擁有全域的數據能力,加速數據的流通,提升數據賦能業務價值、提升安全合規能力等。在構建數據能力行動中,組織優先關注以下幾個維度事項。 1. 數據文化,推動組織升級,持續行業領先 2. 全域數據應用,打造全新商業模式 3. 知識共享,基于全域數據彌補認知誤區催生數字創新 4. 客觀數據應用,助力組織快速使用市場變化,實現卓越運營 圖 1 數據來源:2022 年 6 月 Forrester Consulting 進行的中國數據中臺調研 10 / 63 通過國內外多家權威咨詢機構行業洞察報告,百余家大型組織 CEO 和決策者訪談,結果顯示組織經營活動實踐中期望

16、數據驅動提高運營質量、提升組織運營效率、整體精準控制組織運營成本等目標,但在業務實踐應用中時常遇到三大困局:缺數據、缺能力、缺乏工具。 缺乏全域數據:將無從支持業務價值。特別是研發、生產、營銷、客流、交易等有價值的數據都被忽略或者無法采集,也無法通過分析提升運營效率、改善營銷方式。 缺乏數據治理能力:無法分析業務。數據孤島阻礙了數據資產的開發。數據的孤島基本是老大難問題,離開業務來談數據價值是沒有太多價值的,需要基于業務和數據即時治理、數據的關聯能力來分析支持業務。 缺乏工具:無法優化業務。在數據進行分析之后,許多組織還是沒有辦法找到那臨門一腳的方式,沒有辦法解決他的實際問題。真正缺乏的并不是

17、數據,而是高質量的數據以及缺乏由數據支持的工具來解決他們的實際問題。缺乏適當的技術、平臺及合作伙伴支撐分析利用全域數據。 數據治理 ROI 提升 在過去,一個組織提高效能的驅動力主要來自積極降低成本、強勁的固定收益表現等等,但隨著業務快速發展、行業更新迭代,疊加上今年突如其來的疫情影響,數字化轉型的高壓下,大部分組織開始積極探索新的應對策略。當下組織數字化轉型趨勢是“數據”引領業務變革,數據治理成為大勢所趨,如何做好數據共享和數據驅動、如何發揮數據資產價值最大化,“全域數據治理”是問題的切入點。 數據治理對每個組織都是一項很大的挑戰,據 Gartner 的一項調查顯示,超過 90%的數據治理項

18、目都失敗或者 ROI 不理想!為什么會有這么多數據治理項目不及預期?下面我們羅列部分導致數據治理項目 ROI 不達標的因素。 一、 缺乏明確的目標 缺乏清晰的戰略以及對不同類型數據價值的認知影響組織轉型。項目藍圖設定的目標缺少某一個業務單元近期落地的目標,多數情況下目標定得很大、很泛、不聚焦,不考慮目標可實現性和可衡量性,例如:目標就是解決組織的所有數據質量問題。 業務單元和數據治理項目團隊相關人員對數據質量目標的定義和理解沒有達成共識,存在分歧的情況下就開始實施治理。只從技術角度考慮怎么治,不考慮為什么治?為了治理而治理! 二、 分工混亂、權責不明 11 / 63 組織內部對誰有數據的擁有權

19、,誰有數據的使用權,誰有數據的管理權等職責沒有清晰的定義,人人都自稱對數據質量負責,但實際上數據管理十分混亂、大量重復,真正出現問題后相互推諉,沒有人愿意負責。 讓 IT 人員去關注數據質量的定義和趨勢,分析并確定數據質量問題的根本原因,這是誤區認知。 三、 高層管理者關注不足 高層管理者對數據治理認知程度不高,將數據治理和數據管理混為一談,認為數據治理就是 IT部門或者是 DBA 的事,IT 團隊就能搞定了,不需要高層領導過多的參與和關注。高層管理者天天高喊“數據是資產、治理很重要,要大力支持”等口號,但沒有實質的行動。數據部門不能被完全賦權,或者安排一個毫無影響力的小部門去負責,這都不太可

20、行。遇到跨部門協調,各部門嘴上答應一定好好配合,實際執行中還是我行我素,什么數據標準、數據規則,遇到強勢的業務就得給業務讓路、開綠燈,導致數據治理策略形同虛設。 四、 缺乏數據治理人才 將數據治理和系統管理混為一談,讓 IT 系統管理員對數據的質量負責。這就好比讓修自來水管道的對自來水的水質負責一樣不靠譜。認為數據質量管理都是 IT 人員的事,懂算法、懂模型、懂編程就夠了。事實上,數據質量團隊必須具有業務分析思維、對業務流程足夠了解才能做出正確決策,如果不能理解業務也可能無法理解錯誤數據的影響。 五、 缺少共創型數字伙伴 當前多數組織期望成為數據驅動型組織,但在實踐中發現缺乏從頂層規劃開始、自

21、上而下的中臺戰略,同時缺少針對不同業務領域打造認知智能模型的能力,這要求組織既具有復雜的技術能力,也需要對行業知識和業務場景有深刻的理解。解決這些問題的最佳實踐是需要由甲方業務專家和行業領先技術專家共同組織伙伴團隊,通過共創的活動來實現“全域數據治理”最終的目標,但實踐中發現,多數組織還需要提升或加強這樣的認知。 為提升全域數據治理ROI,組織需要優化業務流程,加強技術探索,開展端到端的全生命周期數據管理等更多舉措齊頭并進。 1. 提供即時數據處理端到端的監控能力 2. 與前臺、后臺實現緊密協作,實現全局洞察 12 / 63 3. 建立統一的數據視圖及智能數據目錄 4. 建構智能數據服務系統,

22、實現對全域數據的處理以及利用 5. 推進數據資產化,通過數據清洗、制定標準規范和管理 6. 將結構化的數據轉變為易于理解的標簽 7. 對各種類型數據納入統一的數據安全管理體系 8. 建立密切貼合業務場景的標簽管理體系 9. 端到端全生命周期數據質量管理 10. 通過將數據治理固化到業務流程中,實現即時治理 1.2 什么是全域數據治理 組織的數據大多分布在不同業務域、園區、甚至跨地域存儲,數據存在的格式也是多樣性的。分為結構化數據、非結構化數據、機器數據等。結構化數據指的是數據在一個記錄文件里面以固定格式存在的數據。 它通常包括 RDD 和表格數據。非結構化數據是數據結構不規則或不完整,沒有預定

23、義的數據模型,不方便用數據庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、XML, HTML、各類報表、圖像和音頻/視頻信息等等。機器數據是指由日志文件和時間序列等組成的大數據,包括日志數據 logs、指標數據 metrics 和調用鏈數據 traces。對于高速發展的組織而言,數據的多樣性和復雜性已成為不爭的事實。針對這些存儲分散、類型多樣、權限復雜的全域數據現狀,如何有效管理,使其能夠釋放價值提升組織生產力和競爭力,已經成為組織數字化轉型路上優先解決事項。 全域數據治理,是組織戰略管理部門發起并推行的,關于如何制定和實施針對整個組織內部所有業務域數據的商業應用和技術管理的一系

24、列政策和流程。全域數據治理是一套持續改善管理機制,通常包括了數據架構組織、數據模型、政策及體系制定、技術工具、數據標準、數據質量、影響度分析、作業流程、監督及考核等內容。 全域數據治理是以服務組織戰略目標為基本原則,通過組織成員的協同努力,流程制度的制定,以及數據資產的梳理、采集、清洗、可視化管理和多維度分析,實現數據資產價值呈現、業務模式創新和經營風險控制的過程。 全域數據治理可以幫助組織更好地管理其組織數據的實用性、可用性、完整性和安全性。借助正 13 / 63 確的技術,全域數據治理還可以帶來巨大的業務價值并支持數字化轉型?;诮M織數字化戰略、打造數據驅動型組織。 在最基本的層面上,數據

25、治理即控制數據并確保其安全。成功的數據治理需要清楚數據的位置、來源、訪問權限以及包含的內容。有效的數據治理是維持業務合規性的先決條件,無論這種安全合規是自發的,還是行業或政府強制要求的。 合規性通常會增加數據治理的復雜性,要求能夠正確搜索數據,了解其中包含的每個文字或數字,并在面對任何數據需求時快速、準確地生成正確的數據源。 對授權人員而言,還可以通過數據的質量、準確性和可用性來判定組織是否滿足或違反嚴格的監管要求。 數據治理超越了信息管理中業務流程的支持,它包含一系列廣泛的數據策略和功能,包括: 數據交付和訪問:與數據存儲、檢索和處理相關的任何操作。 數據完整性:確保數據的真實性、準確性和數

26、據質量。 數據血緣關系:管理數據的來源、變更以及軌跡。 數據安全防泄密(DLP) :確保敏感數據不會發送到公司網絡之外,讓數據在可控范圍之內。 數據安全:防止未經授權的訪問或數據損壞。 數據同步:建立數據類型的一致性。 主數據管理 (MDM):用于定義、治理和管理數據的流程、策略、標準和工具的完整集合。 1.3 全域數據治理規劃 如今全域數據治理作為各領域組織數字化轉型的基礎,成為了各地組織數字化變革中的焦點和主戰場,數據治理核心內容是阻止數據孤島蔓延,打破組織中結構化數據、非結構化數據、機器數據孤島,實現數據的即時共享與利用。以全域數據能力,重塑組織生產力,全面提升數據質量及可訪問性。 關于

27、實施戰略規劃,建議以中臺思路展開全域數據治理藍圖設計。在各業務域系統網絡中構建多個中臺方案,對組織經營活動的所有數據,進行全域數據治理,實現全業務域的數據驅動。全域數據治理框架如下圖所示,分別構建結構化、非結構化、機器數據治理藍圖。 14 / 63 圖 2 全域數據治理框架 數據治理是組織對數據的可用性、完整性和安全性的整體管理,治理的目標是提高業務運營效率,提升組織決策能力和核心競爭力。目前數據治理多數由數據部門負責,以數據為核心開展數據治理工作,強調數據合規和數據落標,以治理了多少數據為 KPI 指標,當業務發生變化時需要重復開展數據治理工作。 在組織保障、體制機制、數據戰略同步建設的同時

28、,我們提出以業務為核心開展數據治理工作,從業務規劃開始就進行標準前置判定,業務迭代牽引治理規則的改變。從源頭開始控制,以助力業務發展為目標,將數據治理工作貫穿業務發展的全過程,實現數據的長治久安。 結構化數據治理規劃 組織內各業務域輸出海量異構結構化數據,應以業務為導向開展即時數據治理服務。充分應用行業領先技術通過 Data Fabric 架構實現數據資產化,以領域知識網絡賦能智能應用,重塑組織生產力。結構化數據治理堅持以全域數據戰略引領,設計具有高度前瞻性的全局業務框架支撐未來高速發展的業務新模式、新業態。 在全域數據戰略的指引下,結構化數據治理框架應包含但不限于: 1. 安全法規遵從(國際

29、國家法規、國內法、行業標準規范、組織內部管控) 2. 增強數據安全目錄 15 / 63 3. 數據資產圖譜 將其作為結構化數據治理指導方針,設計基于新一代的 Data Fabric 架構、業務認知框架為參照標準,并持續更新的組織數據資產圖譜,持續通過業務梳理活動,指引數據治理和新業務開發,最終把組織之間、業務域之間、業務域與數據池、跨域數據連接起來,實現組織范圍內全部數據高質量即時治理和即時業務服務。 非結構化數據治理規劃 基于行業最佳實踐,大部分組織采用中臺方案,通過數據資產化、數據知識化及立體安全策略對海量非結構化數據科學治理使其發揮最大價值,滿足業務發展的實際需要。在初始階段對數據進行全

30、面梳理、全局設計、甲乙雙方項目團隊基于行業最佳實踐指導來開展治理工作,最終實現數據驅動運營和數據驅動創新,整體治理規劃需堅持三個原則: 以中臺方案為基礎:打破數據孤島、為不同業務場景賦能。 即時治理:數據在生成或導入進入組織內部時即已在治理框架下。 AI 驅動:利用自然語義分析、圖像識別、語音識別、領域知識網絡等技術全程賦能數據治理。 非結構化數據治理規劃分為如下幾個維度執行落地: 非結構化數據的資產分類 非結構化數據的資產保留 非結構化數據的安全合規 非結構化數據的知識治理 機器數據治理 組織內部海量機器數據的治理要以業務需求為導向,以中臺架構為基礎,以領域認知智能為技術底座,將組織內部各業

31、務域機器數據進行匯聚、整合與治理,開展可觀測性能力建設,對機器數據進行分析處理,快速消除組織業務運營與管理中遇到的問題,提升業務運維效能、助力業務運營分析、加強合規與審計,以數據驅動運營,建立數據驅動型組織。 機器數據治理戰略規劃需按以下幾個維度進行,但不限于此。 16 / 63 法律法規遵從,機器數據治理優先考慮發國家法律、行業法規、組織規范的遵從。 業務智能運維提效, 以組織戰略目標為出發點, 按多場景運維需求, 實現統一的運維分析與管理。 助力業務運營, 通過對機器數據的治理, 可以充分挖掘數據中的業務價值, 保障業務系統穩健運行,提升運營效能,提升客戶體驗。 17 / 63 結構化數據

32、治理 2.1 結構化數據治理概況 結構化數據也稱作行數據,是由二維表結構來邏輯表達和實現的數據,嚴格地遵循數據格式與長度規范,主要通過關系型數據庫進行存儲和管理。 結構化數據是現有結構再有數據,結構本身意味著業務關系和邏輯,但是每個業務系統和流程都有相關的對象、關系和邏輯,所以業務系統和流程復雜的情況下,結構化數據的管理難度就很高,數據之間往往是錯綜復雜的蜘蛛網。所以,結構化數據管理的分類也比較多,包括基礎數據、主數據、事務數據、報告數據、觀測數據、規則數據。 結構化數據的共同特點是以業務架構為基礎,建立統一的數據資產目錄、數據標準與模型。結構化數據治理主要涉及數據提供方(業務部門) 、數據使

33、用方(業務部門) 、數據管理方(IT 部門/數據部門) 、數據運營方(數據治理等服務提供方) 。目前數據治理工作的開展主要以運營方為政府和企業客戶基于數據治理產品或工具提供數據治理服務的方式進行。 當前主流數據治理平臺主要包括元數據管理、數據標準管理、數據質量管理、數據集成管理、數據資產管理、數據安全管理、數據生命周期管理等模塊。 元數據管理主要包括元數據采集、血緣分析、影響分析等功能; 數據標準管理包括標準定義、標準查詢、標準發布等功能; 數據質量管理包括質量規則定義、質量檢查、質量報告等功能; 數據集成管理包括數據處理、數據加工、數據匯集等功能; 數據資產管理:包括數據資產編目、數據資產服

34、務、數據資產審批等功能; 數據安全管理包括數據權限管理、數據脫敏、數據加密等功能; 數據生命周期管理包括數據歸檔、數據銷毀等功能; 2.2 結構化數據治理的挑戰 結構化數據治理基本上涵蓋了企業所有業務有關的數據,因此在數據治理過程中,應該圍繞著企業數字化的戰略目標進行分解,以核心業務、核心流程、核心系統進行數據的治理,形成以業務為中 18 / 63 心的數據資產體系。 從企業的數據戰略來看,數據治理首先是管理問題,其次才是技術問題。只有保證業務戰略清晰、核心業務流程清晰,業務系統建設運行良好,才能形成數據的可用性、一致性、完整性、合規性、和安全性,確保在整個數據生命周期中,都具有較高的數據質量

35、,才能進一步通過數據運營、數據應用幫助企業實現數據資產管理、發現內部數據問題、發掘數據價值,進而實現企業數據資產的盤活和有效利用。 多業務系統多數據源整合挑戰 對于中大企業或者政府,在數據治理實踐過程中,由于歷史的原因,之前各部門獨自建設系統,形成數據孤島、煙囪林立。近年來,設立大數據或政務服務數據管理部門后以數據大集中建設為主,但對多部門數據按照統一標準進行深度融合治理以及長期有效的貫徹執行難度大、周期長、效果不明顯,數據質量仍有待進一步提升。 業務迭代發展帶來的持續治理挑戰 在不同的行業發展中,以互聯網行業為例,業務迭代非常迅速,通常存在首發版本的數據質量最優,1.1 版本不行,2.0 版

36、本完全不可用的說法,說明第一次做數據治理時,極重視數據質量,會有完善的流程來保證埋點的準確性,本身也沒有太多的包袱;而在后續的產品迭代中,如果流程和標準的迭代相對滯后,整個數據治理的結果也會隨著受影響,最終導致整個數據質量低劣,直至完全不可用,持續的業務迭代必須持續使用流程和標準的更新為基礎。 主流數據治理的問題總結:被動式的數據治理 當前主流數據治理面臨的主要問題是數據治理形成的數據資產質量不高、數據與業務脫節。 通過調查發現,當前主流數據治理從根本上來說都是先有業務,再有治理,也就是治理是對現有業務結構的一個反映過程,可以稱之為被動式數據治理。它的典型特征就是業務開發階段業務部門主導,數據

37、治理階段 IT 部門主導(或者數據部門主導) 。當然,這基本上符合當前主流的業務開發和數據治理的現狀。 19 / 63 圖 3 業務部門主導 VS IT 部門主導 產生這些問題的主要原因是: 1、現有業務是各業務部門主導的、局部性的設計,往往從源頭開始就弱化或者忽視了部門業務與數據戰略的連接,所以,業務部門和業務部門之間的對同一對象、同一業務術語的表達往往是不同甚至是背道而馳的,通過事后的被動式數據治理,通常很難解決這個問題。 2、很多組織缺乏清晰的、匹配業務戰略的數據戰略,各部門的業務流程、數據結構往往缺乏全局性的指引和標準約束。 3、在當前主流的數據治理平臺中,最大的問題也是缺乏了對業務架

38、構、業務對象、業務關系的系統性支持,從元數據管理角度,往往只見樹木不見森林。 2.3 以業務為導向的即時數據治理服務 離開業務談數據是沒有意義的,數據治理沉淀的是業務的數據資產,最終目的是服務于數字化的運營和創新,這是數據驅動型組織的基本要義。 結構化的數據雖然隨業務產生的、有結構的數據,但是實際上,如果實踐中,各業務部門各自為政、水平參差不齊,僅僅在事后治理,數據與數據、數據與業務對象往往是割裂的,從單個業務看,數據都是結構化的,從整個業務的關聯性看,都是孤島。所以,大量數據往往不是有價值的業務資產,而是不斷下沉的“債務” 。 20 / 63 所以,根本點在于要建立起以業務為導向、系統性的數

39、據治理體系,應該有數據戰略統一指引,基于數據架構,在業務側即時的治理、在應用中持續治理的數據治理體系。 整個數據治理應該是數據戰略引領的,是反映全局業務框架的: 1、構建起一個組織的全局性業務認知模型,建立起戰略級別的業務模型,從而實施業務層面的融合。 2、基于業務整體認知框架,指導業務協同,分布優化業務。持續更新數據資產知識網絡; 圖 4 數據戰略引領的數據治理 與之前的業務開發和數據治理相互獨立或者割裂相比,新的數據治理是即時性和協作性的模式,對于一個新的業務或者新的數據分析: 1、業務部門仍然主導業務,但是業務部門需要圍繞核心業務流程、業務表、核心業務字段與架構團隊對齊,在業務側進行即時

40、數據治理; 2、IT 部門仍然主導數據治理,但是需要在業務開發過程中即配合進行數據治理,同時提供數據服務; 新增架構團隊主導業務與數據協同,這個團隊是虛擬的,可以是數據治理團隊中的架構師團隊,負責核心業務流程、規則、核心業務對象、業務表和業務字段的約束和指導。 21 / 63 數據架構與數據治理相互促進 通常,主流的結構化數據治理通過大數據平臺或者數據中臺作為技術支撐,但是,實際上,數據治理的范圍是超過數據中臺的,需要有一個數據架構來把業務和業務、業務和數據、數據和數據連接起來,它是全范圍的,無論是業務系統側、結構化數據中臺還是新的業務與分析應用,都會涉及到數據的即時治理和即時服務。 圖 5

41、數據架構與技術 通過上圖,我們看到,數據架構與數據治理是相輔相成的,協同作用非常重要。數據架構是數據治理的指引,數據治理是數據架構落地的服務化路徑。數據治理不僅僅是技術,更是服務,它涉及的范圍更廣,涵蓋了組織、人員和流程,而且非常重要的是創造了一種數據驅動的文化。 實施數據架構的主要目的是標準化方法和協議,以及用于在整個組織中獲取、存儲、管理和共享數據的系統,以改進決策制定。在現代企業中,大多數決策都是實時做出的,為了促進高效且實時友好的數據管理基礎架構,數據架構為組織數據管理奠定了基礎或底層藍圖。 與結構化數據中臺提供的技術工具不同,以業務為導向的即時數據治理,需要的數據架構更是一種數據管理

42、思想,是一種以業務為中心的數據資產網絡。以業務認知模型,構建全局性的數據資產知識網絡,為即時的數據治理提供技術支撐。 Data Fabric 架構 Data Fabric 架構作為一種全新的、囊括所有形式的數據架構,被越來越多的企業用于解決數據資產多樣性、分散性、規模和復雜性不斷增加帶來的一系列問題。 ? 22 / 63 圖 6 Data Fabric 架構 Data Fabric 是一種全新的數據架構,也可以叫做數據資產編織架構,它是一種面向業務、全面連接的數據架構: 1、它是廣泛連接的數據架構,支持各類數據源,包括業務源端、數據倉庫、數據湖、云存儲、非結構化數據等等; 2、它以數據資產為中

43、心,以業務為導向,構建數據資產知識網絡,支持即時數據治理; 3、它是全局性、可編織的業務底圖,支持業務對象建模、領域知識網絡構建、業務對象關聯性搜索和驗證測試; 知識圖譜是 Data Fabric 的重要支撐,是連接業務與業務、業務與數據、數據與數據的關系的核心表達。如下圖,表達了 Data Fabric 的知識資產圖譜構建、業務編織與數據運營框架。 ? ?SED?J? ?ED?ED?RI?EDM?CW?TP?CWL?BCW?O?ED?F?EDXN?/?/? 23 / 63 圖 7 Data Fabric 的知識資產圖譜構建、業務編織與數據運營框架 第一步:構建增強的數據目錄?!霸鰪姟睌祿夸?/p>

44、使用 AI/ML 連接到不同的數據源和目標,抓取元數據并創建數據資產清單。這允許業務用戶查找、標記和注釋數據資產,并通過數據目錄工具中包含的掃描器/連接器提供數據的關系。 第二步:構建數據資產知識網絡,這個圖譜的模型首先是以業務為導向的,圍繞著業務認知模型(模型的模型)建立核心業務對象模型(核心對象、核心屬性、核心系統、核心業務表、核心業務字段) 。 第三步:持續的捕獲元數據變化,對這些元數據進行關聯分析,以便相關數據目錄能夠對齊和連接到核心業務對象。 第四步與第五步:以元數據變化來識別活躍的業務對象,結合業務對象的數據表、業務字段為上層提供數據準備; 第六步:業務編織和數據運營,根據業務需要

45、,提供可組合的數據服務,包括傳統的數據 API、數據集給到上層,同時也可以提供以業務對象圖譜為中心的領域知識網絡服務給到數據消費場景。 在 1-3 步,通常會發現數據質量問題,可以同步進行數據治理,同時,也可以圍繞業務對象進行數據資產評估分析,以此評估業務流程或者業務系統的優化方向。 基于 Data Fabric 架構的業務建模與治理起點 Data Fabric 架構是也業務導向的數據架構,它形成的是一個系統性、動態的數據資產知識網?P?/?M?A?M?/?654321?LI?M?/?LI? 24 / 63 絡?;?Data Fabric 架構的數據資產管理及治理流程是一個系統循環,如下圖:

46、 圖 8 數據資產管理及治理流程是一個系統循環 第一步:為組織建立業務認知模型,這個過程也叫做業務建模過程,需要業務專家和領域建模專家參與; 第二步:對現有核心業務流程、系統和核心數據進行治理,形成基礎庫和核心主題庫; 第三步:圍繞業務認知模型,通過數據治理形成的元數據,并以業務為中心,基于數據資產知識網絡的已有數據和用戶交互,形成增強數據目錄(信息資源目錄) ,通過機器學習將相關元數據連接到核心業務對象,形成數據資產知識網絡的底圖(數據底圖) 。 第四步:新的業務系統、或者現有業務流程/系統升級,遵循即時數據治理的方法,圍繞核心業務流程、業務表、核心業務字段與業務認知模型的核心對象對齊,在業

47、務側進行即時數據治理。 業務認知模型的構建,是關鍵的步驟,也是數據治理的起步。如下所示: ?/?/?Data Fabric1234 25 / 63 圖 9 業務認知模型的構建 對于業務框架,有兩個關鍵環節: 第一個環節是組織的整體業務建模(具體的業務對象模型與整體業務模型區別開來,這個也叫做業務認知模型) ,基于組織的價值創造流程識別,比如對于大多數的企業組織,波特價值創造模型基本上就可以形成對企業的認知模型。如下圖,是一個通用的企業認知框架。 圖 10 基于波特價值創造理論的企業認知框架 如下圖,基于數字孿生的理念,形成智慧城市的時空認知模型: ?or ?+?/?/? 26 / 63 圖 1

48、1 基于數字孿生的智慧城市時空認知框架 第二環節是對業務認知模型的評估,這通常是核心的數據治理起點,這個評估主要是圍繞核心業務對象開展: 評估核心對象的核心業務流程是否穩定,是否有系統承載,系統是否成熟? 評估核心對象的數據采集、治理是否標準,數據質量如何? 評估核心對象的數據歸集更新、變化是否得到有效的管理? 通過這個評估,一方面是可以知道業務職責流程/系統優化,另一方面是可以評估數據資產情況,指導數據治理。 如下圖,展示了智慧城市認知框架的評估。 圖 12 一個智慧城市認知框架評估表 ?B?I?M?B?B? ? ? ? ?-?D?D?4?-?-?-?X?-?X?A?-?A?4?A?4?A?

49、4?0?-?A?0?-?A?-?8?0?-?A?-?-?2?2?A?7?A?-?-?A?X?X?2?X?-?A?-?X?/?X? ?X?X?X?X?X?-?X?5?-?A?-?-?7?-?7?1?C?-?C?7?C?-?7? ? 27 / 63 以業務為導向的即時數據治理流程 對于任何一個新的業務系統,以業務為導向的業務邏輯如下圖所示: 圖 13 以業務為導向的業務邏輯 一方面是業務系統的業務梳理,通過業務梳理,明確業務流程、業務表單、業務標準和業務統計方式。一方面是業務的數據架構,他們之間是直接匹配關系: 業務表單代表業務輸入和輸出,對應數據結構(業務數據表) ; 業務流程對應數據表之間的關

50、系; 業務標準對應數據標準; 業務統計對應數據分析規則; 所以,對于業務的數據治理遵循以下基本流程: 圖 14 業務數據治理遵循以下基本流程 ?/?123 28 / 63 第一步,業務梳理,由業務運營團隊(或者數據治理團隊的架構師兼任) ,主要活動是業務調研,通過業務調研梳理形成業務流程、業務表、標準表和統計表; 第二步,通過業務流程、業務表等指導數據治理團隊對新業務的數據歸集治理,同時指導為新的業務開發提供數據服務。 第三步,通過業務流程、業務表等指導業務開發團隊在新業務開發過程中遵循數據標準和規范開發,在業務過程中完成業務數據的即時治理。 2.3.4.1 業務梳理與數據治理 業務梳理的第一

51、步是業務調研,通常有業務運營團隊來開展,調研的顆粒度不宜太細,通常以業務流程、業務表、業務標準和統計規則清晰為標準。 無論是現有業務系統還是新的業務系統梳理,最終目標是為了明確流程,并基于流程中的節點梳理業務表: 圖 15 基于流程中的節點梳理業務表 并基于業務表明確其業務標準,可選形成業務標準表和業務統計表。 整個業務梳理最終形成的是:業務流程、業務表以及相關業務標準表和統計表。 29 / 63 基于此,數據治理團隊就可以面向業務系統進行數據治理了。 2.3.4.2 新業務開發與即時數據治理 對于新業務開發,首先也是對業務流程進行梳理,形成新業務的業務流程、業務表機器標準表和統計表,這個過程

52、通常也是由業務運營團隊來主導執行。 其次是與數據資產知識網絡的核心對象進行對齊,比如產品、客戶等核心對象,明確新的業務流程與核心對象直接的關聯關系,以便復用相關的業務對象和數據,并約束新的業務的數據標準和規范,實現即時的數據治理,數據治理活動由數據治理團隊來完成。 最后就是新的業務系統上線后,持續監測其元數據變化,以便持續跟蹤業務變化、數據質量,定期形成數據質量報告,并指導業務團隊持續優化業務和數據。 結構化數據的資產與安全合規評估 在整個數據治理過程中,數據資產的完整性、合規性是貫穿全局的,所以,在以業務為導向的數據治理方法中,有一個合規屬性和一個整體評估: 合規性描述: 對于增強數據目錄而

53、言, 每個業務標準、 業務字段都要描述其使用合規性屬性,包括涉密屬性、 共享屬性和開放屬性。 每個業務表的屬性與字段屬性是關聯的, 比如含有任意涉密屬性字段的業務表就是涉密的等等。 合規性分析:基于數據資產知識網絡,可以對關聯的對象、業務表進行合規性分析,比如一個業務對象在不同業務表的開放性和涉密屬性是否沖突。 數據資產評估:對于每個階段性的治理,都可以圍繞業務對象進行評估,包括其業務成熟度(基于時間、數據量及其持續性等) 、核心對象關聯度、業務標準、數據質量、合規性評估,其中合規性評估還包括使用的合規性,比如有條件共享的使用是否遵循相關流程規范共享。 30 / 63 圖 16 數據資產與安全

54、合規評估 2.4 業務導向的數據治理優勢和價值 采用新一代的 Data Fabric 數據編織架構,構建以業務認知模型為參照標準,并持續更新數據資產知識網絡,并持續通過業務梳理活動,指引數據治理和新業務開發。它有幾個方面的優勢: 通過增強型數據目錄和數據資產知識網絡,顯著降低高成本&低價值的數據集成周期; 通過知識圖譜的對業務對象和元數據的靈活連接和擴展,降低頻繁數據治理和運維帶來的不斷攀升的數據服務成本; 基于對業務對象、數據資源目錄的持續 AI/ML,不斷發現和優化數據資產,實現即時的數據治理。 為業務人員提供友好的業務編織方式, 為業務對象和數據資產提供 360o 視圖, 并提供無縫的數

55、據訪問和共享; 它既可以開發常用的數據服務, 也可以基于業務認知模型、 數據資產知識網絡, 可以快速生成領域知識網絡,賦能認知智能創新應用。 因此,有分析機構甚至認為 Data Fabric 架構是數據管理的未來,也是數據治理的福音。 結構化數據治理展望 從企業的數據戰略來看,數據治理首先是管理問題,其次才是技術問題。只有保證業務戰略清晰、核心業務流程清晰,業務系統建設運行良好,才能形成數據的可用性、一致性、完整性、合規性、和安全性,確保在整個數據生命周期中,都具有較高的數據質量,才能進一步通過數據運營、數?Data Fabric?/? 31 / 63 據應用幫助企業實現數據資產管理、發現內部

56、數據問題、發掘數據價值,進而實現企業數據資產的盤活和有效利用。 以業務為導向的數據治理,是一個戰略級、系統性的方法,并在此基礎上定義組織、數據架構、和持續的多維度治理是提升業務價值的關鍵所在。 1、成立數據治理組織,高位統籌 數據治理是一個組織的全局性項目,需要 IT 部門與業務部門的傾力合作和支持,需要各個部門站在組織戰略目標和組織長遠發展的視角來看待數據治理。因此,數據治理項目需要得到組織高層的支持,在條件允許的情況下,成立以組織高層牽頭的虛擬項目小組,會讓數據治理項目事半功倍。 2、業務導向,架構主導,即時治理 以業務為導向,結合 Data Fabric 架構,構建業務認知模型,持續更新

57、組織的數據資產知識網絡,做到即時開發,即時治理,讓業務開發圍繞組織的業務認知模型來開展,形成業務與業務、業務與數據的動態知識網絡,并通過元數據監控和分析,從而保障整個數據資產的質量和價值。 3、持續的、多維度的治理 數據治理的最終目標是提升數據價值,是一個持續漫長的運營過程,需要逐步完善、分步迭代,指望一步到位完成數據治理是不現實的,實際執行過程中,要避免以項目交付為目標,點到為止,導致治理不全面、無延續。 32 / 63 非結構化數據治理 3.1 非結構化數據的特征與應用場景 非結構化數據和結構化數據是一組相對的概念。 非結構化數據是數據結構不規則或不完整,沒有預定義的數據模型,不方便用數據

58、庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片, HTML、各類報表、圖像和音頻/視頻信息等等。 非結構化數據具有海量、分散、多樣、異構的特點,因而在非結構化數據管理方面主要存在幾類挑戰: 海量數據規模,且數據存儲占比高。根據 Gartner 分析,超過 80%的商業相關信息都是以非結構化格式存在的。 數據來源豐富,分散各個系統。組織在信息化建設過程中,建設了大量業務系統,眾多業務系統都包含結構化數據,形成數據孤島。 數據格式多樣,且復雜。對于非結構化數據而言,形式多樣關系復雜,基于常規單一算法技術很難識別、分析。 具有異構性,結構不標準。非結構化數據,結構形式復雜,難以通過洞察

59、為業務決策提供有效指引。 難以保障內容安全合規。 內容泄密風險始終高居不下, 同時, 內容審查對許多組織來說也是很大的挑戰 非結構化數據在組織的業務過程中無所不在,承擔了業務數據留存以及再利用的主要責任。其應用場景與價值主要體現在以下層面: 業務過程數據的承載 工作成果的承載 業務規則的承載與留痕 組織顯性知識的主要載體 33 / 63 3.2 非結構化數據的安全挑戰 在數字化時代,數據已經成為與物質資產和人力資本同樣重要的基礎生產要素。隨著數據價值的凸顯和不斷挖掘,數據面臨的信息安全風險也與日俱增,給個人隱私和國家安全帶來了嚴重的安全隱患。為應對日益嚴重的安全形勢,我國頒布了數據安全法和個人

60、信息保護法 ,在法律層面為數據安全和個人隱私保護提供法律保障。 隨著日益完善的法律環境,組織的業務合規性面臨嚴峻的挑戰,從合規及內控體系建設、到行業層面的行業監管合規以及國家層面法律法規的遵從,需要通過一系列的數據治理方法來逐漸改善和提升。 在組織內部,需要確保組織經營合規,保障組織發展和創新的數據安全體系;在組織外部,需要基于行業特殊性的行業法規保障行業監管合規。如生物醫療行業、汽車制造行業出臺相應的行業法規, 關于全面加強藥品監管能力建設的實施意見 ,GMP(生產質量管理規范)等等。此外還需要遵守各國的法律法規,例如歐盟 (GDPR)通用數據保護條例 ,保護個人隱私和數據,并通過法案約束來

61、建立組織和公民之間的信任關系; 國家網絡空間安全戰略明確了個人信息保護的法律要求,戰略要求落到實處,并建立實施關鍵信息基礎設施保護制度。 多維度的業務合規性的基礎是數據、訪問、信息合規,組織需要搭建包括數據安全、訪問安全、信息安全等在內的立體安全體系。 圖 17 立體安全 34 / 63 3.3 以中臺方案為基礎的即時數據治理 經過近幾年的非結構化數據治理工作,我們發現一些在治理過程中的突出的問題,主要體現在以下兩點: 各類組織經過長期的信息化建設,已經形成了大量的非結構化數據,這些非結構化數據分布在各個位置、個人電腦、眾多業務系統。數據需要根據業務發展會在各個業務系統流轉,但是因為這些業務系

62、統的建設由于歷史原因,并沒有統一的規則,不同業務系統之間數據割裂,形成眾多數據孤島。同時巨量的沉淀數據分散在這些數據孤島之中,難以發現和再利用。 隨著數字化轉型在各個行業逐漸推開,各類組織也意識到這些沉淀數據的價值。但是治理過程往往是痛苦的,需要組織專門的人力對海量的沉淀數據進行治理。同時,隨著組織內外環境的變化和業務本身的不斷發展,造成治理效果的嚴重滯后。 另一方面,由于海量非結構化數據的天然缺陷,對它的檢索、內容的發現與分析、數據的利用、價值的挖掘等造成極大的困難。如果沒有自動化的工具和技術,單靠大量人力投入治理工作顯然是不現實的。 綜上,我們認為,為了保證非結構化數據發揮最大價值,滿足業

63、務發展的實際需要,必須通過對數據進行有效的治理來實現,來提升數據質量和可訪問性,最終實現數據驅動運營和數據驅動創新。這個治理過程必須滿足以下三個特征: 以中臺方案為基礎: 打破數據孤島、 實現非結構化數據的統一管理、 全面提升非結構化數據質量和可訪問性、為不同業務場景經賦能。 即時治理: 數據在生成時已在治理框架下, 避免后續投入大量人力治理造成的隱患及滯后性。 AI 驅動:人工智能領域正在取得巨大進步。通過對自然語義分析、圖像識別、語音識別、領域知識網絡等技術的利用,可以極大減少人工的投入,同時 AI 的工作效率已經遠超人類。因此,通過 AI 驅動數據治理的時代已經到來。 在以中臺方案為基礎

64、,通過即時治理和 AI 驅動這個非結構化數據治理的指導思想下,非結構化數據治理從以下四個維度展開:數據資產分類、安全合規、知識治理、數據資產保留。 3.4 非結構化數據的資產分類治理 不同類型的非結構化數據擁有不同的生命周期,決定了它的業務特征和行為。在查詢、權限控 35 / 63 制、格式、版本、審核流程、合規管控等都可能不同。因此可以說非結構化數據治理的基礎,是數據資產的分類,它決定了數據治理的方向和成效。 非結構化數據資產治理的業務挑戰 在工作過程中會產生大量的文檔,按照這些文檔各自的特征來分,可以是研發資料、實驗數據、會議紀要、測試報告、項目周報、項目方案、項目藍圖、流程制度、公文公告

65、、項目總結、標準體系、最佳實踐等等。 在不同的業務場景中,需要對這些不同的文檔進行分類的管理,針對不同類型的文檔,可以定義不同的目錄結構、權限體系、安全管控、流程審批、留存管理等。 同時在利用層面,對不同類型的文檔在查詢和洞察時往往有不同的關注點。如產品資料關注產品的類型、版本、適用的場景等等;合同資料關注甲方乙方、合同金額、生效日期等等。 但是非結構化數據的最大特征是難以描述,沒有預定義的數據模型,不方便用數據庫二維邏輯表來表示。傳統的方式是通過文件夾和文件名的形式來承載文檔的分類信息,即線性分類,針對一個類別只選取單一分類維度進行分類的場景,同一分支的同層級類別之間構成并列關系,不同層級類

66、別之間構成隸屬關系。同層級類別互不重復,互不交叉。但是這種線性分類會帶來以下一些困難: 1) 分類時難以多維度呈現數據:同一個文檔可以有多種角度進行描述,除了文件對象的名稱、格式、所有者、創建時間等基本特征和定義外,還需對數據內容的客觀理解進行描述,如標簽、摘要、相關性等,但是文件夾結構只能從一個維度對文檔進行歸類,難以從多個視角歸類文檔; 2) 難以精確定位非結構化數據:通過文件名和內容關鍵字檢索出大量相似內容,查找文檔花費大量時間進行篩選; 3) 非結構化數據由于包括各類格式的文檔、圖片、音頻、視頻等多種異構格式的文件, 較之結構化數據,其更難標準化描述和理解,如果由人工進行添加標簽等屬性

67、特征來描述,則效率極其低下,面對海量的非結構化數據幾乎不可實現; 4) 難以對非結構化數據進行洞察利用: 由于非結構化數據的關鍵業務屬性沒有固定格式來承載,因此難以對非結構化數據的內容進行深入的洞察,以及結合相關聯的其他非結構化數據一起分析、從而對業務決策和價值發現提供有效支撐; 36 / 63 如何對非結構化數據進行分類治理 3.4.2.1 非結構化數據的特征分析模型 每種不同類型的文檔都有其各自的特征,這些特征可以用屬性來描述。比如項目資料的屬性可能會包含:項目名稱、項目時間、項目行業、涉及的產品等等。因此在對非結構化數據資產進行分類之前,關鍵工作是對其基本特征與內容特征進行提取分析,并通

68、過多樣化的元數據來實現表達。這些高質量的元數據實現了結構化的描述非結構化數據資產,極大地提高了理解和分類的準確度及效率。因此,我們建立一個非結構化數據的特征分析模型,如下圖所示: 圖 18 非結構化數據的特征分析模型 非結構化數據的元數據可以分為基本特征類(客觀)和內容特征類(主觀)兩個類別。 基本特征類:參考文件的基本屬性,實現對非結構化數據對象的規范化定義,如標題、格式、來源、大小、創建者、日期等。 內容特征類:基于對非結構化數據的內容的理解和分析,歸納其內容包含的特征,加深對目標文件的客觀理解,如標簽、編目、相似性推薦主題(如行業名稱、作者單位)等。 內容特征類元數據,一般首先由人主觀定

69、義出關鍵詞、編目,并借助于數據資產管理平臺的人工智能算法(語義理解、機器學習、正則表達式等) ,實現自動化提取和標注。自動化工具避免了人工標注帶來的繁復和低效,AI 驅動是非結構化數據分類取得成功的關鍵點。 3.4.2.2 非結構化數據的分類方法與過程 非結構化數據的分類方法包括人工分類和自動分類兩種,這兩種方式是互為補充的,可以在文檔 37 / 63 生命周期的不同階段即時進行。 人工分類由用戶根據數據主題、業務類別、適用對象、保密級別等因素,進行主動識別和命名類別。 自動分類一般由數據資產管理平臺根據特征分析模型進行自動識別分析數據內容,提取屬性信息(元數據)并自動標注完成。智能化的機器分

70、類覆蓋存儲、檢索以及消費使用等多個階段。 非結構化數據的分類首先必須基于不同的業務場景,在業務場景下,按照業務活動的過程來展開,在業務活動中去識別和定義非結構化數據的輸入、輸出及其相關要求與特征,最后經過歸納總結,來對非結構化數據進行分類治理,這個過程主要以人工為主,需要各個業務領域的專家資源的配合。 圖 19 非結構化數據進行分類治理 治理規則定以后,在規則的執行落地過程中,可以通過 AI 技術輔助人工進行分類治理,同時保證治理的即時性。 數據資產分類示例 1) 通過業務活動識別分類:通過人工梳理業務活動及流程,按照管理主體管理范圍,逐步向下進行拆解業務主題,形成樹形分層結構的數據資產目錄。

71、 2) 通過編目分類: 對某些特定的文檔類型 (如發票) , 人工預定義出該類文檔的一組描述屬性 (即編目) ,將該編目輸入到數據資產管理平臺,當用戶上傳此類文檔時,通過平臺智能分析引擎提取出編目屬性值并標記該文檔。 3) 通過“密級”分類:按照不同行業的數據分級保護的要求,需要根據數據重要程度和敏感程業務場景識別各場景下的業務活動識別識別每個業務活動下的輸輸出檔類型的歸納整理形成檔的分類及錄結構(分類)檔內容提取關鍵業務信息(和動結合)檔內容提取多維標簽(動分析)通過編定義多維分類通過業化標簽和企業特有標簽輔助分類(動分類) 38 / 63 度由高到低劃分不同的秘密等級,因此通過“密級”標簽

72、實現輔助分類。進行數據分級時,應考慮其安全屬性(機密性、完整性、可用性)遭到破壞時造成的影響的客體。 4) 通過“敏感信息”分類:通過對非結構化數據內容的掃描和基于敏感詞規則庫的自動分析,自動將敏感文檔標注區分后歸類到對應目錄位置(如隔離庫) 。 3.5 非結構化數據的安全合規治理 在前面的章節中已經介紹,非結構化數據的安全與合規面臨著諸多挑戰。從國家層面、行業層面對非結構化數據的安全合規都提出了不同的要求,下面通過兩個典型行業分別加以介紹。 生物醫藥行業的安全合規治理 GMP(生產質量管理規范) :要求制藥、食品等生產企業應具備良好的生產設備,合理的生產過程,完善的質量管理和嚴格的檢測系統,

73、確保最終產品質量(包括食品安全衛生等)符合法規要求。 以客戶的業務為中心,圍繞安全管理與合規管理開展安全合規治理工作。安全管理主要有四個方面,包括業務應用安全,數據安全,訪問安全,信息安全。合規管理主要有六個部分,包括短缺藥品合規,說明書合規,數據合規,標簽合規,患者安全報告防泄密合規,流程合規。 圖 20 生物醫藥行業的安全合規治理 汽車制造行業的安全合規治理 汽車制造企業在文檔管理方面需遵守的法律法規及標準如下: 商業秘密保護規定 GB/Z 26822-2011 文檔管理電子信息存儲真實性可靠性建議 ISO27001 信息安全體系 安全合規場景包括: 39 / 63 通過業務合規治理的體系

74、,跨國車企,及外資車企的業務數據符合出境合規 通過合同等形式,以及建立第三方服務商的數據合規管理制度,深入管控第三方的數據合規 企業敏感文件通過內容安全服務工具與技術,防止信息外泄; 非結構化數據安全合規的治理要點 以健全的安全合規制度和安全運營方法,及強有力的組織保障為基礎,通過立體安全體系在內的數據安全,訪問安全,信息安全等管理方法,結合個人隱私數據保護,企業敏感信息識別,非法內容管控,內容訪問審計,等等治理工具,達到安全合規的治理目標。 針對不同行業,有各類法律規范,在做安全合規治理時,必須和這些行業規范進行深入的結合。 3.5.3.1 安全合規治理的框架 安全合規的治理需要以國家法律法

75、規與行業標準為指引,結合組織業務實際情況,對非結構化數據資產進行分類分級、并在非結構化數據的整個生命周期進行管控。其治理的基本框架如下如所示。 圖 21 安全合規治理框架 針對不同的安全場景,可以采用的技術手段有以下方式: 文件泄密管控: n 對內:文件上傳解密,明文存儲,內部透明訪問;文件下載落地加密,保障數據不外泄; n 對外:通過外發包管理工具,為解決外發文檔易泄露、難管控的問題,比如控制外發文件的讀取權限、有效期、打開次數等。 40 / 63 隱私數據管控: 把業務流程中涉及到的各種隱私數據梳理出來進行分類管理,并實現可視化,解決隱私數據到處分散、易泄露的問題。 文檔內容安全管控: 企

76、業客戶使用文檔過程中,進行文檔庫檢查與殺毒,比如文檔下載、預覽、編輯等操作時,檢查文檔的安全合規性。 非法內容管控: 檢測并識別到非法內容和敏感詞內容的文檔,比如用戶上傳含有非法內容的文件將被隔離。 3.5.3.2 安全合規治理的組織與制度保障 安全合規的治理,涉及到各個業務領域,不同的業務領域有不同的訴求,必須精準的理解安全合規的需求才能做好安全合規的治理工作。這就要求在安全合規治理過程中,治理團隊必須將各個領域的專業人員納入進來。同時,安全合規治理是公司的戰略分解,需要從高層、中層管理層都納入進來,由他們來保障治理工作的持續推進。同時還要有數字化支持團隊、持續運營的團隊等來做支撐。 以客戶

77、業務為中心,圍繞安全合規開展全域數據治理工作,可以從制度制定、人員配備、體制運營等方面建立適合業務實際的數據合規體系,以做到數據合規有人管、有制度保障、有體系運營管理。比如通過安全運營,持續優化事前安全策略、制定安全規范引導用戶事中行為,借助數字化工具實時預測和報警安全事件,定期開展事后審計等。 安全合規治理帶來的價值評估 通過安全合規的治理,可以為組織帶來如下價值: 提高組織合規審查效率; 通過一系列的業務合規性措施,改善組織內部的業務合規的管理能力和流程; 幫助組織的相關業務流程符合法律法規的要求,助力組織數字化轉型; 提高組織客戶的安全信息保護意識,降低文件泄露的風險; 完善組織內部的安

78、全合規機制和流程; 41 / 63 幫助組織員工充分理解國家數據安全相關法律法規,減低因員工自己的行為所帶來的風險; 3.6 非結構化數據的知識治理 知識管理建設面臨的諸多挑戰 現代經濟理論已經把知識列為重要的生產要素,知識已廣泛運用于現代組織的生產過程。知識管理的建設有助于提高組織核心競爭力和經濟效益,是現代組織管理的重要組成部分。數字經濟時代,知識生產力是組織競爭力的關鍵。 在組織經營過程中,業務活動與知識之間的相互滲透程度日益提高,傳統管理模式里知識的管理相對粗放,往往依賴于員工自發或者組織突擊式管理,知識管理建設面臨諸多挑戰: 缺乏知識戰略規劃: 知識管理戰略不清晰, 對企業經營戰略目

79、標承接缺失, 缺乏科學的方法體系支持,導致知識管理沒有重點,缺乏動力,導致治理失??; 知識壁壘林立: 過多的知識壁壘, 導致人才流動帶來知識資產流失, 團隊間缺乏知識共享的文化,也沒有專門的管理部門或者制度,知識管理難以發揮價值; 知識管理成本過高:知識抽取、關聯、傳遞等工作耗費大量人力成本,歷史知識資產梳理工作量巨大,缺乏智能高效的治理方法和工具,投入產出比較低; 知識管理效果不明顯:治理成效滯后,投入決策難度較高,無法準確預估或者量化價值,同時沒有有效的運營手段,導致治理效果不可持續。 組織如何規劃知識管理 企業知識多具有碎片化、數量大、來源多等特征,因此知識管理很難標準化。傳統的知識管理

80、往往花費大量的人力投入,卻很難帶來業務經營改善的成效。 隨著科技的進步以及數字化轉型的逐步深入,在知識內容生命周期中的知識采集、知識管理、知識關聯、知識應用四個領域,自動化與人工智能技術的快速發展,大量抽象而復雜的知識場景,可以不再依賴人力,通過信息技術的融合能夠形成巨大的知識賦能。 因此,在數字化發展的宏觀趨勢推動下,企業知識管理的數字化轉型潛力很大,通過科技賦能,大大提升知識管理的治理效率:空間上能覆蓋企業各類業務場景,客觀全面的歸集和管理知識內容;時間上能持續積累和傳承知識,避免因人才流動或主觀原因而造成知識內容的流失。兩者相輔相成, 42 / 63 共同提高組織核心競爭力和經濟效益。

81、3.6.2.1 知識管理的目標是改善組織業務生產力 通過知識治理借助智能分析手段來改善投資回報率應該作為知識治理的指導理念,將組織戰略、業務場景、知識融合相結合,提供端到端一體化的知識管理解決方案,并分步驟全程協助組織進行知識管理數字化轉型及知識運營,完成通過知識管理改善業務效益的建設目標。 知識管理工作的開展,需要圍繞三個維度來展開:知識戰略、知識治理、知識運營。 首先是制定知識管理的戰略。知識戰略的制定,必須在組織經營戰略的指引下開展。 知識管理戰略的制定,通常需要考慮的因素有:組織經營目標的年度規劃、影響業務目標的關鍵領域和業務環節、在這些領域或者環節中確定最有價值的知識內容與知識活動、

82、經營目標對不同崗位角色的能力要求等。 圖 22 知識管理戰略框架圖 基于以上這些因素來定義整個組織一到三年的知識戰略規劃,為接下來的知識治理具體工作的開展框定范圍和確定指引方向,確保知識治理措施合理得當、保證知識治理的投入產出比以及治理效果的可持續性。 知識管理的內容對象和范圍并不一定要包括廣義上的所有知識內容,一般需要綜合考慮管理價值、需求強度、成本接受度三個方面,最終選擇最適合進行知識管理的知識對象進行圈定。選取的知識范圍不同,將直接影響后續知識管理的需求、方案、實施要求等。 理論上全面的知識覆蓋有利于發揮知識統一管理的賦能效果,但在一些特定情況下,比如在資源有限,或者組織經濟活動非常聚焦

83、的情況下,需要針對性圈定高優的知識對象進行管理。 43 / 63 主要從兩個方面考慮: 業務價值:指該知識對于組織經營活動的價值 管理成本:指實現對該知識的管理需要投入的資源及人力成本 優先選定的范圍應該是業務價值高、管理成本低的業務領域;其次是業務價值高、管理成本高的領域。不推薦選擇業務價值低的領域。 如何圍繞知識戰略開展知識治理 在制定清晰的知識戰略、確定關鍵的業務領域之后,就要進入有序的知識治理階段。首先需要根據知識戰略進行分解,進一步明確知識治理的關鍵范圍,核心知識資產,并對當前的業務活動、知識治理現狀進行梳理分析。包括每個業務環節對知識的要求、知識的創建、管理、利用的場景及相關角色的

84、關系。識別每個環節的知識的輸入、輸出,知識的特征、應用場景、帶來的價值。 3.6.3.1 知識治理的主要內容 知識治理的主要內容可以從以下幾個方面進行: 圍繞核心業務場景梳理知識主題:在重點業務范圍,進一步梳理業務活動的知識需求、對歷史知識內容的盤點,形成知識體系,知識體系不僅包含知識的內容樣例、分類、結構層次、功能等,還應該解釋知識資源在組織內外部的相關鏈接及特征。這其中,比較重要的是知識標簽體系。知識體系可以知識主題的形式來承載,知識主題的梳理需要符合知識戰略,并保持長期相對穩定。 知識主題的梳理,需要組織內部的業務專家來一起協作,專家在梳理過程中起到絕對的主導作用。同時,通過 AI 技術

85、和自動標簽技術,可以實現將符合主題特征的知識自動關聯、歸集到對應的主題下。 高效管理的知識庫:在知識體系下,將知識內容進行目錄級管理,并承載知識內容的創建、審核、發布的過程管理,同時也可以實現對知識內容的精準定位。 通過專家促進知識沉淀與交流:每個組織內部都有一些核心的業務專家,從某種意義上說,這些專家決定了這個組織的知識能力、從而對提高業務生產力有著舉足輕重的作用。根據組織不同的業務領域、結合公司的人力資源管理戰略指定相關的業務專家,最大化發揮專家在知識治理、創建、分享上的價值,促進公司全員的知識儲備和能力的提升。 圍繞知識興趣形成知識圈:組織業務發展的主體是廣大的員工,他們是組織價值的直接

86、創造者。 44 / 63 激發廣大員工的知識創造力,是知識治理的重要途徑。通過知識圈的建設,可以實現知識按照興趣和不同業務需求進行匯聚、醞釀沉淀、互動交流。通過將共同領域、興趣的人匯聚在一起,進一步促進知識的產生、改善、分享、利用的效能,使知識生態的以不斷完善。 3.6.3.2 領域知識網絡提升知識治理效率 在知識的應用場景,需求可以分為管理類與賦能類。管理類需求特指基于知識內容本身的增刪改查需求,比如知識的存儲、分享、檢索等;賦能類需求指應用數字化技術或 AI 技術“理解”內容語義,進而主動通過各類知識工具,面向業務活動進行賦能的需求。 管理類需求可以通過知識生命周期理論,進行覆蓋式挖掘,一

87、方面從下而上,對組織現狀進行問題分析和需求挖掘上報,另一方面從上而下,承接戰略需求向下進行的目標拆解。 通過 AI 技術、一方面可以自動化實現知識內容的分離、提取、關聯,從而更叫高效的發現知識、匯聚知識;另一方面,通過對人員的特征分析、行為分析,自動發現知識的優化場景、利用場景:將知識內容精準推薦給需要的人,將知識的互動信息發給知識貢獻者來改善知識內容,將知識需求信息發給知識創建者來提供知識內容。 通過這些自動化的手段,不但保證了知識治理的及時性,極大減少人工投入,還可以幫助知識管理者發現尚未發現的問題,為知識治理的改進、決策提供不可替代的幫助,從而不斷提升治理效能。 機器學習需要大量的訓練(

88、如知識圖譜標注等) ,訓練以海量的數據為基礎,并需要投入大量的人力標注投入。針對不同行業、不同領域的知識網絡建設,可以在相同行業和領域復用,從而大大提高機器學習的效率。 通過知識治理提高知識運營效率 知識管理沒有終點,他是伴隨著組織的經營過程不斷發展的,需要根據企業經營戰略不斷進行迭代、推廣、價值評估等。知識主題、知識庫、專家領域、知識圈的需要圍繞知識戰略去展開工作,這個過程需要持續不斷的運營工作,從而為組織的經營發展和業務創新持續提供動能。 知識運營與知識治理相輔相成,知識治理效果的達成與可持續性,需要通過知識運營來實現,反過來講,通過知識治理也可以提高知識運營的效率。 45 / 63 3.

89、7 非結構化數據的資產保留治理 非結構化數據資產保留的業務場景 非結構化數據作為工作成果重要承載物,對國家、行業以及企業自身都有重大價值,同時在法律法規、行業規范和企業自身管理角度,對此類資產的保留都做了很多管理要求。由管理對象不同,對非結構化數據資產的保留可以分為如下三種情況: 國家法規要求: 國家對政府機構、 國有企業中的各級組織的不同類型的文件, 保留時長不同,同時對內容的完整性也有一定的要求。 行業規范要求:制造業、生物醫藥、金融、房地產等等不同行業對行業特征的文檔內容也有按照不同類型進行保留的要求。如質檢報告需要長期保留,藥物試驗資料需要保留至上市后五年,房屋設計圖紙需要長期保留等等

90、。 企業職能部門要求:財務、人事、采購、法務、市場、行政等企業的職能部門也管理了大量的文檔資料, 除了需要滿足國家法律法規以及行業規范要求之外, 還需要按照供公司內部要求,做好文檔保留工作,以便于更高效的利用當前資料和歷史資料。 非結構化數據資產保留的治理 對于不同場景下的各類非結構化數據的保留要求,如何進行治理呢?一般的治理過程如下(有先后順序): 1) 識別業務場景:按照業務場景收集相關文檔資料作為治理對象; 2) 識別管理規范要求:該業務場景下有哪些法律、法規要求,以及組織內部管理要求; 3) 文檔分類:在不同場景以及管理要求下,將文檔進行分類管理; 4) 針對分類定義管理策略:針對不同

91、類型的文檔,定義詳細的保留策略。 對于具體的治理策略,主要有以下幾個方面: 保留年限:區分不同類型的文件需要的保留期限,通常會有 3 年、5 年、10 年、永久保留等不同期限,可通過元數據進行記錄。 歸檔形式、位置:不同類文檔或不同部門的文檔的歸檔形式、位置要求不同,可于各部門的目錄層級中創建歸檔目錄,或者單獨統一的位置創建歸檔目錄用于不同場景的文檔保留。 46 / 63 歸檔后的權限要求:歸檔后的文檔權限需要調整,便于長期保留和后續利用。 歸檔時的元數據要求: 在不同的要求下, 對文檔歸檔時的歷史痕跡信息以及相關元數據需要進行不同的保留,如文件的創建時間,密級,審核的歷史信息等。 紙質文檔歸

92、檔與電子文檔的匹配管理: 當前情況下, 可能還有部分電子文檔同時保留了紙質內容。 在電子文檔保留時需要將紙質文件的物理位置添加至文件標簽便于查看, 以及實際文件的查找。 對歸檔文檔的查詢要求:歸檔后的文件為了方便后續利用,需要對元數據(標簽、文件標題、文件內容、相關編寫人等信息)進行設置,以方便查找定位。 文檔審核要求: 文檔的歸檔, 往往需要人工介入進行審核與管理、 需要定義不同角色的權責、審核的流程等。 3.8 非結構化數據治理為組織生產力賦能 通過非結構化數據中臺的建設,打破數據孤島、實現了非結構化數據的統一管理、全面提升非結構化數據的數據質量和可訪問性,同時也極大減少了重復能力建設帶來

93、的成本浪費和管理的復雜性。 利用非結構化數據中臺,結合對非結構化數據的即時治理,提高企業經營的安全與合規,規避和減少因違規或者泄密造成的經營損失;提高非結構化數據資產的管理效率、利用效率,并通過知識治理,實現數據資產知識化,知識不斷深入到業務場景,提升組織的業務能力、激發組織的創造力,為組織經營目標的達成以及保持競爭力持續賦能。 同時,隨著非結構化數據處理的技術不斷完善和發展,尤其是 AI、機器學習、領域知識網絡等技術能力的利用進一步加速了治理效率的提升,不斷促進非結構化數據治理效果帶來的生產能力提升。 47 / 63 機器數據治理 4.1 什么是機器數據 機器數據,顧名思義指的就是由機器產生

94、的數據,包括軟件和硬件。具體到 IT 領域,主要指服務器、網絡設備等硬件或虛擬硬件運行過程中產生的狀態數據,應用系統運行過程中產生的日志數據、性能數據。通過機器數據可以準確的掌握業務及業務承載平臺的基本運行狀態,例如 CPU、內存、磁盤等資源的使用情況、網絡流量情況以及應用運行情況,是運維監控領域重要的數據來源。 這里我們談到的機器數據,主要包括以下幾種類型: 指標數據:指軟/硬件系統運行過程中的各項性能指標數據,具有實時、海量等特點 日志數據:包括機器運行日志、系統日志、應用日志等,格式差異大,具有實時、海量等特點 鏈路數據:指與用戶體驗相關的端到端的應用跟蹤數據,具有實時、海量等特點 4.

95、2 機器數據治理概述 伴隨著中國數字經濟的快速發展,產業數字化占數字經濟規模的比重也呈逐年升高的趨勢,這也有力地推動了數字化轉型的步伐。組織日漸認識到數字化對管理流程和商業模式的作用,越來越多的組織啟動數字化轉型計劃。 數字化轉型的核心和關鍵就是對數據價值的充分挖掘與釋放,通過數據驅動創新和運營,推動數字化的變革與發展。機器數據作為大數據應用最重要的組成部分,目前仍然散落在各個應用系統和管理系統中,孤立存在,尚未有效形成數據資產,價值利用較低。 以中臺方案為基礎的即時數據處理 在多云與云原生技術的大趨勢下,外部環境發生質的變化,交付越來越敏捷。面向機器數據的治理要以業務需求為導向,以運維中臺方

96、案為基礎,以數據虛擬化為架構,以領域認知智能為技術底座,將這些分散的各類機器數據進行有效的匯聚、整合與治理,通過可觀測性能力建設,對數據進行分析應用,解決組織業務運營與管理中遇到的問題,提升運維效能、助力業務運營分析、加強合規與審計,以數據驅動運營,建立數據驅動型組織。 48 / 63 圖 23 以中臺方案為基礎的即時數據處理 機器數據治理的價值 機器數據治理,加速了組織的數字化轉型步伐,提升了組織的數字化服務能力。首先,以中臺思想為基礎的機器數據治理,打破數據隔閡,有效解決組織面臨的數據孤島、數據標準不一致的問題,促進數據流動,充分釋放了機器數據的價值。 其次,通過對多種數據源數據的匯聚與集

97、中,在安全管控方面,進一步滿足了對法律法規及行業要求的合規性,并顯著提升對信息管理審計能力,加強對安全風險的管理與控制。 第三,通過對機器數據的整合與關聯分析,能充分釋放數據在運維管理及業務運營方面的價值,提升故障的識別及根因定位能力,保障 SLA;同時,通過對數據業務特性的分析,提升業務決策分析水平,持續優化用戶體驗及業務服務,驅動業務的健康發展。 4.3 加強合規與審計 合規與審計面臨的挑戰 進入數字化時代,人工智能、云計算、社交網站、大數據處理等新技術逐漸普及,國家對信息安全與個人隱私保護越來越重視,相繼出臺了網絡安全法 、 網絡安全等保制度 2.0 、 數據安全法 、 個人信息保護法等

98、多項法律法規,各行業也陸續出臺了行業法規要求,如商業銀行內部控 49 / 63 制指引等,監管機構及主管部門對合規審計的內容要求越來越細,頻率要求越來越高。對于組織來說,在合規與審計方面面臨著諸多挑戰,主要體現在: 1. 海量日志數據合規留存難。 日志數據由各類系統產生, 日志數據分布散、 數據量大、 結構復雜、存儲環境多樣化, 因此傳統的日志管理技術存在兼容性差、 查詢效率慢, 存儲成本高等問題。 2. 海量日志數據的實時性、一致性難以保證。日志每時每刻都在產生,數據量巨大,流量高,對日志系統的吞吐量要求極高。 3. 日志數據管理時,缺乏有效的技術手段來避免個人隱私數據泄露風險。 4. 審計

99、工作量大、效率低。審計工作依賴于多個云平臺提供的日志,審計的方位涉及云主機、系統、數據庫、服務到租戶等,缺少統一的審計平臺,需要使用多種工具才可完成。 通過機器數據治理解決合規與審計問題 日志數據采集:采用無代理采集以及代理采集 2 種方式,支持多種標準采集協議(Syslog/SNMP-Trap/SNMP/JDBC/SSH/HTTP) ,通過主動推送或主動拉取方式將異源異構的海量日志數據接入至日志處理平臺,從而實現日志統一采集接入管理。系統的日志采集策略包括支持實時、定時采集日志、日志采集任務可壓縮傳輸日志、可配置限制日志采集任務對宿主機網絡、CPU、內存等資源的使用等,以滿足不同業務場景下對

100、日志采集的靈活使用。 日志數據解析:日志解析服務需要支持水平擴展,來滿足數據吞吐量的高要求;增加緩存應對日志流量峰值;支持多線程處理,時延低,Schema on read 等技術來保證日志解析的實時性;支持分布式部署,來滿足可靠性要求;通過緩存+偏移量標識技術,保證日志一致性。 日志數據存儲:對于海量數據應該考慮數據的分級存儲方案以節約存儲成本。對日志數據分級處理,采用分級存儲的架構,將機器數據按照熱數據、溫數據、冷數據進行劃分,充分利用發揮服務器本地盤(SSD 硬盤+SAS 機械盤)和 NAS 存儲的多層次存儲結構的性能優勢。每類數據保存周期不同,實現機器數據的全生命周期管理,低成本滿足安全

101、合規需求。同時,系統存儲具備安全機制,保護日志記錄不受未授權的讀取、刪除或者修改,日志記錄要持久化存儲,要存儲在非易失性介質中。 日志數據查詢:提供豐富的搜索方式,配合智能搜索引擎,以應對多源異構復雜搜索場景。同時可提供實時搜索、全文檢索、秒級響應的搜索體驗。 通過對機器數據治理,可以為組織有效解決以下問題: 1. 海量日志數據合規留存,滿足各類法律法規的要求,保證數據的實時性、一致性。 50 / 63 2. 日志數據管理時,有效避免個人隱私數據泄露風險。 3. 在統一平臺上開展審計工作,提升審計效率與審計結果的準確性。 機器數據治理對合規與審計的價值 通過機器數據治理,幫助組織加強安全管理,

102、加強合規與審計能力,降低運營風險。 4.4 提升運維效能 運維管理面臨的挑戰 數字化技術的發展及云原生應用的興起,業務系統變得愈加靈活與復雜,分散獨立的監控運維工具,導致運維工程師無法有效對故障及風險進行管理,同時難以在海量的告警和復雜的鏈路中快速找到問題的根本原因,難以保證業務的 SLA,運維成本難控制。具體面臨的挑戰有以下幾個方面: 1. 發現問題難 由于整體的業務數字化轉型帶來大量的新業務投放,而底層的架構在不斷的被云化、虛擬化、容器化和微服務化,在這個過程中復雜的基礎架構和上層業務應用的關系,各類組件會產生大量的機器數據,并且機器數據之間的關系錯綜復雜,如果沒有進行數據治理的話,很難發

103、現問題。 2. 告警風暴抑制難 告警風暴是指系統在短時間內發出海量告警消息的現象,這通常是由于系統出現了某種故障,導致產生的告警消息數遠超運維人員所能處理的最大極限。如何對海量告警進行合理的分析、去重、合并和壓縮也就成了運維過程的一大難點。 3. 根因定位難 隨著業務不斷發展,微服務架構越來越受到各大組織的青睞,隨之也給傳統運維帶來更大的挑戰,多維 KPI 指標數量繁多、相互之間關系復雜,要想在故障發生后,真正解決問題其實是一個復雜的根因定位的過程,目前缺乏一種綜合根因定位的分析手段,使得根因定位難,問題解決困難。 4. 資源分析與評估難 在數字化轉型的背景下,伴隨著虛擬化、云計算和大數據技術

104、的不斷發展,各類業務系統上云、容器化后,如何保證計算資源、存儲資源的合理利用;如何預知各類資源的使用趨勢;如何進行各類 51 / 63 資源的容量規劃等問題,對運維人員來說缺少分析判斷的依據,難以進行分析和評估。 通過機器數據治理提升運維效能 在組織數字化轉型的過程中,IT 運維管理面臨的難點和挑戰,需要通過機器數據的治理,滿足多場景運維的要求,實現統一的運維分析與管理。面向機器數據的整合與治理,是以運維領域機器數據為基礎,通過對多源的、分散的、海量的機器數據進行采集、整合、加工、清洗等操作,再通過機器學習、人工智能算法等技術對數據進行分析應用,以提高在 IT 運維管理的效能。 1. 將各類軟

105、、 硬件系統的指標數據、 調用鏈數據和日志數據進行全面的采集和存儲, 建立起統一的機器數據平臺; 2. 通過緩存、 多線程、 schema on read、 分布式部署等技術, 更高效、 更可靠的進行數據解析,使得數據可以很好應對各種場景下的運維需求,為后續數據利用打好基礎; 3. 按照 IT 基礎設施或者業務系統進行模型的建立,將各類機器數據標準化,打通指標數據、調用鏈數據和日志數據,使各類系統的機器數據形成關聯關系; 4. 通過人工智能算法的應用,將各類機器數據進行加工和分析,實現告警降噪、故障定位、資源分析與評估、問題及時發現等能力。 通過將各類軟、硬件系統的機器數據的統一采集、加工和治

106、理,應用機器學習和人工智能算法建立起機器數據治理平臺,有效提升運維效率,解決運維工作中的各類問題,主要包括: 及時發現問題,通過對多源的、分散的機器數據進行統一全面的采集、整合、關聯、加工、治理等操作, 再通過機器學習和人工智能技術對數據進行分析應用, 及時的發現各種架構和環境下故障,并且能夠在故障發生前預測問題隱患。 告警降噪,分析告警的相似性、相關性和因果性,對海量告警進行去重、合并、抑制、壓縮,只保留和顯示核心的、有價值的告警信息。 根因定位,根據告警的時間點,以及各類軟、硬件設備之間的關聯性關系,通過算法將數據訓練出不同的告警關系拓撲圖,以輔助進行根因定位。 容量預測,在全面數據采集的

107、基礎上,采用人工智能、大數據技術,通過對歷史數據的學習訓練,對容量當前和將來使用、需求自動完成全面的分析。對于各類資源建設、管理、規劃輔助實現全面的智能化。 52 / 63 機器數據治理對運維管理的價值 隨著云計算、大數據等相關技術的廣泛應用,對于數據中心建設、管理、規劃等方面面臨的運維問題也越來越多。通過機器數據的治理,打破數據孤島、建立數據之間的關聯關系,以統一的視角建立模型,利用機器學習和人工智能算法,幫助組織充分識別和挖掘機器數據的價值,提升組織運維效能,保障業務 SLA。其主要價值體現在: 通過降低故障處理時間,保障業務 SLA,降低業務風險。 通過資源分析及趨勢預測,降低基礎設施成

108、本。 提升單位人力效能,降本增效。 4.5 助力業務運營 業務運營面臨的挑戰 數字化轉型是技術與商業模式的深度融合,通過技術的創新應用驅動商業模式、業務模式的變革;商業模式、業務模式的變革又不斷促進技術的創新與發展。伴隨數字化轉型進程的推進,業務呈現出移動化、敏捷化、規?;忍攸c,并更加注重客戶體驗。 隨著商業模式、業務模式的變革,業務運營也面臨新的挑戰: 數據獲取難:數據分散,存在于不同的系統,且數據格式不統一,難以有效利用 運營能力弱:對業務狀態及趨勢、用戶體驗等缺乏有效分析,難以對業務進行持續優化 業務驅動不足:缺乏數據支持,難以形成持續的業務跟蹤與反饋,對業務發展的驅動力不足 通過機器

109、數據治理助力業務運營 在組織數字化轉型過程中,業務模式也在悄然發生變化,業務形態呈現移動化、敏捷化的特征,并越來越關注用戶體驗,這就要求組織能通過對數據的治理,加強業務運營分析能力,準確掌握業務的現狀及對未來趨勢的預判。面向機器數據的整合與治理,通過對多源、分散、海量的機器數據進行采集、整合與加工處理,通過即時數據處理能力,提煉出業務運營相關數據,通過人工智能技術對數據進行分析,助力業務運營的決策分析,持續提升用戶體驗。 1. 將與應用系統相關的各類軟、 硬件系統的指標數據、 調用鏈數據和日志數據進行全面的采集和 53 / 63 存儲,建立起統一的機器數據平臺; 2. 采用緩存、 多線程、 s

110、chema on read、 分布式部署等技術, 通過即時、 高效的數據解析能力,實現對數據的匯聚、存儲及解析; 3. 建立數據分析模型,提取業務運營相關指標數據信息,如業務類型、業務量、客戶分布、客戶來源、業務渠道、用戶操作等數據,為業務運營分析形成數據基礎; 4. 通過人工智能技術應用,對提取的業務運營指標數據進行智能化分析,在客戶營銷、渠道優化、應用改善、提升用戶體驗等方面提供運營分析,實現業務洞察,驅動業務發展。 首先,通過對機器數據的治理,將分散的各類數據進行采集和接收,實現對數據統一、集中的治理,并運用技術對異構數據進行格式化、標準化; 其次,通過對機器數據的治理,可以充分挖掘數據

111、中的業務價值,主要體現在: 客戶維度,通過對操作終端的識別,用戶操作行為記錄,用戶屬地,基本特征等信息的綜合分析,可輔助生成客戶畫像,為客戶提供個性化推薦和服務,提升客戶體驗。 業務維度,通過追蹤用戶訪問渠道,對用戶操作行為、業務流量、業務結果反饋、客戶體驗過程等進行綜合分析,可幫助業務運營人員進行渠道優化、業務引流、產品規劃布局、提升內容交互體驗等,加強對業務的價值輸出。 應用維度, 通過對應用系統的運行狀態及健康度進行實時的分析和評估, 從業務視角圍繞用戶體驗對應用系統進行持續的優化,不斷提升產品競爭力。 機器數據治理對業務運營的價值 數字化轉型期間,大量應用了云、大數據等相關技術,并實現

112、業務的快速迭代與上線,發展過程中,業務應用的訪問狀態、業務健康狀態、業務資源的度量等均需要可觀測,可分析。通過機器數據治理,幫助組織充分識別和挖掘機器數據業務價值,助力數字化變革。其價值主要體現在: 提升運營分析能力 打破數據孤島,實現對機器數據的價值鏈關聯 業務運營數據提取與分析,實現對業務的精細化管理,為業務規劃與決策提供數據支撐; 持續的數據治理,以數據驅動運營 54 / 63 提升用戶體驗 通過提升應用的健康度和操作的便利性,提升用戶體驗; 輔助客戶畫像,通過個性化推薦和服務,提升用戶體驗; 持續跟蹤用戶服務過程和服務反饋,改進用戶體驗; 驅動業務健康發展 圍繞用戶體驗,對業務應用進行

113、持續優化和完善,提高用戶留存 精細化的運營管理,通過數據支持決策,確保業務方向正確 持續的業務健康體檢,促進業務蓬勃發展 4.6 機器數據治理賦能組織價值 隨著數字化轉型的深入,管理者越來越重視對數據資產的開發和利用,希望通過對機器數據的治理,將海量、分散、異構的數據進行整合治理,實現數據價值開發。 在故障管理上,通過對數據的智能分析,準確識別故障與根因定位,降低 MTTR,減少系統故障對業務帶來的經濟損失; 在資源使用上,通過對容量的監測及分析,實現資源的合理化分配,避免資源浪費,有效控制并降低成本支出; 在業務運營上,通過對機器數據的洞察與分析,實現業務運營分析,輔助業務運營決策,推動業務

114、持續健康發展; 在合規與審計上,遵從法規要求,加強數據管理合規性,提升數據審計的效率、質量、頻率; 機器數據每時每刻都在大量生成,然而機器數據的價值確未能被充分識別和利用,究其原因主要包括以下幾個方面: 數據量大且分散,獨立存在于各個系統中; 缺乏有效的工具對各類機器數據進行采集; 各類機器數據格式差異大,缺乏標準化,難以對數據進行解析; 缺乏有效的技術手段對機器數據進行分析應用; 55 / 63 為提升機器數據治理 ROI,釋放機器數據價值,結合當前機器數據現狀,組織需結合業務戰略及目標,加強技術探索及應用,在機器數據的采集、治理及應用上進行體系及能力建設,實現對機器數據端到端的全生命周期管

115、理,打造數據驅動型組織。 明確機器數據管理目標,制定機器數據管理制度和流程 優化、完善監控手段,加強對機器數據的采集能力 建設機器數據治理平臺,具備對海量實時數據的即時數據處理能力 通過對數據的整合、清洗及標準化,推進數據資產化 對數據進行統一規劃,建立數據的分類管理及指標體系 遵從組織數據安全管理規范,加強數據安全管控 加強智能化能力建設,促進在合規與審計、運維管理、業務運營等方面的數據消費場景應用 56 / 63 第 5 章 全域數據治理加速數據驅動 5.1 從數據治理轉變為業務洞察力 經過全域數據治理后,提升了數據質量和可訪問性。讓數據產生更大的價值,還需要重視從數據治理轉變為業務洞察力

116、。從歷史上看,數據治理一直關注數據安全、保護、管理和控制,以及支持合規性要求所需的流程。與今天的其他一切類似,數據治理正在發生轉變。 當然,它將繼續做好原來的數據治理需求并推行數據質量標準,但其主要重點將轉向致力于確保用于分析功能的數據優化,在數據優化的實踐中為組織提供價值。 隨著組織繼續高速發展,擁有前所未有的速度獲取和存儲大量數據的能力,數據增長和復雜性的上升逐年加速。對于所有這些數據,確保其準確性、可發現和可訪問性是數據質量流程的核心,也是分析流程的成功關鍵,旨在向組織股東和高級管理者提供業務洞察力。 龐大的數據量以及如何驅動數據價值可能會令人乏力,所以業務洞察力最好從高質量的數據中創建

117、,這些數據可以很容易地被授權用戶及時引用。然后,它會變得像承諾、支持和專注于實現關鍵業務功能的最高質量數據一樣容易。 提高這些關鍵數據資產的質量首先要對業務具有最大影響的數據進行優先排序,并制定一個和內容一致的參考數據標準,并在組織內的不同業務線中使用。 只要關鍵系統是井然有序的,數據質量問題就必須跨越多個組織中的數據源。但要注意并非所有數據都是平等對待數字化環境中缺乏擁有者的數據、處于休眠狀態多年或已被其他記錄系統取代的數據是從被移除的主要選擇,余下的部分都應該與業務有切實的相關性,并符合數據質量標準。 分公司、部門和業務線獨立運營已逐漸為既成事實這是支持敏捷性和快速響應不斷變化的業務需求的

118、必要條件。 通過跨部門和組織邊界管理實現治理高質量數據的一致性,同時實現從數據治理到業務洞察力的轉變。 僅靠技術無法解決數據質量問題,再多的機器學習也無法在半夜神奇地清理人工生成的數據。 人們必須參與數據治理流程他們必須參與其中并牢記管理責任。全域數據的治理只有結合先進的技術,支持正確的流程,由個人及業務驅動,才能真正將受治理的數據轉變為具體的業務洞察力。 5.2 為 CXO 提供數據治理的支持 為 CXO 提供數據治理支持始于 CXO 為數據治理提供支持和保障。數據治理首先需要公司管理層支持,并注重組織建設,即一把手掛帥,保證組織有執行力。 57 / 63 組織數據治理策略必須在 CXO 級

119、別建立和驅動,具有領導支持自上而下的治理方法,這種支持方式可說服不同意見利益相關者,可成為在組織范圍內讓多方達成共識的必要力量。 是否具有強大的 CXO 支持,這種差別可在一個混亂的,不可調和的數據治理組織與一個在所有領域都一致性的實施平順數據治理的組織之間清晰可見。 避免使用最高管理層的行政權力來要求每個人都必須通過試圖擴大規?;蛟谒蓄I域同時實施治理計劃,這樣有可能造成混亂。最好的方法是采用迭代,并為管理者提供數據的更多控制權,以便對當前的挑戰或機遇采取明智的行動。 數據治理計劃離不開背后的管理者支持,同時也能為管理者帶來價值。 數據治理為執行管理層提供的一些價值包括: 更好的決策:在組織

120、過程和決策中,管理良好的數據更容易被發現,使相關方更容易獲得有用的見解。意味著決策將基于正確的數據,確保更高的準確性和整體信任。 更高的運營效率: 作為業務的一項資產, 數據治理流程不斷驗證數據的適用性和功能及其對業務的參考價值, 幫助這些管理者所負責的部門做出決策。 那些與部門特定相關決策制定也可依賴同類完整和準確的數據。 提高對數據的理解和關系:可以向管理者承諾,治理過程可以指出他們擁有哪些數據、存儲在哪里、如何使用、誰在使用它以及誰對它負責。 這種理解將提供轉化為對審計的及時響應、更有效的業務復盤活動以及防止數據損壞和泄露而采用更積極主動的方法。 監管合規性:無論是內部監管、行業或垂直監

121、管,還是由政府監管,數據治理都可確保和證明組織與監管要求中規定的規則保持一致。 商業價值: 提高運營效率和全域數據治理所有價值都會帶來另一個好的效果, 通過更快的決策和更確定的行動來幫助改善業務,提高收入。 全域數據治理為 CXO 提供較多價值,真正執行落地時需要管理層達成統一認識全域數據治理是成為真正的數據驅動型組織必經之路。 5.3 數字生態建設 全域數據治理還需要重視數字生態建設。大部分組織傾向于選擇生態豐富、能力領先的外部供應商,在數據治理方面建立長期戰略合作伙伴關系。數字化生態系統,是指包含一系列基于標準,規??勺兊挠布?、軟件、數字設備和服務,可系統地實現組織數字化,數據交流,以幫助

122、組織提高運營效 58 / 63 率。它是一組互連的信息技術資源,可以作為一個整體來工作。例如,數字化生態系統可以由供應商、客戶、貿易伙伴和第三方數據服務商組成。 數字化生態可重構產業鏈關系,優化資源配置,形成網絡結構下的短鏈模式,以高效的業務協同、數據協同、要素協同,實現價值共創、利益共享。對于產業鏈上游,數字化生態助力組織實現智能化供給,保證產業鏈供給安全;借助數字化生態下各組織的知識共享、技術共享、產能共享、訂單共享、員工共享等多種數字化模式創新,實現優化資源配置,提升競爭優勢;對于產業鏈下游,數字化生態打破生產與終端用戶相互割裂的狀態,將生產、商業、消費、社交有機融合,借助數據分析和治理

123、優化產品設計、產能投放,精準匹配用戶需求,提高有效供給。 要實現數字化生態必須要充分發揮海量數據和豐富應用場景優勢,促進數字技術與組織業務模式深度融合,賦能組織的傳統業務模式轉型升級,催生新產業、新業態和新模式。在組織進行海量數據和豐富的應用場景進行有效優化提升和最大價值挖掘的過程中,需要整合專業技術與專業服務能力的生態伙伴深度參與到數據治理活動中來,并將汲取各行業的最佳實踐、先進技術為組織所用。數據治理是長期且系統工程,通過建立長期的伙伴關系,可以彼此深入業務,共同面對挑戰,更有效的實現數字化生態的建設。 5.4 數據驅動文化打造 我們認為數據驅動文化是組織全域數據治理能否持續的關鍵因素。數

124、據驅動文化(Data-driven Culture)的定義非常簡單,其實就是通過數據驅動決策(Data-driven Decision Making,簡稱DDDM) ,即憑借數據事實或數據模型來制定決策或戰略計劃。但正是這看似簡單的理論,卻能給組織帶來巨大的收益: Forrester 的調研則表明,那些通過分析數據來獲取洞見并且做決策的組織,其增長速度比那些拍腦袋做決定的公司要快整整 8 倍。 MIT 的教授 Erik Brynjolfsson 發現著重于數據驅動文化發展的公司,其盈利情況比那些拍腦袋做決定的公司要高 5-6%。 嗅覺靈敏的頂級組織已經清晰地意識到,數據治理不再僅僅是一項成本支

125、出,而是能帶來巨額利潤的生產力,不僅是業務和利潤的增長,IDC 的研究調查表明,擁有數據驅動文化的公司,在客戶滿意度,產品上市時間,工作效率和利潤上都遙遙領先。很多組織已經意識到數據中蘊含的價值,并愿意為了挖掘這些數據價值而做出各種努力和嘗試。但由于不知道搭建“數據驅動文化”的完整路徑, 59 / 63 難免走入彎路,時常陷入迷茫。付出大量金錢得到的經驗教訓讓人們意識到真正打造一個擁有數據驅動文化的組織確實不是一件容易的事。事實上,只有 8%的組織成功完成了向數據驅動文化的轉型。 打造了優秀的數據驅動文化的組織都具有以下特征: 組織所有員工都重視數據的重要性; 各部門的數據透明,無縫協作; 組

126、織員工都能在需要時無障礙地獲得數據支持; 組織數據處理響應速度快(數據的即時治理能力強) ; 會通過數據分析和治理探索商機,優化公司現狀; 通過深度挖掘數據,獲取創新 idea; 數據是組織戰略的核心,各部門基于數據制定決策; 注重數據隱私條款和使用條款。 如何打造一家擁有優秀數據驅動文化的組織,以下是關鍵的必經之路: 數據成熟 規范組織的數據質量,有成熟的數據管理體系和統一的數據庫,這是數據驅動文化的基石。 打造數據驅動領導力 數據驅動領導力是一個非常重要的部分,因為組織的改變以及文化的轉型,不是一兩個部門或者僅靠基層員工的努力就能推動的。組織的決策層和管理層才是推動組織文化發展的核心。只有

127、當決策層在制定組織的戰略時,堅定地將建設數據驅動文化列入其中,并且管理層把數據視為公司的重要資產,并且鼓勵、推動員工依賴數據做決策,才可能真正迎來組織層面的變革。 培養組織內的數字化人才 組織需要既懂業務又懂數據的人才,這種類型的復合型人才非常急缺,在無法招聘到合適人才的情況下只能自己培養。擁有數字化人才,意味著組織內關鍵人員都具有了一定的數據理解和分析能力。該階段的組織,會通過下面的形式進行業務決策: 60 / 63 當某個團隊遇到問題、面臨抉擇的時候,大家不會急著拍腦門做出決定或發表見解,而是有意識地想要去找尋可以支持決定的數據。 團隊內所有人都有“在極短的時間內”就能獲取這些數據的方法。

128、 基于數據的決策流程 組織的數據底層建設很難一步到位,覆蓋到所有方面。當決策流程中的每一步都需要依賴數據分析的時候,就需要更加多元的數據來支持??赡茉械臄祿S度已經不能滿足所有的業務需求,需要回到數據成熟的基石中進一步去擴充、完善數據體系。 所以打造數據驅動文化不是一蹴而就,而是螺旋上升的過程。隨著發展進程,業務的需求會反向促進數據底層的建設。 61 / 63 全域數據治理的十大關鍵 組織出于各方面原因采用全域數據治理方式,選取一種有效且適用于組織的治理模型,可以使數據在訪問性、可信度、可理解性及保持活躍度得到提升,將會帶來以下十大關鍵價值: 對于監管和法規遵從,全域數據治理能力非常關鍵 全

129、域數據治理通過建立和遵循數據質量標準,降低了風險以及不正確決策(基于錯誤數據)所帶來的意外成本,同時也有效確保了嚴格遵守監管和法規遵從的規范。 以業務為核心開展數據治理工作 從業務規劃開始就進行標準前置判定,業務迭代牽引治理規則的改變。從源頭開始控制,以助力業務發展為目標,將數據治理工作貫穿業務發展的全過程,實現數據的長治久安。 領域認知智能保障 IT 與業務對治理的理解保持一致 通過領域認知智能驅動構建各領域知識圖譜,讓 IT 部門快速理解業務,主動發現業務問題,并與業務部門保持在同一個頻道,徹底解決數據治理痛點難點問題。 即時數據治理保持數據一致性確保了完整性和精確性 這是可信賴的數據基礎

130、,也是不斷改進流程模型、數據類別定義、數據分類和組織定義的基礎,所有業務決策都將基于這些定義。 分析和決策基于定義明確且準確的數據 全域數據治理指導數據通過數據鏈條的結構和流動,尤其是在分析過程中。治理確保組織數據獲取機制設置為收集需要的數據,并在業務線的策略和更大組織的戰略目標之間達成一致性。 基于事實的實時決策貫穿整個組織 全域數據治理是確保數據真實性的關鍵,這反過來又為數據用戶建立了實現決策實時目標所需的信心。 數據信心鼓勵分享見解 擁有以數據驅動為中心的組織文化只有在數據完整準確的情況下才能鼓勵共享信息和見解。全域數據治理可對業務帶來很多幫助,因為治理過程需要整個組織分享來自不同地方數據和見解。 62 / 63 全域數據治理促進協作和建立問責制 根據標準化規則或策略來管理和控制數據的使用和適當維護,可以消除系統中的低效率,促進業務部門之間的協作,并更大程度建立數據擁有者問責制。 數據基于其參考價值保持干凈和相關性 存儲的數據質量與業務相關性非常重要。全域數據治理方法使每個人都是數據的管理者,負責保持數據的良好狀態。 全域治理的數據為組織提供競爭優勢 整個組織中,無論數據是集中還是分散,當它得到有效的管理和控制時,獲得有價值的賦能、驅動運營和創新的過程都更容易實現。

友情提示

1、下載報告失敗解決辦法
2、PDF文件下載后,可能會被瀏覽器默認打開,此種情況可以點擊瀏覽器菜單,保存網頁到桌面,就可以正常下載了。
3、本站不支持迅雷下載,請使用電腦自帶的IE瀏覽器,或者360瀏覽器、谷歌瀏覽器下載即可。
4、本站報告下載后的文檔和圖紙-無水印,預覽文檔經過壓縮,下載后原文更清晰。

本文(愛數:全域數據治理白皮書2022(62頁).pdf)為本站 (滄海一笑) 主動上傳,三個皮匠報告文庫僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對上載內容本身不做任何修改或編輯。 若此文所含內容侵犯了您的版權或隱私,請立即通知三個皮匠報告文庫(點擊聯系客服),我們立即給予刪除!

溫馨提示:如果因為網速或其他原因下載失敗請重新下載,重復下載不扣分。
客服
商務合作
小程序
服務號
折疊
午夜网日韩中文字幕,日韩Av中文字幕久久,亚洲中文字幕在线一区二区,最新中文字幕在线视频网站