5-4 基于元數據智能治理的電力數據要素價值挖掘.pdf

《5-4 基于元數據智能治理的電力數據要素價值挖掘.pdf》由會員分享，可在線閱讀，更多相關《5-4 基于元數據智能治理的電力數據要素價值挖掘.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、基于元數據智能治理的電力數據要素價值挖掘黃祖源 云南電網有限責任公司信息中心|01成果背景02成果內容03成果價值04典型應用案例目錄 CONTENT|01成果背景自十八大以來，從國家發展到南網數字化轉型都對數據治理提出了明確要求，數據治理已經成為釋放數據要素價值、占據國際數字競爭制高點的迫切需要。|數據要素國家治理體系是指統籌數據要素流通與應用的一系列相互關聯、相互協調的制度安排，體現在國家、行業、區域、企業、個人等不同層面，涉及科技、產業、社會等不同應用領域以及數據采集、存儲、加工、分析等不同管理階段。構建數據要素國家治理體系不僅是我國推進國家治理現代化的迫切需要，而且是我國釋放數據要素價

2、值、占據國際數字競爭制高點的迫切需要。背景PROJECT BACKGROUND 黨的十八大以來，以習近平同志為核心的黨中央高度重視數字化發展，明確提出建設數字中國。2022年6月22日，習近平總書記在主持召開中央全面深化改革委員會第二十六次會議時強調，促進數據高效流通使用、賦能實體經濟，統籌推進數據產權、流通交易、收益分配、安全治理，加快構建數據基礎制度體系。會議還審議通過了關于構建數據基礎制度更好發揮數據要素作用的意見。數據要素國家治理體系是指統籌數據要素流通與應用的一系列相互關聯、相互協調的制度安排，體現在國家、行業、區域、企業、個人等不同層面，涉及科技、產業、社會等不同應用領域以及數據采

3、集、存儲、加工、分析等不同管理階段。構建數據要素國家治理體系不僅是我國推進國家治理現代化的迫切需要，而且是我國釋放數據要素價值、占據國際數字競爭制高點的迫切需要。國家發展方向 南方電網公司明確提出了建設“數字電網”和數字化轉型的目標，進一步強調了強化數據資產管理，挖掘數據資產價值，落實國家大數據發展戰略的戰略舉措，這些都要求夯實數據治理基礎，通過加強元數據管理、數據標準管理、數據質量管理等數據治理工作，為開展數據資產管理創造良好的戰略環境和制度基礎，也為促進數據價值釋放打好數據基礎。南方電網發展方向|數據治理面臨的問題-痛點分析PROBLEM STATUS數據定義管理數據標準管理：內外部不同來

4、源的業務數據，其數據標準存在不一致的情況；其次是隨著業務變化而發生的數據標變化，無法及時更新對應的數據治理規則。元數據管理：電力企業主要針對結構化數據的技術元數據實現了自動采集，而通過管理手段完善管理元數據和業務元數據。此外在非結構化數據的元數據管控上處于起步階段。數據質量治理數據質量管理：數據質量規則清單主要依賴于人工經驗梳理和維護，目前情況下只能覆蓋核心業務和部分常規業務，對于新興業務和外部業務覆蓋率仍有待加強。質量問題分析：在對數據問題進行分析時，無法完全擺脫對業務專家的依賴，在支持基層業務人員開展治理時，服務質量有待提高。知識沉淀數據治理知識管理：元數據、數據標準、數據質量規則、問題數

5、據分析結果、整改指引、整改經驗等方面的知識獨立積累，數據治理知識未能全面有效地形成體系。傳統數據治理過程多源異構數據的數據定義與標準不統一，數據覆蓋不全傳統數據治理問題數據治理過程缺乏自動化和智能化手段，效率較低數據標準和數據質量規則的時效性無法保障治理專家知識未能有效利用，問題發現效率不高數據治理知識融合程度低，無法多維度的查詢和展示關聯信息 在大數據時代，傳統的數據治理手段已無法應付治理過程產生的問題，例如多源異構數據的獲取和定義、數據治理效率、標準和規則的時效性、治理知識的利用率、多維治理知識的融合等問題。|數據治理-智能化是發展趨勢DEVELOPMENT TREND增強型數據管理利用M

6、L（機器學習）和AI（人工智能）技術優化并改進運營。它還促進了元數據角色的轉變，從協助數據審計、沿襲和匯報轉為支持動態系統。增強型數據管理產品能夠審查大量的運營數據樣本，包括實際查詢、性能數據和方案。利用現有的使用情況和工作負載數據，增強型引擎能夠對運營進行調整，并優化配置、安全性和性能。在面臨上述問題時，如果還是依靠傳統”人海戰術“的數據治理模式，將無法適應業務數字化轉型的要求。因此，云南電網在實踐中嘗試通過自動化和智能化的數據治理手段實現基于元數據的智能治理，深挖電力數據要素價值，“以智促質、以質增值”。在Gartner 2020年發布的“數據與分析領域的十大技術趨勢”中給出了這樣的預測智

7、能化技術的發展驅使數據治理變革！知識圖譜技術知識圖譜技術智能分析技術智能分析技術智能識別技術智能識別技術支持對文檔、圖片、音頻、視頻等的元數據識別支持對業務數據進行智能數據標準挖掘根據元數據、標準和數據的變化情況的智能分析，并自動更新規則。根據治理案例庫知識，根據規則執行結果智能分析問題原因?；谠獢祿?，自動提取元數據相關的關聯信息構建治理知識圖譜“智能數據治理-目標TARGET|02成果內容云南電網基于元數據的智能治理經歷理論研究、平臺建設、場景應用三個階段，從“治理知識圖譜化”、”元數據自動化管理”等五個關鍵方向進行突破。|實現路徑TECHNOLOGY ROADMAP統一大數據治理體系研究

8、01基于數據治理智能化技術的平臺建設02數據治理智能化技術應用場景03治理知識的圖譜化構建研究元數據自動化管理技術研究數據標準自動生成技術研究數據規則自動生成技術研究數據質量問題智能分析技術研究知識圖譜構建元數據管理數據標準生成應用場景方案平臺建設場景應用|為實現“以智促質、以質增值”的目標，云南電網公司通過對治理理論體系的研究提出了”治理知識圖譜化“等五個改進點，打造數據治理智能化技術的平臺建設，以應用場景實現價值挖掘，初步探索了一條智能化數據治理的前進方向。數據規則生成數據問題智能分析|基于元數據的智能治理體系INTELLIGENT GOVERNANCE SYSTEM面向數據治理的電力知識

9、人工智能算法體系業務應用云電貸彩云充一部手機辦事通元數據智能采集實體/關系抽取數據挖掘數據治理知識圖譜（面向數據治理的電力知識庫）元數據管理數據標準識別數據標準挖掘標準智能落標質量規則自生成質量規則自適應質量問題智能分析質量規則自動評估質量問題治理案例智能推薦知識反饋質量規則執行策略數據質量報告質量治理案例庫元數據質量評估數據標準管理業務標準智能生成元數據動態標簽生成數據質量檢查基于數據抽樣的質量檢查基于數據挖掘的質量檢查質量問題處理質量問題根因分析冗余數據發現基于信標機制的數據自動化稽核概念動態映射知識挖掘特征分布、特征聚類數據修復推理決策本體映射本體對齊自然語言理解、生成數據特征識別算法數

10、據特征抽樣數據挖掘算法哈希算法機器學習深度學習冗余計算認知計算概率計算 基于元數據的智能治理體系主要分為兩層，一是基礎數據治理底層技術服務能力，基于機器學習、自然語言處理、智能算法等技術能力，面向電力數據治理問題所構建的基礎技術服務能力。二是智能數據治理框架，在應用數據治理技術服務能力的基礎上，根據治理應用需求搭建的智能數據治理平臺?；A數據治理底層技術服務能力服務數據智能數據治理平臺|技術實現思路-多源異構數據的元數據智能識別TECHNICAL REALIZATION IDEAS多源異構數據不可知企業管理者業務人員有什么數據可以用？業務含義是什么？數據資產不清晰電力新能源銀行客戶服務提供元數

11、據自動化和智能化技術，為跨域數據的數據構建統一的元數據模型，統一數據的含義描述，為數據治理打好基礎。應用價值智能化思路傳統思路元數據智能識別統一元數據模型元數據自動補充技術亮點 通過構建多源異構的元數據模型，將企業內外部數據的元數據基于業務對象進行重新組織；利用元數據智能識別，在技術元數據基礎上提取完善業務元數據和管理元數據，構建結構統一、維度多樣的數據資產目錄。構建統一的元數據模型，支持多源異構數據的元數據智能識別傳統流程傳統流程傳統流程基于智能化技術構建元數據管理業務流程技術實現思路-構建數據治理知識圖譜，實現多元數據知識的融合IMPLEMENTATION SCHEME 以識別的技術元數據

12、為枝干，自動采集“元數據與標準、標準與規則、規則與治理案例、規則與質量問題、元數據之間的父子關系”等信息形成樹葉，構建具備實體、關系、屬性等信息的治理知識圖譜，以此圖譜作為整個智能數據治理的基座和核心。|數據融合程度低企業管理者業務人員這個規則所引用的標準？這個元數據的標準是？數據關系無法建立元數據規則標準治理案例實體/關系/屬性/抽取元數據標準規則治理案例智能落標，建立元數據與標準關系根據標準，生成質量規則，抽取標準與規則關系根據規則執行問題情況，智能推薦治理案例，抽取其關系元數據之間的父子關系，比如庫表與字段的關系。以技術元數據為基，通過多元的關系數據，構建統一的治理知識圖譜|技術實現思路

13、-通過智能化技術，實現提標準和規則的自生成IMPLEMENTATION SCHEME工作效率低業務協作繁雜數據管理者業務人員數據源IT人員數據結果數據需求數據需求1000 years have passed電力銀行新能源減少人為的參與，提高數據治理工作效率。應用價值數據標準智能挖掘數據標準智能落標質量規則自動生成質量規則自動適應技術亮點基于元數據實現數據標準和質量規則自動生成，并支持規則的動態更新 基于治理知識圖譜，定位元數據對應的數據信息，通過對數據特征進行智能挖掘和識別生成數據標準；根據元數據與數據標準落標關系，遵循規則生成規范自動生成數據質量規則，將數據質量指標作為元數據的管理元數據反哺

14、、完善治理知識圖譜。知識圖譜基于元數據落標的數據標準基于數據標準變更基于元數據變更基于數據變化趨勢|技術實現思路-利用治理案例知識沉淀，實現質量問題的智能分析IMPLEMENTATION SCHEME數據不可控數據質量不高數據覆蓋范圍質量規則質量問題問題分析質量問題智能分析治理案例智能推薦技術亮點 結合云南電網數據治理所積累的知識庫，利用機器學習技術，訓練質量問題分析模型，根據數據質量規則的執行結果中質量問題的特征情況，通過算法技術計算特征的相似程度，自動的推薦問題分析原因，以及治理案例，使用戶通過治理知識圖譜能夠一站式查詢所有相關治理知識。根據學習治理案例問題特征，利用算法實現質量問題的快速

15、定位智能數據治理平臺OVERALL STRUTURE DESIGN采集存儲加工算法可視化大數據治理體系調度應用銀行數據其他外部數據電力數據統一元模型智能數據治理平臺大數據應用智能識別知識圖譜自動采集大數據應用場景元數據智能評分數據治理知識圖譜數據質量規則自動適應質量問題智能推薦元模型管理數據質量規則自動生成元數據智能感知元數據自動采集數據標準自動生成數據標準智能挖掘數字電網數據服務新能源數據云電貸一部手機辦事通彩云充平臺通過智能和自動化手段實現多源異構數據的治理，有效的支撐數據交互服務和大數據應用。通過多源異構數據，利用元數據的智能識別技術，實現元數據自動管理，并基于元數據構成，實現數據標準和

16、質量規則的自動生成，以及智能化的問題分析處理和治理知識圖譜的自動構建。智能治理平臺|關鍵技術-非結構化數據的元數據智能感知技術TECHNOLOGICAL INNOVATION 通過對業務對象非結構化數據的識別，利用自然語言處理、圖像特征識別、語言識別、動態特征識別等智能技術，可快速對圖像、文檔、音頻、視頻等非結構化數據的元數據信息的分析和識別。|文檔圖片音頻視頻類型元數據技術元數據設備名稱設備類型設備參數業務元數據摘要關鍵字管理元數據歸屬部門算法識別類型元數據技術元數據設備類型業務元數據名牌參數管理元數據管理人員OCR特征識別語言識別動態特征識別類型元數據技術元數據設備名稱業務元數據熱詞類型元

17、數據技術元數據設備名稱設備類型業務元數據名牌參數外部特征熱詞關鍵技術-構建電力元數據知識圖譜TECHNOLOGICAL INNOVATION 首先對業務系統數據庫采集技術元數據，構建知識圖譜原型；其次根據從技術文檔、規范制度、數據特征中智能識別的業務元數據和管理元數據，提取實體、關系、屬性等信息，不斷循環完善知識圖譜，形成體系化、一站式的圖譜。|技術元數據新能源設備表設備編號設備名稱業務數據庫采集管理元數據歸屬部門管理人員業務元數據名牌參數熱詞外部特征摘要智能識別設備編號設備名稱歸屬部門管理人員熱詞充電樁設備關鍵技術-數據標準智能挖掘技術TECHNOLOGICAL INNOVATION 通過在

18、數據治理知識圖譜中選擇業務對象的相關字段，可以在數據挖掘頁面可通過數據特征算法計算出該字段的數據類型特征分布情況，以此作為在業務發生變動時，對數據標準的變化感知和完善補充，重點強化對外部數據的元數據管控能力和數據治理能力。|步驟一：通過知識圖譜，選擇需要進行標準挖掘的字段元數據步驟二：自動定位到該字段，通過智能算法進行數據特征分析，可分析初該字段長度、枚舉值、值域等數據特征，最后人工確定后形成標準。關鍵技術-數據質量規則自生成自適應技術TECHNOLOGICAL INNOVATION 數據質量規則通過元數據的庫表名稱、字段名稱、數據標準的關系信息，利用規則生成引擎，對參數和標準信息按照規則腳本

19、規范進行組裝，形成可執行的SQL腳本。并支持通過感知元數據、數據標準和數據特征變化情況，進行自適應更新。通過這項技術實現普適性數據質量規則的生成，實現數據治理的全域覆蓋。|庫表名稱字段名稱數據標準規則模板規則腳本規范標準參數規則生成引擎規則生成參數信息提取Select*from 充電樁設備表 t where t.設備類型 not in(02,03,05,09)舉例規則列表關鍵技術-質量問題自動化歸因分析技術TECHNOLOGICAL INNOVATION 數據質量問題自動化歸因分析基于云南電網歷年積累的數據質量問題分析報告、整改指引等治理案例信息，采用基于特征相似度計算，分析匹配，形成最佳的綜

20、合治理建議推薦。以治理知識圖譜為基礎，實現通過元數據對數據治理相關所有信息的的統一查詢。|已標注的充電樁治理案例信息治理案例庫獲取標注數據根據充電樁設備類型規則執行的問題，匹配到充電樁治理案例03成果價值基于元數據的智能治理經過一年的實踐，已覆蓋銀行、新能源、客戶服務等應用場景，有效促進了電力數據要素價值挖掘與釋放。|實用性價值PRACTICAL VALUE15000+已管理的元數據4100+支持數據服務10+支撐大數據應用520+支撐應用場景623000+自動生成規則31000+處理數據問題 成果應用于云南電網公司智能數據治理平臺，為公司提供了全域數據質量輔助：通過1年的應用，在擴大元數據覆

21、蓋、解決多源異構問題、實現智能化管控等方面均取得明顯成效，治理后的數據交換服務已覆蓋銀行、新能源、客戶服務等應用場景，有效支撐大數據應用落地，促進了電力數據要素價值挖掘與釋放。|減少數據問題處理時間60%釋放全職人力工時50%93.899.7數據質量指數04典型應用案例通過基于元數據的智能治理，云南電網將治理數據與對外應用深度結合，實現了“云電貸”、“彩云充”等對外數據價值釋放的典型案例。|典型應用案例-云電貸SUPPORTING APPLICATION CASES 通過對用戶電力數據的元數據定義，以及元模型構建，給“云電貸”產品在數據庫設計和數據模型構建提供了極大的便利性，將應用落地推廣的時

22、間提前了半年，并率先在昆明、曲靖、玉溪三地同時落地推廣，并成功由用電客戶自主申請達成首單。1“通過智能化數據治理，云電貸產品所管理的數據得到大量治理，數據服務訪問的成功率從81.3%提升至95.7%，有效的支撐了“云電貸”數據增值服務的訪問，目前產品已有2118次訪問量。2信貸數據用電數據電力能源視角刻畫客戶信用畫像智能元數據數據治理企業信用評估算法模型用戶數據其他數據+累計對50余家云南中小微企業開展30余次的授信，成功放出貸款1000余萬元。典型應用案例-彩云充 通過對充電數據的分析和治理，將數據問題從8%下降到2%，支撐了新能源汽車及充電設施的實時數據統計服務，以及新能源汽車及充電設施一體化的大數據應用分析服務。1、數據服務支撐SUPPORTING APPLICATION CASES|通過對充電數據和電網布局數據進行協同治理，為充電樁精準定位和布局夯實基礎，解決新能源汽車用戶找樁難、充電難的業務困境。2、業務支撐 通過電網數據接口與其他平臺數據接口標準化的元數據統一定義，優化數據交互的兼容性。3、第三方支撐接入電動汽車25000余輛，充電站（點）800余個，充電樁（槍）9000多個，累計完成充電電量3000萬千瓦時以上。非常感謝您的觀看|