《8、水務數據治理探索與思考.pdf》由會員分享,可在線閱讀,更多相關《8、水務數據治理探索與思考.pdf(22頁珍藏版)》請在三個皮匠報告上搜索。
1、水務數據治理探索與思考水務數據治理探索與思考 阿里云 水務與環境行業總監 周朔(利澤)數據治理的目標萬物皆數萬物皆數-畢達哥拉斯畢達哥拉斯數字驅動的阿里巴巴電商阿里巴巴是一家數據的公司阿里巴巴大數據,在雙十一之前即可根據大數據預測結果,提前布局全國菜鳥倉貨物分配,在雙十一活動期間,實時洞察流阿里巴巴大數據,在雙十一之前即可根據大數據預測結果,提前布局全國菜鳥倉貨物分配,在雙十一活動期間,實時洞察流量轉化、訂單、庫存、物流等業務動向量轉化、訂單、庫存、物流等業務動向2020年雙十一是人類歷史上規模最大的社會化協同和機器智能的大范圍應用全球交易額4982億元,產生的物流訂單量達到23.21億單,峰
2、值交易達到58.3萬筆/s,AI調用量超51萬億次,核心系統100%上云,端側AI驅動個性化導購3.7萬億次阿里云One Data數據中臺全局決策中心數據化運營業務流程數據植入數據業務化面向應用開發統一數據服務中間件以以“業務業務/然對象然對象+萃取標簽萃取標簽”為架構構建為架構構建 消費者數據體系 企業數據體系 商品數據體系 地理位置數據體系交易營銷物流金融出行社交以以“業務板塊業務板塊+業務過程業務過程+分析維度分析維度”為架構構建為架構構建銷售業務營銷業務供應來鏈業務官網運營生產數據天氣 垂直采集垂直采集 購買購買數據資產管理數據資產管理智能數據開發智能數據開發資產概述資產地圖資產治理資
3、產應用資產運營數倉規劃模型構建指標規范數據同步數據開發任務調度監控告警垂直垂直數據中心數據中心公共公共數據中心數據中心萃取萃取數據中心數據中心大數據存儲和計算平臺企業互聯網架構企業互聯網架構I-I-PaaSPaaSEDASMQDRDSCSBARMS盒馬鮮生優酷高德淘寶天貓聚劃算天貓超市會員中心營銷中心交易中心資源中心發票中心支付中心結算中心物流中心Ali-Ware 業務中臺商業商業智能智能阿里雙中臺戰略協同打造阿里“智能商業”阿里數據中臺方法論OneDataOneID數據資產化OneService統一數據建設&數據資產化管理能力標準統一、資產而非成本統一實體(如:客戶、企業、商品、設備等)連接
4、識別與標簽畫像高效生產能力數據融通而非孤島存在統一數據服務能力復用而非復制數據 數據規范:數據標準化,指標體系數據建模:數據域,邏輯模型,物理模型數據管理:主數據,元數據、數據質量,數據安全數據共享:數據地圖,數據接口自助交互式分析:智能報表,整合分析豐富的算法庫:數據預處理,分類、聚類,關聯,預測標簽體系管理:靜態、動態標簽(算法標簽),標簽生命周期管理全景洞察:用戶畫像,商品畫像,商圈畫像精準營銷:人群篩選,智能推薦,廣告投放規則管理:業務規則配置,預警監控多來源:RDBMS,Hadoop,文本、接口.多結構:結構化、半結構化、非結構化多方式:批量、實時整合打通:IDMapping,整合統
5、一阿里數據中臺建設理念數據使用評估數據質量評估數據匯聚評估數據治理數據治理 成成果評估果評估評評互聯網 分析數據垂管部門數據公有單位采集數據物聯網 感知數據委辦 業務數據政務數據物聯網 感知數據應用數據工況數據匯聚全匯聚全量量異構異構數數據據匯匯業務人員數據管理員數據 開發者算法開發者運維 人員各級領導業務人員數據管理員數據開發算法開發運維 人員各級領導數據智能數據智能應用服務應用服務用用深度治理全面融合統一標準質量保障預處理數據治理數據治理融合貫通融合貫通通通全鏈路監控標準管理數據模型管理算法管理ETL過程管理標簽管理業務模型管理全量數據全量數據資產管理資產管理管管互聯網數據數據服務 算法模
6、型平臺算法模型平臺數據集成匯匯通通管管用用搭建2大平臺工具針對XX個數據域實施8項數據治理任務XX萬遠傳水表XX塊監測表計數千臺設備XX座水廠XX座泵站XX km管網每天上傳XX萬條實時數據實時物聯營收服務類:營銷系統熱線系統工單系統協同辦公類:OA、人力系統財務、采購系統合同、法務系統生產運維類:管網巡檢、廠站生產泵站調度、二供管理設備資產、工程建設接入XX個業務系統業務系統化驗數據污泥數據車輛數據手工填報XX個表單接入XX個系統:XX類官方互聯網數據:氣象數據、高德地址外部數據XX個局委辦系統:水務局、交通、城管、GIS數據遙感測繪三維模型空間信息XX個對象建設1個數據資產管理平臺大數據計
7、算引擎、大數據研發工作臺集團統一數據資產平臺實體建模拓撲構建數據指標數據質量數據安全調度監控通用域組織域原水域供水域排水域污水域設備域營銷域客服域化驗域財務域安全域垂直數據中心(ODS)公共數據中心(DWD/DWS)萃取數據中心(ADS)企管風控主題 KPI考核主題 調度模型主題 營商服務主題 接入的各系統貼源層數據數據資產管理數據資產目錄 數據血緣 元數據管理 數據估值 數據運營 已建系統作為數據源加強實時物聯監測融合更多外部數據統一PC門戶+綜合大屏展示+移動協同平臺統一3端展示統籌4類智能場景統一1個算法平臺智慧生產調度平臺生產監管一張圖多源調度、水質預警與溯源風險診斷預警應急協同生產異
8、常識別供水控漏調壓、水量預測污水綜合調度、廠網一體智慧水廠DTwin孿生耗用優化預測維護智慧管控決策平臺數據駕駛艙BI分析知識管理人資圖譜績效跟蹤雙碳智慧服務平臺坐席知識庫在線機器人地址標準化客戶畫像智能客服數字人實時數據清洗 異常識別指數 爆管分析 管網水力模型診斷算法水量預測仿真控制地址標準化標簽智能識別云小蜜調度模型水務數據中臺實踐架構建設集團統一數據資產體系業務系統業務系統IOT系統系統目前擬接入20個廠站廠站納管26+2套系統消息隊列(Kafka)數據引入(Dataphin)數據集成與ETL數據治理ODS(操作數據層)營銷熱線財務調度監控運營報表GIS物聯網面向業務、數據定義(維度數
9、據、事實數據)DWD(明細寬表層)客戶主題營收主題生產主題面向使用、數據域DWS(公共匯總數據層)數據分析、平衡空間與時間、平衡成本與效率ADS(應用數據層)節能降耗全量/增量CDM(通用數據模型層)數據服務數據應用決策場景客服場景監管場景調度場景應急指揮場景服務類:營銷系統客服熱線生產類:管控類:財務系統組織人力泵站遠程監控二供監管系統GIS系統調度監控系統運營報表系統管網綜合管理外部對接:海綿城市城運中心漏損分析客戶服務數據資產的價值思考2023年10月25日國家數據局國家數據局正式掛牌成立2023年10月1日起由財政部委托中國資產評估協會發布的數據資產評估指導意見數據資產評估指導意見正式
10、實施:2023年8月21日財政部發布企業數據資源相關會計處理暫行規定企業數據資源相關會計處理暫行規定,于2024年1月1日起實施;2022年12月19日發布中共中央中共中央 國務院國務院關于構建數據基礎制度更好發揮數據要素作用的意見關于構建數據基礎制度更好發揮數據要素作用的意見即“數據二十條數據二十條”2022年6月22日中共中央習近平總書記主持深改委會議審議通過關于構建數據基礎制度更好發揮數據要素作用的意見關于構建數據基礎制度更好發揮數據要素作用的意見數據作為新型生產要素,對土地、勞動力、資本、技術等生產要素具有放大、疊加、倍增作用,正在推動生產方式、生活方式數據作為新型生產要素,對土地、勞
11、動力、資本、技術等生產要素具有放大、疊加、倍增作用,正在推動生產方式、生活方式和治理方式的深刻變革。和治理方式的深刻變革。數據資源化數據資源化數據資產化數據資產化數據資本化數據資本化做加法:價值實現做乘法:流通交易數據聚集到一定規模形成資源數據可應用、價值可計算成為新的生產資料和資本市場要素數據治理數據治理場景應用場景應用多源融合多源融合數據服務數據服務市場市場交易交易采集接入數據存算數據建模數據標準數據質量數據安全數據供應供水漏損節能降耗環保提升內澇治理管理效率外部數據融合多場景運營產品封裝價值輸出成本法成本法市場法市場法效益法效益法場景穿透三權分置三權分置:數據源持有權數據加工使用權數據產
12、品經營權分類分級分類分級:公共數據、企業數據、個人數據數據資產運營方法論大圖數據資產盤點與上架資產規劃數據資產價值評估運營引擎資產推廣與消費推廣手段 運營監控 質量評價 安全評價 使用評價 成本評價 組織確權 推廣策略 激勵考評 資產消費轉評評價引擎評價引擎盤資產規劃資產規劃資產推廣資產推廣資產下架、優化優化手段優資產優化資產優化 資產盤點 資產上架 資產目錄 資產屬性 問題識別 資產下架 資產優化數據資產運營共享平臺資產全景資產目錄資產消費資產運營資產評價資產運營四步驟:資產規劃、資產推廣、資產優化、資產評價;通過“以評促管,以管促用”形成持續運營閉環。水務數據治理成果舉例QB-CQWG-0
13、414.1-2020數據集成標準3冊數據集成標準自來水廠標準污水廠標準QB-CQWG-0413-2020數據標準10冊數據模型分類與代碼人力資源域營銷域QB-CQWG-0415-2020分析指標標準體系1冊QB-CQWG-0416-2020數據交換與共享規范1冊管理制度1套27文件安全規范1套54文件8 8套套標準與制度大數據標準:6 6 套套管理制度:1 1套套安全規范:1 1套套標準文檔大數據標準:1717個個管理制度:2727個個安全規范:2727個個7171份份66660 0個個水務行業指標排水原生指標:269269個個排水衍生指標:4646個個供水原生指標:293293個個供水衍生指
14、標:5252個個設施:3978個監測點:5773個已接入廠站127座涵蓋集團、分公司,包括營銷、管網、客服、生產管理等已接入業務應用系統44個支持4類對象填寫日報、月報約:22套數據填報系統1套數據標準數據采集數據治理數據主動分發推送數據API接口:400+個數據消費方:大數據應用數據接口服務數據拉取數據消費方:市排水、衛生局DWSDWDODS原生指標業務域衍生指標業務域ERP財務企業運營業務營銷服務業務生產運營域客服系統營銷系統市自來水兩江報裝系統市自來水兩江生產運營系統供水/排水GIS市自來水兩江DMA市自來水兩江水質系統智能巡檢二供系統電磁表系統稽核系統人力數據域人員數據機構數據職位數據
15、客服數據域停水數據話務數據工單數據營銷數據域用戶數據片區數據抄表數據繳費數據票據數據報裝數據供水生產數據管網基礎數據管網分區數據制水能耗數據供水水量數據生產巡檢數據二次供水數據排水生產數據管網基礎數據能耗數據水量數據污泥數據生產巡檢數據設備設施數據設備數據設備維護數據設施數據在線數據質量環境數據水質數據氣象數據1X個數據域數千數千張張數據表X X00+00+數據服務水務數據資產體系建設成果舉例重慶水務大數據輔助決策系統移動端(生產運營移動BOSS)PC端(決策支持)大屏端(大數據可視化展示)業務主題分析實時生產監控告警管理實時指標告警分析指標告警告警規則配置告警通知推送告警恢復處理績效評價供水
16、績效評價排水績效評價客戶服務營銷報裝供水運營生產安全排水運營告警事件供水設施分布排水設施分布供水監控排水監控3級業務視角集團級視角公司級視角廠所級視角數據變現能力提升業務創新(信息賦能)提速現有業務效率(信息高效順暢)運營精細化管理(信息發掘)運營評價體系落地宏觀運營掌控效率提高、精細化分析1.公司、水廠兩級機構自動綜合評分2.供水、排水兩級業務板塊的綜合評分三端建設完成1.大屏建設完成,已多次接待相關單位2.已支持按需通過PC、移動自由使用系統微觀運營分析,分析生產原因全面的預警告警1.年度、月度數據已自動生成2.完成了對生產、耗用等主題深入鉆取1.公司、廠已通過手機、PC了解實時生產狀況2
17、.廠里已能追溯事件、工藝數據、異常分析原因1.已支持在線生產數據異常告警2.已支持對領導關心的統計分析指標進行預警告警OA打通大數據輔助決策平臺建設成果舉例4類水務數據智能應用場景智能調度智能水廠智能管控智能服務數據決策支持BI報表分析解決痛點:集團難以掌握下屬單位生產全貌;日常統計匯總上報工作量大、時間長、誤差率高;集團規劃、企管、風控決策易拍腦袋。解決痛點:海量監測數據靠人工查看,發現問題不及時、效率低,解決處置純靠人工經驗;各分公司、子領域各管一攤,需要居中統籌、統一調度,沒有抓手、缺乏依據;數據家底不夠清,供水、排水體系性調度模型建立難、更新難、預測難。統一數據底板實時異常識別與預警模
18、型云化加速一體化協同調度解決痛點:城鎮供水、污水廠年運行成本近千億,電耗藥耗占60%,需智能調控降本增效;廠站生產管理粗放,期望自動化、精細化、規范化。解決痛點:面向公眾的服務方式較傳統,期望更主動化、精準化;優化營商環境,提升服務效率和質量;打造水司高價值品牌。DTwin數字孿生數理驅動精準控制客戶畫像標簽地址數據服務典型案例:數據驅動的供水協同二次供水水源地管網供水終端水質實時監測二供泵房、水箱水質監測、設備運行狀況感知管網水質、壓力實時在線監測,設備運行狀態實時采集泵站設備運行狀態實時感知,水質水量數據采集與在線監測化驗室水質指標公開出廠水質和壓力實時監控對內:建立供水全鏈條生產運營考評
19、體系,對示范區范圍內供水全鏈條生產運行情況進行監督和考評;對外:建立供水服務品質的評價標準,通過數據化的品控體系,全面掌握從源水、制水、供水管網到小區二次供水的品質指標,尤其是終端客戶明顯感知的指標,如水質、水量狀況等。全程數據追溯和展示全鏈路業務協同及智能管理自動偵測事件在地圖上出現報警異常事件,示范區某個位置的管網可能出現爆管形勢研判&預案根據算法對形勢的研判,爆管事件判定為嚴重級別,自動觸發搶修程序應急協同指揮系統自動觸發應急預案,提示指揮人員當前應當采取的措施,指揮人員一鍵確認發起應急聯動跨部門協作算法加持的智能調度結合管網水量壓力的實時數據,自動生成調度計劃,經過調度人員的確認后數據
20、直接推送到相關系統,并通知水廠、泵站和供水公司相關負責人。事件恢復持續跟蹤流量、壓力和水質的變化,現場處理的進展和視頻畫面,在地圖上可視化展示評估總結應急處理的全過程形成處理報告,在知識中心中存檔,供復盤總結和學習使用協同化:通過能力中心基于多業務場景的復用,實現水務全業務鏈的業務支撐能力共享,達成水務的一體化協同管理;智能化:以全程數據追溯為基礎,結合數據分析、算法等數據能力,實現水務全鏈路的智能化預測、分析、運營管理;事件預警通知應急搶修智能調度協同處理制水廠客戶服務事件自動通知及恢復預測維修部門典型案例:供水管網智能調度95%98%需水量預測準確性調節池液位預測準確性后續會根據系統預測結
21、果,及水泵啟停建議執行業務操作,推動系統模型進一步優化,逐步磨合形成新的、更優調節策略,考慮逐步實現自動調節。水泵啟停建議已得到現場作業人員的認可典型案例:快速搭建城市供節水管理平臺確認需求后一個半月上線生化池(二期)生化池(一期)鼓風機房閥門閥門AI引擎風機調節策略二沉池水質指標/溶氧指標水質指標/溶氧指標閥門狀態/開度閥門狀態/開度風機工況/導葉開度流量與水質指標人工調節經驗:1.。2.。典型案例:基于數理模型的污水輔助決策用于訓練模型的觀測數據包含:生化池溶解氧(DO),好氧段NH4和NO3;輸出(二沉池)流量與總氮、鼓風機工況、導葉開度、閥門開度等;充分結合人工調節經驗(作為特定場景的
22、限制條件),生成智能策略控制曝氣風機,在降低輸出總氮的前提下盡可能降低能耗。已部署于水土水廠,當前已投入應用,基于數理的模型在工藝調整后快速適應到位。能耗節省8%12%,出水水質更加穩定。核心邏輯當前狀態雷達望遠鏡顯微鏡構建基于機器學習的雨污混接、外水入侵、管網淤堵、水量異常事件的動態識別系統:全天候發現管網運行疑似問題,提升管網養護、修復工作效能。典型案例:排水事件智慧引擎水務數字化轉型所處階段自動化u 首要解決生產需求首要解決生產需求數字化智慧化u 一切業務數據化一切業務數據化u 數據成為主要資產數據成為主要資產u 逐步運用數據輔助逐步運用數據輔助決策、指導生產、決策、指導生產、實現精細化
23、管控與實現精細化管控與降本增效降本增效u 依托數據與智能化手段,依托數據與智能化手段,全面支撐管理管控、專業全面支撐管理管控、專業運營、業務拓展等運營、業務拓展等u 追求效益、效率、質量、追求效益、效率、質量、創新綜合發展創新綜合發展信息化u 一般按照部門職能一般按照部門職能建設信息化系統建設信息化系統u 重點解決業務流程重點解決業務流程上線及有形資產的上線及有形資產的管理管理水務企業數字化轉型阿里云與水務行業的最佳組合強強聯合打造新時代的數字化水務水務數字化水務集團阿里巴巴水務數據資產水務釘智能化示范應用行業經驗AI算法+算力水務+環境主要承擔城鄉供水、排水管網、污水處理并向固廢處置、環境治理等方向延展達摩院具有全球最先進的AI算法,覆蓋大模型、孿生仿真、決策優化、芯片技術等生態合作阿里云具有亞洲第一,全球第三的計算能力,經過大量實戰檢驗的混合云多方面業務專家和人才,行業強大的影響力,以及對水務行業深入的理解打造聯合解決方案,與行業合作伙伴共贏支付寶、淘寶、釘釘、高德、菜鳥跨界產業聯合,資源整合致力生長感謝聆聽!