1、來自順豐科技的企業來自順豐科技的企業數據治理實踐數據治理實踐王敏君 順豐科技 數據治理專家|一、順豐數據治理總體介紹一、順豐數據治理總體介紹1.1.體系建設演進路線體系建設演進路線2.2.順豐數據治理框架順豐數據治理框架3.3.數據治理各領域能力介紹數據治理各領域能力介紹二、順豐數據治理實踐分享1.數據治理工作的關鍵要素2.順豐主數據治理分享目錄目錄|順豐數據治理體系演進路線順豐數據治理體系演進。
2、數據治理實踐任增濤 百信銀行 數據治理架構師01數據治理概覽03數據治理組織架構04數據治理落地目錄 CONTENT02數據治理痛點01數據治理概覽負責保監會要求各保險機構落實數據報送職責,建立數據報送和質量管理責任機制,加強數據源頭管理銀保監會 首次將數據治理與監管評級掛鉤,標志著數據治理在我國銀行業全 面實踐時代的到來人民銀行 規劃指出要加強金融科技審慎,建立健全監管基本規則體系,增 強金融。
3、工業數據治理和數據資源化思考與實踐鐘虓北京工業大數據創新中心業務總經理|01一些背景一些背景03一些思考一些思考02一些實踐一些實踐04一些總結一些總結目錄目錄CONTENT|一些背景01|數智化浪潮推動,制造企業數智化轉型刻不容緩數字化已經上升為國家戰略“數智化“轉型是企業戰略核心和發展趨勢數字化時代已經來臨.無人駕駛技術商用.3D打印應用于工業設計.5G組網,商用.虛擬現實帶來新的體驗 面向。
4、SRE核心概念與可觀測性劉峰 中國SRE聯盟 首席布道師|Google SRE:什么是:什么是SRE?SRESRE是一個學科是一個學科SRE是一種最佳實踐是一種最佳實踐SRE是一類創新崗位是一類創新崗位Site Reliability EngineeringGoogle SRE:起源SRE:站點可靠性工程(Google負責7*24小時運維的VP命名)1.SRE是學科:使用計算機和軟件工程手段設計。
5、|Apache Seatunnel(incubator)數據集成平臺高俊 白鯨開源 架構師|2關于我開源愛好者開源愛好者10年大數據相關工作,主要從事大數據平臺建設、OLAP引擎設計研發工作。開源愛好者,參與多個開源項目的貢獻。Apache DolphinScheduler PMCApache SeaTunnel(incubator)ContributorTrino ContributorApa。
6、貨拉拉數據治理平臺建設貨拉拉數據治理平臺建設實踐實踐陳元 貨拉拉 資深大數據工程師張放 貨拉拉 高級大數據工程師|010102020303目錄目錄 CONTENTCONTENT|貨拉拉數據治理體系貨拉拉數據治理體系數據質量平臺建設實踐數據質量平臺建設實踐元數據平臺建設實踐元數據平臺建設實踐|0101貨拉拉數據治理體系貨拉拉數據治理體系|背景與現狀成本問題上游數據變更引發故障模型重構數據字典不規范。
7、字節跳動大數據平臺安全與權限治理實踐許從余 火山引擎數據平臺產品經理|01字節大數據安全體系現狀和難點02細粒度權限管控和治理03資產保護能力04數據刪除能力目錄 CONTENT|字節大數據安全體系現狀和難點01|治理原則|外部內部安全合規的風險壓力業務線的效率壓力面對政府監管合規要求,暴露出不少問題,例如不能靈活篩選,保留和刪除數據等,當沒有被很好完成時,核心業務會處于巨大風險中面對外部壓力,。
8、如何進行指標管理崔文迪 美團 數據產品專家|01為什么要進行指標管理統一數據語言統一數據生產統一指標使用|為什么要進行指標管理|同義不同名/同名不同義溝通成本高數據不可信統一數據語言統一數據生產指標名稱都叫訂單量,有的是付款成功狀態,有的是到店消費成功狀態都是訪問人數,報表A叫訪客數,報表B叫訪客人數,報表C叫UV都是訂單金額這個指標,為什么報表A是10,100,報表B是7,500同名同義不同數。
9、京東零售-指標體系中臺化與服務化實踐韓雷鈞 技術與數據中心 架構師|01指標體系為何建了又建02架構設計方案0304指標服務化實踐與資產價值釋放目錄CONTENT|零售指標中臺化動因|01指標體系為何建了又建指體系為何建了又建-指標口徑定義發生轉移|口徑收斂口徑收斂指體系為何建了又建-資產治理與人性|人工治理短期見效暫停治理質量變差“熵增”“熵增”vsvs“熵減”“熵減”“自頂向下”“自頂向下”。
10、中通數據治理實踐中通數據治理實踐薛世敏 中通快遞 資深架構師|0101中通簡介中通簡介0202數據治理驅動力數據治理驅動力&目標目標0303 數據治理實踐數據治理實踐0404未來規劃未來規劃目錄目錄 CONTENTCONTENT|0101中通簡介中通簡介|中通快遞介紹中通快遞介紹中通快遞股份有限公司中通快遞股份有限公司創建于2002年5月8號,是一家以快遞為主的大型綜合物流服務企業。市場。
11、騰訊音樂數據資源管理實踐騰訊音樂 高級大數據開發工程師盧宇鵬|01背景0203效果目錄CONTENT|數據治理方案及實踐|01背景資源增長趨勢|計算資源增長趨勢計算資源存儲資源增長趨勢存儲資源諾蘭階段模型資源成本管理難點數據量、涉及人員多缺乏數倉建設規范,多為煙囪開發模式數據開發過程中缺乏成本意識,造成資源浪費缺乏數據配套優化工具|02數據治理方案及實踐|宏觀治理-方法論宏觀治理-方法論核心表核。
12、WeData數據治理介紹及內部實踐釋放數據潛能 驅動業務增長騰訊云大數據平臺產品中心fairyxwang2022081.數據治理挑戰2.騰訊內部數據治理實踐3.WeData數據治理平臺能力目錄數據治理挑戰01數據治理挑戰數據信息分散數據質量差維護困難元數據不全無法審計和度量l需要有業務接口人維護補全業務信息l數據多樣化,缺少統一標準l數據有問題,總是事后才知道l不知該由誰去維護預防l業務系統不清。
13、SLS可觀測存儲分析平臺的最佳實踐孟威 阿里云智能產品專家|體驗是關鍵競爭力1秒的延遲增加,帶來7%的用戶流失基礎設施與架構在革新混合云,云原生容器化,微服務,DevOps創新在加速55%的應用每周或每天會發布更新運維數據多樣化運維依賴的數據容量、種類、可變性在增加Source:CNCF SURVEY 2019Source:Aberdeen Group數字化正在各行業推動業務創新,從運維平臺看數。
14、基于元數據智能治理的電力數據要素價值挖掘黃祖源 云南電網有限責任公司信息中心|01成果背景02成果內容03成果價值04典型應用案例目錄 CONTENT|01成果背景自十八大以來,從國家發展到南網數字化轉型都對數據治理提出了明確要求,數據治理已經成為釋放數據要素價值、占據國際數字競爭制高點的迫切需要。|數據要素國家治理體系是指統籌數據要素流通與應用的一系列相互關聯、相互協調的制度安排,體現在國家、。
15、云上數據集成的挑戰和實踐騰訊云 高級工程師|01云上數據集成的挑戰企業核心訴求梳理02云上數據集成平臺設計方案和平臺分析03云上數據集成產品落地DataInlong產品簡介04云上數據集成的實踐客戶經典案例介紹目錄CONTENT|01云上數據集成的挑戰企業核心訴求梳理數據集成業務概述|交易數據CRM數據日志數據行為數據結構化數據非結構化數據半結構化數據數據開發平臺流計算云數倉數據湖EMRESBI。
16、貨拉拉全鏈路監控體系貨拉拉全鏈路監控體系的落地與實踐的落地與實踐曹偉 貨拉拉 架構師您公司的logo|您公司的logo|1616年年 碩士畢業于上海大學碩士畢業于上海大學1616年年 平安壹錢包中間件平安壹錢包中間件 負責分布式定時調度服務負責分布式定時調度服務1919年年 阿里本地生活阿里本地生活 負責負責微服務微服務研發框架研發框架2020年年 貨拉拉貨拉拉 負責全鏈路負責全鏈路TraceT。
17、Apache InLong的 SPI 擴展實踐周康 騰訊數據 級開發程師Apache InLong PMC 成員Email:?healchowapache.org|0101Apache?InLong?Apache?InLong?簡介簡介項簡介適場景0303InLongInLong ManagerManager 的的 SPISPI 改造實踐改造實踐存在的問題什么是 SPISPI?改造實踐錄 CON。
18、字節跳動全域數據集成演進歷程李暢 字節跳動大數據工程師|l 16年加入字節跳動開發套件團隊,從0到1設計、研發了面向字節各業務線的數據集成服務l 專注大規模數據的分布式計算和傳輸領域,提供高效、可靠的全域數據集成解決方案個人簡介|目錄01數據集成背景02數據集成演進歷程03通用能力改造04未來展望數據集成背景01|數據集成背景介紹數據集成是數據中臺建設的基礎,主要解決異構數據源間數據傳輸、加工和。
19、騰訊歐拉數據治理平臺的思考與實踐虎興龍 騰訊歐拉數據治理技術負責人|騰訊歐拉平臺簡介騰訊PCG數據治理平臺|PCG產品BG外產品騰訊歐拉平臺是騰訊PCG(PCG平臺與內容事業群)自2019年推動數據治理開始啟動建設,目前已在騰訊內部廣泛使用的數據治理解決方案騰訊歐拉平臺基于DataOps理念,結合騰訊數據治理方法論,提供一站式數據產、管、治、用全生命周期的大數據能力,以提升數據治理水平,沉淀企業。
20、螞蟻集團-數字科技-夏建樹數據要素流通與隱私增強計算的結合實踐2022-08-27數據鏈接、流轉、共享與使用的價值最大化企業/政府越來越意識到數據是生產力與重要資產,但在其商品化流通開放共享中存在多種問題需求背景:數據要素資產化意識增強與流通無體系數據要素市場化配置土地要素技術要素勞動力要素資本要素數據不可信數據難共享協作效率低管控成本高缺乏數據開放流轉的統一管控體系服務產能需求對手經營從“定價。
21、阿里云大數據成本優化應用實踐楊祎 阿里云產品解決方案架構師|01阿里云大數據成本優化方案02增效篇:云上大數據與開源對比03降本篇:數據平臺與引擎降本04云原生一體化數倉成本優化案例目錄CONTENT|阿里云大數據成本優化方案云原生一體化數倉01|造一個大數據平臺,我們首選Hadoop開源組件?Hadoop生態的紛繁蕪雜Hadoop生態組件發展日新月異,帶來巨大的集成、運維、迭代更新的挑戰|推積。
22、面向行為分析的數據治理和應用賈毅寧2022-08-27v常見的數據分析場景v數倉建模方法v數倉建模方法的優劣勢v面向行為分析的分析方法-概念v面向行為分析的分析方法-整體架構v面向行為分析的分析方法-分析舉例目錄常見的數據分析場景業務數據行為數據做了什么-指用戶使用產品上的各種行為v 網站行為:瀏覽頁面、停留時長、頁面的瀏覽路徑、點擊行為 等v 廣告行為:請求、曝光、點擊、廣告瀏覽時長 等v A。
23、翼支付數據治理實踐翼支付數據治理實踐之元數據管理之元數據管理王平 翼支付產品總監鮑旭 翼支付資深大數據研發工程師|0101元數據的定位元數據的定位數據治理與元數據治理0202元數據治理體系元數據治理體系核心數據保障、主數據治理、數據規范體系建立、產品架構目錄目錄 CONTENTCONTENT|0303元數據平臺技術介紹元數據平臺技術介紹系統架構、元數據采集、全鏈路血緣0404未來展望未來展望異構。
24、!#$%&()*+東北證券數據治理負責人李燕,-01金融數據治理背景02數據治理架構體系03數據治理管理域間組合與協同04數據治理新實踐與思考./!#$%&01國家層面:數據安全法、個人信息保護法、網絡安全法縱向轉為橫向擴展業務領域范圍拓寬罰單展現重要性銀行業2018年銀保監會銀行業金融機構數據治理指引2020年銀保監會EAST數據報送罰單和專項數據治理工作2021年銀保監會發布。
25、深化DCMM貫標體系助力企業數字化轉型國網天津市電力公司2022年8月|01貫標情況目錄 CONTENT02實踐做法03認識體會|國網天津市電力公司(以下簡稱“天津公司”)在國網公司的指導下,全面實施“1001工程”、“變革強企工程”和“9100行動計劃”,數字化轉型發展工作取得突破進展。投運國際領先的智慧能源小鎮,建成220千伏多站融合數據中心站,落地國內首個省級綜合能源服務中心、城市能源大數。
26、云時代的統一可觀測平臺數據治理視角下的可觀測性DAMA 數據管理知識體系指南一書給出的定義:數據治理是對數據資產管理行使權力和控制的活動集合。從范圍來講,涵蓋了從前端業務系統、后端業務數據庫再到業務終端的數據分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。其目的是通過有效的數據資源控制手段,進行數據的監督管理,以提升數據質量進而提升數據變現的能力和管理的效率。數據治理方法論及流程治理效果。
27、張夏天 QuickTable 聯合創始|代碼數據接和集成-QuickTable實踐和探索01QuickTable簡介02多平臺電商數據整合分析03多渠道告數據整合分析04發展向錄 CONTENT|01QuickTable簡介Year-endSUMMARY2020-2022新的技術組織和能業務員、數據分析師、數據程師需要更緊密的整合 線業務需求越來越多,時間敏感性越來越,需要越來越多Know-Ho。
28、字節跳動一站式數據治理思考及業務實踐王慧祥火山引擎DataLeap資深大數據工程師|01機遇與挑戰機遇與挑戰02數據治理思路數據治理思路03技術架構演進技術架構演進04未來展望未來展望目錄目錄CONTENT|機遇與挑戰01|數據治理挑戰:落地難|治理效益與業務影響的矛盾規范“人”的動作難度大治理涉及的組織和管理難度大缺乏適配性強的產品工具 業務系統、生產流程改造影響業務 需求難統一,全局策略難落。
29、阿里云數據安全治理實踐數據安全治理6問劉天鳶 阿里云DataWorks產品專家DataWorks安全能力建設負責人|02目錄 CONTENT|數據安全治理的本質與方向01數據安全治理與法律法規04阿里云數據安全治理場景與案例03阿里云DataWorks數據治理建設實踐數據安全治理與法律法規01|數據安全治理與法律法規逐步完善的法律法規2017.62019.82021.15部數據安全能力成熟度模型。
30、貨拉拉大數據治理實踐之貨拉拉大數據治理實踐之穩定性保障穩定性保障黎仁全 貨拉拉 數據資產負責人/大數據專家|自我介紹|畢業于華中科技大學10年以上大數據治理經驗涉及大數據治理/大數據倉庫/大數據平臺等方向從事過電信、政府、互聯網等行業曾就職于螞蟻集團、平安科技等頭部企業現為貨拉拉大數據團隊數據資產負責人黎仁全數據資產負責人目錄目錄 CONTENTCONTENT|02大數據穩定性保障體系01背景與。
31、字節跳動埋點成本治理解決方案肖茜文火山引擎大數據工程師|01治理背景治理背景02治理策略治理策略03治理經驗回顧治理經驗回顧04規劃與展望規劃與展望目錄目錄CONTENT|埋點成本治理背景01|埋點成本治理背景|-埋點在字節跳動的應用Web端日志采集服務實時消費離線數倉推薦客戶端服務端UBAAB標準化數據分發數據清洗實時ETL埋點成本治理背景|-埋點在字節跳動的規模10+PB/天存儲增量10萬億。
32、數據治理2.0 思考與實踐演講人:郭憶 網易數帆大數據產品技術負責人|AGENDA網易數帆大數據1為什么數據治理項目經常失???2網易數帆數據治理 2.03網易數帆數據治理的實踐案例4領先的數字化技術與服務提供商郭憶 網易數帆大數據產品技術負責人 研究生畢業于天津大學,計算機應用專業 十年數據相關系統設計和研發經驗 構建了網易數帆數據中臺支撐技術體系,支撐了網易云音樂、嚴選、傳媒、有道、郵箱等數據。
33、數據管理體系的建設和發展賓軍志數據易(北京)信息技術有限公司創始人|從IT時代進入DT時代ITDT以業務為導向進行信息化支撐重點關注系統功能技術驅動對應的是業務數據化的階段以數據為核心強調企業整體的視角關注數據的整合、應用對應的數據業務化的階段1979年,美國管理信息系統專家諾蘭(RichardLNolan)通過對200多個公司、部門發展信息系統的實踐和經驗的總結,提出了著名的信息系統進化的階段。
34、可觀測系統中的告警管理實踐王金良 北京睿象科技有限公司 技術總監|01可觀測性的整體生態02告警在可觀測系統中的價值03可觀測系統中告警管理的核心功能04智能告警管理最佳實踐目錄 CONTENT|01可觀測性的整體生態|運維可觀測性整體生態近兩年,可觀測性紅遍IT運維領域,火起來的導火索是CNCF(云原生計算基金會)在云原生定義中提到 Observerbility,并聲稱這是云原生時代的必備能力。
35、徐榜江(雪盡)Flink CDC Maintainer&Apache Flink Committer|深入解讀 Flink CDC 增量快照框架01Flink CDC 簡介02Flink CDC 增量快照算法03Flink CDC 增量快照框架04社區發展規劃目錄|Flink CDC 簡介01|Flink CDC 技術|?Flink CDC 是基于數據庫的日志CDC(Change Dat。
36、小米存儲服務治理實踐李經綸/小米存儲平臺|01樸素數據治理樸素數據治理02用大數據治理大數據用大數據治理大數據03HDFS治理實踐治理實踐04HBase治理實踐治理實踐目錄目錄CONTENT|樸素數據治理01|數據治理=成本治理組織架構調整交接不規范商務談判業務調整|數據治理=成本治理服務盤點成本Top10服務有哪些?成本Top集群有哪些?并行優化服務負責人認領優化任務,自行推進。|優點:目標清。
37、數倉規范化-菜鳥數據模型管理實踐總體方案篇王智龍 菜鳥末端數倉公共層模型負責人平臺建設篇董晃菜鳥公共數據數倉研發工程師|01菜鳥末端業務介紹03數據建模平臺建設02模型管理整體規劃04總結&展望目錄CONTENT|菜鳥末端業務介紹01|菜鳥末端業務簡介菜鳥驛站建立面向社區和校園的物流服務平臺,為用戶提供包裹代收、代寄等服務,致力于為消費者提供多元化的最后一公里服務。|菜鳥末端業務大圖網絡。