數據中臺-三個皮匠報告百科

數據中臺是什么

數據中臺由阿里興起，核心思想是信息共享。針對數據進行層級分割、水平解耦以及獨立公共業務的入口是數據中臺要完成的基本工作。數據中臺大致分為數據模型、數據服務與數據開發三層，以數據模型完成數據的集成及沉淀，以服務形式完成數據接口的構造，以數據開發完成數據及應用個性化需求

(1) 阿里巴巴：中臺不僅是個組織，中臺是個理念。中臺自己單獨的產品不能直接產生價值、不能直接對外服務，一定要變成別人產品的一部分，讓別人的產品提供更好的服務。在阿里巴巴的定義中，數據中臺是方法論、組織與工具的有機結合，是快、準、全、統、通的智能大數據體系。各類數據技術是構建數據中臺的基礎，能夠高效對各類數據進行統一收集、處理、儲存、計算、分析和可視化呈現，使數據最終與業務鏈條結合，真正轉化為企業核心資產。數據中臺本質上是一個以數據驅動業務發展為最終目的的智能大數據總體系。

(2)騰訊：中臺既有分析能力，也有管理能力。把騰訊過去服務內部業務過程中形成的能力進一步開放。

(3)用友網絡：激活企業“數字+智能”融合發展，為更多企業提供全方位數字化和智能化的服務

(4)字節跳動：中臺的出現是為了在解決技術架構與業務架構慢與貴的矛盾，進行業務“配速”而生，合理的中臺技術必然是以解決當前的業務與技術矛盾為出發點的

(5)恒生電子：早在20年前，為滿足業務需求，恒生電子就設立了公共技術部門—―該部門專門負責為恒生提供可復用的公共技術平臺。該部門充當的角色，實際上就是現在所謂的“技術中臺”

(6)明略科技：在基于知識圖譜能力去打造數據中臺時，也是以數據為中臺的人或者組織以及原有的系統的重構，所以我們覺得這樣的一個理念，應該是符合未來的新一代的客戶的需求的，所以我們把它稱之為‘新一代’數據中臺

數據中臺的一般結構

(1)數據模型

數據中臺可以沉淀多種數據模型，模型通用性較好。數據進行層次的劃分可以對數據模型進行管理，其為數據倉庫模型，按照數據倉庫規范分層開發，實現數據標準化。還有一些數據挖掘的模型，如果使用頻率較高，也可在數據中臺中進行沉淀。

(2)數據服務

數據中臺對外提供統一的數據服務是數據中臺最基本的一項能力。在構建數據服務時，開發人員需根據業務實際需求，對數據模型進行以服務導向的數據封裝，這里所述的數據服務基本上和業務中臺中的服務相似，但是數據中臺數據封裝的困難度往往更大。數據封裝一般服務對象有兩類，一是直接給開發者提供，方便開發人員能夠簡單、便捷地直接訪問數據；二是為業務分析人員提供服務，讓其進行一些算法分析或數據決策的工作，包括數據報表、可視化等功能。

(3)數據開發

前兩層數據中臺結構為整體數據中臺搭建奠定了基礎，而這些原始數據以及基礎服務滿足不了前端個性化的要求，所以數據開發是連接后臺和前端的重要橋梁，一般數據開發可分為三層，第一層是標簽庫構建，相對與其他層次這一層構建較為簡單，其主要面向業務人員，通常將標簽進行組裝從而形成營銷客戶群；第二層是數據開發平臺的架構，它將面向SQL開發人員以及所有數據用戶，為其提供數據可視化處理及訪問；第三層就是環境和組件，面向技術人員，使其能夠自主打造個性化的數據產品。層層遞進，較好地滿足對于不同層次人員提出的要求。

(4)數據治理

數據治理任務自始至終都在進行，它與數據庫的范式類似，目的是為了更好地對數據進行管理。這一工作包含了一整套完整的組織、制度以及技術管理行為，它可以被理解為是廣義信息治理的一個分支，一般是指制定管理優化、數據安全、數據資產化的政策，而進行數據治理的原因一般是為了滿足公司的突破性發展。一般公司前期業務在經歷粗放式的增長后，原有的模式已經不能再滿足當下業務的迅速增長，而需要通過新的手段實現業務的突破，所以往往采用數據手段解決這一問題。業務要求的數據必須滿足準確、及時的要求，因此數據治理在數據中臺中扮演了關鍵的角色。

(5)數據資產

數據資產是企業的重要數據資源，它能夠帶給企業當前以至于未來的經濟效益。近年來，在大數據的浪潮愈發高漲，各企業已經深刻認識到，數據也是一種重要的資產，數據的價值也受到了社會的高度重視?，F在，數據可視化已在許多企業落地，新的困難已經從數據可視化轉為“數據資產化”。數據中臺盡管包含了數據倉庫的一些模型，但是只有破除數據孤島，這些模型才能成為真正意義上的數據資產。數據中臺構建首先要求對指標庫進行規范化，然后將其進行組合，構建個性化的中臺的組件，而這一切都要依賴于對元數據的管理。

數據中臺與數據倉庫的區別

數據倉庫起源于決策支持系統，是一個面向主題的、集成的、非易失性的、隨時間變化的，用來支持管理人員決策的數據集合，多以報表方式進行數據呈現。而數據中臺則是一種新的理念，是”數據+技術+產品+組織“的多元組合，以”數據產品+數據技術+方法論+場景實現“為綜合性輸出，是企業開展新型運營的中樞系統。

(1)屬性與定位：數據倉庫僅為職能輔助屬性；數據中臺基于技術而又深入全線業務與運營

(2)服務對象：數據倉庫小部分業務人員和企業決策層；數據中臺擴展至一線人員及企業全體員工

(3)數據處理類型：數據倉庫多為結構化數據；數據中臺結構化數據、非結構化數據

(4)體系架構：新一代的數據倉庫采用分布式架構，一般基于MPP數據庫或大數據平臺實現數據分析；數據中臺多系統組成，除了大數據存儲和計算平臺外，還包含數倉建設、工作臺開發IDE、任務調度、數據同步服務、對外統一數據服務、資產管理系統、敏捷BI報表開發等多個組件，通過多個維度組件組成一整套解決方案

(5)服務表現形式：數據倉庫多以報表形式呈現；數據中臺更加多樣化，除了基礎報表，還有領導決策系統、行業分析、業務洞察、業務重塑、自助查詢等面向業務場景的服務及產品

(6)人員構成：數據倉庫主要是數據分析人員；數據中臺人員構成多樣，需要既懂業務也了解數據分析的綜合性人才

(7)價值體現：數據倉庫價值體現在業務決策數據支持，市場數據查詢；數據中臺價值體現在業務決策數據支撐，業務支持，業務優化數據支撐，數據變現等

數據中臺對企業的價值

(1)提升數據質量：數據中臺基于Onedata方法論構建統一的公共層，保證了源頭數據的一致性，且實現數據按照統一口徑只加工一次，實現全局指標、標簽的統一，大大提高數據質量。

(2)節約企業數據應用成本：基于數據中臺的元數據管理的數據血緣，可以實現數據投入產出比的評估，及時發現并下線低ROI的數據，也避免數據重復加工。由此降低數據的研發、存儲和計算成本，降低企業數據應用成本。

(3)據中臺是企業數據化建設的基礎設施：數據中臺解決了企業全域數據匯聚的問題，打通以往的數據孤島，沉淀數據資產，實現數據之間的價值共通，可基于數據中臺滿足復雜的數據應用場景。

(4)健全各部門協作機制：利用系統化的解決方案配合一定的管理機制，實現業務人員、數據研發、產品經理、數據分析師等角色的高效協同，提升各角色之間的協作效率。

數據中臺必備能力

數據中臺需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現4個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。

(1)數據匯聚整合

數據豐富和完善:多樣的數據源進行合并和完善

管理易用:可視化任務配置、豐富的監控管理功能

數據集成運營:數據接入、轉換，寫入或緩存內部來源的各來源數據

數據目錄與治理:用戶可以方便的定位所需要的數據。理解數據(技術、業務治理)

數據安全:確保數據的訪問權限

數據可用:用戶可簡便、可擴展的訪問異構數據，可用性和易用性高

部署靈活:本地、公有云、私有云等多種部署方式

(2)數據提純加工：完善的安全訪問控制；完善的數據質量保障體系；規范的、緊密結合業務的可擴展的標簽體系；面向業務主題的資產平臺；智能的數據映射能力，簡化數據資產生成

(3)數據服務可視化：提供自然語言等人工智能服務；提供豐富的數據分析功能提供友好的數據可視化服務；便捷、快速的服務開發環境，方便業務人員開發數據應用；提供實時流數據分析；提供預測分析、機器學習等高級服務

(4)數據價值變現：提供數據應用的管理能力；提供數據洞察直接驅動業務行動的通路；提供跨行業務場景的能力；提供跨部門的普適性業務價值能力；提供基于場景的數據應用；提供業務行動效果評估功能

2021數據中臺公司TOP50

《互聯網周刊》、德本咨詢、eNet研究院聯合發布《2021數據中臺TOP50》，其中前二十名分別是阿里云、用友、騰訊云、明略科技、TalkingData、國雙、云徙科技、金蝶、袋鼠云、數瀾科技、星環科技、奇點云、Kyligence、熵簡科技、創略科技、普元信息、數夢工廠、神策數據、國云教據、金山云；二十一至五十名分別是網易數帆、寬拓科技、同佰科技、浩鯨科技、滴普科技、得帆、悠易互通、恒生電子、中奧科技、浩瀚科技、百融云創、百分點、企加云、惟客數據、百勝軟件、云啟星辰、元年科技、

ChiefClouds、恩億科、云樞中臺、睿帆科技、智領云、科杰大數據、聯蔚科技、億信華辰、愛聚科技、道科、互道、商越、潤聯科技

數據中臺的建設路徑

根據艾瑞咨詢，數據中臺的建設不是一蹴而就的，其建設路徑及難度跟企業數字化變革驅動力、行業背景直接相關，與企業原有機制的融合是一個長期的過程，其建設成本在百萬元以上，建設周期更是以年為單位計算。整個數據中臺的建設沒有一個通用的企業級模型套用，一般需要從頂層設計出發，自上而下貫徹。根據企業自身的業務目標逐級建設，優先從小場景領域內開始試點，逐步納入更多的業務模塊，以達到企業數字能力的逐級進化和價值的持續疊加。此外，在數據中臺的建設過程中，企業需要培養自身的數據管理團隊，甚至重構整個IT團隊，以提高數據服務和企業數字化運營的能力。