《中興通訊:運營商數智中臺白皮書(31頁).pdf》由會員分享,可在線閱讀,更多相關《中興通訊:運營商數智中臺白皮書(31頁).pdf(31頁珍藏版)》請在三個皮匠報告上搜索。
1、中興通訊運營商數智中臺白皮書目錄電信產業發展機遇及挑戰0101020201數字經濟崛起電信運營商數字化經濟的機遇電信運營商數字化經濟的挑戰數智化轉型是必然選擇VMAX 數智中臺案例26272726國內運營商某集團網絡中臺中國移動某省數據共享平臺建設國內某海洋局數據中臺建設未來展望28VMAX 數智中臺方案030303040505060607111719222325數智中臺是電信運營商的數智化轉型核心引擎VMAX 數智化體系架構功能架構數據流程架構VMAX 數智中臺產品特色關鍵技術統一數據集成統一存儲計算專業開發治理全流程管控數據服務AI 智能建模全方位系統管理建設策略隨著通信與數字技術的發展,
2、網絡化和數字化給人類帶來更多的精彩和無限的可能,推動世界進入全聯接的信息化和大數據時代。尤其 2020 年開始,疫情倒逼新業態崛起,5G 新基建行業賦能大潮興起,“數字經濟”從消費向教育、工作、生產延伸,例如線上社交、多元娛樂;短視頻平臺、直播帶貨;居家健康管理、線上診療;遠程教學、遠程辦公;等等。此前,很多分析師預計工業界需要 2 年甚至更長的時間完成數字化轉型,而這些工作實際上在 2020 年的 10 周里就實現了,數字經濟也從數字化轉型進入數智化轉型階段。據 IDC 預測 ,隨著 5G 應用的成熟,數字化產業將持續高速增長,2022 年全球 GDP 將有 65% 來自數字化領域。分析機構
3、認為,作為“新基建”的領頭羊,5G 將為數字經濟注入強勁動能,伴隨大數據與 AI 技術的加持、行業場景的滲透,2021 年將開啟 5G 應用爆發的新紀元。電信運營商處于網絡管道的位置,掌握了豐富的關鍵數據,擁有其他廠家無法媲美的數據“金礦”,則成為數字經濟奠基者,將賦能千行百業,涵蓋運營、銷售、渠道、服務、產品等方面:運營從單點、單業務轉向共享貫通、多元化的業務運營,建立智能化、數據驅動的運營體系銷售從粗放式轉向精準化,打通 B/C、O/B 壁壘,匹配客戶需求,加快需求響應渠道從孤立式轉向協同式,多渠道結合服務從被動響應轉向一站式處理,覆蓋全客戶業務從單產品轉向產品間協作,例如運營商的家寬數字
4、產品與移動數字產品的結合,5G、家寬、終端、第三方等生態配合電信產業發展機遇及挑戰01電信產業發展機遇及挑戰數字經濟崛起電信運營商數字化經濟的機遇遇總是與挑戰并存,數字化經濟對電信運營商的挑戰體現在如下方面:電信運營商管道化趨勢加快。面對互聯網行業沖擊,管道化、邊緣化成為電信運營商運營發展主要瓶頸。一方面,用戶數和網絡流量持續增加,電信運營商必須不斷升級網絡以滿足市場需求;另一方面,大量互聯網 OTT 應用給電信傳統業務造成巨大沖擊,電信運營商無法獲取與投入匹配的合理收入。電信運營商 IT 系統歷史包袱沉重。大數據建設過程中,各個應用程序往往自成體系,造成很多煙囪系統、碎片式應用,導致新業務開
5、發部署困難,擴展性差,自動化水平低下,OPEX 居高不下 , 盈利能力趕不上花錢速度。5G 發展給網絡運維提出高要求。5G 網絡到來,2/3/4/5G“四世同堂”的復雜網絡結構、分層解耦的云化核心網、客戶體驗的要求不斷提升、動態隨選的業務需求等等,使得網絡運維運營的復雜度,遠超出傳統人工運維模式的能力上限。面對數字化經濟的機遇與挑戰,數智化轉型是電信運營商必然選擇,數智化是在數字化的基礎上的智能化,即運用新一代大數據與 AI 兩項核心技術,有效的解決未來網絡管理復雜度和效益的問題。大數據技術實現海量數據的集成分析和流通共享,成為 5G 網絡價值挖掘和網絡與行業價值融合的基礎;AI 技術則通過前
6、瞻性的預測、高復雜性的分析和最優解的探索為網絡運營提供全新的能力,幫助運營商匹配最佳資源、提高運營效率,實現開源節流。大數據和 AI 技術是支撐實現運營商網絡價值發展的關鍵要素。電信運營商數智化轉型,通信網絡將從服務于人走向全面服務于智能社會,網絡運維將從面面俱到走向精準價值運維,提供數字化、智能化、融合創新的各類新型服務。數智化轉型,網絡運維運營從傳統的經驗式、粗放式、“一刀切”式向數據化、精細化、個性化轉型。電信運營商數智化轉型的目標,包含三大方面:第一是共生,協作上下游孵化生態第二是共贏,賦能千行百業,讓千行百業獲得抵御未來風險的舉措和運營能力第三是共同發展,創新商業模式,加速發展數字經
7、濟,實現智能社會電信產業發展機遇及挑戰電信運營商數字化經濟的挑戰數智化轉型是必然選擇02VMAX 數智中臺方案VMAX數智中臺方案在大數據、人工智能技術發展和企業數智化轉型加速的雙重驅動下,數智中臺在眾多賽道脫穎而出, 成為行業焦點。 數智中臺以數據驅動和AI賦能雙引擎為核心、打破數據孤島、持續提升數據質量、融合注智充分發揮數據業務價值,賦能 IT架構統治化演進,成為企業數智化轉型的最佳抓手?!肮び破涫?,必先利其器”。運營商數智化轉型需要一體化的數智化 IT 架構體系,實現橫向跨域拉通,智能敏捷賦能, 繁榮生態合作,加速企業成為平臺型,數字化,智能化和生態化企業。電信運營商數智化轉型升級將是
8、一個長期的過程,需要結合 5G 網絡建設現狀、網絡云化轉型進度,AI 及大數據等技術成熟度分階段逐步推進。為了助力智能化級別提升推進,中興通訊提出了 AIVO(智能洞察、價值運營)數智化轉型解決方案,基于 AI 與大數據技術,從數據資源、業務流程、應用生態三大層面,以“三大融合”拉通 BMO 域支撐運營商網絡的數智化運營轉型。數智中臺是電信運營商的數智化轉型核心引擎VMAX 數智化體系架構數據API數據API系統數據生產日志環境數據能耗數據物料資產供應商信息性能告警信令數據MRCDT媒體面數據資產信息工單信息投訴信息套餐信息.統一調度數據標準數據建模數據資產管理服務目錄數據標注數據質量數據安全
9、HDFSSparkSaturn/FlinkGbase/GPHbaseAI訓練引擎HawkBIOpenAPIModel市場開發套件VMAX StudioAI StudioMARSVMAX數智中臺A推理引擎大數據服務AI服務用戶感知自優化智能RCA派單抑制業務指標自優化故障預測客戶滿意度預測業務KQI指標預測5G覆蓋預測精準用戶畫像用戶離網預測智能DPI業務識別智能節電5G用戶精準發展容量預測與成本建模智能網規應用融合運營商網絡運維系統故障系統資源系統客服系統EOMS性能系統規劃系統優化系統信令監測運營商業務運營系統營銷系統產品管理系統供應商管理系統解決方案管理CRM系統網絡智慧大腦跨系統數據關聯
10、全局監測統一視圖全域端到端分析多業務接合流轉全在線實時管理訓練&推理數據融合數據集成存儲計算數據治理開放服務流程融合03VMAX 數智中臺方案“三大融合”是 AIVO 方案的基礎理念,其一是數據融合,通過數智中臺解決數據孤島問題,實現系統共源,打造“準,快,全,統,通,智”的數據底座;其二是流程融合,通過構建一體化的工具體系,連接運營商運維和運營系統,實現業務流程的自動化,提升運維和運營效率;其三是應用融合,通過 AI 賦能實現管道可視化和應用創新,促進營收增長。VMAX(Value Multi-Analysis eXpert)數智中臺拉通底層采集與上層應用,銜接運維系統與運營系統,打造了 V
11、MAX AIVO 數字化運營方案,其中 VMAX 數智中臺位于中流砥柱的位置,幫助運營商實現對內資產運營,對外能力開放。 提供數據規范建模、數據稽查、元數據管理、資產管理和大數據生命周期管理能力,解決數據無統一標準問題和數據質量差問題數據治理提供統一任務調度,滿足批數據和實時流業務調度要求;提供租戶管理和數據安全機制保障數據在安全環境下執行全流程管控包含數據接口和工具兩部分,提供開放支撐環境和可視化分析平臺,解決數據共享和分析挖掘工具匱乏問題數據服務提供了體系化分布式離線存儲計算、流式實時計算及機器學習能力存儲計算提供自助分析、自助挖掘、自助報表能力,具備可視化低代碼開發的能力,讓數據分析師以
12、拖拉拽方式快速完成 BI 和 AI 分析開發套件提供一站式 AI 開發支撐能力,同時支持可視化拖拉拽建模及專業代碼建模方式,訓練引擎提供自動化并發訓練能力,推理引擎提供 AI 模型優化及云邊端協同部署能力智能建模提供統一運維管理能力,輕松完成系統安裝、升級、擴容、監控、巡檢、排障等日常運維管理工作系統管理解決異構數據源高效采集及加載,打造統一數據入湖,消除數據孤島數據集成0103050702040608功能架構VMAX 數智中臺為運營商打造快速、簡易、融能、融智的一體化大數據分析系統,整體功能架構分為如下六個部分:04數據質量數據建模數據標準數據安全數據采集實時流數據庫SFTP結構化非結構化半
13、結構化數據存算關聯聚合AI挖掘BI洞察第三方生態業務數據化數據治理數據開放數據資產化資產服務化智能建模智能建模HDFS貼源數據維度數據詳單寬表聚集數據資產地圖采存通管用統一采集,橫向拉通統一存算,成本最優統一標準,智能建模,質量稽查資產一張圖,統一共享AI加持,易注智訓練 推理VMAX 數智中臺方案數據流程架構VMAX 數智中臺提供一站式大數據全生命周期處理體系和端到端鏈路工具保障,打造數據“采,存,通,管,用”數據能力平臺 ,實現業務數據化、數據資產化、資產服務化。VMAX 數智中臺是中興通訊自主研發產權可控的一站式大數據管理產品,實現了數據從采集、治理、建模到資產共享的閉環,致力于建設“準
14、,快,全,統,通,智”的平臺底座,為企業提供全方位的大數據和 AI 服務,幫助運營商快速推進數智化轉型,已在多個電信運營商市場得到應用,成為企業價值應用創新生態圈的中流砥柱,獲得行業廣泛認可。 VMAX 數智中臺產品特色VMAX 數智中臺產品特色如下:第一,數據融合VMAX 數智中臺底層引擎采用當前大數據主流技術,對各種格式數據均有良好支持。通過 “統一采集, 統一存儲, 統一調度, 存算分離” , 不僅解決企業煙囪系統數據壁壘問題,滿足數據存儲計算需求,而且大幅降低系統建設成本,實現海量數據的匯聚與融合。第二,專業治理VMAX 數智中臺通過“統一治理,統一開發”,基于多年沉淀的專業網絡業務經
15、驗,提供業界領先的電信領域數據治理方案在規劃階段著眼于業務場景賦能,制定統一標準規范、分層建模,以全局視角劃分梳理業務域及業務實體,從多維度打通數據,輸出具有業務洞察的數據模型與資產,更好地賦能前臺建設。05VMAX 數智中臺方案第三,智能建模VMAX 數智中臺為 AI 應用建模全流程提供支撐,包括數據標注,模型訓練,模型管理,在線推理服務等,同時提供從資源到應用層的各項統計及監控,支撐生產應用。全面支持機器學習、深度學習、強化學習,內置 150+ 機器學習算子及主流深度學習框架,內置聲視圖文等 AI 通用能力,實現 AI 智能建模。第四,處處可 AIVMAX 數智中臺融入了大環 VSE 和小
16、環 LSE 的雙重 AI 引擎,通過兼具“大規?!迸c“輕量化”的部署能力,實現了云邊的彈性部署,可實現業務應用的智能化閉環; 通過自動最優模型探索和 Adlik 推理加速引擎,可進一步實現智能閉環下的最優決策。第五,零感知低損脫敏VMAX 數智中臺提供可信、可管、可控安全體系,一站式解決采集、存儲、應用、共享的安全問題。首創的大數據脫敏綜合安全方案,發明 13 項目安全核心專利,首家通過信通院(DCA)認證的大數據脫敏測試,性能損失僅僅 3%,業界第一。第六, 統一數據服務VMAX 數智中臺通過“統一 API 網關”,使用 OpenAPI 提供安全、易用的數據共享與開放服務。以元數據中心,基于
17、業務邏輯構造主題數據集,面向業務應用提供統一數據出口,對用戶屏蔽多數據源差異,讓數據開放更省心,平臺賦能上層應用百花齊放。第七,零編碼可視化開發VMAX 數智中臺基于大數據、人工智能、低代碼等技術打造“一站式可視化”數據全生命周期運營平臺,提供業界領先的可視化拖拽式開發套件,以及實時、易用、沉浸式、智能的數據服務,實現零編碼數據開發。VMAX 數智中臺通過統一數據集成、統一存儲計算、專業開發治理、全流程數據管控、易開發數據服務 AI 智能建模和全方位系統管理的七大關鍵技術,在數據集成、流批處理、存算分離、統一調度、數據治理、自助開發方面具備獨特優勢特色,提升大數據和 AI 服務能力。關鍵技術統
18、一數據集成數據集成致力于為多種數據源提供復雜網絡環境下的全量 / 增量數據進出的通道,根據采集過程數據源不同, 可視化制定配置和調度策略, 在分布式工作流引擎的驅動下,實現數據采集和加載。具有簡單易用、可擴展、穩定高效、安全可靠、彈性伸縮等技術優勢: 06VMAX 數智中臺方案具備可視化在線配置接入能力,提供采集數據源管理能力,支持數據源的新建、修改、查詢、刪除等操作。數據源支持 FTP、SFTP、HDFS、關系型數據庫、Kafka、實時信令等多種結構化和非結構化類型,并提供數據接入組件化插拔能力,易于業務擴展;提供數據采集任務的調度管理和實時監控能力,包括采集任務的新建、修改、復制、啟動、停
19、止、刪除等操作;支持任務集的調度管理,方便管理同類型的多個數據源實例的采集任務,支持對任務集的新建、修改、查詢、刪除等操作;支持采集過程各個階段的監控能力,支持數據源狀態監測,支持基于文件與字段類型的質量檢查,保證采集過程中的數據質量;基于分布式計算框架,支持任務負載均衡與全內存并行同步,效率更高;具有完善的流量控制、資源控制措施。數據采集服務使用簡單,用戶只需要通過可視化界面對數據源和采集任務進行配置,并提供對數據源和采集任務全鏈路管理和維護能力,極大降低了開發維護成本。統一存儲計算處理層采用“MPP+Hadoop”分布式集群架構,集成了 Zookeeper、Hadoop、Spark、HBa
20、se、YARN、Saturn、Gbase 等大數據相關組件,實現對海量數據分布式存儲和并行計算。解決海量異構數據的存儲、清洗、價值挖掘需要從傳統的集中式架構轉變為分布式架構, 采用業界成熟的Hadoop+MPP混搭架構方案, 按數據類型不同, 采用不同存儲策略,提供結構化、半結構化和非結構化的數據存儲能力?;旌图軜嬛?Hadoop 平臺提供了海量數據的高可靠分布式存儲與處理的框架,Hadoop集群可以擴展到上千臺服務器。Hadoop 的分布式框架中存儲結構為 HDFS,HDFS 采用多副本策略保證數據的安全性以及可靠性。數據存儲HBaseMPPHDFS數據存儲系統07VMAX 數智中臺方案HD
21、FS 之上提供分布式實時數據庫 Hbase 為高并發檢索分析以及事務支持提供平臺級支撐,Hbase 通過多種索引支持海量數據多維度的秒級檢索查詢,包括全局索引,全文索引,組合索引等,另外 Hbase 支持拓撲圖數據存儲提供圖檢索功能。MPP 數據庫采用多副本和無并行共享(Share Nothing)架構,演進成可兼備 OLAP 和OLTP特性, 負責深度分析、 復雜查詢、 KPI計算、 數據挖掘以及多變的自助分析應用等,支持 PB 級的數據存儲和計算。在上述存儲計算模型下,利用 Hadoop 和 MPP 的特點和優勢,業務流程進行有針對性的設計:原始數據和非結構化數據等冷數據,在 Hadoop
22、 平臺做長久保存,非結構化數據的分析處理、KPI 和統計分析等在 Hadoop 平臺完成;MPP 數據庫存儲匯總數據等結構化熱數據,提供即席查詢能力?;?Hadoop HDFS 存儲服務之上,作為計算集群,利用Hadoop Yarn 統一管理集群所有計算資源,使用租戶機制的資源隊列,有效隔離資源,避免作業爭搶資源相互影響;利用數據本地化特性,有效提升計算性能。離線計算引擎支持主流的 MapReduce、Hive、Spark 和 Kylin。Hadoop 提供 MapReduce 分布式計算框架,用于大規模數據集(TB 級,甚至 PB 級)的并行計算,是為了運行長達數小時的批量作業而設計,封裝
23、了并行處理、容錯處理、數據本地化優化、負載均衡等技術,具有內存消耗小,易于使用特點。Hive 是 建 立 在 Hadoop 上 的 數 據 倉 庫 框 架, 基 于離線數據計算 數據存儲系統MapReduceHiveSparkKylinYarnHadoop 08MapReduce 計算引擎提供了方便的類似 SQL 的分析機制,對 Hadoop 文件上的大規模數據進行操作,降低大數據分析門檻。Spark 分布式計算框架效率更高,兼容 HDFS 分布式存儲,可融入 Hadoop 的生態系統,不同于 MapReduce 的是 Job中間輸出和結果可以保存在內存中,避免頻繁讀寫 HDFS,因此 Spa
24、rk 能更好地適用于數據挖掘與機器學習等需要迭代的的算法研究。Kylin 是建立在 Hadoop 上的多維度分析引擎,通過定時 Cube運算進行多維度建模分析,并緩存分析結果,提高查詢效率。Kylin 支持類 SQL 的多維度建模和數據查詢方式,簡單易用。VMAX 數智中臺方案實時流計算提供低時延(毫秒級)、高吞吐、高可靠的分布式實時計算服務,平臺采用 Flink 和 Saturn 兩種實時處理引擎,解決各種實時流計算場景需要?;?Flink 二次開發實時處理引擎,支持通用消息隊列系統和一些系統日志的實時處理;Saturn 是中興自主研發的實時信令專業處理引擎,具備很強的實時信令處理能力。實
25、時流計算主要具備如下優勢:實時流處理包括數據轉換、加工、回填、關聯等復雜事務處理;高吞吐低時延,單節點 CAPS 可以支持 30 50 萬條 /秒的處理能力,實現毫秒級時延;支持數據內存計算,支持各種窗口聚集運算;支持 AI 實時推理;簡單易用,支持可視化 SQL 實時任務開發,支持實時任務可視化統一調度和管理;安全隔離,租戶安全機制保障,確保各類實時作業安全隔離地執行。實時流計算存算分離分布式計算資源管理監控大屏實時保障實時推薦智能流分析Hadoop YarnSink實時消息系統MPPHDFSHBaseProcessFlink流計算引擎Saturn流計算引擎CEPSQLAI可視化低代碼系統日
26、志實時信令Source實時消息系統開源計算組件第三方計算組件統一緩存 (可選)統一存儲計算存儲解耦,計算層不感知存儲層變化內存級IO速度,緩解存儲分離后的性能損失數據目錄服務,簡化交互式查詢引擎使用HDFS聯邦,支持存儲海量數據糾刪碼,相對副本方式節約50%存儲成本異構存儲,冷熱數據分級存儲,兼顧性能與成本09VMAX 數智中臺方案存算分離架構利用計算 / 存儲專用服務器減少服務器規??偭?, 并伴隨業務增長, 針對性地獨立擴容存儲或計算資源,大幅提高服務器資源利用率,有效降低 VMAX 數智能中臺產品成本。引入 Alluxio 分布式內存文件系統作為存儲緩存,為計算提供數據本地性、共享熱點數據
27、、避免中間數據落盤、縮短IO 路徑,有效解決了存算分離后性能下降問題平臺提供統一調度引擎,將數據的集成、清洗、分析、共享等全生命周期進行模型化管理,各種操作抽象為作業,通過作業編排、驅動、執行運轉起來,并提供任務血緣分析和監控能力。任務調度具備以下特點:提供對各類任務(Shell、MR、Spark、SQL、Python 等)進行創建、運行、暫停、停止、刪除等統一任務調度管理能力;具備任務編排能力,將多個任務編排成一個聯合任務,支持多種方式靈活驅動,各任務之間存在相互制約關系,任務調度管理能夠根據各任務的執行狀態、結果來自動實現基于 SSD 的 HDFS 寫緩存,服務器硬件成本增加10%,HDF
28、S 寫性能提升 110%引入 HDFS 糾刪碼技術,相對 HDFS 三副本方式,降低存儲成本50%+使用統一命名空間技術,將 HDFS 文件存儲、Ozone/S3等對象存儲以統一的文件目錄數形式對外呈現,屏蔽底層多種異構存儲系統,做到應用計算無感知統一任務調度元數據管理靜態資源管理作業編排血緣分析優先級管理調度與資源管理子系統子系統數據驅動作業驅動定時驅動事件驅動作業隊列管理作業驅動作業加載執行資源狀態監控作業狀態監控數據狀態監控動態資源管理智能調優Spark/Satum/MapReduce/GBase的啟動后續任務;支持離線大數據場景調度和實時流場景調度,屏蔽底層數據存儲引擎的差異;支持動態
29、資源調配,基于任務執行歷史情況,針對運行效率低下的 Top 級任務,通過智能模型自動優化任務資源參數,無須人工參與,實現整體資源配比最優化;提供任務調度的監控視圖,展現平臺各類數據處理任務調度的運行和監控情況,主要包括任務狀態統計、流程狀態統計、流程定義統計、運行狀態呈現、任務日志等內容。10VMAX 數智中臺方案VMAX 數智中臺提供在有限資源下構建流批一體能力,解決實時和批量數據共存問題,實現流批統一存儲、系統架構簡化、流批模型統一、代碼統一?;?Yarn 統一 Spark 和 Flink 的計算資源調度;基于統一任務調度完成流批資源的協同;基于中興統一建模語言 ZSQL,統一 Spar
30、k 與 Flink 的編程語言;ZSQL 從語言規范層面提供了流批統一,可實現一套語言同時完成流 / 批兩種場景的數據開發,大幅降低開發復雜度。開發治理包括數據開發、數據治理和數據資產管理,是數據中臺建設的核心引擎,開發治理涵蓋標準規范定義、數據建模、數據質量、元數據管理、數據標簽,數據資產、生命周期管理等功能,打造標準統一、模型清晰穩定、質量可管的主題域和標簽畫像資產。專業開發治理流批一體元數據管理數據標注數據資產生命周期管理數據建模數據質量血緣管理11VMAX 數智中臺方案數據模型是根據業務需求抽象出一個能夠反映業務信息(對象)之間關聯關系的模型,即一個主題事實表通過主 / 外鍵關聯,連接
31、到其他事實表和維度表生成數據模型。VMAX 平臺采用一致性維度規范數據模型設計,滿足如下原則:應圍繞業務需求構建維度模型:維度模型是為業務分析服務的,在創建維度模型時,必須依據在業務分析中使用到的數據創建事實實體和維度實體;應確保每個事實實體中的多項指標具有相同的粒度或層次:同一個事實實體同一行中的多項指標都必須具有相同的粒度,如果各項指標表現的粒度不一樣,在分析展現及匯總時,很容易引起歧義;數據標準是數據開發的基石,中興 VMAX 平臺依托通信業務的經驗,基于通信業務的自身的數據特點,設計了一整套數據標準規范體系,并制定數據標準運維管控制度和流程。確立業務過程驅動的數據建模流程;建立統一的數
32、據規范、一致性維度;根據質量標準設置稽查規則,自動生成質量檢查任務;以維度建模為基礎,基于業務過程構建總線矩陣,劃分和定義數據域、業務過程、維度、度量、以及原子核派生指標體系;通過對業務過程的詳細理解,細化分解指標對應,最大程度的消除指標的歧義。VMAX 數智中臺統一實時和離線數據處理和數據建模,實時模型和離線模型都可以采用同一套數據標準。通過標準規范數據基礎,從而為消除數據孤島,多數據源關聯萃取數據價值奠定基礎。數據標準數據建模業務過程約束條件基礎指標單位術語 (度量)維度復合指標基礎指標 業務條件DWS事實匯聚數據DWD事實明細數據CDS公共維度數據業務域規范定義模型設計業務過程驅動以業務
33、過程驅動數據建模,避免應用驅動被動建模導致數據膨脹一致性維度實現不同數據集間的關聯,消除數據孤島,保障各系統數據可拉通統一指標定義統一指標計算方法,避免數據統計的歧義標準驅動質量管理根據質量標準,自動生成質量檢查任務數據標準體系12VMAX 數智中臺方案重定向致性維度測量數據總線通過跨不同業務過程的標準化一致性維度,實現不同業務間的集成。業務過程小區維度柵格維度用戶維度連接切換釋放重定向一致性維度總線矩陣統一標注/規范/術語業務過程驅動關聯數據孤島什么是數據孤島業務為什么無法關聯釋放切換連接建立應用數據層(ADS)聚集數據層(DWS)詳單數據層(DWD)原始數據層(ODS)公共維度層CDSAD
34、S:應用根據需求,靈活組合多個DWS或DWD表DWS:將事實表的度量,按照KPI指標中預先定義的算法,根據不同維度進行匯聚,形成各種維度以及維度組合的聚集表DWD:面向業務過程,根據數據標準,建立語義統一的、粒度一致的、維度和度量齊全的事實詳單寬表CDS:描述業務過程的詳細信息,提取業務過程的維度,具有統一的含義ODS:保留最細節的原始數據應創建一致的維度:整個平臺采用一致的維度(也叫做通用維度、標準或參考維度),可以在所有事實實體中重復使用,從而支持從多個業務流程中整合數據,消除了冗余設計,縮短開發過程;應確保每個實體都有一個與之關聯的時間維度:每個業務事件都有一個時間戳信息,平臺存儲大量的
35、歷史數據,每個事實都是與時間點相關的,因此每個事實實體必須有與之關聯的時間維度。它的粒度可以是年、季度、月、日、小時。VMAX 平臺通過統一數據標準和一致性維度,以業務過程驅動,通過數據總線整合各孤立的業務數據進行關聯,形成以業務實體為核心,基礎屬性、擴展屬性為輔的信息模型,實現了對孤立、離散的數據進行多維度價值提煉,從而打造一套面向主題的數據模型。數據建模成功的關鍵是建立合理的數據架構,通過構建分層架構體系,可以減少冗余存儲,降低計算資源,縮短計算時間。統一數據底座 , 更好地管理與共享數據。13VMAX 平臺提供可視化數據建模能力,通過拖拉拽的圖形化方式快速敏捷完成數據模型開發。VMAX
36、數智中臺方案中興 VMAX 平臺以維度建模為基礎,結合自身的專業通信理解建立數據模型,提供規范化,結構清晰的數據資產,支撐 4G、5G、家寬、集客 4 大域的用戶感知評估、質差專題分析、端到端定界定位等場景應用,實現網絡一體化智能運維。數據模型按用戶業務和接入網類型劃分三級域 6個一級域 20+二級域 200+三級子域O域數據資產化體系打造4/5G立體運維保障能打造力,助力5G智慧運維、家客一體化、“網+云+DICT”融合站點規劃干擾優化話單回溯容量專題場景保障用戶保障性能統計資源可視覆蓋優化參數優化數據域無線網絡GSMNRLTENBIoTEPC5GC業務感知性能資源故障性能資源故障語音保障業
37、務感知投訴處理定界定位資源性能用戶體驗運維定界語音物聯網核心網傳輸端到端家客一體IMS14數據質量元數據管理元數據是描述數據的數據,包括數據的標簽說明、數據庫表和字段定義、業務定義以及它們之間的關系。統一元數據能夠建立可查找數據的數據地圖門戶,方便使用數據的血緣和影響力分析圖譜,以及一套數據質量的評分制度。元數據管理是企業數據治理的基礎,是對數據采集存儲、開發治理、開放共享全生命周期的描述信息統一納管,提供元數據分類、血緣關系和影響分析能力,幫助用戶理清數據關系、降低元數據使用難度、提升用戶體驗。元數據管理功能上包括:元數據采集、血緣自動解析、版本管理流程、元數據視圖管理、元數據分析和元數據對
38、外服務。元數據采集能夠適應異構環境,支持從傳統關系型數據庫和大數據平臺中采集從數據產生、加工、數據應用的全量元數據,包括過程中的數據實體(系統、庫、表、字段)以及數據實體加工處理過程中的邏輯關系血緣自動解析對于采集的元數據,自動啟動解析過程,建立各個實體對象表、字段級之間的血緣關系網,支撐影響分析和全鏈分析質量基因有效性 一致性唯一性完整性準確性及時性15數據質量提供端到端全鏈路數據質量稽查體系,提供數據稽查規則管理、數據稽查任務管理、數據質量監控和質量根因分析功能,抓好治理成敗的“基因”。平臺從六個指標來衡量數據的質量:完整性(數據是否缺失) , 有效性 (數據是否按照要求的規則存儲) ,
39、一致性 (數據的值是否存在信息意義上的沖突),準確性(數據是否錯誤),唯一性(數據是否重復),及時性(是否按照時間上的要求到達)。通過數據質量管理,達到數據干凈、結構清晰,為數據價值發揮奠定基礎。VMAX 數智中臺方案VMAX 數智中臺方案元數據版本管理支持定期自動觸發對元數據的變更內容分析,輸出元數據變更內容及其影響范圍的信息,為元數據變更監控應用提供支持,提供了歷史版本查看和對比,讓用戶隨時監察,消除問題隱患;元數據質量管理建立有效的元數據質量檢查機制,及時發現、報告和處理元數據的質量問題,保障元數據自身的質量;提供元數據質量稽核報告,包括匯總報告和明細報告;元數據分析提供了豐富的元數據分
40、析功能,包括血緣分析、影響分析、全鏈分析、關聯度分析、屬性值差異分析等,分析出元數據的來龍去脈,快速識別元數據的價值,幫助用戶高效準確的對數據資產進行使用、評估和清理;元數據查詢服務在提供元數據查詢、使用情況分析等基礎功能之上,以標準化方式提供元數據關鍵字檢索、血緣分析等功能支持內外部系統調用。數據資產管理將經采集、集成、加工等流程處理完成后的數據模型在數據資產模塊進行系統化呈現,提供資產地圖和資產檢索等功能,構建企業級清晰、完整、高質量的數據資產視圖,實現業務數據的分類管理,打造提供方便檢索的資產黃頁。生命周期管理通過周期性、常態化的搜集與量化評估,打造資產運營中心,完成從采集、存儲、利用到
41、釋放數據價值的“最優路徑”的閉環,使數據資產管理系統化、可視化。采用機器學習技術綜合評估數據實體的引用熱度,實現數據運維策略的智能化。在進行“下線”數據的清理過程中,在借助元數據與血緣關系鏈路的基礎上,應結合知識圖譜實現對與其相關模型與應用的合理回收,進而實現計算與存儲資源的有效釋放。構建模型結構,為數據開發者提供清晰的數據結構 構建資產全景,幫助企業高管全盤把控資產分布構建價值流控,為數據管理者呈現可視化數據流數據資產生命周期管理16VMAX 數智中臺方案統一租戶管理為平臺創建不同的租戶和租戶資源,即滿足資源集約管理要求,又滿足各個用戶對數據處理的安全隔離要求,實現集群內租戶間物理 / 邏輯
42、資源的動態配置和管理、資源隔離、資源使用統計等功能,為用戶提供安全可靠的多租戶服務。VMAX 平臺租戶機制具有如下特性:租戶權限模型:針對計算和存儲資源,租戶可以按需申請資源配額,獨立管理自己的資源。針對數據,租戶可以獨立管理自有的數據,實現與其他租戶間彼此隔離,確保數據安全;租戶管理能力:包括租戶信息管理和租戶環境管理;租戶隔離能力:支持性能 SLA 隔離、故障 SLA 隔離、數據隔離、安全隔離。隔離的租戶在物理資源的利用上,統一按虛擬資源池的要求部署,可以實現物理資源池的共享與彈性伸縮,從而在租戶隔離的基礎上,實現資源利用率的最優化;租戶運行監控能力:提供租戶的資源配置使用情況、性能監控、
43、任務運行監控和呈現集群所管理租戶信息概覽, 支持以圖形化方式展示集群下的租戶使用CPU、 內存、 HDFS等資源分配信息。全流程管控物理集群資源運行虛擬空間空間1空間2空間n一套物理集群平臺,多套隔離的租戶運行環境租戶X邏輯空間用戶數據作業權限租戶Owner不同租戶空間之間的任務調度相互隔離租戶1租戶2租戶N 用戶數據作業權限物理集群資源邏輯資源2邏輯資源N資源1資源2資源3資源M租戶管理17VMAX 數智中臺方案通過自主研發全方位的安全體系,設定安全等級,提供“事前可管、事中可控、事后可查”數據安全服務,避免數據泄露風險,為用戶數據保駕護航。中興 VMAX 安全體系包括基礎安全、隱私保護、容
44、災備份和安全服務四部分。 VMAX 平臺首創大數據脫敏綜合安全方案,首家通過信通院 (DCA) 認證大數據脫敏測試,提供端到端的安全保障體系,全力保護運營商敏感信息。0 感知,對用戶 / 應用全透明1 站式解決采集、存儲、應用、共享安全問題3% 脫敏性能損失,業界第一13 個核心發明專利,打破國外技術壟斷100% 兼容 TPCDS-99 測試數據安全管理隱私信息管理體系認證,具備網絡服務安全集成一級資質18多租戶快照數據加密數據共享動態脫敏統一認證數據開發異地容災靜態脫敏統一授權實時恢復增量備份匿名化 導入導出差分隱私安全服務審計溯源容災備份統一賬戶隱私保護基礎安全VMAX 數智中臺方案數據開
45、放能力中心通過 OpenAPI 對外提供數據開放服務接口,實現數據資產服務化,支撐企業內部管理、與外部合作伙伴進行增值業務合作的技術平臺,實現“對內資產運營,對外能力開放”。OpenAPI 提供 API 的全生命周期的解決方案,包括四大功能組件:數據服務、開發服務、管理服務、監控服務。數據服務是提供數據開放能力的主體,支持不同類型的數據對外開放,包括 HDFS、Spark、HBase、MPP 數據庫、Flink 等;支持多種開放接口以及開放方式,以滿足不同的開發場景;開發服務通過可視化的開發者平臺,面向開發者提供 API 快速開發和封裝的能力;管理服務面向 API 管理者與消費者提供的 API
46、 瀏覽、申請、管理等全流程功能集;監控服務為 API 管理者提供正對運行期 API 的統一監控能力。通過 OpenAPI 統一管理數據外部開放接口,實現用戶、數據權限、數據接口方式統一管理,為數據變現和價值挖掘提供市場化管理方法,讓數據開放更省心。數據開放能力中心數據服務提供兩種開放能力。數據開放:滿足多廠家、多應用接入要求,提供數據開放所需要的的服務開發、部署、授權訪問、監控等方面的功能。通過 OpenAPI 提供統一數據開放能力,實現覆蓋服務設計、服務實現、服務發布與消費訂閱的全流程統一管控。工具開放:目的是為應用開發者提供基礎工具能力支持。提供沉浸式的數據開放工具套件,包含自助查詢分析服
47、務和交互數據挖掘服務,圍繞業務需求提供 BI、AI 分析能力。數據服務數據服務AP 網關開發服務管理服務監控服務API 開發測試部署API 市場API 管理監控維護計費計量即時查詢服務離線數據服務流數據服務FTP/SFTP/JDBCAPI 開發者API 消費者API 管理者數據資產 接口統一管理,支持價值定價 接口推送易識別,方便歷史分析 部署簡單易用,支持 MPP 場景 接口更豐富,開放支持可定制 可視化定制 API,API 開發更簡單 需求響應和價值探索積極主動 數據隱私,權限保護 統計記錄,審計分析 用戶和訪問分析更開放更安全易管理19HttpKafkaVMAX 平臺提供一組簡單易用的數
48、據應用開發套件,提供強大的自助分析與應用開發能力,可視化、無編碼、拖拽式、極速響應方式大幅提升數據報表效率。工具套件具備如下優勢:可視化的界面,通過拖拽操作,無需編碼即可快速完成算法探索、數據分析;可視化頁面布局,動態頁面調整,低門檻實現專業復雜的頁面開發;通過模板方便功能復用和共享;交互式靈活自定義各種報告,支持定時周期性自動生成和手工生成兩種模式;報告支持小區、柵格、小區連線、熱力圖等多種類型圖顯示。數據分析服務VMAX 數智中臺方案缺規范人疲強定制差多應對之策:可視化、無編碼、拖拽式、極速響應業界領先的端到端工具組件集 讓研發人員專注于高價值貢獻變化快滿意度低要的急上手難需求之“殃”交付
49、之“痛”通用的可視化數開發工具可視化的前端界面開發工具互助交互式報表分析工具互助交互式報告生成工具DATAbuilderAwadePlutoReport DesignerVMAX Studio所見即所得無編碼,僅需參數錄入模版復用、組合快速原型設計托拉拽式開發研發團隊研發團隊產品支持團隊外包人員第三方人員快速上手簡單易用20提供一站式的 AI 算法探索與智能應用開發的平臺,提供了可視化在線交互機器學習開發環境,集成多種深度學習框架,具備豐富算子庫,通過簡單的拖拽即完成數據算法模型探索,降低數據探索門檻,幫助用戶在線快速進行業務應用的算法探索和開發。數據挖掘服務VMAX 數智中臺方案可視化 AI
50、 探索開發過程可視化分析結果3D 散點圖相關系數熱力分類聚類雷達圖開放互聯對接各種數據平臺 供全面服務接口數據驅動大數據的訓練加持 持續的學習和優化豐富算子16大類100+算子 圖 / 臉 / 聲 / 語言 AI 服務強可視化拖拽式 AI 建模 豐富可視化呈現21AI 智能建模VMAX 數智中臺從人工智能技術三要素,即算力、算法、數據出發,重點滿足高效率、可擴展、可平滑演進、易用性等關鍵屬性,保證長期技術先進性、持續業務賦能能力、快速業務能力開發、以及便捷的運營和維護。AI 智能建模采用微服務架構,使用 Docker 鏡像作為引擎載體。 訓練引擎和推理引擎分別提供基礎的訓練和推理能力,基于標準