《華為:華為數據治理解決方案(98頁).pdf》由會員分享,可在線閱讀,更多相關《華為:華為數據治理解決方案(98頁).pdf(98頁珍藏版)》請在三個皮匠報告上搜索。
1、數據治理中心數據治理中心產品介紹產品介紹文檔版本文檔版本01發布日期發布日期華為云計算技術有限公司華為云計算技術有限公司 版權所有版權所有 華為云計算技術有限公司華為云計算技術有限公司 2024。保留一切權利。保留一切權利。非經本公司書面許可,任何單位和個人不得擅自摘抄、復制本文檔內容的部分或全部,并不得以任何形式傳播。商標聲明商標聲明和其他華為商標均為華為技術有限公司的商標。本文檔提及的其他所有商標或注冊商標,由各自的所有人擁有。注意注意您購買的產品、服務或特性等應受華為云計算技術有限公司商業合同和條款的約束,本文檔中描述的全部或部分產品、服務或特性可能不在您的購買或使用范圍之內。除非合同另
2、有約定,華為云計算技術有限公司對本文檔內容不做任何明示或暗示的聲明或保證。由于產品版本升級或其他原因,本文檔內容會不定期進行更新。除非另有約定,本文檔僅作為使用指導,本文檔中的所有陳述、信息和建議不構成任何明示或暗示的擔保。華為云計算技術有限公司華為云計算技術有限公司地址:貴州省貴安新區黔中大道交興功路華為云數據中心 郵編:550029網址:https:/ 01(2022-07-15)版權所有 華為云計算技術有限公司i目目 錄錄1 圖解數據治理中心圖解數據治理中心 DataArts Studio.12 什么是數據治理中心什么是數據治理中心 DataArts Studio.33 基本概念基本概念
3、.64 產品功能產品功能.125 產品優勢產品優勢.196 應用場景應用場景.217 數據治理解決方案數據治理解決方案.257.1 數據治理解決方案概述.257.2 數據資產入表.257.2.1 積極擁抱數據資產入表新時代.257.2.2 數據資產入表三步走.267.2.3 華為聯合億信華辰提供數據入表全方位助力.277.3 數據管理能力成熟度模型 DCMM.287.3.1 數據管理能力概述.287.3.2 DCMM 標準模型與等級.287.3.3 貫標與評估流程.307.4 數據安全能力成熟度模型 DSMM.327.4.1 數據安全治理能力概述.327.4.2 數據安全能力成熟度模型.327
4、.4.3 數據安全治理維度.338 如何選擇版本如何選擇版本.379 計費說明計費說明.4410 安全安全.5210.1 責任共擔.5210.2 資產識別與管理.5310.3 身份認證與訪問控制.5410.4 數據保護技術.5510.5 審計與日志.5610.6 服務韌性.5610.7 監控安全風險.56數據治理中心產品介紹目 錄文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司ii10.8 故障恢復.5610.9 更新管理.5610.10 認證證書.5711 權限管理權限管理.5912 權限列表權限列表.7613 約束與限制約束與限制.9014 與其他云服務的關系與其他云
5、服務的關系.93數據治理中心產品介紹目 錄文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司iii1 圖解數據治理中心圖解數據治理中心 DataArts Studio數據治理中心產品介紹1 圖解數據治理中心 DataArts Studio文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司1數據治理中心產品介紹1 圖解數據治理中心 DataArts Studio文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司22 什么是數據治理中心什么是數據治理中心 DataArts Studio企業數字化轉型面臨的挑戰企業數字化轉型面臨的挑戰企業在
6、進行數據管理時,通常會遇到下列挑戰。數據治理的挑戰缺乏企業數據體系標準和數據規范定義的方法論,數據語言不統一。缺乏面向普通業務人員的高效、準確的數據搜索工具,數據找不到。缺乏技術元數據與業務元數據的關聯,數據讀不懂。缺乏數據的質量管控和評估手段,數據不可信。數據運營的挑戰數據運營效率低,業務環境的快速變化帶來大量多樣化的數據分析報表需求,因為缺乏高效的數據運營工具平臺,數據開發周期長、效率低,不能滿足業務運營決策人員的訴求。數據運營成本高,數據未服務化,導致數據復制多、數據口徑不一致,同時數據重復開發,造成資源浪費。數據創新的挑戰企業內部存在大量數據孤島,導致數據不共享、不流通,無法實現跨領域
7、的數據分析與數據創新。數據的應用還停留在數據分析報表階段,缺乏基于數據反哺業務推動業務創新的解決方案。什么是什么是 DataArts Studio?數據治理中心DataArts Studio是為了應對上述挑戰,針對企業數字化運營訴求提供的具有數據全生命周期管理和智能數據管理能力的一站式治理運營平臺,包含數據集成、數據開發、數據架構、數據質量監控、數據資產管理、數據服務、數據安全等功能,支持行業知識庫智能化建設,支持大數據存儲、大數據計算分析引擎等數據底座,幫助企業快速構建從數據接入到數據分析的端到端智能數據系統,消除數據孤島,統一數據標準,加快數據變現,實現數字化轉型。產品架構如圖圖2-1所示
8、。數據治理中心產品介紹2 什么是數據治理中心 DataArts Studio文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司3圖圖 2-1 產品架構如圖所示,DataArts Studio基于數據湖底座,提供數據集成、開發、治理等能力。DataArts Studio支持對接所有華為云的數據湖與數據庫云服務作為數據湖底座,例如MRS Hive、數據倉庫服務DWS等,也支持對接企業傳統數據倉庫,例如Oracle、MySQL等。DataArts Studio包含如下功能組件:管理中心管理中心提供DataArts Studio數據連接管理的能力,將DataArts Studio與
9、數據湖底座進行對接,用于數據開發與數據治理等活動。數據集成數據集成數據集成提供20+簡單易用的遷移能力和多種數據源到數據湖的集成能力,全向導式配置和管理,支持單表、整庫、增量、周期性數據集成。數據架構數據架構作為數據治理的一個核心模塊,承擔數據治理過程中的數據加工并業務化的功能,提供智能數據規劃、自定義主題數據模型、統一數據標準、可視化數據建模、標注數據標簽等功能,有利于改善數據質量,有效支撐經營決策。數據開發數據開發大數據開發環境,降低用戶使用大數據的門檻,幫助用戶快速構建大數據處理中心。支持數據建模、數據集成、腳本開發、工作流編排等操作,輕松完成整個數據的處理分析流程。數據質量數據質量數據
10、全生命周期管控,數據處理全流程質量監控,異常事件實時通知。數據目錄數據目錄提供企業級的元數據管理,厘清信息資產。通過數據地圖,實現數據血緣和數據全景可視,提供數據智能搜索和運營監控。數據服務數據服務數據服務定位于標準化的數據服務平臺,提供一站式數據服務開發、測試部署能力,實現數據服務敏捷響應,降低數據獲取難度,提升數據消費體驗和效率,最終實現數據資產的變現。數據治理中心產品介紹2 什么是數據治理中心 DataArts Studio文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司4數據安全數據安全數據安全為數據治理中心提供數據生命周期內統一的數據使用保護能力。通過訪問權限管
11、理、敏感數據識別、隱私保護管理等措施,幫助用戶建立安全預警機制,增強整體安全防護能力,讓數據可用不可得和安全合規。數據治理中心產品介紹2 什么是數據治理中心 DataArts Studio文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司53 基本概念基本概念數據庫、數據倉庫、數據湖與華為智能數據湖方案數據庫、數據倉庫、數據湖與華為智能數據湖方案請參考數據庫、數據倉庫、數據湖與華為智能數據湖方案數據庫、數據倉庫、數據湖與華為智能數據湖方案。DataArts Studio 實例實例DataArts Studio實例是數據治理中心給用戶提供的最小計算資源單位。數據治理中心以Da
12、taArts Studio實例的方式提供給用戶,用戶可以同時創建多個DataArts Studio實例,并分別管理和訪問每個DataArts Studio實例。每個DataArts Studio實例具有用戶指定的基礎計算資源,包含管理中心、數據架構、數據集成、數據開發、數據質量、數據目錄等組件。用戶可根據業務需要申請相應規格的DataArts Studio實例。工作空間工作空間工作空間是從系統層面為管理者提供對使用DataArts Studio的用戶(成員)權限、資源、DataArts Studio底層計算引擎配置的管理能力。工作空間作為成員管理、角色和權限分配的基本單元,每個團隊都可具有獨立
13、的工作空間。您只有在加入工作空間并被分配權限后,才可具備管理中心、數據目錄、數據質量、數據架構、數據服務、數據開發和數據集成等組件的操作權限。成員和角色成員和角色成員是被授予工作空間訪問或使用權限的華為賬號。在添加工作空間成員時,您需要同時為添加的成員設置相應的角色。角色是一組操作權限的集合。不同的角色擁有不同的操作權限,把角色授予成員后,成員即具有了角色的所有權限。每位成員至少要擁有一個角色,并且可以同時擁有多種角色。數據集成集群數據集成集群一個數據集成集群運行在一個彈性云服務器之上,用戶可以在集群中創建數據遷移作業,在云上和云下的同構/異構數據源之間批量遷移數據。數據治理中心產品介紹3 基
14、本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司6數據源數據源即數據的來源,本質是講存儲或處理數據的媒介,比如:關系型數據庫、數據倉庫、數據湖等。每一種數據源不同,其數據的存儲、傳輸、處理和應用的模式、場景、技術和工具也不相同。源數據源數據源數據強調數據狀態是“創建”之后的“原始狀態”,也就是沒有被加工處理的數據。在數據管理的過程中,源數據一般是指直接來自源文件(業務系統數據庫、線下文件、IoT等)的數據,或者直接復制源文件的“副本數據”。數據連接數據連接定義訪問數據實體存儲(計算)空間所需的信息的集合,包括連接類型、名稱和登錄信息等。并發數并發數并發數是數據集成作
15、業中,可以從源端并行讀取的最大線程數。臟數據臟數據臟數據是對于業務沒有意義或者格式非法的數據。例如,源端是VARCHAR類型的數據寫到INT類型的目標列中,導致因為轉換不合理而無法寫入的數據。作業(數據開發)作業(數據開發)在數據開發中,作業由一個或多個節點組成,共同執行以完成對數據的一系列操作。節點節點節點用于定義對數據執行的操作。例如,使用“MRS Spark”節點可以實現在MRS中執行預先定義的Spark作業。解決方案解決方案解決方案定位于為用戶提供便捷的、系統的方式管理作業,更好地實現業務需求和目標。每個解決方案可以包含一個或多個業務相關的作業,一個作業可以被多個解決方案復用。資源資源
16、用戶可以上傳自定義的代碼或文本文件作為資源,并在節點運行時調用。表達式表達式數據開發作業中的節點參數可以使用表達式語言(Expression Language,簡稱EL),根據運行環境動態生成參數值。數據開發 EL表達式使用簡單的算術和邏輯計算,引用內嵌對象,包括作業對象和一些工具類對象。數據治理中心產品介紹3 基本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司7環境變量環境變量環境變量是在操作系統中一個具有特定名字的對象,它包含了一個或者多個應用程序所將使用到的信息。補數據補數據手工觸發周期方式調度的作業任務,生成過去某時間段內的實例。數據治理數據治理數據資源及其
17、應用過程中相關管控活動、績效和風險管理的集合。數據調研數據調研基于現有業務數據、行業現狀進行數據調查、需求梳理、業務調研,輸出企業業務流程以及數據主題劃分。主題設計主題設計通過分層架構表達對數據的分類和定義,幫助厘清數據資產,明確業務領域和業務對象的關聯關系。主題域分組主題域分組基于業務場景對主題域分組。主題域主題域互不重疊數據的高層面的數據分類,用于管理其下一級的業務對象。業務對象業務對象指企業運作和管理中不可缺少的重要人、事、物信息。流程設計流程設計流程設計是針對流程的一個結構化的整體框架,描述了企業流程的分類、層級以及邊界、范圍、輸入/輸出關系等,反映了企業的商業模式及業務特點。數據標準
18、數據標準數據標準用于描述公司層面需共同遵守的數據含義和業務規則。其描述了公司層面對某個數據的共同理解,這些理解一旦確定下來,就應作為企業層面的標準在企業內被共同遵守。碼表碼表通常只包括一系列允許的值和附加文本描述,與數據標準關聯用于生成值域校驗質量監控。數據治理中心產品介紹3 基本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司8SDISource Data Integration(SDI)又稱貼源數據層。SDI是源系統數據的簡單落地。DWIData Warehouse Integration(DWI)又稱數據整合層。DWI整合多個源系統數據,源系統進來數據會有整合、
19、清洗,基于三范式關系建模。DWRData Warehouse Report(DWR)又稱數據報告層。DWR基于多維模型,和DWI層數據粒度保持一致。DMData Mart(DM)又稱數據集市。DM面向展現層,數據有多級匯總。關系建模關系建模關系建模是用實體關系(Entity Relationship,ER)模型描述企業業務,它在范式理論上符合3NF,出發點是整合數據,將各個系統中的數據以整個企業角度按主題進行相似性組合和合并,并進行一致性處理,為數據分析決策服務,但是并不能直接用于分析決策。維度建模維度建模維度建模是從分析決策的需求出發構建多維模型,它主要是為分析需求服務,因此它重點關注用戶如
20、何更快速地完成需求分析,同時具有較好的大規模復雜查詢的響應性能。多維模型是由數字型度量值組成的一張事實表連接到一組包含描述屬性的多張維度表,事實表與維度表通過主/外鍵實現關聯。在DataArts Studio數據架構中,維度建模是以維度建模理論為基礎,構建總線矩陣、抽象出事實和維度,構建維度模型和事實模型,同時對報表需求進行抽象整理出相關指標體系,構建出匯總模型。指標(數據架構)指標(數據架構)指標是衡量目標總體特征的統計數值,是能表征企業某一業務活動中業務狀況的數值指示器。指標一般由指標名稱和指標數值兩部分組成,指標名稱及其涵義體現了指標質的規定性和量的規定性兩個方面的特點,指標數值反映了指
21、標在具體時間、地點、條件下的數量表現。度量度量度量是用于衡量業務狀況的可量化的數值表現,通常為數字,如:金額、數量、周期等。指標與度量的關系:度量是一個數值型數據,其本身不帶有業務含義,只有將度量放在業務語境下,方能體現出業務含義,才能成為指標。維度維度維度是用于觀察和分析業務數據的視角,支撐對數據匯聚、鉆取、切片分析,用于SQL中的GROUP BY條件。多數維度具有層級結構,如:地理維度(其中包括國家、地數據治理中心產品介紹3 基本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司9區、省以及城市等級別的內容)、時間維度(其中包括年度、季度、月度等級別的內容)。原子指
22、標原子指標原子指標中的度量和屬性來源于多維模型中的維度表和事實表,與多維模型所屬的業務對象保持一致,與多維模型中的最細數據粒度保持一致。原子指標中僅含有唯一度量,所含其它所有與該度量、該業務對象相關的屬性,旨在用于支撐衍生指標的敏捷自助消費。如:零售門店數量(包含門店名稱、門店等級等屬性)。衍生指標衍生指標衍生指標是原子指標通過添加口徑/修飾詞、維度卷積而成,口徑/修飾詞、維度均來源于原子指標中的屬性。例如:促銷員門店覆蓋率。復合指標復合指標復合指標由一個或多個衍生指標疊加計算而成,其中的維度、口徑/修飾詞均繼承于衍生指標(不能脫離衍生指標維度和口徑/修飾詞的范圍,去產生新的維度和口徑/修飾詞
23、)。數據質量規則數據質量規則不符合業務實質、不滿足數據應用要求的數據判斷邏輯。數據資產數據資產由企業擁有或者控制的,能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源。在企業中并非所有的數據都構成數據資產,數據資產是能夠為企業產生價值的數據資源。數據地圖數據地圖以數據搜索為核心,通過可視化方式,綜合反映有關數據來源、數量、分布、標準、流向、關聯關系、數據質量。讓用戶找到數據、讀懂數據、消費數據,致力于為用戶提供高效率的數據消費產品。元數據元數據元數據是關于數據的組織、數據域及其關系的信息,簡言之,元數據就是關于數據的數據。元數據包括元數據實體和元數據元素。元數據元素是元數據的基本單
24、元,若干個相關的元數據元素構成了元數據實體。在DataArts Studio中,元數據是數據的描述數據,可以為數據說明其屬性(數據連接、類型、名稱、大小等),或其相關數據(位于擁有者、標簽、分類、密級等)。元數據采集元數據采集支持創建自定義策略的采集任務,采集數據源中的技術元數據。數據資產報告數據資產報告數據資產總覽與統計信息展示。數據治理中心產品介紹3 基本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司10數據服務數據服務數據服務是基于數據分發、發布的框架,將數據作為一種服務產品提供,滿足客戶的實時數據需求,能復用并符合企業和工業標準,兼顧數據共享和安全。API
25、網關網關API網關(API Gateway)提供API托管服務,涵蓋API發布、管理、運維、售賣的全生命周期管理。幫助您簡單、快速、低成本、低風險地實現微服務聚合、前后端分離、系統集成,向合作伙伴、開發者開放功能和數據。數據治理中心產品介紹3 基本概念文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司114 產品功能產品功能數據集成:多種方式異構數據源高效接入數據集成:多種方式異構數據源高效接入數據集成提供30+同構/異構數據源之間數據集成的功能,幫助您實現數據自由流動。支持自建和云上的文件系統,關系數據庫,數據倉庫,NoSQL,大數據云服務,對象存儲等數據源。數據集成基于
26、分布式計算框架,利用并行化處理技術,支持用戶穩定高效地對海量數據進行移動,實現不停服數據遷移,快速構建所需的數據架構。圖圖 4-1 數據集成數據集成提供全向導式任務管理界面,幫助用戶在幾分鐘內完成數據遷移任務的創建,輕松應對復雜遷移場景。數據集成支持的功能主要有:表表/文件文件/整庫遷移整庫遷移數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司12支持批量遷移表或者文件,還支持同構/異構數據庫之間整庫遷移,一個作業即可遷移幾百張表。增量數據遷移增量數據遷移支持文件增量遷移、關系型數據庫增量遷移、HBase增量遷移,以及使用Where條件配合時
27、間變量函數實現增量數據遷移。事務模式遷移事務模式遷移支持當遷移作業執行失敗時,將數據回滾到作業開始之前的狀態,自動清理目的表中的數據。字段轉換字段轉換支持去隱私、字符串操作、日期操作等常用字段的數據轉換功能。文件加密文件加密在遷移文件到文件系統時,數據集成支持對寫入云端的文件進行加密。MD5校驗一致性校驗一致性支持使用MD5校驗,檢查端到端文件的一致性,并輸出校驗結果。臟數據歸檔臟數據歸檔支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉換或者不符合清洗規則的數據自動歸檔到臟數據日志中,方便用戶分析異常數據。并支持設置臟數據比例閾值,來決定任務是否成功。數據架構:數據建??梢暬?、自動化、
28、智能化數據架構:數據建??梢暬?、自動化、智能化DataArts Studio數據架構踐行數據治理方法論,將數據治理行為可視化,打通數據基礎層到匯總層、集市層的數據處理鏈路,落地數據標準和數據資產,通過關系建模、維度建模實現數據標準化,通過統一指標平臺建設,實現規范化指標體系,消除歧義、統一口徑、統一計算邏輯,對外提供主題式數據查詢與挖掘服務。數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司13圖圖 4-2 數據架構DataArts Studio數據架構主要包括以下三個部分:主題設計主題設計構建統一的數據分類體系,用于目錄化管理所有業務數據,
29、便于數據的歸類,查找,評價,使用。通過分層架構對數據分類和定義,可幫助用戶厘清數據資產,明確業務領域和業務對象的關聯關系。數據標準數據標準構建統一的數據標準體系,數據標準流程化、系統化。用戶可基于國家標準或行業標準,對每一行數據、每一個字段的具體取值進行標準化,從而提升數據質量和易用性。數據建模數據建模構建統一的數據模型體系,通過規范定義和數據建模,自頂向下構建企業數據分層體系,沉淀企業數據公共層和主題庫,便于數據的流通、共享、創造、創新,提升數據使用效率,極大的減少數據冗余,混亂,隔離,不一致以及謬誤等。DataArts Studio數據架構支持的數據建模方法有:關系建模關系建模關系建模是用
30、實體關系(Entity Relationship,ER)模型描述企業業務,它在范式理論上符合3NF,出發點是整合數據,將各個系統中的數據以整個企業角度按主題進行相似性組合和合并,并進行一致性處理,為數據分析決策服務,但是并不能直接用于分析決策。維度建模維度建模數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司14維度建模是以維度建模理論為基礎,構建總線矩陣、抽象出事實和維度,構建維度模型和事實模型,同時對報表需求進行抽象整理出相關指標體系,構建出匯總模型。數據開發:一站式協同開發平臺數據開發:一站式協同開發平臺DataArts Studio數
31、據開發是一個一站式敏捷大數據開發平臺,提供可視化的圖形開發界面、豐富的數據開發類型(腳本開發和作業開發)、全托管的作業調度和運維監控能力,內置行業數據處理pipeline,一鍵式開發,全流程可視化,支持多人在線協同開發,支持管理多種大數據云服務,極大地降低了用戶使用大數據的門檻,幫助用戶快速構建大數據處理中心。圖圖 4-3 數據開發模塊架構數據開發支持數據管理、腳本開發、作業開發、資源管理、作業調度、運維監控等操作,幫助用戶輕松完成整個數據的處理分析流程。數據管理數據管理支持管理DWS、DLI、MRS Hive等多種數據倉庫。支持可視化和DDL方式管理數據庫表。腳本開發腳本開發提供在線腳本編輯
32、器,支持多人協作進行SQL、Shell、Python腳本在線代碼開發和調測。支持使用變量。作業開發作業開發提供圖形化設計器,支持拖拽式工作流開發,快速構建數據處理業務流水線。預設數據集成、SQL、Spark、Shell、機器學習等多種任務類型,通過任務間依賴完成復雜數據分析處理。支持導入和導出作業。資源管理資源管理支持統一管理在腳本開發和作業開發使用到的file、jar、archive類型的資源。數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司15作業調度作業調度支持單次調度、周期調度和事件驅動調度,周期調度支持分鐘、小時、天、周、月多種調
33、度周期。作業調度支持多種云服務的多種類型的任務混合編排,高性能的調度引擎已經經過幾百個應用的檢驗。運維監控運維監控支持對作業進行運行、暫停、恢復、終止等多種操作。支持查看作業和其內各任務節點的運行詳情。支持配置多種方式報警,作業和任務發生錯誤時可及時通知相關人,保證業務正常運行。數據質量:可控可檢驗數據質量:可控可檢驗數據質量模塊支持對業務指標和數據質量進行監控,數據質量可檢驗,幫助用戶及時發現數據質量問題。業務指標監控業務指標監控業務指標監控是對業務指標數據進行質量管理的有效工具,可以靈活的創建業務指標、業務規則和業務場景,實時、周期性進行調度,滿足業務的數據質量監控需求。數據質量監控數據質
34、量監控數據質量監控是對數據庫里的數據質量進行質量管理的工具,您可以配置數據質量檢查規則,在線監控數據準確性。數據質量可以從完整性、有效性、及時性、一致性、準確性、唯一性六個維度進行單列、跨列、跨行和跨表的分析,也支持數據的標準化,能夠根據數據標準自動生成標準化的質量規則,支持周期性的監控。圖圖 4-4 數據質量規則體系數據資產管理:數據資產管理:360 度全鏈路數據資產可視化度全鏈路數據資產可視化DataArts Studio提供企業級的元數據管理,厘清信息資產。數據資產管理可視,支持鉆取、溯源等。通過數據地圖,實現數據資產的數據血緣和數據全景可視,提供數據智能搜索和運營監控。元數據管理元數據
35、管理數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司16元數據管理模塊是數據湖治理的基石,支持創建自定義策略的采集任務,可采集數據源中的技術元數據。支持自定義業務元模型,批量導入業務元數據,關聯業務和技術元數據、全鏈路的血緣管理和應用。圖圖 4-5 全鏈路數據血緣數據地圖數據地圖數據地圖圍繞數據搜索,服務于數據分析、數據開發、數據挖掘、數據運營等數據表的使用者和擁有者,提供方便快捷的數據搜索服務,擁有功能強大的血緣信息及影響分析。在數據地圖中,可通過關鍵詞搜索數據資產,支持模糊搜索,快速檢索,定位數據。使用數據地圖根據表名直接查看表詳情,快
36、速查閱明細信息,掌握使用規則。獲得數據詳細信息后,可添加額外描述。通過數據地圖的血緣分析可以查看每個數據表的來源、去向,并查看每個表及字段的加工邏輯。對數據資產,可以從業務角度定義分類或標簽。數據服務:提升訪問查詢檢索效率數據服務:提升訪問查詢檢索效率DataArts Studio數據服務旨在為企業搭建統一的數據服務總線,幫助企業統一管理對內對外的API服務,支撐業務主題/畫像/指標的訪問、查詢和檢索,提升數據消費體驗和效率,最終實現數據資產的變現。數據服務為您提供快速將數據表生成數據API的能力,同時支持您將現有的API快速注冊到數據服務平臺以統一管理和發布。數據服務采用Serverless
37、架構,您只需關注API本身的查詢邏輯,無需關心運行環境等基礎設施,數據服務會為您準備好計算資源,并支持彈性擴展,零運維成本。數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司17圖圖 4-6 數據服務架構圖數據安全:全方位安全保障數據安全:全方位安全保障網絡安全網絡安全基于網絡隔離、安全組規則以及一系列安全加固項,實現租戶隔離和訪問權限控制,保護系統和用戶的隱私及數據安全。用戶權限策略用戶權限策略基于角色的訪問控制,用戶通過角色與權限進行關聯,并支持細粒度權限策略,可滿足不同的授權需求。針對不同的用戶,DataArts Studio提供了管理
38、者、開發者、部署者、運維者、訪客五種不同的角色,各個角色擁有不同的權限。數據安全數據安全針對數據架構、數據服務等關鍵流程,DataArts Studio提供了審核流程。數據的分級分類管理,數據的全生命周期管理,保證數據的隱私合規、可回溯。數據治理中心產品介紹4 產品功能文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司185 產品優勢產品優勢一站式數據運營平臺一站式數據運營平臺貫穿數據全流程的一站式治理運營平臺,提供全域數據集成、標準數據架構、連接并萃取數據價值、全流程數據質量監控、統一數據資產管理、數據開發服務等,幫助企業構建完整的數據中臺解決方案。全鏈路數據治理管控全鏈
39、路數據治理管控數據全生命周期管控,提供數據架構定義及可視化的模型設計,智能化的幫助用戶生成數據處理代碼,數據處理全流程質量監控,異常事件實時通知。豐富的數據開發類型豐富的數據開發類型支持多人在線協作開發,腳本開發可支持SQL、Shell在線編輯、實時查詢;作業開發可支持CDM、SQL、MRS、Shell、Spark等多種數據處理節點,提供豐富的調度配置策略與海量的作業調度能力。統一調度和運維統一調度和運維全面托管的調度,支持按時間、事件觸發的任務觸發機制,支持分鐘、小時、天、周和月等多種調度周期??梢暬娜蝿者\維中心,監控所有任務的運行,支持配置各類報警通知,便于責任人實時獲取任務的情況,保證
40、業務正常運行??蓮陀眯袠I知識庫可復用行業知識庫提供垂直行業可復用的領域知識庫,涵蓋行業數據標準、行業領域模型、行業數據主題庫、行業算法庫和行業指標庫等,支持智慧政務、智慧稅務、智慧園區等行業,幫助企業快速定制數據運營端到端解決方案。統一數據資產管理統一數據資產管理全局資產視圖、快速查看、智能管理、數據溯源和數據開放共享,從業務視角管理和查看數據,定義業務架構、業務分類和業務術語,統一管理資產訪問權限。數據治理中心產品介紹5 產品優勢文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司19數據運營全場景可視數據運營全場景可視數據治理運營過程可視,拖拉拽配置,無需編碼;處理結果可
41、視,更直觀,便于交互和探索;數據資產管理可視,支持鉆取、溯源等。全方位的安全保障全方位的安全保障統一的安全認證,租戶隔離,數據的分級分類管理,數據的全生命周期管理,保證數據的隱私合規、可審計、可回溯?;诮巧脑L問控制,用戶通過角色與權限進行關聯,并支持細粒度權限策略,可滿足不同的授權需求。數據治理中心產品介紹5 產品優勢文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司206 應用場景應用場景一站式的數據運營治理平臺一站式的數據運營治理平臺從數據采集-數據架構-質量監控-數據清洗-數據建模-數據聯接-數據整合-數據消費-智能分析,一站式數據智能運營平臺,幫助企業快速構建數
42、據運營能力。優勢優勢多種云服務作業編排全鏈路數據治理管控豐富數據引擎支持支持對接所有華為云的數據湖與數據庫云服務,也支持對接企業傳統數據倉庫,比如Oracle等。簡單易用圖形化編排,即開即用,輕松上手。數據治理中心產品介紹6 應用場景文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司21圖圖 6-1 一站式數據運營治理平臺云上數據平臺快速搭建云上數據平臺快速搭建快速將線下數據遷移上云,將數據集成到云上大數據服務中,并在DataArts Studio的界面中就可以進行快速的數據開發工作,讓企業數據體系的建設變得如此簡單。優勢優勢數據集成一鍵式操作通過在服務界面配置化操作,可實
43、現線上線下數據快速集成到云數據倉庫。支持多種數倉服務類型根據需求,可以靈活選擇數據服務類型,可以選擇DWS服務建數倉,也可以選擇MRS服務等數據平臺。安全穩定、降低成本一站式的服務能力和穩定的數倉服務,讓云上數據萬無一失;免自建大數據集群、免運維,極大降低企業建設數倉成本。數據治理中心產品介紹6 應用場景文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司22圖圖 6-2 云上數據平臺基于行業領域知識庫快速構建數據中臺基于行業領域知識庫快速構建數據中臺通過應用華為在企業業務領域積累的豐富的行業領域模型和算法,幫助企業構建數據中臺,快速提升數據運營能力。優勢優勢多行業支持覆蓋政
44、務/稅務/城市/交通/園區等各行業。標準規范支持支持分層結構的行業數據標準。領域模型豐富支持包含人員/組織/事件/時空/車輛/資產/設備/資源等八大類數據以及相互之間關系的行業領域模型??焖賾眯袠I庫支持快速應用的行業主題庫、行業算法庫、行業指標庫。數據治理中心產品介紹6 應用場景文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司23圖圖 6-3 數據中臺數據治理中心產品介紹6 應用場景文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司247 數據治理解決方案數據治理解決方案7.1 數據治理解決方案概述數據治理解決方案概述數據治理解決方案是以DataAr
45、ts Studio為核心產品,打造領先的數智融合生產線,面向行業落地水平、場景化解決方案,助力企業數字化升級,實現數據驅動精益管理,探索數據價值流通,在水平和行業兩個方向構建可復制數據治理解決方案。說明說明數據治理解決方案正在持續構建中,如需落地請通過解決方案官網解決方案官網咨詢。7.2 數據資產入表數據資產入表7.2.1 積極擁抱數據資產入表新時代積極擁抱數據資產入表新時代在當前數字化的浪潮下,數據已經成為勞動、土地、知識、技術以后的第五大生產要素,“數據即資產”已成為共識。2024年1月1日起,財政部于2023年8月印發的企業數據資源相關會計處理暫行規定將正式實施。數據資產入表已進入倒計時
46、,備受關注的數據要素市場有望被真正激活。什么是數據資產入表什么是數據資產入表所謂“數據資產入表”,是指數據資產入資產負債表,將數據確認為企業資產負債表中“資產”一項,在財務報表中體現其真實價值與業務貢獻。數據資產入表后,可以準確計量數據資源價值,同時為財報使用者提供更直觀的數據資產相關信息,有助于投資者對企業進行更好的估值;可以改善企業財務報表,進而降低資產負債率,提升利潤率;數據入表后可以通過數據交易為企業增值,并促進數據資產開發的相關投入。企業數據資產的計量方法分為成本法、收益法、市場法。具體每個企業有哪些數據資產能入表,怎么開展相關工作,成為各企業的核心問題。能夠入表的數據資源必須滿足很
47、多要求,首先,必須是企業合法擁有的數據,需要做完整合規授權的檢查。第二是精確可計量。第三,要確保這些數據在企業生產經營過程中,創造了經濟利益價數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司25值。比如,很多企業用數據做了統計分析報表,并不代表企業這些數據真正在業務上直接創造了營收。7.2.2 數據資產入表三步走數據資產入表三步走數據資產“入表”,是推動數據資產化的第一步,也是數據要素市場發展的關鍵一步。國有企業、上市公司如何充分發揮海量規模數據和應用場景等優勢,如何解決數據難點,如何管好用好數據資產,已成為數字化轉型的關鍵命題。對
48、此,國內領先的數據分析和數據治理產品與服務提供商億信華辰提煉出數據資產入表三大步驟,以期為有數據資產入表需求的國有企業和上市公司提供參考。第一步:入表形成原始資產第一步:入表形成原始資產原始資產入表是將指系統建設及數據生成等所產生的成本費用以成本法入表,據此構成數據資源的初始資產價格。系統建設是數據資產入表的前置條件。企業需要完成基礎信息化建設,并對企業數據治理程度和數據管理能力做必要評估。此外還需進行數據資產入表前改造工作,主要涉及數據分類分級工具準備、數據成本計量工具準備、財務系統準備等。企業在梳理確認好數據資產類型、類別和安全等級后,就可以進入到實施階段:梳理數據資產構成成本,并對數據資
49、源進行初始計量、后續計量等相關會計處理。圖圖 7-1 入表形成原始資產第二步:形成無形資產收入第二步:形成無形資產收入確認數據商業價值是形成無形資產收入的必要前提,企業需進行相應可行性評估和投產比分析。此外企業還需考慮,數據需方愿意以什么價格和方式進行付費,這決定了數據能否形成穩定、持續的收益。目前數據交易所主要以API、數據包或數據模型的方式來交付數據產品。如果走無形資產路線,賣的就不是數據本身而是數據服務,可選擇數據模型或數據軟件服務的形式,以特許經營、軟件授權等方式來產生可持續現金流。數據產品的結算系統搭建非常關鍵,建立合理的利益分配機制,必要時考慮分銷路線,有利于將數據資產收入最大化。
50、需要注意的是,由于數據可以無限復制,具有弱排他性,所以市場的參與者需要從一開始就建立營銷體系以及品牌意識,為下一階段的殘酷競爭做好相應準備。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司26圖圖 7-2 形成無形資產收入第三步:形成存量資產第三步:形成存量資產存量資產是指企業所擁有全部可確指的資產,包括企業的應收賬款、其他應收款、無形資產等。數據一旦成為數據商品并達到一定交易量,就會形成數據相關的應收賬款,還有存貨相關的抵押賬款等,這些款項都能形成業內所說的金融資產。只有形成了眾多金融資產,才能構建金融資產池,步入金融化。金融化的
51、實現模式往往是證券化,形成存量資產的后續影響是數據的貨幣化。一旦數據資產能實現證券化,從某種意義上數據本身就變成了貨幣。圖圖 7-3 形成存量資產7.2.3 華為聯合億信華辰提供數據入表全方位助力華為聯合億信華辰提供數據入表全方位助力作為Gartner認可的數據資產管理標桿廠商、IDC認證的中國數據治理解決方案市場第一廠商,億信華辰一直走在數據資產化前列。面對數據入表的需求,億信華辰不僅提供全套數據治理軟件,讓數據采集、加工、治理、應用更加便捷。還為企業搭建數據入表所需的信息系統及提供成本法入表服務,幫助實現半自動化、全自動化的數據入表。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(
52、2022-07-15)版權所有 華為云計算技術有限公司27同時,億信華辰拉通各生態伙伴成立“數據資產入表服務鏈合體”,為客戶提供數據資產入表及數據資產交易等一站式解決方案,包括:咨詢規劃、數據資產管理、會計審計、法律咨詢、安全監管等能力,全程指導企業有效地進行數據入表工作。億信華辰已拉通北、上、深、貴等幾大數交所,可以幫助客戶推動數據產品上架、推進數據交易等工作。億信華辰深耕數據領域17年,致力于打造圍繞著數據全生命周期的智能化產品線,所有產品都可以獨立應用,無縫集成,可根據需求定制符合客戶發展的靈活、便捷、高效數字化轉型解決方案,提速改革發展步伐,助力政企數字化轉型,讓數據驅動進步。7.3
53、數據管理能力成熟度模型數據管理能力成熟度模型 DCMM7.3.1 數據管理能力概述數據管理能力概述大數據產業發展十四五規劃多次提到“數據管理”和“數據管理能力”,進入數字化經濟時代,數據已成為產業發展的生產要素,企業的數據管理能力成為企業競爭的核心能力之一。DCMM(Data management Capability Maturity Model)是數據管理能力成熟度評估模型GB/T 36073-2018國家標準,是我國首個數據管理領域正式發布的國家標準。旨在幫助企業利用先進的數據管理理念和方法,建立和評價自身數據管理能力,持續完善數據管理組織、程序和制度,充分發揮數據在促進企業向信息化、數
54、字化、智能化發展方面的價值。圖圖 7-4 DCMM 價值7.3.2 DCMM 標準模型與等級標準模型與等級評估內容與等級評估內容與等級DCMM標準分析提煉出了組織數據管理的八大能力域,分別為數據戰略,數據治理,數據架構,數據標準,數據質量,數據安全,數據應用,以及數據生存周期;并對每項能力域進行了二級能力項(28個過程項)和發展等級的劃分(5個等級)以及相關功能介紹和評定指標(445項指標)的制定。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司28該標準適用于信息系統的建設單位,應用單位等進行數據管理時的規劃,設計和評估,也可以作
55、為針對信息系統建設狀況的指導、監督和檢查的依據。圖圖 7-5 DCMM 標準模型DCMM將數據管理能力成熟度劃分為五個等級,自低向高依次為初始級、受管理級、穩健級、量化管理級和優化級,不同等級代表企業數據管理和應用的成熟度水平不同。圖圖 7-6 DCMM 標準等級如何初步判斷評估等級如何初步判斷評估等級DCMM評估包含的內容也較多,且向下兼容,所以申請高等級評估同時需要滿足低等級的要求。簡易評估要點主要包含企業規模、數據管理人員、數據管理制度和數據管理工具與平臺等維度。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司29圖圖 7-7
56、 簡易評估要點7.3.3 貫標與評估流程貫標與評估流程貫標流程貫標流程DCMM貫標流程主要分為三個階段:1.差距分析:貫標啟動,進行差距分析。2.能力提升:建立數據管理組織,完善制度,內部運行并開展自評估。3.評估確認:組建評估隊伍,開展第三方評估,獲取評估報告和能力證書。圖圖 7-8 DCMM 貫標流程評估流程評估流程DCMM評估流程分為如下步驟:1.評估工作部遴選試點評估單位。2.入選的試點評估單位向評估機構提交有效的申請材料。3.評估機構受理評估申請后,組織實施文件評審和現場評審并出具評估報告,給予評估等級的推薦意見,并報評估工作部備案。數據治理中心產品介紹7 數據治理解決方案文檔版本
57、01(2022-07-15)版權所有 華為云計算技術有限公司304.評估工作部對評估機構報送的評估結果進行合規性審查。對于合規性審查中發現存在較大問題的評估結果有權駁回。對于評估機構推薦的量化管理級和優化級評估結論,評估工作部需組織專家對評估結果進行評議。5.評估工作部對通過審查、復核或評議的,進行為期一周的公示。對公示后無異議的,由評估機構頒發數據管理能力成熟度評估證書。圖圖 7-9 DCMM 評估流程數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司31圖圖 7-10 評估交付物7.4 數據安全能力成熟度模型數據安全能力成熟度模型
58、 DSMM7.4.1 數據安全治理能力概述數據安全治理能力概述發展數字經濟、加快培育發展數據要素市場,必須把保障數據安全放在突出位置。這就要求我們著力解決數據安全領域的突出問題,有效提升數據安全治理能力。隨著數據安全監管要求逐漸落地,組織數據安全治理動力明顯攀升,數據安全技術及服務供給不斷釋放。整體來看,數據安全治理進入快速發展階段。DataArts Studio數據安全為您提供提供開箱即用的數據安全治理能力,助力企業建立與制度流程相配套的技術平臺。7.4.2 數據安全能力成熟度模型數據安全能力成熟度模型數據安全能力成熟度模型(Data Security Capability Maturity
59、 Mode,簡稱DSMM)是依據信息安全技術數據安全能力成熟度模型國家標準和數據安全能力建設實施指南V1.0,對組織的數據安全開展能力評估。DSMM旨在標準先行,推動數據安全,進一步提升企業數據安全能力,增強數據安全意識,挖掘數據價值,培育數據要素市場。DSMM標準以組織的數據為中心,圍繞數據的采集、傳輸、存儲、處理、交換、銷毀全生命周期,從組織建設、制度流程、技術工具、人員能力4個能力維度,按照1-5級成熟度,評價組織的數據安全能力。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司32圖圖 7-11 數據安全能力成熟度模型7.4.
60、3 數據安全治理維度數據安全治理維度根據DSMM評估模型,可以從組織建設、制度流程、技術工具、人員能力四個維度開展數據安全治理能力建設工作。圖圖 7-12 數據安全能力建設工作數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司33組織建設組織建設數據安全組織架構是數據安全治理體系建設的前提條件。通過建立專門的數據安全組織,落實數據安全管理責任,確保數據安全相關工作能夠持續穩定的貫徹執行。數據安全治理組織架構一般由決策層、管理層、執行層與監督層構成,各層之間通過定期會議溝通等工作機制實現緊密合作、相互協同。決策層指導管理層工作的開展,并
61、聽取管理層關于工作情況和重大事項等的匯報。管理層對執行層的數據安全提出管理要求,并聽取執行層關于數據安全執行情況和重大事項的匯報,形成管理閉環。監督層對管理層和執行層各自職責范圍內的數據安全工作情況進行監督,并聽取各方匯報,形成最終監督結論后同步匯報至決策層。制度流程制度流程數據安全制度流程一般會從業務數據安全需求、數據安全風險控制需要,以及法律法規合規性要求等幾個方面進行梳理,最終確定數據安全防護的目標、管理策略及具體的標準、規范、程序等。數據安全管理制度文件可分為四個層面,一、二級文件作為上層的管理要求,應具備科學性、合理性、完備性及普適性。三、四級文件則是對上層管理要求的細化解讀,用于指
62、導具體業務場景的具體工作。圖圖 7-13 數據安全管理制度文件技術工具技術工具數據安全技術體系并非單一產品或平臺的構建,而是覆蓋數據全生命周期,結合組織自身使用場景的體系建設。依照組織數據安全建設的方針總則,圍繞數據全生命周期各階段的安全要求,建立與制度流程相配套的技術和工具。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司34圖圖 7-14 數據安全技術體系其中基礎通用技術工具為數據全生命周期的安全提供支撐:數據分類分級相關工具平臺主要實現數據資產掃描梳理、數據分類分級打標和數據分類分級管理等功能。身份認證及訪問控制相關工具平臺,
63、主要實現在數據全生命周期各環節中涉及的所有業務系統和管理平臺的身份認證和權限管理。監控審計相關工具平臺接入業務系統和管理平臺,實現對數據安全風險的實時監控,并能進行統一審計。日志管理平臺收集并分析所有業務系統和管理平臺的日志,并統一日志規范以支持后續的風險分析和審計等工作。安全及合規評估相關工具平臺主要用于綜合評估數據安全現狀和合規風險。數據全生命周期安全技術為生命周期中特定環節面臨的風險提供管控技術保障。整個數據全生命周期可以通過組合或復用以下多種技術實現數據安全:敏感數據識別通過對采集的數據進行識別和梳理,發現其中的敏感數據,以便進行安全管理。備份與恢復技術是防止數據破壞、丟失的有效手段,
64、用于保證數據可用性和完整性。數據加密相關工具平臺通過提供常見的加密模塊及密鑰管理能力,落地數據的加密需求。數據脫敏是通過一定的規則對特定數據對象進行變形的一類技術,用于防止數據泄露和違規使用等。數據水印技術通過對數據進行處理使其承載特定信息,使得數據具備追溯數據所有者與分發對象等信息的能力。在數據處理過程中起到威懾及追責的作用。數據泄密防護技術通過終端防泄露技術、郵件防泄露技術、網絡防泄露技術,防止敏感數據在違反安全策略規定的情況下流出企業。API安全管理相關工具平臺提供內部接口和外部接口的安全管控和監控審計能力,保障數據傳輸接口安全。數據刪除是一種邏輯刪除技術,為保證刪除數據的不可恢復,一般
65、會采取數據多次的覆寫、清除等操作。隱私計算通過實現數據的可用不可見,從而滿足隱私安全保護、價值轉化及釋放。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司35人員能力人員能力數據安全治理離不開相應人員的具體執行,人員的技術能力、管理能力等都影響到數據安全策略的執行和效果。因此,加強對數據安全人才的培養是數據安全治理的應有之義。組織需要根據崗位職責、人員角色,明確相應的能力要求,并從意識和能力兩方面著手建立適配的數據安全能力培養機制。意識能力培養方式??梢越Y合業務開展的實際場景,以及數據安全事件實際案例,通過數據安全事件宣導、數據安全
66、事件場景還原、數據安全宣傳海報、數據安全月活動等方式,定期為員工開展數據安全意識培訓,糾正工作中的不良習慣,降低因意識不足帶來的數據安全風險。技術能力培養方式。一方面,構建組織內部的數據安全學習專區,營造培訓環境,通過線上視頻、線下授課相結合的方式,按計劃、有主題的定期開展數據安全技能培訓,夯實理論知識。另一方面,通過開展數據安全攻防對抗等實戰演練,將以教學為主的靜態培訓轉為以實踐為主的動態培訓,提高人員參與積極性,有助于理論向實踐轉化,切實提高人員數據安全技能。數據治理中心產品介紹7 數據治理解決方案文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司368 如何選擇版本如
67、何選擇版本請您根據您所需的功能和規格,慎重選擇DataArts Studio版本。購買版本后,無法直接降級版本。如已購買企業版,無法直接降級到初級版,您需要采取先備份數據,然后退訂原有實例,購買新實例,最后遷移備份數據到新實例的方式來實現版本降級。如果您的業務量不斷增長,已購版本無法滿足您的業務需求,您可以選擇升級版本。登錄DataArts Studio控制臺,找到需要升級的DataArts Studio實例,單擊“升級”,然后根據頁面提示購買更高規格的套餐。新版本模式說明新版本模式說明為了提供輕量化的數據治理能力、滿足資源按需靈活配置的需求,DataArts Studio提供了全新的版本模式
68、供您選擇。新版本模式相對于舊版本模式,價格門檻更低、資源拓展更加靈活,強力推薦您將已開通的舊版本模式升級至新版本模式。對于已開通的舊版本模式實例,需要您手動將舊模式升級到新模式,詳見DataArts Studio版本模式升級版本模式升級。版本模式升級過程及升級后,對功能、業務操作和運行均無任何影響。我們承諾在相同資源下,新版本模式價格更低。對于新開通的DataArts Studio實例,默認使用新版本模式,不支持回退到舊版本模式。新版本模式提供了初級版、專家版和企業版三大版本供您選擇。關于新版本模式與舊版本模式相比的變化,詳見表表8-1。數據治理中心產品介紹8 如何選擇版本文檔版本 01(20
69、22-07-15)版權所有 華為云計算技術有限公司37表表 8-1 新舊版本模式對比差異項差異項舊版本模式舊版本模式新版本模式新版本模式提供的版本 初級版:數據集成+數據開發 基礎版:數據集成+數據開發+數據治理 高級版:數據集成+數據開發+數據治理 專業版:數據集成+數據開發+數據治理 企業版:數據集成+數據開發+數據治理 免費版:數據集成+數據開發 初級版:數據集成+數據開發 專家版:數據集成+數據開發+輕量數據治理 企業版:數據集成+數據開發+數據治理免費版本不支持。支持。提供免費版本,以供試用。輕量數據治理能力不支持。除初級版外,均提供全功能數據治理能力,使用成本高。支持。專家版提供輕
70、量數據治理能力,滿足中小企業數據治理需求。支持的增量包僅提供功能增量包:批量數據遷移增量包 數據服務專享集群增量包提供功能增量包和規格增量包(免費版不支持):功能增量包(如何購買請參考購買購買功能增量包功能增量包):批量數據遷移增量包 數據服務專享集群增量包規格增量包(如何購買請參考購買購買規格增量包規格增量包):作業節點調度次數/天增量包 技術資產數量增量包 數據模型數量增量包版本模式變更支持升級到新版本模式。不支持回退到舊版本模式。如何選擇如何選擇 DataArts Studio 版本版本DataArts Studio新版本模式下包含免費版、初級版、專家版和企業版,各版本的建議使用場景如表
71、表8-2所示。表表 8-2 DataArts Studio 各版本建議使用場景版本版本建議使用場景建議使用場景免費版需要體驗DataArts Studio初級版功能,對規格和SLA無要求,適用于開發者試用、小規模驗證等場景。初級版建設初期數據湖項目,主要為大數據開發場景的數據ETL任務管理,不涉及數據治理。數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司38版本版本建議使用場景建議使用場景專家版中小企業規模,具備全職數據開發治理人員,需要輕量數據治理能力,如數據質量、數據目錄和數據服務等,性價比首選。企業版有完善的數據管理團隊和體系,中
72、大型企業規模,需要進行企業信息架構、數據標準、數據模型、數據指標的落地,匹配完整的DAYU數據治理方法論。DataArts Studio 版本規格說明版本規格說明DataArts Studio新版本模式下包含免費版、初級版、專家版和企業版,各版本支持的組件組件功能和規格不同,如表表8-3和表表8-4所示。表表 8-3 DataArts Studio 版本支持的組件DataArts Studio組件組件免費版免費版初級版初級版專家版專家版企業版企業版數據集成管理中心數據架構xxx數據開發數據質量xx支持,但不支持業務指標監控、對賬作業和質量報告。數據目錄xx支持,但不支持通過管理中心資源遷移進行
73、數據目錄(分類、標簽、采集任務)導出。數據服務xx數據安全(公測)xx支持,但不支持數據水印嵌入和溯源。數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司39表表 8-4 DataArts Studio 版本規格說明(單實例規格)DataArts Studio規格規格免費版免費版5初級版初級版專家版專家版企業版企業版DataArts Studio數據集成集群1贈送36小時cdm.large規格的CDM集群折扣套餐,需通過“云數據遷移 CDM”服務使用,詳見CDM用戶用戶指南指南。集群數量:1個規格名稱:cdm.mediumvCPUs/內存
74、:4核 8GB集群數量:1個規格名稱:cdm.mediumvCPUs/內存:4核 8GB集群數量:1個規格名稱:cdm.mediumvCPUs/內存:4核 8GB作業節點調度次數/天2500次/天5,000次/天5,000次/天5,000次/天技術資產數量3不支持不支持5005000數據模型數量4不支持不支持不支持100 注釋注釋:1 DataArts Studio數據集成集群數據集成集群:DataArts Studio實例贈送的數據集成集群,推薦作為管理中心數據連接的Agent代理使用,不建議同時作為Agent代理和運行數據遷移作業使用。用于運行數據遷移作業的其他規格數據集成集群推薦通過“批
75、量數據遷移增量包”進行購買(免費版需通過“云數據遷移 CDM”服務購買CDM集群),如何購買請參考購買功能增量包購買功能增量包。2 作業節點調度次數作業節點調度次數/天天:該規格是以每天執行的數據開發作業、質量作業、對賬作業、業務場景和元數據采集作業的調度次數之和計算的,可以通過“作業節點調度次數/天增量包”進行擴容,如何購買請參考購買規格增量包購買規格增量包。其中數據開發作業的每天調度次數,是以節點(包含Dummy節點)為粒度進行度量的,另外補數據任務也會計入度量次數,但測試運行、失敗重試不會計入。例如某作業包含2個DWS SQL節點和1個Dummy節點,每天00:00開始執行,隔10小時調
76、度一次,當天額外進行了過去10天的補數據,則該作業當天調度次數為2*3+2*3*10=66,后續每天調度次數為2*3=6。另外,當作業節點調度的已使用次數+運行中次數+本日將運行次數之和大于此版本規格時,就會提示作業節點調度次數/天超過配額。3 技術資產數量技術資產數量:該規格指的是數據目錄中表和OBS文件的數量,可以通過“技術資產數量增量包”進行擴容,如何購買請參考購買規格增量包購買規格增量包。4 數據模型數量數據模型數量:該規格指的是數據架構中邏輯模型、物理模型、維度表、事實表和匯總表的數量,可以通過“數據模型數量增量包”進行擴容,如何購買請參考購買規購買規格增量包格增量包。5 免費版免費
77、版:免費版定位于試用場景,每個賬號在每個區域下僅能有一個免費版實例。使用免費版前,請您了解如下約定:1.免費版不自帶數據集成集群,而是首次購買時贈送36小時cdm.large規格的CDM集群折扣套餐,1年內有效。使用折扣套餐包時,您需要在“云數據遷移 CDM”服務創建一個與DataArts Studio實例區域一致的cdm.large規格集群,集群運行時數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司40會自動扣除折扣套餐包時長,折扣套餐包時長到期后需要刪除此集群,否則會產生相關費用。關于CDM服務的計費詳情可參見CDM用戶指南用戶指南
78、。2.免費版不支持購買增量包,例如無法購買批量數據遷移增量包或作業節點調度次數/天增量包。3.免費版數據開發組件的腳本數和作業數的配額限制分別為20。4.免費版僅用于試用場景,在業務負荷大的場景下,無法保證免費版實例上業務的正常運行。5.免費版不支持通過API調用的方式使用,僅支持控制臺方式使用。6.免費版受成本、資源等因素限制,提供的總數量有限。當全網免費版數量超過限額時,將無法繼續創建免費版實例。7.免費版支持升級到其他付費版本。升級到其他版本或刪除當前免費版實例后,您可以再次購買免費版,但不能再勾選“CDM套餐包”,折扣套餐僅在首次購買免費版時贈送。DataArts Studio 版本模
79、式升級版本模式升級對于已開通的舊版本模式實例,需要您手動將舊模式升級到新模式。模式升級的處理原則如下:舊版本模式的初級版直接切換到新版本模式的初級版,功能體驗、版本規格和計費標準均保持不變。舊版本模式除初級版外的其他版本升級到新版本模式,為保證數據治理功能體驗一致,會轉換為新版本模式下的非標準企業版(與標準企業版的支持組件一致,但規格不同);同時版本規格相比舊模式有所提升,且計費標準不變或下降(如果計費標準下降,DataArts Studio會自動將后期使用時長的差價原路返回到您的付款賬戶中)。因此,我們強力推薦您將已有DataArts Studio實例從舊模式升級為新模式。各版本切換前后的情
80、況對比如圖圖8-1所示。數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司41圖圖 8-1 模式切換前后對比版本模式升級操作不可回退,升級過程及升級后對功能、業務操作和運行均無任何影響。值得注意的是,切換到新商業模式后,不再支持免費試用基礎版。建議您通過體體驗活動驗活動進行功能試用。如果您需要將舊版本模式升級為新版本模式,可以參考如下步驟進行操作:步驟步驟1 以華為賬號、擁有DAYU Administrator或Tenant Administrator權限的用戶登錄華為云控制臺。在控制臺左上方,單擊“服務列表”按鈕,選擇“數據治理中心”,
81、進入DataArts Studio控制臺。步驟步驟2 在DataArts Studio控制臺,單擊實例名右側的,進入實例管理頁面。步驟步驟3 在需要升級版本模式的實例卡片上,找到“模式切換”按鈕并單擊進入模式切換界面。數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司42圖圖 8-2 模式切換按鈕步驟步驟4 在模式切換界面,您可以看到當前舊版本模式切換前后的對比和詢價情況。如果您確認切換,單擊右下方“切換”按鈕,隨系統提示進行升級即可。圖圖 8-3 模式切換步驟步驟5 版本模式升級完成需要約5分鐘,升級過程及升級后對功能、業務操作和運行均
82、無任何影響。在切換成功后,如果計費標準有所下降,DataArts Studio會自動將后期使用時長的差價原路返回到您的付款賬戶中。升級完成后,則您可以基于新的版本模式繼續使用DataArts Studio。-結束結束數據治理中心產品介紹8 如何選擇版本文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司439 計費說明計費說明數據治理中心DataArts Studio采用基礎包+增量包的計費項。為了便于您便捷的下單購買,在控制臺購買界面中系統會為您計算好所購買的套餐包價格,您可一鍵完成整個配置的購買。須知須知在您使用DataArts Studio的過程中,可能還會產生以下相關
83、服務的費用,敬請知悉:OBS服務:在數據集成或數據開發時,DataArts Studio會將臟數據或日志文件寫入到OBS服務中,則會產生對象存儲服務費用,收費標準請參見OBS價格詳情價格詳情。APIG服務:在使用數據服務共享版發布API到API網關共享版后,如果調用API,則會產生API網關的調用API費用和流量費用,收費標準請參見APIG價格詳情價格詳情。EIP服務:如果您為數據集成集群或數據服務專享版集群開通了公網IP,則會產生彈性公網IP服務費用,收費標準請參見EIP價格詳情價格詳情。SMN服務:如果您在使用DataArts Studio各組件過程中開啟了消息通知功能,則會產生消息通知服
84、務費用,收費標準請參見SMN價格詳情價格詳情。DEW服務:在數據集成或創建管理中心連接時,如果啟用了KMS,則會產生密鑰管理費用,收費標準請參見DEW價格詳情價格詳情。計費項計費項DataArts Studio采用基礎包+增量包的計費項,具體說明如表表9-1所示:數據治理中心產品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司44表表 9-1 DataArts Studio 計費項計費計費項項計費項計費項子類子類計費項說明計費項說明計費計費模式模式計費說明計費說明DataArtsStudio基礎包初級版專家版企業版DataArts Studio基礎包對應D
85、ataArts Studio實例,如果需要使用DataArts Studio服務,則必須先購買DataArtsStudio實例。DataArts Studio實例根據不同版本,包含了不同的組件和規格,具體請參見如何選擇如何選擇DataArts Studio版本版本。包年包月DataArts Studio基礎包不含其他相關云服務所產生的費用,例如彈性公網IP、對象存儲服務等。DataArts Studio基礎包的計費詳情,請參見數數據治理中心價格詳情據治理中心價格詳情。DataArtsStudio增量包(可選)批量數據遷移增量包批量數據遷移增量包對應數據集成CDM集群。數據集成CDM集群提供數據
86、上云和數據入湖的集成能力,全向導式配置和管理,支持單表、整庫、增量、周期性數據集成。DataArts Studio基礎包中已經包含一個數據集成的集群,如果無法滿足業務需求,在購買DataArts Studio基礎包實例后,您需要購買按需計費的批量數據遷移增量包來創建CDM集群。按需計費 套餐包(按需資源包)批量數據遷移增量包支持按需計費和套餐包計費兩種計費方式。按需計費:計費方式靈活,可以即開即停,按實際使用時長計費。創建按需計費的增量包后,會自動創建一個數據集成CDM集群。套餐包(按需資源包):建立在按需計費的基礎之上,通過預付費購買一定時間期限內的使用量套餐包。相對于按需計費更優惠,對于長
87、期使用者,推薦使用套餐包。創建套餐包計費的增量包后,購買的是和具體的區域、實例規格綁定的資源包,不會自動創建CDM集群。計費詳情請參見批量數批量數據遷移增量包價格詳據遷移增量包價格詳情情。數據治理中心產品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司45計費計費項項計費項計費項子類子類計費項說明計費項說明計費計費模式模式計費說明計費說明數據服務專享集群增量包數據服務專享集群增量包對應數據服務專享版集群。數據服務定位于標準化的數據服務平臺,提供一站式數據服務開發、測試部署能力,實現數據服務敏捷響應,降低數據獲取難度,提升數據消費體驗和效率,最終實現數據資產
88、的變現。數據服務當前提供共享版與專享版兩種服務方式,差異請參見共享版與專享版數據共享版與專享版數據服務的對比服務的對比。其中數據服務共享版即開即用,數據服務專享版需要通過數據服務專享集群增量包創建集群后使用。包年包月計費詳情請參見數據服數據服務專享集群增量包價格務專享集群增量包價格詳情詳情。公測期間的數據服務專享集群將轉為收費集群,寬限期內充值只能選擇包周期,充值后不存在寬限期。超過寬限期后集群狀態轉為凍結期。說明說明數據服務專享版在每個DataArts Studio實例下具有創建10個專享版API免費試用額度,超出試用配額后會產生數據服務專享版API的費用,所創建的超出試用配額API按每天每
89、個按1元收費。作業節點調度次數/天增量包作業節點調度次數/天增量包提供對應的規格資源。不同版本的DataArts Studio實例,提供了不同的作業節點調度次數/天規格限制。該規格是以每天執行的數據開發作業、質量作業、對賬作業、業務場景和元數據采集作業的調度次數之和計算的,其中數據開發作業的每天調度次數是以節點為粒度進行度量。您可以在新版本模式的DataArtsStudio實例卡片上通過“更多 配額使用量”查看使用量。當您的每日作業節點調度次數接近或達到該規格時,建議購買作業節點調度次數/天增量包,以避免作業調度受限。包年包月套餐包計費情況以實際費用為準。數據治理中心產品介紹9 計費說明文檔版
90、本 01(2022-07-15)版權所有 華為云計算技術有限公司46計費計費項項計費項計費項子類子類計費項說明計費項說明計費計費模式模式計費說明計費說明技術資產數量增量包技術資產數量增量包提供對應的規格資源。不同版本的DataArts Studio實例,提供了不同的技術資產數量規格限制。該規格是以數據目錄中表和OBS文件的數量之和計算的,您可以在新版本模式的DataArts Studio實例卡片上通過“更多 配額使用量”查看使用量。當您的技術資產數量接近或達到該規格時,建議購買技術資產數量增量包,以避免資產采集受限。包年包月套餐包計費情況以實際費用為準。數據模型數量增量包不同版本的DataAr
91、ts Studio實例,提供了不同的數據模型數量規格限制。該規格是以數據架構中邏輯模型、物理模型、維度表、事實表和匯總表的數量之和計算的,您可以在新版本模式的實例卡片上通過“更多 配額使用量”查看使用量。當您的數據模型數量接近或達到該規格時,建議購買數據模型數量增量包,以避免數據架構設計受限。包年包月套餐包計費情況以實際費用為準。數據治理中心產品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司47說明說明套餐包(按需資源包)方式購買批量數據遷移增量包時,需注意如下幾點:套餐包(按需資源包)方式購買批量數據遷移增量包后,系統不自動創建CDM集群,而是和具體的
92、區域和實例規格綁定,在生效期內的每個計費月內按月提供745小時/月的使用時長,在綁定區域給對應實例規格的CDM集群使用。套餐包(按需資源包)僅支持給DataArts Studio控制臺購買的CDM集群使用;在CDM控制臺購買的CDM集群,不支持使用DataArts Studio增量包形式購買的套餐包(按需資源包),僅支持使用在云數據遷移CDM服務控制臺購買的折扣套餐(按需資源包)。如果當前綁定區域有1個或多個對應實例規格的CDM集群,則扣費方式是先扣除已購買資源包內的時長額度,超出部分以按需計費的方式進行結算(資源包對應多個集群時,會出現每月訂購周期內可使用時長不足的情況)。例如購買了1個月的
93、套餐包(745小時/月),按區域和實例規格匹配到兩個CDM集群后,從當前開始的1個月訂購有效期內,兩個集群同時使用只能使用745/2=372.5小時,約15.5天,剩余時間內兩個集群按照按需計費的方式結算費用。如果當前綁定區域沒有對應實例規格的CDM集群,購買套餐包后不會消耗所購買的時長;但在生效期內,若未使用CDM集群,套餐包也不會延期。建議您先安排好服務使用計劃,再購買套餐包。如果您希望享受套餐包的優惠價格,需要先購買一個“套餐包”增量包,再購買一個和套餐包具有相同區域和規格的“按需計費”增量包。如果您先購買一個“按需計費”增量包,再購買一個相同區域和規格的“套餐包”增量包,則在購買套餐包
94、之前已經產生的費用按“按需計費”計費,購買套餐包之后的費用按“套餐包”計費。計費模式計費模式DataArts Studio不同計費項所支持的計費模式,如表表9-2所示。表表 9-2 DataArts Studio 支持的計費模式計費模式計費模式模式介紹模式介紹適用場景適用場景支持的計費項支持的計費項包年包月 通過預付費,以包年或包月模式購買云資源。購買成功后,系統分配云資源給賬戶使用。使用中的云資源支持退訂。使用期限到期后,如未續費則進入寬限期以及保留期,直到資源被回收。適用于業務量穩定、需長期使用固定云資源的場景,可以享受更低的包周期資費。DataArtsStudio基礎包 數據服務專享集群
95、增量包 作業節點調度次數/天增量包 技術資產數量增量包 數據模型數量增量包按需計費 不需要預付費,可直接創建、使用按需資源。按照資源使用量或使用時間進行計費。適用于業務量激增、短期或間斷性使用運資源的場景,使用時長不固定,資費較高。批量數據遷移增量包數據治理中心產品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司48計費模式計費模式模式介紹模式介紹適用場景適用場景支持的計費項支持的計費項套餐包(按需資源包)通過預付費,購買一定時間期限內的云資源使用量配額。購買后,系統不會自動分配云資源。使用中的按需資源包不支持退訂,詳情可查看不可退不可退訂訂。使用期限或使
96、用量到期后,還可以繼續使用云資源,超出部分按需計費。適用于使用期限不固定、但需要長期使用云資源的客戶,可以享受套餐包的低資費。批量數據遷移增量包 變更配置變更配置在購買DataArts Studio時,有多種基礎包或增量包規格供您選擇,您可根據業務需要選擇合適的基礎包或增量包。當您完成DataArts Studio基礎包或增量包的購買后,DataArts Studio提供如下變更配置的方式。DataArts Studio基礎包升級基礎包升級:DataArts Studio基礎包套餐允許升級,升級時,已經產生的費用按天結算。升級成功后,按新訂購套餐進行計費。如需升級,請登錄DataArts St
97、udio控制臺,找到需要升級的DataArts Studio實例,單擊“升級”,然后根據頁面提示購買更高規格的套餐。套餐升級后,系統會根據升級后的套餐創建一個新的數據集成集群。原基礎包中的數據集成集群仍為您保留,但是不會再產生費用。您需要將原集群的數據連接、作業等信息手動遷移到新集群,具體操作請參見批量管理作業批量管理作業。若DataArts Studio提供的變更配置方式不滿足您的要求,您也可以重新購買DataArtsStudio基礎包或增量包,退訂當前基礎包或增量包。續費續費DataArts Studio基礎包基礎包DataArts Studio基礎包套餐采用包年包月計費模式,套餐到期后相
98、繼進入寬限期和保留期(詳情請參見到期與欠費到期與欠費),建議請在所購買的套餐包時長用完前進行續費。DataArts Studio基礎包支持自動續費,自動續費的默認續費周期為:按月購買:自動續費周期為1個月。按年購買:自動續費周期為1年。您可以通過以下兩種方式開通自動續費:登錄DataArts Studio控制臺,在購買DataArts Studio實例的頁面中,勾選“自動續費”選項。如果您已購買DataArts Studio實例,請進入續費管理頁面,在實例列表中查找所需續費的DataArts Studio實例,單擊其所在行的“開通自動續費”,然后請根據頁面提示完成自動續費的開通。數據治理中心產
99、品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司49您也可以進行手動續費,請進入續費管理續費管理頁面,在列表中查找所需續費的DataArts Studio實例,單擊其所在行的“續費”,進行手動續費操作。有關續費的更多信息,請參見續費管理續費管理。DataArts Studio增量包增量包“包年包月”計費的“包年包月”計費的DataArts Studio增量包增量包包年包月計費的DataArts Studio增量包,當時長到期后相繼進入寬限期和保留期(詳情請參見到期與欠費到期與欠費),因此在欠費前請及時充值。如需充值,請進入續費管理續費管理頁面,在左側導航
100、樹單擊“總覽”,在總覽頁面單擊“充值”對賬戶進行充值?!鞍葱栌嬞M”的批量數據遷移增量包“按需計費”的批量數據遷移增量包按需計費是按每小時扣費,當余額不足后會相繼進入寬限期和保留期(詳情請參見到期與欠費到期與欠費),因此在欠費前請及時充值。如需充值,請進入續費管理續費管理頁面,在左側導航樹單擊“總覽”,在總覽頁面單擊“充值”對賬戶進行充值?!疤撞桶ò葱栀Y源包)”計費的批量數據遷移增量包“套餐包(按需資源包)”計費的批量數據遷移增量包套餐包(按需資源包)計費的批量數據遷移增量包,所購買的時長到期后套餐結束,會自動轉為“按需計費”方式。如果希望繼續享受“套餐包”的優惠方式,請在所購買的套餐包時長用
101、完前進行再次購買。如需再次購買,請進入續費管理續費管理頁面,找到所需購買的DataArts Studio增量包,然后單擊“再次購買”。到期與欠費到期與欠費DataArts Studio基礎包基礎包DataArts Studio基礎包套餐采用包年包月計費模式,套餐到期后進入寬限期,寬限期內您可正常訪問及使用DataArts Studio,且正常計費。您需要在寬限期內購買套餐時長,否則會進入保留期。保留期內,數據仍予以保留,但是您將無法訪問DataArts Studio實例,您無法在DataArts Studio管理控制臺進行操作,相關接口也無法調用。如果在保留期結束時您沒有續費,DataArts
102、 Studio將終止服務,系統中的數據也將被永久刪除。系統會根據用戶等級賦予不同的寬限期和保留期,詳見寬限期保留期寬限期保留期。DataArts Studio增量包增量包“包年包月”計費的“包年包月”計費的DataArts Studio增量包增量包包年包月計費模式的增量包到期后進入寬限期,寬限期內您可正常使用增量包,且正常計費。您需要在寬限期內購買套餐時長,否則會進入保留期。保留期內,數據仍予以保留,但是您將無法使用增量包功能。如果在保留期結束時您沒有續費,增量包將終止服務,系統中的數據也將被永久刪除。系統會根據用戶等級賦予不同的寬限期和保留期,詳見寬限期保留期寬限期保留期?!鞍葱栌嬞M”的批量
103、數據遷移增量包“按需計費”的批量數據遷移增量包按每小時扣費,沒有到期的概念,只要賬戶中有余額就可以繼續使用。當余額不足,無法對上一個小時的費用進行扣費,就會導致DataArts Studio增量包欠費,欠費后進入寬限期,寬限期內您可正常訪問及使用DataArts Studio增量包的服務,但處于寬限期的資源是繼續計費的。您需要在寬限期內續費,否則會進入保留期。保留期內,數據仍予以保留,但是您將無法訪問DataArts Studio增量包的服務,也無法進行相關操作,相關接口無法調用。如果在保留期結束時您沒有續費,DataArts Studio將終止服務,系統中的數據也將被永久刪除。數據治理中心產
104、品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司50系統會根據用戶等級賦予不同的寬限期和保留期,詳見寬限期保留期寬限期保留期?!疤撞桶ò葱栀Y源包)”計費的批量數據遷移增量包“套餐包(按需資源包)”計費的批量數據遷移增量包所購買的時長到期后套餐結束,會自動轉為“按需計費”方式繼續計費。退訂退訂DataArts Studio基礎包基礎包DataArts Studio基礎包套餐生效期間,您可以根據需要,參考云服務退訂云服務退訂退訂DataArts Studio包年包月套餐。另外在退訂DataArts Studio后,對于在DataArts Studio使用過
105、程中可能會產生費用的以下相關服務,請分別退訂其資源,避免其依然計費。OBS服務:在數據集成或數據開發時,DataArts Studio會將臟數據或日志文件寫入到OBS服務中,則會產生對象存儲服務費用,收費標準請參見OBS價價格詳情格詳情。APIG服務:在使用數據服務共享版發布API到API網關共享版后,如果調用API,則會產生API網關的調用API費用和流量費用,收費標準請參見APIG價價格詳情格詳情。EIP服務:如果您為數據集成集群或數據服務專享版集群開通了公網IP,則會產生彈性公網IP服務費用,收費標準請參見EIP價格詳情價格詳情。SMN服務:如果您在使用DataArts Studio各組
106、件過程中開啟了消息通知功能,則會產生消息通知服務費用,收費標準請參見SMN價格詳情價格詳情。DEW服務:在數據集成或創建管理中心連接時,如果啟用了KMS,則會產生密鑰管理費用,收費標準請參見DEW價格詳情價格詳情。DataArts Studio增量包增量包“包年包月”計費的“包年包月”計費的DataArts Studio增量包增量包需參考云服務退訂云服務退訂退訂套餐包?!鞍葱栌嬞M”的批量數據遷移增量包“按需計費”的批量數據遷移增量包“按需計費”的批量數據遷移增量包,在刪除數據集成集群后,則不再按需計費?!疤撞桶ò葱栀Y源包)”計費的批量數據遷移增量包“套餐包(按需資源包)”計費的批量數據遷移增
107、量包按需資源包當前不支持退訂,具體詳情可查看不可退訂不可退訂。數據治理中心產品介紹9 計費說明文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司5110 安全安全10.1 責任共擔責任共擔華為云秉承“將公司對網絡和業務安全性保障的責任置于公司的商業利益之上”。針對層出不窮的云安全挑戰和無孔不入的云安全威脅與攻擊,華為云在遵從法律法規業界標準的基礎上,以安全生態圈為護城河,依托華為獨有的軟硬件優勢,構建面向不同區域和行業的完善云服務安全保障體系。安全性是華為云與您的共同責任,如圖圖10-1所示。華為云華為云:負責云服務自身自身的安全,提供安全的云。華為云的安全責任在于保障其所
108、提供的 IaaS、PaaS 和 SaaS 類云服務自身的安全,涵蓋華為云數據中心的物理環境設施和運行其上的基礎服務、平臺服務、應用服務等。這不僅包括華為云基礎設施和各項云服務技術的安全功能和性能本身,也包括運維運營安全,以及更廣義的安全合規遵從。租戶租戶:負責云服務內部內部的安全,安全地使用云。華為云租戶的安全責任在于對使用的 IaaS、PaaS 和 SaaS 類云服務內部的安全以及對租戶定制配置進行安全有效的管理,包括但不限于虛擬網絡、虛擬主機和訪客虛擬機的操作系統,虛擬防火墻、API 網關和高級安全服務,各項云服務,租戶數據,以及身份賬號和密鑰管理等方面的安全配置。華為云安全白皮書華為云安
109、全白皮書詳細介紹華為云安全性的構建思路與措施,包括云安全戰略、責任共擔模型、合規與隱私、安全組織與人員、基礎設施安全、租戶服務與租戶安全、工程安全、運維運營安全、生態安全。數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司52圖圖 10-1 華為云安全責任共擔模型10.2 資產識別與管理資產識別與管理云資源的標識與管理可通過標簽實現。使用場景使用場景通常您的業務系統可能使用了華為云的多種云服務,您可以為這些云服務下不同的資源實例分別設置標簽(對于DataArts Studio而言,標簽作用于其實例上),各服務產生的計費詳單中都會體現這些資源實例
110、和實例上設置的標簽。如果您的業務系統是由多個不同的應用構成,為同一種應用擁有的資源實例設置統一的標簽將很容易幫助您對不同的應用進行使用量分析和成本核算。對DataArts Studio來說,標簽用于標識購買的實例,以此來達到對購買的DataArtsStudio實例進行分類的目的。當為實例添加標簽時,該實例上所有請求產生的計費話單里都會帶上這些標簽,從而可以針對話單報表做分類篩選,進行更詳細的成本分析。例如:某個實例作用于A部門,我們可以用該部門名稱做為標簽,設置到被使用的實例上。在分析話單時,就可以通過該部門名稱的標簽來分析此部門的開發使用成本。DataArts Studio以鍵值對的形式來描
111、述標簽。一個實例默認最大擁有20個標簽。每個標簽有且只有一對鍵值。鍵和值可以任意順序出現在標簽中。同一個實例標簽的鍵不能重復,但是值可以重復,并且可以為空。使用方式使用方式DataArts Studio支持通過控制臺方式創建實例標簽,詳情請參見創建實例標簽創建實例標簽。數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司5310.3 身份認證與訪問控制身份認證與訪問控制身份認證身份認證用戶訪問DataArts Studio的方式有多種,包括控制臺、開放API等,無論訪問方式封裝成何種形式,其本質都是通過DataArts Studio提供的REST
112、風格的API接口進行請求。DataArts Studio的接口均需要進行認證鑒權以此來判斷是否通過身份認證。通過控制臺發出的請求需要通過Token認證鑒權,調用API接口認證鑒權認證鑒權支持Token認證和AK/SK認證兩種方式。訪問控制訪問控制您可以使用統一身份認證服務(Identity and Access Management,簡稱IAM)進行精細的權限管理。該服務提供用戶身份認證、權限分配、訪問控制等功能,可以幫助您安全的控制華為云資源的訪問。關于IAM的詳細介紹,請參見IAM產品介紹產品介紹。DataArts Studio僅支持基于系統角色的授權,不支持策略授權僅支持基于系統角色的授
113、權,不支持策略授權。為了實現精細的權限管控,DataArts Studio提供了系統角色系統角色+工作空間角色工作空間角色授權的能力,由工作空間角色授權具體的操作權限,并支持自定義不同權限點的工作空間角色。如圖圖10-2和表表10-1所示,DataArts Studio的IAM系統角色包括DAYU Administrator和DAYU User;工作空間角色是基于IAM角色DAYU User進一步授予的,權限列表權限列表列出了DataArts Studio常用操作與工作空間角色的授權關系,您可以參照這些權限列表選擇合適的角色。圖圖 10-2 權限體系表表 10-1 DataArts Studi
114、o 系統角色系統角色名稱系統角色名稱描述描述類別類別DAYUAdministrator實例管理員,擁有對DataArts Studio實例及工作空間的所有管理權限、依賴服務權限,以及所有工作空間內的所有業務操作權限。說明說明Tenant Administrator具有除統一身份認證服務外,其他所有服務的所有執行權限。即Tenant Administrator權限的用戶也擁有對DataArts Studio的所有執行權限。系統角色數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司54系統角色名稱系統角色名稱描述描述類別類別DAYU User普通用
115、戶,具備DataArts Studio實例及工作空間的查看權限,以及依賴服務權限。普通用戶需要被授予任一工作空間角色后,才能擁有對應角色的業務操作權限。工作空間有管理員、開發者、部署者、運維者和訪客五種預置角色和自定義角色,每種角色的介紹如下,具體操作權限請參見權限列表權限列表。管理員:工作空間管理員,擁有工作空間內所有的業務操作權限。建議將項目負責人、開發責任人、運維管理員設置為管理員角色。開發者:開發者擁有工作空間內創建、管理工作項的業務操作權限。建議將任務開發、任務處理的用戶設置為開發者。運維者:運維者具備工作空間內運維調度等業務的操作權限,但無法更改工作項及配置。建議將運維管理、狀態監
116、控的用戶設置為運維者。訪客:訪客可以查看工作空間內的數據,但無法操作業務。建議將只查看空間內容、不進行操作的用戶設置為訪客。部署者:企業模式獨有,具備工作空間內任務包發布的相關操作權限。在企業模式中,開發者提交腳本或作業版本后,系統會對應產生發布任務。開發者確認發包后,需要部署者審批通過,才能將修改后的作業同步到生產環境。自定義角色:如果預置角色不能滿足您的需求,您也可以創建自定義角色。自定義角色的權限可自由配置,實現業務操作權限最小化。系統角色 10.4 數據保護技術數據保護技術收集范圍收集范圍為了確保您的個人數據個人數據(例如用戶名、密碼、手機號碼等)不被未經過認證、授權的實體或者個人獲取
117、,DataArts Studio對用戶數據的存儲和傳輸進行加密保護,以防止個人數據泄露,保證您的個人數據安全。用戶名:用于審批,消息通知,作為用戶資產的屬性存在,獲取委托token的key值以及國際化。用戶IP:用于作為用戶資產的唯一標識的必要信息存在。手機號:用于審批及消息通知。郵箱:用于審批及消息通知。創建數據庫連接的相關信息:包括用于創建數據庫類型數據源所需的數據庫IP、端口、用戶名、密碼和密鑰對密碼。創建DIS以及對象存儲類型連接的相關信息:包括用于創建DIS/對象存儲類型數據連接所需的Access key、Secret Access Key。數據治理中心產品介紹10 安全文檔版本 0
118、1(2022-07-15)版權所有 華為云計算技術有限公司55數據存儲安全數據存儲安全DataArts Studio通過加密算法對用戶個人敏感數據加密后進行存儲。對于用戶敏感信息,且均存儲于中華人民共和國境內,在服務購買周期到期后14天后將會刪除。數據傳輸安全數據傳輸安全用戶個人敏感數據(包括密碼)將通過TLS 1.2、TLS1.3進行傳輸中加密,所有DataArts Studio的API調用都支持 HTTPS 來對傳輸中的數據進行加密。10.5 審計與日志審計與日志云審計服務(Cloud Trace Service,以下簡稱CTS),是華為云安全解決方案中專業的日志審計服務,提供對各種云資源
119、操作記錄的收集、存儲和查詢功能,可用于支撐安全分析、合規審計、資源跟蹤和問題定位等常見應用場景。CTS可記錄的DataArts Studio操作列表詳見如何查看審計日志如何查看審計日志。用戶開通云審計服務開通云審計服務并創建和配置追蹤器后,CTS開始記錄操作事件用于審計,用戶可查看CTS保存最近7天的審計日志。CTS支持配置關鍵操作通知配置關鍵操作通知。例如用戶可將與IAM相關的高危敏感操作,作為關鍵操作加入到CTS的實時監控列表中進行監控跟蹤。當用戶使用DataArts Studio服務時,如果觸發了監控列表中的關鍵操作,那么CTS會在記錄操作日志的同時,向相關訂閱者實時發送通知。10.6
120、服務韌性服務韌性DataArts Studio通過AZ故障容錯、過載保護、備份恢復等技術方案,保障數據的持久性和可靠性。10.7 監控安全風險監控安全風險DataArts Studio提供基于云監控服務CES的資源監控能力,幫助用戶監控賬號下的DataArts Studio數據集成模塊中的CDM集群,執行自動實時監控、告警和通知操作。用戶可以實時掌握集群運行中所產生的網絡流入速率、網絡流出速率、CPU使用率、內存使用率、磁盤利用率、失敗作業率等信息。關于DataArts Studio支持的監控指標,以及如何創建監控告警規則等內容,請參見查查看監控指標看監控指標。10.8 故障恢復故障恢復Dat
121、aArts Studio云服務每天會定時全量備份數據庫數據,當服務故障后,通過備份恢復等技術方案支持數據恢復。10.9 更新管理更新管理更新漏洞更新漏洞DataArts Studio云服務通過華為云安全公告密切跟蹤漏洞,如Apache Log4j2 遠程代碼執行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司56(CNVD-2022-40233)等,如發現服務模塊涉及漏洞影響,會迅速通過官方解決方案升級現網更新漏洞。更新配置更新配置DataArts Studio云服務通過版
122、本更新升級更新配置。10.10 認證證書認證證書合規證書合規證書華為云服務及平臺通過了多項國內外權威機構(ISO/SOC/PCI等)的安全合規認證,用戶可自行申請下載申請下載合規資質證書。圖圖 10-3 合規證書下載資源中心資源中心華為云還提供以下資源來幫助用戶滿足合規性要求,具體請查看資源中心資源中心。圖圖 10-4 資源中心數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司57銷售許可證銷售許可證&軟件著作權證書軟件著作權證書另外,華為云還提供了以下銷售許可證及軟件著作權證書,供用戶下載和參考。具體請查看合規資質證書合規資質證書。圖圖 10
123、-5 銷售許可證&軟件著作權證書數據治理中心產品介紹10 安全文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司5811 權限管理權限管理如果您需要對購買的DataArts Studio資源,給企業中的員工設置不同的訪問權限,以達到不同員工之間的權限隔離,您可以使用統一身份認證服務(Identity and AccessManagement,簡稱IAM)進行精細的權限管理。該服務提供用戶身份認證、權限分配、訪問控制等功能,可以幫助您安全的控制華為云資源的訪問。通過IAM,您可以在華為云賬號中給員工創建IAM用戶,并授權來控制他們對華為云資源的訪問范圍。例如您的員工中有負責軟
124、件開發的人員,您希望他們擁有DataArtsStudio的使用權限,但是不希望他們擁有刪除工作空間等高危操作的權限,那么您可以使用IAM為開發人員創建用戶,通過授予僅能使用DataArts Studio服務,但是不允許刪除工作空間的權限,控制他們對DataArts Studio資源的使用范圍。IAM是華為云提供權限管理的基礎服務,無需付費即可使用,您只需要為您賬號中的資源進行付費。關于IAM的詳細介紹,請參見IAM產品介紹產品介紹。DataArts Studio 權限權限默認情況下,管理員創建的IAM用戶沒有任何權限,需要將其加入用戶組,并給用戶組授予策略或角色,才能使得用戶組中的用戶獲得對應
125、的權限,這一過程稱為授權。授權后,用戶就可以基于被授予的權限對云服務進行操作。DataArts Studio部署時通過物理區域劃分,為項目級服務。授權時,“作用范圍”需要選擇“區域級項目”,然后在指定區域對應的項目中設置相關權限,并且該權限僅對此項目生效;如果在“所有項目”中設置權限,則該權限在所有區域項目中都生效。訪問DataArts Studio時,需要先切換至授權區域。DataArts Studio僅支持基于系統角色的授權,不支持策略授權僅支持基于系統角色的授權,不支持策略授權。為了實現精細的權限管控,DataArts Studio提供了系統角色系統角色+工作空間角色工作空間角色授權的能
126、力,由工作空間角色授權具體的操作權限,并支持自定義不同權限點的工作空間角色。說明說明IAM提供了以下兩種授權機制。注意,DataArts Studio僅支持其中的IAM角色方式,不支持IAM策略。IAM角色角色:IAM最初提供的一種根據用戶的工作職能定義權限的粗粒度授權機制。該機制以服務為粒度,提供有限的服務相關角色用于授權。傳統的IAM角色并不能滿足用戶對精細化授權的要求,無法完全達到企業對權限最小化的安全管控要求。IAM策略策略:IAM最新提供的一種細粒度授權的能力,可以精確到具體服務的操作、資源以及請求條件等?;诓呗缘氖跈嗍且环N更加靈活的授權方式,能夠滿足企業對權限最小化的安全管控要求
127、。數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司59如圖圖11-1和表表11-1所示,DataArts Studio的IAM系統角色包括DAYU Administrator和DAYU User;工作空間角色是基于IAM角色DAYU User進一步授予的,權限列表權限列表列出了DataArts Studio常用操作與工作空間角色的授權關系,您可以參照這些權限列表選擇合適的角色。圖圖 11-1 權限體系表表 11-1 DataArts Studio 系統角色系統角色名稱系統角色名稱描述描述類別類別DAYUAdministrator實例管理員
128、,擁有對DataArts Studio實例及工作空間的所有管理權限、依賴服務權限,以及所有工作空間內的所有業務操作權限。說明說明Tenant Administrator具有除統一身份認證服務外,其他所有服務的所有執行權限。即Tenant Administrator權限的用戶也擁有對DataArts Studio的所有執行權限。系統角色數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司60系統角色名稱系統角色名稱描述描述類別類別DAYU User普通用戶,具備DataArts Studio實例及工作空間的查看權限,以及依賴服務權限。普通用戶需
129、要被授予任一工作空間角色后,才能擁有對應角色的業務操作權限。工作空間有管理員、開發者、部署者、運維者和訪客五種預置角色和自定義角色,每種角色的介紹如下,具體操作權限請參見權限列表權限列表。管理員:工作空間管理員,擁有工作空間內所有的業務操作權限。建議將項目負責人、開發責任人、運維管理員設置為管理員角色。開發者:開發者擁有工作空間內創建、管理工作項的業務操作權限。建議將任務開發、任務處理的用戶設置為開發者。運維者:運維者具備工作空間內運維調度等業務的操作權限,但無法更改工作項及配置。建議將運維管理、狀態監控的用戶設置為運維者。訪客:訪客可以查看工作空間內的數據,但無法操作業務。建議將只查看空間內
130、容、不進行操作的用戶設置為訪客。部署者:企業模式獨有,具備工作空間內任務包發布的相關操作權限。在企業模式中,開發者提交腳本或作業版本后,系統會對應產生發布任務。開發者確認發包后,需要部署者審批通過,才能將修改后的作業同步到生產環境。自定義角色:如果預置角色不能滿足您的需求,您也可以創建自定義角色。自定義角色的權限可自由配置,實現業務操作權限最小化。系統角色 DataArts Studio 控制臺功能依賴的角色或策略控制臺功能依賴的角色或策略DataArts Studio服務各組件功能所需依賴服務的權限如表表11-2所示。在實際授權場景中,推薦為開發者用戶配置DataArts Studio服務級
131、別的依賴服務最小權限(可參考如如何最小化授權何最小化授權IAM用戶使用用戶使用DataArts Studio,為用戶配置最小權限),開發者用戶的最小依賴服務權限如表表11-3所示。說明說明在實際授權場景中,DAYU Administrator和DAYU User系統角色已經預置了依賴服務的管理員權限。為了避免普通用戶/用戶組被授予DAYU User系統角色導致其擁有的依賴服務權限過大的風險,您可以在為用戶組授權DAYU User系統角色后,手動刪除用戶組的周邊依賴權限,再為用戶組授予所需依賴服務的最小權限合集。數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華
132、為云計算技術有限公司61表表 11-2 DataArts Studio 控制臺依賴服務的角色或策略控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能管理中心BSSbss:coupon:viewbss:renewal:updatebss:discount:viewbss:order:viewbss:order:paybss:order:update創建增量包或DataArtsStudio實例KMSkms:cmk:getkms:cmk:listkms:cmk:createkms:cmk:decryptkms:cmk:encryptkms:dek:createkms:
133、dek:encryptkms:dek:decrypt創建數據連接時,使用KMS加解密DWSdws:cluster:listdws:cluster:getDetaildws:openAPICluster:getDetail創建DWS數據連接MRSmrs:cluster:getmrs:cluster:list創建MRS數據連接VPCvpc:publicIps:getvpc:publicIps:listvpc:vpcs:getvpc:port:getvpc:subnets:get創建MRS數據連接RDSrds:*:getrds:*:list創建RDS數據連接數據治理中心產品介紹11 權限管理文檔版本
134、 01(2022-07-15)版權所有 華為云計算技術有限公司62控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能數據集成VPCvpc:publicIps:getvpc:publicIps:listvpc:vpcs:getvpc:vpcs:listvpc:port:getvpc:subnets:getvpc:securityGroups:getvpc:firewalls:listvpc:routeTables:listvpc:subNetworkInterfaces:list創建CDM集群或DataArtsStudio實例ECSecs:flavors:gete
135、cs:cloudServerFlavors:getecs:availabilityZones:list創建CDM集群或DataArtsStudio實例CDMcdm:cluster:create創建CDM集群KMSkms:cmk:getkms:cmk:listkms:cmk:createkms:cmk:decryptkms:cmk:encryptkms:dek:createkms:dek:encryptkms:dek:decrypt創建數據連接時,使用KMS加解密MRSmrs:cluster:getmrs:cluster:listmrs:job:getmrs:job:list創建MRS數據連接D
136、WSdws:cluster:listdws:cluster:getDetaildws:openAPICluster:getDetail創建DWS數據連接數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司63控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能CDMcdm:cluster:getcdm:cluster:listcdm:link:operatecdm:job:operate通過CDM控制臺操作時,需要CDM服務權限CESces:*:getces:*:list查看CES監控CSScss:*:getcs
137、s:*:list創建CSS連接CloudTablecloudtable:*:getcloudtable:*:list創建CloudTable連接RDSrds:*:getrds:*:list創建RDS連接RMSrms:resources:list創建CDM集群數據開發OBSobs:object:GetObjectobs:object:PutObjectobs:bucket:GetBucketLocationobs:bucket:ListAllMyBucketsobs:bucket:ListBucketobs:bucket:CreateBucket運行腳本、運行作業以及備份作業SMNsmn:top
138、ic:publishsmn:topic:list作業通知KMSkms:cmk:getkms:cmk:listkms:cmk:createkms:cmk:decryptkms:cmk:encryptkms:dek:createkms:dek:encryptkms:dek:decrypt創建數據連接時,使用KMS加解密數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司64控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能MRSmrs:cluster:getmrs:cluster:listmrs:job:submi
139、tmrs:job:deletemrs:job:stopmrs:sql:executemrs:sql:cancelmrs:job:getmrs:job:listMRS類型作業節點運行:MRS Presto SQL、MRSSpark、MRS SparkPython、MRS Flink Job、MRS MapReduceMRS Spark SQL、MRSHive SQLDLIdli:queue:submitJobdli:jobs:createdli:jobs:updatedli:jobs:getdli:jobs:listdli:jobs:listAllDLI類型作業節點運行:DLI SQL、DLI
140、SparkOBSobs:object:GetObjectobs:object:PutObjectobs:object:DeleteObjectobs:bucket:GetBucketLocationobs:bucket:ListAllMyBucketsobs:bucket:ListBucketobs:bucket:ListBucketVersionsobs:bucket:CreateBucketobs:bucket:DeleteBucketOBS類型作業節點運行:Create OBS、DeleteOBS、OBS ManagerDWSdws:cluster:listdws:cluster:get
141、Detaildws:openAPICluster:getDetail創建DWS數據連接數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司65控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能CDMcdm:cluster:getcdm:cluster:listcdm:job:operate數據連接需要Agent的相關腳本、作業,以及CDM作業運行:RDS SQL、DWS SQL、Hive SQL、SPARK SQL、Shell、PythonCESces:metricData:list運維概覽,查詢DLI隊列CP
142、UGESges:graph:accessges:graph:operateges:graph:listges:graph:getDetailges:metadata:createges:metadata:operateges:metadata:deleteges:metadata:listges:metadata:getDetailges:jobs:listges:jobs:getDetailImport GES作業節點運行ECSecs:servers:listecs:servers:getecs:servers:stopecs:servers:startecs:cloudServers:li
143、stOpen/Close Resource作業節點運行,創建主機連接數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司66控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能DLIdli:queue:submitJobdli:queue:cancelJobdli:group:useGroupdli:group:getGroupdli:group:updateGroupdli:group:deleteGroupdli:group:listAllGroupdli:database:createDatabasedli
144、:database:dropDatabasedli:database:displayDatabasedli:database:displayAllDatabasesdli:database:explaindli:database:createViewdli:database:createTabledli:database:displayAllTablesdli:database:createFunctiondli:database:describeFunctiondli:database:showFunctionsdli:database:dropFunctiondli:table:selec
145、tdli:table:updatedli:table:deletedli:table:dropTabledli:table:describeTabledli:table:showCreateTableDLI類型作業/腳本運行數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司67控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能dli:table:showPartitionsdli:table:showSegmentsdli:table:showTablePropertiesdli:table:insertOv
146、erwriteTabledli:table:insertIntoTabledli:table:compactiondli:table:truncateTabledli:table:alterViewdli:table:alterTableRenamedli:table:alterTableAddColumnsdli:table:alterTableDropColumnsdli:table:alterTableChangeColumndli:table:alterTableSetLocationdli:table:alterTableAddPartitiondli:table:alterTabl
147、eRenamePartitiondli:table:alterTableSetPropertiesdli:table:alterTableRecoverPartitiondli:table:alterTableDropPartitiondli:column:selectdli:jobs:createdli:jobs:deletedli:jobs:startdli:jobs:stopdli:jobs:updatedli:jobs:export數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司68控制臺功控制臺功能能依賴服務依賴服務需配置角色需
148、配置角色/策略策略具體功能具體功能dli:jobs:getdli:jobs:listdli:jobs:listAlldli:resource:useResourcedli:resource:updateResourcedli:resource:deleteResourcedli:resource:getResourcedli:resource:listAllResourcedli:variable:updatedli:variable:deleteIAMiam:agencies:listAgencies獲取作業委托DISDIS OperatorDIS UserDIS類型作業節點運行:DIS S
149、tream、DIS Dump、DIS ClientSWRSWR Admin僅當在數據開發組件作業中使用DLI Spark節點選擇自定義鏡像時,需要容器鏡像服務中的鏡像讀取權限。推薦通過鏡像授權管理鏡像授權管理,添加所需鏡像的讀取權限。不推薦直接為用戶授予SWRAdmin系統角色,可能存在權限過大的風險。數據目錄OBSobs:object:GetObjectobs:bucket:GetBucketStorageobs:bucket:GetBucketLocationobs:bucket:ListAllMyBucketsobs:bucket:ListBucketOBS元數據采集DISdis:str
150、eams:listdis:transferTasks:listDIS元數據采集數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司69控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能CSScss:cluster:listCSS元數據采集GESges:graph:listges:graph:getDetailges:metadata:listges:metadata:getDetailGES元數據采集DLIdli:database:displayDatabasedli:database:displayAllDa
151、tabasesdli:table:selectdli:table:describeTabledli:table:showPartitionsdli:table:showTablePropertiesdli:jobs:createdli:jobs:getDLI元數據采集&數據概要分析CDMcdm:cluster:listCSS元數據采集數據質量SMNsmn:topic:publishsmn:topic:list配置作業通知OBSobs:object:GetObjectobs:object:PutObjectobs:bucket:GetBucketLocationobs:bucket:ListAl
152、lMyBucketsobs:bucket:ListBucketobs:bucket:CreateBucket導出質量報告MRSmrs:job:submitmrs:sql:executemrs:sql:cancelmrs:job:getMRS質量作業運行數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司70控制臺功控制臺功能能依賴服務依賴服務需配置角色需配置角色/策略策略具體功能具體功能DLIdli:queue:submitJobdli:jobs:getdli:jobs:listAllDLI質量作業運行數據安全DLIdli:queue:sub
153、mitJobdli:queue:cancelJobdli:database:displayDatabasedli:database:displayAllDatabasesdli:database:displayAllTablesdli:table:describeTabledli:jobs:createdli:jobs:stopdli:jobs:getdli:resource:deleteResourcedli:resource:getResourcedli:resource:listAllResourceDLI權限管控DWSdws:cluster:listdws:cluster:getDet
154、aildws:openAPICluster:getDetailDWS權限管控MRSmrs:cluster:listmrs:job:submitmrs:job:stopMRS權限管控KMSkms:cmk:listkms:cmk:encryptkms:cmk:decrypt使用KMS加解密CDM任意cdm權限,例如cdm:cluster:getDWS和MRS權限管控 數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司71表表 11-3 開發者用戶的依賴服務最小權限合集權限權限類型類型角色與策略權限-系統角色角色與策略權限-自定義策略角色與策略權
155、限-自定義策略是否是否必配必配必配必配必配必配必配必配數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司72權限權限 DISOperator DISUser(可選,不推薦)SWRAdmin說明說明僅當在數據開發組件作業中使用DLISpark節點選擇自定義鏡像時,需要容器鏡像服務中的鏡像讀取權限。推薦通過鏡像鏡像授權管授權管理理,添加所需鏡像的讀取權限。不推薦直接為用戶授予SWRAdmin系統角色,可能存在權限過大的風險。依賴的全局級(global級)云服務的自定義策略DataArtsStudio_PermissionsOfDependent
156、Services_global:Version:1.1,Statement:Effect:Allow,Action:obs:object:GetObject,obs:object:PutObject,obs:object:DeleteObject,obs:bucket:GetBucketStorage,obs:bucket:GetBucketLocation,obs:bucket:ListAllMyBuckets,obs:bucket:ListBucket,obs:bucket:ListBucketVersions,obs:bucket:CreateBucket,obs:bucket:Dele
157、teBucket,rms:resources:list,iam:agencies:listAgencies 依賴的項目級(region級)云服務的自定義策略DataArtsStudio_PermissionsOfDependentServices_region:Version:1.1,Statement:Effect:Allow,Action:cdm:cluster:get,cdm:cluster:list,cdm:cluster:create,cdm:link:operate,cdm:job:operate,ces:*:get,ces:*:list,cloudtable:*:get,clou
158、dtable:*:list,css:*:get,css:*:list,dis:streams:list,dis:transferTasks:list,dli:queue:submitJob,dli:queue:cancelJob,dli:table:insertOverwriteTable,dli:table:insertIntoTable,dli:table:alterView,dli:table:alterTableRename,dli:table:compaction,dli:table:truncateTable,dli:table:alterTableDropColumns,dli:
159、table:alterTableSetProperties,dli:table:alterTableChangeColumn,dli:table:showSegments,dli:table:alterTableRecoverPartition,dli:table:dropTable,dli:table:update,dli:table:alterTableDropPartition,dli:table:alterTableAddPartition,dli:table:alterTableAddColumns,dli:table:alterTableRenamePartition,dli:ta
160、ble:delete,dli:table:alterTableSetLocation,dli:table:describeTable,dli:table:showPartitions,dli:table:showCreateTable,dli:table:showTableProperties,dli:table:select,dli:resource:updateResource,dli:resource:useResource,dli:resource:getResource,數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司73 dl
161、i:resource:listAllResource,dli:resource:deleteResource,dli:database:explain,dli:database:createDatabase,dli:database:dropFunction,dli:database:createFunction,dli:database:displayAllDatabases,dli:database:displayAllTables,dli:database:displayDatabase,dli:database:describeFunction,dli:database:createV
162、iew,dli:database:createTable,dli:database:showFunctions,dli:database:dropDatabase,dli:group:useGroup,dli:group:updateGroup,dli:group:listAllGroup,dli:group:getGroup,dli:group:deleteGroup,dli:column:select,dli:jobs:start,dli:jobs:export,dli:jobs:update,dli:jobs:list,dli:jobs:listAll,dli:jobs:get,dli:
163、jobs:delete,dli:jobs:create,dli:jobs:stop,dli:variable:update,dli:variable:delete,dws:cluster:list,dws:cluster:getDetail,dws:openAPICluster:getDetail,ecs:servers:get,ecs:servers:list,ecs:servers:stop,ecs:servers:start,ecs:flavors:get,ecs:cloudServerFlavors:get,ecs:cloudServers:list,ecs:availabilityZ
164、ones:list,ges:graph:access,ges:metadata:create,ges:jobs:list,ges:graph:operate,ges:jobs:getDetail,ges:graph:getDetail,ges:graph:list,ges:metadata:list,ges:metadata:getDetail,ges:metadata:delete,ges:metadata:operate,kms:cmk:get,kms:cmk:list,kms:cmk:create,kms:cmk:decrypt,數據治理中心產品介紹11 權限管理文檔版本 01(2022
165、-07-15)版權所有 華為云計算技術有限公司74 kms:cmk:encrypt,kms:dek:create,kms:dek:encrypt,kms:dek:decrypt,mrs:cluster:get,mrs:cluster:list,mrs:job:get,mrs:job:list,mrs:job:submit,mrs:job:stop,mrs:job:delete,mrs:sql:execute,mrs:sql:cancel,rds:*:get,rds:*:list,smn:topic:publish,smn:topic:list,vpc:publicIps:list,vpc:pu
166、blicIps:get,vpc:vpcs:get,vpc:vpcs:list,vpc:port:get,vpc:subnets:get,vpc:securityGroups:get,vpc:firewalls:list,vpc:routeTables:list,vpc:subNetworkInterfaces:list 相關鏈接相關鏈接IAM產品介紹產品介紹DataArts Studio細粒度授權實踐細粒度授權實踐數據治理中心產品介紹11 權限管理文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司7512 權限列表權限列表工作空間成員共有管理員、開發者、部署者、運維者和訪客
167、五種預置角色,并支持自定義角色。管理員:工作空間管理員,擁有工作空間內所有的業務操作權限。建議將項目負責人、開發責任人、運維管理員設置為管理員角色。開發者:開發者擁有工作空間內創建、管理工作項的業務操作權限。建議將任務開發、任務處理的用戶設置為開發者。運維者:運維者具備工作空間內運維調度等業務的操作權限,但無法更改工作項及配置。建議將運維管理、狀態監控的用戶設置為運維者。訪客:訪客可以查看工作空間內的數據,但無法操作業務。建議將只查看空間內容、不進行操作的用戶設置為訪客。部署者:企業模式獨有,具備工作空間內任務包發布的相關操作權限。在企業模式中,開發者提交腳本或作業版本后,系統會對應產生發布任
168、務。開發者確認發包后,需要部署者審批通過,才能將修改后的作業同步到生產環境。自定義角色:如果預置角色不能滿足您的需求,您也可以創建自定義角色。自定義角色的權限可自由配置,實現業務操作權限最小化。本章節將為您介紹各預置角色的權限差異說明。須知須知后文權限點中的“操作”權限,指的是非增刪改查的資源操作,例如導入、導出、任務執行、任務取消、任務啟動、開始調度等操作。管理中心管理中心權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客查詢集群列表(MRS&DWS&CDM)YYYY新建數據庫YYNN刪除數據庫YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華
169、為云計算技術有限公司76權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客查詢數據庫YYYY編輯數據庫YYNN新建數據表YYNN刪除數據表YYNN查詢數據表YYYY編輯數據表YYNN新建資源遷移YYNN操作資源遷移YYYN查詢資源遷移YYYY新建數據連接YYNN刪除數據連接YYNN操作數據連接YYYN查詢數據連接YYYY編輯數據連接YYNN刪除RDS驅動包YNNN操作RDS驅動包YNNN查詢RDS驅動包YYYY新建DLI資源映射配置NNNN刪除DLI資源映射配置NNNN查詢DLI資源映射配置NNNN 數據架構數據架構權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客新建原子指標YY
170、NN刪除原子指標YYNN查詢原子指標YYYY編輯原子指標YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司77權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客新建邏輯實體/物理表YYNN刪除邏輯實體/物理表YYNN查詢邏輯實體/物理表YYYY編輯邏輯實體/物理表YYNN新建配置中心YNNN刪除配置中心YNNN查詢配置中心YYYY編輯配置中心YNNN新建主題設計YYNN刪除主題設計YYNN查詢主題設計YYYY編輯主題設計YYNN新建業務指標YYNN刪除業務指標YYNN查詢業務指標YYYY編輯業務指標YYNN新建匯總表YYNN刪
171、除匯總表YYNN查詢匯總表YYYY編輯匯總表YYNN新建通用配置YYNN刪除通用配置(指已發布狀態的邏輯實體或表,對其在編輯并保存后產生的草稿的刪除操作)YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司78權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客操作通用配置(指邏輯實體或表的導入、導出、發布、下線、同步、逆向等操作)YYYN查詢通用配置(指已發布狀態的邏輯實體或表,對其在編輯并保存后產生的草稿的查詢操作)YYYY編輯通用配置(指已發布狀態的邏輯實體或表,對其在編輯并保存后產生的草稿的編輯操作)YYNN刪除維度表YY
172、NN查詢維度表YYYY新建流程設計YYNN刪除流程設計YYNN查詢流程設計YYYY編輯流程設計YYNN新建碼表管理YYNN刪除碼表管理YYNN查詢碼表管理YYYY編輯碼表管理YYNN新建模型YYNN刪除模型YYNN查詢模型YYYY編輯模型YYNN新建衍生/復合指標YYNN刪除衍生/復合指標YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司79權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客操作衍生/復合指標YYNN查詢衍生/復合指標YYYY編輯衍生/復合指標YYNN新建關聯質量規則YYNN刪除關聯質量規則YYNN查詢關聯質量
173、規則YYYY編輯關聯質量規則YYNN新建事實表YYNN刪除事實表YYNN查詢事實表YYYY編輯事實表YYNN新建目錄YYNN刪除目錄YYNN查詢目錄YYYY編輯目錄YYNN新建維度YYNN刪除維度YYNN查詢維度YYYY編輯維度YYNN新建時間限定YYNN刪除時間限定YYNN查詢時間限定YYYY編輯時間限定YYNN新建數據標準YYNN刪除數據標準YYNN查詢數據標準YYYY編輯數據標準YYNN 數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司80數據集成數據集成權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客新建集群YYNN刪除集
174、群YYNN操作集群YYYN查詢集群YYYY編輯集群YYNN操作連接YYYN查詢連接NNNN操作作業YYYN查詢作業NNNN 數據開發數據開發權限點權限點管理員管理員開發者開發者部署者部署者運維者運維者訪客訪客新建SchemaYYNNN刪除SchemaYYNNN查詢SchemaYYNYY編輯SchemaYYNNN操作備份YYNYN查詢備份YYNYY新建補數據YYNNN操作補數據YYNYN查詢補數據YYNYY操作臟數據YYNYN操作恢復備份YNNYN查詢恢復備份YYNYY新建目錄YYNNN刪除目錄YYNNN查詢目錄YYNYY編輯目錄YYNNN數據治理中心產品介紹12 權限列表文檔版本 01(202
175、2-07-15)版權所有 華為云計算技術有限公司81權限點權限點管理員管理員開發者開發者部署者部署者運維者運維者訪客訪客新建通知YYNNN刪除通知YYNNN查詢通知YYNYY編輯通知YYNNN新建數據庫YYNNN刪除數據庫YYNNN查詢數據庫YYNYY編輯數據庫YYNNN新建解決方案YYNNN刪除解決方案YYNNN操作解決方案YYNYN查詢解決方案YYNYY編輯解決方案YYNNN查詢IAM代理YYYYY更新IAM代理YNNNN操作環境變量YYNNN查詢環境變量YYNYY編輯環境變量YYNNN操作作業節點YYNYN查看發布包YYYYY操作發布包YNYYN新建數據連接YYNNN刪除數據連接YYNN
176、N操作數據連接YYNYN查詢數據連接YYNYY編輯數據連接YYNNN撤銷發布YYYYN新建數據表YYNNN刪除數據表YYNNN查詢數據表YYNYY數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司82權限點權限點管理員管理員開發者開發者部署者部署者運維者運維者訪客訪客編輯數據表YYNNN操作作業實例YYNYN查詢作業實例YYNYY新建資源YYNNN刪除資源YYNNN操作資源YYNYN查詢資源YYNYY編輯資源YYNNN編輯環境變量映射NNNNN操作腳本編輯鎖YYNYN新建腳本YYNNN刪除腳本YYNNN操作腳本YYNYN查詢腳本YYNYY編
177、輯腳本YYNNN新建作業標簽YYNYN刪除作業標簽YYNYN查詢作業標簽YYNYY新建作業YYNNN刪除作業YYNNN操作作業YYNYN查詢作業YYNYY編輯作業YYNYN查詢作業編輯鎖詳情YYNYY操作作業編輯鎖YYNYN創建基線YNNYN查詢基線YYNYN刪除基線YNNYN修改基線YNNYN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司83權限點權限點管理員管理員開發者開發者部署者部署者運維者運維者訪客訪客查詢基線實例YYNYN獲取保障作業概要信息列表YYNYN查詢事件YYNYN更新事件YNNYN 數據質量數據質量權限點權限點管理員
178、管理員開發者開發者運維者運維者訪客訪客數據質量監控數據質量監控查詢總覽YYYY操作實例YYYN查詢實例YYYY新建規則模板YNNN刪除規則模板YNNN操作規則模板YNNN查詢規則模板YYYY編輯規則模板YNNN查詢運行結果YYNN新建規則YYNN刪除規則YYNN操作規則YYYN查詢規則YYYY編輯規則YYNN編輯質量評分YNNN新建目錄YYNN刪除目錄YYNN查詢目錄YYYY編輯目錄YYNN業務指標監控業務指標監控查詢總覽YYYY數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司84權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客操
179、作實例YYYN查詢實例YYYY新建業務場景YYNN刪除業務場景YYNN操作業務場景YYYN查詢業務場景YYYY編輯業務場景YYNN新建指標YYNN刪除指標YYNN查詢指標YYYY編輯指標YYNN新建規則YYNN刪除規則YYNN查詢規則YYYY編輯規則YYNN新建目錄YYNN刪除目錄YYNN查詢目錄YYYY編輯目錄YYNN 數據目錄數據目錄權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客查詢數據源數據YYYN操作任務實例YYYN查詢任務實例YYYY新建采集任務YYNN刪除采集任務YYNN操作采集任務YYYN查詢采集任務YYYY數據治理中心產品介紹12 權限列表文檔版本 01(2022-0
180、7-15)版權所有 華為云計算技術有限公司85權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客編輯采集任務YYNN編輯審批單YYNN編輯資產報告YYNN新建標簽YYNN刪除標簽YYNN查詢標簽YYYY編輯標簽YYNN新建資產YYNN刪除資產YYNN操作資產YYYN查詢資產YYYY編輯資產YYNN新建目錄YYNN刪除目錄YYNN查詢目錄YYYY編輯目錄YYNN新建分類YYNN刪除分類YYNN查詢分類YYYY編輯分類YYNN新建數據權限規則YNNN刪除數據權限規則YNNN查詢數據權限規則YYYY編輯數據權限規則YNNN 數據服務數據服務權限點權限點管理員管理員開發者開發者運維者運維者訪客訪
181、客新建流控策略YYNN刪除流控策略YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司86權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客操作流控策略YYYN查詢流控策略YYYY編輯流控策略YYNN新建應用YYNN刪除應用YYNN操作應用YYYN查詢應用YYYY編輯應用YYNN操作審核YYYN查詢審核YYYY新建API目錄YYYN刪除API目錄YYYN查詢API目錄YYYY編輯API目錄YYYN操作集群YYNN查詢集群YYYY新建審核人YNNN刪除審核人YNNN操作審核人YYYN查詢審核人YYYN新建APIYYNN刪除APIY
182、YNN操作APIYYYN查詢APIYYYY編輯APIYYNN查詢數據源YYNN查詢總覽YYYY 數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司87數據安全數據安全權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客查詢總覽YYYY新建數據溯源任務YYNN刪除數據溯源任務YYNN操作數據溯源任務YYNN查詢數據溯源任務YYYY編輯數據溯源任務YYNN操作安全任務調度YYNY新建敏感發現任務YYYN刪除敏感發現任務YYNN操作敏感發現任務YYYN查詢敏感發現任務YYYY編輯敏感發現任務YYNN查詢數據源YYYY新建訪問權限管理YYNN刪
183、除訪問權限管理YYNN查詢訪問權限管理YYYY編輯訪問權限管理YYNN查詢資源權限配置YYNN新建脫敏策略YYNN刪除脫敏策略YYNN操作脫敏策略YYYY查詢脫敏策略YYYY編輯脫敏策略YYNN新建密級YYNN刪除密級YYNN查詢密級YYYY編輯密級YYNN新建規則分組YYYN刪除規則分組YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司88權限點權限點管理員管理員開發者開發者運維者運維者訪客訪客操作規則分組YYYN查詢規則分組YYYY編輯規則分組YYYN新建數據脫敏任務YYNN刪除數據脫敏任務YYNN操作數據脫敏任務YYNN查詢數
184、據脫敏任務YYYY編輯數據脫敏任務YYNN新建數據水印嵌入YYNN刪除數據水印嵌入YYNN操作數據水印嵌入YYNN查詢數據水印嵌入YYYY編輯數據水印嵌入YYNN數據治理中心產品介紹12 權限列表文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司8913 約束與限制約束與限制瀏覽器限制瀏覽器限制您需要使用支持的瀏覽器版本登錄DataArts Studio。表表 13-1 瀏覽器兼容性瀏覽器版瀏覽器版本本建議版本建議版本建議操作建議操作系統系統備注備注GoogleChrome115,114,113Windows10分辨率最佳可視范圍為最小1366*768px,最大為1920*
185、1080px。其中1920*1080px為最佳顯示分辨率,界面自適應為最優顯示。使用限制使用限制使用DataArts Studio前,您需要認真閱讀并了解以下使用限制。表表 13-2 DataArts Studio 使用限制一覽表組件組件約束限制約束限制公共1.DataArts Studio必須基于華為云底座部署。資源隔離場景下,支持以全棧專屬云模式部署,另外也支持以華為云Stack和HCS Online混合云模式部署。關于全棧專屬云、華為云Stack和HCS Online的適用場景和差異等更多信息,歡迎通過咨詢咨詢了解。2.DataArts Studio基于數據湖底座提供數據一站式集成、開發
186、、治理等能力,本身不具備存儲和計算的能力,需要配合數據湖底座使用。3.每個企業項目下最多綁定一個DataArts Studio實例。當企業項目下已綁定實例時,再次購買實例會失敗。4.DataArts Studio各組件對不同數據源的支持程度不一,您需要按照您的業務需求來選擇數據湖底座。DataArts Studio平臺當前支持的數據湖產品請參見DataArts Studio支持的數據源支持的數據源。數據治理中心產品介紹13 約束與限制文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司90組件組件約束限制約束限制管理中心1.由于管理中心的限制,數據治理各組件(如數據架構、數據
187、質量、數據目錄等)暫不支持包含中文和“.”字符的庫表名。2.DataArts Studio實例贈送的CDM集群,由于本身規格有限,推薦僅作為DataArts Studio管理中心數據連接的Agent代理使用。3.建議為管理中心數據連接的Agent和CDM遷移作業規劃相互獨立的CDM集群,避免雙方使用同一集群,導致業務高峰期時資源搶占引起業務不可用。4.CDM集群作為管理中心數據連接Agent時,單集群無法連接多個MRS安全集群。建議您按照業務情況規劃多個Agent與MRS安全集群一一映射。5.CDM集群作為管理中心數據連接Agent時,單集群的并發活動線程最大為200。即當多個數據連接共用同一
188、Agent時,通過這些數據連接提交SQL腳本、Shell腳本、Python腳本等任務的同時運行上限為200,超出的任務將排隊等待。建議您按照業務量情況規劃多個Agent分擔壓力。6.單工作空間允許創建的數據連接個數最多200個。7.管理中心相關開放API并發限制為100qps。數據集成1.CDM作業支持自動備份和恢復,將備份數據存儲到OBS中,該功能需要您手動開啟。詳情請參見CDM作業自動備份作業自動備份/恢復恢復章節。2.數據集成CDM集群為單集群部署,集群故障可能會導致業務、數據損失。建議您使用數據開發作業CDM Job節點調用CDM作業,并選擇兩個CDM集群以提升可靠性。詳情請參見CDM
189、 Job節點節點章節。關于數據集成中的更多約束限制,請參考CDM約束與限制約束與限制。數據開發1.數據開發腳本、作業等資產支持備份管理,將備份數據存儲到OBS中,該功能需要您手動開啟。詳情請參見備份管理備份管理章節。2.單工作空間允許創建的作業個數最多1萬個。3.RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL腳本執行結果頁面展示最多1千條,且數據量少于3MB。超過1千條數據可以使用轉儲功能,轉儲最多支持1萬條。數據治理中心產品介紹13 約束與限制文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司91組件組件約束限制約束限制數據架構1.數
190、據架構當前支持關系建模和維度建模(僅支持星形模型)這兩種建模方式。2.數據架構支持最大導入文件大小為4Mb;支持最大導入指標個數為3000個;支持一次最大導出500張表。3.單工作空間中創建各類對象的配額如下:主題5000個。數據標準目錄500條,個數20000個。原子指標、衍生指標、復合指標各5000條。4.配置中心中各類對象的自定義項配額如下:主題自定義項10條。表自定義項30條。屬性自定義項10條。業務指標自定義項50條。數據質量1.數據質量作業執行時長依賴數據引擎,如果底層數據引擎資源不足,可能會導致運行速度變慢。2.單個數據質量作業最多可以配置50條規則,如有需要可拆分為多個質量作業
191、。數據目錄1.元數據采集任務通過執行引擎相關的DDL SQL獲取,不建議單個任務采集超過1000張表。如有需要可拆分為多個采集任務,另外調度時間和頻次也需要根據業務需要進行合理設置,避免對引擎造成較大的訪問和連接壓力,設置建議如下:若業務對元數據時效性要求為1天,則設置調度周期=max(1天,單次采集周期時間),其他情況同理。若業務壓力集中在白天,則設置調度時間在夜間,其他情況同理,選擇數據源壓力最小的時間段。2.數據血緣的產生依賴于數據開發中調度運行的作業,測試運行的作業不會產生血緣。數據服務1.數據服務共享版僅供開發測試使用,專享版性能優于共享版,推薦使用數據服務專享版。2.數據服務集群與
192、工作空間綁定,創建后暫不支持修改規格或升級版本。數據安全1.數據安全中配置的安全管理員,當且僅當在數據安全組件生效,對于周邊組件和其他服務,此身份無效。2.數據安全中功能級別的約束限制,請參考用戶指南中對應功能的“約束與限制”章節。數據治理中心產品介紹13 約束與限制文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司9214 與其他云服務的關系與其他云服務的關系統一身份認證服務統一身份認證服務DataArts Studio使用統一身份認證服務(Identity and Access Management,簡稱IAM)實現認證和鑒權功能。云審計服務云審計服務DataArts
193、Studio使用云審計服務(Cloud Trace Service,簡稱CTS)審計用戶在管理控制臺頁面的操作,可用于檢視是否存在非法或越權操作,完善服務安全管理。彈性云服務器服務彈性云服務器服務DataArts Studio使用彈性云服務器(Elastic Cloud Server,簡稱ECS)進行CDM集群和數據服務集群的創建,另外DataArts Studio可以通過主機連接在ECS上執行Shell或Python腳本。虛擬私有云服務虛擬私有云服務DataArts Studio使用虛擬私有云服務(Virtual Private Cloud,簡稱VPC)的創建隔離的網絡環境。彈性公網彈性公網
194、 IP 服務服務DataArts Studio使用彈性公網IP服務(Elastic IP,簡稱EIP)打通與公網間的網絡通信。對象存儲服務對象存儲服務DataArts Studio使用對象存儲服務(Object Storage Service,簡稱OBS)的桶存儲日志信息。消息通知服務消息通知服務DataArts Studio使用消息通知服務(Simple Message Notification,簡稱SMN)依據用戶的訂閱需求主動推送通知消息,使用戶可以在觸發告警(如質量監控)時能立即接收到通知。數據治理中心產品介紹14 與其他云服務的關系文檔版本 01(2022-07-15)版權所有 華為
195、云計算技術有限公司93云專線服務云專線服務DataArts Studio使用云專線服務(Direct Connect,簡稱DC)打通與第三方數據中心的網絡通信。API 網關服務網關服務DataArts Studio通過API網關服務(API Gateway,簡稱APIG)對外開放各組件的API接口。另外,數據服務共享版需要將生成的API發布到APIG。數據湖探索服務數據湖探索服務DataArts Studio支持將數據湖探索服務(Data Lake Insight,簡稱DLI)作為數據湖底座,進行數據集成、開發、治理與開放。MapReduce 服務服務DataArts Studio支持將Map
196、Reduce服務(簡稱MRS)作為數據湖底座,進行數據集成、開發與治理。云數據倉庫服務云數據倉庫服務DataArts Studio支持將云數據倉庫服務(GaussDB(DWS),簡稱DWS)作為數據湖底座,進行數據集成、開發、治理與開放。云數據庫服務云數據庫服務DataArts Studio支持將云數據庫服務(Relational Database Service,簡稱RDS)作為作為數據源,進行數據集成、開發與開放。云數據遷移服務云數據遷移服務DataArts Studio需要通過Agent來訪問租戶資源或服務,需要依賴云數據遷移服務(Cloud Data Migration,簡稱CDM)。其中云數據遷移與數據集成為同一服務的兩種形態,云數據遷移為獨立服務形態,數據集成為DataArts Studio的組件形態。數據治理中心產品介紹14 與其他云服務的關系文檔版本 01(2022-07-15)版權所有 華為云計算技術有限公司94