《亞馬遜云科技&軟通動力:制造業數據治理白皮書(2022版)(42頁).pdf》由會員分享,可在線閱讀,更多相關《亞馬遜云科技&軟通動力:制造業數據治理白皮書(2022版)(42頁).pdf(42頁珍藏版)》請在三個皮匠報告上搜索。
1、關于軟通動力軟通動力信息技術(集團)股份有限公司(以下簡稱“軟通動力”)是中國領先的軟件與信息技術服務商,致力于成為具有全球影響力的數字技術服務領導企業,企業數字化轉型可信賴合作伙伴。2005 年,公司成立于北京,堅持扎根中國,服務全球市場。目前,在全球 40 余個城市設有近百個分支機構和超過 20 個全球交付中心,員工 90000 余人。秉承用數字技術提升客戶價值的使命,軟通動力長期提供軟件與數字技術服務和數字化運營服務,其中軟件與數字技術服務包括咨詢與解決方案、數字技術服務和通用技術服務;憑借深厚的行業積累,公司在 10 余個重要行業服務超過 1000 家國內外客戶,其中超過 200 家客
2、戶為世界 500 強或中國 500 強企業。關于亞馬遜云科技亞馬遜云科技(Amazon Web Services)是全球云計算的開創者和引領者,超過 15 年以來一直以不斷創新、技術領先、服務豐富、應用廣泛而享譽業界。亞馬遜云科技可以支持幾乎云上任意工作負載。亞馬遜云科技目前提供超過 200 項全功能的服務,涵蓋計算、存儲、網絡、數據庫、數據分析、機器人、機器學習與人工智能、物聯網、移動、安全、混合云、虛擬現實與增強現實、媒體,以及應用開發、部署與管理等方面;基礎設施遍及 26 個地理區域的 84 個可用區,并計劃新建 8 個區域和 24 個可用區。全球數百萬客戶,從初創公司、中小企業,到大型
3、企業和政府機構都信賴亞馬遜云科技,通過亞馬遜云科技的服務強化其基礎設施,提高敏捷性,降低成本,加快創新,提升競爭力,實現業務成長和成功。1制造業數據治理白皮書本白皮書由軟通動力信息技術(集團)股份有限公司和 Amazon Web Services,Inc.或其關聯方(“亞馬遜云科技”)共同撰寫,雙方就各自撰寫的內容分別、獨立享有相關知識產權。其中軟通動力負責第一章、第二章和第三章 1、3 部分,單獨享有該部分的知識產權;其余部分由軟通動力和亞馬遜云科技共同研討撰寫,共同享有該部分的知識產權。關于軟通動力部分的聲明:本白皮書中所含內容乃一般性信息,任何軟通動力信息技術(集團)股份有限公司、其全球
4、成員所網絡或它們的關聯機構并不因此構成提供任何專業建議或服務。在作出任何可能影響您的財務或業務的決策或采取任何相關行動前,您應咨詢合格的專業顧問。我們并未對本白皮書所含信息的準確性或完整性作出任何(明示或暗示)陳述、保證或承諾。軟通動力信息技術(集團)股份有限公司、其成員所、關聯機構、員工或代理方均不對任何方因使用本通訊而直接或間接導致的任何損失或損害承擔責任。軟通動力信息技術(集團)股份有限公司及其每一家成員所和它們的關聯機構均為具有獨立法律地位的法律實體,相互之間不因第三方而承擔任何責任或約束對方。軟通動力信息技術(集團)股份有限公司及其每一家成員所和它們的關聯機構僅對自身行為及遺漏承擔責
5、任,而對相互的行為及遺漏不承擔任何法律責任。軟通動力信息技術(集團)股份有限公司并不向客戶提供服務。請參閱 https:/ DataGo 和亞馬遜云科技原生架構的數據治理平臺助力制造業企業數據治理、制造業關鍵場景專項數據治理和軟通動力與亞馬遜云科技助力其他行業的數據治理的案例。軟通動力與亞馬遜云科技在封面頁所示日期的有關服務產品及實踐,該等信息可能變化且我們不會另行通知??蛻魧τ诒静糠值男畔⒁约败浲▌恿皝嗰R遜云科技的產品或服務應自己做出獨立的判斷,該等內容都是“依現狀”提供,不包含任何明示或者暗示的保證。本部分內容并沒有創設來自軟通動力、亞馬遜云科技或其各自的關聯方、提供方或許可方的任何保證
6、、陳述、合同性承諾、條件或者擔保。本部分內容不是軟通動力、亞馬遜云科技和其各自的客戶之間任何協議的組成部分,也不構成對任何協議的修改。2聲明聲明聲明制造業是國民經濟的主體,是立國之本、興國之器、強國之基。伴隨科學技術的發展,在云計算、人工智能、機器學習、區塊鏈、物聯網等新興技術的推動下,正全面改變著制造業企業的生產制造與運輸方式,推進制造業企業數字化轉型和數據治理將會為制造業企業創造巨大價值。而這一切的核心關鍵是制造業企業數據治理框架的形成、數據治理平臺的建設和企業數據資產的管理。數據資產作為人類最新最有活力的資產形式將成為企業最核心競爭力的來源。時下,制造業企業如何形成企業數據治理框架、搭建
7、數據治理平臺和實現數據資產管理已成為制造業企業當下共同面臨的巨大難題。雖受經濟形勢影響,制造企業發展放慢了步伐,但數字化轉型和推行數據治理已成為制造企業發展的必然趨勢。不少著名大型制造業企業已注意到這一點并已經著手開始數字化轉型和推進企業數據治理,這無疑是一個明智和有規劃的決定。對于制造業企業的數字化轉型和數據治理的推進是制造業實現智能制造的必經之路,制造業企業實現數字化轉型和推進數據治理應充分理解國家和各級政府部門出于對國家發展、國家安全、社會穩定和公眾利益的考慮而構建的法律體系和指導辦法,積極響應政策要求,推進制造業企業早日實現數字化轉型和完成企業數據治理。本白皮書旨在為制造業企業數字化轉
8、型和數據治理提供建議,解讀相應的法律法規,分析面臨的問題和挑戰,并提出應對策略以建立相應管理體系和構建數據治理平臺,助力制造業企業數字化轉型和數據治理。3前言前言前言制造業數據治理白皮書一、制造業發展背景及趨勢1.經濟增速下行形勢下制造業艱難轉型2.國家對數字化轉型戰略的政策導向3.國內制造業復蘇勢頭強勁4.新晉生產要素數據治理助力制造業轉型升級二、制造業面臨數據問題和挑戰1.數據多源異構讓數據集成共享存在壁壘2.數據質量難以滿足企業需要、可信度低3.企業數據文化建設薄弱、數據驅動意識缺位4.讓數據可視、可控、可用及可信是當務之急三、制造類企業平臺級數據治理建議1.國家層面的數據治理導向2.平
9、臺化的集中式數據治理3.推進數據進行資產化管理和應用四、制造業關鍵場景專項治理1.在企業統一數字底座上的制造業供應鏈控制塔項目建設2.大數據和人工智能引領下的計劃協同五、數據治理案例1.高科技行業數據治理案例2.裝備制造業數據治理案例3.醫療行業數據治理案例4.零售及快消品行業數據治理案例前言03050507101112121313133434363839161617252727314目錄目錄前言前言目錄前言中國制造業體量領跑全球。對于中國而言,制造業稱得上是“立國之本”。中國經濟能夠在短短幾十年時間內實現騰飛,坐上世界第二大經濟體的位置,制造業可以說是功不可沒?,F如今,中國制造的商品出口到世
10、界各地,更是得到了“世界工廠”的稱號。改革開放四十年以來,中國制造業有了顯著的發展,無論制造業總量還是制造業技術水平都有很大的提高。據工信部統計,中國工業擁有41個大類、207個中類、666個小類,是全世界唯一擁有聯合國產業分類中所列全部工業門類的國家。在 500 種主要工業產品中,有40%以上產品的產量居世界第一。光伏、新能源汽車、家電、智能手機、消費級無人機等重點產業躋身世界前列,通信設備、工程機械、高鐵等一大批高端品牌走向世界。中國制造業正努力擺脫“大而不強”的困境。比如管理方面上我國只有少數大型企業局部采用了計算機輔助管理,多數小型企業仍處于經驗管理階段;設計方面上我國采用 CAD/C
11、AM 技術的比例較低;自動化技術方面上我國尚處在單機自動化,剛性自動化階段,柔性制造單元和系統僅在少數企業使用。中國制造業在勞動生產率、產品質量表 1-1 2019 年各國制造強國發展指數和利潤率等方面都處于較低水平。據2019中國制造強國發展指數報告顯示,2018年中國制造業勞動生產率 28974.93 美元/人,僅為美國 19.3%、日本 30.2%和德國27.8%;在產品質量上,美國制造的產品平均合格率為 99.99932%,而中國的合格率為 98.76%;中國企業平均利潤尚未達到全球平均水平,總利潤與平均利潤分別相當于美國的 60和 56,且中美高端制造業的投資資本回報率(ROIC)近
12、乎為 1:2。2021 年 12 月份,規模以上工業增加值同比增長 4.3%,環比增長 0.42%。制造業采購經理指數為 50.3%,比上月上升 0.2 個百分點。2021 年,全國工業產能利用率為77.5%,比上年提高 3.0 個百分點,歐美國家基本可達到 80%90%。機械制造業從產品研發、技術裝備和加工能力等方面都取得了很大的進步,但具有獨立自主知識產權的品牌產品卻不多。與工業發達國家相比,仍然存在一個階段性的整體上的差距。據2019 中國制造強國發展指數報告顯示,2019 年世界各國制造強國發展指數情況如表 1-1 2019 年各國制造強國發展指數所示:一、制造業發展背景及趨勢陣列第一
13、陣列第二陣列第三陣列第四陣列國家美國德國日本中國韓國法國英國印度巴西指數值168.71125.65117.16110.8473.9570.0763.0343.5028.691.經濟增速下行形勢下制造業艱難轉型5制造業數據治理白皮書表 1-2 制造強國評價指標體系數據來源:2019 中國制造強國發展指數報告數據來源:2019 中國制造強國發展指數報告據2019 中國制造強國發展指數報告顯示,2019 年中國制造強國評價指標體系如表 1-2 制造強國評價指標體系所示:一級指標二級指標指標權重權重排名具體指標權重權重排名規模發展0.1954制造業增加值0.12871制造業出口占全球出口總額比重0.0
14、6649質量效益0.29311質量指數0.043111一國制造業擁有世界知名品牌數0.09932制造業增加值率0.035613制造業全員勞動生產率0.08993銷售利潤率0.025214結構優化0.28052高技術產品貿易競爭優勢指數0.06897基礎產業增加值占全球比重0.08354全球 500 強中本國制造業企業營業收入占比0.06868裝備制造業增加值占制造業增加值比重0.051010標志性產業的產業集中度0.008518持續發展0.23133單位制造業增加值的全球發明專利授權量0.08215制造業研發投入強度0.039712制造業研發人員占從業人員比重0.013215單位制造業增加值能
15、耗0.07486工業固體廢物綜合利用率0.011616信息化發展指數(IDI 指數)0.0099176國家重點推動企業數字化轉型和數據。國家發布十四五規劃,以工業互聯網為基點,強調工業互聯網建設是新一代信息技術和實體經濟深度融合。2019 年以來中國數字經濟行業最新政策匯總一覽表如下圖 1-3 中國數字經濟行業最新政策匯總一覽表所示:2.國家對數字化轉型戰略的政策導向中國數字經濟產業新政策匯總一覽表發布時間政策名稱主要內容2022 年 1 月“十四五”數字經濟發展規劃提出,建設高速泛在、天地一體、云網融合、智能敏捷、綠色低碳、安全可控的智能化綜合性數字信息基礎說施。有序推進骨干網擴容,協同推進
16、千兆光纖絡和 5G 網絡礎設施建設,推動 5G 商用署和規模應用,前瞻布局第六代移動通(6G)網絡技術儲備,加大 6G 技術研發支持力度,積極參與推進 6G 國際標準化工作。到 2025 年,數字經濟核心產業加值占國內生產總值比重達 10%,數據要素市場體系初步建立,產業數字化轉型邁上新臺階,數字產業化水平顯提升,數字化公共服務更加普惠均等,數字經濟理體系更加完善。2021 年 11 月“十四五”大數據產業發展規劃提出,“十四五“時期,大數據產業發展要以推動高質量發展為主題,以供給側結構性改革為主線,以釋放數據要素價值為導向,圍繞夯實產業發展基礎,著力推動數據資源高質量、技術新高水平、基礎設施
17、高效能,圍繞構建高效產業鏈,著力提升產業供給能力和行業賦能效應,統籌發展和安全,培育自主可控和開放合作的產業生態,打造數字經濟發展新優勢。到 2025 年,我國大產業測算規模突破 3 萬億元,創新力強、附加值高、自主可控的現代化大數據產業體系基本形成。2021 年 10 月物聯新型基礎建設三年行動計劃(2021-2023 年)明確到 2023 年底,在國內主要城市初步建成物聯新型基礎設施,物聯連接數突破 20 億,為物聯,數字化產業蓬勃興起和全面發展賦能。7制造業數據治理白皮書中國數字經濟產業新政策匯總一覽表2021 年 9 月中共中央國務院關于完整準全面貫徹新發展理念做好碳達峰中和工作的意見
18、2030 年前碳達峰行動方案“碳達峰”、“碳中和”的“1+N”政策體系的頂層設計出爐,為實現碳達峰碳中和的目標壁畫了行動路線圖,進一步推動行業、企業共同建設工業互聯網,往數智制造方向轉變。2021 年 5 月常見類型移動聯網應用程序必要個人信息范圍規定規定明確了 39 種常見類型 App 的必要個人信息范圍,其中13 類 App 無須個人信息,即可使用基本功能服務。2021 年 3 月中華人民共和國國民經濟和社會發展第十四個五年規劃和 2035 年遠景目標綱要迎接數字時代,激活數據要素潛能推進網絡強國建設,加快建設數字經濟、數字社會、數字政府,以數字化轉型整體驅動生產方式、生活方式和治理方式變
19、革。充分發揮海量數據和豐富應用場景優勢,促進數字技術和實體經濟深度融合,賦能傳統產業轉型升級,催生新產業新業態新模式,壯大經濟發展引擎。2021 年 1 月工業互聯網創新發展行動計劃(2021-2023年)指出,2021-2023 年是我國工業互聯網的快速成長時期,并提出工業互聯網創新發展目標,其中包括新型基礎設施進一步完善、融合應用成效進一步彰顯、技術創新能力進一步提升、產業發展生態進一步健全和安全保障能力進一步增強。著力解決工業互聯網發展中的深層次難點、痛點問題,推動產業數字化,帶動數字產業化。2020 年 7 月關于支持新業態新模式發發展,激活消費市場帶動擴大就業的意見培育產業平臺化發展
20、生態、加快傳統企業數字化轉型步伐,打造跨越物理邊界的“虛擬”產業園和產業集群,發展基于新技術的“無人經濟”。2020 年 4 月關于構建更加完的要素市場化配置體制機制的意見培育數字經濟新產業、新業態和新模式,支持構建農業、工業、交通、教育、安防城市管理、公共資源交易等領域規范化數據開發利用的場景。2020 年 4 月關于推進”上云用數賦智“行動大力培育數字經濟新業態,深入推進企業數字化轉型,打造數據供應鏈,以數據流引領物資流人才流、技術流、資金流,形成產業鏈上下游和跨行業融合的數字化生態體系,構建設備數字化-生產線數字化-車間數字化-工廠數字化-企業數字化-產業鏈數字化-數字化生態的典型范式。
21、主要方向為筑基礎,夯實數字化轉型技術支撐,搭平臺,構建多層聯動的產業互聯網平臺,促轉型,加快企業”上云用數賦智“,建生態,建立跨界融合的數字化生態,興業態,拓展經濟發展新空間,強服務,加大數字化轉型支撐保障。8中國數字經濟產業新政策匯總一覽表2020 年 3 月工業和信息化部辦公廳關于推動工業互聯網加快發展的通知在加快新型基礎設施建設方面,提出改造工業互聯網內外網絡,增強完善工業互聯網標識體系、提升工業互聯網平臺核心能力、建設工業互聯網大數據中心,加快工業互聯網發展步伐。2020 年 3 月中小企業數字化賦能專項行動方案發展數字經濟新模式新業態,扶持疫情控期間涌現的在線辦公、在線教育、遠程醫療
22、、無人配送、新零售等新模式新業態加快發展,培育壯大共享制造、個性化定制等服務型制造新業態,深挖工業數據價值,探索企業制造能力交易、工業知識交易等新模式,鼓勵發展算法產業和數據產業,培育一批中小學數字化服務商,打造開源 App 開發者社區和中小企業開放開平臺,搭建中小企業資源庫和需求池,發展眾包、眾創、云共享、云租賃等模式。在中國際中小企業國際博覽會,中國(四川)中小微企業云服務大會、中國數字經濟高端峰會等會議期間,舉辦中小企業數字化賦能高端論壇,促進理論研究與實踐交流。2019 年 10 月國家數字經濟創新發展試驗區實施方案各試驗區要堅持新發展理念,堅持推動高質量發展,堅持以深化供給側結構性改
23、革為主線,結合各自優勢和結構轉型特點,在數字經濟流通機制、新型生產關系、要素資源配置、產業集聚發展模式等方面開展大膽探索,充分釋放新動能。2019 年 9 月禁止壟斷協議暫行規定禁止用濫用市場支配地位行為暫行規定制止濫用行政權力排除、限制競爭行為暫行規定在技術細節上,一是明確了市場份額認定的指標范圍,二是規了認定具市場支配地位的特殊考慮因素三是規定了以低于成品價格銷售商品的特殊情形,對涉及互聯網等新型經濟業態中的免費模式,應當綜合考慮經營者提供的免費商品以及相關收費商品等情況。2019 年 8 月關于促進平臺經濟規范健康發展的指導意見首次從國家層面發展平臺經濟做出的全方位部署,提出要依法查處互
24、聯網領域濫用市場支配地位限制交易、不正當競爭等違法行為,重點強調嚴禁平臺單邊簽訂排他性服務提供合同,針對互聯網領域價格違法行為特點制定監管措施等要求。信息來源:中商情報網()9表 1-3 中國數字經濟行業最新政策匯總一覽表制造業數據治理白皮書近年國內制造業復蘇勢頭迅猛,制造企業紛紛謀求轉型升級。根據國家統計局發布的數據顯示,2020 年 12 月份,中國制造業采購經理指數(PMI)、非制造業商務活動指數和綜合 PMI 產出指數分別為 51.9%、55.7%和 55.1%,均繼續位于年內較高運行水平,連續 10 個月保持在榮枯線以上。2021 年我國制造業增加值在 GDP 中所占的比重達到了 2
25、7.4,相比于 2020 年時的數據,提升了 1.22。在我國龐大的制造業產值和 GDP 總量下,1.22的進步可謂十分可觀,這也是自 2011 年以來,我國的制造業增加值在 GDP 中所占的比重第一次出現上升的情況。根據數據顯示,去年我國的先進制造業(包括 5G 通信設備制造、醫藥制造、醫療設備制造等等)增加值的增速達到了驚人的 18.2,這也是我國制造業升級轉型處于高速發展階段的直接證明。全球經濟環境的惡化讓中國制造業企業意識到,長期處于產業鏈中下游,如“三來一補”等勞動密集型、低附加值的企業發展策略愈發難以為繼。因此,國內掀起一波更加洶涌的制造業轉型升級的變革浪潮!3.國內制造業復蘇勢頭
26、強勁大數據技術日漸成熟推動制造業升級。2021 年通過的“中華人民共和國國民經濟和社會發展第十四個五年規劃和 2035 年遠景目標綱要”(以下簡稱“十四五”規劃)對于大數據的發展作出了重要部署。歷經多年發展,大數據從一個新興的技術產業,正在成為融入經濟社會發展各領域的要素、資源、動力、觀念。特別是我國提出“加快培育數據要素市場”后,大數據的發展迎來了全新的階段。2021 年以來,全球各國大數據戰略持續推進,聚焦數據價值釋放,而國內圍繞數據要素的各個方面正在加速布局和創新發展。政策方面,我國大數據戰略進一步深化,激活數據要素潛能、加快數據要素市場化建設成為核心議題;法律方面,從基本法律、行業行政
27、法規到地方立法,我國數據法律體系架構初步搭建完成;技術方面,大數據技術體系以提升效率、賦能業務、加強安全、促進流通為目標加速向各領域擴散,已形成支撐數據要素發展的整套工具體系;管理方面,數據資產管理實踐加速落地,并正在從提升數據資產質量向數據資產價值運營加速升級;流通方面,數據流通的基礎制度與市場規則仍在起步探索階段,但各界力量正在從新模式、新技術、新規則等多角度加速探索變革思路;安全方面,隨著監管力度和企業意識的強化,數據安全治理初見成效,數據安全的體系化建設逐步提升?;谥圃鞓I現狀及業內數據治理咨詢趨勢,預測制造業將會發生三大變革:一是工業互聯網建設加速,打造中國特色的“互聯網+制造”的政
28、、企、客、銀、稅及公共環境等萬物互聯的新業態。制造業數字化、智能化轉型加速,越來越多制造企業認識到“機器”,特別是“智能機器”的重要性,會更加主動地應用工業互聯網進行智能化和數字化變革,必將推動中國先進制造業等相關戰略和任務的進一步落實。二是智能制造成為制造業企業追求的共同目標。部分醫療器械企業、服裝企業、石化企業、汽車制造企業,甚至富士康等代工企業,根據特殊時期市場需要,轉產防護服、口罩等醫療防護產品,充分體現了其柔性生產經營滿足市場應急需求的靈活性和快速響應性等優勢,也為其他制造企業起到示范作用。未來,制造企業生產經營將更加柔性。三是全球經濟環境變化,讓部分制造10企業更關注強大的內需市場
29、。全球經濟環境變化,外需減少將會持續較長一段時間,而我國經濟市場逐步恢復,復工復產全面推進,市場活力和潛力將被逐步激活,促使部分制造企業將外需市場轉向內需市場。數據作為新型生產要素,是數字經濟深化發展的核心引擎。2020 年 04 月 10 日,中共中央國務院關于構建更加完善的要素市場化配置體制機制的意見(簡稱 意見)正式公布。意見分類提出了土地、勞動力、資本、技術、數據五個要素領域改革的方向,明確了完善要素市場化配置的具體舉措。數據作為一種新型生產要素被寫入文件,意見強調要加快培育數據要素市場,推進政府數據開放共享,提升社會數據資源價值,加強數據資源整合和安全保護。日前,國務院印發“十四五”
30、數字經濟發展規劃(以下簡稱規劃),作出了“十四五時期”我國數字經濟發展的重點部署的指導,充分發揮數據要素作用,成為規劃重點任務之一。規劃要求強化高質量數據要素供給,加快數據要素市場化流通,創新數據要素開發利用機制。數據治理是充分發揮企業數據價值的必經之路,是助力制造業轉型升級的有力保障。數據作為生產要素,作為資產的重要性,而數據價值卻因上述種種原因常常難以充分發揮,但依托數據治理手段,能解決釋放數據價值過程中面臨的諸多問題,以體系化的方式實現數據的可得、可用、好用,用較小的數據成本獲得較大的數據收益,具體體現在以下六個方面:(一)掌握數據現狀。數據治理對數據家當進行全面盤點,形成數據地圖,為業
31、務應用和數據獲取夯實基礎。數據地圖作為數據的全盤映射,幫助數據開發者和數據使用者了4.新晉生產要素數據治理助力制造業轉型升級解數據,成為對數據資產管理進行有效監控的手段。(二)提升數據質量。數據治理通過建立一套切實可行的數據質量監控體系,設計數據質量稽核規則,加強從數據源頭控制數據質量,形成覆蓋數據全生命周期的數據質量管理,實現數據向優質資產的轉變。(三)實現互聯互通。數據治理通過制定統一的數據標準,建立數據共享制度,完善數據登記、數據申請、數據審批、數據傳輸、數據使用等數據共享相關流程規范,打破數據孤島,實現數據高效共享。(四)提高獲取效率。數據治理將大量前期的數據準備時間和交付項目的時間縮
32、短,提升數據的獲取和服務效率,讓數據隨時快速有效就緒,縮短數據分析人員的數據準備時間,加快數據價值的釋放過程。(五)保障安全合規。數據治理通過制定完善的數據安全策略、建立體系化的數據安全措施、執行數據安全審計,全方位進行安全管控,確保數據獲取和使用合法合規,為數據價值的充分挖掘提供了安全可靠的環境。(六)持續釋放價值。數據治理通過一個持續和動態的全生命周期管理過程,以持續釋放數據價值為理念來實現數據資源管理工作。管理方面,建立一套符合數據驅動的組織管理制度流程和價值評估體系。技術方面,建設現代化數據平臺,確保持續、健康地為數據資產管理提供服務。11制造業數據治理白皮書異構信息源導致制造企業形成
33、巨大而復雜的異構信息環境。由于歷史原因或其它原因,大部分制造業企業已擁有多種業務系統,這些系統和數據已成為企業運轉和發展不可缺少的組成部分,但這些數據庫大都是被獨立創建和管理的,在信息系統方面,企業內部各部門往往各自獨立,彼此的信息和組織也不盡相同,以至于計算環境和信息系統平臺都不一樣,因此每個部門都可視為一個異構的信息源。這些異構信息源使得整個企業構成了異構信息的集成。大量異構數據制約制造業企業數據的傳輸和共享。隨著制造業企業數字化的建設,制造業企業出現并收集存儲了許多新的數據形式(文本、音頻、圖像、視頻數據等),這些大量存在的異構數據,被分布保存在不同的存儲環境或數據庫中僅服務建設初期自身
34、的獨立系統,制約了企業各部門間的數據傳輸和共享。傳統的關系數據庫之間的數據信息的交換采用文本文件作為中間媒介,但文本只能實現單張關系表間的簡單信息交互。在信息系統中,需要交互的信息量是龐大而復雜的,這種簡單的文本信息交換顯然力不從心。如何將不同的數據庫應用系統納入到一個系統下,實現用戶在各系統間的數據信息交換、共享和集成,就必須利用一種具有通用性、操作性良好的數據交換技術,使信息系統具有異構相容、集成現有信息的特點。因此如何將原有的各類成熟的數據庫系統不加修飾的納入到新的數據集成系統中,實現多個異構數據庫間信息的共享和互操作已成為企業迫切需要解決的問題。制造業企業數據資產管理能力不足。調查顯示
35、工業、制造業、能源行業、醫療行業、教育行業等傳統行業仍處于初級階段,數據資產管理的意識和動力不足,數據資產管理的資源投入仍集中于大數據平臺建設,尚未組建相對專業化的數據資產管理團隊,嘗試性對核心業務開展數據標準化工作。根據數據管理能力成熟度評估模型標準(DCMM)評估結果顯示,以上行業評估結果集中于第 2 級。金融行業、互聯網行業、通信行業、零售行業等較早享受到了“數據紅利”,持續推進業務線上化,數據資產管理重要性隨之提升,逐步發展數據資產管理部門,加大技術創新與應用,開展數據分析和數據服務。DCMM 評估結果顯示,以上行業評估結果集中于第 3 級或以上。傳統的數據整合思路是建立組織的數據中心
36、,將數據從各個系統抽取過來進行集中,再統一提供數據服務。隨著大數據與人工智能技術的應用普及,海量多源異構數據急劇增加,特別是非結構化數據的增加,傳統大數據平臺在面臨多源異構數據處理時,面臨數據采集處理能力不足、數據結構難以統一,數據運維困難等挑戰,為洞察數據的價值帶來了層層阻礙。因此,傳統大數據中心已經無法適應現在的組織數據整合要求,需要考慮一種新的整合方式,基于服務的邏輯數據整合,而不是基于數據集中的物理整合。二、制造業面臨數據問題和挑戰1.數據多源異構讓數據集成共享存在壁壘 12制造業產業鏈條長,多業態并存,形成“數據孤島”,數據質量難以保證。非數字原生企業,特別是大中型的制造企業,往往有
37、著較長的業務鏈路,從研發到銷售全產業鏈覆蓋,在各個工藝流程中沉淀著大量的復雜數據。在信息化時代初期建立了很多相對獨立的 IT 系統,典型的的特點是形成了“一類業務、一個 IT 系統、一個數據庫”的煙囪式 IT 架構。其直接帶來的問題就是“數據孤島”。IT 系統中的數據語言不統一,不同 IT 系統之間的數據不貫通,同樣的數據需要在不同的 IT 系統中重復錄入,甚至在不同 IT 系統中的同一個數據不一致等。制造業企業數據戰略,數據建設目標不明確,企業數據文化重視度不高。數據作為一種新的生產要素,在企業構筑競爭優勢的過程中起著重要作用,企業應將數據作為一種戰略資產進行管理。數據從業務中產生,在IT系
38、統中承載,要對數據進行有效治理,需要業務充分參與,IT 系統確保遵從,這是一個非常復雜的系統工程。一個企業想要做大做強,成為世界一流企業需要注重數據文化建設,明確企業數據戰略,數據建設目樹立正確的企業數據建設工作思路成為保障企業成功實現數據治理的根本。制造行業作為非數字原生企業,數字化轉型的關鍵要素之一是在現實世界的基礎上構建一個跨越孤立系統、承載業務的“數字孿生”的數字世界。通過在數字世界匯聚、聯接與分析數據,進行描述、診斷和預測,最終指導2.數據質量難以滿足企業需要、可信度低3.企業數據文化建設薄弱、數據驅動意識缺位4.讓數據可視、可控、可用及可信是當務之急制造業企業數據環境復雜,歷史包袱
39、重,缺乏數據認責,數據質量難以保障。非數字原生企業特別是制造業企業普遍有較長的歷史,組織架構和人員配置都圍繞著線下業務開展,大都經歷過信息化過程。很多制造型企業隨著不同階段的發展需求,保留著各個版本的 ERP 軟件和各種不同類型的數據庫存儲環境,導致數據來源多樣,獨立封裝和存儲的數據難以集中共享,也不敢隨意改造或替換,IT 系統歷史包袱沉重。數據沒有管理責任人,各系統之間甚至同系統內的數據標準不統一。標,指明企業數據建設的方向。制造業企業沒有完整的數據綜合治理體系,缺乏數據驅動意識,數據管理責任制。只有構筑一套企業級的數據綜合治理體系,才能確保關鍵數據資產有清晰的業務管理責任,IT 建設有穩定
40、的原則和依據,作業人員有規范的流程和指導;當面臨爭議時,有裁決機構和升級處理機制;治理過程所需的人才、組織、預算有充足的保障。業務改進。在實現策略上,企業需要構建以云為基礎、以數據為驅動的新型 IT 架構。數字世界一方面要充分利用現有 IT 系統的存量數據資產,另一方面要構建一條從現實世界直接感知、采集、匯聚數據到數字世界的通道,不斷驅動業務對象、過程與規則的數字化,讓企業數據實現可視、可控、可用13制造業數據治理白皮書和可信企業數據建設工作的整體思路如圖 2-1 所示:建立完善的企業數據建設框架是企業順利完成數據治理的必要手段。針對企業數據治理整體思路解讀形成企業數據建設工作框架,基于統一的
41、規則與平臺,以業務數字化為前提,數據入湖為基礎,通過數據主題聯接并提供服務,支撐企業業務數字化運營。如下圖 2-2 企業數據建設工作框架所示:圖 2-1 數據建設工作整體思路現有 IT 系統分析聯接匯聚描述診斷預測指導對象數字化過程數字化規則數字化感知采集匯聚業務數據業務結果數據現實世界:業務流圖 2-2 企業數據建設工作框架數據消費數據源數據底座主題聯接數據湖客戶以業務流為中心聯接明確數據責任人以業務對象為中心聯接發布數據標準報告數據認證數據源智能標簽定義數據密級制定數據質量方案注冊元數據算法模型合作伙伴員工供應商消費者數據治理報告/自助分析實時可視數據分析平臺五種數據中臺聯接方式物理入湖虛
42、擬入湖風控推演智能決策供應銷售交付人力資源財務其他數據數據體系數據分類數據感知數據質量數據安全與隱私企業數據建設工作框架主要包含以下 6 個方面:1)數據源:業務數字化是數據工作的前提,通過業務對象、規則與過程數字化,不斷提升數據質量,建立清潔、可靠的數據源。142)數據湖:基于“統籌推動、以用促建”的建設策略,嚴格按六項標準,通過物理與虛擬兩種入湖方式,匯聚企業內部和外部的海量數據,形成清潔、完整、一致的數據湖。3)數據主題聯接:通過五種數據聯接方式,規劃和需求雙驅動,建立數據主題聯接,并通過服務支撐數據消費。4)數據消費:對準數據消費場景,通過提供統一的數據分析平臺,滿足自助式數據消費需求
43、。5)數據治理:為保障各業務領域數據工作的有序開展,需建立統一的數據治理能力,如數據體系、數據分類、數據感知、數據質量、安全與隱私等。15制造業數據治理白皮書國家重點推動工業互聯網建設和企業數據治理。2020 年 5 月工信部頒發關于工業大數據發展的指導意見,推動工業數據全面采集,加快工業設備互聯互通,推動工業數據高質量匯聚,統籌建設國家工業大數據平臺,推動工業數據開放共享,激發工業數據市場活力,深化數據應用,完善數據治理。2020 年 9 月國務院國資委辦公廳下發關于加快推進國有企業數字化轉型工作的通知,要求各國有企業加快集團數據治理體系建設,提出構建數據治理體系,“明確數據歸口管理部門,加
44、強數據標準化、元數據和主數據管理工作”,“定期評估數據治理能力成熟度”。同時,“強化業務場景數據建模,深入挖掘數據價值,提升數據洞察能力”,提升數據服務水平。2022 年 4月 19 日,習近平總書記主持召開中央全面深化改革委員會第二十五次會議(以下簡稱“會議”),審議通過了關于加強數字政府建設的指導意見,強調要全面貫徹網絡強國戰略,把數字技術廣泛應用于政府管理服務,推動政府數字化、智能化運行,為推進國家治理體系和治理能力現代化提供有力支撐。加強數字政府建設的關鍵在于抓出“數據治理”牛鼻子,綜合運用好制度和技術工具,在保障數據安全的前提下,打通各級政府和各部門之間數據共享堵點,破除“數據孤島”
45、頑疾。如圖 3-1 為中央全面深化改革委員會第二十六次會議關于數據治理的重點內容。三、制造類企業平臺級數據治理建議1.國家層面的數據治理導向圖 3-1 中央全面深化改革委員會第二十六次會議內容根據國家的數據治理導向得出的啟示:制造業企業當下應抓住機遇,積極推進企業智能制造和數據治理,實現轉型升級。第一,制度與技術雙軌并行。加強頂層設計,強化技術支撐,發揮制度與技術的高效融合,在保障數據安全前提下推進數據高效利用,提升數據治理有效性與安全性,推進制造業企業數字化轉型和數據治理平臺建設。16要把安全貫穿數據治理全過程守住安全底線明確監管紅線加強重點領域執法司法把必須管住的堅決管到位要建立數據產權制
46、度推迸公共數據企業數據個人數據分類分級確權授權使用建立數據資源持有權數據加工使用權數據產品經營權等分置的產權運行機制健全數據要素權益保護制度數據基礎制度建設事關國家發展和安全大局第二,強化創新引領。制造業轉型升級的主要支撐因素是技術創新能力的提高,目前,我國智能制造處于初級發展階段,須在關鍵短板裝備、基礎零部件、工業軟件等關鍵環節和薄弱領域尋求突破,以技術創新支撐制造業向智能制造轉型升級。第三,系統總結并復制推廣智能制造示范項目經驗模式。對智能制造發展規劃(2016-2020 年)智能制造工程實施指南(2016-2020 年)進行系統評估,繼續推進智能制造示范項目,堅持以應用促發展,進一步推進
47、示范應用,將形成的經驗模式向同行業同類型企業復制推廣。第四,發揮強大國內市場優勢,強化市場拉動作用。打通國內巨大市場需求的恢復和增長鏈條,為制造業智能化轉型和生產率的提高提供更多機會,為新技術、新產品發展創造更多商業化的應用場景。第五,加大政策引導和資金支持力度。進一步鼓勵全國產業轉型升級示范區出臺和落實精準有效的政策舉措,保障企業智能制造在人、財、物等要素的需求,推進制造企業進行系統化、智能化、數字化轉型。軟通動力以為企業數字化轉型為重點構建了軟通動力數據治理體系。數據作為一種新的生產要素,在企業構筑競爭優勢的過程中起著重要作用,企業應將數據作為一種戰略資產進行管理。軟通動力作為中國領先的軟
48、件與信息技術服務商,以用數字技術提2.平臺化的集中式數據治理升客戶價值為愿景,從為客戶戰略規劃,業務運營,應用系統構建,為客戶提供全面的端到端的咨詢與實施服務的根本目標出發,并結合軟通動力多年來積累的企業數據治理經驗,構建了軟通動力-數據治理框架。如圖 3-2 所示為軟通動力-數據治理框架:圖 3-2 軟通動力-數據治理框架 1 數據戰略數據治理領域管理數據架構管理數據資產目錄元模型管理質量目標管理安全目標主數據識別管理數據標準業務元數據控制數據質量數據安全策略主數據管理模式管理數據模型技術元數據度量數據質量數據安全分級主數據整合架構管理數據分布操作元數據改進數據問題改進數據問題管理元數據管理
49、主數據管理數據質量管理數據安全2 管理管理組織數據組織3 數據政策數據管理辦法實施細則4 IT 支撐數據中臺數據分析工具數據治理平臺5 運作機制數據 Owner數據管理制度模型設計工具數據管控融入業務變革管理數據管控融入流程運營管理6 17制造業數據治理白皮書圖 3-3 數據治理平臺建設思路建設一個完美的數據治理平臺是企業實現數字化轉型和數據治理的必經之路。數據從業務中產生,在 IT 系統中落地,決定了企業數據治理工作必須充分融入到企業的數據治理平臺建設中去。如下圖 3-3 所示為數據治理平臺建設思路:數據治理平臺建設的七個關鍵步驟:(一)平臺設計:企業數據治理平臺設計要充分考慮企業數據架構,
50、包含但不限于需求分析、總體架構設計、數據規范定義、數據引入和數據指標設計等。在數據治理平臺設計過程中還需充分考慮到平臺界面設計、數據庫設計、數據集成方案設計,向上承接企業數據戰略的規劃要求,向下要保證字段遵從數據標準的定義,庫表和字段的設計滿足企業數據架構的設計要求,從而達到數據治理融入到數據治理平臺的目標。(二)數據采集:數據采集是企業數據治理平臺建設的基礎,主要指數據的收集和同步。數據同步包含同構/異構數據庫同步、基于Log 的文件同步、實時數據同步、增量/批量數據同步和非結構數據同步等。(三)數據開發:數據開發是數據治理平臺發揮作用的重要保障。數據開發主要包括數據分布、數據對比、數據脫敏
51、、數據重構和數據修改等。(四)數據管理:數據管理是數據治理平臺發揮作用的有效措施。重要包含數據標準、數據質量、主數據、元數據以及數據的生命周期和數據安全的管理。其中數據標準是在企業范圍內確保數據一致的關鍵,是企業需共同遵守的屬性層數據含義及業務規則,是對某個數據的共同理解,這些理解一旦確定,就應作為企業層面的標準在企業內被共同遵守。(五)數據建模:數據建模是從數據的視角對企業的業務對象、業務過程和業務規則的模擬和抽象,根據業務需求抽取信息的主要平臺設計數據采集數據開發數據管理數據應用數據建模平臺運維物理模型定義表結構邏輯模型數據模型結構設計主外健設計反范式設計概念模型模型設計定義維度報告故障報
52、告月/日/周報安全管理用戶權限角色劃分數據安全持續改進及優化流程優化技術優化成本優化數據庫優化監控管理系統級監控數據鏈路層監控數據應用企業圖譜智能推薦精準營銷數據展示數據可視化其他開源/商業報表工具數據質量數據校準需求標準通用數據標準行業數據標準主數據主數據模型主數據管理生命周期數據等級管理生命周期管理元數據維護數據字典業務描述技術定義數據安全加密管理訪問權限管理數據開發數據分布數據對比數據脫敏數據重構和修改數據引入總體架構設計業務過程數據域架構選型數據指標設計指標處理設計指標生成方式頻率需求分析收集數據來源分析數據質量業務現狀評估架構選型數據規范定義數據域維度業務過程原指標規范定義數據同步同
53、構數據庫同步異構數據庫同步基于 Log 文件同步增量數據同步實時數據同步批量數據同步非結構化數據同步數據開發數據分布數據對比數據脫敏數據重構和修改18特征,反映業務信息之間的聯系關系,是建設一套完美的數據治理平臺的關鍵。數據建模主要包括概念模型、邏輯模型和物理模型的設計。(六)數據應用:數據應用是企業數據治理的成果展示,主要包含數據可視化、BI 報表展示、企業圖譜、智能推薦和精準營銷等。(七)平臺運維:平臺運維是保證數據治理平臺正常運轉的有效措施。主要包含監控管理、安全管理、報告和持續改進和優化等。其中持續改進和優化是建設一個完美的企業數據治理平臺的必要保障,企業的數據治理平臺建設不可能一蹴而
54、就,需要根據企業的發展和業務狀況不斷改進和修正,最終達到建設完美的企業數據治理平臺的目標。數據治理平臺需具備的關鍵功能:(一)數據源:數據同源是數據治理的核心,所以數據治理平臺的數據源必須支持主流的數據庫接入,開放式數據庫連接驅動,保證企業所有系統的數據都可接入,實現對其進一步處理。(二)數據集成:企業的數據集成的價值體現在速度上、促進智能分析和促進管理水平提升等。一個完美的數據治理平臺需要具有高效的數據庫傳輸方式,可視化配置等功能。(三)數據開發:用編寫代碼的方式構建復雜的數據模型和不同類型的代碼任務,降低代碼開發的成本和門檻,輕松實現數據間的互聯互通。(四)數據質量:數據質量的持續提升是數
55、據治理的核心目標。需要數據治理平臺具備提升數據質量的能力,保障數據的安全,對數據質量進行實時監控,第一時間感知臟數據,并采用一定措施不斷提升企業數據質量。(五)運維監控:數據治理平臺需要具備提供各種任務操作與狀態、告警等多方位的運維能力,提供圖形化任務管理模式,任務依賴圖逐級展示等功能。(六)數據地圖:數據治理平臺需要具備數據資產的元數據信息查看、數據明細信息、分區信息、血緣分析等功能,方便對數據進行檢索分析等。(七)數據服務:需要支持數據云處理,支持通過可視化配置的向導模式,快速將關系型數據庫生成 API,方便提供各種數據支持。軟通動力與亞馬遜云科技強強聯手,建立了基于軟通動力 DataGo
56、 和亞馬遜云科技云原生架構的數據治理平臺。隨著企業數字化轉型和數據治理的推進,大數據、云計算等技術的應用和普及,數據處理呈現出新的特征,業務變化快、數據來源多、系統耦合多和應用深度加深等。傳統的大數據建設和開發周期已經不能滿足業務的需要,需要一個更快的建設周期、更快的開發效率的平臺。在這種境況下,軟通動力自研 DataGo 平臺協同亞馬遜云科技共同建立一套數據治理平臺。如圖 3-4 所示為軟通動力 DataGo 協同亞馬遜云科技數據治理平臺概念示意圖:19制造業數據治理白皮書圖 3-4 軟通動力 DataGo 協同亞馬遜云科技數據治理平臺概念示意圖數據應用數據服務數據接入數據源數據存儲計算Am
57、azon RDS關系型數據庫Amazon Redshift分析型數據庫Amazon ES搜索服務業務系統離線計算實時計算離線產品業務系統關系數據庫業務日記及第三數據源實時產品DataGo 研發平臺數據分層規范與工具數據管理定制報表定制化數據應用數據輸出數據輸出數據輸入數據輸入Amazon EMRAmazon KinesisData AnalyticsAmazon KinesisData FirehoseAmazon KinesisData StreamsOracle.SQL ServerMySQLAmazon MSK數據 APILogtailSLSS3ADS-應用數據層DWS-公共匯總層DWD
58、-明細數據層ODS-操作數據層主題式數據服務元數據管理數據安全管理計算存儲管理數據引入 規范建模通用研發 運維調度DataGo圖 3-5 DataGo 數據治理平臺產品架構圖數據應用統一調度資產管理數據服務計算與儲蓄平臺EMRSparkHadoopHDFSS3.數據源MySQLPostgreSQLDB2HBaseHiveOracleSQLserver.數據集成全量同步增量同步實時同步數據地圖BI 報表服務創建數據質量推薦系統API 網關數據血緣數據大屏服務授權跨引擎混合調度上下文參數傳遞調度流程邏輯控制跨云混合調度數據開發離線計算資源函數實時計算元數據用戶畫像API 調用數據權限即席查詢.數據
59、治理平臺DataGo數據安全DATAXDataX20DataGo 數據治理平臺:DataGo 數據治理平臺是依托軟通動力多年的數據中臺實施經驗,自研的一款數據開發治理平臺,為企業提供全生命周期的數據管理工具,助力企業輕松完成數據開發治理工作,降低數據開發和管理成本,提高數據開發效率,規范數據管理方法,提高數據質量。如圖 3-5 所示為 DataGo 數據治理平臺產品架構圖:DataGo 數據治理平臺的優勢:基于計算源和底層資源,提供工作空間、數據源、數據集成、數據開發、數據質量、運維監控、數據地圖、數據服務等。其中最主要的有三點:功能覆蓋全面,性價比高;快速部署;輕耦合性。亞馬遜云科技數據治理
60、體系:亞馬遜云科技數據治理流程是通過獲取流程數據,了解企業相關業務的流程、組織及技術能力,并從相關數據狀態中獲得更多業務洞察;結合業務實例,實時政策動態、架構等變化因素,有針對性地制定數據治理策略,構建以探索驅動定義的數據治理模式。具體如圖 3-6 所示為亞馬遜云科技數據治理服務示意圖:亞馬遜云科技的優勢:易于使用,通過亞馬遜云科技能夠輕松地在數據湖與專用數據服務之間移動數據。例如,Amazon Glue 是一項無服務器數據集成服務,它簡化了準備數據以進行分析、機器學習和應用程序開發的工作;更快的數據集成,亞馬遜云科技能夠在不同數據源之間查詢數據,例如數據庫、數據湖和數據倉庫。例如,通過 Am
61、azon Athena 可以使用 SQL 來查詢數據湖,而通過聯合查詢可以從關系數據庫查詢實時數據;便于移動,利用存儲在不同系統中的數據,亞馬遜云科技讓您能夠輕松地在自己的所有服務和數據存儲之間移動數據:從內向外、從外向內,以及循環移動。21圖 3-6 亞馬遜云科技數據治理服務示意圖On-premises or CloudGCR or Global RegionAmazonCloudWatchAmazon KinesisData StreamsAmazonGlue ETL jobAmazon Glue ETL jobData Go數據開發平臺ORORAmazon Glue DataCatalo
62、gAmazonRDS for HiveMetaSoreFlink On Amazon EMRORORDataX open source數據服務接口API From Amazon EKSAmazon Kinesis Data Analytic Dashboard/appAmazonDynamoDBAmazonLambdaAmazon RedshiftAmazon AthenaAmazonEMR Hive jobAmazonEMR Hive jobAmazon KinesisData FirehoseAmazon RDSFor ODSAmazon S3ProcessedAmazon S3Consu
63、mptionAmazon GluecrawlersAmazonIAMData/filesUsers/analystsKinesisproducer/Flume/DataXreadreAmazon S3Raw dataDATAXSQL解析器Amazon EKSGrafannaDolphin SchedulerApacheRangerNginxServiceGatewayDATA-GO基于軟通動力 DataGo 和亞馬遜云科技云原生架構的數據治理平臺核心優勢明顯,幫助企業快速實現數據治理上云。軟通動力的數據治理服務以自研的數據治理平臺 DataGo 為框架,基于亞馬遜云科技云原生組件,可全方位滿足
64、客戶對數據標準、數據開發、數據血緣、數據集成并形成數據服務以及后續數據運維的需求??梢詭椭蛻魧崿F對重點業務數據采集完備,粒度統一,指標統一,前后貫通,及時同步;靈活滿足支持業務需求和分析需求,實現數據驅動業務;全銷售渠道數據協助決策,儀表板數據自助分析平臺,增強營銷效率,幫助實現多場景營銷活動等訴求。如圖 3-7 為制造業數據治理白皮書圖 3-7 DataGo 與亞馬遜云科技數據治理平臺架構示意圖數據綜合治理數據資產數據分析數據質量智能監控數據安全數據分享異構數據源管理元數據倉庫元數據服務數據轉換IOT 端采集智能數據開發智能集成開發環境交互式查詢離線開發應用開發機器學習數據服務實時開發統一
65、任務調度跨引擎混合調度上下文參數傳遞調度流程邏輯控制跨云混合調度元數據采集與構建全域智能大數據平臺DataGo統一元數據中心全域數據集成批量同步實時同步增量同步計算存儲蓄引擎CDH/HadoopS3HDFSEMR大數據計算平臺TrinoKinesis實時計算DBIOT22(一)計算存儲引擎。計算存儲引擎是存儲數據的物理數據庫。通過創建數據源的方式,將業務數據引入 DataGo 平臺計算源EMR 的 hive 中進行構建數據中臺。同時也可以將已構建完成的數據導入數據源。DataGo 基于亞馬遜云科技豐富的云服務、提供了豐富的數據庫類型接入,包括主流的關系型數據庫以及分布式數據庫,能將業務系統數據
66、對接到平臺中,提供后續建模分析使用,數據源是數據建設的來源或基礎。通過與 Amazon RDS 數據庫產品以及 Amazon Redshift 產品對接,制造數據治理存儲層能夠非常好的滿足各類不同數據 庫 類 型,Amazon Relational Database Service(Amazon RDS)讓您能夠在云中輕松設置、操作和擴展關系數據庫。它在自動執行耗時的管理任務(如硬件預置、數據庫設置、修補和備份)的同時,可提供經濟實用的可調容量。這使您能夠騰出時間專注于應用程序,為它們提供所需的快速性DataGo 與亞馬遜云科技數據治理平臺架構示意圖。能、高可用性、安全性和兼容性。Amazon
67、 RDS 在多種類型的數據庫實例(針對內存、性能或 I/O 進行了優化的實例)上均可用,并提供六種常用的數據庫引擎供您選擇,包括 Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle Database 和 SQL Server。借助 Amazon RDS 強大的性能、可靠性、可擴展性以及數據安全性,能夠非常好的實現制造業對數據源的需求。Amazon Redshift 是一種完全托管的 PB 級云中數據倉庫服務。能夠使用 SQL 在數據倉庫、運營數據庫和數據湖間分析結構化和半結構化數據,從幾百 GB 數據,擴展至 1 PB 或更多,支持制造數據治理平臺通過運
68、營數據庫、數據湖、數據倉庫和數千個第三方數據集,對復雜的規?;瘮祿M行實時和預測性分析,獲得綜合洞察。(二)全域數據集成。數據集成是基 于DataGo 構建的簡單高效的數據同步平臺,23致力于提供具有強大的數據預處理能力、豐富的異構數據源之間數據高速穩定的同步能力。數據集成采用了 Amazon DMS 技術對繁多異構數據源提供穩定高速的遷移能力。將數據引入,通過數據集成任務,將所需的源數據同步至目標數據庫。使用 Amazon Glue 完成對數據流的接收、處理和使用,Amazon Glue 是一項無服務器數據集成服務,它簡化了發現、準備和合并數據以進行分析、機器學習和應用程序開發的工作。支撐制
69、造業應用系統中各種數據來源的發現和數據的提取,將之豐富、清理、標準化和合并,以及在數據庫、數據倉庫和數據湖中加載和組織數據。Datago 與 Amazon Glue 組件緊密結合,借助 Amazon Glue 強大的性能,實現對數據的收集。Amazon Kinesis 可讓用戶輕松收集、處理和分析實時流數據,以便及時獲得見解并對新信息快速做出響應。Amazon Kinesis 提供多種核心功能,可以經濟高效地處理任意規模的流數據,同時具有很高的靈活性,與 DataGo 組件集成可以獲取 ERP 實時數據,工廠采集數據,供應鏈上報數據,也可以獲取用于機器學習、分析和其他應用程序的 IoT 遙測數
70、據。(三)智能數據開發。數據開發是 DataGo的核心功能,支持數據開發和臨時查詢。通過編寫 SQL 代碼的方式構建復雜的數據模型、構建不同類型(周期/手動)的代碼任務,點擊“運行”對任務進行試跑,并查看任務的運行情況,還可以選中“select”語句,運行查看“結果”,且為任務配置調度周期和任務之間的依賴關系,完成后即可點擊提交按鈕將任務提交并發布,提交后即刻生成版本記錄,方便開發者進行各個代碼版本之間的代碼對比,至此就便捷的完成 ETL開發流程。任務的周期調度類型支持分,時,日,周,月,年的粒度,最小支持到每 5 分鐘的調度,還可為任務設置優先級等操作。此外臨時查詢是面向業務主題的數據查詢,
71、屏蔽了物理模型中技術特性帶來的影響,基于邏輯模型從業務視角出發對外提供查詢服務。同時,數據開發模塊對接了 DataGo的權限管理、運維和用戶管理,致力于為您構建便捷、高效的數據開發平臺?;赗edshift,Amazon Glue 能夠在數據開發層面為 DataGo 提供強大的支撐,實現高效數據開發。(四)數據質量。數據質量是對數據模塊構建計算任務過程中的數據和結果數據的正確性進行表級校驗和字段級校驗的功能,主要功能模塊是數據校驗和規則模板。數據校驗:選擇校驗方式(表/字段)的目標表,選取規則模板(內置模板和負責模板)配置具體規則,其中內置模板中的表級規則有:表行數,固定值;字段規則有:唯一值
72、個數固定值,空值個數固定值,空值個數/總行數固定值,重復值個數固定值等;規則模板則是自定義通過 SQL 來創建模板規則;校驗規則配置完成后可通過調度配置將數據校驗任務和調度系統打通,通過調度系統觸達數據質量的規則校驗。還可設置質量告警功能,第一時間感知異常數據。(五)數據服務。數據服務旨在為企業搭建統一的數據服務總線,幫助企業統一管理對內對外的 API 服務。數據服務支持通過可視化配置的向導模式,快速將關系型數據庫和 NoSQL 數據庫的表生成 API。您無需具備編碼能力,即可快速配置一個 API。API網關提供 API 托管服務,涵蓋 API 發布、管理、運維的全生命周期管理。幫助您簡單、快
73、速、低成本、低風險地實現微服務聚合、前后端分離、系統集成等功能和數據。數據服務采用 Serverless 架構,您只需要關注 API 本身的查詢邏輯,無需關心運行環境等基礎設施,數據服務會為您準備好計算資源,并支持彈性擴展,零運維成本。數據服務是基于 DataGo 建設數據中臺的最后一步。數據服務作為統一的數據服務出口,制造業數據治理白皮書實現了數據的統一市場化管理,有效地降低數據開放門檻的同時,保障了數據開放的安全。使用 Amazon Opensearch、Amazon Quicksight 服務幫助 DataGo 的產品解決數據服務上的問題,實現快速搜索,整合的能力。(六)數據安全。同一個
74、 DataGo 工作空間可以添加多個用戶,為保障數據安全工作空間為用戶提供了用戶及角色等身份,您可以針對不同用戶的工作空間使用需求,授予其相應的功能權限角色。一個組織可以包含多個工作空間,每個工作空間的數據是隔離的。添加進組織的每個用戶至少歸屬于一個工作空間,空間管理員擁有其所在空間的所有工作權限?;趯巧陀脩舻脑L問權限控制,對 hive 實現統一的,細粒度的數據訪問權限控制,用戶角度可以查看對數據有哪些權限,從數據角度,可查看哪種角色有何種權限?;趤嗰R遜云科技的安全技術架構,可以實現劃分部門、產線、車間、倉號等不同自定義的行級別權限管理,用數據架構和業務場景的交互,實現數據全生命周期的
75、安全管理。24數據資產化管理的具體應用:(一)數據模型管理。是指在信息系統設計時,參考邏輯模型,使用標準化用語、單詞等數據要素設計數據模型,并在信息系統建設和運行維護過程中,嚴格按照數據模型管理制度,審核和管理新建和存量的數據模型。(二)數據標準管理。數據標準管理的目標是通過制定和發布由數據利益相關方確認的數據標準,結合制度約束、過程管控、技術工具等手段,推動數據的標準化,進一步提升數據質量。(三)數據質量管理。是指運用相關技術來衡量、提高和確保數據質量的規劃、實施與控制等一系列活動。衡量數據質量的指標體系包括完整性、規范性、一致性、準確性、唯一性、及時性等。25良好的數據資產管理是釋放企業數
76、據要素價值、推動企業完成數據治理的前提與基礎。隨著數據的重要性日益顯著,數據資產管理成為激發組織數據要素活力、加速數據價值釋放的關鍵。數據資產(Data Asset)是指由組織(政府機構、企事業單位等)合法擁有或控制的數據資源,以電子或其他方式記錄,例如文本、圖像、語音、視頻、網頁、數據庫、傳感信號等結構化或非結構化數據,可進行計量或交易,能直接或間接帶來經濟效益和社會效益。在組織中,并非所有的數據都構成數據資產,數據資產是能夠為組織產生價值的數據資源,數據資產的形成需要對數據資源進行主動管理并形成有效控制。建設企業級數據資產管理架構是企業數據發揮高效價值的有力保障。數據資產管理包含數據資源化
77、、數據資產化兩個環節,將原始數據轉變為數據資源、數據資產,逐步提高數據的價值密度,為數據要素化奠定基礎。數據資產管理包括數據模型管理、數據標準管理、數據質量管理、主數據管理、數據安全管理、元數據管理、數據開發管理等活動職能。如圖 3-8 所示為數據資產管理架構圖:3.推進數據進行資產化管理和應用數據資產數據資產化數據資源數據資源化原始數據數據資產管理戰略管理制度體系組織架構平臺工具長效機制保障措施數據價值評估數據質量管理數據模型管理數據流通管理數據標準管理元數據管理數據運營管理主數據管理數據開發管理活動職能數據安全管理圖 3-7 DataGo 與亞馬遜云科技數據治理平臺架構示意圖制造業數據治理
78、白皮書(四)主數據管理。主數據管理是一系列規則、應用和技術,用以協調和管理與企業的核心業務實體相關的系統記錄數據。(五)數據安全管理。是指在組織數據安全戰略的指導下,為確保數據處于有效保護和合法利用的狀態,多個部門協作實施的一系列活動集合。包括建立組織數據安全治理團隊,制定數據安全相關制度規范,構建數據安全技術體系,建設數據安全人才梯隊等。(六)元數據管理。元數據管理是數據資產管理的重要基礎,是為獲得高質量的、整合的元數據而進行的規劃、實施與控制行為。26以生產企業的供應鏈管理為例,生產和經營從來就不是一個孤立的行為,在生產和管理中已經沉淀了一套數字資產,如何應用好這套數字資產,是需要上下游充
79、分合作互相支撐的過程。很多企業已經意識到,依靠傳統的商業模式,在競爭與擠壓式增長的市場環境中想要有所建樹是非常艱難的。因此,出現了以企業產業基礎為軸心形成的后端組合型小平臺,以及價值鏈延展的大平臺。所謂小平臺,一方面是指鏈主企業自發的,不再局限于只做生產需求輸出方,而是主動提供更多信息,鏈接上下游企業資源,展開采銷協同,產銷協同的合作模式,并從中獲得效率收益。業務場景:突然的需求變化造成了缺貨或貨物積壓;多級供應商,多級物流商,運輸動向復雜;物料短缺造成客戶訂單延期等等。企業需要為供應鏈業務的全局管控提供信息集成、業務監測洞察到協同處理的端到端的數智化解決方案,實現供應鏈價值運營的實時、智能與
80、高效。需求分析:業務方面,供應鏈管理的核心工作是需求管理,生產管理和供應管理。完善數字化方案,就是讓數字作為生產要素,指引企業如何運用數據,去輔助每個環節做正確的決策,讓企業以較低成本來獲取較大的收益,同時可以提高各級別人員的工作效率。技術方面,缺少高效數據集成,導致在供應鏈環節的繁多異構數據源不能高效存儲;缺少數據接口,不能將數據引入,通過數據集成任務,將所需的源數據同步至目標數據庫;目前數據沒有上云,導致數據共享不夠充分,數據價值低??紤]采用軟通動力DataGo 協同亞馬遜云科技共同搭建的數據治理平臺來實該業務場景的實施,提高制造業企業供應鏈能效。解決方案:采用平臺化的數據治理方案,使用軟
81、通動力 DataGo 平臺協同亞馬遜云科技構建的供應鏈控制塔平臺,使關鍵業務環節縱向打穿,在全業務流程管理中,建立一個一個相對獨立的“透鏡”切片,為這一個環節提供可視化、可分析、可協同、可決策的體系內循環優化。目前軟通動力已經完成的小平臺模塊有 7 個功能模塊。如圖 4-1 所示為控制塔產品全景圖:四、制造業關鍵場景專項治理1.在企業統一數字底座上的制造業供應鏈控制塔項目建設 27制造業數據治理白皮書圖 4-1 控制塔產品全景圖ETA 算法供應鏈監控引擎網絡庫存動線優化算法運輸仿真協同優化算法倉網規劃算法根因分析算法生產計劃模擬評估及優化生產排程算法產能模擬評估及優化算法管理覆蓋采購生產研發物
82、流倉儲銷售運營系統MESQMSOMSMROERPSRMWMSPDMTMSPLMBMSCRM行業拓展高科技電子制造業特種裝備制造業金屬輕冶制造業汽車制造業能源制造業快消&零售農村農業業務應用場景供應鏈業務運營管控 E2E 場景供應網絡可視采購訂單詳情生產計劃執行監控生產安全監控全局庫存動態可視銷售訂單詳情碳排放詳情內部調撥履行監控采購訂單供應監控生產訂單詳情生產健康度評估庫存異常監控預警銷售訂單履約監控碳排放明細及KPI 可視內部調撥訂單詳情生產過程KPI 分析供應質量評價庫存執行 IOT實時監控IOT 實時軌跡監控IOT 實時監控運輸工具 IOT實時監控采購訂單KPI 分析采購履歷單發布與確認
83、生產訂單履約監控環境檢測評估全局庫存KPI 可視銷售訂單KPI 分析排放源管理內部調撥履行KPI 分析生產安監可視及分析生產質量評價生產空間 IOT實時監控IOT 實時軌跡監控供應網絡協同與 KPI 分析庫存可視生產可視及分析完美訂單可視碳排放管理質量管控內物流全局監控供應鏈控制可視駛艙KPI監測分析任務協同處理智能算法輔助決策業務中臺供應鏈監控引擎模擬仿真引擎預警規則中心業務數據標準化供應商管理社區算法服務能力可視化能力(可視套件集成)工業物聯生態波次機器人機械臀氣體檢測設備鍋爐設施傳送帶設施手持設備分揀機系統定位系統沖壓設施電解槽.AS/RS分揀線RF-RFID語音揀選電子標簽系統電子秤門
84、禁系統人行道閘車行道閘溫濕度設備監控設備貨棧設備28針對于制造業供應鏈場景給出如下解決方案,如圖 4-2 所示為供應鏈產品解決方案:關鍵技術供應鏈物流科技產品與解決方案AI 人工智能機器學習大數據分析云計算智能算法區塊鏈.成本,效率,體驗科技供應鏈平臺:供應鏈控制塔|規劃&預測平臺數字化流程化供應鏈規則-產銷協同算法平臺|需求預測|網絡優化|庫存優化|運輸優化|風險提示供應鏈計劃-全程履約供應鏈執行-物流監控倉網規劃商品規劃采購計劃銷售計劃排產計劃庫存計劃入庫計劃物流采購訂單處理配送履約圖 4-2 供應鏈產品解決方案示意圖物聯網 loT5G自動駕駛機器人自動化智慧園區物流運營.供應鏈全鏈供應商
85、工廠 1供應商工廠 2供應商工廠 N供應商倉庫 1品牌方工廠 1RDC 倉庫 1RDC 倉庫 2RDC 倉庫 N前置倉1-N配送站1-N經銷商1-NB 端客戶 1-NC 端客戶 1-N門店1-N服務網點 1-N品牌方工廠 2CDC 中心倉供應商倉庫 2供應商倉庫 N供應效率指標生產效率指標銷售效率指標物流體驗指標29制造業數據治理白皮書根據制造業供應鏈場景的解決方案給出供應鏈控制塔搭建的整體框架,如圖 4-3 所示為供應鏈控制塔搭建整體框架:根據制造業供應鏈場景的整體框架給出供應鏈控制塔搭建技術架構,如圖 4-4 所示為供應鏈控制塔搭建技術架構圖:圖 4-3 供應鏈控制塔搭建整體框架圖 4-4
86、 供應鏈控制塔搭建技術架構圖可視化駕駛艙業務中臺數據源公司級可視化監控業務模型供應鏈監控引擎可視化能力(可視套件集成)SIS 系統MES 系統設備管理系統運輸管控系統抬包車運輸管理系統安全智慧管理系統企業數據中臺視頻服務系統數據接入車間級可視化監控算法模型預警規則中心設備級可視化監控事件模型運輸車 GPS軌跡跟蹤消息模型安全提配與告警管理任務協同公司慨話生產監測環保監測安全監測生產管控實時態勢視頻監控車間態勢生產態勢設備態勢設備狀態視頻監控告警定位設備位置導覽設備可視化設備基礎信息設備實時運行狀態車輛定位和狀態車輛運行軌跡運單教據看板車輛監控設備告警查看告警統計分析告警與視頻監控關聯任務協同平
87、臺層服務層React數據服務RESTFluAPI檢索服務元數據服務計算層傳輸層存儲層HiveSqoopHDFS 分布式存儲/Hbase/S3JaveKafkaSparkFLumeFlinkDataXTEZ數據質量平臺數據圖譜EKSRangerDolphin SchedulerSpring BootSpring CLoud分層管理SPringSecurity30實現的功能:(一)使供應鏈整個環節的業務對象化、規則化、過程化和數字化,確保數據可控可管。通過梳理分析供應鏈的業務流程,落實到數字化平臺建設中去,包括需求管理、生產管理和供應管理,完成供應鏈的全鏈建設,為供應鏈數據治理做準備。(二)打造實
88、時、準確、靈敏的采銷數字平臺,實現采銷聯動。幫助供應商快速熟悉產品,了解客戶需求(PO、預測等),并根據供需關系建立合理的生產和庫存控制策略,提高供應效率,節約成本。(三)實現供應鏈的需求管理,生產管理和供應管理三者協同,幫助企業增值。一個成功的采銷項目,一定是從供應網絡與需求預測匹配開始的。需求管理主要包括產品生命周期管理、訂單與預測管理,因為它需要與銷售、客戶、生產、采購和供應商進行全面協調,這對數據要求是非常敏感的。需求算的再準,沒有供應商及時靈活的交付,就沒有生產的及時完成率,三者缺一不可,互相增強。運用好此供應鏈控制塔,也是提高市場反應能力的正確方法,最終幫助企業提高及時交付率和生產
89、靈活性,減少庫存損失和資金占壓,以銷定產,降本增效,把握商機,為企業創造價值。2.大數據和人工智能引領下的計劃協同良好的數據治理體系和數據治理平臺會幫助讓制造企業創造更大的價值,數據治理離不開大數據和人工智能的先進技術。大數據的發展為人工智能提供了海量的訓練數據,為機器學習和深度學習的突破提供了重要支撐,而人工智能應用的發展又催生出更多數據資源,促進大數據產業進一步發展。制造業企業實現工業數字化轉型離不開大數據與人工智能的引領和有效協同。業務場景:企業戰略管理體系沒有持續和規范運作,不能綁定戰略、業務、資源和部門與個人績效,從而實現上下對齊、左右協同、前后貫通、戰略的延續性差、部分管理層缺乏方
90、向感;缺乏企業架構的頂層設計和管控,流程碎片化、信息孤島化、應用煙囪化,部門協同不暢、數據共享和利用低敏、應用系統操作復雜;缺乏完善的數據管理體系,無法持續提升各類數據質量和保證數據使用的安全合規,支撐數字化轉型差距較大;需求分析:業務方面,缺失完善的指標管理體系,企業管理層無法通過指標準確、實時、全面的了解公司經營狀況,及時做出具有數據支撐的科學決策;信息安全策略不清晰,安全組織不完善,技術防護能力偏弱,安全管控未融入流程,保密文化建設缺失;企業目標需要實現“智能制造”、“智慧園區”和“智能運營中心”三大智能化主題建設及協同。技術方面,企業已建設相應領域 IT應用支撐業務運作,但是主航道核心
91、 IT 系統分散建設,大量工作體外進行,現有系統孤島式存在,數據共享和集成較差;技術架構基本滿足目前業務和信息化管理要求,但對未來支撐業務變革的前瞻性不足。解決方案:在理解客戶發展戰略、商業模式、業務發展態勢的基礎上,為客戶構建數字戰略;基于亞馬遜云科技云架構相關組件,圍繞 3 大智能化主題建設開展 6 大關鍵設計,包含數據資產化、安全體系化、應用服務化、31制造業數據治理白皮書業務智慧化、服務體驗化、人文科技化,幫助企業數據治理快速上云;運用大數據和人工智能協同實現 6 大智能,即智能營銷、智能研發、智能生產、智慧園區、智能管理、智能服務;通過大數據和人工智能等技術手段實現“智能制造”、“智
92、慧園區”和“智能運營中心”三大智能化主題建設及協同運作,不斷為企業創造價值。具體數據治理方案架構如下圖 4-5 企業數據治理頂層架構圖所示:根據此場景的頂層架構設計給出其數據治理框架,如圖 4-6 所示為大數據與人工智能協同下的制造業企業數據治理框架圖:現狀診斷智慧工廠藍圖設計IT 架構設計智能制造頂層設計智慧園區頂層設計信息安全設計實施路徑設計規劃方案建設落地方案設計 業務能力框架梳理(L1-L3)IT 現狀調研與診斷,包括信息安 全 智 能 化 程度、智慧園區便捷度等、IT 基礎設施現狀 詳細落地項目路徑設計(包括時間周期人力資源、金額、里程碑節點、風險、應對措施等)項目技術規格書評審及建
93、議 根據路標進行實施創新業務能力地圖及智能工廠藍圖新一代 IT 架構設計智能制造高階方案設計智慧園區高階方案設計集團/企業安全體系框架設計重點場景風險分析及安全加固設計項目管理項目監理啟動&商務項目總結架構監管圖 4-5 企業數據治理頂層架構圖圖 4-6 大數據與人工智能協同下的制造業企業數據治理框架智能營銷智能研發智能生產智慧園區智能管理智能服務智能制造智慧園區智能運營中心數據展示與應用數據資產應用服務安全體系服務體驗人文科技大數據與人工智能(算法、模型)客戶管理數據萃取公共數據域支持能力基礎數據支持能力渠道管理數據萃取營銷管理數據萃取商品管理數據萃取交易管理數據萃取數據萃取中心數據資產管理
94、數據資產藍圖數據目錄數據運營標準數據治理數據應用標準數據開發數倉架構設計數據引入數據運營數據開發數據提取數據中臺能力支持大數據基礎平臺離線計算能力實時計算能力在線分析能力大數據平臺技術支持能力32根據此場景的數據治理框架給出大數據與人工智能協同下的制造業企業數據治理平臺搭建技術架構,如圖 4-7 所示為制造業企業數據治理平臺搭建技術架構圖:實現的功能:(一)全球布局:通過 IT 技術平臺全球布局,實現就近獲取本地資源。(二)靈活敏捷:通過云上云下結合、數字平臺支撐、數據入湖形成底座,來實現企業系統 微服務化、分層解耦、快速孵化的要求。(三)業務創新:通過自建數據湖的方式實現集團數據采、傳、算、
95、用的能力,打造屬于企 業自主獨特的創新之路。(四)模式變革:將原有的集團總管控的模式,進行業務下沉和分解實現“集團業務”、“BU/工廠業務”等,按需適度管理。(五)計劃協同:通過大數據和人工智能等技術手段實現“智能制造”、“智慧園區”和“智 能運營中心”三大智能化主題建設及協同運作,不斷為企業創值增收。圖 4-7 制造業企業數據治理平臺搭建技術架構應用模型算法模型模型層HiveJavaTEZSparkFlink計算層HDFS 分布式存儲/Hbase/S3存儲層DB 數據處理框架文件處理框架日志處理框架圖片處理框架DMS/Kinesis analystics-Flink采集層MySQLDB2Or
96、acleSQLserverPostgreSQLHBase數據源層.React數據服務檢索服務元數據服務主數據服務數據地圖服務服務層RESTFul API33制造業數據治理白皮書 項目背景:G 企業是一家提供綜合設計、制造、供應鏈和產品管理服務的全球化制造解決方案供應商,在全球擁有 100 家廠區、20 多萬名員工,在電子制造、醫療等多個行業中創造價值。自 2018 年開始,G 企業開始探索數據集中化平臺化治理相關的工作。從基于數據分析工具的創新,到企業全局數據架構的思考,G 企業的數據治理工作取得了良好的業務成效,明確了可預期的未來方向。項目面臨的挑戰:G 公司業務體量較大,現有業務系統覆蓋
97、ERP、產線側生產系統、設備管理系統、質量系統、供應鏈、人力資源等,系統繁雜。歷史的數據應用呈現出性能低下、對業務系統壓力大、數據孤島、開發周期長、工具棧重復建設、缺乏頂層設計等問題。作為一家制造企業,G 公司對成本的把控較嚴,在確認構建數據平臺來賦能數字化轉型的戰略之后,初期數據平臺的概念驗證階段仍然需要嚴格的 ROI 評估,在這一階段對具體業務場景的遴選和方案規劃成為了項目能否順利推進的關鍵。目標場景需要滿足:能較好地反應業務需求,選取對業務幫助大的場景;能驗證數據平臺方案的價值,相比于歷史做法的優勢;能體現跨部門、跨系統的協作;數據平臺能體現較小的初期投資,整體成本基于業務體量呈線性關系
98、。解決方案:從G公司的行業屬性及其自身業務特點出發,按照工業數據湖的理念進行頂層設計規劃。該設計考慮到工業數據湖與上游業務系統及下游數據應用的關系,確保接口和整體架構的靈活度,對于工業數據湖本身的模塊設計則通盤考慮到數據存儲、處理、管理和安全治理的需求,確保整體架構的安全、可靠、性能、易運維性和成本可控等維度均滿足企業需求。從工業數據湖的概念驗證角度,選取了產線側核心應用之一:WIP(Work In Progress)報表場景,采用云原生的工業數據湖架構,對之前的直接查詢 MES 數據庫的方案進行替換。新方案實現了混合數據源的數據集中收集、存儲,采用事件觸發的設計模式實現低成本的數據轉換和 W
99、IP 指標計算,并將結果存入低成本的數據湖存儲層,業務用戶仍五、數據治理案例1.高科技行業數據治理案例34 項目成果及幫客戶達到的收益:1)完成了工業數據湖底座的設計和構建,從戰略到落地2)通過兩個概念驗證項目驗證了工業數據湖對業務的價值,樹立了典型,提升了各業務部門對工業數據湖的理解3)提升了企業數據團隊的業務和技術儲備,確定了數據應用新需求的支持模式通過數據湖的技術棧和流程標準化,降低了企業數據應用的總體擁有成本,提升了數據需求的響應速度,提升了企業對數據的治理水平和數據安全管控,并為將來實現機器學習類場景等更多創新應用打下了堅實基礎。35機器分析OEE制造服務可視化資產供應鏈KPI 看板
100、生產效率經營EHS應用工業物聯網連接數據注入事件處理數據平臺資產模型工業數據湖時序數據數據連接器關系型數據庫異常檢測計算機視覺數據分析可視化看板告警API 和開發者工具人工智能云邊緣計算離線模式本地決策在線升級安全工廠傳統應用MESSAPSCMPLM.圖 5-1 頂層設計架構然沿用熟悉的報表工具對數據進行查詢和報表生成。對比歷史實現,采用工業數據湖架構改造后的 WIP 報表業務將報表實時性從 12 小時提升到了 10 分鐘,消除了數據分析應用對生產系統數據庫的性能壓力、減小停產風險,并通過額外數據源的引入豐富了 WIP 報表對更多工序的展現,使得產線團隊能更準確更實時地了解爬坡期的生產狀況并做
101、出相應的調整,對精益生產做出了貢獻。制造業數據治理白皮書 項目背景:Z 股份有限公司是世界領先的裝備制造商,旗下成員企業超過 200 家,業務覆蓋全球100 多個國家和地區。企業組織架構分:集團,業務板塊,企業三層;在 2020 年,Z 公司希望利用先進的云計算大數據能力構建能夠支撐三層組織形態下的統一大數據湖架構,提升數據應用能力及水平,規范企業數據存儲,開發和消費方式;滿足成員企業對數據自主權限管控的需求,同時提升跨層級跨單位的數據共享及利用能力;降低大數據開發使用成本,提升數據開發效率。項目面臨的挑戰:旗下成員企業眾多且 IT 技術能力不均衡,在技術方案選擇上需要考慮易用性與功能完整性。
102、成員企業 IT 資產復雜,不同板塊,不同企業業務形態多樣,業務系統眾多,架構差異大,加大了數據集成與開發的難度。成員企業希望能夠擁有完全的數據主權,能夠完全控制數據的分享及授權。集團希望能夠了解全員企業的數據資產情況;為成員企業提供大數據湖建設最佳實踐,賦能企業數據開發與應用;整合集團旗下所有數據,打通上下級單位,兄弟單位間的數據共享模式。解決方案:采用亞馬遜云科技云平臺能力設計整體統一數據平臺架構,在此基礎上依據業務板塊及企業的需求建立數據子湖,保證數據隔離與安全。采用無服務器解決方案,利用 Glue,S3和 Redshift 數據倉庫,構建數據湖。AmazonGlue無需運維的 Serve
103、rless 大數據開發工具。利用 Glue connetion 可視化配置,快捷連接企業數據庫;通過爬網程序獲取企業數據庫的數據庫表結構,為數據分析師提供統一的數據模型視圖;自動構建企業數據 catalog,實現企業數據資產集中目錄,可在不同成員企業間,總部與企業間共享數據目錄;可視化編程,快速實現從數據源抽取數據入湖,以及數據 ETL作業;提供作業編排工具,實現任務的有序調度與重試;按作業任務執行時長計費,降低使用成本,降低技術人員入門門檻。AmazonS3 提供海量低成本的存儲空間,用于構建數據湖的核心存儲區域,采用不同的 S3 桶隔離不同階段的數據,設計包括:landing,ODA,co
104、re,PUB,Archive 等數據隔離桶,保留數據加工過程數據版本,提供各階段數據共享與挖掘的能力。2.裝備制造業數據治理案例36AmazonRedshift采用 MPP 架構的云原生數據倉庫 Redshift,為成員企業提供高效低成本的多維數據分析能力,通過SQL語句即可實現大數據量下的業務分析與查詢,Redshift是分布式數倉架構,可以通過擴節點及升級節點類型的形式來提升數據存儲空間及計算能力,可以伴隨客戶數倉的建設及使用時間以最匹配的性能和成本滿足客戶業務需求。AmazonResourceAccessManager各單位通過 Amazon RAM 進行數據目錄,數據資產,網絡資源等共
105、享及控制,實現數據及資源的可控分享。項目成果及幫客戶達到的收益:企業級數據數據湖和數據倉庫(EDW)依托 亞馬遜云科技湖倉一體的天然優勢,快速部署和實施企業級數倉,支持各類大數據應用場景 數據分析能力(BI)數據分析能力有賴于集團、板塊和企業有清晰的指標定義和數據模型設計,依托高效的數倉工具來實現快速 BI 分析 數據深度挖掘(AI/ML)在業務數據模型和企業數倉的基礎上,利用機器學習/人工智能模型對數據進行深度挖掘利用。幫助集團快速部署 AI/ML 能力集團數據中心業務板塊 A業務板塊 B業務板塊 CAmazonTransit GatewayAWS TransitGateway業務板塊 A
106、子湖VPC業務板塊 B 子湖VPC業務板塊 C 子湖VPC業務板塊 D 子湖VPCPRD VPC集團生產數據湖集團非生產數據湖SDWAN集團數據湖DMZ應用SDWAN集團數據湖DMZ應用NONE PRD VPCSD-WAN一體化廣域網安全賬戶MFA token 板塊 C 用戶MFA token 板塊 A 用戶MFA token 板塊 D 用戶MFA token 板塊 B 用戶Assume Role37圖 5-2 數據平臺架構圖制造業數據治理白皮書 數據共享服務集團、板塊和企業可以依托亞馬遜云科技數據平臺建立內部數據共享和流轉機制,也可根據業務需求,對外提供數據輸入和輸出接口等服務 數據資產化
107、亞馬遜云科技數據平臺為集團、板塊和企業提供統一的存儲、清洗、管控,發布數據目錄的服務 項目背景:A 控股股份有限公司成立于 2003 年 1 月,于 2009 年 9 月在香港上市。旗下包含 A1 股份有限公司、A2 股份有限公司兩家 A 股上市公司,共有千余家分子公司?,F已成為中國藥品、醫療保健產品、醫療器械龍頭分銷商和零售商,及領先的供應鏈服務提供商。A 控股自2018 年開始嘗試數據治理工作,從藥品主數據入手,經過三年的時間取得了一定的效果。到目前為止數據治理的工作仍然是局部嘗試,希望用系統性的開展數據治理。項目面臨的挑戰:總部數據治理組織依舊薄弱,總部組織雖然建立但是仍然處于較為基礎的
108、階段,只能完成基礎管理,較為復雜的標準制定、管控流程、切換方案、分析應用等仍然依靠外部機構。主數據進入到攻堅階段面臨最大的器械主數據的挑戰。業務主數據完成后,大量管理主數據清理工作尚未開展,管理主數據的開展與各管理條線間的職能分工尚未確定。元數據標準及落實工作需要開展,元數據的落實涉及到各個業務流程以及歷史數據、考核標準等重要問題。解決方案:基于 A 控股股份有限公司數據治理現狀及主交易流業務 IT 存在的主要問題,進行現狀分析,盤點數據資產,規劃數據管理組織人才,制定未來 A 控股股份公司 3-5 年數據治理工作規劃。具體的數據治理規劃如下圖 5-3 A 控股股份有限公司數據治理規劃示意圖所
109、示:3.醫療行業數據治理案例38圖 5-3 A 控股股份有限公司數據治理規劃示意圖輸入服務內容輸出1.數據管理項目路徑規劃(制定 XX數據治理項目群規劃,對于未來五年的治理變革項目以及其順序及目標制定計劃)1.數據管理規定現診斷2.數據管理組織人力現狀診斷及規劃3.大交易流業務 IT 系統現狀診斷1.數據管理規定規劃(含指標拆解方法)2.指標數據管理試點(2 個指標拆解)3.大交易流業務 IT 系統改進要求(數據角度)培訓賦能現狀診斷治理規劃路徑規劃數據管理現狀診斷報告數據管理規劃報告數據管理路徑規劃報告XX 業務戰略業務 IT 系統現狀軟件包參考業界實踐參考4.零售及快消品行業數據治理案例
110、項目背景:B 企業是全球零售食品服務業龍頭,在中國及港澳市場擁有 2,200 多家餐廳,員工人數超過 100,000 名。作為全球第三大市場,每年該企業在中國服務超過 10 億人次顧客,為他們提供優質的美味與服務。項目面臨的挑戰:該企業的供應鏈主數據目前分布在自身以及上下游合作伙伴的業務系統中,缺乏統一的體系化管理,已經成為了供應鏈效率提升的掣肘。為了能夠解決當前主數據分散管理和維護,缺乏企業級統一視圖的問題,并促進業務間融合,提升各業務應用間的信息共享和集成,啟動了統一主數據管理工作。項目成果及幫客戶達到的收益:1)盤點數據資產,識別痛點問題并提出改進要求。2)規劃數據管理組織人才、數據管理
111、工作制度,通過數據工作開展儲備人才3)聚焦大交易流為核心的現狀問題和改進建議,制定數據治理工作規劃4)基于大交易流數據治理實踐,確保數據入湖前得到管控,A 控股股份有限公司數據中臺 的建設及數據入湖奠定基礎。39制造業數據治理白皮書圖 5-4 B 企業數據治理規劃示意圖支撐數據管控整體框架遵循企業業務脈絡管理支撐管理標準管什么誰來管怎么管組織技術平臺制度流程與評估考核二、設計主數據管理體系一、主數據標準定義三、設計與構建主數據管控平臺或主數據管理模塊商業伙伴組織人員財務物資產品生產.定義涉及部門主數據管理標準業務及管理提升編碼/描述存在問題屬性/信息標準落地 完成對主數據管理標準(編碼、屬性字
112、段、使用頻率、認責和使用情況)的落地管控落地對企業各業務應用的主數據需求和使用進行管理40 解決方案:從該企業供應鏈著手,覆蓋從原材料采購、質量管理到門店銷售所有供應鏈環節,識別所有主數據范疇和問題,統一規劃主數據管理體系。定義主數據標準、流程、管理模式和和組織架構,搭建主數據管理平臺。并完成主數據的標準化清洗。提升主數據質量和管理水平。具體的數據治理規劃示意圖如下圖 5-4 企業數據治理規劃示意圖所示:項目成果及幫客戶達到的收益:1)以供應鏈采購端的主數據為主線,在充分研究企業內部的數據分布和管理情況,結合行 業主數據管理的先進理念和成功案例,進行主數據管理的頂層規劃和設計。2)在此基礎上制定統一的數據規范和標準為驅動,規劃構建出職責清晰、流程規范、模式 合理的管理體系,并完成主數據管理平臺的搭建,從而實現對客戶企業主數據環境的先 理而后治。3)為企業供應鏈的精益化管理和數字化轉型奠定堅實基礎。40致謝致謝致謝編寫指導軟通動力:楊念農 張穎 劉志亞亞馬遜云科技:顧凡 岳巖 周玉林主編人員軟通動力:崔繼仁 孫曉強 王卓 丁寧亞馬遜云科技:周宇 吳迦德 邵士毅 李萌 趙榕 蔡勃協助編輯軟通動力:汪美榮亞馬遜云科技:董小娜