Thoughtworks：2024倡導將數據戰略與企業目標緊密結合研究報告（22頁）.pdf

《Thoughtworks：2024倡導將數據戰略與企業目標緊密結合研究報告（22頁）.pdf》由會員分享，可在線閱讀，更多相關《Thoughtworks：2024倡導將數據戰略與企業目標緊密結合研究報告（22頁）.pdf（22頁珍藏版）》請在三個皮匠報告上搜索。

1、聯合出品數據戰略和數據現代化規劃不符合總體商業戰略，或過于狹隘地專注于人工智能，會導致大量商業價值付諸東流。以戰略目標為導向，實現數據現代化前言“以戰略目標為導向，實現數據現代化”是由 Thoughtworks 贊助出品的麻省理工科技評論洞察報告。為了撰寫本報告，麻省理工科技評論洞察對各個國家/地區各行業的企業高管開展了一次全球性調查。此外，本報告還參考了對數據戰略和數據現代化專家進行的深度訪談。本報告作者是 Denis McCauley，編輯是 Teresa Elsey，制作人是 Nicola Crepaldi。本報告中的研究內容具有編輯獨立性，所表達的觀點僅代表麻省理工科技評論洞察的立場。

2、在此，感謝下列企業高管抽出寶貴時間與我們分享其真知灼見：Heath Bland，?？松梨谏嫌螖祿k公室經理James Morgan，英國皇家財產局首席數據官Conrad Pozsgai，Payback 公司總經理、首席信息官兼首席運營官Danilo Sato，Thoughtworks 數據與人工智能事業部全球技術主管John Spens，Thoughtworks 北美地區數據與人工智能事業部總經理關于此次調查麻省理工科技評論洞察于 2024 年 1 月至 2 月開展此次調查，為編制本報告奠定了基礎。此次調查樣本包括 350 名資深數據和技術主管。受訪者分別任職于美國、英國、德國、新加坡和澳大

3、利亞的企業，樣本涵蓋了以下八個行業：金融服務、能源、醫療保健和生命科學、制造、公共部門、出版和媒體、零售以及旅游和運輸。所有受訪者均就職于年收入 5 億美元或以上的企業，近一半（47%）就職于年收入 100 億美元或以上的企業。2 麻省理工科技評論 洞察3麻省理工科技評論 洞察如今，數據日益成為企業成功的關鍵。一些領先的數字企業能夠及時做出明智決策，為客戶提供量身定制的體驗，并快速發現新機遇，從而脫穎而出。最近，隨著人工智能的關注度突飛猛進，對數據的需求也與日俱增。無論企業希望實現什么目標，如果無法隨時獲得高質量數據，就不可能取得成功。盡管科技在不斷發展，但對于大多數企業而言，獲取企業數據并將

4、其轉化為可用資產仍是一項巨大的挑戰。雖然提高數據質量和實現有效治理等諸多挑戰存在了幾十年，但本報告表明，當今的技術領軍人物正在探索克服這些挑戰的新方法。單靠新技術可能無法解決問題，不過技術型企業可以借助基于云的、現代化的數據和分析解決方案，采用現代化數據工程實踐、打造產品導向型團隊并實施更全面的數據管理方法。本報告的調查結果揭示了為何數據管理者們必須跳出現有系統的范圍，采用各種流程、實踐和思維方式來幫助其企業以可重復、可擴展的方式解決長期存在的數據挑戰。Thoughtworks 擁有豐富的數據現代化經驗，熟悉各種曾引發軟件工程變革的現代工程實踐（例如數據即產品，構建演進式架構，采用 CI/CD

5、 和 DataOps 等實踐，發展團隊和治理結構），深知如何充分利用這些實踐并將其應用于數據標準，從而幫助企業在數據方面做好充分準備，并長期保持這種狀態。有了上述各要素，無論治理要求和數據需求如何變化，企業都始終能快速從數據中獲取大量價值。隨著人工智能的發展，越來越多的企業將數據現代化作為核心要務，因此愈加重要的是確保數據戰略與更廣泛的商業戰略緊密結合，同時確保數據管理者們能夠清晰闡述各種數據和分析技術可以如何幫助企業業務部門實現其目標。這不僅可以保證數據現代化的變革獲得關鍵的支持，還可以讓企業為實現其目標做出更充足的準備，為持續改進、發展和創造價值奠定堅實的基礎。Kalyanasis Ban

6、erjeeThoughtworks 數據與人工智能事業部全球主管引言4 麻省理工科技評論 洞察0101目錄1.執行摘要.52.數據愿景.7 數據戰略的制定.7 數據戰略與業務戰略不一致的問題.83.數據現代化的目標.10 實現數據現代化所面臨的障礙.11 為企業帶來的各種好處.13 不成熟的數據能力.144.質量管理.17 數據質量和時效性改進.18 組織結構和數據團隊.195.結論.215麻省理工科技評論 洞察0101執行摘要數據現代化已明確列入很多企業的議程。我們對 350 名資深數據和技術高管進行了調查，有一半以上的受訪者表示，他們所在的企業在過去兩年中已經實施或正在實施數據現代化項目。

7、此外，有四分之一的企業計劃在未來兩年內實施此類項目。其他研究也一致表明，企業紛紛加大了對數據資產現代化的投資力度。1無獨有偶，隨著人們對提升數據能力的關注度激增，他們對人工智能（特別是生成式人工智能）的興趣也愈發濃厚。實際上，為開發人工智能模型提供支持是本次受訪企業致力于實施數據能力現代化改革的首要原因之一。不過，人工智能并非改革的唯一原因，甚至不是主要原因。本報告旨在闡述企業數據現代化項目的目標，以及相關舉措的實施方式。為此，本報告對各行業的資深數據和技術高管展開了調查。研究發現，許多企業在數據現代化方面進行了大量投資，并取得了實質性進展。然而，在許多企業中，數據戰略與數據現代化目標似乎還遠

8、未達成統一，導致企業的數據和技術團隊與其他部門之間出現脫節。數據和技術高管及其團隊還可以開展更多工作，了解同事們的數據需求，并就如何滿足這些需求積極征求他們的意見。以下是主要研究結果：人工智能并不是企業推進數據現代化的唯一原因。實現更明智的決策是數據現代化的首要目標，近一半（46%）的高管將此列為三大驅動因素之一。支持人工智能模型（40%）和脫碳（38%）也是推進數據現代化的主要驅動因素，此外其他驅動因素還包括增強監管合規性（33%）和提高運營效率（32%）。數據戰略往往與商業戰略脫節。幾乎所有受訪企業都認識到了數據戰略的重要性。僅有22%的企業表示，他們缺乏完善的數據戰略。然而，當被問及他們

9、的數據戰略是否完全契合關鍵商業目標時，只有 39%的企業給出了肯定的回答。數據團隊還可以采取更多措施，讓其他業務部門和職能部門參與戰略討論：42%的受訪企業表示，他們的數據戰略完全由數據或技術團隊制定。數據戰略為數據現代化鋪平道路。在過去兩年中開始進行數據現代化的大多數企業（71%）在此之前早已制定好數據戰略，這可能并非巧合。數據現代化目標的實現離不開業務的支持，實施決策需要戰略指導，以免增加復雜性或重復工作。6 麻省理工科技評論 洞察0202 數據方面的最大痛點是數據質量和時效性。高管們指出，數據不達標（41%）和交付不及時（33%）是其數據運營中最需要改進的方面。數據不完整或不準確會導致企

10、業用戶質疑數據的可信度。這就解釋了為什么在過去兩年中，受訪企業最普遍采取的數據現代化措施是加強數據治理（45%）?？缏毮軋F隊和 DataOps（數據運維）是提高數據質量的關鍵手段。許多企業正在落實現代化數據工程實踐。近一半（48%）的企業授權跨職能數據團隊執行數據質量標準，47%的企業將實施 DataOps 作為重點工作。這些實踐與已經成為軟件工程領域標準的敏捷方法和產品思維不謀而合，但它們在數據領域才剛剛嶄露頭角。合規性和安全性問題往往會阻礙數據現代化進程。合規性和安全性問題是數據現代化面臨的主要障礙，各有 44%的受訪企業提到這兩大問題。能源、公共部門、運輸和金融服務等領域的受訪企業尤其經

11、常提到監管合規性問題。高成本是受訪企業經常提及的另一個障礙（40%），尤其是在受訪的小型企業中。許多企業正在落實現代化數據工程實踐。這些實踐與已經成為軟件工程領域標準的敏捷方法和產品思維不謀而合，并在數據領域展現出價值。7麻省理工科技評論 洞察0202數據愿景在過去十年中，企業紛紛采用人工智能，這也加強了企業對其數據的重視。畢竟，如果沒有足夠的數據，人工智能模型幾乎無法產生價值，而如果數據質量不高，還可能會造成危害。最近，隨著生成式人工智能模型的興起和廣泛應用，企業進一步認識到數據的巨大潛力，特別是他們可能會在其內部數據、非結構化數據或其他被忽視的數據中發現獨特價值。這也揭示了在數據基礎尚不成

12、熟的情況下，抓住這些機會向前邁進所面臨的諸多困難。然而，要讓管理層相信這些數據就是戰略性資產，不應依賴面向企業的人工智能。早在人工智能成為高效商業工具之前，從風險管理到需求預測等許多關鍵的企業運營工作都要仰仗扎實的數據基礎。數據戰略的制定目前，企業普遍認識到了數據的重要性，因此大多數企業都制定了完善的數據戰略。在此次調查中，只有約五分之一（22%）的高管表示他們所在的企業沒有這樣的戰略。然而，這是最近才出現的情況。只有 27%的受訪高管表示，他們所在企業的數據戰略已實施了兩年以上（見圖 1）。在此次調查中，小型企業（年收入在 5 億美元到 99億美元之間）比大型企業（年收入在 100 億美元或

13、以上）更有可能缺乏數據戰略，而且已實施數據戰略兩年以上的可能性要小得多。這是不同規模的企業在應對措施方面出現的多種差異之一。這些差異表明，企業規模和資源在數據戰略和數據現代化方面具有重要影響?！皵祿鹇詰獫M足技術和技能需求，但更應與企業的總體業務目標掛鉤，否則將無法給企業帶來真正的價值?！盌anilo Sato，Thoughtworks 數據與人工智能事業部全球技術主管8 麻省理工科技評論 洞察英國皇家財產局首席數據官 James Morgan 表示：“每個企業都需要數據戰略。愿景固然重要，但如果無法確定如何達到目標，那么有愿景也毫無意義?！盡or-gan 的團隊根據數據戰略制定了一項實施計劃

14、：“我們不可能面面俱到，因為業務重點和需求會發生變化，但必須制定一項戰略實施計劃?！盩houghtworks北美公司數據和人工智能事業部總經理 John Spens 認為，“如果沒有利用數據解決企業問題的統一方法，那么數據團隊將永遠處于被動狀態。大型企業的各個業務部門擁有可觀的預算，如果缺乏戰略，就會導致重復工作和產生不必要的復雜性?！彼€指出：“正因為如此，許多公司發現自己在多個云平臺上運營，但這并不是根據深思熟慮的戰略決定的，而是因為各部門的云方案的供應商不同”數據戰略與業務戰略不一致的問題大多數受訪企業都制定了數據戰略，但相當一部分企業并沒有在企業層面落實完全統一的數據戰略（見圖2）。在

15、 40%的受訪企業中，各業務部門都有自己的數據戰略，但這并不一定意味著缺乏統一性。例如，能源供應商?？松梨谏嫌螖祿k公室經理 Heath Bland表示，“雖然業務線數據戰略可能是在企業、業務能力和業務線/資產層面制定的，但都由中央數據辦公室進行協調。這種方法可以確保不同的戰略相互補充、相輔相成，我們認為這是最大限度發揮數據價值的關鍵?！毕喈斠徊糠郑?9%）的受訪高管表示，他們的數據戰略與業務戰略目標完全一致。然而，對于大多數尚未實現這種一致性的企業，這可能會帶來高昂的代價。Thoughtworks數據與人工智能事業部全球技術主管Danilo Sato 表示，“這種不一致會導致企業無法發揮數

16、據戰略的價值。數據戰略當然應滿足技術和技能需%我們尚未制定完善的數據戰略我們已制定成熟的戰略，并實施了兩年以上時間總計大型企業($bn in revenue)小型企業($bn in revenue)%總計大型企業($bn in revenue)小型企業($bn in revenue)圖 1：大多數企業都已制定數據戰略，但這是最近幾年才出現的情況以下哪項陳述適用于您所在企業的數據戰略？來源：麻省理工科技評論洞察調查，2024 年9麻省理工科技評論 洞察求，但更應與企業的總體商業目標掛鉤，否則將無法實現企業真正需要的價值?！痹斐蛇@種明顯缺乏一致性的一個原因是，數據戰略往往完全由數據團隊或 IT 部

17、門制定，企業其他部門的參與度極低。有 42%的受訪者表示，他們所在的企業正存在這一問題。首席數據官（在某些情況下是首席信息官）或其團隊很有可能負責領導制定企業數據戰略，但他們不應孤立地開展此項工作。Spens 說：“作為首席數據官，你可能需要與其他所有高管坐下來探討，你也是他們的服務提供商，有責任了解他們的需求，并確保你正在制定的戰略符合這些需求?！睔W洲客戶忠誠度共享計劃和營銷平臺 Payback 的常務董事、首席信息官兼首席運營官 Conrad Pozsgai指出，這種協調并非一蹴而就。他表示：“如何協調數據戰略并使其與其他業務職能保持一致，這是一項長期存在的挑戰，需要進行大量的溝通，不斷完

18、善?！蹦壳爸铝τ诎l展人工智能能力的企業還會發現，需要密切協調其數據和人工智能戰略。超過四分之一（28%）的受訪者表示，在他們所在的企業中，數據和人工智能密切相關，不過就這方面而言大型企業（43%）遠遠高于于小型企業（15%）。專家們認為，這種整合會變得越來越普遍。Sato 說：“密切協調十分重要?！彼e了個例子一個示例：有些團隊正在使用基于開源大語言模型的生成式人工智能。他表示：“如果這些模型是使用外部數據訓練的，相關團隊可能會希望通過整合一些自己的數據加以優化。人人都在設法將自己的專業知識與大語言模型相結合，以實現自己的目的。為此，確實需要將數據和人工智能放在一起考慮?！眻D 2：數據戰略尚未

19、達成統一以下哪項陳述適用于您所在企業的數據戰略？來源：麻省理工科技評論洞察調查，2024 年%總計 大型企業（收入不小于億美元）小型企業（收入小于億美元）%我們的數據戰略與業務戰略目標完全一致各業務部門有自己的數據戰略數據戰略完全由數據或技術團隊制定，其他業務部門的參與程度極低我們的數據戰略與人工智能戰略密切相關10 麻省理工科技評論 洞察0303數據現代化的目標在各企業著手實現數據能力現代化的過程中，統一且協調的數據戰略尤為重要。在此次調查中，大多數企業在過去兩年內對其數據資產的多個要素進行了現代化改造（23%），或正在進行現代化改造（31%）。另有 23%的企業計劃在未來兩年內進行現代化改

20、造。大多數已進行現代化改造的企業（71%）實施數據戰略已超過兩年（見圖 3）。數據現代化可能需要進行大量投資。這也就解釋了為什么在此次調查中，那些年收入達到或超過 100 億美元的大型企業比小型企業更有可能已開始進行數據現代化改造（見圖 4）。除了投資之外，還需要具備遠見和耐心才能有所回報。Sato 表示，“盡管多年來進行了大量與數據相關的投資，許多企業直到最近才開始報告這些投資的成功率有所提高?！比欢?，無論是在財務方面還是在其他關鍵指標方面，展示早期回報的能力對于讓數據現代化持續獲得支持至關重要。能夠展示早期成果的數據現代化計劃往往會有助于全面執行計劃。Sato 表示：“雖然對數據現代化的投

21、資通常需要兩到五年的時間才見成效，但企業為實現此目標而采取的方法卻會產生巨大的影圖 3：數據現代化的現狀：所有受訪者以下哪項描述最符合您所在企業目前的數據能力？來源：麻省理工科技評論洞察調查，2024 年%我們在過去兩年中對數據能力的多個要素進行了現代化改造我們目前正在對數據能力的多個要素進行現代化改造我們計劃在未來兩年內對數據能力的多個要素進行現代化改造我們目前正在評估是否有必要對我們的數據能力要素進行現代化改造我們最近未曾對數據能力進行現代化改造，目前也沒有這樣的計劃11麻省理工科技評論 洞察響。我們不希望前期在基礎設施、平臺和數據整合工作上做過多的投入，而是會在數據可用后盡快推動實現相關

22、用例，我們相信小步增量式交付方法能盡早展示回報。雖然規模較小，但早期的成功可以增強對現代化戰略的信心，并贏得內部的支持，有助于推動長期規劃的落實?！睂崿F數據現代化所面臨的障礙高成本是數據現代化面臨的主要障礙之一：有 40%的受訪者是這樣認為的。不出意料，這對此次受訪的小型企業（46%）來說似乎是一個更沉重的負擔。但也有三分之一的大型企業同樣表示成本是他們考慮的一個因素（見圖 5）。然而，受訪者提及次數最多的數據現代化障礙是監管合規性和安全性問題（兩個方面均有 44%的受訪者提及）。在金融服務和醫療保健等監管嚴格的行業，可能會出于合規性方面的考量而禁止統一存放特定的數據，或對數據存儲在公共云中有

23、所限制。對于能源、公共部門、運輸和金融服務行業的企業來說，監管是數據現代化進程面臨的尤其重大的一個障礙。安全性問題也會阻礙部分數據現代化工作。在調查中，公共部門的受訪者以及金融和零售行業的受訪者都特別強調了此類問題，而這些行業都是網絡犯罪分子竊取重要個人信息和銀行信息的常見目標?！拔覀兿嘈判∏衅隽渴浇桓斗椒鼙M早展示回報。雖然規模較小，但早期的成功可以增強對數據現代化戰略的信心，并贏得內部的支持，有助于推動長期規劃的落實?！盌anilo Sato，Thoughtworks 數據與人工智能事業部全球技術主管圖 4：數據現代化的現狀：按企業規模和行業劃分以下哪項描述最符合您所在企業目前的數據能力

24、？來源：麻省理工科技評論洞察調查，2024 年%大型企業小型企業醫療保健與生命科學金融服務公共部門零售制造能源旅游與交通出版與媒體我們目前正在對數據能力的多個要素進行現代化改造我們在過去兩年中對數據能力的多個要素進行了現代化改造12 麻省理工科技評論 洞察關于云成本在討論數據現代化的成本時，云是一個備受關注的焦點。企業高管們可能會擔心，人工智能所需的數據量不斷擴大，再加上云隨用隨付的易擴展性，會導致成本失控。但與云所取代的基礎設施相比，云的成本的透明度能讓人們對云服務價格一目了然。隨著數據現代化工作的推進，數據的使用率提高，效率低下的問題可能會日益嚴峻。Thoughtworks 數據與人工智能

25、事業部全球技術主管 Danilo Sato 表示：“無論何種規模的企業，其云服務成本都在攀升。例如，擴大員工對數據的訪問權限是數據民主化的關鍵推動因素，提升了云的使用率，進而迅速暴露出長時間查詢或低性能代碼的成本。因此，采用成熟的數據設計現代化方法和編寫高性能代碼，可以帶來以前無法實現的成本效率?！背肆己玫臄祿こ虒嵺`外，若要利用云的財務優勢，可能還需以更專業的方式研究其成本。FinOps 是“Finance”（財務）和“DevOps”（開發運營）的合成詞，指的是使財務專家和 IT專家協作管理數據、人工智能和云成本的一套新型實踐。FinOps 方法有助于企業確信其云成本可監控、可預測并符合企

26、業的總體戰略，目標是最大限度地提高企業的云投資回報，而不僅僅是削減成本。圖 5：是什么阻礙了數據現代化？以下哪些項是您所在企業在實現數據能力現代化方面面臨的主要障礙？（排名前三的回答）來源：麻省理工科技評論洞察調查，2024 年監管合規性問題安全性問題數據現代化的成本%所有企業大型企業小型企業能源金融服務醫療保健與生命科學制造公共部門出版與媒體零售旅游與交通13麻省理工科技評論 洞察為企業帶來的各種好處企業希望通過數據現代化實現什么目標？排名第一的回答是提高整個企業的決策能力。近一半（46%）的受訪高管提到了這一點（見圖 6）。這是英國皇家財產局數據現代化工作的核心目標。Morgan 表示：“

27、我們需要做出正確的決策，為了國家的利益優化利用我們所有的資產，無論是倫敦的地塊還是房產。這不僅要追求最大經濟產出，還要兼顧社會、環境和價值創造效益?！笔茉L者提到的第二大數據現代化目標是支持人工智能用例的開發（40%）。在這方面，云可能是一個重要的戰略選擇，它可以提供硬件和基礎設施，以“隨用隨付”的方式進行人工智能模型訓練。Pozsgai 說：“支持人工智能模型無疑是推動我們實現數據現代化的一大動力，也是我們上云的部分原因，因為在本地運行模型的成本太高，此外我們還需要云供應商的技術和其他能力?！边@一點因企業規模不同而有很大差異：受訪企業中，大型企業將支持人工智能作為數據現代化目標的可能性是小型企

28、業的兩倍半（分別為 58%和 23%）?！拔覀冃枰龀稣_的決策，為了國家的利益優化利用我們所有的資產。這不僅要追求最大經濟產出，還要兼顧社會、環境和價值創造效益?！盝ames Morgan，英國皇家財產局首席數據官圖 6：數據現代化的主要目標您所在企業實現數據能力現代化的主要動機是什么？（排名前三的回答）來源：麻省理工科技評論洞察調查，2024 年提高整個企業的決策能力支持人工智能用例支持脫碳和減少環境足跡%所有企業大型企業小型企業能源金融服務醫療保健與生命科學制造公共部門出版與媒體零售旅游與交通14 麻省理工科技評論 洞察排名第三的數據現代化驅動因素（38%）是支持脫碳和減少企業的環境足跡

29、。對于那些在過去兩年中已進行數據現代化的企業來說，支持人工智能（70%）和支持脫碳（60%）是他們目前為止的主要動機。其他重要的數據現代化驅動因素包括提高監管合規性（33%）和運營效率（32%）。不成熟的數據能力隨著數據現代化工作的推進，高管們應清晰認識到其現有數據能力的薄弱環節，特別是那些可能危及既定數據現代化目標的實現的環節。此次調查羅列了許多潛在的薄弱環節，其中幾項引起了高管們的高度重視，包括數據團隊的人才和技能缺口、數據戰略（如上所述，這可能是指現有戰略不成熟或戰略缺失）以及企業數據架構的現狀（見圖 7）。Payback 公司在業務方面取得了成功，主要原因是他們為德國及其他 10 個國

30、家/地區的零售客戶設計了有效的忠誠度計劃和多渠道營銷活動。由Conrad Pozsgai 帶領的公司技術和數據團隊責任重大，需以越來越快的速度實現新的計劃功能和新的營銷活動。Pozsgai 表示：“作為一家技術型企業，我們的主要目標是加快向市場推出新功能。當然，如果我們的速度更快，還可以降低開發成本?！睘榱诉_到理想的速度，Payback 公司對其數據資產進行了大規模的數據現代化改造，包括改用現代化數據工程實踐。Pozsgai表示：“我們的數據基礎設施和流程正在經歷巨變。這是向 產品交付企業轉型的必經之路?！背瞬捎眯碌哪K化數據架構外，數據現代化還涉及巨大的結構變化。Pozsgai 解釋說，數

31、據型企業正在從集中式結構過渡到領域驅動型結構：“這就是我們的業務領域，因此我們正逐步將數據團隊轉移到相同的領域。他們將為某一產品或產品集群開展跨職能工作，這對我們所有的數據人員來說都是一個重大變化?！蓖ㄟ^領域驅動型結構，數據團隊獲得半獨立工作的自主權。Pozsgai 強調這些團隊必須能夠獨立開發數據產品，但這并不能一蹴而就。他說：“目前，我們所有的團隊都在全力應對變革，離不開總部的支持。不過，隨著時間的推移，這些團隊會變得越來越獨立?！睌祿治龊推渌麛祿ぷ鞑荒茉傧襁^去那樣進行。Pozsgai 表示：“事務和通信都具有實時性，越來越多的數據分析工作需即時完成。因此，像其他技術領域一樣，我們需將

32、數據納入整個交付流程中?！盤ayback 公司：利用數據加速發展“我們的數據基礎設施和流程正在經歷巨變，這是向 產品交付企業轉型的必經之路?！盋onrad Pozsgai，Payback 公司總經理、首席信息官兼首席運營官15麻省理工科技評論 洞察然而，受訪者最關注的是數據質量（41%）和數據時效性（33%）。有 53%小型企業受訪者認為數據質量是首要薄弱環節。正如下文所述，高管們認為加強數據治理是解決此類數據質量和數據時效性問題的關鍵。圖 7：企業數據能力的薄弱環節您所在企業數據能力中的哪些要素目前對實現數據現代化目標的支持最不力？（排名前三的回答）來源：麻省理工科技評論洞察調查，2024

33、年%數據質量數據時效性管理數據的人才/技能數據戰略數據架構數據治理小型企業總計大型企業16 麻省理工科技評論 洞察作為全球收入排名第八的公司，?？松梨谛鑼ζ渖舷掠问?、天然氣和石化業務及資產中生成的海量數據進行處理和分析。要對如此龐大且復雜的數據資產進行現代化改造，絕非易事。?？松梨谏嫌螖祿k公室經理 Heath Bland 表示，該公司在實現數據現代化的過程中遇到了若干挑戰，其中有兩個尤為棘手。其一是供應商解決方案受限。他說：“盡管有云產品，但我們行業的企業可用解決方案的選擇范圍仍然很窄。由于客源有限而且行業具有獨特性，我們的市場無法吸引新的參與者來開發解決方案?！盉land 指出，另一

34、個棘手挑戰是公司數據文化的現狀，“這一點，再加上各單位對技術挑戰的認識不足，協調工作不到位，而且（數據現代化）缺乏直接、可見的業務價值影響，導致資金不足，資源有限，無法實現數據分析”。不過，Bland 還表示，?？松梨谝呀涢_始看到數據現代化帶來的切實回報。他列舉了五大回報：部署自助服務分析功能：“我們已經授權用戶獨立訪問和分析數據，實現了人工智能模型 訓練”。確保企業數據公平合理：“這意味著要提高我們數據的可查找性、可訪問性、互操作性和可重用性”。減少“孤島化”的影響：“我們已經能夠縱觀全局、跨孤島進行數據融合，從而獲得新的 洞見?！奔訌娦袠I數據共享：“我們采用了 OSDU 數據標準2和數據

35、平臺，實現行業級數據整合?！睂嵤┬袠I數據標準：“借此我們能夠實現業務數字流程的轉型和數據現代化，并通過一致性降低數據成本”。Bland 表示：“我們已經開始看到其中一些好處，但還有些好處需要更多的時間才會表現出來。已取得的進展歸功于公司向 數據即產品 思維方式的轉變，以及數據治理的日臻成熟?！卑？松梨冢簲祿F代化的效益與痛點0404“各單位對技術挑戰的認識不足，協調工作不到位，而且（數據現代化）缺乏直接、可見的業務價值影響，導致資金不足，資源受限，無法實現數據分析?！盚eath Bland，?？松梨谏嫌螖祿k公室經理17麻省理工科技評論 洞察0404數據質量治理Morgan 表示：“保障數

36、據質量是我們最大的痛點?！庇始邑敭a局采集的數據類型多樣，格式各異，如何確保數據統一存儲并準確對其進行估量和利用，是一項長期存在的挑戰。如果因數據缺失、數據重復（數據孤島會導致這個問題）、手動數據錄入錯誤或其他因素造成數據質量不達標，那么用戶就會質疑數據的可信度。Sato 補充表示，時效性也是一個相關因素。他指出：“如果企業用戶無法在需要時訪問數據，就會降低數據質量?！盤ozsgai 以 Payback 公司的運營情況舉例：“我們開展了很多實時營銷活動?？蛻粼诰€下或線上的行為往往會實時觸發我們的推送信息。我們必須掌握客戶行為的相關數據，以便立即采取行動?！盉land 表示，提高時效性對石油和

37、天然氣行業而言至關重要。他解釋說：“實時或近實時的數據訪問可提高運營數據和地下數據的價值。隨著我們在高級分析和人工智能方面取得進展，數據時效性的重要性將與日俱增，并為業務流程轉型創造新機遇。我們已看到在提高網絡容量和速度、數字孿生、數據平臺、數據采集和流程自動化等方面取得的進步?！碧岣邤祿|量和踐行維護確保數據完整性的數據實踐，也是良好的數據治理的一大功效。這或許可以解釋為什么正在進行數據現代化的企業會優先考慮改善治理。當被問及過去兩年為實現數據能力現代化而采取的措施（見圖 8），受訪者最普遍提到的是升級治理模式（45%）?！半S著我們在高級分析和人工智能方面取得進展，數據時效性的重要性將與日俱

38、增，并為業務流程轉型創造新 機遇?！盚eath Bland，?？松梨谏嫌螖祿k公室經理18 麻省理工科技評論 洞察自動化數據治理即利用軟件實現治理策略的自動化，是一種新興技術。Sato 說：“一種現代的實現數據治理的方式是自動化地在平臺內支持數據治理。通過自動化，企業可執行或監控其商定的策略（如數據安全、數據質量、訪問控制和數據隱私），并將數據治理從流程繁瑣的方法轉變為賦能方法?！逼浯巫畛Ｒ姷臄祿F代化措施是采用全新的數據架構，有 36%的受訪者落實了此項措施。對于理想的數據架構模式，不同的企業有不同的看法。有些企業傾向于采用領域驅動型方法，賦予跨職能數據團隊高度自主權。Payback 公司

39、數據現代化計劃的一大特點就是向這種模式轉變。另一些企業則通過集中式平臺和數據庫，提高架構統一性。還有一些企業則試圖將這兩種方式合二為一，采用一種將集中與分散相結合的混合方法。不過，就治理模式而言，企業在很大程度上達成了共識。為了確保數據質量達到最高水平，整個企業需確立一個總體治理框架。隨著Payback公司向領域特定結構轉型，Pozsgai 認為保持集中數據治理模式顯得尤為重要。他說：“當然，領域負責人應為其團隊監控數據質量，但不同領域和團隊之間存在很多依賴關系，需要確立一個總體治理框架?！睌祿|量和時效性改進為了提高數據質量和時效性，受訪企業還采取了更具體的措施（見圖 9）。為此，近一半（4

40、7%）的企業優先考慮實施 DataOps。DataOps 方法的核心原則是自動執行數據質量管理，其中包括測試、監控和異常檢測。DataOps 還強調數據團隊的跨職能協作。另外，有 48%的受訪者表示，他們的企業都授權了數據團隊執行數據質量標準。圖 8：數據現代化措施的時限您所在組織何時采取以下措施實現數據能力現代化？來源：麻省理工科技評論洞察調查，2024 年%已在過去兩年中實施未來-年內實施未來個月內實施不打算實施、不確定或不適用未來-個月內實施加強數據治理采用全新的數據架構擴大云數據服務的使用范圍實現數據存儲和管理去中心化修改數據組織結構重新設計數據流程、整合數據庫19麻省理工科技評論 洞

41、察Spens 認為，監管是提高數據質量的另一個重要因素：“當然，企業必須在相關技術措施上投資，以解決數據質量問題。然而，高層的積極監管同樣重要，業務主管們必須非常關注數據質量?！苯M織結構和數據團隊上述這一切都凸顯了組織和結構變革對數據現代化的重要性。Sato 表示：“諸多數據現代化實踐都關乎重新思考數據團隊在企業中的位置及其構成?！笔茉L者非常重視跨職能團隊，且此類團隊應成為各組織結構必不可少的一部分。他提到：“各項目的推進都離不開跨職能團隊。如果將領域專家、數據科學家和工程師以及分析師集中在同一團隊，就能減少交接延誤，優化流程。這些團隊就會更快地實現價值?！盡organ 指出，在數據團隊中，技

42、能等方面的多樣性十分重要，對于團隊中的數據專家更是如此。他說：“團隊中有些人擅長編碼，但可能不太了解業務背景，那么就需要擅長溝通的人與他們合作。這些人不僅對技術有所了解，還能清晰講述業務成果和價值?！眻D 9：提高數據質量和時效性在提高各業務部門所用數據的質量和時效性方面，您所在企業的首要任務是什么？來源：麻省理工科技評論洞察調查，2024 年%授權跨職能數據質量團隊執行質量標準%實施DataOps%改善數據驗證流程%在整個企業內開展有關數據質量和標準的培訓%重新制定數據質量標準%實現數據質量管理自動化什么是 DataOps？DataOps 之于數據如同 DevOps 之于軟件，兩者都是基于敏捷

43、方法的理念和原則（而非具體技術），強調自動化和持續改進。DevOps 的主要目標是以更快的速度交付更好的軟件。DataOps的主要目標則是提高數據質量，為業務最終用戶提供更好的洞見，同時降低數據管理成本。DataOps 方法旨在優化數據團隊的設計、構建和交付工作，助力加快創建可擴展且靈活可靠的數據產品和架構。采用DataOps方法的團隊通常會通過自動測試和部署實現持續交付，從而專注于推動反饋和改進的快速循環。實施 DataOps 還需要進行文化變革，打破數據孤島，促進各團隊和職能部門之間的協作，確保數據為業務帶來價值。20 麻省理工科技評論 洞察受訪企業似乎傾向于將結構變革推遲到數據現代化進程

44、的后期。雖然許多企業在過去兩年中升級了數據治理并采用了新架構，但只有 15%的受訪者表示他們的企業在這個過程中解決了組織結構問題。大多數受訪者（59%）表示，這將是他們明年的工作重點，而22%的受訪者預計至少要一年后才能解決此類變革問題。數據資產的現代化是一項艱巨的任務，高管們可能會認為過快引入過多變革并非明智之舉。改變人員角色和報告結構是最艱難的變革，要克服那些必然會出現的阻力，就可能需要企業的數據和技術高管給予極大的關注。James Morgan 及其數據專業團隊肩負著一項特殊使命：他們需要通過英國皇家財產局的自然資產和建筑資產所產生的數據創造價值，提高效率并優化決策。這些資產種類繁多，包

45、括農田、沿海環境、海底，以及倫敦和其他城市的商業建筑和住宅，不一而足。Morgan 的團隊負責管理數據，這些數據涉及海底測繪和建模、農田碳排放、住宅所用材料、商用地產的人流量和營業額以及其他眾多類別的數據。Morgan 表示，該企業的數據系統必須支持關于這些資產的分析、報告、數據科學和決策工作。為了更高效地管理數據并從中獲取更多價值，該企業正在對其整個數據資產進行現代化改造。這項工作的重點之一是采集數據的業務運營系統。Morgan說：“我們一直在識別目前已采用的哪些人工操作屬于權宜之計。我們正致力于確保我們的系統能夠獲取高效運營所需的一切信息?！彼忉屨f，這些運營系統是他的團隊開展相關數據工作

46、的基石，例如分析、報告或數據科學工作?！翱偠灾?，我們關注數據創建和數據變更，需要確保所有架構和系統以及與之相關的業務流程都正確無誤，并建立適當的數據管理和治理機制?！盡organ 補充說：“我們目前就在對數據和分析系統進行現代化改造，包括將其部署到云環境中。我們正在云端建立一個數據生態系統，并在該系統上構建一個數據湖和結構化環境。這是一項艱巨的任務，需將許多傳統的孤島式系統整合到現代云數據架構中。Morgan 采取一種混合組織模式來管理現代化數據資產。他說：“對于我們這樣的企業來說，需構建一個中央環境，在這個環境中維護適當的治理、保護和控制，并且聚集環境管理專家?！辈贿^，這并不意味著所有的數

47、據都需要關聯到一個通用模型中。Morgan還表示：“我們希望在整個企業內實現數據民主化，將數據交到同事手中，為他們的日常工作和決策提供支持。例如，在許多情況下，我們的海洋環境數據并不需要與我們的倫敦地產資產相關聯。將兩者相關聯并不會帶來任何好處，我們為什么要這樣做呢？”有時，集中整合數據的成本和時間遠遠大于收益。英國皇家財產局：攻克數據復雜性難題“當然，企業必須投資采取相關技術措施，以解決數據質量問題。然而，高層的積極監管同樣重要?！盝ohn Spens，Thoughtworks 北美地區數據與 人工智能事業部總經理050521麻省理工科技評論 洞察0505結論有些企業正在進行或計劃進行數據資

48、產現代化，而本研究報告為這些企業的數據和技術主管提供值得了借鑒的豐富經驗，其中最重要的經驗原則如下：正確看待人工智能目標。雖然人工智能有望為企業增值，但其他現代化目標也要兼顧。更快、更安全地提供更高質量的數據，這不僅能滿足人工智能模型的需求，還能滿足許多其他關鍵業務系統以及其他新興技術的需求。數據現代化的全面業務案例遠不止人工 智能。數據高管必須展示數據現代化的業務價值。全面的數據戰略需與業務戰略完全協調一致，而孤立地制定數據戰略和現代化方法勢必會導致精力和資源的浪費。資深數據和技術高管有責任了解如何利用數據幫助業務部門實現其目標，并有針對性地開展工作。此外，他們還必須就數據現代化的好處與負責

49、數據投資審批和支持工作的相關業務高進行溝通。軟件工程實踐逐漸引入到數據工程領域。如今，跨職能數據團隊、DataOps 實踐、基于云的解決方案紛紛涌現，而且數據即產品的理念備受關注，這些都呼應了過去二十年來已成為軟件工程標準的敏捷實踐。在試圖加快數據價值交付的過程中，企業發現采用現代化數據工程實踐可以解決數據質量和可用性方面的挑戰。數據現代化可能要求針對企業的組織結構和數據架構進行復雜的變革。許多企業傾向于將這些變革推遲到項目的后期階段以減少項目早期的未知性。然而，現代化舉措可通過展示早期價值來獲得動力，這意味著高管們可以從敏捷思維中獲益，及早行動，做好轉型的準備。22 麻省理工科技評論 洞察關

50、于麻省理工科技評論洞察麻省理工科技評論洞察是麻省理工科技評論的定制出版部門，后者是全球歷史最悠久的科技類雜志，由全球著名科技機構提供支持，針對當今前沿科技和商業挑戰開展實時活動和研究。麻省理工科技評論洞察在美國和國外開展定性和定量研究與分析，并出版各種內容，包括文章、報告、信息圖表、視頻和播客。隨著麻省理工科技評論全球洞察專家組的不斷壯大，我們可以廣泛接觸到全球各地的高管、創新者和企業家，對他們進行調查和深度采訪。盡管麻省理工科技評論洞察已盡力核實這些信息的準確性，但對于任何人依賴本報告或本報告中的任何信息、意見或結論的行為，本報告概不負責。Copyright MIT Technology Review Insights 版權所有，2024 年。保留所有權利。關于 ThoughtworksThoughtworks 是一家集戰略、設計和工程服務于一體的全球技術咨詢公司，致力于推動數字創新。我們在 19 個國家設有 48 個辦事處，擁有超過 10,500 名員工。在過去 30 年的時間中，我們以技術作為競爭優勢，幫助客戶解決復雜的業務問題，為客戶帶來非凡體驗。插圖插圖由 Tim Huxford 提供，素材來自 Shutterstock。腳注1.例如，請參見2024 年人工智能商業預測，普華永道，https:/ 年 2 月 7 日，https:/