《中國商業聯合會:2022年數據分析行業服務參考文件終(55頁).pdf》由會員分享,可在線閱讀,更多相關《中國商業聯合會:2022年數據分析行業服務參考文件終(55頁).pdf(55頁珍藏版)》請在三個皮匠報告上搜索。
1、 數據分析行業服務參考文件 數據分析行業服務參考文件 編寫單位:中國商業聯合會 中國商業聯合會數據分析專業委員會 二零二二年三月 數據分析行業服務參考文件 1 數據分析行業服務參考文件 專家指導組:鄒東生 王芳 李妹 呂雪芬 胡明 范煜 高松 胡旭 許建真 陳虹堅 主編單位:中國商業聯合會 中國商業聯合會數據分析專業委員會 編制小組(排名不分先后):湖南翰林數據分析師事務所 北京中輝智誠數據分析師事務所 海南智企數據分析師事務所 山東智谷數據分析師事務所 中易數安(北京)項目數據分析師事務所 上海榮增信息科技有限公司 北京派可數據科技有限公司 西安九天數智信息科技有限公司 日照山川電子信息技術
2、有限公司 山東邦維信息科技有限公司 萬澤時代(北京)科技有限公司 青島云起數智信息科技有限公司 太原市人工智能行業協會 北京北詢信息咨詢服務有限公司 北京鼎盛恒信項目數據分析師事務所 上海天元項目數據分析師事務所 帆軟軟件有限公司 北京家校幫科技有限公司 北京小陽科技有限公司 北京永洪商智科技有限公司 貴州佰仕佳科技集團股份有限公司 深圳視界信息技術有限公司 四川巴斯數據科技有限公司 廣東壹公里數智科技有限公司 數據分析行業服務參考文件 2 目 錄 一、序 言.1 二、服務參考文件概述.3 三、數據分析與數據分析標準化流程 5 四、數據分析專業術語及定義規范.14 五、數據服務共性參考.20
3、六、項目運營管理標準.34 七、數據分析行業規范.41 八、違規事項及反饋機制.44 附 錄:.45 數據分析行業服務參考文件 1 一、序 言 隨著數據要素市場在逆勢中釋放出經濟增長新動能,大數據也迎來了重大發展契機,當前數據作為新型生產要素,已成為信息時代國家重要戰略資源。近年來,我國大數據從無到有、從有到優,大數據應用加速向各行各業滲透,市場主體愈發重視數據這一重要企業資產和資源所蘊含的巨大商業價值。同時大數據與各行業融合發展,助推數字化經濟轉型,實現企業級數據智能驅動業務,成為驅動發展的強大引擎。在大數據應用價值不斷凸顯的今天,數據分析師事務所作為一個全新的第三方服務行業,已經遍布在全國
4、各省市,正在踐行以“大數據思維”助力政務數字化發展、企業數字化轉型,圍繞數據的深度分析、業務場景構建、深層次的咨詢等,以大數據思維幫助企、事業單位實現數字化轉型并提供行之有效的戰略決策。為了倡導數據分析師事務所及大數據領域數據分析行業相關企業單位的合規經營管理,提升其競爭力和可持續發展能力,監督行業自律,維護行業正當競爭,加強對數據分析從業行為的監督和指導,促進中國數據分析行業健康發展,中國商業聯合會數據分析專業委員會組織大數據領域的專家及業務突出的企業單位,通過對數據分析服務內容的研究與探討制定完成本 數據分析行業服務參考文件。標準化工作自2020年底面向社會廣泛邀約,受到眾多企業與個人的積
5、極響應與申請,通過對申請參與單位及個人審核資質,2021年年初正式組建標準化制定小組,第一批入選企業近30家、入選專家近10人。標準化制定工作流程首先從征集調研本次標準化研究方向開始,根據征集意見匯總確定總框架,由標準化制定小組成員分組研討、通過市場調研提交內容,再由專家組老師根據相關材料及調研資料組織討論、修改,最終編制成文,于2021年9月正式形成數據分析行業服務參考文件(征求意見稿)之后,并進行第二輪面向社會廣泛征求意見。在第二輪征求意見中收到大量參與行業標準化工作的企業和個人申請,并收到幾十條反饋意見,在內容的嚴謹性、規范性以及從業范圍維度方面都給出了非常有效的意見建議。專家組老師根據
6、征求意見,收集相關資料再次進行調整和修改,最終完成數據分析行業參考文件。數據分析行業服務參考文件 2 數據分析行業參考文件 對行業內機構的成長與經營有不同階段的路徑指導與支撐,同時呼吁社會各界共同關注數據分析行業發展,加強對數據分析業務的重視,共同合規經營、共同助力企業數字化轉型。數據分析行業服務參考文件 3 二、服務參考文件概述 1.編制背景 自2015年,黨的十八屆五中全會公報提出要實施“國家大數據戰略”,這是大數據第一次寫入黨的全會決議,標志著大數據戰略正式上升為國家戰略。五中全會,開啟了大數據建設的新篇章。2015年至2021年,我國陸續發布大數據相關政策文件,持續加強大數據、數字經濟
7、國家戰略部署。2021年,在建黨百年之際,隨著中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要全文正式發布,數字化轉型也再次迎來熱議。其實在信息技術和數字經濟的發展下,數字化轉型一直是企業的關鍵命題,熱度不減。中國商業聯合會數據分析專業委員會成立于 2008年4月,是經國務院國有資產監督管理委員會審核同意、中華人民共和國民政部正式批準和登記的中國數據分析行業協會,是以數據分析師及數據分析師事務所等從事與數據分析業務相關的團體與個人自愿組成的全國性數據分析行業組織,是中國較早堅持發展專業型協會、靠專業引領市場的行業組織。本次數據分析行業服務參考文件由中國商業聯合會數據分析
8、專業委員會組織編寫。目前我國擁有海量的數據資源,需要有相應豐富的落地應用場景,隨著國家政策的日漸完善以及扶持力度的不斷增強,我國大數據產業不斷發展和進步。同時企業面臨的數字化轉型是一個循序漸進的過程,是企業發展的必經之路。然而,隨著我國大數據應用的進一步深入,企業數字化發展的痛點問題相繼暴露:認知偏差,缺乏大數據思維;數據孤島嚴重,缺乏數據管理機制和保障;在提供企業數字化轉型服務時,體系和框架流程不夠明確、業務范圍和服務模式模糊、服務收費差異大面對當前發展的瓶頸問題,不僅需要從行業機制的角度尋求突破,也亟需從市場化維度持續加強支撐。本參考文件梳理了數據分析行業業務相關定義規范、數據分析體系和標
9、準化分析流程,對數據分析業務范圍的研究及通過市場調研相關收費參考、服務模式、項目運營管理和項目交付標準,以及售后服務等內容均做出了說明。并對數據分析行業相關企業和個人從業規范提出了意見。呼吁社會各界共同關注數據分析行業發展,加強對數據分析業務的重視,共同助力企業數字化轉型。數據分析行業服務參考文件 4 2.服務參考文件實行期 本服務參考文件自2022年1月1日正式實行,根據實施情況,不定期進行修訂。3.制定總體依據 本服務參考文件總體依據有:中國數據分析行業自律公約、中國大數據人才培養體系標準、企業經營決策數據分析服務內容及費用組成指導性文件、數據分析師事務所從業規范、數據分析師從業規范等相關
10、文件,以及對眾多家優質大數據公司、數據分析師事務所進行調研,最終擬定本服務參考文件。4.適用范圍 本服務參考文件主要適用范圍:數據分析行業從事專業數據分析的機構 數據分析師事務所,以及大數據領域相關企業單位。5.編制總原則 本服務參考文件編制總原則為滿足數據分析師事務所及大數據領域相關企業單位的業務需求,促進數據分析行業公平、有序、健康發展。本服務參考文件統一了數據分析體系與分析方法、流程;規范了數據分析專業術語和定義;規范了數據分析行業業務范圍;通過市場調研相關收費方式提供參考;對服務模式、項目運營管理、項目交付標準及售后服務規范進行了統一說明;同時對數據分析行業相關企業單位從業及數據分析師
11、從業進行規范,并且對違規事項及反饋機制進行說明。數據分析行業服務參考文件 5 三、數據分析與數據分析標準化流程 為了進一步規范數據分析流程,該部分首先對數據分析和數據分析師兩個概念進行闡述,然后引出行業數據分析標準化流程。1.數據分析 1.1.數據分析 數據分析是指基于業務目標,采用適當的分析方法和工具對收集到的數據進行處理和分析,并從中提取有價值的信息并對應用場景進行支撐的過程。在大數據時代,很多企業收集到實時的、大量的、種類豐富的數據,而這些數據通過匯總、預處理、構建模型、結果呈現等過程幫助企業發現并解決問題,并提供高效的決策依據,這些也屬于數據分析的范疇。1.2.數據分析師 隨著移動互聯
12、網、大數據和云計算等高新技術的迅速發展,企業獲取數據的邊界在不斷擴大,質量也取得大幅度提高。如何管理和應用這些數據幫助企業提高效率,降低運營成本成為企業的熱門需求,所以,數據分析師崗位的需求逐年遞增。數據分析師是指在不同行業中,專門從事定義和發現問題,收集、整理和分析數據,并根據數據結果提出有價值的決策信息的專業人員?!白寯祿撛靸r值”是對數據分析師崗位最好的闡述。企業對數據分析師的角色定位至關重要。優秀的數據分析師不僅是業務專家,同時也是技術專家,在企業充當業務和技術之間的橋梁,為企業的決策方案提供支持,一方面是對分析層面的支持,另一方面,還能夠為方案的具體實施提供保障措施。所以,對任何企業
13、來說,數據分析師崗位的重要性異常突出。數據分析師無論解決何種問題,數據分析思維和流程都是基礎,只有打好基礎,后續工作才能順利開展。數據分析行業服務參考文件 6 2.數據分析標準化流程 為了保證數據分析流程在整個行業的標準化,該體系的撰寫專家廣泛查閱了各類相關材料,并綜合了目前數據分析相關的通用步驟,將數據分析流程劃分為業務理解、需求整理、數據收集、數據探索和預處理、數據建模與分析、結果評估和展示、決策落地、項目復盤與總結八個階段作為數據分析行業的標準化流程。該標準化流程提供了一種規范嚴謹、內容開放、使用便捷的數據分析全流程解決方案。該流程具有通用性,不僅適合企業的數據科學家、算法工程師等,也適
14、合不同行業、不同業務部門的數據運營和分析人員,適合數據分析全行業應用。下圖1展示了數據分析流程的八個階段。圖1:數據分析標準化流程圖 2.1 業務理解階段 數據分析的第一個流程是業務理解,這也是全流程的初始環節。由于很多數據分析參考流程常常將數據獲取作為數據分析的第一步,所以實踐中仍存在一些誤區,認為先有數據才開始分析,導致有些項3.數據收集4.數據探索和預處理5.數據建模與分析6.結果評估和展示7.決策落地8.項目復盤與總結1.業務理解2.需求整理 數據分析行業服務參考文件 7 目在沒有理解和明確業務及問題和需求的情況下盲目開展,陷入“不懂業務,分析只能提數”的尷尬境地,以至于達不到預期的目
15、標。在進行業務分析的同時,數據分析師應具備足夠的數據思維,脫離數據思維的業務分析容易得出一些主觀的結論,甚至無法發現問題的本質。本流程的技術要點包括以下幾個方面:行業分析:分析并掌握需求方的行業屬性、經營模式、目標客戶群體特征、產品特點、市場競爭力、上下游渠道等情況。業務流程分析:分析部門分工、線上與線下的流程等情況。當理解了需求方行業和業務流程等相關信息后,數據分析師在下一步發現和拆解問題時才能將業務知識代入,能夠對需求方未來的發展方向有一個恰當的認識,而不是僅站在技術的角度去解決問題,從而做出偏離業務的決策。2.2 需求整理階段 對業務有充分理解后,一名合格的數據分析師,最基本的要求是從需
16、求方實際問題出發,深刻理解項目的需求和分析目標,并將商業需求轉化為能用數據分析解決的問題。要保證項目的目標是可量化、可衡量的。例如,如果想預測機器的狀態是否正常,需要明確需求的目標是想預測機器的壽命,還是要實時監控異常狀況,亦或是提前一段時間對機器故障進行預警,以上實施起來技術難度也并非是完全一樣的。所以,如果對業務需求理解有偏差,所建立的模型和應用的方法可能也是有偏的。本流程的技術要點包括以下幾個方面:業務需求分析:實踐中,數據分析師可以借鑒管理中的“5W2H”原則進行數據分析項目的業務需求理解,明確分析問題和目的。(1)WHAT 項目的目標是什么?需要做什么工作?(2)WHY 為什么要做該
17、項目?是否有其他替代方案?(3)WHO 項目為誰服務?項目由誰來做?項目相關的利益相關者有誰?數據分析行業服務參考文件 8 (4)WHEN 項目什么時間做?什么時候截止?(5)WHERE 項目在何處做?數據等資源在何處獲???(6)HOW 項目如何做?項目過程如何實施?項目如何選擇方法和工具?結果如何落地?(7)HOW MUCH 項目需要做到什么程度?項目質量水平如何衡量?費用如何?業務需求分解:有些情況下,項目的問題和目標是較復雜和隱晦的,這時需要把需求和目標進一步拆分成幾個子目標,同時,對子目標提出前提假設,假設子目標的實現能夠推動總目標的實現。例如,目標為提高某產品的銷售額,通過4P理論對
18、該問題進行拆分,則可以假設通過產品改進、價格優化、分銷和促銷四個子問題提高銷售額,因此,復雜問題的商業理解需要對商業需求進行分解,同時,受到各種條件的限制,分解成多個子問題的項目要對問題的重要程度進行優先級排序?,F狀評估:充分理解項目需求的前提下,還需要對項目的現狀進行評估。其中包括:與數據分析問題相關的商業背景、項目可用的資源、部門間溝通方式、資源的約束、項目風險、項目成本和收益、項目涉及的專業術語等等。目標核對:這個環節包含三方面內容,第一,與業務需求方達成共識,確認分析邏輯是否有漏洞或需要修正的地方;第二,就邏輯中產生的指標進行闡述,明確定義,避免在后期數據收集及處理時產生錯誤;第三,對
19、于多個子問題的項目需要參考業務方的意見對優先級進行排序。項目計劃制定:制定數據分析計劃,包括:確定項目目標、制定整個項目的實施方案、編制預算、組織人員、確立項目政策、確定項目執行標準等。2.3 數據收集階段 該階段從數據收集開始,數據分析師應掌握對數據的洞察能力,識別數據的質量問題,數據的偏差問題,數據的內部結構等問題,數據分析師應該能夠獲取相關數據,同時對獲取的數據有一個基本的認識,識別數據是否能夠解決當前的商業問題?是否還需要外部其他數據的支持?如果需要,成本和可行性如何?該階段可能需要跨部門、甚至跨企業溝通,對商業問題的理解有變動時,該過程也會發生變化,所以,數據收集階段可能是反復進行的
20、。數據分析行業服務參考文件 9 本流程的要點主要包括以下幾個方面:數據收集:明確與項目問題相關的數據大致有哪些?明確數據來源,數據的體現形式、數據的存儲位置、數據的獲取渠道等,并進行數據獲取。巧婦難為無米之炊,數據是項目成果的關鍵資源,但是,獲取數據的成本收益也必須明確。根據商業問題的不同,采用不同的收集數據的方式是比較合理的,不要為了獲取數據(尤其是大數據)而獲取數據,如果單純地追求高質量和大量的數據,項目就進入了另一個極端,給項目的實施者造成極大負擔。數據獲取的方式多種多樣,包括:企業內部數據庫、外部公開數據庫、互聯網大數據、問卷調查、實驗法等。數據質量檢驗:數據的質量直接影響項目的成功與
21、否,如果最初始階段不充分檢驗數據的質量問題,在后續階段發現問題時,則還需要返回修正,將極大地浪費時間,導致項目效率低下。數據質量的檢驗包括:數據的準確性、數據的時效性、數據的無偏性、數據的全面性等問題。數據保護:數據獲取到以后,應依據需求方、行業規范和法律等要求,對數據以及在后續使用過程中產生的數據進行合理保護。2.4 數據探索和預處理階段 數據探索和預處理階段的主要任務是在第二步基礎上探索數據結構,并提取建立模型或解決問題所需的數據,進行數據建模前的準備工作,如數據的清洗、集成、轉換或規約等,數據的各項準備工作并無先后順序,而且該階段也很可能會被反復執行。本流程的技術要點包括以下幾個方面:數
22、據的描述和探索:對數據的質量有基本的把握后,對收集來的數據進行數據的描述和探索,目的是從現有數據中提取潛在信息,驗證項目中提到的前提假設,并尋找那些與后續數據分析項目目標高度相關的數據等。數據的描述和探索包括:數據的缺失和異常、數據的集中趨勢和離散程度、數據的對比分析、趨勢分析、相關性診斷等。數據清洗:結合業務問題,根據清洗數據的具體方法,采取合適的工具對數據中存在的缺失值、異常值和數據不一致等現象進行處理。數據分析行業服務參考文件 10 數據集成:將不同位置的數據進行匹配和合并,以形成面向問題的數據倉庫。數據轉換:根據后續分析的要求選擇合適的數據轉換方式,包括離散化、標準化、數據形態轉化、獨
23、熱編碼處理等。數據規約:規約后的數據體量會小很多,但是仍比較接近原始數據,目的是為了后續的分析更有效,效率更高。數據規約包括:維歸約、數量歸約和數據壓縮等。數據探索和預處理階段比較耗時,一般來說,后續分析越復雜,該階段所花費的時間越長,有統計表明50%以上的數據分析時間都消耗在數據準備階段。2.5 數據建模與分析階段 該流程是指應用合適的數據分析工具,選擇合適的分析方法,對之前處理好的數據進行建模分析,并識別出數據中潛在知識和規律的過程。分析過程并非越復雜越好,要求數據分析師對分析工具和方法有深刻的認識,能在所掌握的眾多方法中選擇恰當的方法,能夠對分析模型的參數進行設置、調整和優化,能夠基于業
24、務知識建立簡潔、易懂、可靠、可解釋性高、準確率高的分析模型等。本流程的要點主要包括以下幾個方面:分析工具選擇:選擇合適的分析工具,業務類的數據問題可能需要用Excel、BI等工具等進行數據分析;開發類的數據問題可能需要用Python、R等編程語言搭建算法模型。有些分析涉及大數據,還可能會使用大數據相關平臺或工具進行數據分析。變量選擇:數據獲取階段的數據范圍較廣泛,數據選擇是在獲取到的數據基礎上,充分利用現有的業務知識對項目所需的數據進行選擇和排除,為建模做準備。變量的選擇并不是盲目的,有些成熟的問題和領域已經有相關的項目或研究結論,數據分析師在選擇數據時可以借鑒。分析方法選擇:選擇合適的分析方
25、法,業務類的數據分析問題可能需要用數據透視表、相關分析、回歸分析等方法進行分析,開發類的數據問題可能需要用聚類、分類、關聯規則等機器學習算法進行分析。數據分析過程實施:運用合適的模型和方法在特定的工具上進行建模分析,并輸出分析結果。數據分析行業服務參考文件 11 2.6 結果評估和展示階段 分析完成以后,需要評估分析結果的質量,評估過程要全面,以確保結果更符合業務要求。如果在評估過程中發現結果與業務目標相比仍存在差距,則需要對分析過程進行修正,對分析過程的修正可能需要重新從第一階段開始,通過反復多次的迭代,使結果更優。本流程的技術要點包括以下幾個方面:結果評價:依據技術手段和實際商業范例雙重評
26、價標準對分析結果和決策建議進行評估。分析過程再檢驗:從數據分析標準流程的第一個環節開始檢驗分析過程是否存在紕漏,若發現問題及時指出,同時對分析過程重新予以修正,以更加符合實踐要求。數據分析報告:采用簡單明了的數據可視化圖表和文字解釋或形成數據分析報告來展示數據結果。分析報告實質上是一種溝通與交流的形式,主要作用在于展示分析結果、驗證分析質量,為決策者提供參考依據,并可以有針對性、操作性、戰略性的決策。所以數據分析報告應滿足結構清晰,主次分明;數據源可靠無誤;結論先行,有理有據;圖表豐富,可讀性強;結論建議與實踐緊密結合等原則。2.7 決策落地階段 決策落地階段是對分析結果給出的決策建議和知識進
27、行落地,并實時檢驗過程中的效果,與初始目標進行對比。實踐案例中,決策落地一般由企業用戶來執行,這也是用戶最關心的一個環節。所以數據分析并不是項目的本質目的,目的是挖掘有用的信息和知識,并將其落地實現,否則不符合數據分析閉環的要求。本流程的技術實現要點包括以下幾個方面:決策計劃制定:制定項目成果如何落地的方案和計劃。計劃執行:在執行過程中與項目目標進行比較,評估目標實現情況。2.8 項目復盤與總結階段 本流程的技術要點包括以下幾個方面:數據分析行業服務參考文件 12 項目復盤與總結:在項目執行過程中對項目過程進行復盤,同時對結果進行驗證。如果落地效果較好,需要總結成功經驗,在相似問題上有較好的參
28、考價值,如果落地效果一般,則需要層層向上再檢驗每個流程的可能失誤環節。并進行糾偏。項目成果交付:依照合同要求將項目相關的資料全部予以交付,同時按要求準備相關培訓和售后服務等。注:以上流程和技術要點并不是嚴格限定的,項目負責人可以根據項目的復雜程度在該框架基礎上增添相應的步驟或技術要點。依據以上內容,下表1列出了數據分析項目階段性對照清單,方便項目負責人執行備注。表1 數據分析流程及要點對照清單 項目階段 技術要點 完成情況 備注 業務理解階段 行業分析 業務流程分析 需求整理階段 業務需求分析 業務需求分解 現狀評估 目標核對 項目計劃制定 數據收集階段 數據收集 數據質量檢驗 數據保護 數據
29、探索和預處理階段 數據的描述和探索 數據清洗 數據集成 數據轉換 數據規約 數據建模與分析階段 分析工具選擇 變量選擇 分析方法選擇 數據分析行業服務參考文件 13 數據分析過程實施 結果評估和展示階段 結果評價 分析過程再檢驗 數據分析報告 決策落地階段 決策計劃制定 計劃執行 項目復盤與總結階段 項目復盤與總結 項目成果交付 數據分析行業服務參考文件 14 四、數據分析專業術語及定義規范 本章節基于上一階段的八步流程,給出每個流程可能涉及的專業術語及定義規范。1.業務理解階段定義 業務:各行業中需要處理的事務。行業:一類提供相似產品或服務的公司。業務流程:公司圍繞特定目標組織不同的員工共同
30、完成的一系列活動。2.需求整理階段定義 數據分析問題:商業中現實和理想中的差距。數據分析類型:根據需要解決的問題的不同,數據分析的類型可以分為現狀分析,原因分析、數據挖掘和預測分析四類,有些綜合的數據分析項目可能同時包含兩類或三類分析?,F狀分析:是數據分析最常見的目標之一,包括企業現狀和競爭對手的現狀分析等,例如,商家將企業現有客戶細分成幾類,總結每一類的特點,并對每類客戶展開精準營銷,以提高銷售額?,F狀分析要避免落入只描述現狀,沒有得出有用結論的境地,現狀分析要保證結論的客觀性、準確性和嚴謹性等。原因分析:是對當前存在的問題尋找原因,并找出解決問題的辦法的分析,例如,找出機器發生故障的可能原
31、因,并加以改進,從而避免故障再次發生。原因分析常常采用多維度分解、對比分析、提出假設、驗證假設、相關性分析、回歸分析等方法來實現。原因分析要避免落入只能發現原因,不能提出解決問題的辦法的境地,原因分析要保證原因的客觀性和嚴謹性,解決問題的可操作性等。數據挖掘:對歷史數據進行分析,使隱性信息和潛在規律顯著化,從而提出問題或者總結規律。例如,超市產品的關聯性分析,通過分析找到啤酒和尿布的關聯性;氣候分析;針對新產品研發的數據挖掘。數據挖掘有明確需要解決的問題,但并不存在明確的數據分析方向,因此采用靈活多變的數 數據分析行業服務參考文件 15 據分析方法對數據進行探索分析。預測分析:是對企業未來的業
32、務發展趨勢進行預測。如預測企業下一年度的銷量;預測客戶在未來一段時間的流失情況;預測企業在執行某些決策后,其相關業務的變動情況等。結構化思維:是指面對分析問題時能夠從多個角度進行思考,全面深刻地剖析問題可能出現的原因,并采用系統的行動方案和恰當手段解決問題的思維。3.數據收集階段定義 數據:現實世界的記錄。信息:獲取并經過處理后的數據。知識:通過對信息的分析和匯總而建立起來的關于世界的規律和模型。數據收集:根據業務要求收集相關數據的過程,收集到的數據通常要與業務方達成一致,與業務問題高度相關,并且需要滿足時效性、準確性、無偏性、可靠性等要求。同時,線上采集數據不應影響網站或應用的用戶體驗,線下
33、采集數據應評估線下人員的工作量等??傮w:所研究的全部個體的集合。樣本:在總體中選取的一個子集。抽樣:從總體中抽取一部分樣本的過程,目的是用樣本結果來推斷總體。大數據:無法用常規軟件和工具進行收集、存儲和分析等的數據集合,具有大量的(Volume)、高速的(Velocity)、多樣的(Variety)、價值密度低(Value)和真實(Veracity)等特征。結構化數據:也稱為行數據,由行和列二維表的邏輯結構存儲和表達的數據,通過關系型數據庫進行存儲和管理。非結構化數據:數據結構不規則,不能用結構化數據庫來存儲的數據類型,包括文檔、圖片、視頻、音頻、XML、HTML等數據。數據庫:存儲在計算機中
34、的有組織的、可共享的數據集合。具有低冗余度、數據獨立性強、擴展性強、可共享等特點。關系型數據庫:用表的形式存儲數據,并用關系模型組織數據表的數據庫。數據分析行業服務參考文件 16 SQL語言:Structured Query Language的簡稱,結構化查詢語言,用來存取、查詢、更新和管理關系型數據庫的程序設計語言。非關系型數據庫:NoSQL(Not Only SQL),不僅僅是SQL,NoSQL是指大量結構化數據存儲方法的集合。數據倉庫:用于支持企業管理決策的數據集合,存儲的一般是歷史數據。具有面向主題、集成的、穩定性強、反映歷史變化等特點。數據中臺:數據的公共服務平臺,基于業務需求,把企
35、業各項數據收集、加工整理、封裝以后形成的一個公共數據產品和服務平臺。數據中臺的應用包括BI報表、營銷推薦、用戶畫像、風險評估等。元數據:是指描述數據屬性的數據,也稱為中介數據,有查找資源、記錄文件、指示存儲位置等功能。數據血緣:是指數據產生先后的鏈條關系,因為數據在產生過程中會經過各種加工、組合、轉換等操作,因此把數據的這種前后聯系稱為數據血緣關系。數據集:數據的集合,通常每一列代表一個特定變量,每一行代表某一個體的所有變量的數據,數據集通常以二維表的形式出現。數據準確性:數據值代表真實值的程度,如未經校準的儀器測量的結果、錯誤的客戶電話號碼等,都屬于不準確的數據。數據連貫性:多張表里的數據是
36、否能夠以特定的方式組合在一起,如客戶信息表、訂單信息表和商品信息表能否通過特定的字段聯系在一起。數據完整性:數據是否有缺失信息,如姓名、聯系方式等。數據一致性:不同表中的信息是否保持一致,如兩張表中同一客戶的郵件地址是否一致,如果不一致則要及時解決。數據明確性:數據表中每一個字段的定義和描述是否明確,只有字段信息明確才能保證數據的質量。數據相關性:數據表中,不同字段的信息是否有關聯,如果數據間相關性很強,則可能存在數據信 數據分析行業服務參考文件 17 息的冗余。數據時效性:發布數據和收集數據間的時間間隔,間隔越短代表數據的時效性越強。數據安全:根據中華人民共和國數據安全法中第三條:數據安全是
37、指通過采取必要措施,確保數據處于有效保護和合法利用的狀態,以及具備保障持續安全狀態的能力。4.數據探索和預處理階段定義 數據探索:即探索性數據分析,是一種思維方式,目的為了獲取對數據的初步理解,如變量的分布、缺失值和異常值、對數據進行總結等,強烈建議將探索性分析納入到數據分析中。臟數據:數據不在給定的邏輯范圍內,格式錯誤,不規范編碼或對業務毫無意義的數據。數據缺失:數據不完整或有缺失,實際中的數據往往缺失值較多,但很多模型不能處理含有缺失的數據。數據重復:相同的記錄在表中多次重復出現。集中趨勢:描述一組觀測值的代表值,指一組數據的一般水平,包括均值、中位數和眾數等。離散趨勢:描述一組觀測值偏離
38、中心位置的趨勢,包括全距、四分位差、方差和標準差等。離散系數:也稱變異系數,是標準差與均值的比值,值越大,說明數據的離散程度越大;值越小,說明數據的離散程度越小。正態分布:也稱高斯分布,一組呈正態分布的數據分布曲線呈鐘形,兩頭低、中間高,左右對稱。異常值:樣本中的某些個別值,其觀測值明顯偏離其他觀測值。皮爾遜相關系數:衡量數值型指標之間相關程度的統計量,一般用字母r表示。特征:數據和模型間的紐帶。特征工程:在給定的數據、模型和問題下篩選出關鍵特征的過程。恰當的特征選擇是機器學習模型高效輸出的關鍵。數據清洗:發現并處理數據中的缺失值、異常值和數據不一致等情況的過程。數據集成:將數據進行合并的過程
39、,如將各分公司的數據合并在一起。數據分析行業服務參考文件 18 數據轉換:將數據從一種表現形式轉換成另一種表現形式的過程。數據標準化:將原數據按照某些計算方式等比例縮放,使之取值范圍落入一個較小的特定區間內。數據歸約:在盡可能保持數據原狀的情況下,對數據進行精簡。數據降維:將原來較多的特征重新計算組合從而形成少量新的特征的過程。數據壓縮:在不丟失有用信息的前提下對數據重新組織來降低數據的冗余和存儲空間,從而提高數據的存儲、處理和運算效率。5.數據建模與分析階段定義 數據透視表:通過字段間的排列組合和相關聚合運算幫助數據分析人員發現規律和知識的一種交互式的表格。描述性分析:將原始數據抽象濃縮成幾
40、個統計指標的過程,包括均值、標準差、中位數、眾數等。推斷分析:用較小的樣本去推斷總體的信息(如參數、分布或關系等)的過程。假設檢驗:檢驗和判斷樣本與樣本間、樣本與總體間的差異是本質存在的還是由抽樣誤差引起的統計推斷方法。常用的方法是顯著性檢驗,提前做出某些假設,然后根據統計計算結果推斷是接受還是拒絕原假設,常用方法包括:F檢驗、t檢驗、Z檢驗、卡方檢驗等。算法:解決問題的一系列的清晰的策略指令,由規范的輸入、計算規則和輸出等要素構成。算法模型化:用同一套算法解決不同的問題。算法模型化過程賦予了算法超強的問題遷移能力,比如根據回歸算法可以開發一套銷量預測模型,也可以開發出一套壽命預測模型等。數據
41、建模:將現實世界的各種數據通過某種抽象的模型組織在一起,目的在于發現現實世界的規律,提出解決問題的辦法。監督學習:有一組已知類別的樣本,通過建立一個學習模型,使模型能夠在給定的輸入狀態下,通過調整參數的設置,對已知的類別做出較精確的預測的過程。監督學習將數據集分為兩部分,訓練集和測試集,訓練集用于訓練預測模型,測試集用于對模型的結果進行檢驗。非監督學習:不事先對數據進行標記,直接對數據進行建模的學習過程,因此,針對輸入數據事先 數據分析行業服務參考文件 19 并不知道輸出結果是什么。6.結果評估和展示階段定義 數據可視化:借助圖表等可視化工具,準確傳遞數據分析結論的手段,目的在于獲取復雜數據的
42、直觀、深刻洞察。A/B test:根據分析結果,為同一個業務目標制定兩個或多個不同的方案,以此來比較和評價最優方案的實驗方法。比如針對流失用戶采取召回策略,比較免費贈送一個月的VIP和發放20元優惠券兩個激勵措施哪個效果更優。誤差:模型結果與真實結果之間的差距,反映了模型的有效性。時間復雜度:描述算法運行時間的函數。魯棒性:模型在受到外力干擾的情況下,仍可維持某些性能的特性。也就是模型有較高的精度,若出現較小的偏差,對模型只能產生較小影響,若出現較大偏差,也不會對模型產生致命影響??蓴U展性:模型處理大數據集的能力??山忉屝裕耗P偷目衫斫庑?,如決策樹的分類規則很容易被使用者理解,但是神經網絡分類
43、模型則把過程設計成一個黑箱,不容易解釋。7.決策落地階段定義 決策落地:將數據分析理論建議轉化為實踐的過程。8.項目復盤與總結階段定義 項目復盤:對項目進行重新演練,發現問題并分析問題,為決策提供有價值的參考,并為下一次迭代積累成功和失敗的經驗。數據分析行業服務參考文件 20 五、數據服務共性參考 1.業務范圍 服務范圍包括大數據咨詢服務、大數據分析服務、大數據產品服務。大數據咨詢服務是幫助企業梳理數據化資產,提高數據質量,做好數據規劃,使得數據處于有序管理的狀態,管理數據的目標使其數據以合理的方式組合在一起,以便為后期的數據分析和數據服務打好基礎。大數據咨詢服務包括:數據治理服務、企業大數據
44、轉型規劃等。大數據分析服務是幫助企業進行數據整理、處理、計算、分析、計量、研究等,分析企業現有的狀況,建立一個強大的數據基礎,然后將現有數據價值挖掘出來,不僅可以幫助企業優化內部的管理,還可以幫助企業制定正確的市場營銷方案,借助信息的力量幫助優化經營業績,轉化為商業價值,助力企業騰飛。大數據產品服務指大數據咨詢服務和大數據分析服務形成的成果進行商業化、落地執行的產物,固化成大數據產品,更好的服務企業本身發展,同時也可以更好的進行技術推廣,幫助更多企業的發展,帶動整個行業的進步。1.1 大數據咨詢服務 當今的業務發展速度意味著變革不再是可選項,數字化轉型已經達成共識。大數據咨詢服務指依托大數據專
45、業知識優勢,幫助企業進行數據管理咨詢服務,幫助企業將數據向信息、知識、智慧邁進,提高數據質量,在數據安全的前提下更好的進行數據服務,釋放數據價值,助力數字化轉型。1.1.1 數字化轉型方案咨詢服務 數字化轉型方案(企業數字化轉型解決方案、信息系統生態建設方案、數據綜合平臺解決方案),通過分析公司目前大數據信息化現狀、同業的大數據發展情況、以及行業趨勢、監管要求,結合公自身發展規劃,設計數字化轉型方案,包括組織架構、制度保障、團隊建設等方面,同時制定未來藍圖規 數據分析行業服務參考文件 21 劃,實施路徑,實施方案等,幫助企業快速進行數字化變革。1.1.2 企業大數據治理咨詢 大數據管理咨詢(數
46、據治理咨詢服務),通過分析公司現有的數據情況,結合政策監管要求和公司業務發展需要、以及大數據技術的不斷更新,制定數據治理體系藍圖規劃,幫助企業進行數據架構設計、數據模型設計、數據生命周期管理、標準化管理、數據質量管理、數據安全管理、數據資產管理、元數據管理、主數據管理、數據集成與共享服務等一系列的數據管理服務,使得企業夯實數據基礎,建立合理、科學的數據治理體系,提升數據質量和數據應用水平,從而提高公司的價值創造能力和風險管理水平。1.2 大數據分析服務 1.2.1 企業經營數據分析服務 企業經營數據分析服務一般包括采購和供應鏈管理分析、生產管理數據分析、質量管理數據分析、銷售數據分析、營銷數據
47、分析、市場數據分析、財務分析、客戶分析、產品分析、人力資源分析、經營分析等通過數據的科學分析可以助力企業高速發展,幫助領導層量化決策。采購和供應鏈管理分析:采購優化數據分析(最優采購量、最佳庫存量、庫存優化等);運輸問題(最優運輸路徑、最優供貨順序、最優路徑問題等);供應商遴選和評估分析;供應商風險分析(商業風險、信用風險、生產風險、安全風險等);產業集群分析;供應鏈優化分析;招投標數據分析;采購品質檢驗數據分析;價格預測分析(大宗商品價格、物料價格、部件價格估算、價格波動趨勢預測等)等。生產管理數據分析:包括生產效率數據分析;產能優化數據分析;生產流程優化數據分析;生產監控數據分析;產品回溯
48、管理數據分析;生產浪費數據分析(物料浪費、生產時間閑置、工人閑置、資金占用、能源浪費等);生產成本核算數據分析;生產成本控制數據分析;庫存優化數據分析;生產管理系統構建和數據分析系統服務等。數據分析行業服務參考文件 22 質量管理數據分析:品質優化數據分析;品質監控數據分析;品質事故預警數據分析;品質管理流程優化數據分析等。銷售管理數據分析:銷售人員有效性數據分析;銷售業績達標率分析;銷售活動有效性數據分析;銷售人員管理數據分析;大客戶銷售流程分析(如漏斗模型);銷售策略有效性評估分析;樣品使用有效性數據分析;門店管理數據分析;相似業務單元相對有效性評價等。營銷數據分析:市場問卷調查數據分析;
49、用戶需求分析;價格、銷量預測數據分析;廣告測試數據分析;概念測試數據分析;品牌測試、品牌健康度監測等數據分析;口碑監測、輿情監測等數據分析;營銷費用控制數據分析;媒體監測數據分析;媒體費用優化(最優決策問題、費用配比問題);媒體投入產出效率分析;營銷活動損益數據分析;社交媒體數據分析;廣告效果評價數據分析;渠道數據分析等。市場數據分析:宏觀經濟研究數據分析服務;行業研究數據分析;長期行業數據監測和數據分析服務;市場專項研究數據分析服務;產品測試數據分析服務;競爭情報、市場監測等數據分析;市場預測數據分析服務;專利或者技術跟蹤數據分析服務等。財務分析:財務分析包括企業的償債能力、營運能力、盈利能
50、力、資金實力等方面,財務分析包括財務報表數據分析、稅務優化數據分析、財務規劃、現金流規劃數據分析;現金流預算、預測、預警系統;企業信用管理系統;全面預算數據分析;成本優化數據分析;ABC成本核算系統構建及數據分析;財務指標管理和控制方案;全面財務管理分析,幫助企業做好資產負債平衡管理,找到適合的籌資策略,更好的做好預算規劃??蛻舴治觯褐竿ㄟ^客戶的基礎屬性、行為習慣以及對客戶社交等情況的分析,進行客戶分群管理、完善客戶360度畫像,幫助企業深入了解客戶行為偏好和需求特征;同時通過客戶社交行為分析,可以利用社交圈子提高營銷效率、改進服務,低成本擴大產品影響力。完善的客戶分析體系幫助企業進行精準營銷
51、、實時營銷以及個性化推薦??蛻舴治霭蛻魯祿治?、客戶需求量化分析;客戶滿意度量化分析;客戶言論(評價、反饋、投訴等)分析;客戶細分;客戶定位數據分析服務;客戶價值(包括生命周期價值)數據分析;客戶風險分析(流失風險、商業風險、信用風險等);營銷活動客戶響應度分 數據分析行業服務參考文件 23 析;潛在客戶行為分析;新產品設計數據分析等。產品分析:指從產品定位、產品設計、產品價格測試、產品市場預測、產品市場占有量、競品分析、產品生命周期、產品運營等多方面進行產品分析服務,幫助企業打造產品,滿足消費者需求,提升產品市場競爭力。人力資源分析:人才是企業發展的核心競爭力,優秀的團隊,效率與創意并存
52、時,才能在新的市場上一舉成功。人力資源分析通過分析人力資源結構分析,包括人力資源數量分析、人員類別分析、工作人員素質分析、人員年齡結構分析、職位結構分析人力資源管理數據分析:人力成本核算數據分析;培訓調研數據分析(培訓需求調研、培訓效果調研等);企業文化調研數據分析;員工滿意度、薪酬滿意度調研數據分析;組織績效評價數據分析;稀缺人才產出分析模型和高級人才能力評估模型;招聘效果評價;人力資源規劃數據分析;人員績效關聯分析;人員產出評價模型(人當產出率、元當產出率等);激勵效果評價模型分析;人事制度系統優化分析;職業生涯價值分析等方面,通過人力資源規劃,幫助企業更好的進行人才培養,團隊建設,形成真
53、正的核心競爭力。經營管理數據分析:企業運營管理流程數據分析;任務管理和計劃管理數據分析;工程管理數據分析;項目管理數據分析;流程優化及流程價值創出數據分析;組織效率數據分析;組織績效評價系統建設;組織運營指標系統構建等。通過分析企業的目標達成情況、回款額分析、價格分析、周轉率分析、業績歸因分析、成本分攤分析、收入利潤分析、競對分析、預警分析、預測分析等方面,更好的幫助企業做到知己知彼,量化經營決策。項目績效評價分析:主要針對自研類項目和購買第三方服務類項目進行績效評價,全面實施績效管理的要求,扎實有序推進項目績效評價工作,不斷提高規范化、制度化管理水平,逐步擴大績效評價項目覆蓋面,著力提升資金
54、效益和服務管理水平,績效評價模型不僅限于成本分析、貨幣的收益分析、同時包含滿意度評價、品牌影響力、市場份額預期增長等綜合價值評定模型,定性與定量結合,盡可能以量化為主,全面客觀的衡量項目績效成果,輔助管理層未來決策。數據分析行業服務參考文件 24 1.2.2 大數據行業分析報告 大數據行業分析報告包含行業研究報告、大數據商業洞察報告、市場趨勢預判等,屬于偏綜合性的年度、半年度報告,針對不同的專題有相應更為專業的方法和分析模塊,整體分析內容有經典理論和客觀的數據支撐。從宏觀、行業、企業進行自上而下的行業大數據分析服務,包括借用外部信息進行宏觀經濟政策分析、行業發展環境分析、同業領先頭部分析、競爭
55、對手分析,同時依據自身大數據的發展,分析企業自身經營情況、客戶畫像、產品特色、營銷策略分析,預測行業發展趨勢,指導企業量化決策,順勢而為,抓住機遇。1.2.3 投資決策數據分析服務 投資決策數據分析服務包括實業投資和金融投資,提供量化投資、項目可行性分析報告、項目投資風險報告等,數據分析師可以通過現金流估值模型、以及依托大數據,進行技術分析和基本面分析、金融風控模型,全面進行金融產品估值和風險測量,對于預測類金融投資進行歷史推演、蒙特卡洛模擬等測算投資收益,幫助企業在一定的約束條件下,通過規劃求解,給出最合理的投資組合和可行性的方案,幫助企業實現效益最大化。實業投資分析:針對項目類的實體經濟投
56、資,進行費用效果法分析(費用現值法、費用年值法);邊際分析法(動態路徑決策法);成本法(技術資產價值估值、重置全價、成新率);收益法(超額收益分析、收益分成分析);期權法(Black-Scholes模型);實業投資數據編制與估算表(資金的時間價值分析、年金的系列計算);實業投資運營后的資產負債表預估(科目預估)、現金流量表(科目預估)、收入利潤表預估(科目預估);指標類分析(投資收益率分析、投資回收期、凈現值、內部收益率、獲利能力指數);不確定性分析(盈虧平衡分析、敏感性分析、蒙特卡洛分析),定性風險分析(概率分析),其他風險分析(宏觀層面:政策風險分析、經濟風險分析、文化風險、市場風險分析、
57、技術風險分析;微觀層面:企業自身的指標分析;個人層面:心態和心理素質分析)。金融投資分析:固收類金融分析(債券類);權益類分析(股票類)、衍生品投資(期貨、遠期、互換、期權等)、另類投資(大宗商品交易、房地產交易、PE、VC等),以及金融組合投資分析(私 數據分析行業服務參考文件 25 人財富規劃、理財規劃、基金組合類),基礎面分析采用的分析方法為估值分析(現金流折現類模型、公司經營分析、宏觀經濟分析等),技術類分析采用現代化的人工智能、數據挖掘、小波分析、支持向量機、分形理論、隨機過程等方法去進行量化選股、量化擇時、股指套利、商品套利、統計套利、算法交易、另類套利等一系列投資決策過程。1.2
58、.4 企業風險數據分析服務 風險數據分析針對金融類行業更為關鍵,企業風險控制是對貸款用戶的信用風險進行合理度量,是信貸業務關注的首要問題。風險數據分析指通過用戶信息對用戶的信用度進行評估,并根據信用情況定制風險規避策略,也就是對用戶風險進行管理和規避的過程。通過風險數據分析,幫助企業識別風險用戶,對用戶信用風險進行合理度量,提升企業量化風險管理能力。1.3 大數據產品研發服務 數字化轉型,企業業務升級離不開技術工具的支持,數據分析師在日常的研究工作當中,沉淀相應的知識體系和業務經驗,固化分析流程,轉換成技術類產品,降低技術門檻,普及企業應用。數據管控工具包括元數據管理工具、數據質量管理工具、數
59、據標準管理工具、數據安全管理工具(安全標準、安全監控、權限管控)、數據模型管理、數據生命周期管理工具、數據資產管理等。元數據管理工具:管理EDW建設過程中涉及的業務、技術元數據,元數據范圍包括系統信息、數據庫信息、表視圖信息、數據文件信息、數據映射信息。提供圖形化展現邏輯模型的功能;管理EDW對外供數的數據文件信息,為業務人員提供分析數據需求的查詢平臺。數據質量管理工具:數據質量是指數據對其期望目的的切合度,即從使用者的角度出發,數據滿足用戶使用要求的程度。幫助數據分析師及時發現數據中的錯誤、挖掘數據價值,保證數據的有效性、一致性、準確性,為客戶數據管理服務。數據標準管理工具:數據標準是對數據
60、的規范化,包括業務屬性的規范化和技術屬性的規范化,以及數據的歸屬管理。保證數據的規范化、標準化。數據分析行業服務參考文件 26 數據安全管理工具:數據安全管理主要涵蓋數據的安全加密管理和數據的權限管理,通過對企業數據的分類分級,按照不通的安全級別,幫助企業在數據采集、接入、加工、傳輸過程進行不同級別的安全管控,防止信息泄露。數據模型管理工具:數據模型管理工具方便企業對數據架構直觀理解,同時可以進行數據模型Mapping的腳本一鍵生成,加快數倉建設,同時可以對模型進行事前、事中、事后的模型管理。數據生命周期周期管理工具:數據生命周期,通常是指某個集合的數據從產生或獲取到銷毀的過程。數據全生命周期
61、分為:采集、存儲、整合、分析與應用、歸檔和銷毀幾個階段。在數據的生命周期中,數據價值決定著數據全生命周期的長度,并且數據價值會隨著時間的變化而遞減。同時,數據的采集粒度與時效性、存儲方式、整合狀況、可視化程度、分析的深度和應用銜接的程度,都會影響數據價值。所以需針對數據生命周期各個階段的特點采取不同的管理方法和控制手段,這樣才能從數據中挖掘出更多有效的數據價值。數據生命周期管理工具幫助企業優化大數據的生命周期管理,使企業數據運行效率更高。數據資產管理工具:數據地圖,幫忙企業梳理數據資產,盤點數據資產,釋放數據價值。上層應用數據產品包括指標管理、BI可視化、標簽管理、客戶畫像、關系圖譜、數據服務
62、(IDmapping、API標準化接口服務)、聯邦學習(聯合建模)、AI實驗室,幫助企業釋放數據價值。指標管理:指標管理是BI可視化的基礎,支持BI可視化靈活應用;幫助企業靈活高效的報表分析。BI可視化:支持報表展示、圖表展示、PC端、手機端、大屏端三端統一,幫,幫助企業進行經營分析、管理駕駛艙靈活使用。標簽管理:客戶標簽是客戶畫像的基礎,進行標簽體系管理;客戶畫像:客戶畫像是客戶分析的主要商業應用,進行客戶分群管理和精準營銷推薦。關系圖譜:對于社交關系或者關系類數據,進行關系圖譜展示和圖計算,更加直觀,運行效率更快。數據服務:數據資產的商業化價值實現,統一視圖管理,對外服務標準化接口管理。聯
63、邦學習:聯合建模平臺,幫助企業進行數據模型共建,共享大數據建模成功。AI實驗室:數據挖掘和人工智能實驗工廠,是自動算法工程和自定義算法雙驅動,幫助數據分析師 數據分析行業服務參考文件 27 和業務人員均可使用的算法畫布,支持算法測試成功后一鍵生產部署。智能營銷(營銷中心、策略中心、觸達中心、推薦中心、運營中心):提供營銷策略開發、推送策略規則配置、推薦算法策略。智能風控(智能反欺詐、智能預警、智能決策、智能催收、風險運營):提供相應模塊的計算規則、模型算法等服務,與開發融合,形成智能化、標準化產品。2.市場調研參考收費方式 經過大量的市場調研和行業實踐經驗,針對不同的項目場景總結了四種收費方式
64、及收費標準供參考。2.1 按人天服務收費 2.1.1 適用場景 該收費模式適用于大數據咨詢服務類項目,計費按照相應人員實際參與的工作日計費,以下收費方式為市場調研價格,僅供參考。2.1.2 調研收費參考 2.1.2.1 大數據咨詢類人天服務調研參考 表 2-1 大數據咨詢專家服務調研參考收費表(單位:元)地域維度 一線城市 新一線城市二線城市 三線城市 四五線城市人員等級 系數:1.00 系數:0.85 系數:0.6 系數:0.5 系數:0.4 特聘專家 6,000 5,100 3,600 3,000 2,400 資深專家 5,000 4,250 3,000 2,500 2,000 優秀專家
65、4,000 3,500 2,400 2,000 1,600 高級大數據咨詢顧問 3,500 2,975 2,100 1,750 1,400 中級大數據咨詢顧問 2,500 2,125 1,500 1,250 1,000 初級大數據咨詢顧問 1,500 1,275 900 750 600 具體人員等級資格要求參考表見附錄1。數據分析行業服務參考文件 28 2.1.2.2 數據分析服務類人天服務調研參考 表 2-2 數據分析專家人才服務調研參考收費表(單位:元)地域維度 一線城市 新一線城市二線城市 三線城市 四五線城市 人員等級 系數:1.00 系數:0.85 系數:0.6 系數:0.5 系數:
66、0.4 特聘數據分析師專家 6,000 5,100 3,600 3,000 2,400 資深數據分析師學家 5,000 4,250 3,000 2,500 2,000 優秀數據分析師專家 4,000 3,500 2,400 2,000 1,600 高級數據分析師 3,000 2,550 1,800 1,500 1,200 中級數據分析師 2,000 1,700 1,200 1,000 800 初級數據分析師 1000 850 600 500 400 具體人員等級資格要求參考表見附錄2。2.1.2.3 模型開發服務類人天調研參考 表 2-3 算法工程師人才服務調研參考收費表(單位:元)地域維度
67、一線城市 新一線城市二線城市 三線城市 四五線城市人員等級 系數:1.00 系數:0.85 系數:0.6 系數:0.5 系數:0.4 數據科學家 6,000 5,100 3,600 3,000 2,400 資深算法工程師學家 5,000 4,250 3,000 2,500 2,000 優秀算法工程師專家 4,000 3,500 2,400 2,000 1,600 高級算法工程師 3,000 2,550 1,800 1,500 1,200 中級算法工程師 2,000 1,700 1,200 1,000 800 初級算法工程師 1000 850 600 500 400 具體人員等級資格要求參考表見
68、附錄3。2.1.2.4 差旅費調研參考 整體差旅費采用實報實銷制度,但不同的地域和級別均有不同的上限要求,以下內容僅做參考。表 2-4 技術專業人才服務調研參考收費表(單位:元)地域維度 一線城市 新一線城市 二線城市 三線城市 四五線城市 人員等級/類目 系數:1.00 系數:0.85 系數:0.6 系數:0.5 系數:0.4 交通費專家 次(上限)飛機商務艙/高鐵一等座 飛機商務艙/高鐵一等座 飛機商務艙/高鐵一等座 飛機商務艙/高鐵一等座 飛機商務艙/高鐵一等座 數據分析行業服務參考文件 29 交通費非專家次(上限)飛機普通艙/高鐵二等座 飛機普通艙/高鐵二等座 飛機普通艙/高鐵二等座
69、飛機普通艙/高鐵二等座 飛機普通艙/高鐵二等座 市內交通 按 照 出 租 車(類出租車業務)實報實銷 按照出租車(類出租車業務)實報實銷 按照出租車(類出租車業務)實報實銷 按照出租車(類出租車業務)實報實銷 按 照 出 租 車(類出租車業務)實報實銷 住宿費專家天(上限)800 680 480 400 320 住宿費非專家天(上限)500 425 300 250 200 專家餐飲費天(上限)200 170 120 100 80 非專家餐飲費天(上限)150 128 90 75 60 2.2 按大數據產品收費 2.2.1 適用場景 該收費模式適用于出售大數據產品服務等項目和內部開發大數據產品項
70、目,定價策略基本以成本加成的模式,同時參考市場同類產品的定價,具體按照產品維度進行定價,以下收費方式為市場調研價格,最終以雙方合同約定計費。2.2.2 調研收費參考 技術產品作為特殊商品,其價格的構成主要由以下三部分組成:在技術產品轉讓過程中所發生的直接費用。比如,派人洽談所需的旅差費、資料費以及簽約后復制的大量技術文件資料的費用等。但這種直接費用在整個技術產品價格中所占比例很小。如果是自研自用產品不涉及。技術產品研究開發費用的分攤。它取決于該項技術產品所處的生命周期,一般為主要的費用,包括大數據分析師的算法模型費用、智能營銷和風控策略模型、分析報告的框架、分析方法的部署等費用。技術產品創造利
71、潤的能力,即供方依利潤分享原則所應分得的份額,產品為按年付費或者按照運營效果進行分攤利潤形式,根據接收方每年的營收效果,費用每年計提。數據分析行業服務參考文件 30 成本加成定價=(產品轉讓過程費用+產品研發投入成本+產品創造利潤能力費用)*(1+產品收益率)/(1-所得稅),通常,產品收益率按照行業內上市公司的年化利潤率。適用于新研發產品,市面上產品較少,產品處于初期階段。市場跟隨定價=市場同類產品的參考定價,適用于標準化成熟的產品,市面上產品較多,產品處于成熟穩定期。2.3 按成果應用轉化收費 2.3.1 適用場景 該收費模式適用于效果可衡量的項目,通常適用于聯合運營類項目,后期雙方均參與
72、,以雙方對收入利潤貢獻的程度進行利潤分成或者以雙方約定的效果計費。以下收費方式為市場調研價格,僅供參考。2.3.2 調研收費參考 數據服務的調用量、查得量等支付收費,具體的收費參考同類行業市場情況,通常首次采用雙方協商后確定,收費參考=查得次數*協商定價,后期按照框架類合同續約即可。營銷效果收費,按照效果轉化過程中各個重要指標進行收費,例如:瀏覽量、點擊量、下單量等,通??梢圆捎脤€協議形式或者基金激勵形式進行效果收費。預測提升類,例如違約率降低百分點,可以按照違約損失模型進行收費預估:(原違約率*損失率*風險敞口-新違約率*損失率*風險敞口)*風險準備金收益分成。2.4 按項目收費 2.4.
73、1 適用場景 適用于項目公開招投標方式。2.4.2 調研收費參考 數據分析行業服務參考文件 31 依據項目預算,結合本公司經驗給出合理報價。同時要根據項目是否有后續項目或很有希望進入新市場而進行報價策略的選擇。成熟項目類(公司主要業務范圍):項目參考報價=同類項目市場歷史平均報價-預期二期的概率*二期的預期收益率*二期規模*30%(優惠折讓)+公司品牌溢價 新拓展的項目類(為拓展新業務范圍,進行實踐案例的沉淀):若此類項目無歷史參考價格,則項目參考報價=公司內部人力資本評估預算若此類項目有市場報價參考,則項目類參考報價=同類項目市場歷史平均報價*80%2.5 調研收費參考 整體上分為免費和收費
74、兩種模式,其中收費模式下,按產品提供服務:可按照產品簽單價格的5%10%/年提供服務;按項目提供服務:可按照項目合同金額的5%10%/年提供服務;按人天提供服務:需要按照服務等級或問題處理難度收費,低難度-初級職稱人員;中等難度-中級職稱人員;高難度-高級職稱人員。詳情同上。3.服務模式:3.1.駐場 駐場指數據分析服務人員進入項目需求方現場,與項目需求公司一起辦公。3.1.1.適用場景(1)對于數據、文件安全級別較高的客戶場景,即需要大量使用客戶內部敏感信息的情況;(2)需要大量溝通協調、需求實時變化的客戶場景;(3)對服務時間有及時性要求,一旦出問題可以即時跟進解決、快速響應的場景。數據分
75、析行業服務參考文件 32 3.1.2.工作模式 需要相關人員到客戶現場進行項目實施、交付。一般情況下與需求公司的工作模式一致,服從需求公司的管理制度,同時遵循本公司的管理制度,保持分析師職業操守。3.2.線上 線上服務模式指采用一系列的信息技術進行遠程協助,非面對面形式。3.2.1 適用場景(1)適用于前期需求溝通完畢,范圍確定后可進行遠程服務模式;(2)為了節約辦公成本,采用居家辦公的線上模型;(3)無需用到客戶安全級別較高的內部材料的項目;(4)存在高危、遠距離等不利因素的客戶場景。3.2.1 工作模式 工作人員可以采用線上工作模式,工作要求:支持實時語音通話、工作會議開展、正常上下班打卡
76、,可供客戶全稱監控的線上環境。3.3.云地協同 按照官方的定義,云地協同是指:云端和地端一起協作完成一系列的模型訓練,提高了管理效率,加速AI更新,是網絡AI化的理念,而此處的云地協同模式指駐場辦公人員與遠程的線上人員,以及本公司場地人員進行三維立體化共享知識成果,共同完成項目的交付。3.3.1.適用場景 數據分析行業服務參考文件 33 對于需求相對固定,可以遠程研發,同時支持線下驗證或溝通的客戶場景。一般性項目均可采用此模式,適用范圍較廣。3.3.2.工作模式 不定期根據需求和客戶情況,進行遠程或現場的支持,工作模式較為自由,定期按照項目進度交付產出物。為了控制項目成本進行本地化多項目支持,
77、部分駐場,線上會議,知識進行云端編輯共享。數據分析行業服務參考文件 34 六、項目運營管理標準 1.運營管理 1.1 前期規劃 針對已經簽約的合同,要進行項目前期規劃,以保證項目保質保量的按時交付。項目需求提出方需要出具商業論證書,相當于項目啟動規劃,接手需要的一方根據商業論證書出具項目整體規劃:工作說明書、項目規格、里程碑計劃、工作分解結構表(WBS)。1.1.1 商業論證書 項目規劃是一個迭代過程,必須貫徹項目的整個生命周期。首先需要(需求提出人)制定一份商業論證書,是用于啟動項目的文檔,內容要詳細介紹項目的邊界,方便幫助完成需求的一方可以根據它預測項目的商業價值、收益、及完成項目所需的成
78、本。對承接該項目的可行性、合理性說明,對項目的必要性做出合理解釋,也包括項目的成本和利潤估計,目的在于使決策者支持項目并分配相應的資源。1.1.2 確認假設 規劃的首要工作是了解需求,約束條件和假設,項目規劃一般是基于過去同類項目經驗推測出來的,如果之前未參與此類項目,則需要進行假設。主要包括外部環境假設和公司內部環境假設。項目啟動時要證實所有的假設,若證實了假設是錯誤的,需要提前制定管理計劃。1.1.3 確認目標 高層的項目目標為項目的行動指南,項目經理需要根據高層的目標制定具體的目標。目標制定需要遵循SMART原則(具體明確、可衡量、可達成、現實或相關、實際或有時限)。數據分析行業服務參考
79、文件 35 1.1.4 總體規劃 規劃是要決定需要做什么,由誰做,什么時候做,從而確認每個人的職責,規劃階段有9個主要組成部分:目標、方案、進度規劃、預算、預測、組織、方針、程序、標準。同時做好生命周期階段規劃,列好每個階段的活動清單,確保規劃的一致性,同時可以把控整個項目。制定項目總體規劃需要一些前期材料:(1)工作說明書(SOW):是項目要求的狹義工作描述。此文件由乙方(項目承接方)編寫完成后交由客戶批準審閱,后期項目的詳細工作內容、項目范圍邊界均參考此項文件。(2)項目規格要求,規范列表是單獨作為工作說明一部分而獨立說話或確認的,用于工時、設備和材料的估計。(3)里程碑進度計劃,主要包括
80、項目的起始日期和終止日期。其他主要的里程碑如:評審會、原型、購買、實驗等也應該加以確認。最后一個主題,數據項:可交付成果活報告;(4)工作分解結構WBS,在項目規劃中,項目經理必須將工作分解成小要素,方便可管理、獨立的、可組合的小工作塊,根據進度可以測量。1.2 需求管理(1)需求獲?。ㄓ脩粜枨笳f明書)與客戶溝通,捕捉分析及修正用戶對項目的需求,提煉出符合解決用戶問題的用戶需求。(2)需求分析 對用戶的需求進行分析描述,初步判斷需求是否清晰明確并且可以執行。(3)需求定義 根據需求調查和需求分析的結果,定義準確的用戶需求,編制需求規格說明書。(4)需求驗證 雙方對需求文檔進行評審,達成共識后做
81、出書面承諾(商業合同)。(5)需求管理計劃 數據分析行業服務參考文件 36 明確對需求的理解,對需求的承諾,管理需求變更,維護需求的雙向跟蹤,識別項目工作與需求的不一致。1.3 成本控制 成本控制指好的成本管理,成本管理包括成本估算、成本核算、項目現金流、公司現金流、直接人工成本、間接費用費率。需要關注的指標:計劃工作預算成本(BCWS)、已完成工作預算成本(BCWP)、已完成工作實際成本(ACWP)。1.4 績效衡量 項目績效在使用時間和成本兩個指標上,增加了大數據分析預測的準確性、分析的正確性、方案的可落地執行性以及增加定性的客戶的滿意度、品牌忠誠度的提高、等指標來衡量項目的成效情況。1.
82、5 風險管理 所謂風險是指無法達到預定目標的可能性或結果。風險的兩大關鍵要素為該事件發生的概率和該事件發生所帶來的后果或者影響。風險管理是指處理風險的行為或實際活動,包括制定風險計劃,識別風險,分析風險、制定風險應對計劃及風險監控。初始計劃階段主要典型風險事件:沒有風險管理計劃;計劃草率;缺乏準確參數;傳播不準確;沒有管理支持;角色定義不明確;團隊缺乏經驗等。項目實施階段主要典型風險事件:員工缺乏技能;材料可獲得性;罷工;天氣影響;范圍變更;項目進度變更;管理制度要求;無合適的控制系統等。項目收尾階段主要典型風險事件:質量差;客戶不接受;基建規模更改;現金流問題等。風險應對計劃包括用特定的方法
83、和技術處理已知的風險和機會,識別誰對風險或機遇負責,并估計應對風險所需要的資源,具體是指將風險降低至理想程度的計劃及其計劃的實施。主要應對方法類型:規避風險、轉移風險、緩解風險。數據分析行業服務參考文件 37 1.6 項目質量監控 用戶的需求由全面質量管理(全面質量管理:合適的時間、合適的地點為客戶提供高質量的產品)來處理,是一個持續改進的過程,以最小的成本為最終用戶提供可完全接受的產品或服務。其目的包括:留住現有用戶;重新吸引流失的用戶;贏得新用戶。項目質量監控包括五個方面:(1)項目質量目標,好的項目質量目標應該是可達到;(2)項目質量保證是正式活動和管理過程的集合性術語;(3)項目質量控
84、制,作為項目質量管理的技術方面,建立一些技術和程序保證質量的層次;(4)項目質量審計,為有資格的人員獨立的評價過程;(5)項目質量計劃,由項目經理和項目成員共同制定,利用項目工作分解結構得來。2.項目交付成果 各類項目過程中的交付材料,均需要雙方項目負責人確認簽字,重要的驗收文檔還需要需求負責人以及管理層簽字確認。2.1 大數據咨詢服務類項目 首先進行現場調研,調查問卷、會議訪談記錄,客戶資料研讀;其次針對調研材料進行現狀分析,提供現狀分析報告(包含差異分析)、需求分析。方案設計階段進行方案討論、方案設計,產出方案設計匯報。項目中期階段,進行關鍵性成果的回報,產出咨詢方案框架、中期項目匯報。咨
85、詢成果完成階段,產出項目匯報、咨詢方案、規劃方案,針對數據管理類咨詢同時需要產出*辦法、*規范、*細則等。知識轉移階段,要求讓客戶能聽得懂、學得好、用得上、講得清,產出為項目培訓、項目重點知識分解文檔等。數據分析行業服務參考文件 38 2.2 數據分析類項目 首先進行現場調研,調查問卷、會議訪談記錄;客戶資料研讀;提供調查問卷,會議紀要;其次針對調研材料進行需求分析,提供需求分析、數據清單。方案設計階段,進行方案討論、方案設計,產出方案設計匯報(數據分析方法、模型、策略、輸入變量討論、方案框架)。項目中期階段,進行關鍵性成果的回報,產出數據分析模型、中期匯報。數據分析成果完成階段,產出數據分析
86、報告,包括數據源出處、數據探索、數據清洗、變量選擇、模型選擇、分析工具、分析代碼、模型輸出結果、結果分析、應用指導等。分析報告類,產出行業大數據分析報告、大數據商業洞察報告、項目投資可行性報告(側重于分析思維,不闡釋具體算法詳情,涵蓋內容包括數據引用出處,數據模型、分析結果、趨勢預測、指導建議)。2.3 數據產品類項目 產品設計階段:進行需求調研、產品設計、找準產品定位,產出產品設計方案(原型設計、功能設計、架構設計、技術實現方式、配置要求等)。產品研發階段:產品的核心算法和核心流程,產出 產品研發說明書,包括產品營銷/風控策略、規則說明,每個業務模型的適用場景、模型算法、輸入變量、輸出變量、
87、參數含義等,核心流程說明,或者單獨產出產品模型算法說明書和業務邏輯規則說明書。產品完成階段:產品測試,產出產品測試報告(功能和性能測試、測試用例),產品說明手冊,對外發布的涵蓋產品相關信息的原則性和指導性的文件。產出 產品白皮書,主要包括“產品介紹”、“產品屬性”、“產品體系架構”、“產品功能”、“產品后臺”、“產品應用”這六大部分;產品操作手冊詳細描述產品的功能、性能和用戶界面,使用戶了解到如何使用該產品的說明書。當對產品的某個功能感到困惑時,可以通過產品操作手冊來解決。數據分析行業服務參考文件 39 3.售后服務規范 3.1 售后服務范圍 售后服務是指企業在產品或服務出售以后所提供的工作內
88、容,大數據分析服務和咨詢類服務主要包括:模型咨詢、分析方法咨詢、模型調整、報告或方案答疑等。產品類主要包括安裝/部署、運維、功能咨詢等。模型咨詢、分析方法咨詢:針對分析報告的核心算法或者策略部分,有疑問地方向模型工程師進行討論或咨詢,通常會提供為期半年的答疑服務,具體次數建議2-3次,時長為每次3 小時左右。模型調整/方案調整:隨著時間和環境的變化,模型需要定期調整,需要模型調整或更新,屬于需求的新增,需要根據問題的情況進行評估,雙方協商后確定是否重新發起項目二期。報告/方案解讀:針對知識轉移后期在實施和執行過程中,有疑問或者不清楚的地方,可以向咨詢顧問進行提問,通常會提供為期1年的答疑服務,
89、具體次數建議2-3次,包含1次現場指導,通常均為3小時左右。安裝/部署服務:隨著科學技術的發展,產品中的技術含量越來越高,一些產品的使用和安裝也極其復雜,一般to B產品提供專業的安裝和部署服務。只針對數據產品類服務。運維服務:針對大數據分析服務通用:企業若能為客戶提供良好的運維服務,就可以使客戶安心地購買、使用產品或服務,從而打消企業客戶的疑慮。運維服務根據項目的規模和復雜程度提供不同期限的免費運維服務。產品功能咨詢:客戶在使用過程中對產品的功能模塊有疑問的地方需要專人進行解答。3.2 售后服務原則 售后服務的表現方式多種多樣,通??煞譃閮煞N,一是售后使用指導和回訪,二是解決客戶在產品/服務
90、使用過程中遇到的問題,并對客戶的相應疑惑進行解答。售后服務始終要堅持以熱情的態度面對客戶,當客戶帶有不滿情緒時,我們要給予正確引導。對于客戶提出的疑問,無論是產品使用方法、產品細節、模型細節、咨詢方案等在實施執行過程中遇到的問題,我們都要及時給予反饋,并積極尋找原 數據分析行業服務參考文件 40 因和解決辦法,再用通俗易懂的語言向客戶解釋,使售后服務做到快捷、專業、及時。3.3 售后服務流程 包括反饋渠道、響應機制和時間承諾、處理流程和期限、服務評價等內容??蛻艨梢酝ㄟ^郵箱、電話、互聯網與服務方進行即時咨詢或提交工單,服務方收到客戶請求后,技術工程師會對問題進行分級,并及時與客戶聯系,定期更新
91、問題進展,直到問題解決。3.4 售后服務相關材料 大數據咨詢服務類:提供相關的政策法律、法規以及參考文獻等,幫助企業能更加深入的理解咨詢方案,指導后期的落地執行。提供不少于2次的收費或者免費的方案落地咨詢指導,保證企業在實施過程中的順利開展。大數據分析服務類:提供相關模型、算法、參數的指導材料,幫助企業的相關人員能夠更好的維護分析模型的運行和落地執行。提供不少于2次的收費或者免費的分析服務咨詢指導,保證企業在執行分析策略或決策過程中遇到問題,可以得到有力支持。大數據產品服務類:提供相關產品學習視頻;提供不低于半年的收費或者免費產品運維服務,保證系統或報告的良好運行以及有效性。數據分析行業服務參
92、考文件 41 七、數據分析行業規范 1.數據分析相關企業單位從業規范 1.1 規范數據分析行業相關單位的行為,保證我國數據分析行業依法合規經營,維護數據分析行業合理有序、公平競爭的市場環境,共同抵制行業內不正當競爭行為,促進數據分析行業健康運行。1.2 相關單位須嚴格遵守國家法律、法規和行業自律公約,不得有國家法律、法規及監管部門規定的禁止行為。1.3 相關單位在數據安全方面,須嚴格遵守中華人民共和國數據安全法、中華人民共和國個人信息保護法等相關國家法律。1.4 倡議全行業從業者遵守本規范,從維護國家和全行業整體利益的高度出發,積極推進行業自律,創造良好的行業發展環境。我會會員應成為本規范的模
93、范執行者。1.5 相關單位對客戶提供的數據要嚴格保密、對數據分析過程及其結果要科學、嚴謹,應自覺使用合法合規信息,要對敏感數據,關鍵數據進行保護、脫敏。不得以任何形式使用或泄露國家保密信息、客戶信息,以及未公開的重大信息,不得編造并傳播虛假、不實、誤導性信息。1.6 相關單位在數據分析業務活動過程中,要避免和客戶發生利益沖突,在不違反數據分析成果的前提下始終將客戶的利益放在第一位,不得為自身謀取任何潛在利益。1.7 相關單位在具體的從業過程中,要保證工作的獨立、客觀和公正。1.8 相關單位在具體的從業過程中,承接投資決策相關業務的,不得與第三方公司有不正當合作,或以出具數據分析報告為由,向客戶
94、收取服務費。1.9 相關單位應遵循公平競爭原則,維護正常的市場秩序,遵守商業道德,杜絕惡性競爭和壟斷市場等行為,不得以減免或承擔相關費用為條件進行不正當競爭;不得以詆毀行業內其他單位的商業聲譽、泄露其商業秘密等不正當手段爭攬業務;不得利用政府行政資源干預手段不計成本地爭攬客戶,擾亂正常的經營秩序。1.10 相關單位應具有公正、積極、科學的企業價值觀。以推動中國數據分析行業發展為己任,以 數據分析行業服務參考文件 42 幫助客戶規避風險、助推客戶發展為目標。1.11 相關單位應正當宣傳、公平交易、有序競爭。努力構建統一、開放、競爭、有序的現代市場體系。1.12相關單位應具備以客戶為中心的服務文化
95、,學知識、學科學、學技術,以不斷強化職業道德和業務技術為核心,努力提高從業人員的道德修養和綜合素質,提高客戶滿意度。1.13 相關單位應遵守項目研發管理流程,保證需求確認合理,設計文檔齊全、過程管理嚴格、交付滿意、售后服務周到。1.14 相關單位應具有足夠數量的數據分析人員,如數據清洗專家、數據發現專家、業務解決方案架構師、數據科學家和營銷專家等,能夠進行商業理解、數據理解、數據準備、建立模型、模型評估、結果部署和生成報告、產品系統開發、平臺構建等全流程數據分析工作。1.15 數據分析師事務所獲取中國數據分析行業會員執業資質證書需要具備持證數據分析師或具備數據分析師水平的人員。1.16 數據分
96、析師事務所承接業務時,數據分析成果簽字人需要事務所專職人員,不得為掛靠人員。2.數據分析師從業規范 2.1 數據分析師須嚴格遵守國家法律、法規和行業自律公約以及所在經營機構內部管理制度,不得有國家法律、法規及監管部門規定的禁止行為。2.2 數據分析師應在獨立、客觀、公平、審慎、專業、誠信的從業原則下開展業務,不得損害國家利益、社會公共利益和行業利益。自覺弘揚行業優秀文化,加強自身職業道德修養,規范自身行為,履行社會責任,遵守社會公德,遵守企業內部管理制度,規范從業行為。2.3 數據分析師應恪守誠信原則,具備嚴謹、負責的態度,保證數據的客觀、真實、準確,保持中立立場,客觀評價數據分析過程中存在的
97、問題,提供有效的參考依據。2.4 數據分析師在執行數據分析業務時應積極主動地發現和挖掘隱藏在數據背后的真相,始終對數據和結論保持敏感。數據分析行業服務參考文件 43 2.5 數據分析師應具備勇于創新的精神,通過不斷創新,提高自身分析能力,使自己站在更高的角度來分析問題,為整個研究領域乃至社會帶來更多的價值。2.6 數據分析師應團結互助、相互尊重,加強合作、共謀發展,共同維護數據分析行業良好形象,不得在公眾場合及媒體上發表貶低、損害數據分析行業聲譽的言論,不得以不正當手段與同行競爭。2.7 數據分析師在提交數據分析成果時,應自覺使用合法合規信息,不得以任何形式使用或泄露國家保密信息、客戶信息以及
98、未公開的重大信息。2.8 數據分析師在執行數據分析業務中,應具備風險識別預警能力,向客戶進行必要的風險提示,同時通過數據分析能夠識別業務管理過程中存在的風險點,具有前瞻性,可提出綜合性解決方案。數據分析行業服務參考文件 44 八、違規事項及反饋機制 1.違規事項 1.1 違反我國大數據領域相關法律法規。在未經允許的情況下,收集、使用或泄露國家保密信息、客戶信息和未公開的重大信息;編造并傳播虛假、不實、誤導性信息。1.2 通過減免或承擔相關費用,詆毀行業內競爭對手的商業聲譽、泄露競爭對手商業秘密等方式進行不正當競爭和壟斷市場等行為,擾亂行業正常的經營秩序。1.3 數據分析結果弄虛作假,私自、與客
99、戶或與其他市場參與主體合謀篡改數據從而歪曲分析結果。1.4 與客戶簽訂數據分析合同后,未能按照合同約定履行相關責任和義務。和客戶利益發生沖突時,將自身利益放在第一位,為自身謀取不當利益。1.5 涉及投資決策相關業務時,與第三方公司有不正當合作,以及以出具數據分析報告為由,向客戶收取服務費。2反饋方式 發現有以上違規事項可向我會反饋,我會將核實情況后進行處理。電話反饋:010-59000056-652 在線反饋:登錄中國數據分析行業網站 www.chinacpda.org 進行在線反饋,或登錄微信搜索公眾號“中國商聯數據分析專業委員會”,進入行業協會-了解協會-聯系我們進行在線反饋。數據分析行業
100、服務參考文件 45 附 錄 附件1:大數據咨詢專家資格要求參考表 人員等級 不同級別資格要求 特聘專家 1.具體行業從業工作年限10年以上;2.不少于8個具體行業的數字化轉型和企業大數據治理整體體系項目的成功咨詢案例;3.不少于6個具體戰略規劃和咨詢實施方案落地的實施經驗;4.精通在具體行業的數據整體規劃、數據中臺、數據運營與服務方法論;具備大型企業數據戰略目標規劃、轉型架構設計、大數據平臺規劃、應用規劃設計、數據需求分析、數據視圖設計、數據分析挖掘、數據建模、風險管控、運營管理等領域所需的專業技術儲備和相關實施經驗,對具體行業數字化轉型有深刻見解;5.精通在數據治理、數據資產管理、數據架構及
101、平臺建設方法論;具備大型企業數據治理組織架構、數據指標體系建設、數據標準建立、數據質量管控、數據資產管理體系規劃、數據資產盤點整合、數據架構規劃等領域所需的專業技術儲備和相關實施經驗;具備建立具體行業機構數據治理管理制度、流程、規則等制度體系的能力;6.精通具體行業數據領域相關專業知識及相關工具,精通大數據云平臺等前沿技術、工具,擁有大數據技術平臺設計和實施經驗;7.能獨立承擔或組織公司的大型項目系統設計工作和項目管理工作;8.能夠獨立分析技術或業務難題,并提出解決方案,對數據新技術、市場動態有很強的洞察力;9.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯有獨立的見解和想
102、法,幫助業務變革性的提升。資深專家 1.具體行業從業工作年限8年以上;2.不少于6個具體行業的數字化轉型和企業大數據治理整體體系項目的成功咨詢案例;3.不少于4個具體戰略規劃和咨詢實施方案落地的實施經驗;4.精通在具體行業的數據整體規劃、數據中臺、數據運營與服務方法論;具備大型企業數據戰略目標規劃、轉型架構設計、大數據平臺規劃設計、應用規劃設計、數據需求分析、數據視圖設計、數據分析挖掘、數據建模、風險管控、運營管理等領域所需的專業技術儲備和相關實施經驗,對具體行業數字化轉型有深刻見解;5.精通在數據治理、數據資產管理、數據架構及平臺建設方法論;具備大型企業數據治理組織架構、數據指標體系建設、數
103、據標準建立、數據質量管控、數據資產管理體系規劃、數據資產盤點整合、數據架構規劃等領域所需的專業技術儲備和相關實施經驗;數據分析行業服務參考文件 46 具備建立機構數據治理管理制度、流程、規則等制度體系的能力;6.精通具體行業數據領域相關專業知識及相關工具,精通大數據云平臺等前沿技術、工具,擁有大數據技術平臺設計和實施經驗;7.能獨立承擔或組織公司的大型項目系統設計工作和項目管理工作;8.能夠獨立分析技術或業務難題,并提出解決方案,對數據新技術、市場動態有很強的洞察力;9.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯有獨立的見解和想法,幫助業務創新性的提升。優秀專家 1.具
104、體行業從業工作年限6年以上;2.不少于4個具體行業的數字化轉型和企業大數據治理整體體系項目的成功咨詢案例;3.不少于3個具體戰略規劃和咨詢實施方案落地的實施經驗;4.掌握在具體行業的數據整體規劃、數據中臺、數據運營與服務方法論;具備大型企業數據戰略目標規劃、轉型架構設計、大數據平臺規劃、應用規劃設計、數據需求分析、數據視圖設計、數據分析挖掘、數據建模、風險管控、運營管理等領域所需的專業技術儲備和相關實施經驗;5.掌握在數據治理、數據資產管理、數據架構及平臺建設方法論;具備大型企業數據治理組織架構、數據指標體系建設、數據標準建立、數據質量管控、數據資產管理體系規劃、數據資產盤點整合、數據架構規劃
105、等領域所需的專業技術儲備和相關實施經驗;具備建立機構數據治理管理制度、流程、規則等制度體系的能力;6.掌握具體行業數據領域相關專業知識及相關工具,掌握大數據云平臺等前沿技術、工具,擁有大數據技術平臺設計和實施經驗;7.能獨立承擔或組織公司的較大項目系統設計工作;8.對數據新技術、市場動態、業務應用有很強的洞察力。高級大數據 咨詢顧問 1.具體行業從業工作年限5年以上;2.不少于3個具體行業的數字化轉型和企業大數據治理整體體系項目的成功咨詢案例;3.不少于2個具體戰略規劃和咨詢實施方案落地的實施經驗;4.掌握在具體行業的數據整體規劃、數據中臺、數據運營與服務方法論;具備大型企業數據戰略目標規劃、
106、轉型架構設計、大數據平臺規劃、應用規劃設計、數據需求分析、數據視圖設計、數據分析挖掘、數據建模、風險管控、運營管理等領域所需的專業技術儲備和相關實施經驗;5.掌握在數據治理、數據資產管理、數據架構及平臺建設方法論;具備大型企業數據治理組織架構、數據指標體系建設、數據標準建立、數據質量管控、數據資產管理體系規劃、數據資產盤點整合、數據架構規劃等領域所需的專業技術儲備和相關實施經驗;數據分析行業服務參考文件 47 具備建立機構數據治理管理制度、流程、規則等制度體系的能力;6.掌握具體行業數據領域相關專業知識及相關工具,掌握大數據云平臺等前沿技術、工具,擁有大數據技術平臺設計和實施經驗;7.能獨立承
107、擔或組織公司的較大項目系統設計工作;8.對數據新技術、市場動態、業務應用有很強的洞察力。中級大數據 咨詢顧問 1.具體行業從業工作年限3年以上;2.不少于2個具體行業數據分析應用相關項目或者專業數據治理域模塊的管理和實踐經驗;3.熟悉具體行業的數據治理、數據資產管理、數據架構及平臺建設方法論;具備數據標準、數據質量、數據安全、元數據、外部數據、數據生命周期、主數據、數據資產、數據集成共享、數據應用等一項以上領域所需的專業技術儲備和相關實施經驗;4.熟悉具體行業的數據應用模塊,例如:客戶畫像、客戶定價、精準營銷、供應鏈管理、生產規劃、流程優化、產品運營、風險管控等一項以上領域所需的專業技術儲備和
108、相關實施經驗;5.熟悉具體行業基本產品和業務特點,了解公司業務發展的基本情況;6.能獨立開展業務主題調研、分析并撰寫報告。初級大數據 咨詢顧問 1.具體行業從業工作年限1年以上;2.不少于1個具體行業數據分析應用相關項目或者專業數據治理域模塊的管理和實踐經驗;3.熟悉具體行業的數據治理、數據資產管理、數據架構及平臺建設方法論;具備數據標準、數據質量、數據安全、元數據、外部數據、數據生命周期、主數據、數據資產、數據集成共享、數據應用等一項以上領域所需的專業技術儲備和相關實施經驗;4.熟悉具體行業的數據應用模塊,例如:客戶畫像、客戶定價、精準營銷、供應鏈管理、生產規劃、流程優化、產品運營、風險管控
109、等一項以上領域所需的專業技術儲備和相關實施經驗;5.熟悉具體行業基本產品和業務特點,了解公司業務發展的基本情況。數據分析行業服務參考文件 48 附件2:大數據分析專家資格要求參考表 人員等級 不同級別資格要求 特聘數據分析專家 1.具體行業從業工作年限10年以上;2.不少于8個具體行業的數據分析、商業研究等項目的成功案例;3.不少于6個具體行業的數據分析、商業研究方案落地的實戰經驗;4.在子系統或復雜分析項目中,能獨立定位問題,能將復雜問題拆解并用數據解釋和解決問題的能力,經常做出超預期目標的效果,如通過數據應用提升營銷效率、提升用戶活躍、留存;5.兼顧深度與廣度,能夠系統分析復雜項目的業務問
110、題,掌握業界數據分析方法論與工具的最新進展,合理適配業界先進模型,游刃有余地運用多種專業分析技術。6.深刻理解業務,主導復雜項目的數據分析,分析過程與結果能獲取深刻洞察,并且能推動分析結果落地,業務效果獲得顯著提升,對業務發展有重要貢獻;結合業務場景、業界視野,沉淀出比較有影響的方法論;7.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯有獨立的見解和想法,幫助業務變革性的提升。優秀數據分析專家 1.具體行業從業工作年限8年以上;2.不少于6個具體行業的數據分析、商業研究等項目的成功案例;3.不少于4個具體行業的數據分析、商業研究方案落地的實戰經驗;4.在子系統或復雜分析項目
111、中,能獨立定位問題,能將復雜問題拆解并用數據解釋和解決問題的能力,經常做出超預期目標的效果,如通過數據應用提升營銷效率、提升用戶活躍、留存;5.兼顧深度與廣度,能夠系統分析復雜項目的業務問題,掌握業界數據分析方法論與工具的最新進展,合理適配業界先進模型,游刃有余地運用多種專業分析技術;6.深刻理解業務,主導復雜項目的數據分析,分析過程與結果能獲取深刻洞察,并且能推動分析結果落地,業務效果獲得顯著提升,對業務發展有重要貢獻;結合業務場景、業界視野,沉淀出比較有影響的方法論;7.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯有獨立的見解和想法,幫助業務變革性的提升。高級數據分析
112、師 1.具體行業從業工作年限5年以上;2.不少于4個具體行業的數據分析、商業研究等項目的成功案例;3.不少于3個具體行業的數據分析、商業研究方案落地的實戰經驗;4.在子系統或復雜分析項目中,能獨立定位問題,能將復雜問題拆解并用數據解釋和解決問題的能力,經常做出超預期目標的效果,如通過數據應用提升營銷效率、數據分析行業服務參考文件 49 提升用戶活躍、留存;5.深刻理解業務,主導復雜項目的數據分析,分析過程與結果能獲取深刻洞察,并且能推動分析結果落地,業務效果獲得顯著提升,對業務發展有重要貢獻;結合業務場景、業界視野,沉淀出比較有影響的方法論;6.深度掌握符合業務需要的數據分析模型,能主導某個常
113、規的項目,挖掘潛在規律和問題,熟練使用多種分析工具,發現數據規律,定位關鍵問題,形成有價值的建議,指導團隊科學決策;7.能獨立承接業務問題,具備業務思維,綜合運用商業分析、定性分析、思維工具等業務分析方法,轉化成數學問題,并能設計專項的實施方案,完成對業務的綜合問題診斷、評估及建議,或者設計數據AB實驗驗證方案提升、優化產品和運營效果等工作。中級數據分析師 1.具體行業從業工作年限3年以上;2.不少于2個具體行業的數據分析、商業研究等項目的成功案例;3.不少于1個具體行業的數據分析、商業研究方案落地的實戰經驗;4.能針對簡單的業務問題定量拆解,設計分析方案,運用簡單分析建模方法和工具來完成數據
114、分析工作,提煉出關鍵結論;5.按照指標體系和數據規劃的方案,獨立完成數據需求的開發,保證數據的有效性和準確性,能夠通過分析對業務的具體問題輸出有價值的結論,并且輸出效率有所提升;6.具備業務思維,綜合運用商業分析、定性分析、思維工具等業務分析方法,轉化成數學問題,并能設計專項的實施方案,完成對業務的綜合問題診斷、評估及建議,或者設計數據AB實驗驗證方案提升、優化產品和運營效果等工作。初級數據分析師 1.具體行業從業工作年限1年以上;2.不少于1個具體行業的數據分析、商業研究方案落地的實戰經驗;3.能針對簡單的業務問題定量拆解,設計分析方案,運用簡單分析建模方法和工具來完成數據分析工作,提煉出關
115、鍵結論;4.按照指標體系和數據規劃的方案,獨立完成數據需求的開發,保證數據的有效性和準確性,能夠通過分析對業務的具體問題輸出有價值的結論,并且輸出效率有所提升。5.具備業務思維,綜合運用商業分析、定性分析、思維工具等業務分析方法,轉化成數學問題,并能設計專項的實施方案,完成對業務的綜合問題診斷、評估及建議,或者設計數據AB實驗驗證方案提升、優化產品和運營效果等工作。數據分析行業服務參考文件 50 附件3:大數據科學家資格要求參考表 人員等級 不同級別資格要求 數據科學家 1.具體行業從業工作年限10年以上;2.不少于8個具體行業的人工智能和信息科技產品整體體系項目的成功案例;3.不少于6個具體
116、行業的人工智能和信息科技產品整體體系項目實施方案落地的實戰經驗;4.能主導產品線重大數據項目或者在公司重要業務有創造性貢獻,在數據治理、資產管理、計算流程等方面有業界領先的視野以及方法論,在數據穩定性、計算效率、指標可視化等方面有創造性的提升;5.主導完成數據系統建設,解決部門內重要項目的數據分析質量與效率問題,對業務運營、決策、增長有重大性貢獻;6.對市場主流機器學習技術方案有深入分析和充分理解,具備引領公司進一步發展的技術能力,對前沿技術具有前瞻性,能夠用技術驅動產品提升與演進;7.能夠獨立分析技術或業務難題,并提出解決方案;8.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業
117、務邏輯有獨立的見解和想法,幫助業務變革性的提升。資深算法工程師專家 1.具體行業從業工作年限8年以上;2.不少于6個具體行業的人工智能和信息科技產品整體體系項目的成功案例;3.不少于4個具體行業的人工智能和信息科技產品整體體系項目實施方案落地的實戰經驗;4.能主導產品線重大數據項目或者在公司重要業務有創造性貢獻,在數據治理、資產管理、計算流程等方面有業界領先的視野以及方法論,在數據穩定性、計算效率、指標可視化等方面有創造性的提升;5.主導完成數據系統建設,解決部門內重要項目的數據分析質量與效率問題,對業務運營、決策、增長有重大性貢獻;6.對市場主流機器學習技術方案有深入分析和充分理解,具備引領
118、公司進一步發展的技術能力,對前沿技術具有前瞻性,能夠用技術驅動產品提升與演進;7.能夠獨立分析技術或業務難題,并提出解決方案;8.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯有獨立的見解和想法,幫助業務變革性的提升。數據分析行業服務參考文件 51 優秀算法工程師專家 1.具體行業從業工作年限6年以上;2.不少于4個具體行業的人工智能和信息科技產品整體體系項目的成功案例;3.不少于3個具體行業的人工智能和信息科技產品整體體系項目實施方案落地的實戰經驗;4.能主導產品線重大數據項目或者在公司重要業務有一定貢獻,在數據治理、資產管理、計算流程等方面有業界領先的視野以及方法論,在
119、數據穩定性、計算效率、指標可視化等方面有創造性的提升;5.主導完成數據系統建設,解決部門內重要項目的數據分析質量與效率問題,對業務運營、決策、增長有重大性貢獻;6.快速跟進市場主流機器學習技術方案,具備培養公司優秀人才的技術能力,對前沿技術具有前瞻性,能夠用技術驅動產品提升與演進;7.能夠獨立分析技術或業務難題,并提出解決方案;8.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯敏感。高級算法工程師 1.具體行業從業工作年限5年以上;2.不少于3個具體行業的人工智能和信息科技產品整體體系項目的成功案例;3.不少于2個具體行業的人工智能和信息科技產品整體體系項目實施方案落地的實
120、戰經驗;4.能主導產品線重大數據項目或者在公司重要業務有一定貢獻,在數據治理、資產管理、計算流程等方面有業界領先的視野以及方法論,在數據穩定性、計算效率、指標可視化等方面有創造性的提升;5.主導完成數據系統建設,解決部門內重要項目的數據分析質量與效率問題,對業務運營、決策、增長有重大性貢獻;6.快速跟進市場主流機器學習技術方案,具備培養公司優秀人才的技術能力,對前沿技術具有前瞻性,能夠用技術驅動產品提升與演進;7.能夠獨立分析技術或業務難題,并提出解決方案;8.具備很好的邏輯分析能力和系統性思維能力,對數據、商業模式、業務邏輯敏感。中級算法工程師 1.具體行業從業工作年限3年以上;2.不少于2
121、個具體行業的人工智能和信息科技產品整體體系項目實施方案落地的實戰經驗;3.深度掌握符合業務需要的數據分析模型,能夠主導較復雜的項目,能夠深入挖掘潛在規律和問題;能夠設計實驗進行科學驗證,完成因果推斷,指導團隊科 數據分析行業服務參考文件 52 學決策;定量分析方法經過充分調研,具備一定的業界合理性;4.快速跟進市場主流機器學習技術方案,將主流技術應用到業務場景中,輔助業務增長;5.能理解業務訴求,主導常規的數據開發工作,獨立負責推動項目的數據上報、數據倉庫建設、指標定義、數據可視化等全流程,能通過選擇引擎、指導計算性能調優等方式合理減少問題出現;6.能理解業務訴求,獨立設計相應的數據上報、數據
122、倉庫建設、指標定義、數據可視化等工作,能合理選擇計算引擎與存儲引擎、指導計算性能調優等。初級算法工程師 1.具體行業從業工作年限1年以上;2.不少于1個具體行業的人工智能和信息科技產品整體體系項目實施方案落地的實戰經驗;3.通過分析業務問題,使用算法模型,能夠獨立開發模型,完成驗證、上線;4.掌握數據挖掘經典算法,熟練進行模型訓練、測試、開發、上線、部署等工作;5.能理解業務訴求,主導常規的數據開發工作,獨立負責推動項目的數據上報、數據倉庫建設、指標定義、數據可視化等全流程,能通過選擇引擎、指導計算性能調優等方式合理減少問題出現;6.能理解業務訴求,獨立設計相應的數據上報、數據倉庫建設、指標定義、數據可視化等工作,能合理選擇計算引擎與存儲引擎等。