2019年大數據可視化在工業企業優化與創新中的應用與發展.pdf

1、大數據可視化在工業企業優化與創新中的應用與發展 2019/10/13目錄 1.大數據可視化的概念基礎 2.大數據可視化獲得成效的兩條路徑 3.大數據可視化應用的基本概念 4.工業企業大數據可視化的真實案例 5.大數據可視化的應用技巧 6.未來的發展趨勢 7.幾點思考1.大數據可視化的概念基礎啟動案例利用大數據思維，將企業的數據增加到大數據。利用傳統的、已有的數據，通過大數據可視化應用獲得優化與創新。利用新構建的大數據，進行大數據可視化，獲得優化與創新。啟動案例 90萬，這是一個車間因為生產的進出不平衡而被廠部扣罰的獎金數。所謂進出平衡，就是進入車間的毛坯數量，要和出車間產品、廢品，以及庫存相等

2、。有一片差異，廠部就扣車間30元獎金。車間原先每月都有幾千片差異，例如2800、3000，平均2500。車間原先運作模式是班組長每日統計各生產線工票，提交給統計員，統計員每天將這些數據錄入系統，到月底進行進出平衡計算。經過查看車間紙面統計表后，建議在班組長使用的工票報表中增加一列，即驗證列，要求計算并填寫單工票的進出平衡結果。七個月過去，前面車間每月差異只有2030片，其中一個月歸零。又過個月，車間每個月差異都為零。5利用大數據思維，將企業的數據增加到大數據 傳統的方式已經解決不了問題，那么我們需要增加數據的量、數據的類型、低價值數據。例如提高采樣的比例，縮短采樣的周期，增加采樣數據的類型。例

3、如機床設備狀態，以前是采集車間的關鍵設備，現在是采集全部設備，以前是每天采集一次，現在變成每個小時采集一次。以前采集數據時，只記錄了設備本身的數據，現在加上了環境的數據、人員的數據、加工零部件的材料數據等。例如以往產品數據管理系統中只記錄了定型產品的數據，而過程數據，例如中間版本，不同的方案都沒有記錄，現在這些數據也納入了系統。利用傳統的、已有的數據，通過大數據可視化應用獲得優化與創新。例如目前企業中的人員掌握了一些基本的數據處理工具，例如EXCEL，但是基于EXCEL 如何進行透視表、透視圖的生成，就很少有人掌握。利用新構建的大數據，進行大數據可視化，獲得優化與創新。這里和前面所述的差異在于

4、，實現大數據可視化，需要掌握一些理念、方法、工具，擁有一定的資源。在工具方面，針對大數據進行可視化，就必須支持大數據的存儲模式。展示設備具備高分辨率。掌握一些大數據可視化的專門工具，尤其是這些工具中與一些業務緊密相關的函數、模塊、包等。.2.大數據可視化獲得成效的兩條路徑從業務出發從數據出發從業務出發 對業務對象進行數據化的描述，如果已有業務數據，那么利用已有數據進行數據分析，數據可視化。再在這樣基礎上進行大數據可視化，以促進問題的理解、分析、判斷，提出解決方案。典型的案例，上海某企業偶爾出現發泡料發泡不足問題，不知原因，后來企業為鍋爐增加了一套數據采集裝置，在又一次出現問題時，分析數據，認為

5、是工人沒有及時處理導致，后來與工人談話，工人承認了值班時睡覺，沒有及時處理。在此之后，沒有再發生類似問題。從數據出發 這個對于不懂業務的數據分析人員、信息化人員、架構師十分重要，因為不懂業務，所以可以以局外人的眼光來處理數據，從而發現數據中隱藏的問題、規律。針對數據，其實還有一個情況，就是很多時候，業務人員掌握的往往是與自己相關的、短期的數據，而信息化人員可以掌握全面的、長期的數據，因此是具有數據優勢的。這里我們介紹一個典型例子，兩個同行企業的廠長碰到一起，分享了彼此的報表，一位廠長驚詫于，自己的刀具成本比例明顯偏高，回企業后，經過調查分析，發現有員工下班后，帶著工廠的刀具去附近企業做加工。而

6、工廠以往針對刀具的管理是針對刀具整體的，例如刀片，拿舊刀片就可以換新刀片。后來工廠增加了刀片工作時間的管控，結果刀具的成本明顯下降。3.大數據可視化應用的基本概念數數據 大數據 數據可視化大數據可視化業務結合數 這里的數，我們不僅僅是說數字，而要理解為無數到有數，從有數到數的電子化。典型的，例如ISO9000就要求按紙上的做，做的結果記錄到紙上，這里強調的是有沒有記錄的問題，而我們這里說數，一定是電子化的數 例如筆者曾經做過一套質量管理系統，有一個原因就是企業存在這樣的問題，客戶提出質量整改意見，結果沒執行，原因是口頭和一個工人說的，但是工人忘了，又如客戶提出的質量整改意見，白班改了，夜班沒改

7、，原因是白班忘了把客戶意見寫進交接記錄了。上了質量管理系統后，客戶意見一定要輸入系統，這樣在產品完工檢驗時，系統會堅持這個產品是否存在有未處理的客戶意見，如果沒處理，就不能通過，必須處理了才能通過，這樣就保證了客戶意見一定會被處理。數據 前面說數，后面我們談數據的據，這個據就是依據、標準、客戶技術要求等等，光有數很多時候是不夠的，必須還要有相關的作為依據的數。還是介紹一個案例：曾經一個出口的新產品產品，提出設計材料后，分析工程師分析后認為一個構件有問題，結果設計組的組長十分惱火，認為不可能的，因為這么多年過來了，這個構件從來沒有出過問題，后來IT部門負責人查看相關材料后跟他說，你以前設計的產品

8、應該都是國內的吧，這次是出口新加坡，新加坡方面給的工況條件，數值比國內的2倍還大。大數據 大數據思維，采集具有統計學意義的小數據，加以分析應用，獲得經濟收益。這里我們有幾個觀點：1、企業收集數據，基本上不可能是全量數據，數據的收集也要成本，因此數據的量也有性能價格比的問題。2、數據的關聯性，收集數據首先要收集關聯數據，而不是非關聯數據，這里數據也可以按關聯權重來劃分，也就是優先收集關聯權重大的數據。3、低價值數據，大數據中的數據價值低，但是總體的數據價值高。數據可視化 數據可視化是將數據以圖形、圖像等方式直觀地展示，比較常見的如柱狀圖、餅圖、折線圖、面積圖、餅圖等等。我們理解數據可視化，不僅需

9、要知道常用的統計圖，此外需要知道，流程圖、地圖、日歷圖、圖解、信息圖也是數據可視化的類型。另外很多人忽略了表格也是數據可視化的一種形式，甚至是重要度非常高的一種形式，表格通過數據分類、數據類別，從而很好地展現了數據，現在有很多新技術來更好地展示表格數據，典型的例如表格中展示柱形圖，柱形圖的高度是根據數據大小來確定的。數據可視化R語言可視化框架數據集圖表圖素分面色彩修飾輸出數據塑形總體外觀注解軸圖例圖元常用圖表擴展圖表交互式圖表18根據應用目的使用圖表19大數據可視化 針對大數據可視化，它與傳統的數據可視化不一樣的地方，我們往往需要強調如下幾點。因為數據量大，因此對于一些關鍵數據，采用可視化強化

10、，從而提高人的注意力。大數據可視化展現出隱藏的數據規律，例如在圖表中生成加上回歸曲線。大數據可視化的可視化形式，促進對數據的洞察，例如各個省的數據報表，少一個省不容易發覺，但是如果地圖展示，那么缺數據就變得一目了然。大數據可視化交互式分析 大數據可視化的過程，往往是一個數據逐步細化的過程，在實際的運作中，往往需要進行降量、降維。一個典型的模式：從3000萬記錄中抽取30000條記錄 標簽2000多個，通過主成分分析實現降維，選擇約200個 通過數據聚類構建約20個標簽組 通過多視圖實現圖表框架設計 通過支持多維的線條圖、雷達圖、散點圖進行圖表表達 在圖表中使用視覺通過提高數據維度量大數據可視化

11、更強調交互化、動態性，從而對數據進行更好地探索。在實際的操作中，很多時候也是把大數據拆成一個個小數據進行可視化分析的。交互化，例如數據的縮放，可以聚焦關心的數據。數據排序后把關心的數據以更強的形式進行展現。大數據可視化（續）大數據可視化，也可以理解為可視化是不變的，但是增加了數據，這樣促進更好地理解數據，典型的例如在圖表中增加參考線、控制線。另外，由于數據量大，數據的相對差異變大，因此在展示數據時，就有了一些特殊的格式，例如對數圖表。又如，因為數據的量大以后，一些數據之間的差異很小，因此傳統的方式下，一些數據就會被覆蓋，這是我們可以給數據增加擾動，讓這些數據展現出來。大數據可視化應用 統計數據

12、可視化 層次數據可視化 時序數據可視化 空間數據可視化 社交數據可視化 文字數據可視化23統計圖表24統計數據可視化25層次數據可視化26聚類樹27空間數據可視化28時序數據可視化 美國勞動局針對美國人每天時間的使用進行了社會調查。紐約時報對這個數據進行了可視化。X軸是一天的24個小時，而Y軸是做某件事的人占所有人的百分比。比如圖中在凌晨4點超過90的人都在睡覺。而晚上9點，大概40的人正在看電視。29社交數據可視化 發現影響力人群 關鍵傳播路徑 發現社群 熱點分析30社交數據可視化31文字數據可視化32業務結合 大數據可視化是大數據變現、產生價值的最后一公里，工業企業不要為了大數據而大數據，

13、為了大數據可視化而大數據可視化，而是核心要考慮，我們采用大數據可視化后，會帶來什么樣業務改變，這樣的業務改變是不是有價值的。案例探討 探討一個企業監控大屏幕的應用模式。某工業企業有很多生產設備，設備的維護不盡人意，企業決定實施一套監控系統，取得的效果顯著。企業的生產設備分給了一些維護工程師管理，企業原來有一套信息系統，維護工程師可以在計算機上查到自己負責的設備狀態，工程師根據設備的狀態進行維護。大屏幕監控系統展示了所有設備的狀態，例如目前出現故障，需要維護的設備就以紅色顯示，正常運行的以綠色顯示，維護中的以褐色顯示，出現故障的以紅色顯示，處于關機狀態的以灰色顯示，封存的以黑色顯示。如果出現了設

14、備紅色，工程師就要立即去處理。案例探討（續）這里要分析一下其業務變化，以往某設備出現問題時，如果對應的維護工程師不在，那么這臺設備就沒人去處理，因為別人也不知道，再入工程師在，但是他沒有查詢系統，那么他也不知道設備出現了問題?，F在采用了大屏幕，一旦出現紅色標志，對應的維護工程師很容易看到，然后進行維護處理。如果他沒看到，那么他的同事也可以提醒他。如果這個工程師不在辦公室，其他工程師也可以給他打電話。如果他出差了，負責代班的同事也可以看到、知道，從而進行維護處理。這套系統業務變化的核心就是：縮短了設備不正常時，維護工程師介入的響應時間。工業企業大數據可視化的真實案例4.工業企業大數據可視化的真實

15、案例 倉儲余料應用 油井狀態監控 產品創新設計生產 企業的合理化建議倉儲余料應用 一個企業的財務總監提出，企業中存在很多以往項目的余料，這些余料一般也不便宜，如果在后面的項目中使用掉，也是可觀的費用，但是和技術人員說了數次，也跟他們講，可以根據材料的價值，給他們一定比例的獎勵，但是收效甚微。聽了情況介紹后，分析指出，問題是技術人員一般看不到倉庫材料，也就是便利性不夠。這個企業的技術人員都在一起辦公，是一個開放的大辦公區。建議在辦公區走廊墻壁上，掛一塊大白板，每種材料一個便利貼，有一個價值高點的余料就往白板上貼一個，這樣技術人員就可以很方便地看到，看到后覺得可以用的，就把便利貼扯下來。而財務總監

16、也可以時不時地看看白板上的便利貼情況，如果比較多，就和技術經理打打招呼，督促一下。聽了建議，財務總監眼睛一亮，這是個好主意。油井狀態監控 目前我國的油氣井普遍采用了可以遠程傳輸的數據采集系統，并建立了一般針對項目的監視系統，通過這種方式展示油氣井的工作狀態，取得了很好的效果，從增加油氣產量角度說，一般可以提高2%4%，從總量來說，這是個很大的值，一個200口井的項目，按每口井增加20萬元計，一年就是4000萬。在這個基礎上，進行改進。第一 以往的系統設計的模式，大屏幕顯示的是當前的油氣井狀態，而出現警告、錯誤的信息會被覆蓋。新設計的系統中在大屏幕中設置了警告錯誤區域，顯示未處理的警告、錯誤，這

17、樣就有效地減少了漏處理的問題。第二 擴大數據采集的范圍，例如以往采集僅僅是油氣的壓力、溫度、流量，現在增加了油氣井相關其他設備的信息。第三 鑒于已經收集了大量的生產數據，分析這些數據，構建可視化模型，并有一定的分類，這樣針對采集數據，強化數據分析能力，從而在業務上可以更好地應對。第四 將監視系統改進為作業指揮系統，實現與短消息系統的集成，構建作業管理體系，從而提升作業的效率與質量。產品創新設計生產 航天某研究所，面臨任務大幅度增加，企業生產任務計劃完成情況差的問題，為了更好地加強管理，研究所決定實施信息化項目，其中包括生產生產任務完成情況的可視化?；灸Ｊ绞强梢暬糠謱⑸a任務進行了開發應用項

18、目，航天某型號項目，任務，流程，子流程，轉為橫向的樹形結構。在項目的實施過程中，梳理了大量的工作流程，制定了一系列的流程模板。另外在項目的實施過程中，在理念方面，發現了很多問題，也進行了很多理念方面的創新。通過項目的實施，對于產品的研發生產，取得了一定程度的改進。企業的合理化建議 一個工業企業實施了一個合理化建議的項目，要求每個人一個季度至少提出3條建議，其中兩條被采納，一條被執行。這個建議首先面向自己的工作范圍，但是也可以針對其他人的工作。建議設置了分類，根據分類確立不同的人可以看到，一般包括提出人的部門經理、建議涉及部門的經理、該分類領域的負責副總。每個季度對建議實施情況進行總結，召開全企

19、業員工大會，總經理給優良建議提出人發放獎金、證書。這個模式實施一年，企業就獲得了超過200萬美金的收益。5.大數據可視化的應用技巧 大數據可視化的框架設計 大數據可視化的應用流程 大數據可視化圖表展示技巧 新型可視化圖表形式等大數據可視化的框架設計 大數據可視化針對的是海量的數據，因此不是簡單的幾張報表，而需要設置數據可視化的框架。一般而言，需要梳理企業的所有圖表，對這些圖表進行分類設計。根據不同的人員，建立起圖表與人員的關系，從而減少人員的圖表量。圖表的應用采取可以檢索，條件包括圖表的名稱、分類、說明等。設置圖表與圖表的關聯關系，在人員查看圖表時可以快速切換到相關圖表中。另外企業的圖表不是一

20、個靜態的模式，需要設置成動態的模式，可以保存下來，供以后使用。大數據可視化的應用流程 傳統的數據可視化流程是：數據準備、數據分析、數據可視化、數據應用。大數據可視化的流程是：數據準備、數據可視化、數據分析、數據應用。這里數據的可視化與數據分析也可以是一個循環模式。最優可視化參考模型44大數據可視化的業務流程模式系統平臺生產者消費者大數據可視化圖表展示技巧 大數據可視化我們首先強調一個大字，而應用的工具、圖表的形式可以是傳統的，已有的。增加數據顯示的量，這里有兩種理解，一種是增加數據顯示的維度，例如顯示銷售數據，以往只是純粹銷售數據，現在加上銷售計劃，那么這樣的展示就更有意義。再如銷售數據，采用

21、地圖化的方式顯示，就可以直觀發現遺漏的條目。一種是是增加輔助信息，例如標準值、控制線、參考值、回歸曲線、預測曲線等。第二，針對一個維度，增加可視化的顯示方式，例如銷售數據，采用柱形圖，在柱形圖上加上數值，根據銷售計劃的完成情況，在柱形圖上加上勾叉，而針對勾叉，又分別予以綠色，與紅色，這樣的圖表顯然更具有理解力。新型可視化圖表形式等 針對海量數據，可以采用樹形圖等新型數據展現形式。針對高維數據：可以采用平行坐標圖表、多圖顯示、Andrews曲線、RadViz圖的方式?？梢圆捎靡恍┙稻S的方法，例如主成分、因子分析、多維尺度分析等等。針對數據覆蓋如何展示：例如可以增加數據干擾的方式；也可以數據匯總的

22、方式，展示時將匯總數據作為一個維度予以輸入。針對數據差異大，可以采用對數圖的方式；人工作圖，可以采取截斷的方式；也可以增加子圖方式。6.未來的發展趨勢 6.1.大數據可視化的應用，這個是大數據變現的重點，現在還是星星之火，但是在不斷的發展應用中，很多的突破。，比較典型的例子如三一重工的大屏幕、青島海爾的設備狀態大屏幕項目。6.2.數據存儲、針對大數據可視化，一些存儲系統給予了專門的支持，例如以往的地圖數據庫，也出現了一些專門的工具，例如圖數據庫。6.3.技術方面，大數據可視化在技術方面發展很快，例如很多算法，很多新的圖表形式。6.4.軟件工具、現在涌現了很多大數據可視化的工具，這些工具在陸續增

23、加對大數據的支持，例如一個交互式可視化軟件，以前沒有對HADOOP這樣的系統支持，后來有了對HADOOP、HIVE、SPARK幾種系統的支持，而過了幾年，支持的大數據存儲系統就超過了20種。6.未來發展趨勢（續）6.5.硬件系統，從大屏幕、拼接屏到計算機顯卡、投影設備、移動設備、3D顯示設備、虛擬現實設備、發展如火如荼。6.6.公共服務平臺，現在有很多公共服務平臺，可以讓對大數據感興趣的人員進行嘗試，國內典型的例如百度的ECHARTS，數據魔方等。6.7.人員培訓，大數據可視化應該說還是小眾，需要得到更多的重視。目前有些培訓機構推出了大數據可視化培訓課程，一些大學舉辦暑期的大數據可視化訓練營，一些規模企業也積極開展了很多大數據可視化的課程項目，取得了很好的效果。7.幾點思考 大數據可視化不僅是個技術問題，更是個業務與管理問題，在正確的時間將正確的數據以正確的形式傳遞給正確的人，需要各個層面、各個領域的人員共同努力。工業企業往往都是規模企業，在規模企業中，一個細小的改變，這個改變可能涉及的規模很大，周期很長，因此匯總起來，就會產生客觀的經濟價值。大數據可視化從狹義的應用到廣泛的應用，還有很長的路要走，但是我們已經在路上。