2017年如何設計開發智能分析產品-供應鏈領域的實踐啟示.pdf

1、如何打造智能分析產品？-供應鏈需求預測產品的實踐啟示華為 產品數據科學家 供應鏈領域的智能化應用 需求預測產品和技術架構 智能算法在產品中應用 分析可視化在產品中呈現 總結和展望 供應鏈，從一個身邊故事開始 生產/倉儲 采購 訂單/物流 營銷 計劃 客戶 供應商 實例：ZARA、AMAZON、GE、華為等 消費者洞察 智能研發、生產決策和響應 供應商協同 物流、信息、資金流、周轉率、商業利益最大化 需求預測?數據智能讓供應鏈更簡單、更及時 輔助/自動決策，業務增長黑客、尋找共性 涉及預測、分類、最優化等多種算法模型 統一的數據平臺 多點的信息收集 專業化的 數據分析 研發生產快速響應 預測客戶

2、需求 供應、需求匹配 預測=模式+不確定性 不確定性查找 因果關系到強相關關系 分類，采樣到全量數據 每一個細節的數據掌控 A?B?A?B?C?需求感知預測產品設計的前提 數據分析應用 相關性，找模式 To C 預測和To B預測 對照與拆分 升、降維 數學建模 假說與驗證 數據分析個性化與精細化 發現問題，數據輔助解決問題 提供給用戶的預測分析模塊的框架 依照這些方法，與業務共同設計輔助預測模塊，數據支撐業務，提供洞察 供應鏈領域的智能化應用 需求預測產品和技術架構 智能算法在產品中應用 分析可視化在產品中呈現 總結和展望 數據底座承載數據 根據不同產品特征，智能定制數據 多維度、跨產品需求

3、關聯分析 KPI和智能預測模型結果分析 需求感知預測產品提供“一站式”需求預測 讓預測更簡單，更智能，更準確 目標目標 行業現狀痛點行業現狀痛點 業務邏輯不透明 經驗和方法傳承性弱 預測業務 預測業務?中長期&年度&短期預測邏輯 搭建預測模型加以驗證 10+種預測模型庫輔助 需求感知預測需求感知預測 統計工具效率低 缺少定制化數據分析 統計要素維護復雜 數據平臺 數據平臺 預測邏輯預測邏輯&建模 建模 價值價值 預測準確率提升，增加業務效率 第三方數據 歷史數據 客戶動態 市場空間 財務數據 人工預測值 數據異常監測 各種數據預處理 關鍵指標計算 各種數據對象管理 機器學習模型訓練 預測制定

4、模型評估 數據預處理 預測發布 模型預測 前臺前臺：用戶交互 用戶交互 中臺中臺：預測模預測模型調度 型調度 中臺中臺：數據服務層數據服務層：后臺后臺：數據底數據底座 座 各種數據服務集成 交互在線模擬 輸入輸出參數 定時調度 在線模擬 輔助預測分析 算法模型應用 多層信息傳導 產品架構設計：前、中、后臺服務化設計 體驗 精度 效率 準確 最優化特征轉換 產品技術路線選型和優缺點分析 批量數據采集 Hadoop 實時數據采集 Oracle 流式處理Storm Java SAS Java R 前臺前臺：用戶交互 用戶交互 中臺中臺：預測模預測模型調度 型調度 中臺中臺：數據服務層數據服務層：后臺

5、后臺：數據底數據底座 座 Spark 定時調度 在線模擬 Echart Java Tableau 備選Python Mysql 宗旨：敏捷，可擴展，各取所長 MangoDB 供應鏈領域的智能化應用 需求預測產品和技術架構 智能算法在產品中應用 分析可視化在產品中呈現 總結和展望 歸納 歸納 根據規則（知識）推理 知識推理 同一類型數據的重復獲得規律 模式識別機器學習方法 （有監督學習、無監督學習）強化學習 演繹 演繹 深度學習 用數據的廣度，輔助思考的深度，用數據重構對世界的認識；用重復的計算，完成機器對于數據的理解 收斂時間和精確度 訓練成本高，數據依賴 通用性差 機器學習的前世今生 監督學

6、習：有標注的數據讓機器學習規律非監督學習：大量數據讓機器自己去學習規律什么樣的黑匣子？經驗數據指標化，機器結果輔助決策 海量數據，聚類、神經網絡、深度學習等自學習 y=f(x)?過擬合 泛化 收斂 關系映射 參數估計 代價函數 分類 回歸 聚類 深度學習 機器學習的基本原理和術語 分類回歸算法的三類模型 線狀模型 線狀模型 ARIMA、LR、LinearSVM樹狀模型 樹狀模型 RF(RandomForestDT(DecisionTree)GBDT(GradientBoos8ngDecisionTree)網狀模型 網狀模型 NN(Neural Network)RNN/CNN機器學習系統：多種方

7、法集成并用 高維度高維度稀疏性稀疏性速度快速度快特征難特征難連續性連續性稠密性稠密性易解釋易解釋有限制有限制非線性非線性大規模大規模調參難調參難業務問題如何通過數據轉換算法模型？明確目標、了解特性流程、確定用戶對象、設計算法和特征 1 業務業務 需求需求 邏輯邏輯 2 問題問題 分類分類 3 框架框架 設計 設計 4 結構化結構化 數據數據 特征特征 5 訓練訓練 模型 模型 6 產品產品 應用應用 部署部署 模型 模型 重中之重，預測對象確定，約束轉為特征 時間序列模型時間序列模型 Arima UCM 滑動平均 機器學習集成算法 機器學習集成算法 神經網絡類模型 SVM 回歸模型(LM等)隨

8、機森林 數據特征輸入數據特征輸入 特征1 特征2 不同類型 初步分類 MAPE、RMSE 等各種指標 在線模擬 最終預測最終預測 預測 算法加權集成和擇優 人工參數調整 輔助預測 設置目標和約束 時間序列轉換成特征 需求預測產品中機器學習集成算法架構 針對不同維度對象 定時調度 在線加入人工反饋 數據集成初次分類 SAS 時間序列 R 機器學習 在線 應用 特點：歷史時間序列和當前情況，人工經驗的結合 結果：準確率提升8%效率提升 業務中 特征提取 特征 GPU提高效率 Tensorflow Caffe等等 平臺 框架 組合方案 多試多用 模型 實踐關鍵點：綜合特征，多種模型，充分利用主流框架

9、 多快好省 What How Why 學術界關注模型 產業界關注應用 PAMI 借鑒應用 關鍵會議期刊，跟蹤前沿 供應鏈領域的智能化應用 需求預測產品和技術架構 智能算法在產品中應用 分析可視化在產品中呈現 總結和展望 需求感知預測數據分析現場演示 可視化 用戶體驗 快速開發 數據類產品中可視化是關鍵訴求之一 思維和設計原則 22 視覺吸引 視覺吸引 增強理解 增強理解 易于記憶 易于記憶 合理設計的數據可視化，可以甄別異常，啟發思考，輔助挖掘數據價值，準確明確有效傳遞信息。視覺暫留0.1s-0.4s 人的大腦50%與視覺處理相關 位置位置 顏色顏色 大小大小 形狀形狀 重要 次要 總體原則-

10、人們如何觀察可視化視圖?第一 類色 第二 類色 第三 類色 顏色搭配 主色+輔色+點睛色 B 同一個模塊中 顏色三類之內 A 顏色原則 顏色原則 C?視覺設計的基本原則 C.R.A.P-Robin 24?C Contrast 對比 R Repeat 重復 A Alignment 對齊 P Proximity 親密 圖表分類應用基本分類 25 數據關系 適合圖表樣式 比較 分布 組成 相關 趨勢 供應鏈領域的智能化應用 需求預測產品和技術架構 智能算法在產品中應用 分析可視化在產品中呈現 總結和展望 總結需求感知預測產品落地之旅 亮點：分析可視化能力瓶頸：計算能力核心：場景設計和業務行業經驗壁壘：模型能力Gartner預測的發展趨勢 數據分析大眾化，解耦模型算法，云化、產品化、模板化的綜合應用 特征標準化特征標準化 數據標準化數據標準化 場景標準化場景標準化 算法集成化算法集成化 算法標準化算法標準化 數據歸一化數據歸一化 特征標簽化特征標簽化 提供特征工程工具 標簽化，自動化的特征識別 場景模板化場景模板化 分類、預測、決策、分析服務模板化 統一數據語言 算法庫，集成預測服務 3 1 2 總結和展望 平臺是基礎，數據是關鍵，應用是靈魂；留心探索應用機會 預則立：確定目標，設計架構，服務 靈活性：多種工具整合，模型試驗，緊跟最新前沿，交流創新 發散到收斂 創新 聆聽 用戶需求