9-2 電商零售大數據分析云上實戰.pdf

1、 2021,Amazon Web Services,Inc.or its Affiliates.李建偉 大數據技術專家電商零售大數據分析云上實戰 2021,Amazon Web Services,Inc.or its Affiliates.議程電商行業現狀數據驅動的電商業務場景非結構化數據搜索架構解析亞馬遜電商案例 2021,Amazon Web Services,Inc.or its Affiliates.電商用戶旅程個性化定制化首頁產品推薦相關產品評分交叉銷售客服我的訂單修改訂單問題客服搜索網頁搜索圖片搜索語音搜索移動搜索優化頁面加載導航虛擬現實評分方式市場媒體語音移動設備渠道郵件廣告地理

2、位置手機推送物流線上下單，店面提貨線上下單，店面發貨全球倉庫派送預約派送第三方退貨退貨流程優化用戶轉化 售中用戶觸達 售前用戶服務 售后興趣/搜索 吸引/評估甄別/購買期待/追蹤咨詢/退貨 忠誠/推薦 2021,Amazon Web Services,Inc.or its Affiliates.電商業務重點來源:eCommerce Leaders 2021 調查報告顧客終生價值(CLV)轉化率優化(CRO)獲客成本(CAC)新流量獲取客單價(AOV)電商企業KPI電商企業投資重點網站/App性能優化個性化重構平臺/無頭電商全渠道優化產品發現和產品搜索70%52%51%51%47%2021,Am

3、azon Web Services,Inc.or its Affiliates.AmazonEMR商品搜索運營分析用戶畫像個性化推薦IT運維分析高階應用的前置條件依賴于完善的數據湖建設和高效的數據處理無縫集成機器學習來構建用戶畫像數據驅動電商業務電商行業典型應用場景q 數據服務的深度和廣度廣泛的ML和AI服務AmazonRedshiftAmazon AthenaAWS GlueAmazon Elasticsearch ServiceAWS的價值主張q 五大場景，圍繞用戶旅程全鏈路典型機器學習范疇，是大數據分析的高級應用依賴于完善的數據湖進行數據預處理更加精準地觸達客戶、提高最終成單率依賴于商品

4、檢索引擎架構及對應模塊為分布式商品標識明確時，快速定位到目標對象為電商運營提供決定依據依賴于用戶行為數據與RDS數據的多維度指標轉化分析業務鏈條各環節數據電商客戶的基本需求了解IT系統的整體運行狀況，有效排查系統故障Amazon S3功能全面的存儲層綜合計算層高速可擴展的網絡層99.999999999%水平的可靠性數據生命周期管理深度集成AWS Lake Formation 2021,Amazon Web Services,Inc.or its Affiliates.場景1:商品搜索 2021,Amazon Web Services,Inc.or its Affiliates.業務場景場景描述

5、 目標商品明確，可通過文字、語音、掃碼等方式快速搜索到 商品搜索引擎架構具備分布式、可擴展的特性 數據在線下流程和線上流程均起到比較核心的作用數據特點 輸入數據：通常，原始數據（結構化信息，文本、圖像信息，動態信息等）來自前端數據庫，數據源多個 搜索引擎：在數據采集方面更側重于各種數據源的數據更新，其效果需要兼顧買家與賣家 輸出數據：支持各種維度的排序，對數據的實時性要求非常高（主要體現在價格和庫存兩方面）業務實現 商品搜索引擎為功能實現的核心支撐，具備分布式、可擴展的特性，在架構中需要考慮對索引模塊、查詢模塊和排序干預模塊的解耦和分離，以方便對各個模塊進行單獨的優化和擴展 2021,Amaz

6、on Web Services,Inc.or its Affiliates.參考架構接口層服務層搜索意圖商業規則個性化排序Amazon API GatewayAmazon DynamoDBAmazon AuroraAmazon MemoryDB for RedisAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon SageMakerAWS LambdaElastic Load BalancingAmazon Elastic Kubernetes Service(Amazon EKS)

7、2021,Amazon Web Services,Inc.or its Affiliates.案例研究:Nike 耐克-商品檢索痛 點Amazon ES的自動部署及管理工具大大簡化了耐克的開發周期，加快了新搜索體驗的上市時間。獲 得 益 處解 決 方 案直接面向消費者業務的快速增長和擴張，迫切需要強大的商業搜索解決方案Amazon OpenSearch Service 服務作為耐克的核心搜索引擎“guys bred”意圖：男士籃球鞋紅黑色 2021,Amazon Web Services,Inc.or its Affiliates.全世界最大電商亞馬遜的基石 A在AWS上面運行，使用Amazo

8、n OpenSearch Service掃描、讀取和分析亞馬遜市場數據，并且根據數據分析結果為買家和賣家提供服務一種完全托管的搜索引擎服務 為突增的并發訪問量提供搜索引擎的穩定性和彈性按需付費和彈性預留以節省成本 Amazon OpenSearch Service允許電商客戶在單個集群中存儲多達3 PB的數據，并且可以根據需求變化輕松擴展或縮減容積；支持在三個可用區部署，使電商客戶能夠跨多個可用區部署實例AWS的優勢和價值Amazon Elasticsearch Service高可用支持業務連續性 只需要按實際用量付費 與按需實例相比，預留實例可保留一或三年，大量節省使用成本內置開箱即用的KN

9、N算法 適用于Amazon OpenSearch Service 2021,Amazon Web Services,Inc.or its Affiliates.非結構化數據搜索架構解析 2021,Amazon Web Services,Inc.or its Affiliates.產品搜索基于文本產品搜索基于圖片產品搜索“男士背包”輸入：輸入：2021,Amazon Web Services,Inc.or its Affiliates.Amazon Sagemaker 和OpenSearch構建圖像檢索構建圖像檢索Amazon Sagemaker圖像分類模型訓練部署特征提取模型Amazon Op

10、enSearchKNN鄰近算法做鄰近搜索高可用，安全的托管服務 2021,Amazon Web Services,Inc.or its Affiliates.圖像檢索原理查詢圖像預處理特征向量圖像數據庫圖像特征庫相似性比較索引+檢索重排預處理檢索結果 2021,Amazon Web Services,Inc.or its Affiliates.基于深度學習的圖像特征提取Pretrained 模型去除最后做分類全連接層，留最后池化層做特征向量2048/4096維圖像特征向量+7x7 ConvBatch Norm3x3 Max Pooling3x ResNet blocksGlobal Avera

11、ge Pool 2021,Amazon Web Services,Inc.or its Affiliates.圖像圖像檢索架構檢索架構1.通過SageMaker訓練ResNet模型，將所有產品圖片向量化2.將向量化的數據注入到OpenSearch索引中，其中圖片數據用向量類型存儲3.客戶提交的圖片調用SageMaker的推理服務，將單張圖片轉成向量數據4.調用OpenSearch KNN檢索匹配最相似的K張圖片5.記錄用戶的點擊，購買等行為，訓練Learning to Rank模型，優化排序結果 2021,Amazon Web Services,Inc.or its Affiliates.K-

12、NN search基于矢量的搜索算法使用特征提取或其他來創建特征向量使用矢量進行查詢以檢索幾何上最接近的點幾何相似或余弦相似 2021,Amazon Web Services,Inc.or its Affiliates.Learn to rank plugin機器學習的模型輸入搜索結果的排名使用新近、受歡迎程度和偏好等功能將模型提供給Elasticsearch中的LTR插件LTR插件應用該模型，對搜索結果進行重新排序在循環中使用，反饋搜索結果并單擊數據以改進模型DomainLTR PluginModelJudgment listTraining dataSearch resultsML Sys

13、temFeature setXGBoost,RankLibQueriesRe-rankedResults 2021,Amazon Web Services,Inc.or its Affiliates.Zalora產品搜索https:/ want to give our customers joy in shopping by just taking a photo of any fashion objects that grab their attention”Karthik Subramanian,CTO,Zalora GroupZALORA利用圖片搜索提升用戶體驗，方便用戶從大量的產品列表

14、查找到自己喜歡的產品 2021,Amazon Web Services,Inc.or its Affiliates.場景2:運營分析 2021,Amazon Web Services,Inc.or its Affiliates.業務場景場景描述 圍繞電商運營核心關注的三要素“用戶、商品、平臺”，根據不同業務目的進行數據分析 重視優化以及精細化運營，電商的商品品類種類繁多、用戶覆蓋面非常廣泛客觀上加大運營難度 關注流量、用戶增長、銷售額、留存與復購指標數據特點 輸入數據：主要有兩個來源，客戶端的用戶行為數據、運營中的RDS數據 輸出數據：八個維度的分析指標業務實現 步驟：數據搜集、ETL、數倉分

15、析、最終BI展示等 點擊流數據：主要來源于客戶端和服務器端打點工具，格式以JSON為主，大部分轉換為結構化數據存入數倉。交易數據、用戶信息數據等來源于RDS，通過全量或者增量CDC的方式拷貝到S3進行后續發分析處理 運營數據：查詢與分析通常在數倉內進行，數倉可以使用Redshift或Hive 大型客戶主要基于開源軟件自主開發BI報表，中小型客戶會考慮使用商業BI報表應用舉例 離線運營數據分析：銷售歸因以及轉化漏斗分析 實時信息分析：推送實時廣告和獲取數字營銷解決方案 2021,Amazon Web Services,Inc.or its Affiliates.運營分析指標 總體運營指標 網站流

16、量指標 銷售轉化率指標 商品品類指標 客戶價值指標 活動營銷指標 風險控制指標 競爭分析指標 2021,Amazon Web Services,Inc.or its Affiliates.建議架構推薦系統商品管理營銷投放CRM系統采購倉配血緣分析數據字段權限管理數據建模BI報表算法分析Amazon QuickSight 2021,Amazon Web Services,Inc.or its Affiliates.Anker 歷經10年基于 AWS 打磨的數智艙 2021,Amazon Web Services,Inc.or its Affiliates.豐富的數據采集工具支持處理多種據類型AW

17、S的優勢和價值 多種數據管道攝入數據 中心存儲有效打破數據孤島AWS GlueAWSDMSKinesisData FirehoseAmazon MSKAmazon S3 提供靈活支持結構化、半結構化、非結構化數據Amazon S3AmazonEMRAmazonRedshiftAmazon Athena計算存儲分離 存儲和計算解耦，按應用負載來構建專用集群 EMR優勢：彈性、Spot降低成本、S3數據低成本與持久性，相當于AWS對Hadoop的發行版，支持客戶、減輕運維壓力Amazon S3AmazonEMR運用廣泛、受歡迎的云商數據庫Redshift 可查詢PB級到EB級別的結構化和半結構化數

18、據；使用開放格式輕松地將查詢結果保存回S3數據湖；借助Redshift Spectrum能分析規模至EB級別的數據 配合S3，AWS的解決方案可以做到冷熱數據分級AmazonRedshiftAmazon S3 2021,Amazon Web Services,Inc.or its Affiliates.場景3:用戶畫像 2021,Amazon Web Services,Inc.or its Affiliates.業務場景場景描述 指以優化客戶體驗、增強客戶粘性和減少運營成本為目的，對用戶特征和分類的研究 是電商企業應用大數據的根基，也是許多高階數據分析場景的前置條件 常見的下游支持場景有個性推

19、薦/展示、廣告精準營銷、BI中的用戶聚類分析和搜索優化等數據特點 輸入數據：用戶的社會屬性，通常來自用戶注冊時主動提供的數據和從一些第三方機構購買的數據用戶在電商平臺上的用戶行為，通常來自于網頁/應用的線上交易數據庫和日志埋點數據 輸出數據：形式一般為客戶維度的具體標簽，標簽的形式取決于下游支持的具體應用要求業務實現 兩類實現方式：基于統計值的專家規則系統生成人工標簽基于歷史數據的機器學習模型經訓練生成自動標簽應用舉例 提取用戶的網購興趣和消費行為等指標，用于廣告精準營銷 2021,Amazon Web Services,Inc.or its Affiliates.參考架構-使用基于統計規則的

20、標簽系統 2021,Amazon Web Services,Inc.or its Affiliates.參考架構-使用基于機器學習的標簽系統 2021,Amazon Web Services,Inc.or its Affiliates.Club Factory 電商平臺https:/ 2021,Amazon Web Services,Inc.or its Affiliates.AWS的優勢和價值多種數據源協同分析 多種數據管道攝入數據支持處理多種數據類型 提供靈活支持結構化、半結構化、非結構化數據計算存儲分離 存儲和計算解耦，按應用負載來構建專用集群一站式機器學習平臺 一站式機器學習平臺輔以多

21、種開箱即用AI SaaSAWS GlueAWSDMSKinesisData FirehoseAmazon S3AmazonEMRAmazonRedshiftAmazon AthenaAmazon S3AmazonEMRAmazon SageMaker 2021,Amazon Web Services,Inc.or its Affiliates.場景4:個性化推薦 2021,Amazon Web Services,Inc.or its Affiliates.業務場景場景描述 是電商平臺在了解客戶的前提下創造出的需求，運營逐步精準化時將扮演越來越重要的角色 三方面實現持續穩定增長：幫助消費者在眾多

22、商品中更快地找到感興趣的商品，提升購買決策效率幫助商家更快地找到潛在消費者，提升長尾商品的動銷 利用流量分發策略集中管控平臺，使電商平臺能提供更優質的服務體驗數據特點 輸入數據：來源復雜，需要經過復雜處理，整理至用戶或商品的維度數據，作為訓練數據集輸入算法 輸出數據：基于當前用戶行為產生的具體推薦產品列表（一般具有權重）業務實現 依賴機器學習解決，分成線下模型訓練和線上實時推薦，可采用簡單至復雜等不同難度的算法，但是構建思路一致：模型訓練需要客戶具有功能完備的端到端數據處理系統，線上實時推薦則需要客戶擁有模型生產化和部署運維的能力應用舉例 產品形態多種多樣，包括基礎商品推薦位、混排個性化推薦位

23、、首焦個性化、核心頻道個性化、活動頻道個性化、類目個性化、營銷個性化、權益個性化等 2021,Amazon Web Services,Inc.or its Affiliates.參考架構 2021,Amazon Web Services,Inc.or its Affiliates.LOTTE MART 電商平臺“對比之前帶來每月收入增長的大數據分析解決方案，通過使用 Amazon Personalize，我們推薦商品數量增長了 5 倍。特別值得一提的是，Amazon Personalize 促進客戶下單從未購買過的商品數量增加了 40%?！盝aehyun Shin，大數據團隊負責人Lotte

24、Marthttps:/ Web Services,Inc.or its Affiliates.豐富且多樣的分析服務 能滿足各種不同場景和需求下的分析服務，涵蓋數據處理端到端的所有處理場景，方便客戶快速建立模型訓練數據預處理Pipeline，完成模型訓練前訓練數據集指標體系建立開箱即用的機器學習服務 AWS封裝好的亞馬遜電商實戰中的有效算法，電商客戶可以基于自己的數據來訓練一個定制化的推薦模型并部署上線經驗豐富的實施人員 依托亞馬遜電商平臺經驗，提供專業Professional Service團隊Amazon S3AmazonEMRAmazonRedshiftAmazon AthenaAmazo

25、n PersonalizeAWS的優勢和價值AWS GlueAWSDMSKinesisData FirehoseAWS Lake FormationAWS IAMAWS Cloudtrail 2021,Amazon Web Services,Inc.or its Affiliates.亞馬遜電商案例 2021,Amazon Web Services,Inc.or its Affiliates.亞馬遜電商 云原生之路199519971998-991999-20002002-0320042006200920112018+在線書城品類擴張支持第三方賣家嘗試核心服務 SOA 拆分電商平臺現代化改造Am

26、azon S3微服務化及相關工具支撐單體到微服務化改造單體架構全球多站點云原生Amazon CloudFrontAWSWAFAmazonRoute 53AWS ShieldAmazon EC2AWS LambdaAmazon ECSAmazon AuroraAmazon DynamoDBAmazon RedshiftAmazon S3AWSGlue搜索引擎 A9Kindle 2021,Amazon Web Services,Inc.or its Affiliates.大型電商數倉云轉型之旅挑戰50PB數據，7萬5千表，每天60萬個分析任務Oracle數倉處理超過1億行的數據，經常報錯運維的復雜

27、度和License成本的增加，不堪重負了解詳情，請訪問：https:/amazonaws- 是全球領先的電商；亞馬遜遵循四項原則：客戶至上而不是對標競爭對手、對創新的追求、對卓越運營的承諾以及長期思維?？蛻粼u論、一鍵下單、個性化推薦、Prime 會員、亞馬遜物流、AWS、Kindle電子書、Fire 平板電腦、Fire 電視、亞馬遜 Echo和 Alexa 是亞馬遜首創的部分產品和服務。公司簡介新的S3數據湖數據量達到200PB，是原先的4倍S3強大的性能，支持超過3000個Redshift/EMR集群的訪問SCT遷移工具，節約1000個人月的人工S3 提供幾乎無限的數據存儲容量，且性能強大DMS 服務的SCT工具，實現SQL查詢語句自動轉換AWS 提供完整的大數據解決方案AWS DMSAmazonS3Amazon RedshiftAmazon EMR 2021,Amazon Web Services,Inc.or its Affiliates.采用AWS產品及方案的電商零售客戶更多案例：https:/ Web Services,Inc.or its Affiliates.AWS 是電商客戶最堅實的技術平臺和服務合作伙伴 2021,Amazon Web Services,Inc.or its Affiliates.Q&A