《顧風勝:AliSQL在零售云平臺實踐(17頁).pdf》由會員分享,可在線閱讀,更多相關《顧風勝:AliSQL在零售云平臺實踐(17頁).pdf(17頁珍藏版)》請在三個皮匠報告上搜索。
1、AliSQL在零售云平臺實踐阿里巴巴高級技術專家顧風勝零售云介紹數據同步服務全鏈路壓測服務123云服務器云數據庫對象存儲分布緩存消息服務負載均衡物流中心發票中心訂單中心賬務中心營銷中心ERP會員中心S-PaaS電商級別門店數字顆粒度業務運維工作臺業務全鏈路監控業務全鏈路壓測業務安全和防護WMSCRM績效T-PaaS電商級別業務穩定性B-PaaS電商級別業務靈活性Aliware奇門淘寶開放平臺C-PaaS零售服務能力開放D-PaaS電商級別數據能力數據中心策略中心數據銀行IaaS(基礎設施&云產品)PaaS(中臺構建&業務組件)SaaS(官方應用&服務市場)電商 SaaS 產品零售 SaaS 產
2、品云中臺云POS云導購云客流云互動云客服營銷手淘開放硬件框架千??蚣芷放茽I銷定制品牌號定制智能導購智能客流智能互動云POS組件導購員組件零售云產品架構阿里內網聚石塔電商云安全可靠實時聚合定制訂單商品會員物流優惠阿里中臺會員商品交易倉儲財務商家服務商零售云數據同步訴求會員商品交易數據層消息系統全量API增量API詳情API業務APIAPI 網關消息通道開放平臺會員中心商品中心交易中心業務中臺會員CRM訂單OMS智能POS倉儲WMSAPP全量初始化增量更新實時更新為什么不用API同步分頁處理不當引起數據不一致熱點數據查詢DB超時交易異地多活,DB同步延遲大促交易接口限流技術成本高,重復建設訂單延遲
3、,丟單變更消息變更消息業務中臺開放平臺服務商系統阿里內網零售云業務數據業務系統開放平臺同步服務中間表ISV應用業務表零售云數據同步解決方案業務中臺API網關阿里內網零售云業務表控制臺推送服務端ISV服務端RDS Proxy推送消息服務數據分發RDS推送RDS推送云通道RDS 中間表RDS 中間表對賬任務全量詳情零售云數據同步整體架構推送消息服務端 接收訂單變更消息 獲取交易全量詳情 數據推送路由云通道 內外雙向的RPC通訊數據分發 訂單數據分發RDS推送 負責RDS數據寫入API網關 對賬任務穩定、易用、低成本名稱類型是否索引說明tidNUMBERY交易IDstatusVARCHARY交易狀態
4、typeVARCHARY交易類型seller_nickVARCHARY賣家昵稱buyer_nickVARCHAR買家昵稱createdDATETIMEY交易創建時間modifiedDATETIMEY交易修改時間jdp_createdDATETIMEY數據入庫時間jdp_modifiedDATETIMEY數據最后修改時間jdp_hashcodeVARCHAR用來做數據校驗的字段jdp_responseMEDIUMTEXTAPI返回的整個JSON BODY關鍵字段系統字段大字段關鍵字段業務核心字段,用于查詢過濾系統字段jdp_modified避免分頁查詢漏單jdp_hashcode樂觀鎖,減少DB
5、操作大字段詳情API返回數據(JSON)后臺配置需要返回的字段只需要一份SqlMap避免DDL鎖表影響業務RDS推送庫與中間表設計RDS推送庫推送連接池業務庫業務連接池如何降低RDS寫入開銷必要性RDS規格普遍比較低,給到平臺的連接數有限(只有120)平臺與客戶共用RDS,需要盡量少占用RDS的資源寫入 區分創建和更新事件 不查詢老數據直接更新 數據內容相同不更新 樂觀鎖避免臟數據寫入查詢 只查詢需要用到的數據 批量查詢DB進行對賬刪除 分片刪除以縮小區域鎖 凌晨刪除避免影響業務優化后減少了90%的DB消耗是否新增消息嘗試更新數據new.modified sql.modified查詢該記錄在D
6、B中的modified&hashcode嘗試更新數據記錄是否存在new.modified old.modified|new.hashcode=old.hashcodenew.hashcode=old.hashcode寫入成功結束開始否否是否是,沒有沖突是是嘗試插入數據否嘗試插入數據是寫入成功否是是否,并發更新沖突否,則重試3次12341234InnoDB memcached pluginMySQL ServerMemcache PluginSQL APIMemcache APISQL Parse&Optimize WriteReadPagePagePagePagePagePageBuffer
7、PoolLogFileDataFileDataFileDataFileInnoDB Storage主鍵查詢非主鍵查詢主鍵查詢QPS提升4倍主鍵查詢RT下降30%ERP流程倉儲流程分單流程創建訂單已付款訂單已推送已客審已財審已通知配貨倉庫已接單已揀貨已打包已稱重已出庫已發貨天貓交易ALIBABA壓測系統RDS庫ERP系統WMS系統接口對接接口對接訂單推送拉單服務分單處理奇門倉內作業菜鳥發貨ISV全鏈路壓測服務ISV自主壓測的痛點壓測環境不真實數據構造不真實壓測人力成本高壓測資源成本高ISV全鏈路壓測對接方案壓測環境搭建 復用線上環境 克隆線上環境壓測數據構造 推送集團全鏈路壓測數據到RDS壓測人力成本 流程化對接 可視化報表數據隔離方案 推送到獨立的RDS庫 根據訂單ID前綴隔離ISV全鏈路壓測報告ISV全鏈路壓測報告ISV全鏈路壓測報告