姚濱暉-EB級別體量之下的高效數據賦能（25頁）.pdf

《姚濱暉-EB級別體量之下的高效數據賦能（25頁）.pdf》由會員分享，可在線閱讀，更多相關《姚濱暉-EB級別體量之下的高效數據賦能（25頁）.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、EB級別體量之下的高效數據賦能資深技術專家姚濱暉阿里巴巴數據服務和數據產品開發平臺數據賦能的背景數據服務數據產品開發平臺2 31數據賦能的背景我們所處的生態數億用戶EB級數據千萬商家千萬小微企業電商物流金融云計算文娛健康大數據體系全域數據基礎數據建設數據服務基礎數據服務標簽畫像服務人群透視服務算法模型服務服務服務數據產品開發平臺數據產品數據大屏數據報表數據分析應用場景阿里小二、阿里商家、消費者、合作伙伴數據服務和數據產品開發平臺的關系兩者相輔相成數據產品開發平臺數據服務數據服務和數據產品開發平臺的優勢打破業務間的數據壁壘滿足靈活多變的數據需求全域流通和按需自助實現數 據 服 務數據 服務 解決

2、 的問 題數據在業務層的全域流通數據接口的重復建設數據獲取的及時和穩定高效“數據”能力延伸數 據 服 務 的 核 心 能 力基礎數據服務標簽畫像服務人群透視服務算法模型服務提供上百標簽的ID刻畫提供上萬數據指標跨域獲取廣告、營銷、風控算法模型一鍵服務化ABCD數據服務的架構PortalQuery EnginePush EngineAlgorithm EngineHSFDSLMonitorConnectorSecurityIDEDAGParallel FrameworkParserMeta ManagementML/DLExplain PlanModel ManagementQuery Engi

3、ne&Push Engine元數據管理邏輯和物理的關系屏蔽數據源差異DAG實現服務邏輯動態編排DSL屏蔽接口差異服務服務服務服務查詢查詢查詢推送1:1“1”:1N:1應 用 實 例DSL&DAGSELECTDISTINCTselect_expr,select_expr.FROM table_referencesWHERE where_conditionGROUP BY col_name|expr|positionASC|DESC,.WITH ROLLUPHAVING where_conditionUNION,UNION ALLselect_exprORDER BY col_name|expr|

4、positionASC|DESC,.LIMIT offset,row_count|row_countOFFSET offsetGoogle Blockly根據用戶One ID用戶標簽查找，結果賦予變量 array_tag用戶One ID輸入參數定義入參人群圈選服務Long user_one_id 是否必傳 默認值結果返回 array_sorted_people對用戶人群進行排序，結果賦予變量 array_sorted_people用戶人群根據用戶用戶標簽查找相似人群，結果賦予變量array_people用戶標簽Reference array_tagsReference user_one_idR

5、eference array_peopleAlgorithm EngineRandomForestLogistic RegressionDNNCNNSVMGBDTRNNLSTMPMML ServingTimeseries ServingScikitLearn ServingMachine LearningDeep LearningKmeansNLPPAIParameter ServerMPISparkDSLTensorflow ServingAlgorithm Engine 應用場景：個性化素材審核自動化識別圖片內容：模特圖or衣架圖應 用 實 例 效果自動審核識別圖片內容更高效釋放人力后臺每

6、天有幾十萬素材，雙十一期間大約有百萬級別素材需要人肉審核。背景數 據 服 務 的 應 用面向媒體的數據應用面向阿里生態商家的數據應用阿里集團內部業務數據產品開發平臺看數據分析數據非開發人員自助實現數據需求跨端數據產品開發平臺解決的問題數據產品開發平臺架構DSL構建引擎渲染引擎構建引擎MaxcomputeHBaseMySQLDruidPresto數據源組件卡片模版組件開放平臺執行引擎業務引擎數據服務服務應用數據分析能力報表配置能力產品配置能力產品開發能力組件編排組件設置業務邏輯數 據設計思路變和不變產 品 構 建 過 程構建引擎樣式布局組件分析思路SQL業務邏輯構建引擎DSLDSL應用服務跨端PC、無線、媒體大屏全部工作非開發人員自助完成渲染引擎執行引擎DSLDSL應用服務用戶產 品 使 用 過 程數據產品開發平臺應用運營決策分析活動營銷商業應用