2018年小微金融業務跨平臺數據共享與處理.pdf

《2018年小微金融業務跨平臺數據共享與處理.pdf》由會員分享，可在線閱讀，更多相關《2018年小微金融業務跨平臺數據共享與處理.pdf（39頁珍藏版）》請在三個皮匠報告上搜索。

1、小微金融業務跨平臺數據共享與處理Clouder Lab云存儲專場第三方支付業務的風控場景ServerlessFunctionCompute計算引擎互通LOG+OSS異構數據處理FunctionCompute風控存儲與訪問FunctionCompute+TableStore金融機構合作單位網絡渠道對象存儲函數計算表格存儲對象存儲數據湖存儲大數據處理日志采集分析風控業務查詢風控查詢交易風控數據的海量存儲與多種離線計算處理吳華劍 阿里云存儲服務產品專家Clouder Lab云存儲專場基于OSS的交易風控數據存儲與處理推薦原因 文件數目、容量無限制 EB級的存儲服務 11個9的可靠性設計 同城3AZ容

2、災 跨區域復制、異地容災 容量、性能橫向擴展 Select支持查詢條件下推交易記錄日志記錄 阿里云日志服務無縫集成 標準/低頻/歸檔多種類型 生命周期管理自動轉換 數據規模無縫擴展 穩定，高可用 同城、異地容災能力 11個9的可靠性設計 計算存儲分離，架構靈活 Hadoop原生支持OSS TCO成本更低 阿里云計算產品深度融合 彈性擴展，按量付費 容災能力、強安全、高可靠 Select條件下推提升性能對象存儲OSS阿里云分布式對象存儲服務易用海量高可靠強安全低成本簡單易用，REST API無縫與計算服務集成單個文件最大48.8TB文件數量無限制容量和處理能力彈性擴展多重冗余備份11個9的可靠性

3、設計RAM、加密等多層次安全防護跨區域復制、異地容災機制總體TCO更低多種存儲類型，優化存儲生命周期成本在線服務LogHub數據通道移動設備數據源OSS無縫對接多種計算處理引擎OSS歸檔型OSS標準型Hadoop官方支持OSS海量非結構化半結構化數據對象存儲OSSSparkSQLM-RHivePrestoDataLakeAnalyticsImpalaEMR函數計算MaxComputePig課程示例數據處理鏈路企業伙伴金融機構文件上傳文件上傳用戶數據存儲池交換、處理、歸檔中心存儲池計算引擎管理員用戶交易詳情監管查詢日志記錄事件觸發實時轉換函數計算風控引擎對象存儲OSS標準型歸檔型生命周期管理交互

4、式查詢分析DataLakeAnalytics表格存儲明細數據庫風控數據庫Spark SQLSpark大數據分析引擎MaxCompute日志服務交易文件交易明細表：trade_final*c_userid STRING COMMENT 用戶ID，主鍵*d_dealdate STRING COMMENT 申請時間，主鍵c_businflag STRING COMMENT 業務代碼,d_cdate STRING COMMENT 確認日期,d_date STRING COMMENT 申請日期,l_serialno STRING COMMENT 申請序號,c_agencyno STRING COMMEN

5、T 銷售商編號,c_netno STRING COMMENT 網點編號,c_fundacco STRING COMMENT 基金賬號,c_tradeacco STRING COMMENT 交易賬號,c_fundcode STRING COMMENT 基金代碼,c_sharetype STRING COMMENT 份額類別,f_confirmbalance DOUBLE COMMENT 確認金額,f_tradefare DOUBLE COMMENT 交易費,f_backfare DOUBLE COMMENT 后收手續費,f_otherfare1 DOUBLE COMMENT 其他費用1,c_re

6、mark STRING COMMENT 備注開戶信息：userinfou_userid STRING COMMENT 用戶ID,u_accountdate STRING COMMENT 開戶時間,u_gender STRING COMMENT 性別,u_age INT COMMENT 年齡,u_risk_tolerance INT COMMENT 風險承受能力，1-10，10為最高級,u_city STRING COMMENT所在城市,u_job STRING COMMENT工作類別，A-K,u_income DOUBLE COMMENT年收入(萬)MaxCompute處理OSS數據SQL查詢

7、1.創建OSS外部表（https:/ 賴錫盛Clouder Lab云存儲專場日志服務介紹日志數據接入分析與數倉對接功能體驗日志數據需求1*異異構構日日志志內內容容*存存儲儲方方式式多多樣樣*分分布布各各種種設設備備環環境境23*統統一一存存儲儲讀讀取取*實實時時查查詢詢分分析析*分分析析結結果果可可視視化化*對對接接其其它它存存儲儲*對對接接計計算算引引擎擎*支支持持開開源源生生態態日志服務數據生態能力視圖Log Search/Analytics:查詢與實時分析LogHub：數據實時采集LogShipper：數據倉庫投遞-數據清洗-監控與報警-機器學習與迭代計算-數據倉庫+數據分析-審計-推薦

8、系統-DevOps/線上運維-日志實時數據分析-安全診斷與分析-運營與客服系統-Storm/SparkBlink/Flink-Function Compute-自定義處理 Java/Python/C+LogHub：對接流計算 與 自定義處理離線分析：EMR/Hadoop/Presto/Hive/Spark/MaxCompute流計算：Storm/Spark/Flink/BlinkARMS/CloudMonitor/FC可視化：Tableau/JDBC/GrafanaDataV/Zipkin轉儲：OSS/TableStore/Histore/Hbase/RDS/PG/ETL日志服務Hub：實時數

9、據采集與消費Shipper：數據倉庫投遞對接Search/Analytics：實時日志查詢分析日志采集方式安恒、Splunk、ELK等Third partyUser CodeAli CloudOpen SourceLogtail各語言SDKLog4J/LogBackC ProducerAndroid/IOSSLB/OSS/RDS等云產品日志通過IOT、智能設備、ECS、容器、移動端以及各類云產品等接入實時數據（例如Trace、Metric、TextLog、Click、OSS訪問日志、SLB訪問日志等）進行查詢分析與可視化，并支持對接數據倉庫查詢分析與可視化實時、大規模查詢索引服務，支持PB/天

10、索引處理能力，秒級實時查詢，并能支持無限存儲時長，同時提供數值、區間、文本、模糊、上下文和SQL語法統計功能。除此之外，提供各類地圖、三維圖、動態圖等結果可視化方式。1.訪訪問問日日志志=2.應應用用日日志志=3.上上下下文文123數倉對接數據流計算流OSSMaxComputeE-MapReduceHybridDBDataLakeAnalytics開開源源計計算算工工具具穩定、高吞吐托管化服務，將日志中樞（LogHub）中數據投遞至各類存儲服務，支持壓縮、自定義Partition、以及行列等各種存儲方式演示架構訪問日志對象存儲數據湖存儲大數據處理日志服務Logtail查詢分析儀表盤可視化金融異

11、構報文處理和分發傅海雯 函數計算產品專家Clouder Lab云存儲專場312金融異構數據特點函數計算解決方案示例代碼講解金融業務異構數據和風控流向圖金融機構證券交易企業報表對象存儲表格存儲對象存儲數據湖存儲大數據處理交易報文函數計算交易報文函數計算風控信息查詢表格存儲金融行業異構數據特點報文數據特點數據鏈路長文件格式多樣傳輸有明顯波峰文件大小不一金融行業異構數據特點1、來源機構較多，報文格式不一2、無法預計傳輸文件大小3、傳輸文件峰值和低谷明顯4、系統架構鏈路較長，從傳輸、存儲、計算、分析對象存儲表格存儲對象存儲數據存儲函數計算金融機構報文上傳/數據查詢 對象存儲的PUT/POST接口上傳報

12、文數據到對象存儲對象存儲觸發 設置觸發器的條件函數計算處理 CSV文本格式處理函數 數據存儲到表格和對象存儲數據查詢 數據匯總和存儲 調用大數據分析返回結果并透傳給函數計算函數計算處理異構報文解決方案文文件件上上傳傳事事件件觸觸發發數數據據存存儲儲表格存儲函數計算數據查詢 企業單位訪問風控系統 風控系統通過HTTP請求HTTP觸發器配置 設置HTTP觸發器函數計算處理 請求表格存儲，獲取風控信息數據查詢 返回查詢結果企業單位風控查詢函數計算查詢風控信息方案HTTP觸發器請求數據風控查詢系統動手實驗步驟第一步：開通服務開通函數計算開通表格存儲開通對象存儲第二步：設置服務設置函數計算設置表格存儲設

13、置對象存儲第三步：編寫代碼異構數據處理風控信息查詢演示效果演示上傳代碼演示查詢風控信息查詢函數計算產品特點無服務器架構（Serverless架構）事件觸發（事件源豐富）超彈性（毫秒環境擴容）粘合劑（打通多款產品）百毫秒計費（節省30%費用）一一句句話話概概括括：函函數數計計算算是是提提供供了了一一個個無無服服務務器器的的執執行行環環境境，用用戶戶只只需需要要上上傳傳代代碼碼就就可可以以運運行行代代碼碼，過過程程中中用用戶戶不不需需要要關關心心執執行行環環境境。函數計算近期功能發布提提供供VPC功功能能：通過函數計算可以訪問用戶自定義的VPC環境，能安全高效的訪問RDS、ECS應用等推推出出代代

14、碼碼多多版版本本功功能能：能讓開發者設置多種版本，解決發布和預發布以及灰度上線問題推推出出HTTP觸觸發發器器：能讓用戶通過HTTP請求輕松調用函數執行推推出出環環境境變變量量功功能能：方便開發者存儲公共敏感信息推推出出CDN觸觸發發器器：能讓用戶可以定制CDN數據刷新、CDN訪問日志下載、CDN數據預熱等消息交易風控數據的海量存儲于實時訪問李海龍 阿里云存儲服務產品專家Clouder Lab云存儲專場需求與挑戰表格存儲介紹課程實例需求與挑戰12數據規模全民參與，日交易記錄達到傳統關系型數據庫的單表上限主庫壓力&運維代價均需降低訪問并發促銷、新產品發售等活動會讓數據庫訪問并發暴增彈性資源，自動

15、伸縮，避免資源浪費34性能穩定無論是PB級數據規模，亦或百萬級訪問并發，讀寫請求延時穩定可預期風控查詢需要小于10ms可用可靠數據高可靠，數據高可用部分故障不能導致業務中斷，不丟失數據表格存儲阿里云自研分布式NoSQL數據庫服務規模無縫擴展高性能數據模型靈活完全托管服務高性價比 表大小無限制 自動sharding 分裂合并秒級完成 單行寫入毫秒級延遲 單機可支撐5萬以上TPS 單行列數和大小無限制 多版本 數據過期 零系統運維 監控集成 完全支持RAM安全體系 預留+按量，費用低 多種實例規格場景優勢推薦運營 單表10PB數據 萬億記錄 穩定的讀寫性能 交易高峰訪問并發大 數據多版本 雙集群、

16、雙活災備方案交易記錄風控數據 毫秒級讀延時 百萬級并發讀寫能力 數據生命周期管理 數據規模無縫擴展 穩定，高可用 大數據引擎直讀直寫 Schema Free結構 毫秒級讀延時 數據規模無縫擴展 熱點秒級遷移 彈性資源，按量付費 大數據引擎直讀直寫表C表A表D表格存儲在線服務LogHub數據通道移動設備數據源MaxComputeSparkSQLHive直讀直寫表B表格存儲的離線計算DataLakeAnalytics表C表A表D表格存儲在線服務LogHub數據通道移動設備數據源表B表格存儲的實時計算流計算sparkstorm開放搜索函數計算 自定義應用EMR實時數據聚合計算全文索引實時構建增量數據

17、實時獲取異常報警用戶畫像實時聚合輿情分析全文檢索多維查詢跨區域復制數據備份自定義分析可視化展示課程示例實時轉換企業伙伴金融機構文件存儲文件上傳文件上傳函數計算表格存儲用戶OSS數據交換中心Serverless計算引擎管理員用戶交易詳情交易文件事件觸發大數據分析引擎MaxCompute明細數據庫風控數據庫風控引擎數據處理鏈路DataLakeAnalytics交易明細表：trade_final*c_userid STRING COMMENT 用戶ID，主鍵*d_dealdate STRING COMMENT 申請時間，主鍵c_businflag STRING COMMENT 業務代碼,d_cdat

18、e STRING COMMENT 確認日期,d_date STRING COMMENT 申請日期,l_serialno STRING COMMENT 申請序號,c_agencyno STRING COMMENT 銷售商編號,c_netno STRING COMMENT 網點編號,c_fundacco STRING COMMENT 基金賬號,c_tradeacco STRING COMMENT 交易賬號,c_fundcode STRING COMMENT 基金代碼,c_sharetype STRING COMMENT 份額類別,f_confirmbalance DOUBLE COMMENT 確認

19、金額,f_tradefare DOUBLE COMMENT 交易費,f_backfare DOUBLE COMMENT 后收手續費,f_otherfare1 DOUBLE COMMENT 其他費用1,c_remark STRING COMMENT 備注示例數據：00502090|2018-06-04 21:59:41|保本基金F|2018-06-04|2018-06-04|2018-06-04-009990|SXS_0080|STORE-0851|00502090-0000|00502090-0000|保本基金F-1|保本基金F|323122.0|100.0|30.0|10.0|Null風控數據：user_risk*c_userid STRING COMMENT 用戶ID，表格存儲主鍵d_dealdate STRING COMMENT 最近交易時間c_fundacco STRING COMMENT 基金賬號sharetype_num INTEGER COMMENT 購買基金種類數confirmbalance DOUBLE COMMENT 購買金額總數trade_num INTEGER COMMENT 歷史交易次數示例數據：00501686|2018-05-24 21:50:33|00501686-0000|5|850893.0|11Clouder Lab云存儲專場