2017年聯動大數據處理架構的選擇和演進.pdf

1、To create a happy lifestyle enjoyed by all people through technology 用科技創造人人樂享的生活方式 聯動大數據處理架構的選擇和演進 聯動大數據處理架構的選擇和演進 20172017年年1111月 月 公司介紹 公司介紹 2003 2003 聯動優勢科技公司聯動優勢科技公司 2003年8月聯動優勢科技公司成立，主營運營商增值業務 2011 2011 聯動優勢電子商務公司聯動優勢電子商務公司 電商公司成立，主營支付業務 2014 2014 保理公司保理公司 主營業務供應鏈金融 2015 2015 安派國際安派國際 主營跨境電商支付

2、 2016 2016 海立美達重組上市海立美達重組上市 成為上市公司 業務介紹 業務介紹 聚合支付?運營商服務?惠商營銷?風控建模?跨境支付?行業解決方案 行業解決方案 互聯網 互聯網 電商 電商 航旅 航旅 銀行 銀行 證券 證券 保險 保險 集貿 集貿 物流 物流 數據中心1.0 數據中心1.0 企業內部數據倉庫，支持內部運營 數據怎么存、結果怎么查做好選型，先用起來，后續優化定位問題關鍵Hdfs Hdfs HBaseHBase Hive Hive IBM IBM Netezza Netezza 數據中心1.0技術架構 數據中心1.0技術架構 Logs DB2?Query?Interfac

3、e?Web Show?Diagram?Mail?Operation Analysis?內部數據中心服務平臺2.0 內部數據中心服務平臺2.0 問題改進1.維護多個數據平臺 2.無法滿足實時分析需求 3.缺乏統一的查詢入口Presto,ES,Storm,Redis,Kafka,Neo4j 內部數據中心服務平臺2.0架構 內部數據中心服務平臺2.0架構 Logs DB2?Doc?.Kafka 數據源Storm 實時處理系統離線處理系統數據清洗標準化 數據清洗標準化 離線報表統計展示 離線報表統計展示 實時運營分析 實時運營分析 Redis,ES,Neo4j Redis,ES,Neo4j 實時風控系

4、統 實時風控系統 Hadoop,Hive,Hbase Hadoop,Hive,Hbase 數據消費查詢解析器?數據出口集集群群監監控控內部數據中心服務平臺2.0-數據查詢分析 內部數據中心服務平臺2.0-數據查詢分析 Query 查詢解析器Hive Hive Presto Presto HBase HBase Neo4j Neo4j ES ES Redis Redis HDFS HDFS Data?任任務務調調度度系系統統內部數據中心服務平臺2.0-實時計算處理 內部數據中心服務平臺2.0-實時計算處理 實 實 時 時 數 數 據 據 采 采 集集 Kafka Storm 執行業務邏輯數據清洗

5、入庫HDFS HDFS Neo4j Neo4j ES ES Redis Redis HBase HBase 觸發設定規則 觸發設定規則 業務情況提醒 業務情況提醒 大數據服務平臺3.0 大數據服務平臺3.0 定位挑戰主要滿足對外部商戶服務PB，TPS，ms，99.9%場景信用評估，反欺詐，風控管理解決 數據分層，高可用，機器學習，緩存預處理大數據服務平臺3.0數據分級 大數據服務平臺3.0數據分級 ApplicationSummaryBaseHBase、ES 應用層應用層 Hive 匯總層匯總層、分析層分析層、臨時提取層 臨時提取層 Hdfs、Hive 近源層近源層、明細層明細層、歷史層 歷史

6、層 大數據服務平臺3.0機器學習 大數據服務平臺3.0機器學習 信用評估 貸后管理 風險管控 資產定價 反欺詐 HDFS HDFS Yarn Yarn Spark Spark Mr Mr Zookeeper Zookeeper HBase HBase Streaming Streaming Graphx Graphx Sql Sql MLlib MLlib Mahout Mahout Pig Pig Hive Hive Kafka Kafka Sqoop Sqoop Redis Redis Mysql Mysql ElasticSearch ElasticSearch Presto Prest

7、o Flume Flume 大數據服務平臺3.0應用組件 大數據服務平臺3.0應用組件 大數據服務平臺3.0高可用框架 大數據服務平臺3.0高可用框架 Master Master Keepalived Keepalived Nginx Nginx Nginx Nginx Front Front Front Front Cache Cache Count Count Keepalived Keepalived Nginx Nginx Nginx Nginx Service Service Service Service Keepalived Keepalived Nginx Nginx Nginx Nginx Access Access Access Access backup backup Db2 Db2 聯動優勢愿景 聯動優勢愿景 專業服務專業服務+多年經驗多年經驗 金融科技金融科技+行業應用行業應用 謝謝謝謝！