2019年基于數據湖架構的時空大數據與云平臺解決方案.pdf

《2019年基于數據湖架構的時空大數據與云平臺解決方案.pdf》由會員分享，可在線閱讀，更多相關《2019年基于數據湖架構的時空大數據與云平臺解決方案.pdf（43頁珍藏版）》請在三個皮匠報告上搜索。

1、基于數據湖架構的時空大數據平臺解決方案從數字城市到智慧城市地市級平臺區縣級平臺省級平臺陜西、遼寧、云南安徽、上海、重慶貴州、湖北、吉林廣西、青海、新疆烏魯木齊、廈門、哈爾濱、撫順、葫蘆島、濟南、訥河、慶陽、長春、保定、崇左、大連、丹東、撫州、阜新、三亞、衡陽、吉安、嘉峪關、鎮江、金昌、錦州、景德鎮、酒泉、龍巖、滿洲里、寧德、石嘴山、泉州、上饒、梧州、五指山、銀川、鷹潭、遵義福鼎、德化、上杭、永定、古田、廣州市花都區、哈密市伊州區、井岡山、平羅、鉛山、壽寧、泰和、萬安、萬年、武夷山、新源、鹽池地理信息公共服務平臺從數字城市到智慧城市時空信息云平臺云南省時空信息云平臺浙江省時空大數據云平臺智慧寧波

2、時空大數據與云平臺智慧新余時空大數據與云平臺智慧南平時空大數據與云平臺智慧南昌時空大數據與云平臺智慧濟南時空大數據與云平臺智慧東莞時空大數據與云平臺浦東新區時空大數據與云平臺智慧城市時空大數據平臺建設進展201220152017關于開展智慧城市時空信息云平臺建設試點工作的通知智慧城市時空信息云平臺建設試點技術指南智慧城市時空信息云平臺建設技術大綱智慧城市時空信息云平臺評價指標體系智慧城市時空大數據與云平臺建設技術大綱（2017版）關于加快推進智慧城市時空大數據與云平臺建設試點工作的通知啟動啟動2013指南指南大綱體系大綱體系更新更新推進推進更新更新2019智慧城市時空大數據平臺建設技術大綱（2

3、019版）智慧城市時空大數據平臺建設技術大綱（2019版）智慧城市時空大數據平臺是基礎時空數據、公共管理與公共服務涉及專題信息的“最大公約數”（簡稱公共專題數據）、物聯網實時感知數據、互聯網在線抓取數據、根據本地特色擴展數據，及其獲取、感知、存儲、處理、共享、集成、挖掘分析、泛在服務的技術系統。連同云計算環境、政策、標準、機制等支撐環境，以及時空基準共同組成時空基礎設施。業務模式GIS云架構設計與落地多源異構時空大數據資源的整合匯聚與一體化管理時空信息云服務平臺的搭建應用集成與智能決策解決方案應用服務層領導決策服務資源池服務平臺層數據層（數據湖）基礎設施層統一云計算中心安全保障體系、標準規范體

4、系虛擬化/容器軟件定義存儲軟件定義網絡多源異構數據匯聚引擎數據區矢量數據資源池柵格數據資源池實時數據資源池歸檔數據資源池分析處理區矢量大數據分析引擎柵格大數據分析引擎實時大數據分析引擎業務流引擎模型算法庫地表形變監測影像變化監測城市體檢數據管理系統云平臺運維管理系統時空信息基礎服務定制化業務專題服務影像在線處理分析服務云GIS應用環境租用服務應用系統快速搭建服務數據共享交換服務大數據分析挖掘服務大數據可視化服務開發接口服務時空信息云平臺門戶城市治理行業應用公眾生活一云一湖一平臺N應用一云：統一的云計算中心依托統一云計算環境建設的集約模式建立全市統一的云計算中心，面向全市各部門提供統一的云服務全

5、市所有新建應用系統及非涉密時空大數據平臺，都應部署于統一云計算環境在IaaS之上建立云GIS PaaS平臺依托統一的云計算環境向業務部門用戶開放私有的時空數據處理、存儲、分析、服務器集群等GIS軟硬件資源服務。異構IaaS平臺適配云GIS PaaS平臺的建立和使用三個端組成：面向系統管理員、租戶管理員、普通用戶，滿足市、縣多級應用需求。資源池化機制：不同的應用場景分配不同的云GIS資源池規劃；不同的組織賬戶分配不同的云GIS資源。多租戶隔離機制：GIS計算資源、存儲資源安全隔離。云平臺監控策略：不同角色均可以實時監控各類云GIS資源。云GIS資源交付能力：分鐘級交付云GIS資源，彈性動態地調整

6、計算資源。云GIS PaaS平臺的建立和使用多租戶：廣東省地理信息公共服務云平臺建設面向用戶：01-誠脈地理咨詢；02-珠海市源萊寶網路科技有限公司；03-廣州暢優科技有限公司；04-廣州暢寶網科技有限公司；05-廣東省應急研究中心；06-廣州地理研究所服務方式：廣州地理所統一建設，對各公司部門以租用的方式提供云服務。云底層：VMware vSphere6.0虛擬化+OpenStack（億訊）現行規模：37個云桌面，5個云集群，7個租戶，80個用戶數以上。業主單位：廣州地理研究所硬件規模：3500vCPU，10TB內存，10TB存儲；服務規模：1000個；站點數10個以上用戶規模：測試1000

7、并發云底層：華為FusionCompute虛擬化+ManageOne3.0；共享存儲：華為NAS5500V3業主單位：貴州省自然資源廳大規模GIS服務支撐：貴州省國土云一體化云思想：衡陽市縣一體化云平臺建設服務方式：市級統一建設的一體化云GIS平臺，面向各縣級提供云服務。服務類型：01-縣級公共平臺服務；02-云服務器服務；03-云存儲服務；04-云GIS集群服務；05-云GIS數據庫服務；06-云GIS桌面服務。云底層：VMware vSphere6.0虛擬化+VMware vCloud Director5.5業主單位：衡陽市自然資源和規劃局開放性定制服務：第三方站點接入，實現第三方站點在G

8、IStack中的交付。時空大數據云平臺：地理大數據可視化展示云底層：阿里公有云業主單位：浙江省測繪科學技術研究院多類型云GIS資源交付：浙江省時空大數據云平臺一湖：時空信息數據湖數據湖的起源“三駕馬車”論文催生Hadoop和HBase傳統的Hadoop(HDFS+MapReduce)的計算存儲一體化的方式面臨收益上的瓶頸，大數據框架走向存儲和計算分離的架構2011年，“數據湖”概念的提出，核心：支持異構數據的匯聚、異構數據分析框架的融合典型數據湖架構的邏輯組成數據湖數據湖數據匯集數據匯集處理&分析處理&分析數據分類、編目數據分類、編目數據管理數據管理數據可視化數據可視化 數據湖架構可以在一個集

9、中式存儲位置安全地存儲、分類和分析所有數據，且數據可以按照原始格式存儲而無需轉換為預定義結構。時空大數據的構成數據體系：從靜態走向動態，從測繪為主到多專題匯集，打造涵蓋地上、地表、地下，呈現過去、現在、未來的時空大數據體系。3214來自設備來自設備 遙感衛星數據 大小飛機數據 視頻監控數據 氣象臺站數據 空氣質量數據 傳感器類數據 車輛GPS數據 手機信令數據來自人來自人 基礎測繪數據 社會統計數據 問卷調查數據 規劃設計數據 行為記錄數據 社交網站數據來自系統來自系統 業務系統數據 辦公文檔資料 網頁資料數據 交易往來數據 系統日志數據數據入湖：多源異構數據匯聚矢量數據時空信息數據湖數據庫I

10、oT實時采集網絡爬蟲接口文件原始影像成果影像三維模型實景數據激光點云實時數據文檔資料RDBMS應用系統多類型文件系統GPS官網/論壇/自媒體IoTWebService離線數據采集數據池設計混合多態存儲與統一存儲管理統一存儲管理成果數據區基礎類專題類管理類生產與管理數據區規劃審批檔案證照數據區檔案證照辦事材料柵格數據區影像柵格切片數據挖掘分析區指標數據模型數據索引區元數據索引塊存存儲（關關系系型型數數據據庫+S SD DE E）對象象存存儲分分布布式式存存儲（H HD DF FS S）索索引引存存儲（E ES S）配置文件區站點配置文件共共享享文文件件存存儲(N NA AS S)時空大數據管理時

11、空大數據管理系統時空大數據管理系統數據自動編目數據自動編目原始數據管理原始數據管理主數據管理主數據管理歸檔數據管理歸檔數據管理元數據管理元數據管理數據智能檢索數據智能檢索血緣分析血緣分析遙感影像數據的統籌與管理一平臺：時空信息云平臺云平臺架構設計云中心云中心桌面平臺桌面平臺移動平臺移動平臺核心服務能力云平臺服務能力時空信息基礎服務：提供二三維地圖服務、要素服務、影像服務、地名地址匹配服務、網絡分析服務、地理處理服務、OGC標準服務等基礎服務類型。定制化業務專題服務：提供面向業務的空間分析模型搭建或數據聚合服務，用于支撐總體規劃、多規合一、規劃業務審批等。遙感影像在線分析服務：提供遙感影像數據的

12、在線處理與分析。云GIS應用環境租用服務：提供云GIS集群、云GIS桌面、云主機等軟件的租賃服務。應用系統快速搭建服務：提供零代碼的業務應用系統快速搭建服務。數據共享交換服務：提供跨業務部門的數據交換服務。數據空間化服務：基于地名地址匹配引擎，實現數據的空間化。大數據分析挖掘服務：提供基于矢量、影像、實時大數據的分析挖掘服務。時空信息基礎服務定制化業務專題服務提供面向業務的，空間分析模型搭建、底圖定制或特定數據產品服務用于支撐和響應不同部門的業務需求。遙感影像在線分析服務為業務用戶提供在線的影像提取分析、變化監測等功能服務，支持多業務領域應用，如城市規劃、環境保護等。影像在線分析系統影像在線分

13、析系統水體變化檢測水體變化檢測植被變化檢測植被變化檢測硬質地表變化檢測硬質地表變化檢測影像共享、在線發布系統提供數據源影像共享、在線發布系統提供數據源云GIS應用環境租用服務應用系統快速搭建服務零代碼的應用構建器-跨桌面和移動電腦跨平臺使用-豐富的功能插件，可以擴展自己的插件-界面可進行定制，使之與眾不同-配置信息可以保存成應用模版數據共享交換服務數據目錄數據購物車數據訂單數據訂單審批數據下載數據空間化服務基于地名地址匹配引擎，實現非空間數據的空間化。大數據分析挖掘服務基于時空大數據資源和挖掘引擎，按需建立大數據分析應用主題域。時空分布時空分布關聯分析關聯分析深度挖掘深度挖掘統一服務門戶統一服

14、務門戶 打造一個融合資源檢索與展示、“開放式”共享交換以及用戶個性化內容管理于一體的新型地理信息資源門戶，并具備在線智能制圖、零代碼應用自動快速組裝、用戶按需自服務等能力。統一服務門戶 打造一個融合資源檢索與展示、“開放式”共享交換以及用戶個性化內容管理于一體的新型地理信息資源門戶，并具備在線智能制圖、零代碼應用自動快速組裝、用戶按需自服務等能力。云端運維管理系統云平臺運維管理系統 多租戶的管理模式 云基礎資源監控與管理（資源池、存儲、數據庫、鏡像模板、虛擬機配置）云平臺服務監控與管理 細粒度的權限控制 黑名單與異常報警機制 多維度的統計分析云平臺運維管理系統 多租戶的管理模式 云基礎資源監控

15、與管理（資源池、存儲、數據庫、鏡像模板、虛擬機配置）云平臺服務監控與管理 細粒度的權限控制 黑名單與異常報警機制 多維度的統計分析N應用N類智慧應用面向領導決策面向行業應用面向城市治理面向公眾生活面向領導決策時空信息一張圖/綜合市情：涵蓋空間基礎、空間規劃、自然資源、城市管理、公共專題、智能感知等專題。面向領導決策自然資源及生態環境保護履職平臺（生態審計平臺）本底庫變化庫動態巡查自然資源及生態環境保護預警自然資源與生態環境保護決策與分析組織部干部考核平臺檢察院公益訴訟平臺審計局生態審計平臺面向行業應用自然資源管理服務系統數據服務：時空基礎數據、自然資源管理專題數據；業務模型：自然資源要素地理分布統計、空間開發格局分析、資源優化配置、變化發現等面向城市治理智慧城市綜合運營管理中心面向公眾生活地圖故事、便民一掌通總 結一個統一云計算中心一個時空信息數據湖一個時空信息云平臺N類智慧應用1云+1湖+1平臺+N應用