《GeoScene空間大數據解決方案.pdf》由會員分享,可在線閱讀,更多相關《GeoScene空間大數據解決方案.pdf(62頁珍藏版)》請在三個皮匠報告上搜索。
1、GeoScene空間大數據解決方案易智瑞研究院大數據事業部產品經理常亞敏1.GeoScene空間大數據建設體系2.GeoScene空間大數據產品核心能力3.應用場景4.總結目 錄一、GeoScene 空間大數據建設體系 認識數據 感知數據 理解數據 應用數據認識數據是綜合了解數據的來源和生成方式,數據的時空特征及元數據信息從數據中發掘出有用的信息,通過不同數據之間的關聯關系實現知識發現、知識推理的過程支撐不同行業和領域的具體應用場景,輔助決策的過程,實現應用的自動化構建、服務能力迭代升級的過程深入洞察數據的體系結構,對數據變化情況進行追溯,同時挖掘數據的價值空間大數據時代的難題和挑戰空間大數據
2、分布式計算框架HDFSApache SparkHBase云存儲數據庫其他存儲方式文件型存儲Apache FlinkMapReduce計算引擎交換機大量的、復雜的需要迭代和交互式處理的分析任務,各計算單元之間有頻繁的數據交換和讀寫處理長事務性計算/航天/航空/地表移動物體感知數據/地表非移動物體人工建筑數據地質體地形土地覆蓋自然對象自然氣象業務單位/業務領域互聯網實時/交易時空數據來源多樣化全國激光點云數據一年超過130PB國家級國土三調矢量數據超過1TB城市級車輛運行軌跡數據,每天超過1億條城市級手機信令數據,每天超過10億條省級氣象觀測數據,每月超過2億條省級生態紅線數據單個要素節點數超過1
3、00萬個時空數據規模日益龐大GeoScene空間大數據建設流程數據注冊數據匯聚數據質檢數據治理數據分析模型構建洞察挖掘業務應用 CSV數據讀取 Shp數據讀取 Parquet、ORC數據讀取文件型數據源 Oracle數據源 PostgreSQL數據源 達夢數據源 Hbase數據源 FileGDB數據源讀取數據庫數據源分布式文件系統 HDFS云存儲 阿里云 華為云 AWS云存儲 微軟云存儲連接描述感知監測關系追溯數據治理、模型訓練、知識服務差異檢測壓蓋檢測拓撲檢查空值檢測空間投影數據偏移數據清洗節點計算質心提取數據融合數據追加空間融合屬性融合數據狀態管理時空關系梳理時空語義描述屬性連接空間連接業
4、務應用交通大數據犯罪分析自然資源大數據工具服務算子服務模型服務接口服務資源管理服務算子算法工具模型應用決策數據維度業務維度樣本標注樣本導出模型訓練場景推理分類聚類回歸預測深度學習最大似然分類支持向量機隨機森林分類與回歸時空聚類目 標檢測語 義分割對 象分類視頻檢測矢量柵格融合分析柵格數據讀取處理點 云分割實 例分割自 然 語 言處理數據血緣關系追溯管理知識推理語義關系實體關系知識推理知識決策知識抽取知識融合知識表達計算智能感知智能認知智能GeoScene空間大數據產品概述GeoScene提供了完整的空間大數據解決方案建設流程通過靈活的大數據適配引擎,快速適配多種數據源類型基于Spark分布式計
5、算框架提供數據高效處理和分析,支持多重計算框架提供豐富的分析工具、業務模型庫零代碼交互式建模,數據和算子直觀查看、在線拖拽,靈活構建業務流程提供算子、接口、頁面模塊等多層次的二次開發拓展跨平臺、國產化兼容適配復雜業務場景時空態勢分析價值洞察挖掘GeoScene空間大數據產品發展歷程GeoAnalytics ServerGeoAnalytics Server Plusx86GeoAnalytics ServerGeoAnalytics Server PlusGeoAnalytics Plus Desktopx86非x86GeoAnalytics ServerGeoAnalytics Server
6、 PlusGeoAnalytics Plus Desktopx86非x862021,V2.12022,V3.12023,V4.0GA、GA+空間分析、在線建模、分析任務支持Portal要素服務和大數據文件共享作為輸入數據源及輸出支持在線交互式拖拽建模100+個算子新增GA+Desktop跨平臺桌面端大數據分析產品支持PG庫、HDFS、NFS共享目錄、File GDB150+個算子新增OD分析、計算動態統計數據、追蹤鄰域事件新增數據資源、數據治理、后臺管理數據血緣關系追溯、體檢套餐模塊解耦架構升級,GA+新增arm版國產數據庫適配柵格數據讀寫和分析180+個算子捕獲追蹤工具在線建模能力增強新增業
7、務目錄體系完善體系完善架構升級架構升級能力豐富能力豐富GeoScene 4.0空間大數據軟件架構基礎設施層X86ARM多源數據Serviceshapefile文本數據本地文件人工智能和資源圖譜地理加權回歸分析隨機森林分類與回歸分析柵格大數據分析空間數據處理數據裁剪時空數據分析屬性過濾點聚合多變量網格事件檢測范圍內匯總空間過濾空間投影屬性匯總軌跡構建疊加圖層 合并圖層要素連接查找相似位置查找點聚類查找熱點邊界融合創建緩沖區密度計算坡度計算坡向計算重分類矢量轉柵格柵格計算柵格轉矢量計算動態統計數據Rest API應用在線建模系統集成開始Geometry停止年度建設用地報批數據(JSYDBP)年度土
8、地供應數據(TDGY)疊加分析疊加分析結果去空報批編號獲取地塊地塊數據計算批而未供面積表工具擴展模型開發數據資源關系數據與模型關系模型與應用之間的關系GeoScene GeoAnalytics Server Plus數據讀取引擎分析處理引擎服務發布引擎任務調度引擎第三方分布式計算框架 Spark Standalone Spark Yarn Spark kerberosGeoScene GA時空數據處理引擎分布式計算引擎用戶訪問入口大數據處理引擎擴展適配架構擴展二、核心能力12354時空數據治理能力空間分析與洞察挖掘能力在線拖拽式建模能力開發擴展能力高性能計算GeoScene 數據連接 數據感知
9、 數據體檢 數據清洗空間分析計算時空態勢分析柵格大數據分析機器學習能力 即拿即用的分析能力 數據資源即服務 業務場景驅動的模型構建 平臺層面的API擴展能力 模型層面的開發擴展 算子粒度的開發擴展 多重框架適配 數據源讀寫優化 數據融合 數據治理 關系追溯 數據共享GeoScene 空間大數據產品核心能力2.1 時空數據治理能力GeoScene時空大數據治理流程時空數據治理是指通過大數據技術對海量多來源多結構的時空數據進行采集、處理、計算、存儲、加工和治理的一整套流程,為上層應用提供數據服務,支撐不同方向的業務應用系統建設。數據匯聚數據匯聚“感知數據“與多來源數據建立連接,感知時空數據結構,實
10、現數據抽取匯聚解決數據分散、來源廣泛難題解決數據版本混亂、共享交換規范問題數據共享數據共享“共享機制“基于業務視角定義標準目錄結構,構建統一大數據資源清單,實現數據規范共享實現數據業務價值、實現知識發現能力數據應用數據應用“支撐業務“基于業務場景的模型構建,形成多維度數據應用和可視化表達GeoScene時空數據治理流程解決數據結構多樣、類型不一等難題數據治理數據治理“治理數據“針對空間數據進行檢測、清洗、處理、融合、歸集,提升數據質量解決數據入庫更新、關聯關系追溯難題數據描述數據描述“理解數據“針對數據的元數據信息、空間結構、變化情況形成血緣關系追溯和資源圖譜文件型關系型數據庫NoSQL數據庫
11、文件地理數據庫圖數據庫分布式文件系統GeoScene空間大數據適配引擎多類型全要素線面點柵格影像文本文檔視頻云存儲shapefile文本數據本地文件FileGDB針對文件型、關系型數據庫、分布式文件系統(HDFS)、文件地理數據庫、NoSQL數據庫、圖數據庫、云存儲等多類型時空數據存儲方式,提供了空間大數據適配引擎,實現了不同來源、不同結構數據的快速連接和感知。依據時空數據特有的幾何特征和數據組織結構,進行多維度數據感知。七大類型、數十種數據源的對接和適配節點感知多個感知維度、21種感知策略數據匯聚-實現不同來源數據的連接和感知數據抽?。阂环N基于規則轉換、數據過濾、數據格式和類型轉換的操作過程
12、托管要素服務大數據文件共享(Shp、CSV、Parquet、ORC)地圖服務Oracle數據源Oracle非空間表PostgreSQL SDE數據源Postgis SDE數據源Postgis數據源Postgis非空間數據源Shapefile文件FileGDB圖層CSV文件GeoJSON文件JSON文件達夢數據源托管要素服務(PG庫)托管要素服務(ES庫)輸出到大數據文件共享(Shp、CSV、Parquet、ORC)寫出到FileGDBOracle(ST_Geometry、SDO_Geometry、非空間表)寫出到本Shapefile寫出本地CSV寫出本地JSON文件(非空間)達夢數據庫Post
13、greSQL(SDE)PostGIS數據抽取數據抽取源數據類型、格式,源數據類型、格式,19類類目標數據類型、格式,目標數據類型、格式,24類類PostgreSQL(非空間表)寫出本地GeoJSONGA Plus提供了一種數據轉換引擎,針對GIS數據結構和特點,實現不同時空數據之間類型轉換、屬性過濾、空間過濾,以及規則和條件過濾在國土空間平臺、大數據平臺、數據中臺建設中需要進行多來源數據之間的轉換,GA Plus提供了GIS數據格式和類型轉換支撐表寫出為Excel數據多維感知與描述數據描述宏觀感知空間感知與結構描述血緣關系追溯宏觀統計資源池數據總量;感知空間數據結構和類型;感知空間數據體量和量
14、級;感知空間數據變化和形態;數據關聯關系描述資源圖譜式表達數據血緣關系追溯屬性結構感知空間數據結構感知時空數據資源池統計數據關聯圖譜表達時空數據治理工具長度字段面積空間形狀類型圖層要素邊界空間幾何屬性時空數據檢測空間關系幾何形狀數據屬性時空數據清洗刪除長度異常線刪除面積異常多邊形刪除字段時空數據處理空間位置幾何形狀轉換數據類型轉化時空數據融合圖層融合連接要素邊界融合時空數據治理工具時空數據體檢套餐套餐式體檢空間拓撲檢測屬性字段檢測異常要素檢測輸出體檢報告輸出問題數據多部件數據異常多邊形要素壓蓋自相交空間數據常見問題1.Short segment-有些線段短于與何關聯的空間參考的系統單位所允許的
15、 長度2.Incorrect ring ordering-的拓撲結構較簡單,但是的環可能未正確定 向(外環-順時針,內環-逆時針)3.Incorrect segment orientation-各條線段的定向不致 線段 i 的終點應 該與線段 i+1 的起點相接4.Self intersections-不能與相交5.Unclosed rings-環中最后條線段的終點必須與第條線段的起點相接6.Empty parts-何具有多個部分,其中個部分為空(沒有何)7.Duplicate vertex-何的兩個或多個連續折點坐標相同8.Discontinuous parts-何的某部分由斷開的或不連續的
16、部分組成GIS空間數據存儲結構Esri shapefilesWKT&WKBArcGIS:ST_geometryPostgis空間數據存儲Oracle Spatial:SDO_geometryGeoJSONGA 空間幾何對象結構多邊形節點反序單條要素3026個Part部件,555628個節點針對空間數據常見的幾何結構特征、拓撲錯誤進行檢測;快速發現百萬級、千萬級數據中的異常數據時空數據檢測-依據GIS空間數據存儲結構規則進行檢測檢測異常值檢測面積異常多邊形檢測壓蓋點檢測多邊形異常外環檢測多邊形島空間自相交檢測狹長多邊形檢測線壓蓋多部件線自相交狹長多邊形縫隙檢測自相交參數化設置異常數據檢測結果,直
17、觀展現參數設置分布式數據檢測工具集檢測空幾何檢測起始節點重疊多邊形檢測多邊形異常內環檢測拓撲檢測凸多邊形檢測長度異常線檢測空值時空數據檢測工具體檢套餐機制針對復雜空間數據的檢測機制,能夠讓用戶一次輸入,多個指標同時檢測出來體檢套餐的必要性:一次任務,多種指標同時檢測;直觀輸出問題數據;空間和屬性聯合查看;體檢報告在線查看體檢結果導出,支持導出錯誤問題記錄、導出geojson、Shapefile等格式的錯誤圖層自定義體檢套餐,按需組裝檢測指標體檢套餐更多數據問題,一鍵發現問題數據直接定位到地圖新自定義體檢套餐體檢以套餐形式一站式檢查數據存在的問題國土空間規劃數據HDFS數據源屬性規則檢測數據檢測
18、模型 UTC 時間格式配置 時間規則校驗數據處理模型 數據融合 數據質檢 數據入池 分析模型 業務應用數據應用模型時間規則檢測空間規則檢測屬性規則檢測數據完整性文件類型一致性字段結構一致性數據格式一致性數學基礎一致性空值處理空規則間檢測檢測空幾何檢測拓撲檢測壓蓋線檢測相交線檢測壓蓋線檢測縫隙檢測壓蓋點空間自相交檢測數據處理模型拓撲校正節點抽稀空間偏移圖層融合邊界融合屬性融合補全空值生成軌跡線條件過濾刪除字段刪除異常線刪除異常面時空數據處理模型快速發現百萬級、千萬級數據中的異常數據通過流程化質檢模型進行數據清洗處理,提升數據質量時空數據清洗和處理針對空間數據、文本數據、時態數據進行清洗和處理統一
19、、標準的大數據資源清單,避免數據分散、版本混亂的問題規范目錄注冊機制:僅系統管理員和部門管理員可注冊,系統管理員分配節點權限數據分類共享,申請審批留痕、可追溯未來支持對接第三方目錄查看和使用標準目錄結構,差異化數據共享業務目錄數據組織結構業務視角,可按實際需求創建多層級結構數據可見性全員可見,所有用戶看到的數據項清單相同數據可用性除部分數據已有權限可直接使用,其他數據需申請通過后使用數據共享公開共享/審批共享數據使用留痕申請、審批留痕新GeoScene時空數據治理小結GeoSceneGeoScene時空數據治理讓用戶更深刻感知和理解數據數據位置、數據格式、數據類別、數據結構、時空范疇數據匯聚
20、屬性規則、時間規則、空間規則檢測 分布式檢測工具集 自定義體檢套餐檢測策略數據檢測 數據處理工具集 自動化處理模型 AI自動化處理數據治理 元數據信息描述 數據、模型、應用關系描述數據描述 統一標準資源目錄清單 數據分類共享數據共享GeoScene 構建了一體化時空數據感知體系,全面感知數據結構和變化狀態,追溯數據變化過程和流轉情況,通過自動化檢測和治理策略,提升數據質量。數據治理數據治理“治理數據“針對空間數據進行檢測、清洗、處理、融合、歸集,提升數據質量數據描述數據描述“理解數據“針對數據的元數據信息、空間結構、變化情況形成血緣關系追溯和資源圖譜數據應用數據應用“支撐業務“基于業務場景的模
21、型構建,形成多維度數據應用和可視化表達數據匯聚數據匯聚“感知數據“與多來源數據建立連接,感知時空數據結構,實現數據抽取匯聚以工具化和模型化使用,以產品化交付,用戶無需額外開發擴展,即拿即用,降低了使用和維護成本2.2 時空分析與洞察挖掘能力時空分析與洞察挖掘數據匯總查找位置分析模式鄰近分析數據管理聚合點要素連接重新構建軌跡屬性匯總范圍內匯總構建多變量格網描述數據集捕獲追蹤密度計算查找熱點OD分析查找相似位置檢測事件查找駐留位置計算字段裁剪圖層追加數據空間疊加邊界融合合并圖層數據去重屬性過濾拓撲分析空間投影創建緩沖區追蹤鄰域事件數據豐富從多變量網格豐富數據計算動態統計數據數據處理.疊加分析.事件
22、檢測.機器學習.洞察預測.分布式計算4.0新增機器學習查找點聚類基于森林的分類與回歸廣義線性回歸K均值聚類高斯混合聚類樸素貝葉斯分類(訓練)樸素貝葉斯分類(預測)決策樹分類與回歸(訓練)決策樹分類與回歸(預測)主成分分析邏輯回歸分析地理加權回歸柵格分析坡度計算坡向計算重分類柵格計算按掩膜提取矢量轉柵格柵格轉矢量提供8類工具集共40余種分析工具,涵蓋空間數據處理、時空數據分析、柵格大數據分析、機器學習等Overlay 疊加分析疊加圖層工具使用以下五種方法之一將兩個圖層合并為一個圖層:相交、擦除、聯合、標識、交集取反。業務領域:國土、測繪、規劃、林業、農業等圖層之間有空間疊加、壓蓋等需求的業務永久
23、基本農田地類圖斑圖斑化線狀地物基本農田中國土“三調”地類變化扣除線狀地物圖斑后的永久基本農田圖斑套合“三調”地類情況擦除相交匯總統計GeoScene 4.0 新增捕獲追蹤工具,用于將追蹤點匹配到線。如軌跡點糾偏,車輛GPS點不在道路時,可將其糾偏至道路,以獲取更合理的軌跡。時空動態計算捕獲追蹤車輛GPS點糾偏匹配原則新點圖層-輸入點圖層必須啟用時間,并且時間類型必須為時刻,以代表一個觀察點。線圖層-輸入線圖層必須包含表達連通性的字段信息,方向信息(可選)連通性字段:線的唯一標識字段、標識軌跡沿線移動的起始節點字段、終點字段方向字段配置:指定道路方向字段,字段包括向前、向后、雙向。指定方向可以獲
24、得更精確的結果搜索距離:點與線之間所允許存在的最大距離,可參照精度返回結果:返回捕捉到沿匹配線最近位置的點車輛GPS點清洗糾偏搜索距離軌跡方向時空動態計算檢測事件處理對象:帶有時間序列的要素條件過濾:輸入表達式,輸出符合指定條件的要素,同時根據開始條件、和結束條件設置,來判斷符合條件的事件屬性,包括事件狀態、事件持續事件等內容。最終結果:返回事件id、狀態、累計持續時間事件狀態:start、ongoing、ended、null檢測事件工具使用指定的條件檢查連續時間要素。符合指定條件的要素被標記為事件。生成的圖層以與輸入相同的格式顯示輸入要素,其他字段則表明要素是否為事件、事件的狀態、事件的持續
25、時間以及唯一的事件標識符。出租車訂單識別 出租車數據:出租車id,空車標記,經緯度坐標,時間戳信息等 追蹤字段:Taxi_id 訂單開始條件:$feature“empty”=2(乘客上車標記)訂單結束條件:$feature“empty”=3(乘客下車標記)異常事件檢測持續時間時空分布規律時空動態計算重新構建追蹤重新構建追蹤工具可連接軌跡上的多個時序點,并匯總軌跡內的要素。根據一個或多個軌跡字段確定軌跡。生成的圖層會以線或面的形式顯示軌跡、軌跡中已匯總要素的計數,以及已指定的所有附加統計數據?;谑謾C信令追蹤行走軌跡船舶全球運行軌跡出租車訂單軌跡處理對象:帶有時間序列的要素軌跡構建工具參數:緩沖
26、距離/緩沖表達式、距離切片、時間切片最終結果:軌跡持續時間、開始時間、結束時間、統計結果時空動態計算計算動態統計數據出租車運行態勢計算動態統計數據工具用于計算啟用時間且時間類型為時刻的要素的動態統計數據和測量值組。車輛監控:空間位置、實時速度、停留時間等信息綜合路況:路段平均速度、道路流量、擁堵狀況統計數據和測量值均基于通過唯一標識符確定的軌跡。計算包括距離、速度、加速度、持續時間、高程、坡度、停留時間和方位角城市交通綜合分析矢量大數據與柵格大數據融合分析GeoScene GA Plus 4.0 新增柵格大數據分析能力,為用戶提供矢量、柵格一體的分析環境坡度計算坡向計算重分類柵格轉矢量按掩膜提
27、取柵格計算器矢量轉柵格DEM數據做坡度計算、坡度分級、柵格轉矢量處理可與基本農田數據做空間疊加,查看農田在地勢上分布、計算農田坡度等級新2.3 大數據在線建模GeoScene 大數據在線建模模塊,基于細粒度的分布式計算算子,通過數據和算子拖拽連線的方式,零代碼構建業務計算流程,為用戶處理復雜業務場景提供了便捷的處理方式。GeoScene大數據在線建模能力業務范圍:已經在重慶、山東、廣東、甘肅、湖南等用戶現場使用,場景涉及自然資源、交通、規劃、住建等分析領域全覆蓋的基礎算子業務場景驅動的模型構建動態的任務執行過程監控開放的算子擴展和模型調用面向多領域的內置業務模型開始Geometry停止年度建設
28、用地報批數據(JSYDBP)年度土地供應數據(TDGY)疊加分析疊加分析結果去空報批編號獲取地塊地塊數據計算批而未供面積表流程梳理拖拽式建模業務需求項目選址合規性審查規劃成果審核城鎮開發邊界潛力三區三線核查年度土地利用現狀變化分析年度永久基本農田變化分析永久基本農田與土地利用現狀差異分析分析算子工具箱數據資源直觀查看可視化建模面板模型參數配置模型庫管理、共享數據資源檢索即拿即用的數據與分析資源用戶可以直接對數據資源拖拽到畫布中參與模型運算,從而實現了業務數據與分析能力深入結合直觀業務分組詳細算子描述快捷搜索數據拖拽式連線算子交互友好GeoScene 4.0 提供180+大數據分析算子,更豐富的
29、數據讀取和寫出、分析和計算、業務支撐分析領域全覆蓋的基礎算子4.0算子新特性新增38個分析算子,集中在數據源讀寫、空間數據拓撲檢測、柵格分析等支持前置過濾,提升計算效率:支持條件/字段/空間范圍過濾新增支持寫出Excel表,匯總結果直接下載自定義分析算子,靈活擴展分析能力1開發算子代碼依據規則和業務需求,自定義開發Python算子;2注冊算子以服務形式注冊到GA Plus平臺3無縫使用無縫建模,與現有算子聯合使用內置業務模型庫,通用場景快速遷移GA Plus 提供了內置業務模型庫,規則可修改,實現業務場景復用智能選址分析土地利用變化監測村莊流向分析退耕還林土地流向分析耕地坡度等級賦值住房統計網
30、格建設用地技術審查批而未供業務分析業務模型庫新基于標準空間數據庫、通用的處理過程連接數據直接使用提供模型業務說明、實現邏輯流程說明針對模型運行情況提供統計空間規劃用途管制調查監測批量讀取和循環處理指定空間數據類型數據集鉆取細粒度配置算子不同層級的循環計算和迭代處理每一層級獨立輸出批量讀取和循環處理功能在很多業務場景中有實際需求,如國土空間規劃業務需要對不同省份、不同地市、不同縣匯交的數據集進行依照標準規則的檢測和處理,針對點、線、面不同空間數據類型提供不同的檢測方法和運算規則。單線單流程單線多流程多線雙重循環雙重批量讀取算子,支持不同數據源之間指定關聯條件參與分析新模型管理和調用支持定時執行,
31、周期執行以標簽、分組等方式管理模型共享模型,支持模型批量導入、導出開放模型 REST 接口調用能力永久基本農田國土空間總體規劃國土空間詳細規劃供地數據城鎮開發邊界生態公益林用地項目選址分析評價描述:選址參數(主要設置建設規模、是否避讓永久基本農田、生態紅線、自然保護區)、影響因子(符合性因子、審批因子、合規性因子、行業限制因子等),進行多項加權評分,得出選址分析報告;難點:業務規則復雜、影響因子眾多、開發過程繁瑣、執行效率低下(需要開發2個月);解決:GA Plus拖拽式構建模型(熟悉業務:1周,構建模型:3天),模型可以多次復用GA Plus支撐高速公路用地選址項目分析批量讀取、分析的dem
32、o2.3 大數據在線建模能力:demoGeoScene 大數據在線建模實現選址評估GeoScene 在線建模特性小結零代碼零代碼的業務場景實現豐富分析資源近200個分析算子庫和業務模型庫自動化處理批量讀取、循環分析、定時計算靈活擴展靈活的擴展和集成方式快速復用共享、批量導入導出,快速復用2.4 開發擴展能力GeoScene 空間大數據支持多層次開發擴展方式,助力業務用戶與合作伙伴快速集成大數據能力開發擴展能力模塊級別嵌入頁面接口算子接口化調用自定義注冊算子自定義分析算子,靈活擴展分析能力RA工具GA工具Python機器學習庫基于PySpark,調用geoanalytics對象(矢量大數據分析模
33、塊)和rasteranalytics 對象(柵格大數據分析模塊)分析工具擴展大數據讀寫,包括:讀寫URL、EsriJson、Shapefile、GeoPackage數據、外部關系型數據庫數據、讀取FileGDB支持屬性過濾、條件過濾、范圍過濾等前置過濾模塊級嵌入能力數據資源數據治理空間分析在線建模GA Plus功能模塊分析任務后臺管理首頁可嵌入頁面和接口通過模塊解耦,提供主要功能模塊的可嵌入頁面,開發人員可調用對應的模塊,快速集成到用戶業務系統中模塊級別復用接口級別靈活定制可嵌入頁面,通過iframe方式嵌入,調用url即可,大大降低項目實施難度接口調用,粒度更細的系統集成,可自定義修改樣式和
34、風格系統統一,無感跳轉提供用戶對接方案保留系統權限控制保留用戶權限控制保障數據安全深度、廣泛支撐更多系統建設提供高質量開發文檔,包括方法說明、請求示例、返回示例等,降低開發上手難度。豐富全面的開發幫助文檔2.5 高性能GeoScene 大數據產品內置Spark分布式計算框架,同時支持多重框架靈活適配GeoScene 空間大數據高性能解決方案兼容不同體量性能體驗 兼容小數據量分析性能體驗常見業務場景分布式讀寫支持調用第三方分布式計算框架單機部署、集群部署資源靈活擴展 PG庫讀寫性能優化 fileGDB讀取優化 數據抽取 疊加分析 構建多變量格網單機環境完成千萬級PG庫數據抽取5.175.055.
35、0710.371719123集群環境(20核、160G內存,3個節點)PG數據庫讀取、寫出性能優化單機環境下不同體量抽取耗時對比單機環境可支持完成2800w數據抽取耗時15-38min集群環境下讀取PG、寫出HDFS:抽取880萬數據,5分鐘左右,抽取2800萬數據,10min讀HDFS、寫出PG:抽取880萬數據,5分鐘左右,抽取2800萬數據,20min以內15.432.938.2123單機環境(16核、64G內存)省級常見分析場景一刻鐘完成15.012.28.46.21234三線疊加變更調查地類圖斑數據業務場景三線數據疊加變更調查地類圖斑,讀取GDB數據源,輸入圖層數據量3000w,疊加
36、圖層數據量級見左疊加分析、計算面積、匯總屬性,輸出統計表和分析結果數據,15min內完成集群環境(32核、128G內存,3個節點)業務場景:全國范圍內圖斑數據,PG數據源,構建2KM四邊形格網,統計面積進行范圍內匯總。輸入數據:2.7億條,輸出要素服務,分析耗時:5.5h全國范圍內億級圖斑空間匯總5h左右完成全國范圍圖斑數據四邊形格網統計集群環境(32核、128G內存,3個節點)數據源存儲格式:PostGIS測試數據:點,PostGIS數據源,79,119條測試環境:單機部署,24核 64G小數據量分析秒級響應構建多變量格網,耗時1s范圍內匯總,耗時 2s兼容小數據量分析性能體驗三、應用場景某
37、省規劃院國土空間規劃業務空間數據結構和質量檢測業務需求:用戶需要對全省國土空間規劃數據進行質檢和檢測,依據空間數據結構(點、線、面)進行拓撲檢測依據業務規則進行底線落實、承諾落實、已批項目、重大項目、規劃銜接等內容的沖突檢測和業務報表輸出技術難點:常規上使用傳統的ArcGIS Engine開發,基于C/S的質檢業務系統進行交付,技術架構單一各市縣匯交的數據,按文件夾存儲,需要批量讀取、循環執行需要自動化導出國土空間規劃標準報表,技術復雜度高運行全省100+縣的全套質檢規則,大約需要200小時(約一周)規劃內容檢查空間規劃業務表基于GeoScene空間大數據構建業務模型,自動化輸出報表GA Pl
38、us報表業務:實現了出表的批量化、流程化、簡便化,最終使項目節省人力,并提高出表效率和正確率算子庫批量讀取字段過濾計算字段文本截取分類求和統計出表模型庫用地用海分區統計規劃用地統計國土空間調整統計質檢匯總質檢明細總規質檢套合分析業務需求業務報表表格格式統計內容批量執行分級匯總統計類型等城鎮空間開發潛力指標計算業務背景:市縣國土空間規劃實施中,要避免“寅吃卯糧”,在城鎮開發邊界內的增量用地使用上,為“十五五”“十六五”期間至少留下35%、25%的增量用地。在年度增量用地使用規模上,至少為每年保留五年平均規模的80%,其余可以用于年度間調劑,但不得突破分階段總量控制,以便為未來發展預留合理空間。自
39、然資源部關于做好城鎮開發邊界管理的通知(試行)自然資發2023193號基于GA Plus 代碼開發方式構建業務處理過程計算效率:分析性能提升6倍結果精度:全省面積差異僅39平方米,百分比差異千萬分之一 指標含義:城鎮開發邊界內未批未建的量占城鎮開發邊界的百分比為城鎮空間開發潛力 計算過程:城鎮開發邊界擦除建設用地,與備案報批項目數據進行標識分析,計算已批未建、未批未建面積,分別按省、市、縣匯總結果城鎮開發邊界中弧線數據處理44.37.212分析耗時縮減為六分之一城鎮開發邊界報批項目建設用地業務需求:四、總結GeoSceneGeoScene 大數據,五大能力支撐時空大數據建設3基于業務需求的基于業務需求的模型構建能力模型構建能力2分布式計算和分布式計算和洞察洞察挖掘能力挖掘能力全流程的時空數全流程的時空數據治理據治理能力能力15高性能計算高性能計算4靈活便捷靈活便捷的應用的應用開發擴展能力開發擴展能力數據注冊數據匯聚數據治理數據質檢數據分析模型構建洞察挖掘業務應用