賴學強-GeoScene GA大數據分析技術賦能自然資源管理.pdf

《賴學強-GeoScene GA大數據分析技術賦能自然資源管理.pdf》由會員分享，可在線閱讀，更多相關《賴學強-GeoScene GA大數據分析技術賦能自然資源管理.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、GeoScene GA大數據分析技術賦能自然資源管理自然資源空間大數據的理解GeoScene大數據技術概述GA為自然資源管理賦能1 12 23 3自然資源空間大數據的理解大數據是大型復雜數據集的聚合，這些數據集的規模和復雜程度體現在目前數據庫管理軟件和傳統數據分析處理技術在可接受時間內的獲取、管理、檢索、分析、挖掘和可視化能力。什么是空間大數據？地理數據 包括自然資源地理數據和社會經濟數據軌跡數據 包括GNSS定位、手機信令、網絡簽到等方法獲取到的用戶活動數據?？臻g媒體數據 包括包含位置信息的照片、視頻影像等媒體數據空間大數據分類自然資源空間大數據包含哪些內容？基礎現狀數據規劃管控數據管理監測

2、數據社會經濟數據自然資源時空大數據遙感影像、基礎地理、國情普查、現狀調查、基礎地質、礦產地質等數據國土空間規劃、永久基本農田、生態保護紅線、城鎮擴展邊界、礦產資源規劃等數據用途管制、土地利用、占補平衡、礦權審批、不動產登記等數據人口、GDP、進出口等數據數據特點：體量大類型多利用頻價值高GeoScene大數據技術概述GeoScene Enterprise實時大數據計算GeoEvent Server矢量大數據計算GeoAnalytics Server影像大數據計算Image Server數據科學服務器Notebook ServerGIS服務器GIS ServerGeoScene，強大敏捷的地理信

3、息平臺數據庫文件型數據庫流式數據HiveHDFSHbaseElasticSearch云存儲大數據人工智能物聯網三維熱點技術DesktopProExcaliburInsightsDashboardCollectIndoorsPythonJavaScriptJavaQT、C+遙感影像GeoScene大數據分析產品架構GAGA+內置Spark框架第三方Spark框架時空庫關系庫本地文件HDFSPython APIGeoSceneProGeoSceneEnterprise在線建模Rest APIHBasePortalFisionInsight1、提供GA+產品，更多分析算子、更便捷使用方式2、與第三方

4、獨立分布式計算框架無縫集成3、多集群分布式架構，滿足多任務并行調度需求4、跨CPU與操作系統架構下兼容適配1.多源數據接入時空數據匯聚時空數據體檢時空數據分析在線拖拽式建模時空大數據應用場景檢測清洗處理分析工具算法模型應用決策質檢入池接入 多類型數據源適配 時空數據匯聚 時空數據注冊 數據源安全管理 時空數據檢測 數據清洗 數據處理 數據轉換 大數據分析工具 時空分析挖掘 分布式計算 自定義擴展 業務需求場景化 時空數據洞察 業務集成 交互式分析 流程化建模 業務需求場景化 模型共享復用業務可視化場景時空大數據治理能力時空大數據分析能力GeoScene大數據分析產品底層支撐能力分析算子工具箱數

5、據資源直觀查看可視化大數據分析建模工具模型參數配置模型庫管理、共享GeoScene之大數據分析產品可視化建模GeoScene大數據分析算子時空數據治理工具集大數據分析工具集機器學習工具集空間分析相交疊加分析 擦除疊加分析聯合疊加分析 標識疊加分析差異疊加分析 裁剪圖層數據預處理數據去重主成分分析分類與回歸樸素貝葉斯分類（訓練）樸素貝葉斯分類（預測）決策樹分類與回歸（訓練）決策樹分類與回歸（預測）廣義線性回歸（訓練）廣義線性回歸（預測）地理加權回歸分析隨機森林分類與回歸分析（訓練）隨機森林分類與回歸分析（預測）聚類K均值聚類高斯混合聚類點聚類（DBSCAN）點聚類（HDBSCAN）數據處理多邊形

6、多部件轉單部件節點抽稀多邊形質心提取幾何拓撲校正空間偏移線轉面空間投影融合圖層邊界融合追加數據空間連接（一對一）空間連接（一對多）字段計算數理統計計算最大值最小值平均值求和方差標準差向上取整生成隨機數平方根幾何計算角度計算長度計算面積計算測地面積計算多邊形質心計算多邊形節點數計算線節點數計算多邊形部件數計算數據檢測檢測空幾何檢測自相交檢測拓撲檢測多邊形島檢測多邊形外環是否為順時針文本計算查找文本從左側提取文本從右側提取文本小寫文本大寫文本從中間提取文本分割文本刪除文本首尾空格置換文本數據輸出寫出到Oracle數據庫輸出要素服務（PG庫）輸出要素服務（ES庫）寫出為Shapefile格式寫出為P

7、arquet格式寫出為CSV格式寫出為ORC格式數據清洗字段過濾條件過濾范圍過濾多邊形過濾數據讀取讀取托管要素服務讀取大數據文件共享讀取要素圖層讀取Oracle數據源匯總數據四邊形聚合點六邊形聚合點多邊形聚合點四邊形范圍內匯總六邊形范圍內匯總多邊形范圍內匯總屬性匯總獲取數據集樣本獲取數據集空間范圍構建四邊形多變量格網構建六邊形多變量格網從多變量格網豐富數據一對多要素連接軌跡構建位置分析檢測事件查找駐留位置查找相似位置模式分析四邊形計算密度六邊形計算密度熱點分析創建緩沖區上百個分析算子，粒度更細、應用更靈活在線建模應用在線建模應用GeoScene大數據分析產品，四種開發接口、三種使用方式GA為自

8、然資源管理賦能0101用地單位用地方案沒有注意到管控底線，報建材料被打回來改，工程又要延期.0 0設計單位項目范圍線調整涉及到多個區縣，我又要一個區縣一個區縣的去校核管控底線，好累啊.0 0督察執法部門地類變化監測、違法違規情況核實需要利用現狀、管控、管理數據進行分析，涉及面廣、計算量大，耗時耗力.0 0政務審批部門審批時間長，用地單位不滿意，怎么按照國家和市里的要求做好改革工作呢？.0 0技術支撐單位用地范圍線調整了，我又要算一次各類用地范圍面積，計算好慢，我又要熬夜.0 0其他委辦局這個項目需要自然資源管理部門先確定項目是否合規，是否有空間資源保障.痛點痛點分析分析自然資源管理中面臨的難點

9、、痛點用 地 單 位、設 計 單 位、督 察 執 法 部 門、政 務 審 批 部 門、技 術 支 撐 單 位、其 他 委 辦 局 均 面 臨 一 系 列 技 術 和 業 務 難 題 和 挑 戰空間大數據技術與自然資源業務緊密結合的時代來臨由原有國土資源“一張圖”平臺，轉向大數據計算模式省級數據分析計算土地利用現狀分析國土空間基礎信息平臺建設全國空間數據疊加分析手機信令數據分析應用國土空間規劃應用公共服務設施洞察評價時空大數據分析挖掘引擎全國大數據量的專題數據差異分析互聯網+政務服務應用礦權審批空間智能核驗建設用地審批空間智能核驗督察、執法與監管服務占補平衡項目空間智能核驗三區三線劃定空間比對與

10、核驗遙感影像變化圖斑提取與專題數據比對分析20172018202020212019從 一 張 圖 建 設、到 國 土 空 間 基 礎 信 息 平 臺 建 設，從 而 支 撐 國 土 空 間 規 劃 應 用。這 其 中，大 數 據 技 術 的 運 用 和 業 務 模 式 變 革 是 關 鍵。2022用途管制綜合監管服務建立面向全國的用途管制審批空間核驗平臺“雙隨機一公開”檢查的空間套合分析自然資源時空大數據分析應具備的五大能力在線拖拽式建模能力在Web端通過點擊和拖拽的方式，進行業務模型構建，支持零代碼構建時空數據洞察挖掘能力深入挖掘時空數據背后的信息和價值基于業務需求應用構建能力通過Pytho

11、n、JavaScript等API將大數據能力與業務敏捷集成時空大數據應用集成能力實現了從數據、到模型、到業務場景建設的完整流程多源數據治理能力快速讀取不同來源數據，并輸出到分布式存儲；對數據進行質量檢查、清洗、轉換；通過對GeoScene GA Server通用產品的擴展開發，構建面向自然資源行業特性的專業自然資源空間大數據分析工具軟件,解決自然資源政務審批、監測監管、督察執法等管理上對大數據量的空間數據查詢、疊加分析效率低、響應慢的問題，提升國土空間基礎信息平臺在空間數據分析服務和分析成果共享利用的能力。1）高效分析能力：支持對千億級空間大數據的快速分析，全國范圍現狀數據分析時間只需要46小

12、時，分析效率極大提高。2）業務定制化：面向自然資源業務管理，開發、定制具有鮮明業務特性的大數據分析功能和服務接口，可以為用戶提供豐富的應用產品。3）結果共享化：分析結果可視化、服務化，不僅提供強大的分析結果圖、屬、表關聯展示和查詢的能力，還將分析結果發布服務供第三方系統調用，同時分析結果還支持圖、屬下載。4）開放式應用架構：提供豐富的集成接口，能夠與國土空間基礎信息平臺無縫集成。提升國土空間基礎信息平臺大數據分析支撐能力系統綜合管理數據庫管理數據入池管理分析模型設計分析服務配置運行監控日志數據資源目錄目錄瀏覽地圖瀏覽數據分析工具業務分析工具通用分析工具分析任務管理分析結果管理任務調度管理任務運

13、行監控自然資源空間大數據分析系統負責大數據分析相關的后臺配置信息的維護，支撐大數據分析系統運行系統用戶使用，提供大數據分析功能的前端交互操作。自然資源空間大數據分析功能體系功能架構應用模式升級需求：業務需求：“批而未供”土地分析，是指已批準的建設用地、而未供應出去的土地常規方式：程序開發技術難點：業務邏輯復雜、執行效率不高快速提供復雜業務模型構建描述將歷年建設用地報批數據、供地數據進行疊加分析，分析已批復但未供信息數據源年度建設用地報批數據(JSYDBP)、年度土地供應數據(TDGY)輸入項目范圍或行政區（帶年度信息）的Geometry，年度建設用地報批數據(JSYDBP)，年度土地利用供應數

14、據(TDGY)輸出批而未供地塊信息實現流程1.根據年度信息獲取年度建設用地報批數據和年度土地供應數據；2.將建設用地報批數據和土地供應數據按范圍（前端以參數形式傳遞進來）進行疊加分析；3.對于疊加分析后的結果，依次遍歷每條記錄，去除屬性表中原供應行政區屬性為空或原報批行政區屬性為空的記錄（跨區域的報批和供應由上級區域處理）；4.對步驟三的結果獲取報批編號的唯一值，依次查詢每個報批編號包含的地塊，獲取每個報批編號對應的一個或多個地塊；5.用屬性表中的報批面積分別減去每個地塊的圖形面積（最后得出批而未供面積表）開始Geometry停止年度建設用地報批數據(JSYDBP)年度土地供應數據(TDGY)

15、疊加分析疊加分析結果去空報批編號獲取地塊地塊數據計算批而未供面積表對系統用戶提交的分析任務、通過服務接口提交的分析任務統一管理，包括：分析結果查看任務調度管理任務運行監控分析結果管理分析結果查看明細匯總圖表圖形任務調度管理任務運行監控自然資源空間大數據分析全過程監控與可視化成果展示 項目空間核驗分析農轉征用地審批空間核驗分析補充耕地項目空間核驗分析礦業權項目空間核驗分析 空間差異性分析永久基本農田與土地利用現狀差異分析補劃永農與補充耕地差異分析 空間變化監測分析年度土地利用現狀數據變化分析年度永久基本農田變化分析 空間套合分析項目用地套合土地利用現狀分析建設用地項目套合生態紅線分析多源數據整理分析模型構建業務需求梳理業務系統集成四大典型業務支撐：自然資源空間大數據分析四大典型業務支撐