GeoScene GeoAnalytics Plus 云端大數據數據治理與可視化分析建模實戰.pdf

《GeoScene GeoAnalytics Plus 云端大數據數據治理與可視化分析建模實戰.pdf》由會員分享，可在線閱讀，更多相關《GeoScene GeoAnalytics Plus 云端大數據數據治理與可視化分析建模實戰.pdf（36頁珍藏版）》請在三個皮匠報告上搜索。

1、GeoScene GeoAnalytics Server Plus 云端大數據數據治理與可視化分析建模實戰 以自然資源調查常規監測業務為例易智瑞技術有限公司文梓帆一、背景 常規監測業務簡介 GA Plus產品簡介常規監測業務簡介背景 2020年1月，自然資源部印發自然資源調查監測體系構建總體方案，明確提出要加強自然資源動態變化監測，構建常規監測和專題監測、應急監測相結合的監測體系。工作內容 常規監測是圍繞自然資源管理目標，對我國范圍內的自然資源定期開展的全覆蓋動態遙感監測，及時掌握自然資源年度變化等信息。目的 支撐基礎調查成果年度更新，也服務年度自然資源督察執法以及各類考核工作等。重點監測包括

2、土地利用在內的各類自然資源的年度變化情況，實現“早發現、早制止、嚴打擊”。常規監測業務工作流程航天遙感影像1.2-3分辨率影像2.優于1m分辨率影像航空遙感影像優于0.2 m分辨率影像業務專題數據整理省本級州市級別區縣級別省A市B市A區B區變化提取前時相為植被覆蓋，后時相為構筑物或建筑物管理數據提取永久基本農田城鎮開發邊界生態保護紅線已批準建設用地疊加分析監測圖斑內業難以判定外業舉證平臺外業舉證App內業可以判定監測結果匯總分析、檔案管理自然資源調查監測分庫處置結果成果歸檔持續監測處置結果報告月度分析報告季度分析報告年度分析報告監測任務清單及工作審核處置結果審核建設用地批后實施監測違法用地案件

3、線索監測耕地“非農化”監測重點項目工地監測亂占耕地建房監測外業調查舉證內業核查質檢基礎調查數據提取變更調查常規監測業務痛點分析痛點分析0105030402數據來源廣泛、格式多樣、數據零散，沒有形成統一目錄，沒有形成有效的組織業務數據不標準20項業務數據均提交給普通業務員分析很難保證數據泄密問題數據安全性無法保證每季度都要執行一次常規監測，重復計算分析數據工作量大常規監測業務每季度都會執行每次更新業務數據均需重新拷貝給業務員，20多項業務數據版本更新慢數據版本更新慢20多項業務數據均需與監測圖斑空間分析，耗時長，尤其是圖斑量在千萬級別的全覆蓋變更調查地類圖斑疊加分析耗時長達10小時GA Plus

4、產品介紹GeoScene GA Plus，是基于GeoScene GA Server之上的分析產品，旨在提供更便捷的大數據分析應用方式，以及更豐富的大數據分析工具和算子，支撐更靈活的業務應用場景建設。在GA Plus中，提供了數據治理、數據分析、在線建模、任務監控、后臺管理等模塊，為不同用戶角色提供了細粒度的數據和模型共享權限。GA Plus產品核心能力2143數據匯聚、數據抽取、數據轉換數據質檢、數據清洗、數據處理數據分析、數據洞察、關系追溯1、數據治理能力100多種系統集成的分析算子拖拽式搭建業務模型模型共享，模型提供開發接口，便于業務系統集成提供自定義算子注冊能力提供任務監控能力4、We

5、b端空間分析能力提供Shp文件、數據庫、在線服務加載和查看提供豐富的空間數據配圖方案提供數據治理、空間分析能力提供地圖服務發布能力3、在線建模能力支持HDFS、GIServer、Postgresql、NFS(Shp、FileGDB、CSV等)多種數據源提供數據資源池共享能力2、數據資源管理能力二、GA Plus支撐自然資源調查常規監測建設流程GA Plus產品架構后臺管理用戶體系角色權限任務監控開發接口安全策略平臺配置資源統計感知層時空大數據適配資源池ShpFileGDBOraclePostgreSQLHDFSHbaseGIS Server資源池管理空間數據感知數據更新監測數據資產管理數據自動

6、同步數據項配置數據元數據治理層時空大數據治理數據融合數據洞察數據體檢體檢套餐數據項感知數據集描述血緣關系追溯數據匯聚數據抽取數據轉換數據檢測數據清洗處理空間投影空間連接分析層時空大數據分析應用層在線建模機器學習數據匯總時空駐留分析位置查找軌跡分析數據豐富空間分析分析模式地理賦能臨近分析疊加分析管理數據模型接口模型共享指標庫業務庫自定義算子開發接口數據匯集數據資源池管理數據治理業務模型搭建應用抽取注冊描述感知監測Shp數據FileGDB數據CSV數據Postgis數據業務數據源三區三線數據空間規劃數據登記確權數據業務管理數據變更調查數據常規監測數據調查監測數據數據體檢套餐配置檢查策略體檢規則設置

7、定義體檢套餐差異檢測壓蓋檢測拓撲檢查空值檢測空間投影數據偏移數據清洗節點計算數據融合空間融合屬性融合數據追加空間連接屬性連接業務管理數據資源池大數據計算分析通用算子業務模型模型接口自定義算子GA Plus支撐自然資源調查常規監測建設流程數據匯集業務數據調查監測數據變更調查數據常規監測數據管理數據市縣鎮村行政區數據永久基本農田生態保護紅線城鎮開發邊界自然保護地開發區整理高標準農田衛片執法重大工程項目工業園區退耕還林征、供、儲用地不動產登記確權采礦用地臨時用地設施農用地數據匯集GIS Server數據匯交數據庫連接資源池管理上傳Shp上傳FileGDB上傳CSV資源池注冊FileGDB資源池Pos

8、tgres資源池NFS資源池Oracle資源池HDFS資源池GIS Server資源池資源池共享資源池數據項配置數據治理GA Plus數據治理聚焦于時空數據的抽取、轉換、清洗的全過程管理，提供智能化的時空數據體檢策略，解決用戶由于數據質量導致的分析失敗問題。提供數據檢測、數據清洗、數據處理、數據融合、數據匯聚、數據體檢功能?？臻g自相交檢測多邊形壓蓋檢測異常外環/內環檢測拓撲檢測空幾何檢測數據治理數據檢測數據清洗數據處理數據融合數據轉換數據體檢業務模型構建GA Plus在線建模模塊提供了100多個大數據分析算子，用戶可以直接將大數據分析算子和資源池中的數據拖拽到畫布中參與模型運算。數據源：支持讀

9、取多種文件、數據庫源數據。分析算子：100多個空間、非空間算子，可直接拖拽使用。算子自定義：支持用戶自定義算子，實現用戶個性化需求。模型復用：支持共享模型至其它用戶所在業務部門。模型接口化：支持保存模型為Rest接口，方便業務系統調用。大數據分析算子數據治理工具集基礎空間分析算子工具集大數據空間分析算子工具集數據檢測數據清洗數據處理數據融合數據轉換數據體檢數據讀取數據輸出數據清洗數據處理數理統計計算空間幾何計算空間數據檢測空間分析匯總數據位置分析數據豐富臨近分析管理數據機器學習模式分析小結數據源適配GA Plus能夠適配22種數據類型和格式的讀取及寫出資源池管理適配6種類型的資源池可以查看數據

10、豐富的元數據信息，包括數據體量、空間參考等可以配置需要展示在資源池中的數據項共享資源池給用戶時空數據治理針對時空數據存在異常值的情況，能夠進行快速的清洗、處理和質檢不同數據來源、不同數據格式之間便捷的轉換業務模型構建拖拽式模型搭建100多個空間、非空間算子支持本地上傳文件自定義算子實現個性化功能模型接口集成到其它業務系統三、常規監測大數據分析探索和實踐數據匯集：資源池注冊業務數據體檢根據業務具體需求，配置常規監測數據體檢套餐檢測拓撲檢測空幾何檢測空間自相交檢測壓蓋面檢測多邊形異常內環檢測多邊形異常外環常規監測業務數據體檢套餐業務數據體檢常規監測業務場景分析疊加分析計算業務數據占用監測圖斑的空間

11、范圍 使用“標識疊加分析”算子將業務數據依次標識到變化圖斑上。分類匯總計算業務數據在各監測圖斑中的面積占比使用“條件過濾”算子，按每類業務數據對監測圖斑(碎)進行分類使用“邊界融合”算子，消除標識結果中相同業務數據重疊部分的重疊圖斑計算業務數據占用面積使用“字段連接”算子掛接占用面積回監測圖斑使用“計算字段”算子計算面積占比條件篩選按是否手續覆蓋、是否占用耕地分類監測圖斑 使用“計算字段”算子，對監測圖斑進行分類行政區分類按占用行政區最大疊加面積篩選監測圖斑所屬行政區 編寫“按最大疊加面積賦值”自定義算子 使用自定義算子給監測圖斑賦行政區代碼字段業務場景：疊加分析業務場景流程業務數據監測圖斑空

12、間標識監測圖斑(碎)業務模型業務場景：疊加分析結果標識前：監測圖斑標識后：監測圖斑(碎)標識后監測圖斑屬性業務場景：分類匯總業務場景流程業務數據面積占用表分組監測圖斑按變化圖斑編號邊界融合監測圖斑(碎)按業務數據過濾分組監測圖斑(碎)分別計算業務數據面積占用監測圖斑字段連接業務模型業務場景：分類匯總業務場景：條件篩選業務場景流程監測圖斑耕地任務手續覆蓋任務占用供地、征地、管控紅線、宗地占用耕地業務場景：條件篩選業務場景：行政區分類業務場景流程監測圖斑行政區范圍按最大疊加面積賦值監測圖斑自定義算子應用按最大疊加面積賦值自定義算子腳本GeoScene REST Api文檔，提供了一系列GA Ser

13、ver函數說明，這些函數在GA Server中通過分布式服務器計算。注冊自定義算子業務系統調用大數據分析模型GA Plus通過將模型開啟接口，可以將模型注冊為REST接口。通過POST方式，傳入Token、模型設置的參數，即可運行該模型。獲取Token通過 portal 的 rest 接口獲取 token。接口地址：https:/portalhost/geoscene/sharing/rest/generateToken Webapp URL(referer)中填入 GA Plus 根路徑，即可獲取 portalToken。Portal Token常規監測業務模型運行性能分析 在空間占用分析方面，74284個監測圖斑與21項管理數據進行分析，共耗時25分25秒。在占用耕地面積分析方面，74284個監測圖斑與13388193個圖斑的地類圖斑數據計算分析，共耗時18分19秒。在計算監測圖斑所屬行政區分析方面，按占用縣、鎮、村行政區最大面積匯總統計，共耗時1分11秒?？偨Y GA Plus數據資源池支持多類型業務數據接入和管理。GA Plus數據治理模塊對多來源的業務數據進行檢測、清洗，可以保證業務分析結果的準確性 GA Plus業務模型搭建、自定義算子、業務模型共享、接口化可以極大的提升業務中數據計算分析的效率GA Plus在常規監測業務中的應用感謝聆聽