《2-GeoScene GA Plus云端大數據數據治理與可視化分析建模實戰_張妍然16:9_最終版本.pdf》由會員分享,可在線閱讀,更多相關《2-GeoScene GA Plus云端大數據數據治理與可視化分析建模實戰_張妍然16:9_最終版本.pdf(54頁珍藏版)》請在三個皮匠報告上搜索。
1、GeoScene GA Plus 云端大數據數據治理與可視化分析建模實戰易智瑞信息技術有限公司 張妍然目錄1GeoScene GA Plus 產品概述2GeoScene GA Plus 核心能力3GeoScene GA Plus 業務應用一 GeoScene GA Plus 產品概述GeoScene GA Plus 大數據產品發展歷程數據檢測數據匯聚數據治理洞察挖掘2021.4,提供基本的數據源接入、在線建模能力GA Plus 2.12022.6,提供豐富的數據源對接能力,提供數據治理能力,提供更多分析算子GA Plus 3.12023.10,提供自定義算子開發擴展能力,提供內置模型庫,提供跨
2、平臺適配能力GA Plus 4.02024.7,優化多源數據對接引擎,提供豐富的分析算子和業務算子,提供便捷的開發擴展能力GA Plus 4.1空間分析模型構建開發擴展算子集成GeoScene GA Plus 產品簡介GeoScene大數據產品專注于地理信息數據的處理和分析,針對龐大體量和規模的時空數據,進行快速的分析計算,產品依托于分布式計算框架,提供了數據治理、空間分析、在線建模、開發擴展等完整的解決方案,為用戶提供從數據到知識的洞察挖掘過程,為業務系統建設提供GIS時空底座支撐。產品組成GA Plus:提供交互式大數據分析Intellect Server:提供分析計算底層能力支撐您的內容
3、打在這里,或者通過復制您的文本后,在此框中選擇粘貼,并選擇只保留文字。產品定位面向最終用戶提供即拿即用的分析工具為系統開發用戶提供豐富的API接口面向不同業務領域的系統建設提供GIS基礎設施支撐模型構建洞察挖掘數據治理數據檢測數據匯聚算子集成開發擴展空間分析GeoScene GA Plus 功能模塊GeoScene GA Plus,旨在提供更便捷的大數據分析應用方式,以及更豐富的大數據分析工具和算子,支撐更靈活的業務應用場景建設。在GA Plus中,提供了首頁、數據資源、數據治理、空間分析、在線建模、分析任務、個人中心,后臺管理等模塊,且為不同用戶角色提供細粒度的數據和模型使用權限,可管理數據
4、資源,執行數據審批。GeoScene 空間大數據技術架構跨平臺適配X86ARM多源數據Serviceshapefile文本數據 本地文件數據讀取引擎分析處理引擎服務發布引擎任務調度引擎第三方分布式計算框架 Spark Standalone Spark Yarn Spark Kerberos Spark On K8S對接第三方計算框架內置分布式計算框架時空數據處理引擎分布式計算引擎Rest API應用在線建模系統集成開始Geometry停止年度建設用地報批數據(JSYDBP)年度土地供應數據(TDGY)疊加分析疊加分析結果去空報批編號獲取地塊地塊數據計算批而未供面積表工具擴展模型開發用戶訪問入口
5、GeoScene GeoAnalytics Plus模型調度引擎多種類型計算引擎API Reference服務接口Python模型庫自定義開發擴展GA工具PythonJava/Scala大模型計算框架資料庫向量化處理LLM API參數調配知識庫、語料庫映射關系圖譜與地圖關聯智能問答、算子檢索、自動化建模內置分布式計算框架數據治理空間分析在線建模數據匯聚數據匯聚“數據抽取“數據轉換數據描述血緣關系數據追溯數據檢測數據檢測“規則檢測“幾何檢測拓撲檢測屬性規則問題檢測數據處理數據處理“清洗治理“數據處理空間圖形屬性字段數據融合200+基礎算子庫100+業務算子庫空間疊加數據拖拽匯總統計相交標識投影算
6、子定位零代碼建模開發擴展時空關系洞察統計計算信息挖掘機器學習人工智能地理賦能空間分析臨近分析數據融合算子級模塊級系統級算子開發工具擴展模塊集成 系統集成API接口 用戶體系GA Plus 空間大數據主要能力145236一、時空數據治理數據連接、數據抽取數據描述、血緣關系數據檢測、清洗治理二、空間分析計算和洞察挖掘時空計算、疊加分析匯總統計、模式計算時空洞察、機器學習三、在線交互式建模拖拽式算子和數據資源200+大數據分析算子模型嵌套和循環迭代執行Jupyter Notebook四、開發擴展能力自定義算子開發模型接口調用開發模塊集成開發擴展五、大數據任務并發執行能力多任務并發執行細粒度任務監控優
7、先級置頂和取消機制六、跨平臺適配能力國產化操作系統、CPU、數據庫兼容適配ARM環境下部署調優穩定運行監控二 GeoScene GA Plus 核心能力時空數據治理空間分析挖掘任務并發執行跨平臺的適配在線交互建模靈活開發擴展文件型關系型數據庫NoSQL數據庫文件地理數據庫圖數據庫分布式文件系統GeoScene空間大數據適配引擎多類型全要素線面點柵格影像文本文檔視頻云存儲shapefile文本數據本地文件FileGDB針對文件型、關系型數據庫、分布式文件系統(HDFS)、文件地理數據庫、NoSQL數據庫、圖數據庫、云存儲等多類型時空數據存儲方式,提供了空間大數據適配引擎,實現了不同來源、不同結構
8、數據的快速連接和感知。依據時空數據特有的幾何特征和數據組織結構,進行多維度數據感知。七大類型、數十種數據源的對接和適配節點感知多個感知維度、21種感知策略2.1 GA Plus時空數據治理數據匯聚感知2.1 GA Plus時空數據治理數據匯聚感知空間與屬性聯動洞察空間數據結構感知多類型時空數據注冊時空數據資源池統計宏觀統計資源池數據總量;感知空間數據結構和類型;感知空間數據體量和量級;感知空間數據變化和形態;感知數據的空間、時間狀態;數據維度,從數據組織形式、應用模型等形成資源圖譜,用戶可以直觀查看數據應用狀態數據資源圖譜表達數據血緣關系追溯2.1 GA Plus時空數據治理多源數據抽取和轉換
9、托管要素服務大數據文件共享(Shp、CSV、Parquet、ORC)地圖服務Oracle數據源Oracle非空間表PostgreSQL SDE數據源Postgis SDE數據源Postgis數據源Postgis非空間數據源Shapefile文件FileGDB圖層CSV文件GeoJSON文件JSON文件HBase數據源托管要素服務(PG庫)托管要素服務(ES庫)輸出到大數據文件共享(Shp、CSV、Parquet、ORC)寫出到FileGDBOracle(ST_Geometry、SDO_Geometry、非空間表)寫出到本地Shapefile寫出本地CSV寫出本地JSON文件(非空間)HBase
10、PostgreSQL(SDE)PostGIS數據抽取數據抽取源數據類型、格式,源數據類型、格式,19類類目標數據類型、格式,目標數據類型、格式,24類類PostgreSQL(非空間表)寫出本地GeoJSON提供數據轉換引擎,針對GIS數據結構和特點,實現不同時空數據之間類型轉換、屬性過濾、空間過濾,以及規則和條件過濾在國土空間平臺、大數據平臺、數據中臺建設中需要進行多來源數據之間的轉換,GA Plus提供GIS數據格式和類型轉換支撐2.1 GA Plus時空數據治理數據清洗和處理GA Plus數據治理聚焦于時空數據的抽取、轉換、清洗的全過程管理,提供智能化的時空數據體檢策略,解決用戶由于數據質
11、量導致的分析失敗問題。提供數據檢測、數據清洗、數據處理、數據融合、數據匯聚、數據體檢功能。檢測起始節點重復多邊形屬性字段檢測異常要素檢測拓撲檢查檢測凸多邊形數據治理數據檢測數據清洗數據處理數據融合數據轉換數據體檢63個時空數據檢測工具集開發GIS數據檢測算法,解析geometry類型,結合Scala函數,實現大體量數據的異常定位和輸出屬性規則檢測空間規則檢測時間規則檢測時空數據處理模型時空數據治理,針對空間數據、文本數據、時態數據進行清洗和處理快速發現百萬級、千萬級數據中的異常數據通過流程化質檢模型進行數據清洗處理,提升數據質量2.1 GA Plus數據治理能力更多數據問題,一鍵發現提供一種針
12、對復雜空間數據的檢測機制,能夠讓用戶一次輸入,多個指標同時檢測出來體檢套餐機制問題數據直接定位到地圖自定義體檢套餐,按需組裝檢測指標體檢套餐:一次任務,多種指標同時檢測;直觀輸出問題數據;空間和屬性聯合查看;體檢報告導出數據體檢2.2 GA Plus 大數據在線建模能力快速搭建業務場景在線建模為空間分析提供web端的直觀應用方式算子級別的操作(更細粒度的計算單元),完成一個具體的指令操作屏蔽底層復雜的空間運算過程和處理邏輯,專注于業務場景建設直接對數據資源拖拽到畫布中參與模型運算,深入結合業務數據與分析能力針對常規業務(自然資源調查監測,國土空間規劃等)數據讀寫完善內存級計算算子數量豐富:29
13、0+(基礎算子190,業務算子105)靈活擴展:可基于Python、Java、Spark進行開發擴展業務范圍:已經在重慶、山東、廣東、廣西、甘肅、云南、湖南等用戶現場使用,場景涉及自然資源、調查監測、國土空間規劃、交通、規劃、住建等領域2.2 GA Plus 大數據在線建模迭代循環能力數據資源檢索算子資源檢索可視化建模面板模型參數配置2.2 GA Plus 大數據智能工具箱在4.1版本中,大數據分析算子200多個,涵蓋:數據讀取、數據導出、數據清洗、數據檢測、科學運算、匯總統計、模式分析、機器學習、洞察預測等方面的分析能力,基于GIS算法與Spark分布式框架進行開發,算子之間可以組合使用,解
14、決了數據讀取、分析處理、匯總統計、結果寫出全鏈條過程中每個環節的技術問題。數據治理工具集基礎空間分析算子工具集大數據空間分析算子工具集數據檢測數據清洗數據處理數據融合數據轉換數據體檢數據讀取數據輸出數據清洗數據處理數理統計計算空間幾何計算空間數據檢測空間分析匯總數據位置分析數據豐富臨近分析管理數據機器學習模式分析數據輸出寫出到Oracle數據庫輸出要素服務(PG庫)輸出要素服務(ES庫)寫出為Shapefile格式寫出為Parquet格式寫出為CSV格式寫出為ORC格式輸出到數據項寫出Oracle(SDO_GEOMETRY)寫出本地shapefile寫出PostgreSQL(SDE)寫出為OR
15、C格式寫出為CSV格式寫出為Shapefile格式寫出為Parquet格式寫出到Hbase數據庫寫出到Postgis數據庫寫出本地FileGDB寫出本地CSV文件寫出本地JSON文件數據清洗字段過濾條件過濾范圍過濾多邊形過濾變更字段名刪除長度異常線刪除字段刪除面積異常多邊形數據治理工具集大數據分析工具集疊加分析相交 擦除 聯合 標識交集取反 裁剪圖層 匯總屬性連接要素捕獲追蹤數據預處理數據去重主成分分析分類與回歸樸素貝葉斯分類(訓練)樸素貝葉斯分類(預測)決策樹分類與回歸(訓練)決策樹分類與回歸(預測)廣義線性回歸(訓練)廣義線性回歸(預測)地理加權回歸分析隨機森林分類與回歸分析(訓練)隨機森
16、林分類與回歸分析(預測)聚類K均值聚類高斯混合聚類點聚類(DBSCAN)點聚類(HDBSCAN)數據處理多邊形多部件轉單部件節點抽稀多邊形質心提取幾何拓撲校正空間偏移線轉面空間投影融合圖層邊界融合追加數據空間連接(一對一)空間連接(一對多)字段計算生成軌跡線空間去重修復PostGIS幾何節點順序數理統計計算最大值最小值平均值求和方差標準差向上取整生成隨機數平方根圖層統計數值型數據子彈分組幾何計算角度計算長度計算多邊面積計算測地面積計算線節點數計算多邊形部件數計算自研面積計算空間要素節點數統計數據檢測檢測空幾何檢測自相交檢測拓撲檢測自相交線檢測縫隙檢測多部件檢測差異多邊形檢測壓蓋點檢測自壓蓋線檢
17、測壓蓋面檢測多邊形島檢測空間自相交檢測多邊形外環是否為順時針檢測異常值檢測空值檢測多邊形異常內環檢測多邊形異常外環檢測長度異常線檢測連續時空異常點檢測狹長型多邊形檢測空值檢測異常值檢測起始節點重復多邊形檢測凸多邊形文本計算查找文本從左側提取文本從右側提取文本小寫文本大寫文本從中間提取文本分割文本置換文本數據讀取讀取托管要素服務讀取大數據文件共享讀取要素圖層讀取Oracle數據源讀取本地CSV文件讀取Oracle非空間表讀取本地Shapefile文件讀取PostgreSQL SDE數據源讀取Postgis SDE數據源讀取FIleGDB圖層讀取GeoJSON文件讀取Hbase數據源匯總數據四邊形
18、聚合點六邊形聚合點多邊形聚合點四邊形范圍內匯總六邊形范圍內匯總多邊形范圍內匯總屬性匯總獲取數據集樣本獲取數據集空間范圍構建四邊形多變量格網構建六邊形多變量格網從多變量格網豐富數據一對多要素連接軌跡構建計算動態統計數據鄰域分組統計 位置分析檢測事件查找駐留位置查找相似位置追蹤鄰域事件地理編碼模式分析四邊形計算密度六邊形計算密度熱點分析創建緩沖區匯總中心和離差柵格分析坡度計算 坡向計算重分類掩膜提取柵格柵格計算器 柵格轉矢量矢量轉柵格數據豐富獲取數據集樣本獲取數據集空間范圍構建多變量網格從多變量網格豐富數據基礎變量拼接變量組合變量創建文件夾輸出到日志計算凈面積自定義開發算子字段計算算子開發算子注冊
19、PySpark接口算子組合使用2.2 GA Plus大數據建模新能力迭代循環迭代器工具描述For 循環按照給定的增量從起始值迭代至終止值。迭代多值迭代值列表。迭代字段值迭代字段中的所有值。數據項迭代器迭代輸入的多個數據項。數據源迭代器迭代資源池中符合過濾條件的數據項。shp/GDB迭代器迭代共享目錄中的shp、GDB圖層,支持對文件夾遍歷鉆取。循環收集器收集每次迭代返回的中間結果,以集合的形式返回。循環收集器的輸出可作為于簡單追加工具的輸入,實現對迭代結果的合并。GA Plus4.1 迭代循環功能新2.2 迭代循環應用一:國土空間規劃數據批處理業務場景:國土空間規劃業務需要對不同省份、不同地市
20、、不同縣匯交的數據集進行依照標準規則的檢測和處理,針對點、線、面不同空間數據類型提供不同的檢測方法和運算規則。指定空間數據類型 數據集鉆取 細粒度配置算子 不同層級的循環計算和迭代處理 每一層級獨立輸出批量讀取、拓撲檢測空間拓撲檢查數據文件或表數量大、坐標系不統一、格式多樣等問題,需對數據讀取后進行處理,對中間結果進行合并或拆分,相較于簡單的批處理過程更加復雜,傳統的代碼開發方式存在諸多問題。2.2 迭代循環應用二:多項業務中數據合并拆分數據特點1.數據分區縣存儲,全省區縣數量100+,且存在多個投影分度帶2.數據源涉及GDB/Shapefile/Oracle等多種類型功能需求1.循環處理/合
21、并/拆分2.圖層名稱精確匹配/指定關鍵詞模糊匹配3.不固定數量的批處理4.支持邏輯判斷對接環節復雜開發周期長需求響應不及時代碼維護、復用成本高開發代碼業務計算過程計算已批未建、未批未建面積,按計算已批未建、未批未建面積,按省、市、縣匯總出表省、市、縣匯總出表代碼實現開發腳本、調試等耗時開發腳本、調試等耗時2 2-3 3天天城鎮開發邊界潛力分析演示GA Plus迭代循環計算城鎮開發邊界潛力基于GA Plus 迭代循環實現城鎮開發邊界潛力計算評估GA Plus 迭代循環特性總結高效分析復雜循環與底層分布式計算框架結合提升分析效率零代碼實現循環處理無需開發,拖拽建模工作量從3-7d縮短至0.5d簡單
22、易用,快速上手與GA+資源池/數據項整合,數據對接便捷支持多個迭代器,自動區分循環結構,無需嵌套、簡單易用詳細的參考示例復雜業務需求支持全類型數據源參與循環支持中間結果迭代圖層名精確/模糊匹配/字符長度設置批處理/合并/拆分變量支持擴展2.2 GA Plus大數據建模新能力模型嵌套新減少復雜業務場景下獨立場景重復搭建三調數據統計-建設用地匯總口徑2024耕地流入標識:疊加13個圖層高標準農田分析:計算19個指標匯總出表復雜模型通過參數傳遞與暴露,提升模型可讀性建設單點業務場景的可復用模型算子與子模型綜合賦能復雜業務場景建設2.2 GA Plus大數據建模新能力模型嵌套模型列表子模型引用關系新2
23、.2 模型嵌套使用流程搭建子模型并驗證通過設置算子參數調整模型參數順序拖入子模型搭建嵌套模型子模型更新確定需暴露的輸入參數和中間輸出結果設置參數中英文名稱、描述信息,避免重復對子模型添加說明保證子模型是預先驗證可以跑通的調整參數順序使之更符合使用習慣子模型與普通算子連線操作相同可跟隨更新或保留原始版本模型嵌套把一個相對通用的模型固化為子模型,其他模型可以去調用該子模型通過傳參方式執行分析,提高模型可讀性、降低模型體量。凈面面積:基于三調地類圖斑數據進行后續分析,對耕地計算面積指標常用的是凈面面積結果。GA+分析時,需要通過計算字段工具-Arcade表達式進行計算。應用場景一:構建可復用的業務工
24、具三調數據結構:圖斑地類面積=圖斑面積-扣除地類面積Arcade表達式$feature.tqmj*(1-$feature.kcxs)凈面面積計算工具應用場景一:構建可復用的業務工具凈面積計算原始子模型搭建與驗證模型算子參數設置模型參數順序調整拖入子模型搭建嵌套模型圖斑地類面積(TBDLMJ)=圖斑面積(TBMJ)-扣除面積(KCMJ)扣除面積=圖斑面積(TBMJ)扣除系數(KCXS)調整模型參數順序,符合操作人視角下的模型使用習慣與實際業務邏輯:輸入中間參數與過程性結果輸出使用定義變量設置暴露參數使用組合變量配置arcade表達式,注意參數傳遞:$feature.tqmj*(1-$featur
25、e.kcxs)橢球面積(TQMJ)扣除系數(KCXS)注:對應原始數據中的字段及屬性信息子模型更新應用場景一:構建可復用的業務工具凈面積計算原始子模型搭建與驗證模型算子參數設置模型參數順序調整拖入子模型搭建嵌套模型子模型更新調整暴露參數,以適應豐富場景下的中間變化過程,增加可變選擇項模型靈活可調調整暴露參數,以適應豐富場景下的中間變化過程,增加可變選擇項評價因子好較好一般交通便利小于1000米1000-2000米2000米以上水源保障小于100米100-500米500米以上灌區范圍全在灌區范圍內部分在灌區范圍內不在灌區范圍內應用場景二:簡化復雜模型搭建流程復雜模型搭建流程:1.搭建3個小模型,
26、執行并驗證通過2.復制粘貼子模型算子到新的模型,調整參數,執行驗證3.模型微調,需要重新修改小模型后重復上述工作未劃入高標準農田的永久基本農田耕作便利度評估聯動更新結構更加清晰可復用灌區范圍按壓蓋位置評價交通便利/水源保障按距離評價省市縣匯總出表分級匯總子模型:演示GA Plus模型嵌套助力耕作便利度評估GA+模型嵌套能力使用模型嵌套構建可復用的業務工具(未劃入高標準農田的永久基本農田耕作便利度評估)模型算子參數設置子模型更新拖入子模型 搭建嵌套模型GA Plus 模型嵌套特性總結設置暴露參數,模型拖入即用,使用方式和普通算子基本一致??焖購陀每焖購陀迷甲幽P透潞?,嵌套模型中可選擇更新,同
27、步修改跟隨更新跟隨更新 弱關聯,刪除子模型不影響執行 僅導出嵌套模型,在其他環境也可復用獨立使用獨立使用輔助用戶沉淀:算子可復用子模型完整業務模型 分析計算資源庫業務沉淀業務沉淀2.2 GA Plus大數據建模新能力Jupyter Notebook交互式分析200+算子和數據資源直接拖拽和使用,可引入更多的Python類庫和方法拓展分析能力,分析結果在地圖中實時查看,或生成excel報表,實現通用GIS平臺能力與復雜業務邏輯的深入融合Notebook 示例筆記本集成GAPlus空間分析算子集成GAPlus數據資源可視化地圖組件基于Jupyter Notebook,高擴展性容器化部署,保障信息安
28、全新集成Jupyter Notebook能力2.2 GA Plus大數據建模內置業務模型庫,快速遷移通用場景GA Plus 提供內置業務模型庫,規則可修改,實現業務場景復用,并綜合展示組織內部模型使用統計信息智能選址分析土地利用變化監測批而未供業務分析 自然資源調查監測相關業務 國土空間規劃相關業務規則 2.3 GA Plus 多任務并行計算兩個千萬級/億級數據做空間疊加計算更多計算資源更優處理算法大規模數據計算復雜運算規則場景場景耕地質量耕地質量等別數據等別數據基期地類基期地類圖斑數據圖斑數據系統參數系統參數耗時耗時(分(分鐘)鐘)GA CPUGA CPU利利用率用率GAGA內存利用內存利用
29、率率方案一方案一100萬100萬80%4.484%40%方案二方案二200萬200萬80%2575%52%方案三方案三480萬1000萬80%3780%68.5%方案四方案四480萬1000萬70%4278%64%方案五方案五480萬1000萬60%4582%61%方案六方案六480萬1.3億80%5485%81.5%方案七方案七480萬1.3億70%6085%78%方案八方案八480萬1.3億60%6078%60%單個任務請求的計算量較大數據和計算過程分布式處理和多次迭代GA Plus:針對高計算請求多任務并發執行 充分利用服務器計算資源,解決分析任務排隊問題新2.4 GA Plus 大數據
30、開發擴展能力Rest API基于Rest API接口進行服務調用、系統開發擴展自定義算子開發基于RunPythonScript接口進行算子開發擴展模型調用開發基于服務接口對開啟參數的模型進行調用分析模塊集成開發基于iframe方式,針對數據資源、在線建模進行集成2.5 GeoScene大數據跨平臺能力銀河麒麟操作系統中標麒麟操作系統優麒麟操作系統統信UOS中科方德深度Linux紅旗Linux操作系統CPU數據庫中間件操作系統人大金倉數據庫瀚高數據庫達夢數據庫PostgreSQL數據庫數據庫X86架構CPUARM架構CPU海光、兆芯、鯤鵬其他架構CPUCPU東方通普元信息寶蘭德金蝶天燕中間件2.
31、5 全面適配國產化環境Lorem ipsum dolor sit amet,consectetuer adipiscing elit.Aenean commodo ligula eget dolor.Aenean massa.Cum sociis natoquepenatibus et magnis dis parturient montes,nascetur ridiculus mus.工作1對接全類型數據資源:PostgreSQL(SDE Geometry)Postgis(SDE Geometry)Postgis人大金倉瀚高、達夢HDFSFileGDBShapefile時空數據讀取引擎:讀
32、取圖層對象讀取URL數據讀取關系型數據庫數據讀取 GeoPackage數據讀取Shapefile、FileGDB數據讀取柵格數據時空數據處理引擎:內置Spark分布式計算框架對接第三方Spark框架Standalone模式對接第三方Spark框架Yarn模式提供Executor資源參數配置提供Spark運行環境配置三 GeoScene GA Plus 業務應用自然資源調查監測業務高標準農田和永久基本農田分析計算評估GeoScene空間大數據支撐的業務場景和業務流程底線底線守護守護格局格局優化優化綠色綠色低碳低碳權益權益維護維護耕地保護 占補平衡推進永農高標準農田調查監測 分析評價規劃編制 實施
33、監督國土空間規劃用途管制要素配置 要素臺賬優化流程 節約集約盤活存量土地確權登記 不動產登記全民所有自然資源資產清查算子庫模型庫接口服務出圖出表規則庫GA PlusGeoScene大數據大數據能力支撐能力支撐四大場景四大場景事務計算型應用 土地利用現狀分析 土地利用變化監測 建設用地審批分析 生態紅線與基本農田壓蓋輔助決策型應用 多源數據融合分析 綜合等級指標評價 智能選址 基于手機信令數據分析挖掘智能化空間基礎設施模型構建數據治理開發擴展工具支撐數據體量和規模在千萬級以上,數據組織、數據管理、數據清洗和治理是難題GA Plus助力龐大數據量高效分析傳統處理技術,省級數據進行疊加計算、匯總統計
34、時,通常在20個小時以上受限于GIS軟件架構,無法充分利用服務器硬件資源使用GA Plus情況下,模型運行耗時4小時,大大提升分析效率GA Plus助力分析效率提升,業務快速搭建實現2040510152025耗時傳統模式GA Plus傳統模式向大數據模式轉變,提升分析計算效率代碼實現方式向在線建模方式轉變,提升搭建效率傳統技術采用完全開發形式實現,每一個規則和指標均需要寫代碼,當不同月度統計的指標發生變化時,需要找研發人員進行代碼層面的修改,不利于業務人員使用和擴展GA Plus在線建模從了解業務到搭建完成15個評估模型在2周內實現,且后續邏輯修改時僅當天即可完成GA Plus 助力自然資源調
35、查監測業務2017年初,院內啟動了重慶市土地房屋大數據應用與共享平臺的建設工作,并開發了大數據計算平臺。但因為平臺穩定性、易用性等原因,大數據平臺使用率偏低調查監測主要職責:承擔摸清家底職責,掌握自然資源的類型、分布、范圍、面積、權屬、開發、保護等信息。主要業務涵蓋全省/市的二調、三調、年度變更調查等動態監測、分析評價等業務。擁有大量業務數據,包括調查、不動產權籍、耕地、生態紅線、規劃、自然資源權益、監測各類數據,各省數據量平均約100T?;A調查耕地資源調查森林資源調查草原資源調查濕地資源調查水資源調查海洋資源調查地下資源調查地表基質調查數據量大數據管理難數據動態更新數據治理難調查監測業務,
36、面臨的四大難題:業務龐雜計算規則復雜快速計算難業務場景需要開發實現全員參與難完整的大數據平臺產品山水林田湖草是一個生命共地球表面:土壤等地表以下:地表以下:礦產等礦產等地表以上:地表以上:草原、森林、草原、森林、水等水等土地礦產森林草原水濕地海域海島陸地和海洋、地上和地下穩定性差大數據量分析失??;運維管理難度高;功能不全模型較少;擴展性差;功能缺失;耗時較長千萬級圖斑疊加耗時太長;數據上傳和下載需要8個小時,整體效率很低。GA Plus 助力自然資源調查監測業務2021年初,院內啟動了國土調查云重慶分中心項目的建設歷經兩年半時間,市調查監測院的12個業務處室、200多個用戶的日常業務,遷移到G
37、A Plus平臺上,累計構建模型800多個,分析2800余次,解決了大規模數據運算耗時長、數據難找、分析容易報錯等問題,提升了全院分析計算能力。作,使用 GA Plus支撐院里各業務處室的日常業務,無需寫代碼即可實現模型搭建和運算,簡單易上手800288810200業務處室用戶數模型庫任務數典型業務:權籍變更登記、批而未用分析、多年度城鎮村用地計算分析、技術審查DLTB變化分析,土地征收數據與三調數據疊加分析、采礦數據疊加變更數據計算、基數轉換、圖斑篩選、全省基本農田數據與坡度數據疊加賦值,逐步從傳統方式遷移到GA Plus平臺131117812101155910611139737111762
38、2420190304713213412418188284113193101GA PLUSGA PLUS運行情況統計運行情況統計賬號模型數任務執行數任務成功數GA Plus 助力自然資源調查監測業務傳統方式GA+在線建模系列180.580.50123456789耗時全省耕地數據新增坡度級別全省耕地數據新增坡度級別 數據資源即服務 模型可復用 性能提升16倍 面向業務人員,無需編碼GA Plus調查監測業務建設流程數據匯聚數據資源管理數據治理搭建業務模型抽取注冊描述感知監測Shp數據FileGDB數據CSV數據Postgis數據業務數據源三區三線數據空間規劃數據登記確權數據業務管理數據變更調查數據
39、常規監測數據調查監測數據數據體檢套餐配置檢查策略體檢規則設置定義體檢套餐差異檢測壓蓋檢測拓撲檢查空值檢測空間投影數據偏移數據清洗節點計算數據融合空間融合屬性融合數據追加空間連接屬性連接業務管理數據資源池大數據計算分析通用算子業務模型模型接口自定義算子GA plus核心能力使用邏輯以調查監測業務為例演示GA Plus數據體檢GA Plus助力高標準農田和永久基本農田的分析評估糧食安全問題是一項長期堅持的國家政策,耕地是糧食生產的命根子,保護耕地不僅要保數量,更要提質量。為貫徹落實習近平總書記的重要指示與黨的二十大關于逐步把永久基本農田全部建成高標準農田的決策部署,按照“邊建邊用”的原則,開展了“
40、未建成高標準農田的永久基本農田”分析、評價與監測工作,助力高標準農田的建設?;贕eoScene GA Plus在線建模能力,在Web端以直接拖拽數據、算子、配置參數的方式,將業務分析流程化、清晰化、可視化,支撐快速搭建面向“高標準農田和永久基本農田”分析評價模型。助力推進CSPON建設。使用GA Plus將現有評估方案轉移到web端實現,直接拖拽數據、算子、配置參數的方式,將業務分析流程化、清晰化、可視化從傳統的客戶端分析,轉換為將分析過程放到服務端集群實現分析,提供模型調用接口通過一張圖中提供的接口獲取數據存儲地址實現分析數據接入,分析后的結果數據在指定位置自動更新,一張圖根據指定位置定時
41、獲取數據信息。實現數據從接入、分析、結果提供均自動化、定時化流程GA Plus助力高標準農田和永久基本農田的分析評估數據定期推送模型自動運算結果定期更新報告自動生成國土空間規劃實施監測網絡輔助實現一步到位,自動評估總結 業務流程復雜傳統GIS軟件中處理步驟繁瑣 模型修改,重復更新問題 數據來源豐富,類型多樣 版本管理、數據統籌、數據安全 空間分析、匯總統計速度慢業務分析痛點 200+算子、可自定義,在線交互建模 模型接口化 迭代循環,模型嵌套 多源數據適配引擎 數據資源池統籌管理 分布式計算,多任務并行GA Plus優勢數據賦能場景驅動模型增智最終成效 快速搭建業務場景 業務系統可用大數據分析
42、能力 業務分析流程化、清晰化、可視化 充分利用計算資源 20+類型數據,抽取轉換 統籌數據版本,保護數據安全 縮短分析時間,提升分析效率時空大數據分析挖掘時空大數據接入治理時空大數據應用場景新新數據注冊數據注冊數據匯聚數據匯聚數據治理數據治理數據質檢數據質檢數據分析數據分析模型構建模型構建洞察挖掘洞察挖掘業務應用業務應用 CSV、TXT、JSON、GeoJSON Shapefile、ORC、Parquet文件型數據源 Oracle、FIleGDB PostgreSQL PostGIS、KingBase Hbase、ES數據庫數據源分布式存儲 HDFS、Hive 阿里云、華為云 AWS云存儲 微
43、軟云存儲 對象存儲圖數據庫Neo4JArangoDBHyperGraphDBApache TinkerPop連接描述感知監測關系追溯空間疊加時空聚合事件檢測軌跡追蹤狀態跟蹤密度計算熱點分析空間連接OD計算數據融合數據追加空間融合屬性融合屬性連接業務應用交通大數據犯罪分析自然資源大數據工具服務算子服務模型服務接口服務應用服務算子算法工具模型應用決策數據維度業務維度對象識別對象檢測圖像分類實例分割機器學習回歸預測影像轉換變化檢測語義分割視頻檢測矢量柵格融合分析柵格數據計算處理自然語言處理數據血緣關系追溯知識推理知識抽取知識融合知識決策語義關系實體關系時空關系時空計算智能時空感知智能時空認知智能GeoScene 提供了完整的空間大數據建設流程分類聚類全景分割深度學習和計算機視覺領域點云檢測基于分布式框架的龐大規模數據集運算空間投影字段計算具備理解和推理能力數據豐富多重計算框架邏輯判斷理解推理模擬人的視覺、聽覺、觸覺等感知能力,通過模型訓練,能夠對圖像、語音、文字進行識別。針對知識進行抽象和加工,具備理解和推理能力,從而輔助決策。針對大規模時空數據集提供計算能力支撐,解決復雜業務難題、解決時空融合問題,是GIS與IT結合的第一步躍遷。謝謝大家!