《武夢瑤-SuperMap多模態空間數據管理技術詳解.pdf》由會員分享,可在線閱讀,更多相關《武夢瑤-SuperMap多模態空間數據管理技術詳解.pdf(52頁珍藏版)》請在三個皮匠報告上搜索。
1、P1武夢瑤 產品咨詢師平臺產品線 綜合營銷工程北京超圖軟件股份有限公司2024年6月26日,北京SuperMap多模態空間數據管理技術詳解P2按行業自然資源氣象環保水利農業公安時效性實時數據IoT視頻GPS存檔數據CSVGeoJsonTXTGPX按平臺測繪軟件設計軟件GIS平臺遙感軟件采集軟件建模軟件數據結構矢量柵格影像BIM傾斜數據點云精模數據格式ShpGDBNCTIFFIMGOBJMAXOSGBIFC空間數據的復雜性多個行業,多種結構,多種格式P3多模態空間數據管理面臨的難題多模態數據如何統一匯聚?進得來如何實現多人分權管理與協同編輯?海量空間數據如何提升查詢效率?多模態數據如何高效存儲?
2、多模態數據如何有效組織?管得好數據/服務如何與外部系統交互?出得去P4多模態空間數據管理一覽圖進得來傾斜模型矢量視頻點云柵格BIM流數據管得好空間數據引擎(SuperMap SDX+)事務權限管理版本管理數據集分組鑲嵌數據集二三維點/線/面數據集網絡/路由/拓撲數據集模型數據集視頻數據集文本數據集空間索引矢量金字塔字段索引影像金字塔出得去數據庫服務(GeoSQL)數據導出GIS服務接口關系型數據庫非關系型數據庫文件系統圖數據庫P5P5進得來01P6數據格式多模態數據如何統一匯聚?行業數據時效數據平臺數據多類型數據結構數據讀取數據導入服務接入P71.1 數據讀?。憾S數據u 更多矢量格式直接讀寫
3、能力支持直接打開*.gdb、*.mdb、*.json、*.geojson、*.gpkg、*.vct、*.000矢量格式文件;支持將直接打開的矢量文件作為分析工具的源數據進行分析;無需轉換避免中轉格式P81.2 數據導入:三維數據(C*Engine)P91.2 數據導入:CAD數據n 支持在ARM環境下對 DWG導入和導出,與x86下的功能對齊。DWG 導入時對參數化對象的處理:導入為CAD數據集:無需設置參數,導入后為參數化對象導入為簡單數據集:需設置“保留參數化對象”,導入才為參數化對象。導入后的參數化對象僅保留二維坐標。P10支持導入文件格式ArcInfo Grid 文件(*.grd;*.
4、txt)Erdas Image 文件(*.img)TIFF 影像數據(*.tif;*.tiff)位圖文件(*.bmp)PNG 文件(*.png)GIF 文件(*.gif)JPG 文件(*.jpg;*.jpeg)JPEG2000 文件(*.jp2、*.jpk)ECW 文件(*.ecw)SIT 影像數據(*.sit)USGDEM 和 GBDEM 柵格文件(*.dem)BIL 文件(*.bil)BIP 文件(*.bip)BSQ 文件(*.bsq)RAW 文件(*.raw)MrSID 文件(*.sid)電信數據柵格文件(*.b,*.bin)ASCII Grid 文件(*.asc)支持導入文件格式Aut
5、oCAD Drawing 文件(*.dwg)AutoCAD DXF 文件(*.dxf)ArcInfo Export文件(*.e00)ArcView Shape 文件(*.shp)ESRI GeoDatabase Vector 文件(*.gdb)MapInfo TAB 文件(*.tab)MapInfo 交換格式(*.mif)MapInfo WOR 文件(*.wor)MapGIS 交換格式(*.wat;*.wal;*.wap;*.wan)Microsoft Excel 文件(*.xlsx)CSV 文本文件(*.csv)LIDAR 文件(*.txt)dBASE 文件格式(*.dbf)DGN 文件(*
6、.dgn)VCT 文件(*.vct)電信 Building Vector 文件電信 Vector 文件GJB 文件夾S-57 海圖數據文件(*.000)GeoJson文件1.2 100+數據格式導入:通用、行業、國內矢量柵格支持導入文件格式3DS 三維模型文件(*.3ds)DXF 三維模型文件(*.dxf)DirectX 的三維模型文件(*.x)傾斜攝影 OSGB 文件(*.osgb,*.osg)Google KML 文件(*.kml)Google KML壓縮文件(*.kmz)OBJ模型文件(*.obj)DAE模型文件(*.dae)IFC模型文件(*.ifc)FBX 模型文件(*.fbx)點云
7、數據格式(*.txt)Geo3DML地質體模型文件(*.xml)TIN 地形緩存文件(*.tinz)TIN地形文件(*.sct)gltf 模型文件(*.gltf)CityGML模型文件(*.gml、*.xml)FLT模型文件(*.flt)模型P111.3 服務接入支持服務類型OGC 標準服務(W*S)REST 服務谷歌地圖服務(GoogleMaps)天地圖服務(MapWorld)OpenStreetMapHTTPRabbit MQA*GIS RestP12P12管得好02P132.1 多模態數據如何有效組織?P14數據與數據集對應關系數據類型數據集點數據 Point二/三維點數據集線數據Lin
8、e二/三維線數據集面數據Region二/三維面數據集復合數據CADCAD數據集網絡模型Network網絡數據集(3D)格網數據Grid網格數據集數字高程DEM柵格數據集數據類型數據集影像數據Image柵格/影像/鑲嵌數據集文本數據Text文本數據集拓撲數據Topo網絡數據集路由數據Route路由數據集視頻數據Video視頻數據集BIM/精模模型數據集P15大規模影像文件管理難題拼接到一起是什么樣的?哪些影像覆蓋國家會議中心?P16影像原始文件+鑲嵌數據集的管理方式鑲嵌數據集 管理本地磁盤路徑引用動態鑲嵌客戶端存儲NAS云存儲本地磁盤數據庫外接包絡框顯示表結構原始影像不入庫P17鑲嵌數據集 客戶
9、端影像金字塔概視圖動態鑲嵌基于鑲嵌數據集的海量影像管理能力服務端P18視頻原始數據+視頻數據集的管理方式本地視頻在線視頻流無人機視頻流視頻數據集實時相機位置標定相機參數文件相機參數服務元數據路徑引用P19基于視頻數據集的多路視頻管理視頻管理1視頻管理2視頻管理N01 視頻數據集管理02 發布視頻服務03 大屏終端接收展示P202.2 如何實現多人分權管理與協同編輯?P21數據集分組權限管理事務、版本管理P22實現數據資源按目錄組織u數據集分組:滿足用戶按照數據管理要求進行邏輯分組,具有嵌套分組能力按類型劃分按照業務劃分P23數據集權限精細化管理:用戶權限管理增強安全性保護數據隱私創建用戶和角色
10、數據源權限數據集權限P24事務確保數據更新的完整性數據庫狀態一致性并發控制回滾與恢復分布式事務協調開啟事務事務標識事務狀態批量提交/回退事務P25多人編輯相同圖層,不同版本相互不影響版本更新,沖突監測版本管理實現數據編輯的隔離與協同P26數據變更記錄,數據回看 版本管理實現數據編輯的隔離與協同P272.3 海量空間數據如何提升查詢效率?P28字段索引空間索引矢量金字塔P29字段索引:優化高并發計算性能263615433380546944751469643511050100200并發數SuperMap iServer同類平臺(單位:毫秒)耗時減少至1/8SuperMap iServer vs.同
11、類平臺不同并發響應時間數據:700萬線數據任務:名稱完全匹配(創建字段索引)P30空間索引:提升海量空間數據查詢效率R樹索引四叉樹索引動態索引圖幅索引GiST索引提升海量數據空間查詢效率P31空間索引測試469711萬查詢數據量級158W數據空間查詢時間未創建索引創建索引耗時減少至1/6(單位:毫秒)P32矢量金字塔技術原理第0層矢量金字塔第1層矢量金字塔第2層矢量金字塔矢量金字塔提升海量空間數據訪問性能P33矢量金字塔:提升千萬級空間數據全幅顯示效率使用矢量金字塔顯示過程未使用矢量金字塔顯示過程P34矢量金字塔:矢量瓦片高并發、高性能出圖p基于矢量金字塔技術在矢量瓦片出圖場景下,大幅提升響應
12、性能效果,且層級越?。ㄕ埱髷翟蕉啵?,優化效果越明顯。104142100.8790.8731.3371.2360.21867810瓦片層級原始數據矢量金字塔數據PostGIS數據不同層級矢量瓦片出圖平均響應時間(16并發)耗時減少至1/119(單位:秒)P352.4 多模態數據如何高效存儲?P36多模態數據存儲策略推薦文件管理系統(NAS、S3、NTFS、EXT)原始數據直接存儲影像數據柵格數據矢量數據視頻數據瓦片數據傾斜模型點云數據關系型數據庫(Oracle、PG、GaussDB)建庫統一管理矢量數據柵格數據影像數據三維模型設施網絡網絡數據視頻數據非關系型數據庫(MongoDB)瓦片高并發訪問
13、柵格瓦片矢量瓦片三維瓦片.圖數據庫(Neo4j、AgensGraph)空間-屬性-關系一體化存儲實體數據關系數據三元組P37對象存儲:兼容AWS S3協議u對接對象存儲(S3協議)服務,可存儲地圖/三維瓦片,影像等數據,支撐存儲橫向擴展P38超圖聯合華為 openGauss 社區開發Yukon 空間數據庫引擎。全球最先進的關系型數據庫國內排名最高的數據庫二三維一體化的空間數據庫Yukon 為數據庫引擎項目,實現目的:為關系數據庫擴展的空間能力;為社區注入GIS活力,與國產數據庫廠商共建新生態。不支持三維模型等數據類型缺乏權威的空間數據庫擴展禹貢(Yukon)空間數據庫引擎P39禹貢空間數據庫引
14、擎:搭載宿主關系型數據庫,賦能空間能力p 目前,禹貢正在基于鯤鵬原生開發環境進行性能優化,在產品開發效率、優化應用性能、增加GIS跨平臺技術差異化特性等方面,持續打造“中國領先特色”。國產數據庫(PostgreSQL系)P40禹貢(Yukon)空間數據庫引擎技術架構多級別并行加速數據模型空間函數安全管理備份與恢復存儲管理數據管理空間索引空間網格索引*影像金字塔空間對象構造與編輯空間分析與計算三維模型*對象構建編輯柵格數據統計與分析參數化&組合對象計算函數空間網格計算*其他GIS基礎軟件數據生產軟件內核開源,格式開放標準 SQL API、openCypherGIS矢量金字塔*拓撲編輯/分析路徑分
15、析軌跡分析地理知識圖譜數據分析與挖掘三維模型*二三維點/線/面多面體表面不規則三角網圓弧柵格OGC SFA&SQL/MM:Part3空間網格單元*橢圓弧*拓撲地理知識圖譜*Yukon 自有能力P41多模態:二三維空間數據存儲二維/三維點二維/三維線二維/三維面多面體表面柵格參數化對象精細模型BIMP42存算一體實現高效分析操作系統CentOS Linux release 7.6.1810(Core)內存31G硬盤類型:固態 大小:1.8TCPU型號:Intel(R)Core(TM)7-6700K CPU 4.00GHz線程數:8 核數:489853.8533.675659.87487.26A*
16、GIS GA+Yukon耗時減少至1/301600萬疊加分析三調現狀分析響應時間(秒)P43多平臺兼容性支持P44P44出得去03P45如何實現數據與外部系統交互?數據導出數據庫服務(GeoSQL)GIS服務接口P46支持導出的文件格式電信Building Vector電信柵格文件EGCArcgis ASCArcgis DemNetcdfCityGML文件GJB文件3.1 與外部系統交互:數據導出數據導出CAD:DWG,DXFA*GIS:GDB,SHP瓦片:mvt,s3m三維模型:CityGML.支持導出文件格式CSVGEOJSONSIMPLEJSONDWGDXFSHPKMLKMZVCTEOO
17、MIFTABXSLX電信Vector文件dbfGPS支持導入文件格式imggrdtiffbmpgifjpgpngsit柵格矢量其他P47數據存取ST_AsTextST_AsBinaryST_SRIDST_Dimension幾何測量ST_AreaST_AngleST_DistanceST_Length空間關系判斷ST_DistanceST_DisjointST_Relate幾何對象處理ST_CentroidST_RelateST_Buffer幾何對象操作ST_AddBBOXST_AddPointST_Affine幾何構建幾何操作幾何矯正3.2 與外部系統交互:數據庫服務(GeoSQL)數據庫服務
18、(GeoSQL)幾何對象操作空間關系判斷幾何對象處理幾何測量P483.3 與外部系統交互:GIS服務接口GIS服務接口OGC WMTS/WMTS/WFSiServer REST APIS3MA*REST API*已通過技術兼容測試地圖服務數據服務處理自動化服務空間分析服務Web 打印服務交通網絡分析服務知識圖譜服務交通換乘分析服務三維服務三維網絡分析動態標繪服務分發服務地址匹配服務分布式分析服務流數據服務數據目錄服務幾何服務數據科學服務機器學習服務影像服務視頻服務A*GIS REST 地圖服務要素服務網絡分析服務幾何服務P49數據/服務與外部系統交互GIS服務接口OGC WMTS/WMTS/W
19、FSSuperMap iServer REST APIS3MA*REST API數據導出CAD:DWG,DXFA*GIS:GDB,SHP瓦片:mvt,s3m三維模型:CityGML.數據庫服務(GeoSQL)幾何對象操作空間關系判斷幾何對象處理幾何測量P50實現結果技術手段面臨挑戰總結數據讀取、數據導入、服務接入多模態數據集數據集分組、權限管理、事務、版本管理空間索引、字段索引、矢量金字塔多模態數據存儲策略數據導出、數據庫服務、GIS服務接口多模態數據如何統一匯聚?進得來如何實現分權管理與協同編輯?海量空間數據如何提升查詢效率?多模態數據如何高效存儲?多模態數據如何有效組織?管得好數據/服務如何與外部系統交互?出得去P51SuperMap GIS在線技術支持渠道P52Thank You All!