《2019年Esri空間信息技術開發者大會嘉賓演講PPT資料合集.rar》由會員分享,可在線閱讀,更多相關《2019年Esri空間信息技術開發者大會嘉賓演講PPT資料合集.rar(0頁珍藏版)》請在三個皮匠報告上搜索。
1、ArcGIS Enterprise 性能與可伸縮性1.ArcGIS Enterprise 介紹2.性能與可伸縮性最佳實踐-合適的部署模式-充足的基礎設施-使用中注意事項3.系統監控4.系統再調整內容ArcGIS Enterprise 介紹軟件組成ArcGIS EnterpriseArcGIS Enterprise=ArcGIS Web AdaptorArcGIS ServerPortal for ArcGISArcGISData StoreServer 許可角色GIS ServerGeoEvent Server*Image ServerGeoAnalyticsServerArcGIS Serv
2、er一個組件,多種許可角色Notebook Server*(10.7新增)*GeoEvent Server 安裝之前,必須先安裝 ArcGIS Server*Notebook Server 需要單獨下載安裝介質進行安裝,不需要預先安裝ArcGIS Server基礎部署|邏輯結構Portal for ArcGISArcGIS Server(hosting server)ArcGIS Data Store(relational+tile cache)ArcGIS Web AdaptorArcGIS Web Adaptor基礎部署|功能發布服務的功能-能夠發布地圖服務,要素服務,網絡服務,地理處理服
3、務,地理編碼服務等-發布托管圖層提供在線制圖功能使用地圖故事和其他配置型應用程序模板創建web應用程序使用 Web AppBuilder 快速創建自定義web應用程序管理 Esri apps 和其他基于 ArcGIS API for JavaScript 和 ArcGIS Runtime SDKs 創建的應用程序性能與可伸縮性最佳實踐速率,例如 響應時間(秒)概念|性能增加吞吐量并維持性能在可接受范圍的能力概念|可伸縮性系統可以提供的最大吞吐量在容量內超出容量概念|容量與哪些因素有關性能性能可伸縮性可伸縮性部署模式基礎設施使用事項與哪些因素有關性能性能可伸縮性可伸縮性部署模式部署模式選擇一種基
4、礎部署模式-一體化單機部署-適用于中小型組織的簡單部署模式-多層部署Portal for ArcGISArcGIS Server(hosting server)ArcGIS Data Store(relational+tile cache)表現層業務邏輯層數據訪問層部署模式多機站點配置目錄/服務器目錄(共享)配置目錄/服務器目錄單機站點與哪些因素有關性能性能可伸縮性可伸縮性基礎設施1.CPU2.內存3.磁盤4.網絡5.虛擬化配置基礎設施性能受單核性能的影響伸縮性受服務器核心數量和單核性能影響基礎設施|CPU基礎設施|內存Item最小值最大值ArcSOC Map50 MB500 MBArcSOC
5、 Image20 MB1,024 MBArcSOC GP100 MB2,000 MBXenApp Session500 MB1.2 GBDatabase Session10 MB75 MBDatabase Cache200 MB200 GBPortal content storeServer config storeServer directories-input,output,cache,jobs,.Data Store data directory基礎設施|磁盤磁盤空間讀寫速度即時一致性避免過度分配確保多個虛擬機不在同一個物理磁盤上運行建議使用少量大型虛擬機而不是許多小型虛擬機基礎設施|虛
6、擬化配置與哪些因素有關性能性能可伸縮性可伸縮性使用事項兩種數據管理方式:ArcGIS 管理用戶管理使用建議|數據本地文件地理數據庫-優于shapefiles-速度最快-多機拷貝進行擴展-適合靜態數據-將FGDB設置為只讀模式使用建議|數據企業級地理數據庫-速度快-靜態數據 和 動態數據-支持版本化-統計數據保持更新-字段索引使用建議|數據1.比例尺依賴2.移除不需要的圖層3.定義查詢4.簡化圖層符號5.用注記代替標注6.使數據的坐標系和數據框的坐標系保持一致使用建議|制圖使用建議|制圖Mxdperfstathttp:/ Enterprise 10.7 新增功能:共享實例!-能夠在共享實例池中運
7、行大多數基于ArcGIS Pro發布的地圖服務-當發布新地圖服務時,設置為使用共享實例,可將服務所需內存成本降至零使用建議|服務托管要素圖層注意事項:-只讀的要素圖層可以概化數據,減少數據量-如果有些情景需要使用編輯,有些情景不需要使用編輯,請使用查看圖層(又稱要素圖層視圖,feature layer view)使用建議|WebMap要素圖層要素圖層視圖1要素圖層視圖2大數據量的服務-使用智能制圖聚合數據(聚類點)-10.6.1及更改版本可以動態概化和減少數據傳輸(quantization)緩存切片可以減少流量設置合適的默認范圍,減小單擊次數使用建議|WebMap系統監測ArcGIS Moni
8、torArcGIS MonitorArcGIS Monitor監控大類監控大類計數器計數器詳解詳解WebHttp服務響應時間、響應編號等URL請求時長、響應時長、狀態碼等HARArcGISArcGIS Server繁忙實例數、空閑實例數、吞吐效率等Portal for ArcGIS平臺資源統計、用戶統計、使用統計GeoEvent Server吞吐量、事務數等WebGIS健康度Portal、托管服務器等的健康狀態ArcSOC Optimizer系統日志分析數據庫DB counters 數據庫讀寫性能、使用的存儲空間等Egdb Counter基礎設施Amazon系統內存、CPU利用率、磁盤空間等進
9、程RDP遠程桌面數等SSL Certificate文件讀寫資源使用情況日志分析 ArcGIS GeoInfo日志分析(IIS)用戶自定義自定義擴展的計數器許可Desktop 許可管理許可狀態及使用情況ArcGIS Monitor-可用狀態-性能-使用情況-報警提醒-原因分析報告(RCA)系統再調整性能瓶頸問題影響系統過載問題影響增加資源系統調整Portal for ArcGISArcGIS Server(hosting server)ArcGIS Data Store(relational+tile cache)增加機器擴展Portal for ArcGIS層:-為現有機器提供更多資源。注意:
10、在兩臺計算機安裝部署Portal for ArcGIS是是為了實現高可用性,不是用于擴展性能系統調整|Portal for ArcGIS擴展現有站點:-縱向擴展-添加資源到現有機器-橫向擴展-添加其他機器到現有站點系統調整|ArcGIS Server或添加其他GIS Server站點使托管的server站點擺脫傳統GIS Server的職責增加專用的GIS Server來執行其他事務:頻繁使用的地圖服務,地理處理服務系統調整|ArcGIS ServerGIS Server(mapping and visualization)GIS Server(geoprocessing)GIS Server
11、(hosting)基礎部署基礎部署中包含兩種類型的數據存儲:關系型數據存儲-Hosted feature layers-Insights for ArcGIS切片緩存數據存儲-Scene Layers(3D)注意:在多臺計算機安裝部署關系型數據存儲和切片緩存數據存儲是為了實現高可用性,不是用于擴展性能系統調整|ArcGIS DataStore了解ArcGIS Enterprise基礎部署選擇合適的部署模式,沒必要使系統過于復雜:中小型組織通??梢栽谏a中使用單機基礎部署選擇良好的硬件資源了解最佳做法監測系統對于系統瓶頸及時調整解決總結ArcGIS Enterprise 最新體系架構1.ArcG
12、IS Enterprise 10.7 架構與部署2.ArcGIS Enterprise 10.7 執行分析 ArcGIS Notebook Server ArcGIS GeoAnalytics Server ArcGIS GeoEvent Server ArcGIS Image Server3.Portal for ArcGIS 10.7 共享與協作目 錄ArcGIS 10.7 平臺體系ArcGIS ProArcGIS OnlineArcGIS EnterpriseArcGIS AppsArcGIS for Developers地理內容制作資源發布以及共享協作隨心所欲的應用平臺定制與擴展Arc
13、GIS Enterprise是一個全功能的制圖和分析平臺,包含強大的GIS服務器及專用的WebGIS 基礎設施來組織和分享工作成果,使用戶可隨時、隨地、在任意設備上獲取地圖、地理信息及分析能力。ArcGIS Enterprise是在用戶在自有環境中打造Web GIS平臺的核心產品。什么是ArcGIS Enterprise?1 ArcGIS Enterprise 10.7 架構與部署ArcGIS Enterprise 組件ArcGIS Server Portal for ArcGIS ArcGIS Web AdaptorArcGIS Datastore制作地圖和執行分析的核心 web 服務組件,
14、為所有 GIS 工作提供服務門戶,與組織中的協作者一起創建、共享和管理地圖、應用程序及空間數據將 ArcGIS Server 和 Portal for ArcGIS 與現有 Web 服務器相集成提供了靈活的數據存儲,提供關系、切片緩存和時空大數據3種不同類型的數據存儲Portal for ArcGISArcGIS GIS ServerArcGIS Data StoreArcGIS Web Adaptor可選服務器Notebook ServerImage ServerGeoEventServerGeoAnalyticsServerBusiness AnalystServer10.7 重大變化重大
15、變化ArcGIS Enterprise 10.7 組成ArcGIS Enterprise 架構GIS ServerNotebook ServerGeoEvent ServerGeoAnalyticsServerImage ServerBusiness Analyst Server聯合Portal for ArcGISArcGIS Data StoreArcGIS ServerArcGIS Web AdaptorArcGIS Web Adaptor基礎 ArcGIS Enterprise 部署1)單機部署基礎 ArcGIS Enterprise 部署2)多機部署Enterprise Builde
16、r 基礎 ArcGIS Enterprise 部署3)高可用部署Enterprise Builder GIS Server 10.7:多機器站點彈性增強Server 10.1 引入集群概念 站點支持多集群,如一個用來響應地圖服務,一個用來處理GP服務Server 10.4 多集群站點性能問題頻出,建議在單集群模式下使用。Server 10.7 移除了為站點配置多個集群的功能;在多機器站點中引入心跳機制,集群更健康。10.7之前:-集群中有節點down掉之后,服務管理和發布都會變慢;10.7之后:-加入心跳機制,每臺機器定期報告其連接狀態,自動停止刪除掛起的節點GIS Server 10.7:共
17、享實例(shared Instance)提升服務性能,節省系統資源提升服務性能,節省系統資源引入共享實例:允許SOC進程與服務定義之間1:n的關系 一個共享的實例(SOC進程)可以為多個服務提供支持 當發布一個地圖服務并將其設置為共享實例時,新服務的內存消耗為0 使用共享實例模式的服務使用共享實例池 每一個服務都有自己專有(保留)的實例 專有實例只能調整最大、最小實例數,發布默認為1和2 Server實例(SOC進程)和底層服務定義之間1:1關系 一個傳統的非托管的運行中的服務,平均占用內存100-200MB,有時候更多。10.7之前10.7ArcGIS Server 移除對集群的支持 多機器
18、站點增加心跳檢測機制 地圖服務共享實例 基于Pro的要素服務支持PBF的查詢方式 支持發送No-Sniff header消息 Manager中新增Job頁面 Server的日志中增加Request ID ArcGIS GIS Server 10.7,更高效、便捷、安全2ArcGIS Enterprise 10.7 執行分析2.1 ArcGIS Notebook Server全新數據科學平臺數據科學:采用科學方法、運用數據挖掘工具尋找新的數據洞察數據科學領域最常用的語言:Python、R、Julia數據科學領域人見人愛的在線交互式開發環境:Jupyter NotebookWeb GIS整合各類數
19、據如何使用數據才是關鍵!表格web services業務系統大數據采集圖片視頻傳感器網絡社交媒體analytics空間數據 內嵌Jupyter Notebook 面向數據科學、數據分析的可選服務器產品 分析能力“集大成者”-核心1:ArcGIS Python API,在線空間分析、大數據分析、平臺運維管理-核心2:ArcPy,本地數據處理與分析-集成開源科學庫(開源分析,統計和機器學習庫)微服務架構產品-Docker&容器ArcGIS Notebook Server,一站式數據科學平臺數據存儲/數據湖開源科學庫分析服務器(Image,Geoanalytics,Spatial)NotebookS
20、erverArcGIS Enterprise交互式計算將 Python能力帶到云端在線交互式數據科學環境與 Web GIS無縫集成ArcGIS Notebook Server特色ArcGIS Notebook Server部署可選服務器產品標準版、高級版兩個版本Notebook Server產品版本標準版高級版ArcGIS API for Python開源Python庫(pandas、numpy、sci-kit learn、TensorFlow 等)標準版+ArcPy庫全新數據科學服務器ArcGIS NoteBook Server5月21日 15:00-15:50 205會議室2.2 ArcG
21、IS GeoAnalytics Server空間大數據革新ArcGIS GeoAnalytics ServerArcGIS GeoAnalytics Server是用于矢量大數據分析處理的服務器產品,其利用分布式計算和存儲來處理帶有時間和空間屬性的大規模矢量或者表格數據。ArcGIS Geoanalytics Server部署ArcGIS 10.7 空間大數據革新功能增強:1)新工具:7個2)已有工具能力增強3)輸入、輸出能力增強擴展性增強:基于業務需求,多個分析工具組成模型鏈性能提升:相較于10.6.1,提升35倍穩定性增強:任務狀態監控Spark節點監控ZK節點監控四大革新、全面提升易用性
22、及業務應用支撐完整性新增工具、已有工具完善新工具:1.裁剪數據(Clip Layer)2.融合數據(Dissolve Boundaries)3.合并數據(Merge layers)4.描述數據集(Describe Dataset)5.構建多值段網格(Enrich from Multi-Variable Grid)6.隨機森林分類(Forest-Based Classification And Regression)7.廣義線性回歸(GeneralizedLinearRegression)能力增強:點聚類工具:新增HDBSCAN 算法字段計算/事件檢測/軌跡追蹤工具:新特性增強疊加分析(Over
23、lay):intersect、erase、union、symmetric difference、identify1)ArcGIS GA 10.7功能增強新增工具、已有工具完善ArcGIS GA 10.7 分析結果輸出到文件:GA 10.6.1:不支持輸出到文件(僅支持發布要素服務)GA 10.7:可以直接輸出文件,如Shapefile、Parquet、ORC、CSV等,直接輸出到HDFS、NFS等輸出結果,作為分析數據源,直接可用1)ArcGIS GA 10.7功能增強二次開發工具串聯模型定制自定義工具2)ArcGIS GA 10.7 擴展性增強疊加分析數據源:百萬級疊加分析結果數據量:128
24、萬對比:GA 10.7比10.6.1性能提升5倍3)ArcGIS GA 10.7框架優化、性能提升耗時下降ArcGIS 矢量大數據-Geoanalytics Server5月22日 13:00-13:50 103 會議室2.3 ArcGIS GeoEvent Server 分析處理更豐富ArcGIS GeoEvent Server是ArcGIS平臺提供的一種高效、實用的實時數據處理服務器,它可以對接物聯網中各種類型的傳感器,并對接入的實時數據進行高效處理和分析,并輸出到ArcGIS平臺或者其它的平臺中?;贏rcGIS平臺,可以實現實時數據的高效可視化和實時歷史數據的挖掘。ArcGIS Geo
25、Event ServerArcGIS GeoEvent Server部署新增6大實時處理能力事件連接Event Joiner方位計算Bearing Calculator扇區計算Range Fan Calculator事件控制器Event Volume Controller要素轉點Feature to Point增加XYZ的值Add XYZ Values時空大數據存儲將數據以帶分隔符的文本(如.CSV)格式導出到云存儲中幫助文檔更加豐富Processors內置了上下文幫助(輸入、輸出即將推出)監控頁面可以控制刷新時間間隔ArcGIS GeoEvent Server 10.7資產回收與追蹤ArcG
26、IS 實時大數據-Geoevent Server5月22日 15:00-15:50 103 會議室2.4 ArcGIS Image Server 10.7影像能力真正觸手可及ArcGIS Image Server是ArcGIS平臺實現大規模影像管理、共享與應用的服務器產品,支持基于ArcGIS鑲嵌數據集的影像發布能力,支持基于Web端的實時動態處理與分布式的柵格大數據分析,可廣泛應用于數據提供商、測繪、國土、統計、制圖等單位。ArcGIS Image Server影像管理地圖生產分析內容可視化與探索ArcGIS Pro StandardArcGIS Image ServerArcGIS Pro
27、 Advanced-Ortho MappingArcGIS Image Server-Ortho MakerArcGIS Image Analyst Extension StereoDrone2MapArcGIS Pro Image Analyst ExtensionArcGIS Pro Spatial Analyst ExtensionArcGIS Image Server Raster AnalyticsArcGIS ProImage Analyst ExtensionArcGIS Enterprise+Image ServerArcGIS OnlineArcGIS 10.7 五大影像關鍵
28、能力搬上云端!支持AWS S3,Azure Blob,新增阿里云和華為云ArcGIS Pro可創建連接、上傳及直接使用Portal中在線創建影像圖層1.云端數據管理:無需客戶端軟件2.云端自定義分析工作流ArcGIS 10.7全面擁抱深度學習3.云端集成深度學習EnterpriseNotebook ServerProExportTrainingDataforDeepLearning樣本制作DetectObjectsUsingDeepLearning目標識別ClassifyPixelsUsingDeepLearning分類QueryDeepLearningModelInfo從模型中提取指定的信息
29、InstallDeepLearningModel安裝深度學習模型UninstallDeepLearningModel卸載深度學習模型ListDeepLearningModels列出深度學習模型arcgis.learn 模塊基于遙感影像檢測并識別游泳池通過停車場的車輛判斷該零售商盈利情況基于視頻數據的空間數據分析與可視化視頻識別對象ArcGIS 10.7影像能力全面云化OrthoMaker 生 產 正 射 影 像、DSM、DTM等數據產品云端地圖生產即 拿 即 用 的 應 用 ArcGISExcaliburOnline/portal智能檢索云端發現與探索華為云/阿里云/WebHDFS存儲在線創建
30、影像圖層云端存儲管理與發布在線自定義分析流程柵格大數據分析集成深度學習云端分析工作流ArcGIS 柵格大數據-Image Server5月22日 14:00-14:50 103 會議室3 Portal for ArcGIS 共享與協作Portal for ArcGIS 是一種允許您在組織內與其他人共享地圖、場景、應用程序和其他地理信息的組件。Portal for ArcGISArcGIS Data Store是一個獨立的數據庫安裝應用程序,主要用于托管 Portal for ArcGIS 的數據圖層,是新一代的 Web GIS 系統的數據存儲部分。讓您輕松配置 Portal for ArcGI
31、S 網站使用聯合服務器存儲數據與Portal配合使用的數據存儲-ArcGIS Data StoreArcGIS Data Store 類型用戶類型Named User LevelArcGIS 10.6ArcGIS 10.7ArcGIS Enterprise 10.7:全新的用戶類型功能及應用:五種用戶類型EditorField WorkerViewerGIS ProfessionalCreator編輯創建瀏覽(基礎版、標準版、高級版)(基礎版、標準版、高級版)瀏覽地圖和應用的人群;等同原Level 1貢獻、管理數據記錄的人群外業采集人群多用途人群;等同原Level 2執行空間分析、高級制圖與可
32、視化的人群BIM支持增強、web端分析增強更適用于BIM數據,支持多層級subLayer新Lod Selection選項,節點切換更智能前端支持外殼層/細節分類顯示,支持不同學科圖層的分類顯示新增發布Building類型圖層web端剖切分析:適用地質體及BIM等需要內部空間查看的數據,以及地下數據查看性能與效率提升三維模型無極縮放:Lod自動切換機制 更新的用戶體驗、升級的用戶及群組管理體驗 全新的用戶類型 數據管理功能增強 Portal協作更新改進 Portal Webhooks自動應急處理 三維持續增強 全新APPS,Tracker for ArcGIS、ArcGIS ExcaliburP
33、ortal for ArcGIS 10.7 總結總結:ArcGIS Enterprise 10.7,更穩更快更強!功能增強:1)分布式協作支持暫停和恢復協作。2)sites提供image/media等更多Card支持3)Map Viewer增強等穩定性和性能提升:1)地圖服務的共享實例2)多機器站點增加心跳檢測機制3)要素服務支持PBF查詢,快顯性能提升擴展性增強:1)Web Hooks2)使用ArcGIS Enterprise SDK創建SOI和SOE3)AdoptOpenJDK代替了Oracle JDK,JDK版本從8升級到11全新工具:1)新增Notebook Server服務器產品2)
34、GA、GE服務器更多分析處理工具3)Image服務器齊集五大影像能力4)全新的AppsTracker for ArcGISArcGIS Excalibur謝 謝!ArcGIS Enterprise中數據存儲與管理共享實例(10.7新特性)MapService2Min:4Max:10MapService1Min:3Max:5Shared instance poolNew at 10.7一、基本概念什么是數據庫?什么是SDE?二、RDBMS的數據管理備份還原。高可用。三、NOSQL和NEWSQLNoSQL和NewSQL是什么?為什么會有NoSQL和NewSQL?講座內容基本概念1、Personal
35、 geodatabase2、File geodatabase3、Enterprise geodatabaseArcGIS Enterprise 中的數據存儲ArcGIS Enterprise 中的數據存儲數據庫與實例Oracle數數據據庫庫服務服務器器 是由一系列位于文件系統上的物理文件組成,在數據庫運行過程中,通過整套高效嚴謹的邏輯管理這些物理文件。通常將這些物理文件稱為數據庫數據庫,將管理這些物理文件的進程,進程管理的內存稱為這個數據庫的實例實例。InstanceInstanceDatabaseDatabaseOracle Oracle database database serverse
36、rver啟動數據庫的過程創建企業級地理數據庫(SDE)SDESchemaA schema is a collection of database objects(used by a user.).schema里面包含了各種對象如tables,views,sequences,stored procedures,synonyms,indexes,clusters,and database linksSchemaSDE對象棧結構ArcSDE ObjectsDBMS ObjectsOS ObjectsHardwareOSDBMS EngineArcSDE EngineGeodatabase Objec
37、tsArc EngineCREATE TABLE sensitive_areas(id integer,zone sde.st_geometry);INSERT INTO SENSITIVE_AREAS VALUES(1,sde.st_polygon(polygon(20 30,30 30,30 40,20 40,20 30),4326);空間數據空間數據就是有空間數據就是有 空間字段空間字段 的屬性表。的屬性表??臻g索引空間索引二級過濾二級過濾RDBMS的數據管理備份與恢復是指保護數據庫免于數據損失的不同手段與過程,這些過程包括采用各種手段對數據進行備份和保存,以及在發生故障之后通過備份或其
38、他手段重構數據的過程。高可用是由一系列數據庫構成的總體系統,在任何時刻,至少有一個節點可以接受用戶的請求并提供數據庫服務。大多數數據庫架構中,有一個主節點處理主要請求,還有若干備用節點用于容災切換,當主節點不能提供服務時,備用節點成為主節點繼續提供服務,用以保證整個系統的可用和穩定。備份與高可用邏輯備份與恢復數據庫對象級備份,備份內容是表、索引、存儲過程等數據庫對數據庫對象級備份,備份內容是表、索引、存儲過程等數據庫對象。象。1、報表庫2、讀寫分離3、不需要整庫,只需要個別對象,選擇性復制。物理備份與恢復數據庫文件級備份,備份內容是操作系統上數據庫文件。1、冷備在數據庫處于關閉狀態時進行備份通
39、常稱為冷備份,也稱為冷備,脫機備份。2、熱備數據庫在啟動狀態時的備份稱為熱備份,也稱為熱備,聯機備份。熱備Change發生時:先將變更后內容記入WAL Buffer再將更新后的數據寫入Data Buffer熱備Commit發生時:WAL Buffer刷新到DiskData Buffer寫磁盤推遲Checkpoint發生時:將所有Data Buffer刷新到磁盤高可用(Data Store)添加備用ArcGIS Data Store機器 通過通過WebWeb配置頁面或配置工具配置頁面或配置工具configuredatastoreconfiguredatastore 自動備份至備用機器自動備份至備
40、用機器 故障時自動轉移至備用機器故障時自動轉移至備用機器 間接實現了間接實現了Data StoreData Store的遷移的遷移高可用(流復制)NOSQL和NEWSQLNoSQL,指的是非關系型的數據庫。是對不同于傳統的關系型數據庫的數據庫管理系統的統稱。Not Only SQLNoSQL今天我們可以通過第三方平臺(如:Google,Facebook等)可以很容易的訪問和抓取數據。用戶的個人信息,社交網絡,地理位置,用戶生成的數據和用戶操作日志已經成倍的增加。我們如果要對這些用戶數據進行挖掘,那SQL數據庫已經不適合這些應用了,NoSQL 數據庫的發展卻能很好的處理這些大的數據。奧卡姆剃刀定
41、律如無必要,勿增實體如無必要,勿增實體沒有表結構沒有SQL插插入文檔入文檔db.COLLECTION_NAME.insert(document)更更新文檔新文檔db.collection.update(,upsert:,multi:,writeConcern:)刪刪除文檔除文檔db.collection.remove(,)全文搜索-文檔全文搜索-正排索引全文搜索 倒排索引復雜查詢-JOINSELECT Websites.id,Websites.name,access_log.count,access_log.dateFROM WebsitesINNER JOIN access_logON We
42、bsites.id=access_log.site_id;NewSQLNewSQLRDBMSNoSQLNewSQL 具有NoSQL對海量數據的存儲管理能力,還保持了傳統數據庫支持ACID和SQL等特性。Portal for ArcGIS的配置和應用場景1.Portal好玩么?2.想玩Portal,你準備好了嗎?3.來點總結1.Portal好玩么?Portal的功能及使用場景先認識一下Portal先認識一下Portal以地圖為中心的內容管理系統多源類型資源的共享??刂圃L問用戶權限,使得不同的角色訪問不同的資源打破壁壘,促進跨部門、跨領域協同共享。使組織中的每個人可以輕松進行資源的分享提供了可視化
43、的配置頁面,通過直觀的配置方式,零代碼快速生成,可擴 展并適配多種設備的Web GIS應用便捷的發現和使用資源二維/三維智能制圖無需GIS背景,簡單易用3.跨部門/領域協同分享4.高效配置應用程序2.快速的內容發現和制作1.多維內容管理1.多維內容管理01020403多種數據來源專業人員使用的apps,如Desktop、Pro進行業務分析制圖,這些數據可以通過門戶進行管理。其他業務人員可在portal當中制圖。實時、三維數據車輛、人員,污染物擴散、降水、氣象,貨物運輸、設備監控,疾病傳播;webscene管理多類型資源ArcGIS datasets and services OGC web s
44、ervices-WMS、KMLCSV,GPX,&ShapefilesWeb maps(.lpk、.lyrx、.pagx、mapx、.zip、.mxd)Map&layer packages(.lpk)Tools&Models各種樣例代碼與ArcGIS Server的集成聯合后自動注冊Server上的所有服務多維內容管理演示多源異構資源的整合2.快速的內容發現和制作-智能制圖Dynamic ClusteringSmart 3DFast Performance WebGLGraduated SymbolsSmart Heat MapTimeFirefly StyleSize&ColorThemati
45、cRelationship Map(Multivariant)Dynamic and Data-Driven MappingVector Feature TilesBIMMassive Point CloudsLidar 智能制圖:幫助我們創造屬于自己的2D、3D地圖快速智能制圖演示制圖10.7新特性2.快速的內容發現和制作-時空分析組織設置實用程序服務組織設置服務器前提條件基礎分析大數據分析Insights中分析挖掘時空分析 具有相關權限的賬號,配置一臺托管服務器。為Portal站點配置額外的分析功能(Utility Service)如GeoEnrichment,network utilit
46、y,elevation和hydrology。時空分析時空分析時空分析演示2.快速的內容發現和制作-智能搜索 智能搜索智能搜索 搜索工具:快速檢索地圖、應用、模板、工具、組織等資源 圖庫:多種方式,包括標簽、評級、評論、我的收藏夾、使用頻率和提供的大量細節信息 收藏夾:一鍵收藏3.跨部門/領域協同分享 基于群組的共享基于群組的共享策略策略 創建群組 成員加入 創建資源,選擇分享范圍 促進促進部門內協同辦公、提高部門內協同辦公、提高工作工作效率效率 組織組織間資源共享的解決間資源共享的解決方案方案 Portal to PortalPortal to Portal實現實現跨部門、跨部門、跨領域的業務
47、跨領域的業務協作協作組織機構跨部門跨部門/領域4.高效配置應用程序內容創建使用模板、使用Web AppBuilder、使用Operations Dashboard使用模板構建故事地圖采集/編輯數據比較地圖/圖層顯示場景(3D)探索/匯總數據解釋影像創建圖庫地圖社交媒體提供本地信息路徑/獲取方向展示地圖快速制圖及使用模板分享演示Web AppBuilder輕松幾個步驟完成在線應用的搭建輕松幾個步驟完成在線應用的搭建創建選擇模板選擇地圖更新微件配置保存大平臺,快應用快速搭建應用演示Web AppBuilder進階 Web AppBuilder開發版https:/ AppBuilder進階 源碼下載
48、、本地部署 可登陸ArcGIS Online 或Portal for ArcGIS 賬戶 支持微件和主題定制開發HTML/JavaScript/CSS(HTML/JavaScript/CSS(外觀外觀)特定特定任務任務(功能功能)、布局、布局微微件面板與件面板與行為行為LogoLogo樣式樣式(顏色等顏色等)默認默認微微件件Operations Dashboard主題:暗色、淺色自定義頁眉、界面頁眉及界面選擇器:類別選擇器、數字選擇器、日期選擇器功能:定義地圖、餅圖、指示器、儀表、列表、詳細信息、文本、嵌入內容等Operations Dashboard演示儀表盤展示鏡像城市小結多源異構數據整合
49、和管理數據驅動的智能制圖豐富的時空大數據分析組織內外靈活業務共享協作敏捷業務應用搭建隨時隨地、任意設備獲得的能力獲得的能力想玩Portal,你準備好了么?依需求做好規劃安裝前的環境確認配置及進階開發依需求做好規劃單機部署依需求做好規劃多機部署依需求做好規劃高可用部署環境確認硬件環境操作系統要求防火墻設置域名服務(DNS)和完全限定域名(FQDN)建議SSL 證書.NET 擴展支持功能需要安裝 Microsoft.NET FrameworkMicrosoft 核心 XML 服務(MSXML)6地理處理要求頁面文件大小要求支持的 Web 瀏覽器云平臺上的ArcGIS Enterprise受支持的虛
50、擬化環境支持的數據庫要求https:/ 網絡架構網絡架構內外網、測試環境、正式環境、網絡策略、網絡連通方法、域名等 軟硬件管理軟硬件管理要求要求計算機、存儲、中間件、負載均衡、DNS、數據庫等 安全管控安全管控網絡防火墻端口策略等 操作系統管理操作系統管理計算機名、目錄規劃、nfs共享存儲(文件夾共享等)、NAS存儲、上傳文件、句柄數修改、臨時管理員賬號管理等配置及進階開發進進階開發階開發Portal Rest API定制和擴展UI定制功能擴展二次開發基礎配置基礎配置零代碼、系統提供的配置功能主頁背景通知欄專題展示內容Site配置基礎配置Portal Portal 組織組織 設置設置 常規設置
51、常規設置門戶描述、默認語言等 主頁設置主頁設置背景圖像、通欄、專題內容 地圖設置地圖設置底圖庫、默認底圖、單位等 基礎配置Site創建主頁App Launcher站點權限控制,安全、輕松共享內置的網頁設計器,拖拽式體驗與HTML標記集成Site創建演示主頁App Launcher站點進階開發REST API入口地址:https:/域名/arcgis/sharing/管理員REST API入口地址:https:/域名/arcgis/portaladmin/Portal Rest API進行用戶、群組和資源內容(items)的一系列操作在線幫助Tips:谷歌翻譯https:/ Generate T
52、okenGenerate Token生成token的接口,用于請求資源類似倉庫的鑰匙 SearchSearch搜索接口,用于搜索資源 CommunityCommunity用戶(組織)、群組的增刪改查 ContentContent資源內容(item)的增刪改查,包括“內容”中文件夾的操作 PortalsPortalsPortal基本信息、語言、webhook等10.7新特性:Webhook是事件驅動信息的一種機制由門戶管理員創建、管理和配置在發生與門戶項目、組和用戶關聯的事件時自動通知向唯一的,用戶定義的有效接收URL地址發出HTTP請求,以提供有關該事件的信息10.7新特性:Webhook登錄
53、sharingportalsselfWebhooks10.7新特性:WebhookCreate Create WebhookWebhook參數解讀參數解讀 Name:指定webhook的名稱。Payload URL:接收有效信息的URL地址 Secret:安全驗證使用,可以添加到有效信息以幫助驗證接收器上的消息 Configuration:設置webhook的配置屬性 Events:定義將觸發webhook的事件3.來點總結總結作為在線工具使用作為資源展現網站使用作為資源共享交換平臺使用構建時空大數據云服務平臺專業和非專業用戶地理空間數據挖掘、分析、展現、共享需求經典案例天津生態城地理信息平臺
54、天津生態城地理信息平臺ArcGIS Pro新一代桌面ApArcGIS ProArcGIS平臺結構桌面Web設備portalGIS 服務器Data Store數據存儲服務GeoEventServerImageServerGeoAnalyticsServerGISServerProCityEngineIndoorUrban。Apps JavaScript API ArcGIS Runtime ArcGIS Pro SDKSDKs&API矢量大數據實時大數據影像大數據NotebookServer數據科學ArcGIS EnterpriseMonitor 制作發布地圖、場景的主要工具 二維、三維地理分析
55、和可視化 影像分析 數據科學ArcGIS Pro在平臺中的角色ArcGIS Pro Ribbon界面 二三維融合,多布局視圖 更快速(64位、GPU加速、多線程)以工程化的方式對數據和工具進行組織管理 便捷對接ArcGIS web平臺ArcGIS Pro 產品特點工程數據庫文件夾地圖布局符號報表工具ArcGIS Pro 新特性增強BIM支持新增三維插值工具對點要素進行插值并預測3D空間中點要素之間所有位置的值新增深度學習工具物聯網實時流服務增強支持根據靜態事物屬性值變化進行實時顯示支持要素軌跡線描繪新增LocateXT擴展模塊目標識別影像分類ArcGIS Pro 亮點特性新增“散點矩陣圖”圖表
56、類型可視化要素中的多個屬性字段之間的二元關系新增報表功能新增矢量/柵格大數據分析工具增強的矢量切片功能同一矢量切片圖層的多源應用ArcGIS Pro 亮點特性新特性介紹影 像 與 柵 格全動態視頻、目標識別、圖像分割分類三 維 專 項BIM、三維分析、三維編輯制 圖 與 可 視 化投影、圖層、符號、圖表查 詢 與 編 輯條件屬性值、多定義、編輯地 理 處 理 工 具功能加強、3D插值其 他 實 用 功 能新界面、報表、資源、擴展制圖與可視化投 影流 圖 層符 號 系 統圖 表制圖與可視化-新投影平等地球皮爾斯梅花地圖依賴于服務器端投影的圖層(例如 web feature layers,map
57、image layers,and image service layers)無法投影到這些坐標系,除非服務器版本為10.7 或更高版本。制圖與可視化-接入流圖層ArcGIS Pro ArcGIS物聯網實時流服務的支持繼續增強:能夠對各類智能儀表類的傳感器數據進行實時顯示,如某一國家或地區水位監測站的水位監測數據,可以實時全面檢測河流的水位是高于、接近還是低于洪水水位,并可以為該數據創建分析圖表。對于某一海域內航行船只,不僅可以顯示其實時位置,還可以描繪其總體的行動軌跡線,并且可以更形象地觀察類似颶風事件的行動路徑制圖與可視化-符號系統恒定熱點圖符號動態熱點圖符號設置圖例面形狀制圖與可視化新增圖
58、表“散點矩陣圖”:建立多個屬性字段之間的二元關系的可視化圖表“數字時鐘圖”:數據時鐘可直觀地將時態數據匯總到兩個維度,以揭示數據隨時間變化的季節性或周期性模式和趨勢。查詢與編輯條 件 屬 性 值多 定 義 查 詢編 輯查詢與編輯-編輯ArcGIS Pro新增了四個實用編輯工具:分割工具嵌邊工具概化工具拆分工具分割多邊形嵌邊ArcGIS Pro 新增的尺寸注記類型,可方便快速地標注出地塊側面的長度或管道兩端之間的距離。三維專項Re v i t 文 件 支 持交 互 式 三 維 分 析三 維 編 輯三維專項-Revit 文件支持與交互式分析三維專項三維數據編輯影像與柵格全 動 態 視 頻目 標 識
59、 別影 像 分 類影像與柵格-深度學習工具ArcGIS Image Analyst工具箱中新增加的三個地理處理工具。這些工具支持深度學習框架(如TensorFlow,CNTK和Keras),使用這些工具可以對遙感影像進行分類和對感興趣的目標進行識別。支持制作深度學習使用的樣本使用深度學習算法對影像像素進行分類使用深度學習算法進行目標識別剔除重復識別目標識別影像分類地理處理其他工具新 界 面報 表擴 展其他實用工具新啟動界面支持創建和編輯各類報表:支持生成多頁報表,具體報表內容包括:題目詳細說明匯總統計注腳頁碼提供三種樣式的報表模板:冷色調暖色調黑白色調其他實用工具-報表Migration|Ad
60、d-Ins高級的制圖、編輯、分析 地理處理 開機體驗 測量工具UX 新的編輯工具 表達式定義增強 報表 接入流圖層 深度學習新功能即將推出 地塊管理、偏移打印 并行桌面計算 材質紋理 體元圖層ArcGIS Pro A Comprehensive Desktop GISArcGIS Pro|Professional GIS學習資源Training ClassesLearn.ArcGIS.comGeoNDeveloper R打造全新的ArcGIS Pro之定制和開發ArcGIS Pro SDK 概覽ArcGIS Pro 定制簡介.NET Add-ins 開發ArcGIS Pro API GP工具的
61、調用獨立應用程序開發內容概覽ArcGIS Pro SDK 概覽ArcGIS Pro在“地理空間云平臺”中的地位ArcMapArcGIS ProArcGIS Pro 的擴展方式擴展ArcGIS Pro的方式:不支持Java!-基于 ArcPy 的自動化(Python 3.6)-通過 Tasks 配置-基于 Pro SDK for.NET的擴展開發Pro SDK for.NET的開發環境IDE-Visual Stduio 2017.NET framework 4.6.1操作系統 Windows 10(Home,Pro,Enterprise)(64 bit)Windows 8.1(Pro,and E
62、nterprise)(64 bit)Windows 7 SP1(Ultimate,Professional and Enterprise)(64 bit)開發環境搭建安裝方式:采用Visual Studio 擴展在MyEsri或者Visual Studio Marketplace中下載開發模式管理配置&模塊加載項ArcGIS Pro 定制簡介創建工程配置文件Config.damlDesktop Application Markup Language=(DAML)=桌面應用程序標記語言ConfigurationManager配置不一樣的Pro.NET Add-ins開發模式搭建第一個Add-in
63、s添加項新建Pro Add-inDEMOAdd-in 管理安裝:雙擊:管理:Add-in Manager(加載項管理器)拷貝:C:Users用戶名DocumentsArcGISAddInsArcGISProAdd-In vs Configuration相同點不同點基于Pro SDK 工程模板創建允許對 Pro UI進行定制標準的雙擊部署安裝Add in:允許多個Add-in安裝運行在同一個pro進程中Configuration:只能在一個pro的進程中運行定制啟動界面、開始界面、啟動邏輯(例如用戶角色等)ArcGIS Pro API Pro API 組成核心組件Core ExtensionsA
64、rcGIS.Core.dllArcGIS.CoreHost.dll ArcGIS.Desktop.Framework.dll ArcGIS.Desktop.Catalog.dllArcGIS.Desktop.Core.dllArcGIS.Desktop.DataReviewer.dll ArcGIS.Desktop.Editing.dllArcGIS.Desktop.Extensions.dll ArcGIS.Desktop.Geoprocessing.dll ArcGIS.Desktop.Layouts.dllArcGIS.Desktop.Mapping.dllArcGIS.Desktop.
65、TaskAssistant.dllArcGIS.Desktop.Workflow.dllExtensions with no public APIArcGIS.Desktop.Analyst3D.dll ArcGIS.Desktop.Aviation.dll ArcGIS.Desktop.BusinessAnalyst.Common.dll ArcGIS.Desktop.BusinessAnalyst.DataBrowser.dll ArcGIS.Desktop.BusinessAnalyst.DataCollection.dll ArcGIS.Desktop.BusinessAnalyst.
66、dll ArcGIS.Desktop.BusinessAnalyst.GPControls.dll ArcGIS.Desktop.BusinessAnalyst.MvvmUtils.dll ArcGIS.Desktop.BusinessAnalyst.WpfCommon.dll ArcGIS.Desktop.Charts.dll ArcGIS.Desktop.DataSourcesRaster.dll ArcGIS.Desktop.DefenseMapping.dll ArcGIS.Desktop.Editing.PushPull.dll ArcGIS.Desktop.FullMotionVi
67、deo.dll ArcGIS.Desktop.GAWizard.dll ArcGIS.Desktop.Geostatistics.dll ArcGIS.Desktop.LocationReferencing.dll ArcGIS.Desktop.Metadata.dll ArcGIS.Desktop.NetworkAnalysis.Facility.dll ArcGIS.Desktop.NetworkAnalysis.NetworkDiagrams.dll ArcGIS.Desktop.NetworkAnalysis.Transportation.dll ArcGIS.Desktop.Sear
68、ch.dll ArcGIS.Desktop.Sharing.dll ArcGIS.Desktop.TerritoryDesign.dll 沒有沒有對外外的的API。他他們目前目前僅Esri內部使用內部使用異步編程Pro內部線程模型 GUI線程 特殊的Worker Thread(Main CIM Thread,MCT)異步編程 Async/Await 使用ProFramework的QueuedTask(MCT)API Reference中有這樣的說明:“This method must be called on the MCT.Use QueuedTask.Run.”Task t=QueuedT
69、ask.Run()=/調用sdk方法);數據庫操作重要類TableSpatialQueryFilterQueryFilterRowCursorRowFeatureField如何鏈接數據庫?連接本地文件數據庫Geodatabase fileGeodatabase=new Geodatabase(new FileGeodatabaseConnectionPath(new Uri(C:datageodatabase.gdb);連接SDE數據庫Geodatabase enterpriseGeodatabaseViaConnectionFile=new Geodatabase(new DatabaseC
70、onnectionFile(new Uri(C:datasdefile.sde);1.使用sde連接文件連接SDE數據庫2.使用屬性連接DatabaseConnectionProperties connectionProperties=newDatabaseConnectionProperties(EnterpriseDatabaseType.SQLServer)AuthenticationMode=AuthenticationMode.DBMS,Instance =machineNameinstanceName,Database =databaseName,User =username,Pa
71、ssword =Not1234,Version =dbo.DEFAULT;Geodatabase enterpriseGeodatabaseViaConnectionProperties=new Geodatabase(connectionProperties);屬性查詢 QueryFilterQueryFilter queryFilter=new QueryFilter WhereClause=COSTCTRN=Information Technology,SubFields=KNOWNAS,OFFICE,LOCATION,PostfixClause=ORDER BY OFFICE;Sear
72、chRowCursorusing(RowCursor rowCursor=table.Search(queryFilter,false)while(rowCursor.MoveNext()using(Row row=rowCursor.Current)string location=Convert.ToString(rowLOCATION);string knownAs=Convert.ToString(rowKNOWNAS);空間查詢 SpatialQueryFilter空間查詢 SpatialQueryFilterSpatialQueryFilter spatialQueryFilter=
73、new SpatialQueryFilter WhereClause=“DISTRCTNAME=School District 204,FilterGeometry=new PolygonBuilder(new Listnew Coordinate2D(1021880,1867396),new Coordinate2D(1028223,1870705),new Coordinate2D(1031165,1866844),new Coordinate2D(1025373,1860501),new Coordinate2D(1021788,1863810).ToGeometry(),Spatial
74、Relationship=SpatialRelationship.Within;where空間查詢 SpatialQueryFilterSearchRowCursorUsing(RowCursor Cursor=FeatureClass.Search(spatialQueryFilter,false)while(Cursor.MoveNext()using(Feature feature=(Feature)Cursor.Current)Console.WriteLine(feature.GetObjectID();編輯重要的類 EditOperation編輯模塊以及草圖繪制可以進行創建,修改和
75、刪除操作GeometryEngineGeometryEngine 是一個重要的圖形操作的類BufferClipDifferenceNearestPointMoveProject查詢與編輯DEMOGP工具的調用使用GP工具模型和腳本工具(自定義GP)系統自帶GPstring input_roads=C:dataInput.gdbPlanA_Roads;string buff_dist_field=Distance;string input_vegetation=C:dataInput.gdbvegtype;string output_data=C:dataOutput.gdbClippedFC2
76、;string tool_path=C:dataCompletedModels.tbxExtractVegetationforProposedRoads;var args=Geoprocessing.MakeValueArray(input_roads,buff_dist_field,input_vegetation,output_data);return Geoprocessing.ExecuteToolAsync(tool_path,args);var valueArray=await QueuedTask.Run()=objectvar g=new List()geometry,retu
77、rn Geoprocessing.MakeValueArray(g,null,8000 Meters););await Geoprocessing.ExecuteToolAsync(analysis.Buffer,valueArray););使用GP工具調用GP面板string input_points=C:dataca_ozone.gdbozone_points;string output_polys=C:dataca_ozone.gdbozone_buff;string buffer_dist=2000 Meters;var param_values=Geoprocessing.MakeV
78、alueArray(input_points,output_polys,buffer_dist);Geoprocessing.OpenToolDialog(analysis.Buffer,param_values);調用GP服務string tool_path=C:dataagsonline.agsNetwork/ESRI_DriveTime_USCreateDriveTimePolygons;string in_point=C:MyProjectMyProject.gdbapoint;var result=await Geoprocessing.ExecuteToolAsync(tool_p
79、ath,Geoprocessing.MakeValueArray(in_point,3 9 12);GP工具演示DEMO獨立應用程序獨立應用程序Console app或者WPF appNote:目標平臺:設置為x64 不能使用Any CPUMain函數上添加STAThread屬性必須先調用Host.Initialize類似于IAoInitialize.Initialize();可以使用Pro離線許可或者勾選自動登錄不能使用不能使用Pro UIPro UI!獨立應用程序DEMOArcGIS Pro SDK開發資源不得不說的ArcGIS Pro使用思維ArcGIS Pro 概述ArcGIS Pro
80、新一代專業GIS桌面軟件全新的產品架構提升的內部實力靈活的界面布局科學的功能分類多窗口工作模式桌面能力大整合工作資源工程化與云端無縫銜接更多的功能特色ArcGIS Pro不會用!常用功能找不到制圖表達在哪找?Toolbox去哪了!找不到!怎么用?累覺不愛不會用!不好用!ArcGIS 桌面產品ArcMapArcGIS ProArcGIS Pro 使用思維ArcGIS Pro 1:界面布局及響應機制 2:工作資源工程化管理 3:地理處理 4:編輯 5:地圖符號化 6:布局界面布局及響應機制界面布局功能欄選項卡視圖窗格熟悉的GUI界面布局靈活的界面布局功能欄功能的科學分類與組織關聯選項卡選擇不同數據
81、,激活關聯選項卡窗格回顧ArcMap:開關對話框;對話框套對話框,層層開,層層關窗格根據所選數據,自如切換窗格內容:獨立工作,內容相關,不限制其他窗口的活動總結1、靈活的界面布局2、功能的科學分類和組織3、與用戶工作內容高度相關的界面響應機制:選擇不同數據,激活關聯選項卡根據所選數據,自如切換窗格內容使用簡單,操作靈活,高效工作工作資源工程化管理工程引入工程概念:打包工作資源并科學管理工程:可用來存儲人們用于GIS工作中的所有數據、地圖、布局、圖表、工具等。工程通過目錄窗格實現工程管理:細致項目名錄多項資源通道地理處理地理處理地理處理更好用:便捷搜索,常用收藏,最近應用列表,歷史可追尋地理處理
82、窗格化設置與應用工具編輯編輯流程化要素創建:創建要素添加屬性取消編輯會話:無需“開始”,只需保存編輯流程化要素創建:創建要素添加屬性編輯取消編輯會話:無需“開始”,只需保存流程化要素編輯:選擇要素執行編輯編輯流程化要素編輯:選擇要素執行編輯編輯內容窗格“按編輯列出”選項卡及“按捕捉列出”選項卡可控制圖層編輯的權限編輯內容窗格“按編輯列出”選項卡及“按捕捉列出”選項卡可控制圖層編輯的權限地圖符號化地圖符號化符號化系統:升級的符號化能力及體驗,實現藝術和科技的結合透明度1234地圖符號化制圖表達多比例制圖道路平交制圖表達符號層效果符號層類型+符號層效果:滿足豐富的制圖要求地圖符號化圖片填充:創建真
83、實紋理地圖多比例制圖ArcMapArcGIS Pro道路平交標注:MapLex高級智能標注引擎MapLex:ArcGIS Pro的默認標注引擎標注:MapLex位置放置屬性索引標注效果堆疊標注偏移效果(左圖:設置前;右圖:設置后)分開單詞效果標注:標注類標注類:特定要素特定標注,不同要素不同標注布局布局靈活布局布局多布局:布局地圖范圍獨立于地圖和其他布局布局總結與工作內容高度相關的界面響應機制工作資源的工程化管理用戶體驗升級的地理處理工具使用要素編輯流程化功能全面的地圖符號化多視圖多布局ArcGIS ProArcGIS Runtime SDK for.NET 高級開發離線主要學習ArcGIS
84、Runtime 強大的離線模式,以及主流的離線數據加載精細化編輯,圖形分析主要介紹ArcGIS Runtime中是如何進行圖形分析的,以及圖形的編輯網絡分析網絡分析是地理信息重要的內部,本課程主要介紹網絡分析方面的介紹,并且結合案例來深入的了解三維ArcGIS Runtime 支持強大的三維能力,支持多種數據源,本課程詳細介紹ArcGIS Runtime三維開發移動端開發隨著技術的發展,C#也可以開發Android,iOS 移動應用程序,本節作為內容擴展的方式,給大家帶來.NET開發移動的案例目錄ArcGIS Runtime 開發基礎回顧June2018Update 1Update 2ArcG
85、IS Runtime SDK for.NET 架構開發基礎 開發基礎 核心對象 二維開發基本組成 三維開發基本組成 圖層 圖層邏輯分類 基本要素 FeatureLayer GaphicOverlay Feature Geometry Symbol RenderArcGIS Runtime 演示實例主要對象層次結構服務服務ProtalProtal圖形符號符號UIUIMappingMappingGPGP柵格柵格主要功能模塊應用的類圖層圖層:-Tiled layer-Image layer-Feature layer-Graphic layers-Scene layer-Portal地圖:-Web
86、Map-MapViewer-Portal API-地圖場景場景:-Web Scene-Scene Viewer-可視化可視化-Callout-Popup-Symbol-Render-Graphic-查詢查詢:-Query-Identity-Find-分析分析:-Geocoding-Routing-Visual Analyst-Geometry Engine-Geoprocessing-編輯離線:-Download-Edit-Sync-Routing-Geocoding-vtpk-mmpk-離線編輯:-Add-Delete-Update-Attachments-Related table-Geo
87、View 是地圖展示的父類,包括地圖操作的常規方法MapView 是二維開發的主要對象SceneView是三維開發的主要對象核心對象GeoViewGeoViewMapViewSceneView地圖視圖主要用來顯示和控制二維地圖,它是二維開發的入口底圖主要用來管理用作底圖,一般只能看,作為參考使用業務圖層主要用來管理,編輯查詢選擇的圖層臨時圖層臨時繪制的圖層,作為輔助業務,不是永久性保存書簽對于感興趣的區域可以用書簽的形式保存下來二維開發基本組成重要的接口-MapView-Map-BaseMap-GraphicOverLay-Bookmarks-OperationalLayer二維開發主要接口圖
88、譜MapViewMapGraphicOverlaysOperationalLayerBaseMapBookmarksTiledLayerMapImageLayerRasterLayerFeatureLayerLayersArcGISVectorTiledLayerEncLayerMapView和Layers的關系MapView(底圖展示容器)Map(地圖)OperationalLayers(業務圖層)-FeatureLayer-FeatureCollectionLayer-RasterLayerGrapchicsOverLayer(臨時圖層)-點,線,面Basemap(基礎底圖)ArcGIST
89、iledLayerArcGISVectorTiledLayerArcGISMapImageLayer高程主要用來顯示三維高程地形起伏的相機主要用來控制三維場景視角的三維開發基本組成三維視圖-主要用來顯示和控制三維場景,它是三維開發的入口底圖-主要用來管理用作底圖,一般只能看,作為參考使用業務圖層-主要用來管理,編輯查詢選擇的圖層臨時圖層-臨時繪制的圖層,作為輔助業務,不是永久性保存書簽-對于感興趣的區域可以用書簽的形式保存下來三維開發主要接口圖譜ElevationSourceRasterElevationSource ArcGISTiledElevationSourceSceneViewSur
90、faceRaster 1:*LocalLocalSceneCamaraGraphicOverlaysOperationalLayerBaseMapBookmarksServerServerTiledLayerMapImageLayerRasterLayerFeatureLayerLayersSceneLayerSceneView和Layers的關系SceneView(底圖展示容器)Scene(場景)OperationalLayers(業務圖層)-FeatureLayer-ArcGISSceneLayerArcGISSceneLayer(三維圖層)(三維圖層)-RasterLayerGrapch
91、icsOverLayer(臨時圖層)-點,線,面Sureface(高程地形圖層)-ElevationSource-ArcGISTiledElevationSource-RasterElevationSource Basemap(基礎底圖)ArcGISTiledLayerArcGISVectorTiledLayerArcGISMapImageLayer底圖圖層(二維/三維)BaseMap業務圖層OperationalLayer繪制圖層(臨時圖層)GraphicOverlayer高程圖層(三維)Surface圖層邏輯分類SurfaceGraphicOverlaysOperationalLayerB
92、aseMapImageTiledLayerImageTiledLayerImageTiledLayer底圖圖層業務圖層高程圖層(Layer)用來在地圖&場景中的地理數據圖層(Layer)通過渲染器(Renderer)來符號化數據基礎底圖(Basemap)業務圖層(OperationalLayers)都是layer的集合Layer是所有圖層父類所有子類圖層都繼承Layer的屬性Layer的數據源既可以是在線的也可以是離線的LayersServiceImageTiledLayerLayerArcGISVectorTiledLayerFeatureCollectionLayerMobileBaseL
93、ayerArcGISSceneLayerImageAdjustmentLayerWmsLayerArcGISMapImageLayerImageTiledLayerWmtsLayerArcGISTiledLayerRasterLayerFeaturelayerEncLayerFeaturelayer大多數圖層既可以底圖用又可以當業務圖層用大多數圖層既可以在三維中使用又可以在二維中使用僅有個別圖層只能在三維里用,比如SceneLayer僅有個別圖層只能在二維里用,比如ENCLayer在二維里用和在三維里里功能完全對等Layer與二維三維的關系GeoViewMapViewScenViewArcGI
94、SMaplayersScenlayer僅三維FeatureLayerRasterLayerMapImageLayerTiledLayerArcGISSceneSurfaceGeometry是具體的圖形Geometry有三種類型FeatureLayerFeatureLayerGeoPackageFeatureTableFeatureShapefileFeatureTableFeatureCollectionTableFeatureTableArcGISFeatureTableServiceFeatureTable GeodatabaseFeatureTableGeometry PointPoly
95、gonPolyLine 組合繼承MapSceneOR Featurelayer負責與Map或者Scene交互FeatureTable種類多樣,用來獲取不同的數據源Feature是其中的一個記錄GraphicOverlay臨時圖層 繪制圖層GraphicGraphicMapSceneGraphicGemetrySymbolGraphicGeometry PointPolygonPolyLine OR GraphicOverlay 負責與Map或者Scene交互GraphicOverlay 是Graphic的集合Graphic 是具體的臨時圖形要素Graphic 通過Symbol來可視化Featu
96、re與Graphic都是地理信息要素Feature保存在Layer中,Graphic保存在Graphicoverlay中Feature可做持久化,Graphic只做臨時圖層Feature&GraphicGeoElmentGraphicFeatureArcGISFeatureGraphicOverLayFeatureTableFeatureLayerGeometryMapPointMultipointEnvelopMultipartPolylinePolygonGeometry是真實世界的地物的地理信息表達具有三種基本類型,點,線,面具有經緯度坐標和空間參考GeometrySymbolMulti
97、LayerSymbolFillSymbolMarkSymbolLineSymbolSimpleLineSymbolSimpleFillSymbolSimpleMarkSymbolPictureMarkSymbolTextSymbol符號渲染SymbolsLine symbolsMarker symbolsFill symbolsText symbolsComposite symbols圖形(Graphic)-幾何(Geometry)-屬性(Attribute)-符合(Symbol)符號(Symbol)-Picture,Marker,Line,Fill,Composite、Text渲染(Rend
98、erer)-簡單(Simple)-唯一值(Unique Value)-分類(Class Break)-熱度圖(Heatmap)基本要素間的關系GraphicOverLayerFeatureLayerFeatureLayerGraphicOverLayerGraphicGeometrySymbolFillSymbol面符號LineSymbol線符號MarkerSymbol點符號Point 點Polyline線Polygon面FeatureMap&SceneMapView&SceneView圖層GeometrySymbol屬性ArcGIS Runtime 離線離線模式_離線同步1.服務模式2.桌面
99、模式不容忽視的離線離線:不需要網絡環境離線數據類型1.圖層離線底圖圖層離線tpkvtpk業務圖層數據離線.geodatabaseShapefileKmlRaster.2.地圖離線Mmpk3.功能離線地理編碼網絡數據集支持多種類型離線數據tpk&切片緩存geodatabaserasterShapfilesVtpk矢量切片Spk、slpk三維離線數據類型圖層離線移動地圖包是對地圖統一打包移動地圖包里可以包含多個地圖移動地圖包里打包了所有地圖資源地圖組織方式數據符號離線數據類型地圖離線mmpkMap1Map2Map3數據數據符號符號地地圖組織方式方式MMPK制作1、“Create Mobile Ma
100、p Package”工具CreateMobileMapPackage_management(in_map,output_file,in_locator,area_of_interest,extent,clip_features,title,summary,description,tags,credits,use_limitations)移動地圖包制作2、python腳本移動地圖包使用使 用String path=Environment.getExternalStorageDirectory()+/ArcGIS/ArcGIS/chinamap.mmpkchinamap.mmpk;final fi
101、nal MobileMapPackage mobileMapPackage=new new MobileMapPackage(path);mobileMapPackage.addDoneLoadingListener(new new Runnable()Overridepublic void public void run()if if(mobileMapPackage.getLoadStatus()=LoadStatus.LOADEDLOADED)map=mobileMapPackage.getMaps().get(0);mapViewmapView.setMap(map););mobile
102、MapPackage.loadAsync();com.esri.arcgisruntime.mapping.mobilemappackagecom.esri.arcgisruntime.mapping.mobilemappackageMobileBasemapLayerMobileBasemapLayerMobileMapPackageMobileMapPackage移動地圖包接口離線模式離線同步最適合支持將數據共享給多個用戶,該模式允許多個離線用戶離線時編輯相同的數據層并在以后同步數據。該模式允許將底圖下載到設備并離線使用桌面模式最適合支持更新頻度低的只讀應用場景。離線格式是mmpk,需要A
103、rcGIS Pro創建的服務編輯模式服務瀏覽模式桌面模式服務模式的倆種離線工作流WebMap離線離線工作流方式一 按需工作流方式二 預定義工作流預定義的工作流1234服務器端規劃要下載的區域外業人員獲取規劃下載區域列表選擇離選擇離線區域線區域離線下離線下載載按需工作流外業人員根據需要自己確定下載區域下載離線數據編輯同編輯同步步Demo演示Try it ShapefileShapefileFeatureTable 關鍵接口關鍵接口ArcGIS Runtime 分析功能&空間關系空間分析相交非相交修型共邊等分線面切割面線切割線切割面坐標轉換緩沖分析計算面積、長度、距離標注中心點空間關系計算并、交、
104、切、取反Json格式轉換GeometryEngine空間分析核心對象演示demoTry it 小試牛刀ArcGIS Runtime 路網分析基本流程構建本地的RouteTask任務類構建RouteTask的參數(起止點、??奎c)調用solve方法求解路徑分析的結果獲取結果并添加至地圖上網絡分析ArcGIS Runtime 三維開發三維ElevationSourceRasterElevationSource ArcGISTiledElevationSourceSceneViewSurfaceRaster 1:*LocalLocalSceneCamaraGraphicOverlaysOperati
105、onalLayerBaseMapBookmarksServerServerTiledLayerMapImageLayerRasterLayerFeatureLayerLayersSceneLayer場景(Scenes)三維圖層(Layers)三維符號(3D symbols)表面高程(Elevation surface)三維開發核心對象ScnenViewSceneSceneLayer創建場景SceneLayer加載離線三維圖層SLPKHeadingPitchroll相機導航三維場景導航的深入認識俯仰角偏航角翻滾角ArcGISTiledElevationSourceSurfaceBaseSurfa
106、ce使用高程TextSymbolMapPointGraphicGraphicOverlay如何添加文字相機控制器 三種相機控制模式詳細的控制參數 與目標的水平角 與目標的高低角 與目標的距離追蹤 水平角追蹤 俯仰角追蹤 翻滾角追蹤視域視線分析能力 2三維分析-基于GPU-靜態-視線分析-視域分析-點位置-視域分析-相機-視域分析-GeoElement-動態-視線分析-視域分析-點位置-視域分析-相機-視域分析-GeoElement 1視域視線分析關系圖譜SceneViewAnlysisOverlayAnlysisOverlaysAnlysisLineOfSightViewshedLocatio
107、nLineOfSightGeoElementLineOfSightLocationViewshedGeoElementViewshed1:11:*1:*自定義視域視線顏色視域分析參數 水平角 俯仰角 水平觀察角度 垂直觀察角度 最近距離 最遠距離ArcGIS Runtime ARArcGIS Runtime 跨平臺篇-Xamarin100.X100.X100.X跨平臺跨設備QTQTOS XOS XWindows Windows StoreStoreJavaSEJavaSEiOSiOSAndroidAndroidWindows Windows PhonePhoneMobileMobileDesk
108、topDesktopEmbeddedEmbedded.NET.NETWindowsWindowsDesktopDesktopWindows Windows StoreStoreWindows Windows PhonePhoneWindowsWindowsDesktopDesktopWindows Windows UWPUWPWindows Windows UWPUWPWindowsWindowsDesktopDesktop10.2.x100.xmacOSmacOS Xamarin簡介 ArcGIS Runtime for.NET 移動端開發環境搭建 ArcGIS Runtime for.NE
109、T移動端HelloWorld入門 ArcGIS Runtime for.NET 和Android,iOS開發對比 ArcGIS Runtime for.NET 移動端開發總結目錄Xamarin是一套跨平臺解決方案,目的是使用C#語言開發原生的iOS,Android,Mac和Windows應用一句話Xamarin簡介開源開源跨平臺跨平臺免費免費可以有幾種開發方式開發原生的Android開發原生的iOS開發跨平臺應用程序FormiOS C#UIiOS C#UIAndroid C#UIAndroid C#UIWindows C#UIWindows C#UI共享共享C#業務代碼業務代碼100%原生原生
110、API調用調用高效的執行高效的執行C#C#后臺后臺C#C#后臺后臺C#C#后臺后臺一套后臺一套后臺C#MobileC#Mobile一套界面UIAPP界面后臺邏輯ArcGIS Runtime SDK for.NET/XamarinArcGIS Runtime SDK for.NET 架構多平臺支持 離線ArcGIS Runtime for.NET/Xamarin 環境搭建首先思考你的開發環境搭建在哪里?是要開發Android還是iOS 還是 跨平臺?iOSAndroidMacWindowVisual Studio 2017 適用于Android,iOS,Windows,Web和云Visual S
111、tudio for Mac 適用于Android,iOS MacOS,Web和云選擇開發環境?Window和Mac都可以一臺裝有Visual Studio 2017 Windows電腦一臺裝有Xcode的Mac電腦或虛擬機ArcGIS Runtime SDK for.NET-開發ArcGIS Runtime 必備如果你想用Window開發iOS和Android需要準備什么?Mac電腦或虛擬機-硬件Xcode-開發工具Visual Studio for Mac-開發工具ArcGIS Runtime SDK for.NET-開發ArcGIS Runtime 必備如果你想用Window開發iOS和A
112、ndroid需要準備什么?創建一個原生的Android地圖應用程序創建一個原生的iOS地圖應用程序創建一個跨平臺Forms地圖應用程序小試牛刀Hello WorldSo Easy創建一個原生的Android 地圖應用創建一個原生的Android Android 地圖應用創建一個原生的iOS地圖應用創建一個跨平臺地圖應用對比著來認識Xamarin工程結構對比對比著來認識XamarinAndroid MainActivityAndroid MainActivity對比著來認識XamarinAndroid Android 布局對比著來認識XamariniOSiOS 工程結構對比著來認識Xamarin
113、iOSiOS storyboardstoryboardiOS ViewController對比著來認識XamarinXamarinArcGIS Runtime SDK for.NET/Forms能不能使用原生寫好的庫?Xamarin 數據采集案例demoXamarin 開發的是原生的Android應用程序Xamarin 開發的是原生的iOS應用程序Xamarin 開發 Android和iOS 用的是C#Xamarin既可以在Windows上開發,也可以是MacXamarin用的IDE是Visual Studio(Window)或者Visual Studio for MacXamarin API
114、 可以和原生的一一對應Xamarin可以利用forms 開發跨平臺Xamarin 開發需要原生開發的知識總結學習資源官方入門實驗室https:/ArcGIS Runtime SDK for Android高級開發Runtime SDK 概覽Runtime SDK 能力篇Runtime SDK 開發篇版本與授權機制內容概覽數據可視化查詢、編輯空間分析離線幾何計算數據離線Runtime SDK 概覽一整套用于快速構建本地GIS應用程序并部署到不同平臺的應用程序開發包。ArcGIS Runtime SDK概覽macOSSDK2D、3D Mapping and GIS capabilitiesArcG
115、IS Runtime-應用領域與應用場景商業服務公共安全自然資源政府管理教育應急軍事交通數據采集類應用巡檢類應用資源展示類應用其他場景移動GIS應用常見應用場景生活服務類ArcGIS Runtime-移動GIS行業應用案例基礎測繪野外調繪系統智慧地調平臺內外業一體化采集系統地下空間屬性調查入庫一體化工具林地作業變更采集系統內蒙古自治區領導用圖征地補償領導綜合用圖天然氣管線巡檢應用地下空間三維展示應用Runtime SDK 能力篇 二維數據可視化 地圖顯示 二維要素符號、圖層渲染 三維數據可視化 三維場景顯示 三維要素符號、圖層渲染 數據查詢檢索 資源瀏覽 圖查屬性、屬性查圖 數據統計 分組統計
116、、組合統計數據可視化、數據查詢統計 空間幾何計算 空間關系 投影轉換 路網分析 路徑分析 可達性分析 高級地理分析 視線分析 視域分析 擴展分析能力 空間幾何計算與分析能力 數據采集 數據離線 數據同步離在線數據采集與編輯的能力 三維能力進一步提升 點云場景圖層的支持 點場景圖層的支持 地下場景的展示能力 移動場景包的支持(.mspk)更強大的離線工作模式 使用本地存儲的basemap(vtpktpk)支持下一代的地址定位器和切片包(.loz,.tpkx)更強大的標注功能 WFS圖層,Group Layers的支持 KML Tours支持Runtime SDK 100.5新特性點云場景圖層支持
117、地下場景展示讓更多人機交互方式成為可能。AR、VR的支持(Beta)AR管線巡檢AR場景展示VRRuntime SDK 開發篇示例代碼、幫助文檔、API文檔https:/ Android開發回顧地圖(場景)顯示的基本流程2、初始化一個地圖(場景)3、通過數據源(在線/離線)加載一個地圖圖層4、設置切片圖層為地圖底圖5、地圖(場景)容器顯示地理內容1、創建一個地圖(場景)容器并綁定到對象疊加疊加圖層圖層地圖地圖/場景場景MapView mMapView=(MapView)findViewById(R.id.mapView);ArcGISMap map=new ArcGISMap();String
118、 strMapUrl=“切片地圖服務地址;ArcGISTiledLayer arcGISTiledLayer=new ArcGISTiledLayer(strMapUrl);Basemap basemap=new Basemap();basemap.getBaseLayers().add(arcGISTiledLayer);map.setBasemap(basemap);mMapView.setMap(map);SceneView mSceneView=(SceneView)findViewById(R.id.sceneView);ArcGISScene scene=new ArcGISSce
119、ne();scene.setBasemap(basemap);mSceneView.setScene(scene);地圖視圖-MapView-顯示和控制二維地圖,二維地圖開發的入口地圖內容 ArcGISMap-地圖內容的管理,包括底圖、業務圖層等底圖-BaseMap-管理底圖,一般只能看,做參考圖層使用業務圖層-OperationalLayer-管理業務圖層,用來編輯、查詢、選擇的圖層臨時圖層-GraphicOverLay-臨時繪制的圖層,作為輔助業務,存在于內存中書簽-Bookmarks-對于感興趣的區域可以用書簽的形式保存下來二維地圖的核心對象二維地圖的組成和對象間層級關系MapView(
120、地圖視圖)Map(地圖內容)Basemap(底圖)ArcGISTiledLayerArcGISVectorTiledLayerArcGISMapImageLayerOperationalLayers(業務圖層)FeatureLayerFeatureCollectionLayerRasterLayerGrapchicsOverLayer(臨時圖層)點,線,面(Graphics)MapView mMapView=findViewById(R.id.mapView);ArcGISMap map=new ArcGISMap();mMapView.setMap(map);ArcGISTiledLayer
121、 arcGISTiledLayer=new ArcGISTiledLayer(“地圖服務地址”);Basemap basemap=new Basemap();basemap.getBaseLayers().add(arcGISTiledLayer);map.setBasemap(basemap);for(int i=0;ilayerCount;i+)FeatureLayer layer=new FeatureLayer(數據來源);map.getOperationalLayers().add(layer);GraphicsOverlay overlay=new GraphicsOverlay(
122、);mMapView.getGraphicsOverlays().add(overlay);場景視圖-SceneView-顯示和控制三維場景,三維功能開發的入口場景內容 ArcGISScene-三維地圖內容的管理,包括底圖、業務圖層等底圖-BaseMap-管理底圖,一般只能看,作為參考圖層使用業務圖層-OperationalLayer-管理業務圖層,用來編輯、查詢、選擇的圖層臨時圖層-GraphicOverLay-臨時繪制的圖層,作為輔助業務,存在于內存中書簽-Bookmarks-對于感興趣的區域可以用書簽的形式保存下來高程-Surface-主要用來顯示三維高程地形起伏的相機-Camera-主
123、要用來控制三維場景視角的三維地圖的核心對象三維地圖的組成和對象層級關系SceneView(場景視圖)Scene(場景內容)Basemap(基礎底圖)ArcGISTiledLayerArcGISVectorTiledLayerArcGISMapImageLayerOperationalLayers(業務圖層)FeatureLayerArcGISSceneLayer(三維圖層)RasterLayerGrapchicsOverLayer(臨時圖層)點,線,面(Graphics)Surface(高程地形圖層)ElevationSourceArcGISTiledElevationSourceRaster
124、ElevationSourceSceneView mSceneView=findViewById(R.id.sceneView);ArcGISScene scene=new ArcGISScene();mSceneView.setScene(scene);ArcGISTiledLayer arcGISTiledLayer=new ArcGISTiledLayer(“地圖服務地址”);Basemap basemap=new Basemap();basemap.getBaseLayers().add(arcGISTiledLayer);map.setBasemap(basemap);Graphic
125、sOverlay overlay=new GraphicsOverlay();mMapView.getGraphicsOverlays().add(overlay);地圖的基本操作與地圖事件DefaultMapViewOnTouchListenerDefaultMapViewOnTouchListenerMapView.OnTouchListenerMapView.OnTouchListenerMapScaleChangedListenerMapScaleChangedListenerMapRotationChangedListenerMapRotationChangedListenerGeo
126、ViewGeoViewMapViewMapViewSceneViewSceneViewAttributionTextChangedListenerAttributionTextChangedListenerDrawStatusChangedListenerDrawStatusChangedListenerLayerViewStateChangedListenerLayerViewStateChangedListenerNavigationChangedListenerNavigationChangedListenerSpatialReferenceChangedListenerSpatialR
127、eferenceChangedListenerViewpointChangedListenerViewpointChangedListenerArcGISMapArcGISMapArcGISSceneArcGISSceneArcGISMap.BasemapChangedListenerArcGISMap.BasemapChangedListenerLoadStatusChangedListenerLoadStatusChangedListenerArcGISScene.BasemapChangedListenerArcGISScene.BasemapChangedListener狀態事件操作事
128、件identifyGraphicsOverlayAsyncidentifyGraphicsOverlayAsyncidentifyLayerAsyncidentifyLayerAsyncView.OnTouchListenerView.OnTouchListenerCameraControllerCameraControllerCameraDistanceChangedListenerCameraDistanceChangedListenerCameraHeadingOffsetChangedListenerCameraHeadingOffsetChangedListenerCameraPit
129、chOffsetChangedListenerCameraPitchOffsetChangedListener加載狀態變化底圖更改地圖點擊事件(點擊、雙擊、按壓滑動等)地圖默認點擊事件地圖比例尺變化事件地圖顯示方向變化事件DefaultSceneViewOnTouchListenerDefaultSceneViewOnTouchListener地圖默認點擊事件(三維)地圖視距、視高、視角變化(三維)地圖事件用法平移-拖動平移-拿起放大縮小旋轉多指拖動-上下多指拖動-左右/設置地圖控件點擊事件mMapView.setOnTouchListener(new MapView.OnTouchListe
130、ner()Overridepublic boolean onDoubleTap(MotionEvent e)/雙擊return false;Overridepublic boolean onDown(MotionEvent e)/按下return false;Overridepublic boolean onSingleTapUp(MotionEvent e)/單擊return false;Overridepublic void onLongPress(MotionEvent e)/長按Overridepublic boolean onTouch(View v,MotionEvent even
131、t)return false;);操作事件示例實現流程1、創建SketchEditor對象2、設置要素繪制模式(點、線、面等)3、圖形繪制完畢后獲取當前圖形圖形繪制流程解析/創建一個SketchEditor對象并設置給MapViewSketchEditor mSketchEditor=new SketchEditor();mMapView.setSketchEditor(mSketchEditor);/根據需要設置繪圖模式mSketchEditor.start(SketchCreationMode.POINT);/繪制點mSketchEditor.start(SketchCreationMod
132、e.POLYLINE);/繪制線mSketchEditor.start(SketchCreationMode.POLYGON);/繪制面mSketchEditor.start(SketchCreationMode.FREEHAND_LINE);mSketchEditor.start(SketchCreationMode.FREEHAND_POLYGON);/繪制操作mSketchEditor.undo();/撤銷mSketchEditor.redo();/重做mSketchEditor.clearGeometry();/清除mSketchEditor.stop();/停止繪制/獲取繪制的圖形G
133、eometry sketchGeometry=mSketchEditor.getGeometry();擴展DefaultMapViewOnTouchListener 類實現復雜符號繪制Graphic/Feature=Geometry+Attribute+Symbol基本流程-創建Geometry對象,如Point、Polyline、Polygon-創建Symbol對象,并設置符號化樣式信息,如簡單符號、圖片符號等。-創建Graphic對象,并利用Geometry、Symbol、Attribute(可選)初始化-將Graphic添加到GraphicOverlay中顯示點、線、面的組成及加載過程解
134、析GraphicOverlay支持統一渲染樣式,通過Renderer實現/創建圖形Point pt=new Point(34.056295,-117.195800,SpatialReferences.getWgs84();/創建圖形的顏色和符號int blue=Color.rgb(0,0,255);SimpleMarkerSymbol markerSymbol=new SimpleMarkerSymbol(blue,14,SimpleMarkerSymbol.Style.TRIANGLE);/添加圖形GraphicsOverlay overlay=new GraphicsOverlay();m
135、MapView.getGraphicsOverlays().add(overlay);overlay.getGraphics().add(new Graphic(pt,markerSymbol);查詢操作-圖查屬性/設置事件監聽mMapView.setOnTouchListener(mMapViewTouchListener);ListenableFuture identifyGraphic=mMapView.identifyGraphicsOverlayAsync(grOverlay,screenPoint,10.0,false,2);/識別Graphic/獲取Graphic識別結果iden
136、tifyGraphic.addDoneListener()-List identifyLayerResults=identifyGraphic.get(););/設置事件監聽mMapView.setOnTouchListener(mMapViewTouchListener);ListenableFutureList identifyLayerResultsFuture=mMapView.identifyLayersAsync(screenPoint,12,false,10);/識別Feature/獲取Feature識別結果identifyLayerResultsFuture.addDoneLi
137、stener()-List identifyLayerResults=identifyLayerResultsFuture.get(););ServiceFeatureTable、QueryParameters基本流程-創建一個ServiceFeatureTable對象,并添加到地圖-創建QueryParameters對象,并設置查詢參數-ServiceFeatureTable執行查詢操作-mServiceFeatureTable.queryFeaturesAsync(queryparameter)-處理查詢結果信息-listenableFuture.addDoneListener()查詢操作
138、-屬性查圖ServiceFeatureTable mServiceFeatureTable=new ServiceFeatureTable(getResources().getString(“FeatureService服務地址”);/創建查詢參數QueryParameters query=new QueryParameters();/設置查詢條件query.setWhereClause(“upper(STATE_NAME)LIKE%”+“待查詢關鍵字”+“%”);/查詢要素final ListenableFuture future=mServiceFeatureTable.queryFeat
139、uresAsync(query);/通過異步方式獲取查詢結果future.addDoneListener(new Runnable()Overridepublic void run()try/獲取查詢結果集對象FeatureQueryResult result=future.get();/獲取查詢結構列表if(result.iterator().hasNext()Feature feature=result.iterator().next();Envelope envelope=feature.getGeometry().getExtent();mMapView.setViewpointGeo
140、metryWithPaddingAsync(envelope,200);/設置要素選擇狀態mFeaturelayer.selectFeature(feature);else/沒有找到相關要素 catch(Exception e)/異常處理);離線的幾何運算相交非相交修型共邊等分線面切割面線切割線切割面GeometryEngineGeometryEngine組件組件空間關系:并、交、切、取反計算面積、長度、距離投影轉換緩沖分析標注中心點空間關系計算查找最近節點Json格式轉換com.esri.arcgisruntime.geometry.GeometryEngine離在線一體化數據采集流程服務編
141、輯模式服務瀏覽模式桌面模式最適合支持將數據共享給多個用戶,該模式允許多個離線用戶離線時編輯相同的數據層并在以后同步數據。該模式允許將底圖下載到設備并離線使用。桌面模式最適合支持更新頻度低的只讀應用場景。離線格式是mmpk,需要ArcGIS Pro創建的 視線分析 LocationLineOfSight 視域分析 LocationViewshed GeoElementViewshed 地理分析服務 GeoprocessingTask高級分析功能綜合案例RuntimeViewer工程結構Base-應用程序基類BMOD-業務功能MapModule-地圖模塊ProjectsModule-工程列表Roo
142、tAct-應用程序啟動頁SystemModule-系統功能模塊Common-公共功能Config-配置信息EventBus-事件中心GloabApp-App全局信息Permission-權限控制Utils-工具類Widget-功能組件文件夾Common-公共功能LayerManagerWidget-圖層管理XXX組件XXX組件ArcGIS Runtime SDK for Android通用開發框架開源項目開源項目綜合案例ArcGIS Runtime SDK for Android通用開發框架二維模式三維模式GitHub地址https:/ Runtime SDK for Android通用開發框
143、架版本與授權機制ArcGIS Runtime 100.5 版本與能力StandardStandardLicense Key所有Basic版功能額外的數據支持,包括Shapefile、Geopackage,ENC Layers影像功能本地Raster layers使用 raster functions使用Raster 作為高程數據源文件形式使用KML數據視覺分析功能,包括:視線分析、視域分析。AdvancedAdvancedLicense Key僅使用Java、.net和Qt SDKs添加Local Server支持。BasicBasicNamed User-Level 2-Editor,Fie
144、ld Worker,Creator,or GIS ProfessionalLicense Key所有Lite版功能編輯離線下來的.geodatabases 和私有的服務同步編輯要素和附件添加,更新 刪除Portals中的ItemLiteLiteNamed User-Level 1-ViewerLicense Key查看瀏覽二維,三維,眾多的離線包編輯公共的feature services.生成離線包.Geodatabase更新離線.Geodatabase位置查找簡單路徑分析服務范圍分析和最鄰近設施分析Web方式訪問KML數據Analysis ExtensionAnalysis Extensio
145、nLicense Key使用本地網絡數據集計算服務區域并找到最近的設施StreetMapStreetMap Premium for ArcGIS RuntimePremium for ArcGIS RuntimeLicense Key-ArcGIS Runtime SDK for Android 100.5 授權-Named user授權授權AppsLicense key授權/使用Named User賬戶連接ArcGIS Online或者ArcGIS PortalUserCredential credential=new UserCredential(user,password);/用ArcG
146、IS Online URL或門戶URL替換URLPortal portal=new Portal(“https:/your- Runnable()Overridepublic void run()/從門戶獲得許可信息LicenseInfo licenseInfo=portal.getPortalInfo().getLicenseInfo();/將許可證應用于標準級別ArcGISRuntimeEnvironment.setLicense(licenseInfo););/利用license key 授權應用程序ArcGISRuntimeEnvironment.setLicense(runtimel
147、ite,1000,rud#,day-month-year,#);https:/ Runtime SDK for Android是開發Android原生GIS應用的利器。全新架構升級,全平臺打造更一致的開發體驗。廣泛應用于數據采集、外業巡檢、可視化、統計瀏覽等諸多業務場景。功能強大,產品體系完整,是構建專業級Android移動GIS的應用的首選方案??偨Y從Engine遷移到ArcGIS Runtime最佳實踐 開發環境的遷移 常用功能的遷移 部署的轉變主要內容開發環境的遷移ArcGIS平臺信息模型AppsAPIs&SDKsArcGIS DesktopArcGIS EnterpriseArcGIS
148、 Online矢量切片圖層Web Scenehttp:http:http:切片圖層WebMap服務數據要素圖層影像圖層分析地理編碼ArcGIS Engine是在ArcObjects基礎之上封裝的一組高級接口,可以輕松構建自定義應用程序,提供多種控件,支持多種開發平臺和語言。ArcGIS Runtime是伴隨ArcGIS 10.1發布而誕生的一個基于服務架構的全新產品,是一款輕量級桌面移動端跨平臺開發產品。ArcGIS Engine VS ArcGIS Runtime C/SC/SWindowsWindowsLinuxLinuxAndroidAndroidiOSiOSmacOSmacOSArcG
149、IS RuntimeArcGIS EngineWindowsWindowsLinuxLinuxLocal ServerArcGIS Engine 10.7 所需:軟件:VS、Engine 10.7、ArcObjects SDK for.NET許可:Engine Developerkit 許可ArcGIS Runtime 100.5 所需:軟件:VS、ArcGIS_Runtime_SDK_DotNet_100_5_0(可在線安裝)Local Server(可選)許可:免費,有水印開發環境及軟件安裝Engine:Runtime:單線程、同步多線程、異步32位,winform64位,WPF基于Arc
150、Objects基于Runtime API接口轉換多重函數重載開發方式的轉變Await,Async與LoadableDemo:異步執行常用功能的遷移常用功能.NETiOSAndroidQtJavaArcGIS RuntimemacOSAnalysis3DRouting&GeocodingEditingMaps&DataMaps&DataArcMap Document(.mxd)Map Package(.mpk)Layer File(.lyr)Layer Package(.lpk)MapsOnline MapsMobile MapsGeoViewGeoViewMapViewSceneViewMap
151、SceneGraphicsOverlaysGraphicsOverlaysMap MapLayersSceneLayerFeatureLayerRasterLayerMapImageLayerTiledLayer/VectorTiledLayerGroupLayerSceneSurfaceBaseMapBaseLayersOperationalLayersFeatureCollectionLayerAnnotationLayerPortal中的MapsWeb map在Online、Pro和Runtime中可以讀和寫包括Online Layers&嵌入式內容Tiled LayerVector T
152、iled LayerFeature LayerMap Image LayerFeature CollectionOnline Maps移動地圖包(Mobile map package)將maps、網絡、或者定位器打包到一個文件支持打包raster dataset支持打包tpk和vtpk樣式符號拿來即用,無需單獨渲染小而快速,且容易分享支持離線的查詢、路徑分析、地理編碼等各種離線應用場景Mobile Maps服務模式:-工作流:預定義和按需-可下載內容:柵格切片和矢量切片開啟exportTiles功能要素服務開啟Sync能力FeatureCollections只讀-下載結果:解壓之后的mmpk桌
153、面模式:ArcGIS Pro生成.mmpk離線地圖預定義工作流:服務模式:按需工作流:服務模式:Demo:離線地圖Engine:Runtime:Data Shapefile Personal Geodatabase File Geodatabase ArcSDE Raster/Mosaic Dataset Feature Service Map Services Image Services WMS、WMTS KML Tile Package TIN CADShapefile Mobile GeodatabaseGeopackageRaster/Mobile MosaicTile/Vector
154、 tile packageENC Feature ServiceMap ServiceImage Service WMS、WMTSKMLWFS(100.5)基于SQLite 跨平臺,便攜,高效包含schema,數據,渲染信息web map 下載 下載到本地mmpk(包含.geodatabase)要素服務(Sync-enabled)下載 可編輯ArcGIS Map Create Runtime Content 創建 只讀ArcGIS Pro Create Mobile MapPackage 只讀Mobile Geodatabase(.geodatabase)編輯.NETiOSAndroidQtJ
155、avaArcGIS RuntimemacOSAnalysis3DEditingMaps&DataRouting&GeocodingEngine:Runtime:編輯可編輯的數據源:個人地理數據庫文件地理數據庫企業級地理數據庫Shapefiles可編輯的內容:簡單的要素/要素類復雜對象(幾何網絡、拓撲等)數據庫的SchemaFeature ServicesSync-enabled GeodatabasesFeature CollectionsShapefilesGeoPackagesFileGDB/SDE(.mpk/mpkx)簡單的要素類FeatureTable.Add/Update/Delet
156、eFeatureAsync在線要素服務編輯ApplyEditsAsync編輯離線要素服務編輯GeodatabaseSyncTask三維.NETiOSAndroidQtJavaArcGIS RuntimemacOSAnalysis3DEditingMaps&DataRouting&GeocodingEngine:Runtime:ArcGlobe document(.3dd)ArcScene document(.sxd)Multipatch feature classesGlobeControlSceneControl3D WebScene Mobile Scene Package(100.5)S
157、cene Service Layer ArcGIS Scene Layer Packages(.slpk)高程影像服務或者本地柵格tpk API:SceneView,Scene,Surface,ArcGISSceneLayerDemo:二三維同步分析.NETiOSAndroidQtJavaArcGIS RuntimemacOSAnalysis3DEditingMaps&DataRouting&GeocodingEngine:Runtime:幾何:IRelationalOperatorITopologicalOperatorIProximityOperatorITransform2DGP工具調用
158、:gp工具gp服務分析幾何:GeometryEngineGP工具的調用:.gpk(.gpkx)離線 gp服務3D交互式分析:Viewshed,line of sight,distance measurementDemo:交互式分析路徑和地理編碼.NETiOSAndroidQtJavaArcGIS RuntimemacOSAnalysis3DEditingMaps&DataRouting&GeocodingEngine:Runtime:路徑查詢和地理編碼路徑查詢:基于網絡數據集進行路徑分析需要網絡分析擴展許可使用ArcObjects利用GP工具使用網絡分析服務地理編碼:基于地址定位器進行地理編碼
159、使用ArcObjects利用GP工具路徑查詢:基于網絡數據集通過Task指定分析類型可以打包到mmpk網絡分析服務地理編碼:基于地址定位器發布為服務打包為mmpk 指南針 圖例 比例尺 量測 Toc實用工具ToolKitDemo:ToolKithttps:/ Static Dynamic比例尺范圍空間參考性能提升Demo:Static和Dynamic部署的轉變ArcGIS Engine部署:打包Engine程序,安裝Engine軟件,授權Engine許可ArcGIS Runtime部署:免安裝,直接拷貝相應的文件,許可號寫在開發程序中ArcGIS Engine VS ArcGIS Runtim
160、eArcGISRuntimeEnvironment.SetLicense(licenseKey);ArcGISRuntimeEnvironment.Initialize()小結Engine:優點:可以實現ArcMap的大部分功能,包括操作復雜對象如拓撲,幾何網絡還可以專業級制圖缺點:只能32位,部署繁重,不支持矢量切片、三維場景、portal等Runtime:優點:Esri大力發展,64位,部署簡單,跨平臺,展示效果好,支持矢量切片、三維場景、操縱Portal、VR/AR等缺點:對于復雜對象和專業級制圖的支持稍顯不足小結:是否遷移主要看功能!學習資源Guide:https:/ Referenc
161、e(在線或離線):https:/ Code:https:/ 謝!ArcGIS 10.7 影像大數據分析能力及應用當前,影像大數據面臨的難題和挑戰ArcGIS影像大數據六個關鍵詞六大核心能力ArcGIS影像大數據使用方式目錄航天(衛星)多年來,我們這樣使用影像數據和應用數據獲取專題產品數據生產業務應用航空(飛機)低空(無人機)多種空間分辨率:30m15m1m0.5m多種波段:真彩色(RGB)近紅外遠紅外紫外線數據管理糾正:幾何糾正輻射糾正存儲:文件存儲分布式存儲查詢、檢索數據提取數據分發 地理國情數據產品 氣象數據產品 環境監測數據產品 作物長勢監測數據產品 遙感衛星中心 遙感院 農業遙感 自然
162、資源遙感當,影像數據量越來越大、種類越來越多、增長越來越快時我們面臨諸多難題:不同傳感器、不同分辨率、不同時期的數據如何管理如何快速、高效的進行影像數據管理、分析、應用?當前,影像大數據面臨的難題和挑戰影像數據管理影像分析應用影像管理:查詢效率低存儲冗余大服務方式單一影像分析任重道遠Image extentionArcGIS影像大數據發展歷程10.110.310.510.7Image extentionImage ServerImage Server2011201520172019From 10.5 ArcGIS has a new way to create and execute spat
163、ial analysismodels and image processing chains which leverage distributed storage and analytics服務器產品:ArcGIS for Server類型:Image service形式:GP服務器:image server類型:Image service形式:item專門致力于高效的處理、分析和傳播影像和柵格的服務能力 動態影像服務 可用于對大量影像、柵格和遙感數據進行服務發布、處理、分析和提取 柵格分析ArcGIS Image Server初識世界高程或者高分辨率衛星影像Landsat 8 或 Senti
164、nel-2 進行分布式柵格分析和分布式影像處理大規模影像管理、分發、處理、分析與信息挖掘Design&Run ModelsDesign&Run ModelsArcGIS 10.7影像大數據產品架構GdbFilesNew Web GIS Layers分布式柵格數據存儲WCSServicesWeb GIS Layers柵格分析和影像托管服務器Imagery&GIS DataArcGISServices模型分布執行結果存儲在分布式存儲中,并立即作為新的Web GIS圖層提供,這些圖層已針對進一步分析進行了優化分析結果作為新的Web圖層ArcGIS ProMap ViewerDevelopers&Sy
165、stem Integration用戶,分析師,研究人員ArcGIS影像大數據:六大關鍵詞、六大核心能力Raster DatasetRaster typeRaster FunctionRaster ProductMosaic DatasetImage Service六大關鍵詞Raster Dataset是指影像影像基礎信息的表達(理解:把tif文件直接拖拽到ArcMap中看到的效果)支持1N波段164bits 每波段Raster Dataset直接讀取影像文件,無需轉換1Raster type2Raster type 代表來自供應商的指定的傳感器型號的影像產品:定義了像素存儲和元數據規則定義了默
166、認的處理鏈定義了傳感器類型和參數Raster Function:處理影像數據的主要信息模型,能夠對輸入影像進行基于規則的計算和處理,并進行成果輸出。處理單景影像幾何校正(投影、裁剪、正射處理)輻射校正(波段計算、卷積過濾)可以創建復雜的柵格函數鏈Raster Function3Raster Product是一種主要的信息模型組件,可以使不同種類的Raster Type使用起來更方便為用戶提供了一種便捷的方法,來進行影像波段組合和函數處理鏈生成讓用戶從產品角度去思考應用Raster Product4Mosaic Dataset(鑲嵌數據集):是海量影像數據管理的主要方式影像數據管理(catalo
167、g、indexing、metadata、searching.)影像產品生成(鑲嵌、處理和分析)動態影像服務、可視化、分析影像數據快速獲取、和發布的工作流Mosiac Dataset5從1景、到數百景影像的發布和管理.Image Service(影像服務),是一種通過Web端獲取影像能力和影像信息的方法Image Service6完整的應用流程多源影像數據讀取I ImagemageServeServer r大規模數據管理(Mosiac Dataset)3D2D數據處理與分析D Desktop esktop ArcGIS ArcGIS ProPro共享發布分布式處理多端應用Raster TypeR
168、aster FunctionImage ServiceArcGIS影像,六大核心能力2、大規模影像管理能力3、影像產品生產能力1、分布式存儲能力支持4、柵格大數據分析能力5、Web端影像發布能力6、ArcGIS Excalibur應用能力一、分布式存儲支持能力日益增長的影像數據、歷年累積的影像數據分布式存儲支持能力存儲、管理、檢索、使用如測繪局的影像來源:1)基礎性地理國情監測數據;2)平臺節點推送影像;3)航空航天遙感影像獲取與統籌數字正射影像生產;4)第三次全國國土調查正射影像生產;5)國家1:5萬動態更新項目查詢分發效率低存儲冗余大服務方式單一原始航片原始衛片分幅正射影像整景糾正影像影像
169、控制點分布式存儲支持:分布式文件系統:HDFS云存儲:亞馬遜S3、阿里云OSS、華為云OBS分布式存儲連接ArcGIS Pro1、使用gp工具,創建云存儲連接2、連接云存儲、創建目錄3、導入數據到云存儲4、數據傳輸完成5、云存儲中數據,創建鑲嵌數據集分布式存儲連接Web端輸入連接信息注冊raster store注冊完成二、大規模影像管理能力ArcGIS Pro鑲嵌數據集影像服務圖像管理工作流影像管理多源衛星支持ArcGIS能夠管理和集成各種類型的數據源激光雷達LiDAR熱紅外影像全色影像多光譜影像雷達RADAR全動態視頻(FMV)航空遙感衛星遙感地面遙感多維數據 新增雷達衛星 哨兵一號(Rad
170、ar)C波段合成孔徑雷達 新增高分衛星 Worldview-4、GOES L1B,L2 增強Kompsat-3、Sentinel-2 新增telEOS-1、SkySat、ADS40-LV1ArcGIS采用鑲嵌數據集進行影像數據管理快速構建影像庫文件+數據庫管理模式自動抽取元數據信息靈活自定義處理流程 解決的問題:多種數據源(航片、衛片、Web服務)多種數據格式不斷增加的波段個數和像元位數極大規模的影像數據ArcGIS DesktopMosaicDataset大規模影像數據大規模影像數據Demo:遙感影像云管平臺基于鑲嵌數據集的image service發布動態更新影像調用工具-AddRaste
171、rsToMosaicDatasetImage service更新成功影像數據動態影像更新流程Demo:基于鑲嵌數據集的動態影像更新從大規模數據管理、共享到處理分析、信息提取 單機處理 分布式處理 本地存儲 云存儲 更靈活的模型定制三、柵格大數據分布式處理能力更豐富的更豐富的 數數據據 類型類型挖掘信息產品動態影像模型地理處理模型基于服務器的分布式柵格處理和分布式柵格存儲Web GIS 圖層即時處理強有力的分析分布式分析與可選的分布式存儲,以實現更高的可擴展性豐富的地理信息模型分布式實現了單個機器無法勝任的分析任務ArcGIS影像大數據分析能力ArcGIS Pro50Raster Functio
172、nsImage Analyst60additional Raster FunctionsSpatial Analyst15 additional Raster FunctionsMathCalculatorAbsDivideExpExp10Exp2FloatIntLn,Log10 Log2MinusModNegatePlusPowerRound DownRound UpSquareSquare RootTimesACosACosHASinASinHATanATan2ATanHCosCosHSinSinHTanTanHConSet NullBitwiseAndLeft ShiftNotOrRig
173、ht ShiftXorBooleanAndNotOrXorEqual ToGreater ThanGreater Than EqualIs Null Less ThanLess Than EqualNot EqualAnalysis:Image Segmentation&ClassificationSegmentation(Mean Shift)Training(ISO,SVM,ML,Random trees)Supervised ClassificationAnalysis:Overlay Weighted SumStatistics:Zonal StatisticsCell Statist
174、icsFocal Statistics*Data Management&ConversionRaster to VectorVector to RasterColormapColormap To RGBComplexGrayscaleRemap/Reclass Spectral ConversionUnit Conversion Vector FieldLAS to RasterLAS Dataset to RasterClip CompositeExtract BandsMaskMosaic RastersRasterize FeaturesReprojectRegion Group*Loo
175、kup*InterpolationInterpolate Irregular Data-Nearest Neighbor-IDW-EBKSwathCorrectionApparent ReflectanceGeometric CorrectionSpeckle Filtering(Lee,Frost,Kuan)Thermal noiseRadiometric CalibrationVisualization&AppearanceContrast and Brightness Convolution Pansharpening Resample Statistics and Histogram
176、StretchSurface Generation&AnalysisAspect Curvature Elevation Void Fill Hillshade Shaded Relief SlopeContour Analysis:Band Math&IndicesNDVI/NDVI Colorized SAVI/MSAVI/TSAVIGEMIGVI(Landsat TM)PVITasseled Cap(Kauth-Thomas)Binary Thresholding Heat IndexWind ChillStatisticsArgStatisticsPythonCustom Algori
177、thmsMultiband MathArithmetic Band Arithmetic Analysis:Overlay Weighted OverlayAnalysis:Distance&DensityEuclidean Distance Cost DistanceLeast Cost PathKernel DensityPath Allocation*Path Distance*Corridor*Path Distance backlink*Analysis:HydrologyFillFlow AccumulationFlow DirectionFlow DistanceStream L
178、inkWatershedData ManagementNibbleSurface Generation&AnalysisViewshed*Released in Pro 2.3Raster Functions 1)ArcGIS Pro,柵格函數創建模型建 模Portal中的柵格函數編輯器 類似于桌面的Model Builder的用戶體驗 所見即所得,在線創建柵格函數可視化處理流程 可以保存和共享柵格函數模板 計算結果以Image Layer形式存儲 需要柵格分析擴展2)在線柵格函數模型創建DEM數據坡度提取及柵格轉矢量分析DEM數據坡度計算(slope)重分類(remap)柵格轉矢量(rast
179、er to feature)坡度要素服務Demo:DEM數據坡度提取及柵格轉矢量分析影像產品生產ArcGIS強大的影像生產處理工具Drone2MapArcGIS ProOrtho MakerOrtho MappingDEMOrthoMosaic新建工程區域網平差生成正射產品 基于無人機、衛星以及數字和掃描的航空拍攝的原始影像生產正射級別的影像產品 鑲嵌正射產品 DSM/DTM 從立體相對中提取3D點云等ArcGIS Ortho Maker在Web端界面,使用上傳和處理無人機影像的正射糾正工作流無人機影像Ortho Makerdata store ArcGISImage ServerArcGIS
180、EnterpriseProducts(Web Image Lay)Demo:基于othomaker生成影像產品Web端影像發布:影像服務類型:影像collection(文件夾目錄)鑲嵌數據集 上傳形式:直接上傳 配置連接四、Web端影像發布能力ArcGIS 10.7中,發布Image layer兩種方式Web端發布桌面端發布單景影像發布途徑鑲嵌數據集數據類型Web端影像發布能力(from云存儲)圖像解譯動態圖像處理圖像測量五、ArcGIS Excalibur應用Web端影像管理輕應用正射和傾斜圖像拼接影像圖層創建和編輯圖像解譯工作流,圖像識別ArcGIS othomaker+Excalibur
181、影像數據生產到應用ArcGIS影像大數據使用方式ArcGIS 影像大數據,使用方式ArcGIS ProMap ViewPython APIPython Notebooks執行柵格分析即拿即用工具執行柵格分析通過服務調用REST API:https:/ API:https:/ API環境搭建GdbArcGIS服務服務文件影像和GIS數據ArcGIS ServerImage Server 分布式柵格數據存儲ArcGISDataStore托管服務器柵格分析Image Server 影像托管服務器分布式柵格數據存儲ArcGIS綜合影像平臺通過對多種來源的海量影像和柵格進行分析,從中獲得可執行的信息通過
182、集成各種桌面、移動和web應用程序來訪問影像和分析,這些應用程序具有交互性、信息性和吸引力。管理和處理不同來源的影像數據,并得到影像產品,將影像數據有效地傳播給需要訪問的人Desktop+ImageServerDesktop+ImageServerDesktop,WebAPIs,RunTime如有ArcGIS空間大數據相關需求歡迎與我聯系,共同交流、共同探討個人微信號個人公眾號空間大數據可視化與分析最佳實踐o前言o空間分析實踐o可視化實踐o總結目錄前言o 熟悉軟件/語言o 空間思維o 統計基礎o 數據可視化基礎知識/目的o 信息挖掘o 基于可視化的信息交流基礎軟件/語言空間分析/可視化維度二維
183、空間分析/可視化維度二維+時間空間分析/可視化維度時空立方體圖片來源:https:/ 位置位置+數據數據o NYC city taxi示例信息提取和展示的重要性o主要內容點數據直接展示時空立方體聚類結果展示時空趨勢結果展示o實現ArcGIS ProGeoanalytics serverDemo 紐約出租車空間分析實踐o可以實現但不局限于了解事件分布(xy)了解屬性pattern了解事情發展趨勢空間分析了解你的武器 The science of whereo 空間分析包含并不局限于空間統計機器學習o作用實現目標提升項目產出減少開支避免開支提升效率和產出提升收益確保收益保護員工和市民提高客戶服務滿
184、意度o確定待解決的問題o了解數據以及背景o選擇方法o計算o解析空間分析結果測試統計上顯著性質疑結果o展示結果結果可視化一般空間分析流程o數據矢量空間數據=幾何+屬性o背景事件發生范圍問題分析的規模 e.g.,街區 vs 城市確認要素空間關系o為什么要了解是否能正確回答提出的問題分析結果的精度空間數據了解你的數據和背景分析工具和結果幾何關系以及屬性的簡單統計,e.g.,求和,平均值空間分析工具幾何關系以及屬性的復雜統計,e.g.,熱點分析空間統計工具機器學習空間統計工具ArcGIS Pro 熱點分析為例數據輸入計算字段空間屬性結果輸出空間關系距離方法o Getis-Ord Gi*熱點分析空間關系
185、概念o 封裝了科學算法Getis-Ord Gi*o 體現地理學第一定律科學背景o地理學第一定律o空間統計o空間關系空間統計/聚類算法 根據統計計算出判斷指數算法oGetis-Ord Gi*熱點分析判斷高值或者低值聚類的地方影響算法正確性的因子計算范圍/邊緣要素/要素總數小于30個oLocal Morans I聚類分析判斷是否聚類影響算法正確性的因子計算范圍/邊緣要素/要素總數小于30個oAnselin Local Morans I 異常值分析判斷聚類、異常值類型影響算法正確性的因子開箱即用的工具o熱點分析工具o聚類工具o聚類和異常值分析工具計算數據類型計算數據類型 結果說明結果說明優勢優勢缺點
186、缺點Moran I 連續型臨近要素的相似性一個統計值總結空間模型無法展示高值或者低值聚類Moran I 判斷聚類示例發現收入低的區域是否聚類,方便后續投放固定或者流動醫療資源Getis-Ord Gi*連續型高值或者低值的集中指出是否出現高值或者低值聚類最適合高值或者低值聚類的時候General G 熱點分析示例商業上 發現銷售額低的區域空間統計算法總結對比o反距離o反距離平房o距離范圍o無差別的區域o面鄰接o自定義空間權重空間統計空間關系和權重o空間統計計算過程中on-fly創建權重表o空統接受自定義空間權重o空間關系決定影響權重o空間關系跟數據背景掛鉤o空統計算要確定每個要素的“鄰居”o空統
187、計算要確定“鄰居”的影響程度默認選項默認選項熱點分析Getis-Ord Gi*計算式空間統計熱點分析公式空間權重(由空間關系決定)來源o確定每個要素的鄰居以及空間關系空間統計熱點分析公式權重 e.g.,面臨接36671782o 權重表格生成工具和順序生成空間權重將空間權重轉化成表格數據類型點類型數據面類型數據空間統計空間關系最佳實踐建議 考慮空間關系方法o反距離影響隨距離減小o反距離平方影響隨距離加速減少o距離范圍o無差別的區域o面鄰接兩個面共享一個邊界,則它們之間的空間交互將增加o 自定義權重示例流行疾病隨范圍遞減選舉城市vs農村空間統計空間關系最佳實踐建議 自定義空間權重o 考慮真實交通距
188、離零售緊急避難o 根據網絡數據集生成空間權重o空假設即數據是空間隨機分布的;根據計算出來的概率,來確定是否接受空假設;在假設的空間隨機分布中,每一個觀察值在任何地點發生的概率是相同的,并且現有的觀察值的位置也不會影響數據集中的其他觀察值。o基于統計結果可能發生的兩種錯誤類型:type-拒絕了空假設但是其是正確的type-沒有拒絕空假設但是其是錯誤的o錯誤風險等級:type type 因為拒絕了空假設,就說明我們發現了聚類,通常我們會進一步做調查;但是如果我們接受了空假設,也就意味著我們接受結果是空間完全隨機分布的,我們可能會中斷我們的研究??臻g統計減少風險o目的知道做決定的把握減少風險o驗證空
189、假設采樣數據是隨機分布查看結果的統計顯著性z-score p-value接受或者不接受空假設空間統計結果可靠性驗證Report結論基于z-score的值是2.478012893614102,高度聚合出現是隨機出現的概率小于5%o可視化結果可視化空間聚類簡單指數o提供指數判斷某一個要素屬性是否出現空間聚類生成一個report簡單指數空間統計類比理解其他工具/算法 二維o建??臻g變量關系探索出現空間聚類的原因多變量指數空間統計類比理解其他工具/算法 二維o探索時空趨勢空間統計類比理解其他工具/算法 時空立方體o網絡借貸數據o主要內容熱點分析普通最小二乘法(OLS)地理加權回歸分析(GWR)o 實現
190、ArcGIS ProDemo 網絡借貸利息地理分析實現分析聚類原因實現可視化空間聚類o空間統計工具查找熱點分析查找類似位置查找點聚類創建時空立方體一般線性回歸隨機森林分類和回歸空間統計實現矢量大數據服務器 Geoanalytics ServerWebGIS實現空間統計實現分布式計算巧用大數據工具做數據處理結果圖層直接可視化o矢量大數據服務器工具數據處理追加數據構建多變量網格計算密度聚合點空間分析實現矢量大數據服務器 Geoanalytics Server將空間分析搬上云端實現分布式計算可視化實踐將慢速的邏輯任務轉變為快速的感知任務探索數據解讀結果交流發現數據可視化目的/用途分布和頻率類別對比關
191、系和相關系數趨勢數據可視化支持空間分析分布和頻率來源:2019Esri 開發者大會o了解數據分布o總結和對比不同類別的數據總額類別對比來源:2019Esri 開發者大會o探索關系和趨勢關系和相關系數o可視化隨著距離或者時間產生的趨勢或者變化變化來源:2019Esri 開發者大會o背景越南戰爭o原始數據CSV100萬點數據100萬條投放炸彈地點o 最終結果請看空間數據可視化o實現ArcGIS Pro/ArcGISGeoanalyticsServer當一張地圖無法承載全部信息當一張地圖無法承載全部信息o 加載原數據無明顯空間信息當一張地圖無法承載全部信息o 加載原數據o變化點渲染顏色大小透明度無明
192、顯空間信息突出點密度當一張地圖無法承載全部信息o加載原數據o變化渲染顏色大小透明度o渲染感興趣區無明顯空間信息突出點密度突出感興趣區當一張地圖無法承載全部信息無明顯空間信息突出點密度突出感興趣區o加載原數據o變化渲染顏色大小透明度o渲染感興趣區當一張地圖無法承載全部信息無明顯空間信息突出點密度突出感興趣區添加地理信息o加載原數據o變化渲染顏色大小透明度o渲染感興趣區o添加地名當一張地圖無法承載全部信息無明顯空間信息突出點密度突出感興趣區添加地理信息補充信息o加載原數據o變化渲染顏色大小透明度o渲染感興趣區o添加地名o蜂窩聚合o補充圖表信息總結學會提出問題確定計算數據空間分析方法質疑結果空間數據
193、分析總結自己做好準備了解數據及其重點讓用戶做好準備提供故事背景提供視覺輔助生成好的可視化數據可視化總結o 在線學習資料https:/ 書籍鮮活的數據-數據可視化指南參考資料謝謝!ArcGIS實時大數據-GeoEvent Server1、實時數據流概述2、實時大數據接入和處理3、實時數據展示和挖掘分析4、基于GeoEvent Server快速創建實時GIS應用5、基于GeoEvent SDK的擴展開發6、總結目錄實時數據流概述實時流數據實時流數據實時流數據實時數據流數據實時數據飛機汽車人與動物衛星風暴動態目標動態目標離散發生離散發生犯罪事故事件社交媒體狀態變化狀態變化溫度濕度交通流量氣象監測環境
194、污染屬性變化屬性變化人口火災面積分布大小實時流數據有哪些類別位置變化,屬性變化屬性變化,位置不變社交平臺移動設備具備IP功能的設備傳感網條形碼RFID低功耗傳感器設備GPS終端攝像頭自定義終端制動器設備移動目標機械裝置氣壓裝置01020304如何對接類型繁多的實時數據?實時流數據應用面臨的問題如何高效分析、處理實時數據?如何高效展示、挖掘時空大數據?如何敏捷快速搭建實時應用?實時大數據接入和處理1.數據解析2.傳輸傳感設備廠商的自有標準關系數據庫主流消息服務器Web SockethttpTCPUDPJMS如何對接類型繁多的實時數據?GeoEvent Server,實時大數據持續接入和處理服務器
195、桌面瀏覽器端移動設備ArcGIS EnterpriseGeoEventServer實時和歷史要素聚合時空大數據存儲增強的地圖和要素服務流服務流服務實時要素應用場景資產監控車輛追蹤傳感器環境監測設備監控時間管理和監控ws:/im主要特色內置豐富的功能實時報警提醒屬性和空間的實時處理即拿即用內置Kafka,開箱即用的集群彈性與可擴展性Definition創建輸入連接器輸出連接器服務創建GeoEvent Server操作ArcGIS EnterpriseArcGIS ServerPortal for ArcGISDataStoreWeb adaptorImage serverGeoEventserv
196、er*Business Analyst ServerGeoAnalyticsserverGIS ServerArcGIS 產品體系Notebook ServerGeoEvent Server 組成輸出連接器Connector輸入連接器ConnectorGeoEvent ProcessorGeoEvent ProcessorInputsInputsGeoEvent ServicesGeoEvent ServicesOutputsOutputsGeoEvent Server-輸入/輸出連接器Receive RSSReceive text from a TCP SocketReceive text
197、from a UDP SocketReceive JSON on a REST endpointReceive Features on a REST endpointReceive JSON on a Web SocketReceive JSON on external Web Socketws:/http:/http:/ws:/Poll an ArcGIS Server for FeaturesPoll an external website for JSONhttp:/Watch a folder for new.csv filesWatch a folder for new.json f
198、iles.csv.jsonOut of the BoxEsriEsri GalleryGalleryTwitterTwitterInstagramInstagramVMFVMFCursorCursor-onon-TargetTargetCAPCAPTAIP(Trimble)TAIP(Trimble)NMEA 0183NMEA 0183RabbitMQRabbitMQApache Apache KafkaKafkaGeoMessageGeoMessageActiveMQActiveMQAzure Azure IoTIoT HubHubAmazon Amazon IoTIoT HubHubPart
199、ner GalleryPartner GalleryOSIsoftOSIsoftexactEarthexactEarthZonarZonarNetworkFleetNetworkFleetCompassLDECompassLDEValarmValarmHarrisHarrisGNIPGNIPGeofeediaGeofeediaASDI(FAA)ASDI(FAA)空間信息是實時數據中特別海量又極其重要的一類需具備接入、處理和分析空間大數據能力如何高效分析、處理實時數據?空間規則屬性規則兩大類實時流數據分析、處理GeoEvent Server:十余種空間分析算法GeoEvent Server:數十
200、種屬性處理規則過濾過濾Equal/Not EqualGreater/Less thanEXISTSISNULLMATHESINGreater/Less or EqualGeofence*處理處理Field EnricherField ReducerTrack Gap DetectorIncident DetectorField MapperNo OperationField CalculatorConvex Hull Creator處理處理Difference CreatorEnvelope CreatorBuffer CreatorGeoTaggerInterSectorProjectorS
201、implifierUnion CreatorSymmetric DifferenceTrack Idle DetectorEsri GalleryExtent EnricherField SplitterGeometryMotion Calculator GeoNamesReverse GeocoderWater SCADA屬性規則實時數據展示和挖掘數據高效存儲-分布式時空大數據存儲-云存儲實時大數據輸出和可視化-多種輸出途徑-聚合展示/離散要素展示實時通知提醒時空大數據挖掘分析實時大數據存儲、展示、分析桌面瀏覽器端移動設備ArcGIS EnterpriseGeoEventServer實時和歷
202、史要素聚合時空大數據存儲增強的地圖和要素服務流服務流服務實時要素imws:/Portal for ArcGISOperations DashboardWeb AppBuilder for ArcGISArcGIS ProInsights for ArcGISJS API多樣的展示方式PortalDashboardWABArcGIS ProJavaScript APIInsights基于GeoEvent Server快速創建實時GIS應用評估架構部署應用基于GeoEvent Server快速構建實時GIS應用 應用創建4步驟實時數據傳送頻率?整體數據量?單臺GeoEvent Server是否足夠
203、?是否需要集群?是否需要分布式存儲?實時數據使用的輸入、輸出協議和需要哪些擴展?是否需要擴展開發?團隊成員?可視化途徑?Stream Service?Feature Service?Map Service?Portal for ArcGIS?Operations Dashboard?Web AppBuilder for ArcGIS?JS API?報警輸出的渠道?短信?微信?郵件?微博?實時歷史數據是否需要挖掘分析?評估需求單臺機器 Web GIS GeoEvent Server適合:小數據量,小場景 內部自用,開發擴展測試 流服務的輸出 Portal for ArcGIS作為使用流服務的客戶
204、端架構設計3臺機器分布式部署 1臺Web GIS 1臺GeoEvent Server 1臺時空型ArcGIS Data Store適合:局域網,企業內部 小數據量,小場景 流服務的輸出、時空大數據存儲輸出 Portal for ArcGIS作為流服務和時空輸出的客戶端 Portal for ArcGIS作為實時歷史數據分析(常規tools)的客戶端架構設計時空型數據庫分布式部署 1臺Web GIS 1臺GeoEvent Server n臺時空型ArcGIS Data Store適合:企業級應用 高性能的實時數據寫入 時空大數據存儲輸出 Portal for ArcGIS作為時空輸出的客戶端 P
205、ortal for ArcGIS作為實時歷史數據分析(常規tools)的客戶端架構設計架構設計集群及分布式部署-1臺Web GIS-n臺GeoEvent Server-n臺時空型ArcGIS Data Store適合:-大型企業級應用-海量實時數據的接入、處理和輸出-高性能的實時數據寫入-時空大數據存儲輸出-Portal for ArcGIS作為時空輸出的客戶端-*Portal for ArcGIS作為實時歷史數據分析的客戶端(不推薦)架構設計大型企業級應用復雜的環境高效接入、處理、輸出和可視化實時歷史大數據挖掘(GeoAnalytics Server)集群ActiveMQActiveMQAc
206、tiveMQActiveMQ+GeoEventActiveMQ+GeoEventActiveMQ+GeoEventOracle數據庫一些常見的用戶架構集群ActiveMQActiveMQActiveMQActiveMQ+GeoEventActiveMQ+GeoEventActiveMQ+GeoEvent接收服務器數據庫服務器數據傳入如何同時接入和處理數以萬計的數據?如何輸出實時大數據?實時大數據GeoEventGeoEvent數據輸出GeoEvent數據庫服務器數據傳入分組三數據傳入分組二數據傳入分組一0代碼,配置式搭建案例欣賞智慧迪拜之D3智慧迪拜之D3-傳感器流程D3傳感器及系統數據可視化
207、服務ArcGIS IoT平臺應用和設備+Goevent ServerArcGIS Enterprise儀表盤桌面Web移動船舶監控系統基于GeoEvent SDK的擴展開發GeoEvent提供面向Java的開發包,各個組成部分均支持自定義GeoEvent Server的擴展自定義processors自定義connectors自定義connectors GeoEvent ProcessorGeoEvent ProcessorInputsInputsOutputsOutputsGeoEvent ServicesGeoEvent Services輸出連接器ArcGIS for Serverconne
208、ctGeoEventServer的構成Connector輸入連接器ConnectorsAdapterTransportGeoEventProcessingGeoEvent ProcessorGeoEvent DefinitionsRegisterFeaturesE-MailTransportByteListener擴展輸入連接器擴展輸出連接器Adapter數據格式轉換AdapterAdapter兩個流動Input(receive)Adapter(receive/adapter)Adapter(receive)Output(receive)GeoEventAwareByteListenerByt
209、eListenerGeoEventListenerByteListenerProcessor擴展總結TransportDefinitionBaseInboundTransportBase(OutboundTransportBase)TransportServiceBase AdapterDefinitionBaseInboundAdapterBase(OutboundAdapterBase)AdapterServiceBaseGeoEventProcessorDefinitionBaseGeoEventProcessorBaseGeoEventProcessorServiceBase不要忘不要
210、忘記配置文件配置文件1、對于調試的話,我們需要做以下步驟:2、停止Geoevent Processor服務(在服務管理器中操作)3、修改GeoEvent的配置文件(找到 Uncomment to enable remote debugging,去掉后面兩句話前面的“#”)4、在命令行中設置KARAF調試總結1、靈活的數據接入方式2、開放的SDK3、實時大數據的支持4、多種集成方式擴展總結ArcGIS矢量大數據解決方案-GeoAnalytics ServerEsri中國 成都分公司技術支持部 GeoAnalytics Server 簡介 GeoAnalytics Server 使用 GeoAna
211、lytics Server 功能拓展 GeoAnalytics Server 業務集成目錄GeoAnalytics Server簡介神化妖魔化常態化大數據發展歷程數據量大xxTBx億條矢量大數據-數據量、產生速度DATA規劃數據國土數據互聯網數據傳感器數據交通數據基礎地理信息數據矢量大數據-數據種類、數據來源Why 分布式計算?高性能物理機造價昂貴 單機性能發展的速度過慢分布式計算分布式計算SparkSparkSparkSpark大運算量的任務可以通過分布式計算縮短運行時間眾人拾柴火焰高眾人拾柴火焰高GIS部門面臨的困擾海量數據積累,積而不用?領導急不可耐,現在就要?系統毫無亮點,甲方不滿?為
212、什么會有GeoAnalytics Server?GeoAnalyticsServerGeoAnalytics Server產品組成GeoAnalyticsServer空間賦能GeoAnalytics Server產品定位桌面Web設備portalGIS 服務器Data Store數據存儲服務GeoEventServerImageServerGeoAnalyticsServerGIS Server Pro CityEngine Tracker Excalibur Indoor Urban LocateXTApps JavaScript API ArcGIS Runtime ArcGIS Pro
213、SDKSDKs&API矢量大數據實時大數據影像大數據全新用戶類型NotebookServer數據科學ArcGIS EnterpriseMonitor ArcGIS OnlineGeoAnalytics Server使用分析流程簡介PortalWeb GIS Layers文件或新的 Web GIS 圖層ArcGIS 管理的數據源管理的數據源Relational Data StoreSpatiotemporalData StoreServer 集群集群FilesFilesBig Data File SharesEnterpriseData StoresBig Data Stores用戶管理的數據源
214、用戶管理的數據源ProProPortalPortalInsightsInsightsPythonPython使用GA分析涉及到哪些問題?GA分布式空間分析如何調用支持輸入類型分析工具使用支持輸出類型可視化ArcGIS客戶端調用:代碼調用:如何調用ArcGIS ProPortal MapViewerArcGIS Rest APIArcGIS API for PythonPortal NotebookArcPy數據源:支持輸入類型FilesFiles文件共享HDFSHive Metastore云存儲托管要素圖層分隔文件ShapefileParquet文件ORC文件.csv.tsv.txt.shp.
215、gz.parquet.orc.snappy.parquet文件型輸入格式:工具包括哪些區域內統計長度、面積統計按字段統計空間連接按范圍統計匯總數據工具集選址查找滿足條件的點集地理編碼查找位置工具集豐富數據探究特性數據豐富工具集計算密度熱點分析點聚類分析分類與回歸線性回歸分析模式工具集緩沖區近鄰分析鄰近分析工具集融合合并疊加裁剪復制到datastore字段計算管理數據工具集支持輸出類型輸出類型:FilesFiles文件共享HDFS云存儲托管要素圖層分隔文件ShapefileParquet文件ORC文件.csv.tsv.txt.shp.gz.parquet.orc.snappy.parquet文件
216、型輸出格式:以文件形式輸出分析結果ArcGIS可視化產品:Portal MapViewerPortal SceneViewerArcGIS ProInsightsWeb端自定義可視化效果:ArcGIS API for JavaScriptEChartsThree.js可視化呈現ArcGIS ProPortal MapViewer從出租車上下客熱點中能得到什么:了解城市熱點以及城市發展方向了解交通需求,地鐵線路規劃公交站點布置,線路車輛分配1.4 萬輛出租車軌跡數據(脫密后)格式:成都市出租車上下客位置熱點分析某出租車軌跡數據載客狀態變化:成都市出租車上下客位置熱點分析0 0 0 0 1 1 1
217、 1 1 1 1 0 0 上客點位下客點位($feature.state$track.field“state”.history(-2)0)Hive中數據表的定義以及數據的導入:成都市出租車上下客位置熱點分析GeoAnalytics Server中數據注冊成都市出租車上下客位置熱點分析成都市出租車上下客位置熱點分析全天最火熱的區域:春熙路周邊(市中心)時尚之都晚上最火熱區域:春熙路周邊(市中心)休閑之都居高不下的區域:火車北站、雙流機場旅游之都全天第二熱點區域:高新南區城市中心向南偏移得到的結論以Shapefile格式輸出到HDFS或文件共享GeoAnalytics Server功能拓展GA當中
218、缺少我想要的工具?RunPythonScript簡單的測試汶川地震成因青藏高原向北和向南運動對龍門山構造帶形成的擠壓構造示意圖1898年至2011年全球地震震源中心分布地震震源中心分布要素服務K均值算法進行地震震源中心聚類#pyspark code#導入所需模塊from pyspark.ml.feature import VectorAssemblerfrom pyspark.ml.clustering import KMeans#根據已發布的地震點要素服務構建地震分布數據集earthquakes_layer_url=https:/ 數據入庫前的預處理:匯總、編輯、過濾 Spark空間分析工具
219、拓展:機器學習算法 GA工具與pyspark自定義拓展工具連接極強的拓展極強的拓展能力能力!RunPythonScriptGeoAnalytics Server業務集成GeoAnalytics Server 業務集成ArcGIS Rest API使用流程2.執行GA分析 訪問路徑:http:/AggregatePoints/submitJob?token=參數:返回結果:jobId點聚合分析3.分析結果獲取 訪問路徑:http:/AggregatePoints/jobs/?token=返回結果:要素服務地址任務執行狀態獲取4.執行其他操作訪問路徑:http:/SummarizeAttribut
220、es/submitJob?token=參數:范圍內屬性匯總分析1.獲取執行權限 訪問路徑:http:/sharing/rest/generateToken 參數:用戶名、密碼、類型 返回結果:token令牌身份驗證數據量:3000萬面要素模擬國土地類圖斑數據按指定范圍提取傳統ArcMap處理,出現假死狀態,無法完成提取硬件情況:節點數:5每節點vCPU數:16核每節點內存:32G通過Rest API調用疊加分析分布式任務GA+時空型DataStore實現毫秒級統計前端快速顯示與動態渲染動態感知總結RunPythonScriptPyspark+GAToolsArcGIS Rest APIArcG
221、IS Python API秒級分析毫秒級響應多端調用工具豐富輸入、輸出方式多樣簡單易用強大高效輕松拓展方便集成ENVI深度學習模塊應用與開發主要內容正式發布工具和參數應用案例精度分析開發技術與 ENVI Modeler與 ENVI Services EngineENVIDeepLearningENVI Deep Learning 正式發布ENVI Deep Learning 介紹 Harris(ENVI原廠商)擁有多年深度學習解決方案的實施經驗?;?TensorFlow 框架開發的遙感圖像分類和目標識別工具。算法成熟,界面友好,操作便捷。引導式深入學習工作流程跨行業的專家解決方案4月18日V
222、1.0 正式發布ENVI Deep Learning 特點與傳統圖像處理算法相比,ENVI基于光譜和空間的深度學習可以更好地解決復雜問題。用戶完全可以在ENVI中完成深度學習應用,無需額外編程。ENVI提供對數據、圖像、矢量等文件的完善支持,有助于完成高級深度學習分析。ENVI深入學習工作流程使用戶可以花費更多時間用于分析結果,而不是編程和配置各種庫。ENVI Deep Learning 使用創建樣本創建模型訓練模型圖像分類Built on TensorFlowTensorFlow眾包的建筑物標簽利用 ENVI Deep Learning發現新增建筑ENVI Deep Learning 工具和
223、參數模塊安裝 需要單獨安裝:envideeplearningXX-win.exeenvideeplearningXX-linux.tar.gz 支持 Windows、Linux 操作系統自助申請試用: Learning/Deep Learning Guide Map訓練新的模型利用已訓練模型進行目標提取重新訓練模型 工具菜單:查看模型元數據信息自動檢測硬件信息(GPU)CUDA-enabled GPU cardshttps:/ Build Label Raster from ROI利用 ROI 創建標簽圖像 Build Label Raster from Classification利用 RO
224、I 創建標簽圖像 Train TensorFlow Mask Model模型訓練 TensorFlow Mask Classification目標提取模型參數模型初始化參數 Patch Size:切片大小此值與GPU顯存有關值越大,效率越高,對顯存要求越高切片大小不能大于標簽圖像行列數 Number of Bands:波段個數支持多波段數據模型參數模型訓練參數 Number of Epochs:周期數,建議在 16 到 32 之間 Number of Patches per Epoch:每個周期訓練的切片數 此值一般在 200 到 1000 之間 訓練數據集數量越少,設置此值越小 Number
225、 of Patches per Batch:一次迭代使用的切片數 Batch 是指一次迭代使用的一組切片 如果為空,ENVI 將自動確定合適的值 Patch Sampling Rate:切片采樣比率 當特征稀疏時,增加該值可能會有所幫助 對于較小的切片大小,增加此參數模型參數模型訓練參數 Solid Distance:固定距離(單位像素)對于寬度一致的線性特征(如道路、道路中心線和運輸集裝箱)或尺寸一致的緊湊型特征(汽車和停車標志),建議定義該參數。Blur Distance:模糊距離(單位像素)深度學習算法很難學習諸如建筑物等特征的銳利邊緣。模糊邊緣,并在訓練過程中減少模糊距離可以幫助模型逐
226、漸聚焦于特征。模糊距離最大值必須小于70。模型參數模型訓練參數 Class Weight一般來說,為稀疏訓練集設置最大值。最大值有效范圍在 0.0 和 6.0 之間。Loss Weight參數可用于偏差損失函數(bias the loss function),以更加注重正確識別特征像素,而不是識別背景像素。此參數在特征目標稀疏分布或者沒有標記所有特征時很有用。值為0表示模型應同等對待特征和背景像素。增加Loss Weight參數會使損失函數偏向于尋找特征像素。此參數值的有效范圍在 0 到 3.0 之間。ENVI Deep Learning 應用案例主要內容建筑物蔬菜大棚人造地物倒塌建筑物特殊符
227、號數據源預處理樣本訓練結果效率精度衛片建筑物提取基本信息 數據源:3 景 SuperView-1 影像全色分辨率 0.5 米,多光譜分辨率 2.0 米 預處理:正射校正 圖像融合 圖像鑲嵌中國國產衛星支持工具批量正射校正工具批量圖像融合工具(GS算法)Raster Mosaic Fast 快速拼接工具 數據量:鑲嵌結果 24.2 GB有效覆蓋面積 520 平方公里衛片建筑物提取樣本選擇 圖像裁剪衛片建筑物提取樣本選擇 樣本來源:OpenStreetMap+手繪矢量OpenStreetMap File Open World Data Download OpenStreetMap Vectors黃
228、色為下載矢量:259條綠色為手繪矢量:557條衛片建筑物提取創建標簽圖像 可以由 ROI 或 分類圖像 創建標簽圖像/Deep Learning/Build Label Raster from Classification/Deep Learning/Build Label Raster from ROI 所以需要將矢量轉換為ROI,方法如右圖:衛片建筑物提取訓練模型 Train TensorFlow Mask M衛片建筑物提取目標提取/Deep Learning/TensorFlow Mask Classification提取結果為灰度圖像,叫做 Class Activation Image
229、/Map像元值越大,表示屬于目標的概率越大 結果后處理:密度分割 或Class Activation to Classification/Pixel ROI/Polygon ROI衛片建筑物提取結果展示衛片建筑物提取效率對比筆記本DELL 7520ThinkPad T440p硬件配置CPUi7-7700HQi7-4710MQ內存64GB16GB硬盤SSDSSD顯卡NVIDIA Quadro M22004GB渣,不重要,純CPU運算效率對比模型訓練 3小時17小時目標提取 1小時50分鐘16小時進度只到2/3,放棄航片建筑物提取基本信息 數據源:無人機DOM成果 范圍:四川省成都市某豪華別墅區
230、數據量:1.42GB航片建筑物提取樣本選擇航片建筑物提取結果展示 模型訓練參數全部默認航片建筑物提取效率設備硬件配置CPUIntel(R)Core(TM)i7-7820HQ內存32GB硬盤NVMe Samsung SSD 960顯卡NVIDIA Quadro M2200,4GB耗時情況模型訓練3小時目標提取40分鐘蔬菜大棚提取基本信息 數據源:高分一號融合結果,空間分辨率為2米 波段數:3個,紅綠藍 數據量:3GB 覆蓋范圍:山東省壽光市蔬菜大棚提取訓練樣本 訓練樣本共786個。裁減結果圖像行列數:1392*蔬菜大棚提取訓練模型 Solid Distance:5 Blur Distance:1
231、,蔬菜大棚提取效率對比筆記本DELL 7520ThinkPad T440p硬件配置CPUi7-7700HQi7-4710MQ內存64GB16GB硬盤SSDSSD顯卡NVIDIA Quadro M22004GB渣,不重要,純CPU運算效率對比模型訓練 1小時50分鐘16小時目標提取 30分鐘10小時人造地物提取數據情況 從USGS(https:/earthexplorer.usgs.gov)下載了16幅相鄰的國家農業圖像計劃(National Agriculture Imagery Program,NAIP)圖像。這些是2016年10月拍攝的德克薩斯州圣安東尼奧北部一個地區的1米分辨率4波段圖像
232、。提取所有表明人類發展的地物類型包含道路、建筑物和其他特征Jason Wolfe from H人造地物提取樣本選擇 藍色/近紅外波段比值圖像 5%線性拉伸 ROI工具提取DN值大于200的區域 輸出為分類圖像 手動編輯分類圖像(刪除錯提,增加漏提)Jason Wolfe from Harris樣本選擇整個過程只花了大約2020分鐘分鐘。此外,它還有另一個好處,那就是定義了目標形狀特征目標形狀特征,而不僅僅是標記目標位置。人造地物提取結果展示8GB的顯卡,訓練耗時30分鐘,目標提取耗時幾分鐘Jason Wolfe from H倒塌建筑物提取 2010年海地地震 災后倒塌建筑物提取標記樣本柵格結果
233、矢量結果訓練參數尋找特定符號尋找特定符號標記樣本尋找特定符號結果展示ENVI Deep Learning 精度分析精度分析 Loss:一個無量綱數值。用于表示模型與驗證訓練數據的匹配程度。0表示完全匹配。值越大,匹配越不準確。Precision:也被稱為用戶精度(user accuracy)。表示正確分類的像元數占分類結果該類別像元數的比例。Recall:也被稱為生產者精度(producer accuracy)。表示正確分類的像元數占該類別實際像元數的比例。F1:是 Precision 和 Recall 的調和平均值,計算公式如下:精度可視化ENVI Deep Learning 開發技術API
234、sENVI Deep Learning 與 ENVI M自帶示例(隨機生成訓練參數)我的嘗試全要素分類 GF1 WFV 16米 北京市 1.06GB林地建筑用地水體耕地休耕地裸地靈活的訓練樣本選擇方法 林地:NDVI ROI工具提取大于0.4 輸出分類結果 裸地:NDVI ROI工具提取小于0.2 輸出分類結果 手動編輯去除建筑物 水體:NDWI ROI工具提取大于0.2 輸出分類結果 手動編輯去掉陰影,增加河流等水體 建筑物:NDVI 靈活的訓練樣本選擇方法 休耕地ENVI Modeler批量創建標簽圖像 重要提示:密度分割輸出分類圖像為uint,需要轉換為byte,才能用于創建標簽圖像(下
235、圖中紅框節點做了如上處理)???ROI工具導出的分類圖為byte類型,建議使用此工具。批量訓練模型并全要素分類 為了完成右側流程,編寫了兩個ENVITaskENVIRaster to Label Raster 標簽圖像:將普通的 ENVIRaster 轉換為 LabelRaster 才能用于訓練,坑Classify Rule Raster 將每個類別 CAM 圖像波段組合,對其進行規則分類 將像素歸類為 CAM 圖像中概率最大的類別總結樣本選擇方法 手繪ROI/矢量 點、線、面 下載 OpenStreetMap 矢量 手動編輯 光譜指數(NDVI、SAVI、NDWI等)閾值提取 手動編輯分類圖
236、 二維散點圖 輸出分類圖 手動編輯 其他工具:Adaptive Coherence Estimator、Matched Filter、Principal Component Analysis、Dimensionality ExpansionENVI Deep Learning 與 ENVI Services EENVI Services Engine 技術特點 采用 node.js 和 redis 內存數據庫技術 基于 SOA、模塊化架構ENVI Service EngineIDL Service EngineSARscape Service EngineDeep Learning Servi
237、ce Engine(正式發布)Photogrammetry Engine(未來)OpenAI Engine(未來)靈活和動態的空間配置分布式共享式云 彈性伸縮集群環境中可以根據需求動態添加和刪除節點Geospatial ServicesGeospatial ServicesFrameworkFrameworkRequest HandlerParameter MapperJob ManagerEnginesWorkspace ManagerRoute M深度學習服務開發總結V1.0 正式發布基于 TensorFlow 框架,支持多光譜提取建筑物、蔬菜大棚、特殊符號等靈活的訓練樣本選擇方法提供完善
238、的開發接口與 ENVI Modeler 結合并行運行在 GPU 服務器中ENVIDeepLearning謝謝!遙感大數據分塊處理深度解析為什么有進度條?為什么要分塊?為什么需要分塊?如何讓程序更高效?0.032s0.001s如何讓程序更高效?0.3220s0.001s 盡量避免數組元素循環 盡量使用IDL/ENVI已有函數如何分塊?如何分塊影像存儲順序 按波段順序記錄遙感影像數據的格式,每個波段的圖像數據文件單獨形成一個影像文件。每個影像中的數據文件按照其掃描成像時的次序以行為一個記錄順序存放,存放完第一波段,再存放第二波段,一直到所有波段數據存放完為止。BSQNS,NL,NB如何分塊影像存儲
239、順序 按照波段順序交叉排列的遙感數據格式,BIL格式存儲的圖像數據文件由一景中的N個波段影像數據組成。每一個記錄為一個波段的一條掃描線,掃描線的排列順序是按波段順序交叉排列的。BILNS,NB,NL如何分塊影像存儲順序 按照像元順序記錄圖像數據,即在一行中按每個像元的波段順序排列,各波段數據間交叉記錄。BIPNB,NS,NL如何分塊-Raster.GetData()1024,10241024,2,10242,100,100如何分塊-Raster.CreateTileIterator()Spatial如何分塊-Raster.CreateTileIterator()如何分塊-Raster.Crea
240、teTileIterator()Spectral如何分塊-Raster.CreateTileIterator()應用舉例基于空間的分塊-影像定標基于空間的分塊-空間濾波基于空間的分塊-點取值基于空間的分塊-點取值 矢量點坐標轉柵格坐標 柵格坐標轉文件坐標,獲取矢量點所在的行列,設為x,y 設取值窗口為3,則sub_rect=x-1,y-1,x+1,y+1 取值Raster.GetData(sub_rect=sub_rect)輸出基于空間的分塊-抽樣1024,1024,4102,102,4GF-2 GS融合 5.3GBGF-2 GS融合快試圖 680kb基于空間的分塊-抽樣3.6s基于空間的分塊
241、-植被指數計算基于光譜的分塊-Savitzky-Golay濾波綜合應用-k最近鄰定量估測 k最近鄰法(k-Nearest Neighbor,k-NN)不依賴于特定的函數分布(Franco-Lopez et al.,2001)融合各種空間數據,有效估算缺失值(Crookston et al.,2008)能維持參數之間的自然依賴結構,保持參數之間的一致性利用k個樣點進行估計能夠減小由于影像噪聲及樣點坐標錯位而引起的隨機變化綜合應用-k最近鄰定量估測 基于空間分塊獲取樣本數據 基于光譜分塊反演區域結果總結 大數據分塊處理三部曲分塊-分塊獲取數據和處理-分塊寫出 基于空間的分塊影像定標卷積運算數據抽樣
242、光譜指數運算 基于光譜的分塊Savitzky-Golay濾波 綜合應用k最近鄰定量估測謝謝!祝大家工作順利2019 Esri China Developer Summit Welcome 2019Esri空間信息技術開發者大會遙感大數據時代下的遙感技術探討與實踐遙感影像數據的“大”“三高”品質空間分辨率高光譜分辨率高時間分辨率高3月20號3月22號大幅寬同時具備多種特性灰度分辨率典型代表:高分六號“三高”+寬框幅 2018年6月2日發射,2019年3月21日正式投入使用,設計壽命8年 高分辨、寬覆蓋、多譜段、高動態范圍、大姿態角機動PMS主要參數 空間分辨率:全色2m、多光譜8m 幅寬:95k
243、m 多光譜譜段:藍/綠/紅/近紅外 單景影像文件5G,融合后WFV主要參數 空間分辨率:16m 幅寬:280 x860km 多光譜譜段:藍/綠/紅/近紅外+紫外/紅邊4個波段 單景影像文件13.5G未來衛星對地觀測“星座”超高時間分辨率+高空間分辨率 北京零重空間&“靈鵲”遙感星座130+顆衛星 成都星時代宇航&“AI衛星”星座192顆衛星“陜西一號”衛星星座計劃公布陜西一號”衛星星座計劃將分三期完成,其中星座計劃一期由72顆低軌道國際標準立方星組成,逐步建成256顆衛星的星座。首批衛星將于2019年發射。遙感圖像產品 技術路線:攝影測量的思路,處理衛星遙感圖像,常被稱為測繪產品生產、DOM生
244、產等。關鍵字:空三計算、區域網平差、正射校正、勻色等。產品特點:RGB三波段真彩色、無縫鑲嵌產品等。應用:GIS系統底圖、地理要素提取參考底圖等。遙感底圖產品 技術路線:遵守遙感科學進行預處理處理,盡量保留光譜信息。關鍵字:輻射定標、大氣校正、圖像配準、幾何校正、圖像分類、光譜指數等 產品特點:單波段索引色圖像、單波段灰度圖像、專題圖等 應用:遙感各領域應用遙感專題產品遙感底圖產品真彩色正射影像圖無縫鑲嵌遙感圖像地理要素提取底圖“無光譜”信息的底圖產品數據鑲嵌數據鑲嵌數據裁剪數據裁剪特征差異閾值分割分類后處理災前數據災后數據結果輸出NDWI光譜角基于Sentinel-2 L1C數據的洪水監測利
245、用目視解譯方法提取洪水區域2018年山東壽光洪水遙感監測遙感專題產品NDVI光譜指數圖像海水溫度圖像遙感圖像分類圖作物長勢與病蟲害監測結果水質參數反演 數據分發單位處理 幾何校正、標準化處理 終端用戶處理 幾何、大氣、融合、鑲嵌、裁剪遙感影像預處理桌面級系統處理2個ESE大型項目5個ESE原型系統改造和部署2個遙感工程項目企業級系統處理地面接收站處理AI衛星-星上處理面對遙感大數據,桌面級遙感軟件利器:流程化,批處理 用戶:某國土局 需求:基于高分一號、高分二號得到RGB、8bit的真彩色圖像。要點:每隔幾天需要生產一次 處理流程:全色/多光譜正射校正圖像融合8bit拉伸真彩色增強輸出TIF格
246、式面對遙感大數據,桌面級遙感軟件利器:流程化,批處理 解決方案:1.利用ENVI Modeler構建流程批處理工具2.ENVI Modeler中生成ENVI擴展工具地面接收站/數據運營單位處理:哨兵-2標準化產品 Level-1C:經正射校正和亞像元級幾何精校正后的大氣表觀反射率產品。原幅寬290km-標準化100kmx100km類似:Landsat、Planet等標準產品數據AI衛星-星上處理 應用模式:直接在衛星上完成數據預處理 帶來好處 極大提高數據傳輸帶寬利用率 終極目標:終端準實時應用影像數據正在開展此類衛星研制的單位 北京智星空間 成都星時代宇航遙感圖像信息提取 依據解譯標志、經驗
247、等識別地物 精度高,工作量大,只能獲取空間特征信息人工目視解譯 在計算機自動分類基礎上,人工修繕 精度高,工作量較大半自動、半人工 依據圖像分類算法自動識別地物 工作量相對少,精度相對較低計算機自動分類ENVI遙感圖像信息提取方案人工解譯經驗知識專家知識決策樹分類經驗總結CART算法C5.0算法面向對象圖像分類監督分類規則決策樹分類目視解譯光譜自動分類灰度分割非監督分類傳統監督分類平行六面體最大似然最小距離馬氏距離傳統基于像素的圖像分類機器學習支持向量機神經網絡隨機森林深度學習基于TensorFlow的Deep Learning光譜分析地物識別混合像元分解定量反演SoftMax變化檢測圖像比較
248、法特征變化光譜變化圖像變換分類后比較面向行業/領域信息提取工具船只提取、植被反演、水深反演、植株提取面對遙感大數據,桌面級遙感軟件也能刷存在感 用戶:某農業公司 需求:基于4cm無人機圖像,提取果樹植株分布信息。前期用戶方法:人工目視解譯 大約15株/分鐘面對遙感大數據,桌面級遙感軟件也能刷存在感 我們的解決方案:ENVI精準農業工具包-作物計數(Count Crops)工具準備影像和果園地塊數據編寫批處理程序運行工具普通ThankPADT440P,16G內存,耗時16.5個小時,處理了1103個地塊,提取得到389706顆果樹。人工后期編輯類似的應用:棉花出苗、煙葉株數 棉花監測:棉花出苗-
249、棉花長勢-棉花估產 煙草補貼:以煙草株數作為補貼標準。遙感大數據硬核利器之:深度學習ENVI Deep Learning:基于深度學習框架(TensorFlow)開發的遙感圖像分類和目標識別工具。數據:3景Supview-1 分辨率:0.5米 波段:4波段 范圍:15x35KM,預處理 正射校正 圖像融合 圖像鑲嵌 42961x75743,24G數據量 樣本(子區5324x5781)下載OpenStreetMap矢量 手動繪制補充樣本 816個建筑物樣本1、下載OpenStreetMap矢量作為樣本2、手動繪制補充樣本提取建筑物ENVI深度學習工具應用于建筑物提取筆記本筆記本DELL 7520
250、硬件配置硬件配置CPUi7-7700HQ內存64GB硬盤SSD顯卡NVIDIA Quadro M2200,4GB處理時間處理時間模型訓練3小時目標提取1小時50分鐘樣本驗證精度:74%F1=0.71遙感大數據硬核利器之:企業級IT技術 云計算、集群等高性能、可伸縮的計算機環境 CPU高性能計算,GPU高性能計算 基于云/分布式對象存儲的遙感影像儲存與共享解決方案 扁平化的組織結構數量不會影響檢索效率 Restful接口便于共享 非常適用非結構化數據存儲(圖像)高效寫入 成本低,普通X86服務器即可滿足 基于企業級架構的遙感軟件平臺 Restful接口 并行處理機制 在線處理 阿里云OSS 華為
251、OBSXSKY EOSOpenStack Swift 亞馬遜AWS S3 曙光 ParaStorEngine數據層應用層功能服務層預處理Web Services高性能影像在線處理標準影像L1、L2影像預處理成果影像專題產品在線按需遙感應用應用門戶其他數據(DEM、參考影像)基礎支撐層儲存計算網絡系統軟件基礎設施,可以選擇高性能單個服務器、集群計算機、云計算等數據源,可以選擇影像目錄、在線影像服務、云存儲服務等標準RESTful的遙感影像功能服務構建應用APP,主流是B/S架構的Web應用程序定量反演空間特征提取目標檢測與識別圖像分類光譜分析圖像動態檢測其他遙感功能模型庫算法庫企業級Web遙感應
252、用平臺架構ENVI Service Engine高性能計算機環境+企業級遙感并行處理 基于15米Landsat8pan為參考,高分二號數據處理。解壓縮多光譜幾何精校正全色與多光譜配準圖像融合數據量:1094標準景高分二號成功數:1029景失敗數:65景總時間:30.6小時平均時間:1.67分/景失敗原因:壓縮包拷貝不完整、影像含云太多找不到控制點SwitchWEB SERVICE集群服務器集群服務器華為N8500NAS文件系統客戶端1 U1 U1 U1 U1 UIBM X240刀片機處理數據量:1029景融合方法:Gram-Schmidt總時間:23.5小時平均時間:1.36分/景15米LC8
253、PANCPU:80核內存:160G12 Works ENVI Services Engine_中國農科院農業資源與農業區劃研究所提供原始數據量2T,成果數據量4.1T基于企業級的監督分類分塊并行處理 數據:2.1米4波段資源三號,數據量11.7GB。分類方法:最大似然監督分類 分類類別:6大類:耕地、休耕地、裸地、水體、建筑用地、林地共享NAS文件系統客戶端1 U1 U3個虛擬機組成集群系統1 U32G內存、8VCPU32G內存、8VCPU32G內存、8VCPU數據自動分塊分塊1結果鑲嵌基于像素,平均分成8塊時間忽略不計分塊1分塊1分類分類分類分類8塊并行分類結果數據量:1.46GB總用時:9
254、.5分鐘平均1.2G/分12.79.58.54.5481632分快數分快數時間(分)12 Works ESE與分塊數的分類時間合作單位:同濟大學8個任務并行ENVI Services Engine云對象儲存+企業級遙感平臺應用云平臺移動端瀏覽器Web應用端遙感應用服務開發應用應用程序程序ENVI Services Engine處理器處理器Geospatial Services FrameworkHTTP REST數據源Sentinel on AWS水環境監測模型作物長勢監測模型水面積提取圖像裁剪水質參數反演結果渲染圖像裁剪植被指數計算結果渲染云對象儲存+企業級遙感平臺應用在線云對象儲存影像服務
255、 云儲存影像目錄服務 可下載 可在線處理與分析 Sentinel on AWS Landsat on AWS Planet on AWS如:https:/landsat- 高性能硬件配置,支撐并行計算,高效遙感大數據處理與分析 高性能計算環境、影像、影像處理、成果應用一體化共享企業級遙感平臺技術為遙感大數據應用提供一種有效途徑 機器學習算法,提高樣本的利用率 深度學習算法,減少人工干預,部分解決影像自動化解譯新型遙感圖像分類算法 大多數情況,我們只是從遙感大數據里面檢索幾景影像,滿足業務化應用需求 傳統的遙感影像技術,桌面遙感圖像軟件,很長時間里是不會消亡的不是人人都需要處理海量的影像數據下一
256、個內容:杜會建,ENVI深度學習模塊應用與開發技術謝謝大家,祝大家生活愉快!ArcGIS的容器化交付實踐容器發展與容器生態如何快速理解容器和容器編排容器 VS 虛擬化虛擬化隔離技術,獨立的操作系統容器是一種特殊的進程,公有宿主機系統資源容器編排 VS 云云在邏輯層處理虛擬機之間的資源調度、隔離和通信容器編排在邏輯層大量機器集群上部署的復雜的、多容器工作負載。Docker原理及基礎Kubernetes架構及基礎ArcGIS架構了解什么是微服務您可能需要知道ArcGIS應用如何容器化及微服務編排?應用分析容器化選型準備容器運行環境編寫DockerFile制作并上傳鏡像創建容器負載微服務治理和編排操
257、作系統,有無狀態、依賴包、周邊配置Statefulset or deploment?K8S or Swarm?公有 or 私有?節點配置規格,PV&PVC,網絡選型公有倉庫還是私有?基于鏡像部署工作負載;伸縮?監控?GIS微服務治理,服務調度編排應用容器化?應用微服務化?1-GISServer容器化應用分析應用特點:節點無狀態業務數據集中化存儲節點通信依賴FQDN需要安裝依賴支持:fontconfig/wget/freetypeLinux操作系統:centos或者Ubuntu部署形態:多集群、應對多并發場景2-ArcGIS容器化選型編排工具:K8S、Mesos、Swarm公有:華為/阿里/騰訊
258、/云容器引擎CCE云容器實例CCI私有:自建容器編排鏡像倉庫公有:Docker HUB、daocloud、Quay、華為、阿里私有:Harbor2-ArcGIS容器化選型無狀態工作負載(即kubernetes中的“Deployments”):Pod之間完全獨立、功能相同,具有彈性伸縮、滾動升級等特性。如:nginx、wordpress。有狀態工作負載(即kubernetes中的“StatefulSets”):Pod之間不完全獨立,具有穩定的持久化存儲和網絡標示,以及有序的部署、收縮和刪除等特性。如:mysql-HA、etcd?,F實情況節點資源相等,但需要依賴域名解析有存儲需求存儲數據可能會發生
259、變化負載取舍Deployment很美好,但需要借助stetefulset創建工作負載,工作負載3-K8S容器引擎的部署及周邊準備Master:ApiserverControllerScheduleretcdNode:DockerKubeletkube-proxyFlannel3-K8S容器引擎的部署及周邊準備軟硬件最低配置推薦配置CPU、內存Master:2core和2GB內存Node:4core和4GB內存Master:4core和8GBNode:根據容器數量和配置決定,不少于16core和32GB內存Linux操作系統基于x86_64架構的各種Linux發行版本,包括RHL、CentOS、
260、Ubuntu等,Kernel版本在3.10及以上RHL7CentOS7K8S1.91.14.0集群規劃RoleNetworkServiceMaster/Node1node1.k8s.local192.168.199.214/24apiserver、controller-manager、scheduler、kubelet、kube-proxy、etcd、docker、flannelNode2node2.k8s.local192.168.199.215/24Kubelet、kube-proxy、docker、flannelNode3Node3.k8s.local192.168.199.216/24
261、Kubelet、kube-proxy、docker、flannel4-鏡像構建Docker鏡像位于bootfs之上每一層鏡像的下面一層稱為其父鏡像(父子關系)第一層鏡像為Base Image容器在最頂層其下的所有層都為readonlyDocker將readonly的FS層稱作 imageDocker AUFS特性特性4-GISServer鏡像構建從官方CentOS7鏡像構建FROM centos:7r#拷貝當前路徑下的安裝文件到容器內的tmp目錄下COPY./*/tmp/#安裝環境所需的工具和庫RUN yum install-y net-tools wget libXtst libXi lib
262、Xrender fontconfig freetype gettext libXfontmesa-libGL mesa-libGLU Xvfb tar hostname&yum clean all&rm-rf/var/cache/yum#設置root密碼、創建arcgis用戶、tmp授權、設置文件句柄限制數RUN echo esri123|passwd root-stdin&useradd-create-home-home-dir/usr/local/arcgis-shell/bin/bash arcgis&chown-R arcgis/tmp&echo-e arcgis soft nofil
263、e 65535narcgis hard nofile 65535narcgis soft nproc 25059narcgis hard nproc 25059 /etc/security/limits.conf#鏡像啟動的容器以arcgis賬戶運行USER arcgis#設置用戶工作目錄ENV HOME/usr/local/arcgis#解壓安裝包并安裝ArcgisServer、刪除安裝包及無用文件、#刪除ArcgisServer安裝文件和許可文件RUN tar xvzf/tmp/ArcGIS_Server_Linux_1061_164044.tar.gz-C/tmp/&rm-rf/tmp/
264、ArcGIS_Server_Linux_1061_164044.tar.gz&/tmp/ArcGISServer/Setup-m silent-l yes-a/tmp/1061.ecp&rm/tmp/Dockerfile&rm-rf/tmp/ArcGISServerRUN/usr/local/arcgis/server/stopserver.sh鏡像精簡原則:在Dockerfile中,每條指令都會創建一個鏡像層,繼而會增加鏡像整體的大小寫時復制技術優化后(減小鏡像大小,減少磁盤占用率及提高構建效率):#從官方CentOS7鏡像構建FROM centos:7#安裝所需要的依賴RUN yum in
265、stall gettext-y&yum clean all&rm/var/cache/yum-rf&yes|cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime&echo esri123|passwd root-stdin&useradd-create-home-home-dir/usr/local/arcgis-shell/bin/bash arcgis&echo-e arcgis soft nofile 65535narcgishard nofile 65535narcgis soft nproc 25059narcgis hard nproc
266、 25059 /etc/security/limits.conf#copy安裝目錄COPY-from=builder/usr/local/arcgis/server/usr/local/arcgis/serverRUN chown-R arcgis:arcgis/usr/local/arcgis/serverUSER arcgis#安裝所需要的依賴ENV HOME/usr/local/arcgisEXPOSE 1098 4000 4001 4002 4003 4004 6006 6080 6099 6443#對外暴露相關端口CMD/usr/local/arcgis/server/startse
267、rver.sh&tail f#容器運行后默認執行的指令/usr/local/arcgis/server/framework/etc/service-0.log4-鏡像精簡1.上傳到公有倉庫DockerHub上等,在外網環境下進行拉取。2.上傳到私有倉庫上傳鏡像到Harbor中:創建鏡像tag,并上傳到倉庫docker tag SOURCE_IMAGE:TAG 倉庫地址/項目名/IMAGE:TAGdocker login 倉庫地址(登陸倉庫,提供上傳權限)鏡像下載docker push 倉庫地址/項目名/IMAGE:TAGdocker pull 192.168.199.205:80/arcgis
268、/ags:107-v145-鏡像上傳下載6-創建工作負載配置持久化存儲持久化存儲聲明構建Statefulset定義服務網絡模式集群配置為GIS集群提供文件存儲系統定義共享文件的讀寫方式、容量定義集群節點(pod)個數,pod中的容器實例、所需要的PVCLoadBalance、Ingress、NodePort創建、加入集群1.通過Yaml文件創建2.通過kubelet命令創建6-創建工作負載7-GIS微服務管理系統自動化交付GIS大數據一鍵式容器微服務部署ArcGIS ServerWebAdaptorPortal for ArcGISDatastore構建GIS鏡像01倉庫鏡像上傳02創建容器存
269、儲03創建網絡04規格設定05設定副本數06GIS容器部署07微服務管理08微服務監控09微服務模型10服務治理11模型調度12簡化手動繁瑣的配置,為GIS平臺提供快捷的微服務部署、服務管理、服務編排和調度跟蹤的能力GIS容器平臺下的大數據環境交付7-GIS中的微服務治理Pod代理GISAppPod代理GISApp應用訪問ELB服務治理服務恢復流量監控健康檢查鏈路跟蹤調度策略Service Mesh Control Plane服務注冊服務編排服務發現、負載均衡、故障轉移、服務度量、灰度發布、流量治理、服務熔斷、服務限流、服務監控、服務拓撲、服務鏈路跟蹤、A/B測試、金絲雀發布、訪問控制微服務治
270、理解決方案GIS微服務管理系統01020204040303微服務模型調度執行進度及作業結果應用作業自定義微服務模型服務交互鏈路跟蹤模型有效性驗證服務編排快速發布及部署GIS服務微服務部署維護部GIS服務生命周期監控微服務狀態及周邊可彈性可伸縮的并發能力微服務管理微服務管理服務發現服務編排服務治理模型異?;謴痛钶d在華為CCE容器平臺上的GIS微服務管理平臺:GIS微服務管理系統演示GIS微服務管理系統功能架構Kubernetes集群(CCE)dockerdockerdockerdockerdockerdockerGIS微服務docker宿主機宿主機GIS微服務管理系統微服務部署微服務管理服務編排
271、應用作業拓撲跟蹤dockerdockerdockerdocker宿主機服務監控服務發現服務統計dockerGIS微服務GIS微服務伸縮快速部署秒級啟動服務注冊GIS微服務GIS微服務GIS微服務私有云、華為公有云、阿里公有云、本地服務器持續集成方案:GitLab+Jenkins+Docker+KubernetesThank U!AWS云服務云服務助力構建空間信息數據基礎設施助力構建空間信息數據基礎設施西云數據簡介迭代演進的AWS大數據平臺建設案例分享亞馬遜AWS中國(寧夏)區域云服務運營方寧夏西云數據科技有限公司(簡稱”西云數據”)是 AWS 中國(寧夏)區域云服務的運營方和服務提供方。AWS
272、 為西云數據的戰略技術合作伙伴并向西云數據提供技術服務和技術支持。西云數據成立于 2015 年,是一家持有互聯網數據中心服務和互聯網資源協作服務牌照的云服務提供商。2017年12月12日,西云數據正式推出AWS 中國(寧夏)區域云服務,現已開通3個可用區。西云數據市場銷售總部設立于北京,在全國多地設有分支機構以服務全國各地的企業客戶。西云數據致力于將世界先進的 AWS 云計算技術帶給中國客戶,為客戶提供優質、安全、穩定、可靠的云服務,全力支持中國企業和機構的創新發展。西云數據承諾盡可能多地使用可再生能源我們承諾使用盡可能多的可再生能源來支持您的業務,為地球可以持續發展貢獻你我的力量為什么AWS
273、關心公共大數據客戶至上海拔模型海拔模型航空遙感圖像航空遙感圖像氣候模型氣候模型衛星圖像衛星圖像高分辨率雷達高分辨率雷達AWS上的地球:https:/amazonaws- 包含110種開放地測數據集,源數據由(非)政府組織、研究機構、企業和個人來維護AWS對GIS數據的表達日趨完善AWS對突發事件的及時響應2010年墨西哥灣的漏油事件美國國家地理空間信息平臺,由美國聯邦地理數據委員會興建數據需要打電話給多個部門索要現在衛星將高清圖片傳送到Amazon Simple Storage Service(S3)上,后臺服務進行及時處理,對緊急相應組織非常有用全托管的全球衛星地面站服務;12個站點覆蓋全球
274、任何軌道;節省建造和運營成本;快速與衛星數據進行交互;快速利用AWS服務進行計算、存儲、分析和機器學習等工作中國如何利用AWS與世界無縫融合:Ground Station下下載到本地載到本地 最傳統的方式 費時費力 無序的數據管理 沒有擴展性從數據中心訪問從數據中心訪問 遠程登陸 數據近線分析 僅下載分析結果 擴展性呢?從從AWSAWS云訪問云訪問 遠程登陸 數據近線分析 僅下載分析結果 分布式計算和存儲資源有效的擴展,使用大量公開的數據,節省成本,簡化部署中國如何利用AWS與世界無縫融合:從AWS云訪問1.選取區域2.下載遙感圖像3.計算NDVI(Normalized Difference
275、Vegetation Index,歸一化差分植被指數,標準差異植被指數)下載到本地示例:計算植被面積從AWS云訪問示例 圖庫放在Amazon S3上,每天更新,數據量大概在750TB,七百萬個圖片 前端應用托管在Amazon S3上,無需服務器就直接通過瀏覽器進行訪問 快速計算出北京1978年和2019年農作物的對比情況Live Demo:http:/landsatappv1p3.s3-website-us-west- S3原原始數據始數據Amazon S3數據湖數據湖Amazon EMRETL商業分析教育研究業務用戶開發商流式數據獲取AWS開放數據平臺高階分析事件抓取事件抓取Amazon K
276、inesis流分析流分析Amazon EMR事件事件處理處理AWS Lambda無無SchemaAmazon ElasticSearch直直接查詢接查詢Amazon AthenaNo SQLAmazon DynamoDB托管的托管的Hadoop平臺平臺Amazon EMR應用系統應用系統ERP,BW etc數據倉庫數據倉庫Amazon Redshift機器視覺文件導入機器學習模型的機器學習模型的構構建、建、訓練、測試和部署訓練、測試和部署Amazon SageMaker階段一階段二階段三階段一:選擇Amazon S3存儲搭建數據湖訪問頻度頻繁訪問不頻繁訪問動態,頻繁訪問數據毫秒級訪問 3 AZ
277、不斷變化的數據訪問毫秒級訪問 3 AZ平均比Standard節省20%每對象單獨監控.最小化存儲周期不頻繁訪問數據毫秒級訪問 3 AZ比Standard節省40%基于GB的取回費用最小化存儲周期最小化存儲大小S3 StandardS3 Standard-IAS3 One Zone-IAS3 Glacier可再生的非頻繁訪問數據毫秒級訪問1 AZ比Standard節省50%基于GB的取回費用最小化存儲周期最小化存儲大小歸檔數據分鐘到小時級訪問 3 AZ比Standard節省80%基于GB的取回費用最小化存儲周期最小化存儲大小S3 Intelligent-TieringS3 Glacier Dee
278、p Archive歸檔數據小時級訪問 3 AZ比Standard節省94%基于GB的取回費用最小化存儲周期最小化存儲大小N E W!N E W!階段一案例:快速獲取GHCN-D和批量分析全球氣候變化 背景-以前,全球氣候首先需要高質量和精準的氣候數據集-NCEI(National Centers for Environmental Information)基于全球的氣候地面站負責維護氣候數據集(GHCN-D,Global Historical Climatology Network Daily),第一份數據是在1763年,至今已保存200多年的歷史數據 挑戰:-傳統分析方法是下載到本地,如果是
279、想要最新的數據,就需要反復的每天進行下載-需要在可擴展的復雜的HPC環境中分析,并需要研究員對數據分析有很強的技術背景更有效的做法:-利用Amazon S3自動快照數據集,好處是:不需要手工下載,利用AWS的服務,縮短數據分析的時間,資源按需使用節約成本階段一案例:快速獲取GHCN-D和批量分析全球氣候變化階段二案例:實時獲取NEXRAD天氣數據用于精確預警 背景-精確、及時地對強烈天氣和水文測量提供警報-Nexrad(Next-Generation Radar)是正開始在美國全國布網的下一代天氣雷達。是由160個高分辨率多普勒雷達站點組成的網絡挑戰-上云之前,研究員不可能得到足夠的數據進行實
280、驗分析更有效的做法:-Nexrad在AWS上發布后,出現了WeatherPipe的開發,這是一個開源Java工具,簡化了在AWS上使用NEXRAD數據運行MapReduce作業的過程-計劃使用該工具進行更高級和特定的分析,例如風暴識別和分類。最終,希望為龍卷風等高影響天氣事件創建預測模型階段二案例:實時獲取NEXRAD天氣數據用于精確預警對于“體積掃描”存檔文件(多普勒雷達站點掃描大氣時收集的數據)和“塊”數據(作為實時饋送快速傳輸的較小數據包),用戶都希望實時通知。階段三:用于深度學習的 Amazon EC2 實例Amazon EC2 P3 實例強大的GPU實例多達8塊NVIDIA Tesl
281、a V100 GPU1 PetaFLOP計算能力 比P2快14倍300 GB/s GPU間通信(NVLink)比P2快9倍16 GB顯存,峰值為900 GB/sec內存帶寬定制化的AMI,適用于深度學習Amazon EC2 C5 實例高性價比的CPU實例,加速INT8模型推理3.0 GHz Intel Xeon(Skylake)白金版處理器,并配有全新的Intel AVX-512指令集72個vCPUs,144GB內存(比C4的性價比提升25%)基于全新Nitro虛擬化管理程序構建Amazon高性能,可擴展的算法分布式TensorFlow,Apache MXNet,Chainer,PyTorch
282、自帶算法超參數調優構建部署訓練階段三:Amazon SageMaker 平臺概述階段三:使用Amazon SegMaker構建機器學習模型 背景-DigitalGlobe是一家全球領先的高分辨率地球圖像、數據和分析提供商-DigitalGlobe以前除了要建衛星基礎設施,還要建全球的地面接收站。如今,他們已經100%轉向使用AWS的服務,使用SnowMobile將長達18年的100PB數據搬到AWS上挑戰-希望提供對其數據的按需訪問,同時降低AWS支出更有效的做法:-在Amazon S3和Glacier存儲上智能分層-使用AWS機器學習服務SegMaker來解決緩存問題,訓練緩存算法以找到客戶
283、訪問模式的相關性預測率提升兩倍,存儲成本節省50%CloudFormation 模板一鍵式部署Federated withPortalS3 storage userRaster store,zip,fgdbImagery S3 StorageProfessional Imagery /Geospatial AnalystsArcGIS平臺入口ArcGIS PortalEC2AGSVPCArcGIS ProAuto Scaling groupElastic Load BalancerEC2Configure StoreClient consuming hosted image servicesV
284、PCImage servicesImage serverImage servicesImage serverEC2EC2Image servicesImage serverEC2Dynamic Image ServicesRaster AnalyticsElastic Load BalancerClient consuming dynamic image servicesArcGIS Enterprise:ArcGIS Portal+ArcGIS Image Server +RDSRDSPostgres RDS其它案例分享:某用戶的ArcGIS在AWS云平臺部署架構ArcGIS平臺訪問控制中樞
285、Client consuming imagery itemsArcGIS集群平臺桌面瀏覽器移動設備業務用戶業務數據終端用戶Raster Analytics云上部署效果RasterAnalytics onAWS 8 c3.2xlarge instances(8 vCPUs,16GB RAM)Mean RainfallMean TemperatureElevationLandcover30m National Solar Plant Suitability RasterRaster Analytics9 minutesArcGIS Desktop(ArcMap or ArcGIS Pro)5 ho
286、urs 45 minutessuitability model總結-充分利用AWS開放數據集的價值:降低成本、提升體驗-搭建Amazon S3數據湖對于可擴展的GIS大數據平臺非常重要-合理使用適合的AWS服務完成批量或者實時的GIS應用-彈性的云平臺架構是搭建人工智能/機器學習的基礎知識分享案例研究社區互動云載未來云載未來成就所托成就所托VIRTUALIZING ARCGIS PRODelivering a workstation experience from the data center2VISUAL WORKSPACETHE EVOLUTION OF MODERN WORKFLOWS
287、InformationWorkers/StudentsDesigners/ScientistsVISUAL COMPUTING SPECTRUMCOLLABORATIONLARGE DATA INTERACTIVE HPCVRPHOTOREALISMAIMOBILITY3QUADRO POWERING THE MOST ADVANCED WORKFLOWSPhotorealistic.Immersive.Collaborative.Media&EntertainmentManufacturing&DesignAECGeospatial,Oil&GasVisualSimulationWORKFL
288、OW ACCELERATIONENTERPRISE-GRADE RELIABILITYEFFICIENT IT MANAGEMENTBest professional application performanceAdvanced professional featuresScalable performanceMission critical stable drivers100+ISV applicationcertificationsCertified with leading OEM workstationsEnterprise deployment&management toolsGl
289、obal technical supportExtended product availabilityNVIDIA QUADROThe Worlds Most Advanced,Trusted Accelerator of Professional WorkflowsQUADRO IN THE ENTERPRISE TODAY3D Design|Photorealistic Rendering|VR|Large Data Sets|AI EnhancedApplicationsMobileWorkstationsDesktop WorkstationsExternalGraphicsWINDO
290、WS 10Highest graphics requirement from any operating system to dateWINDOWS 10WINDOWS 7WINDOWS 95*Percent of timeconsumingGPU(DirectX or OpenGL)32%Increase in GPU Consumption,compared to Windows 7*ARCGIS PROHighest graphics requirement of any version to dateArcView3.xArcMap 10.xArcGIS Pro2.xWHY DO GI
291、S USERS REQUIRE A GPU?Migration from ArcMap to ArcGIS ProDirect X rendering pipelineVirtualized EnvironmentsShared CPU-only resources,bottleneck performance vGPU off loads load from CPU to GPUIncreased amount of VMs which can be hosted,Decreases amount of Servers to host VMsEase of AdministrationOS
292、and Application upgrades,Security,CentralizedDataRequirement forArcGIS Pro when using 3D dataESRI ARCGIS PRORole of vGPURENDERINGANALYTICGEOPROCESSINGDEEPLEARNING10RENDERINGDirectX or OpenGL11SPATIAL ANALYSTASPECTIdentifies the compass directionthat the downhill slope faces foreach location.VIEWSHED
293、Determines surface locations visible to a set of point or polyline observers,using geodesic methods.SLOPEIdentifies the steepness at each cell of a raster surface.The lower the slope value,theflatter the terrain;the higher theslope value,the steeper the terrain.RequiresCUDA3.0 or later12DEEP LEARNIN
294、GTRAVEL TIMEPREDICTIONIdentifies the steepness at each cell of a raster surface.The lower the slope value,theflatter the terrain;the higher theslope value,the steeper the terrain.CREATING3D CONTENTUSINGAIARCGIS PRO PERFORMANCE FROM THE DATA CENTERNVIDIA Virtual GPU technology delivers graphics accel
295、erated virtual desktops and applicationsAll devices havegraphicsVirtual machines running ArcGISPro also need a GPU14WORLDS MOST POWERFULVIRTUAL WORKSTATIONNVIDIA Quadro vDWS Software For Tesla GPU ServersComplete Tesla Pascal and Volta support P4,P40,P100,P6,V100,RTX6000/8000CUDA for compute acceler
296、ated workstation applicationsHardware encode(NVENC)accelerated Linux workstations Certified on 120+servers from 30+server vendors15UNRESTRICTED ANALYSIS,VISUALIZATION,AND CREATIVITY FROM ANYWHERENVIDIA Quadro vDWS Software For Tesla/RTX GPU ServersAccelerate productivity with 2x performance increase
297、Design with larger data sets with up to 4x GPU memoryEnhance design workflows with animation and simulationMake informed design decisions faster with photorealismReliable,predictable QOS accessible from any device16HOW IT WORKSNVIDIA virtual GPU products deliver a GPU Experience to everyVirtual Desk
298、topServerHypervisorApps and VMsCPU OnlyVDIWithNVIDIA VirtualGPUApps and VMsNVIDIA Graphics DriversNVIDIA Virtual GPUNVIDIA virtualization softwareHypervisorNVIDIA Tesla/RTX GPUServerNVIDIA GPUs EVERYWHERE140+Servers from more than 30 system vendorsHyper ConvergedBlade ServersIndustry StandardServers
299、Hyper-ConvergedInfrastructurePublicCloudBlade ServersHypervisor Infrastructure20NVIDIA VIRTUAL GPU PRODUCTSAppsNVIDIA GRIDVirtualWorkstationNVIDIA GRIDVirtualApplicationsFor organizations deploying XenApp or other RDSH solutions.Designed to deliver Windows applications at full performance.NVIDIA GRI
300、DVirtualPCFor users who want a virtual desktop but need great user experience leveraging PC Windows applications,browsers and high definition video.For users who want to be able to use remote professional graphics applications with full performance on any device anywhere.PC UsersWorkstation UsersNVI
301、DIA Quadro Virtual Data CenterWorkstationArcGIS for Desktop products are certified with Quadro Virtual Data Center Workstation21TEST DRIVE NVIDIA VIRTUAL GPU TODAYInstant access on VMware vSphere andHorizonPre-installed apps such as AutoCAD,SOLIDWORKS,ArcGIS Pro,NX,etc.HTML demos and HD videoshttp:/
302、Serverless初探及其在ArcGIS產品中的應用從一個簡單的需求說起Wait.資源估算文檔多少臺服務器?多大容量的存儲?數據庫的功能?上線部署文檔操作系統?應用程序?依賴項?運行出錯。Serverless 什么是Serverless 我們為什么需要Serverless 如何使用ServerlessServerless 什么什么是是ServerlessServerless 我們為什么需要Serverless 如何使用Serverless什么是Serverless?Serverless 不要服務器代碼運行在托管的無狀態的托管的無狀態的計算容器中業務層面的狀態記錄在數據庫和存儲資源中云計算廠商
303、負責基礎設施的為維護由事件觸發由事件觸發對開發人員非常友好只需關注代碼運行擺脫底層設施的牽制靈活的架構設計效率最大化Serverless的發展傳統數據中心傳統數據中心Deploy in monthsLive for years虛擬化和云計算虛擬化和云計算Deploy in minutesLive for weeks容器部署容器部署Deploy in secondsLive for minutesServerlessServerlessDeploy in millisecondsLive for secondsServerless供應商Cloud Foundry Foundation,condu
304、cted a global survey recently consisting of 550 usersServerless vs FaasBaaS(Backend as a Service)FaaS(Functions as a Service)ServerlessServerless vs MicroServiceServerless 什么是Serverless 我們為什么我們為什么需要需要ServerlessServerless 如何使用Serverless我們為什么需要Serverless無需預置無需預置或或管理管理服務器服務器根據請求根據請求自動擴展自動擴展按需付費按需付費未觸發,
305、不收費未觸發,不收費傳統應用后端代碼重新造輪子需要專人維護系統和軟件服務器一直在線很難預估服務器資源傳統應用傳統應用Serverless應用架構易于彈性擴展減少開發成本、運維成本降低基礎設施維護風險綠色“計算”,減少資源開銷便于快速迭代,縮短創新周期Serverless 應用應用AWS的Serverless全家桶Web ClientEnd user1萬次請求,執行時間3s,1024M RAM0.5 美元Amazon S3Static container,serve static appAmazon API GatewayREST InterfaceAWS LambdaBackend Logic
306、AmazonDynamoDBData store&retriveServerless 什么是Serverless 我們為什么需要Serverless 如何如何使用使用ServerlessServerless如何使用AWS Lambda4.觸發Lambda3.上傳代碼2.引入依賴包,編寫代碼1.選擇一種編程語言Serverless 局限狀態管理狀態管理 要想實現自由的縮放,無狀態是必須的,而對于有狀態的服務,需要與存儲頻繁交互,不可避免的增加了延遲和復雜性。延遲延遲 應用程序中不同組件的訪問延遲是一個大問題,Serverless應用程序是高度分布式、低耦合的,這就意味著延遲將始終是一個問題。本地
307、測試本地測試 Serverless應用的本地測試困難是一個很棘手的問題。雖然可以在測試環境下使用各種數據庫和消息隊列來模擬生產環境,但是很難與性能和縮放的特性結合起來測試。Serverless應用本身也是分布式的,簡單的將無數的FaaS和BaaS組件粘合起來也是有挑戰性的。技術限制技術限制 15min timeout。ArcGIS Feature ReportServerless應用案例 Feature Report的背景、功能 Feature Report的架構遷移之旅 架構遷移的益處和問題 Feature Report 的應用現狀ArcGIS Feature ReportServerles
308、s應用案例 Feature ReportFeature Report的的背景、背景、功能功能 Feature Report的架構遷移之旅 架構遷移的益處和問題 Feature Report 的應用現狀ArcGIS Feature Report的背景1 設計問題使用 Survey123 web 應用程序或 Survey123 Connect 桌面應用程序快速創建功能強大的調查。2 收集答案使用 Survey123 web 應用程序和移動應用程序在臺式或移動設備上快速獲取答案。3 分析結果實時分析答案以作出更好的決策。在ArcGIS中對Survey123數據執行更深入的分析。Survey123 f
309、orArcGISArcGIS Feature Report的背景Print MapPrint FeatureFieldMapAttachmentRelated Table RecordsArcGIS Feature Report的背景Hosted feature service layerMS Word Report TemplateFeature ReportArcGIS Feature Report 功能ArcGIS Feature Report 功能ArcGIS Feature Report DemoFeature ReportREST APIGenerate Sample templa
310、teCheck Job StatusGenerate Report(1 or n)Query JobsCheck Template SyntaxEstimate CreditsArcGIS Feature Report DemoFeature ReportREST APIGenerate Sample templateCheck Job StatusGenerate Report(1 or n)Query JobsCheck Template SyntaxEstimate CreditsArcGIS Feature Report DemoFeature ReportREST APIGenera
311、te Sample templateCheck Job StatusGenerate Report(1 or n)Query JobsCheck Template SyntaxEstimate CreditsArcGIS Feature ReportServerless應用案例 Feature Report的背景、功能 Feature ReportFeature Report的架構遷移之旅的架構遷移之旅 架構遷移的益處和問題 Feature Report 的應用現狀ArcGIS Feature Report的架構遷移之旅BetaClient Side2017UCServer side API2
312、018Q1Migrate to AWS LambdaAsyncBatch2018 UCImprove performance and stability2019 UCArcGIS Feature Report Service Architecture 1.0ArcGIS OnlineELBSurvey123 websiteEFSHosted FS layerWord itemPrinting serviceReport serviceOther activitiesEC2t2.mediumt2.mediumt2.mediumFeature Report REST APIDownload(Job
313、s directories)Aws-DynamoDBUploaddestinationArcGISAws-s3Aws-LambdaPrint PreparePrint Print Print packageuploadPrint packageuploadNodeJShosted in EC2(REST API)Generate Sample templateCheck Job StatusGenerate Report(1 or n)Query JobsCheck Template SyntaxEstimate CreditsArchitecture 2.0ArcGIS Feature Re
314、portServerless應用案例 Feature Report的背景、功能 Feature Report的架構遷移之旅 架構遷移的益處和問題架構遷移的益處和問題 Feature Report 的應用現狀架構遷移的益處和問題基礎設基礎設施管理施管理配置和管理環境配置和管理環境相對復雜簡單安全性控制安全性控制需要自己考慮安全層的問題托管訪問策略設置,防DDOS攻擊等超時超時靈活配置有限制 15min依賴項依賴項無限制有限制 50M,/tmp 512M可擴展性可擴展性需要提前配置 auto scaling group根據訪問量自動擴展,1000/region可用性可用性Always availa
315、bleOn-demandmulti-region availability延遲延遲處理請求無延遲冷啟動延遲1s啟動新實例有延遲Infrequent traffic$4.7/month$0.31/month$25.89/month$50/monthconsistent traffic高性能消耗的復雜計算不能在短時間完成unpredictable traffic 低復雜度代碼執行時間短需要進行實時處理的數據定時任務性性能能花費花費對比項EC2LambdaConsistent traffic適用場景適用場景AWS Lambda的技術限制Timeout:15minRAM:128-3008MPackag
316、e size:50 MB(zipped,for direct upload)250 MB(unzipped,including layers)3 MB(console editor)/tmp file storage:512 MBConcurrent limits:1000/regionPayload:sync-6Masync-256MWaiting in queue:6hrsArcGIS Feature ReportServerless應用案例 Feature Report的背景、功能 Feature Report的架構遷移之旅 架構遷移的益處和問題 Feature Report Featu
317、re Report 的應用現狀的應用現狀Feature Report 的應用現狀400,000+jobs since online1000-2000/day 5000+/job,20M/file,10G,20minThank you!從從水墨風格山水畫水墨風格山水畫談談GIS地圖表現形式的藝術之美地圖表現形式的藝術之美ArcGIS水墨山水畫風格地圖ArcGIS中國傳統水墨山水畫What happened?ArcGIS水墨山水畫風格地圖GIS工具思考ArcGIS水墨山水畫風格地圖思路GIS工具數字地形數據3D建模渲染筆墨感與立體感水墨山水畫風格ArcScene地圖制作ArcGIS水墨山水畫風格地
318、圖ArcGIS軟件桌面系統ArcScene擴展模塊數字高程數據(DEM)其他可選數據DEM高程數據盡可能選擇海拔起伏較大的多山地區域便于分層設色制圖美觀等矢量點:繪制紅日河流矢量數據:以面狀數據為宜,河網無需密集分布地圖制作ArcGIS水墨山水畫風格地圖制作ArcScene 3D模型-數據導入ArcScene-設置圖層屬性,修改柵格圖像質量-設置點圖層的顏色、大小等-設置河網圖層的顏色等圖層著色-選擇合適的視角-調節圖層的漸變顏色-調節圖層的明暗程度-局部著色山腰處呈現濃郁的綠色,山腳處呈現淡土黃色展示ArcGIS水墨山水畫風格地圖云霧山巒長河落日圓綠水青山相同數據不同圖層顏色不同明暗程度不同
319、視角ArcGIS水墨山水畫風格地圖展示小結ArcGIS水墨山水畫風格地圖有人對此評論說顯然,達不到藝術的水平,畢竟我們不搞藝術會玩!小結ArcGIS水墨山水畫風格地圖但是,GIS何嘗不是一門藝術地圖制圖地圖制圖學地圖學“GIS基礎學科之一”地圖是將客體(一般指地球)上的地理信息,通過科學的概括,運用符號系統表示在一定載體上的圖形,以傳遞它在時間與空間上的分布規律和發展變化。功能和本質功能和本質地圖是科學性科學性的,它是描述地理信息在空間上的分布表現形式表現形式地圖是富有藝術性藝術性的,它是由抽象化的符號系統構成的地圖制圖地圖制圖學外在效果內在功能地圖能夠激發人們的審美情感,人們對地圖視覺上的藝
320、術性是有一定需求的地圖制圖地圖制圖學有價值的地圖才是有用的地圖圖圖例 圖名 注解 指北針 一幅地圖,無論如何優雅、美觀,給人藝術上的享受,而一旦脫離了地圖的本質,那么就失去了地圖的意義地圖制圖的藝術不僅僅體現在地圖視覺上的美,而更在于其表現得內在意義。最大化的實現地圖價值,才是地圖真正的美。GIS制圖現代GIS制圖現代GIS技術的發展,為傳統的地理學理論和技術帶來了革命性的變化,這同樣在地圖制圖方面也發生了有別于傳統制圖方法的技術革新。GIS地圖表現形式GIS數據結構遙感影像電子地圖三維模型虛擬場景單機WEB無論數據結構簡單或是復雜,地圖表現形式抽象還是具象,其本質都在于有效的表達自然客觀事物
321、。如何去表達,就是GIS制圖的藝術所在GIS制圖GIS制圖方法制圖數據制圖目標制圖工具和手段GIS數字制圖GIS軟件ArcGISWebGISPython矢柵一體化地圖數據庫遙感建模工具電子地圖眾包制圖GIS制圖GIS制圖方法-桌面GIS軟件智能制圖多屬性符號系統3D制圖模式動態地圖Web共享大批量制圖任務?GIS制圖GIS制圖方法-編程制圖不需要從底層寫代碼,常用的編程語言已經存在用于地圖制圖的第三方庫GeopandasNCLrasterVisplot3DGIS制圖GIS制圖方法-WebGIS制圖互聯網時代已經使得網絡成為了我們日常生活、工作和學習中必不可少的一部分,WebGIS也隨之產生,并
322、已滲入我們日常生活。編程制圖GIS數據庫GIS&web服務器客戶端開發制圖靈活的地圖呈現方式較強的數據交互能力豐富多彩的可視化效果ArcGIS API for JSOpenLayersHTML5 canvasWebGL(3D)WebGIS前端工具GIS制圖數據表達形式制圖數據呈現形式面點.線數據價值地圖價值GIS制圖數據表達形式DEM柵格數據地形特征特征點明暗等高線彩色渲染3D建模水墨風格GIS制圖數據表達形式數據類型行業領域制圖需求當前GIS技術能夠帶給我們靈活的、絢爛的制圖手法和呈現方式,我們也要具備這種靈活的思維模式,充分利用新技術、新方法,高效制作具有其固有價值而又給人以美感的地圖,這
323、正是我要表達的GIS制圖的藝術。GIS制圖GIS資源調查災害預測國土管理城市規劃農林牧業水利水電軍事公安交通運輸虛擬現實人工智能云計算大數據GIS以及GIS地圖制圖技術藝術情懷謝 謝!中國科學院空天信息研究院ArcGIS API for JavaScript高級開發ArcGIS JS API 4.x 開發模式 esri/core/Accessor esri/core/Promise esri/core/Loadable esri/core/Collection核心模塊Accessor一致的方法獲取、設置屬性信息監聽屬性值變化多數API的基類統一的對象構造方式自動映射/Autocast屬性可計算
324、(重寫get方法)Accessor.get().set().watch()/屬性賦值layer.opacity=0.5;layer.title=圖層1;/對多個屬性賦值layer.set(opacity:0.5,title:圖層2);/使用get,set方法訪問多層級屬性view.get(map.basemap.title);view.set(map.basemap.title,new title);Accessor 方法 屬性訪問mapView.watch(scale,(newValue,oldValue,property,object)=console.log(scale changed:
325、$newValue););mapView.watch(map.basemap.title,(newValue,oldValue,property,object)=console.log(new basemap title:$newValue););mapView.watch(ready,stationary,(newValue,oldValue,property,object)=console.log(property$property:$newValue););watchUtils.whenTrue(view,stationary,()=console.log(view is station
326、ary););Accessor 方法 屬性監聽var map=new Map(basemap:new Basemap(baseLayers:new Collection(new TileLayer(.),layers:new FeatureLayer(.);Accessor 統一的對象構造方式/4.xtype:simple-marker,style:square,color:red,size:10,outline:color:rgba(255,255,255,0.5),width:4/3.xnew SimpleMarkerSymbol(SimpleMarkerSymbol.STYLE_SQUA
327、RE,10,new SimpleLineSymbol(SimpleLineSymbol.STYLE_SOLID,new Color(255,0,0),4),new Color(255,255,255,0.5);Accessor 自動映射/Autocastvar Person=Accessor.createSubclass(properties:firstName:value:“John”,/默認值為JohnlastName:value:“Doe”,/默認值為DoefullName:readOnly:true,/只讀屬性dependsOn:“firstName”,“lastName”,/依賴關系
328、get:function()/get()方法重構return this.firstName+this.lastName;);Accessor使用demo異步處理不再依靠事件監聽map.on(load,function();view.when(function();基本模式:layer.queryFeatures(query).then(handleResult).catch(handleError);rendererCreator.createRenderer(params).then(handleResult);.catch(handleError);Promises then()view.
329、when()=returnview.whenLayerView(map.findLayerById(awesomeLayer);).then(layerView=return watchUtils.whenFalseOnce(layerView,updating);).then(result=const layerView=result.target;return layerView.queryFeatures();).then(doSomethingWithFeatures).catch(errorHandler);鏈式Promisedemo3.x:圖層實例化后會自動加載4.x:圖層加載需要
330、調用對應方法load()WebMap/WebScene 需要加載:-門戶中的item-圖層的模塊-圖層對應的itemMapView/SceneView 需要加載:-地圖-圖層Loadablesconst webmap=new WebMap(portalItem:id:affa021c51944b5694132b2d61fe1057);webmap.load()/創建webmap屬性basemap&layers.then()=/加載圖層return webmap.getLayer(myFeatureLayerId).load();).then(featureLayer=return featur
331、eLayer.queryFeatures(where:OBJECTID=1);).then(result=displayDetails(result.features0);).catch(error=console.error(error););Loadables本質上就是一個數組/Array有array的所有方法,如:-push()-pop()-filter()-reduce()-map()添加了其他方法&事件,使操作數組更加簡單:-addMany()-reorder()-remove()-on()可定義Collection中的數據類型-Collection.ofType(FeatureLa
332、yer)Map.layers&GraphicsLayer.graphics都是Collection對象CollectionsArcGIS JS API 4.x 核心APIMap&ViewMap&ViewMap&ViewMap與View的分離Map&View創建三維視圖創建二維視圖Basemap:底圖(baseLayers)&標注(referenceLayers)Ground:高程圖層Operational Layers:要素圖層(FeatureLayer)、地圖圖像圖層(MapImageLayer)var map=new Map(basemap:hybrid,ground:world-elev
333、ation,layers:new FeatureLayer(.),new MapImageLayer(.),);圖層已支持圖層:https:/ API尚不支持的服務-需要在客戶端展示數據前進一步加工處理-在線示例:Custom TileLayer Custom BlendLayer Custom LERC Layer Custom DynamicLayer Custom ElevationLayer-Exaggerating elevation Custom ElevationLayer-Thematic data as elevation Custom WebGL layer view圖層圖層BaseClass Hooks-BaseDynamicLayergetImageUrl(extent,width,height)指定范圍,寬度和高度,返回ImageURLfetchImage(ext