華為-徐飛-KubeEdge云邊端一體化管理平臺-架構設計與行業落地實踐.pdf

《華為-徐飛-KubeEdge云邊端一體化管理平臺-架構設計與行業落地實踐.pdf》由會員分享，可在線閱讀，更多相關《華為-徐飛-KubeEdge云邊端一體化管理平臺-架構設計與行業落地實踐.pdf（33頁珍藏版）》請在三個皮匠報告上搜索。

1、KubeEdge云邊端一體化管理平臺 架構設計與行業落地實踐徐飛 fisherxuKubeEdge Maintainer，華為云高級工程師 背景與挑戰背景與挑戰 KubeEdge架構及核心技術 KubeEdge社區發展 KubeEdge落地案例 展望邊緣計算的形態與定義kubeedge.ioACCAGGMetro200km20ms50200km510ms50km15msEnterpriseHomeeNodeB V2X,AR/VR,AI推理 AI推理、ARM vCDN,AR/VR 渲染，視頻轉碼 AI訓練，大數據分析，統一管理 AI訓練/推理，視頻轉碼典型應用算力需求省級邊緣Cloud Serv

2、icesMECMEC地市邊緣Cloud Services中心云MEC現場/接入邊緣tensTens-HundredsHundreds-Thousands邊緣分層Millions關鍵挑戰邊緣計算細分領域眾多細分領域眾多，互操作性差互操作性差邊云通信網絡質量低邊云通信網絡質量低，時延高，且邊緣經常位于私有網絡，難以實現雙向通信邊緣資源受限邊緣資源受限，需要輕量化的組件管理運行邊緣應用邊緣離線時，需要具備業務自治業務自治和本地故障恢復本地故障恢復等能力邊緣節點高度分散邊緣節點高度分散，如何高效管理，降低運維成本如何對異構資源異構資源進行標準化管理和靈活配置kubeedge.io經典問題：Remote

3、 Clusters vs.Remote Nodes?云原生的核心優勢kubeedge.io基于容器鏡像的軟件分層，清晰的依賴管理剝離程序、配置和微服務，讓開發者聚焦業務開發通過拆分應用程序為微服務和明確的依賴描述 解耦軟件開發，提高靈活性和可維護性解耦軟件開發，提高靈活性和可維護性廠商基于標準接口提供服務，互操作性強開源為主，豐富的標準軟件生態-用戶選擇多支持在所有公有云、私有云或混合云部署 多云支持，避免廠商鎖定多云支持，避免廠商鎖定基于K8s的松耦合平臺架構，易擴展K8s已被公認是platform for platform 避免侵入式定制避免侵入式定制通過中心編排過程 動態管理和調度應用/

4、微服務 提高工作效率和資源利用率提高工作效率和資源利用率基于開源技術的云原生，實現了空前的標準化和生態繁榮kubeedge.ioKubernetes架構kubeedge.ioData PlaneControl PlaneNode 1API-ServerSchedulerNode 2EdgeNode 1Node NController-manager3rd AuthEtcd.Container NetworkNucleusPodWorkloadRoutingPolicyEnforcementStatefulSetReplicaSetReplication ControllerDeployment

5、JobDaemonSetCronJobContainer(業務代碼業務代碼)IngressServiceHorizontal Pod AutoScalerPod Disruption BudgetVolumePersistent Volume ClaimSecretConfigmapKubernetes List-Watch機制EtcdKube-ApiserverCacher StorageUnderlying StorageClient（List-Watch）ListWatchObjects List-rvResourceVersion=“”List,ResourceVersion=“0”W

6、atch,ResourceVersion=“rv”watchCacheEventStartIndexEndIndexStoreObjects-rvN 網絡斷開？網絡斷開？Re-Watch,ResourceVersion=“rvN”Re-Watch 失敗Re-list,ResourceVersion=“rvN”Objects List-rvK8s Client (Clinet-go)基于K8s構建邊緣計算平臺關鍵優勢關鍵優勢容器化應用封裝Build once,run anywhere輕量化基礎鏡像，降低資源占用通用的應用抽象定義業界事實標準云上、邊緣統一管理松耦合的架構易擴展的API框架易于定制

7、平臺組件kubeedge.io主要挑戰主要挑戰資源有限往往很少網絡受限私網，帶寬有限，延遲高邊緣如何離線自治網絡不穩，隨時可能離線離線狀態下，邊緣應用繼續工作 背景與挑戰 KubeEdge架構及核心技術架構及核心技術 KubeEdge社區發展 KubeEdge落地案例 展望KubeEdge 架構kubeedge.ioCloudCoreEdgeCoreDevice 1Device 2Device 3ContainersPod 1ContainersPod 2ContainersPod 3ContainersPod N WebSocket(Default)QUIC(Alternate)PubSub

8、Device 4kubectlEdgeMeshCloudNodeCloudNodeEdgeNodeEdgeNodeEdgeCloud EdgeController DeviceController CloudHubMappersDevicesKubeEdge核心理念開放生態開放生態100%100%兼容兼容KubernetesKubernetes原生能力原生能力，支持用戶使用Kubernetes原生API統一管理邊緣應用邊緣可靠的邊緣可靠的list-watchlist-watch接口接口，對接原生生態邊緣設備通信協議：支持MQTT、Modbus、Bluetooth、Wifi、OPC-UA、Zig

9、Bee等設備通信協議，支持自定義插件擴展邊緣設備協議。支持海量邊緣設備管理支持海量邊緣設備管理針對資源受限場景進行自身組件輕量化，70MB70MB內存占用內存占用可插拔邊緣設備管理框架，支持用戶自定義擴展，解耦底層設備通信解耦底層設備通信。kubeedge.io支持復雜的邊云網絡環境支持復雜的邊云網絡環境雙向多路復用的邊云消息通道雙向多路復用的邊云消息通道，支持邊緣位于私有網絡應用層可靠增量同步機制應用層可靠增量同步機制，支持在高時延、低質量網絡環境下工作應用應用/數據邊緣自治數據邊緣自治支持邊緣離線自治支持邊緣離線自治：邊緣元數據持久化、邊緣DNS，保證邊緣離線時的業務運行和故障恢復能力支持

10、邊緣數據流式處理，定義邊緣數據清洗邊緣數據清洗、數據分析數據分析等處理工作邊云一體資源調度和流量協同邊云一體資源調度和流量協同支持邊緣節點和云節點混合管理邊緣節點和云節點混合管理提供邊云數據通信邊云數據通信和邊邊數據通信邊邊數據通信KubeEdge架構-Cloudkubeedge.io EdgeController邊緣節點管理應用狀態元數據云邊協同 設備抽象API/DeviceController接入和管理邊緣設備設備元數據云邊協同 Sync Controller應用層邊云協同可靠性，保持云邊最終一致 CSI Driver支持第三方CSI插件無縫集成 Admission Webhook實現邊緣

11、應用最佳實踐；擴展API輸入校驗CloudK8s masterEdge ControllerDevice ControllerCloudHubList/WatchEtcd StoreAdmission WebhookKubeEdge CSI DriverWebSocketEdge NodesEdge NodesEdge NodesSyncControllerKubeEdge架構-Edgekubeedge.io EdgeHubMessaging over WebSocket 提供可靠的云邊信息同步 MetaManager元數據本地持久化邊緣提供可靠邊緣提供可靠K8sK8s原生原生APIAPI訪問

12、訪問 EdgedKubelet-lite輕量化實現Pod生命周期 DeviceTwin同步設備信息到云端 EventBusMQTT client，邊緣設備、應用無感知通信EdgeEdgeHubEventBusWebSocketMQTT BrokerDeviceTwinMetaManagerEdged（Kubelet-Lite）CloudCloudHubEdge StoreGlobal StoreRuntimeDockerContainerdCRI-ORuncKataRunvEdgemeshCSICNIMonitoring Meta ServerK8s OperatorDevice Manage

13、ment Interface：下一代云原生邊緣設備管理標準KubeEdge Cloud ClusterEdgeCoreEdgeHubDevice Manager（Device Twin）MQTT BrokerDeviceModel API(CRD)Mapper Container模型解析pluginsOPC-UA pluginModbus pluginBluetooth plugin數據采集數據轉發Device ControllerCloud HubKubernetesDevice API(CRD)CloudEdgeData APPin Cloud DMI 標準API（Rest）Data AP

14、Pon EdgeDataoverEdgeMeshData over EdgeMeshhttps:/cf.io/blog/2022/10/05/kubeedge-design-and-implementation-of-the-next-generation-cloud-native-edge-device-management-standard-dmi/解耦設備管理面與設備業務面數據設備數據微服務化，Device as a Service幫助開發者專注于業務應用開發本身降低云邊通道擁塞可能，提高系統可用性提供更靈活、更統一的標準化設備管理方式EdgeMeshkubeedge.ioEdgeMes

15、h-proxy負責邊緣側流量轉發邊緣內置域名解析能力，不依賴中心DNS支持L4，L7流量治理支持跨越邊云的一致的服務發現和訪問體驗*跨子網通信*使用標準的istio進行服務治理控制Sedna:AI邊云協同套件kubeedge.io 提供AI邊云協同框架 跨邊云的數據集和模型管理 支持多種邊云協同訓練和推理模式 協同推理 增量學習 聯邦學習 終身學習 開放生態支持業界主流AI框架：TensorFlow,Pytorch,Paddle,Mindspore等提供開發者擴展接口，支持快速集成第三方算法 背景與挑戰 KubeEdge架構及核心技術 KubeEdge社區發展社區發展 KubeEdge落地案例

16、 展望KubeEdge社區 持續活躍引領創新豐富多樣的產學研伙伴生態全球化的社區開發者生態6.2k+Stars1.8k+Forks1.2k+Contributors300+Code Submitters80+Organizations 背景與挑戰 KubeEdge架構及核心技術 KubeEdge社區發展 KubeEdge落地案例落地案例 展望 24基于KubeEdge/Sedna的云原生衛星計算平臺衛星衛星衛星地面信號站衛星地面信號站地面控制中心地面控制中心KubeEdge-KubeEdge-EdgeCoreEdgeCoreKubeEdge KubeEdge CloudCoreCloudCor

17、e農田檢測模型（小模型）狀態數據狀態數據應用數據應用數據控制指令控制指令高精度農田檢測模型（大型）SednaSednaSednaSedna狀態數據狀態數據應用數據應用數據農田統計APP控制指令控制指令圖片處理應用模型增量訓練算法解決方案競爭力解決方案競爭力多模型協同推理多模型協同推理，星上小模型滿足低時延要求，地面大模型提升難例識別精度。難例增量訓練難例增量訓練，星上模型迭代優化，自動更新，提升星上智能等級。云原生應用管理云原生應用管理，地面統一可視化運維，衛星資源、應用狀態、日志全局把控?？蛻魞r值客戶價值星地數據傳輸量降低 90%+90%+。大小模型協同推理，對比衛星小模型，對象識別精度提升

18、 50%+50%+。原始驅動力：原始驅動力：衛星資源受限，星上分析精度低，難以滿足要求。星上數據采集、地面分析推理，海量數據傳輸，星地通信網絡難以承載。應用“太空漫步”，運維、升級困難。生產案例 管理中國高速公路上的十萬個邊緣節點kubeedge.io業務收益業務收益 助力省界收費效率提升：助力省界收費效率提升：小型車收費時間 15s-2s 大型車收費時間 29s-3s 邊云協同應用運維管理：邊云協同應用運維管理：云端統一管理10萬邊緣節點，50萬邊緣容器應用EdgeCore EdgeCore 收費應用路段路段A-A-收費收費站站ETC門架-1（x86）ETC門架-N（ARM）視頻采集車輛管理

19、EdgeCore EdgeCore 收費應用路段路段A-A-收費收費站站視頻采集車輛管理EdgeCore EdgeCore 收費應用路段路段B-B-收費收費站站ETC門架-1（x86）ETC門架-N（ARM）視頻采集車輛管理EdgeCore EdgeCore 收費應用路段路段B-B-收費收費站站視頻采集車輛管理Kubernetes+KubeEdgeKubernetes+KubeEdge路網中心云路網中心云應用中心算法中心視頻云中心監控運維中心收費中心生產案例 天翼云大規模CDN節點管理平臺 節點管理應用管理容器編排鏡像管理CloudCoreCDN PaaS PlatformCentral Cl

20、oudRegion監控日志Region KubernetesCloudCoreCloudCoreCDN Node1 EdgeCoreAudio/Video APPWeb APPLive APPContent DistributionCDN NodeN EdgeCoreAudio/Video APPWeb APPLive APPContent DistributionCloudCoreRegion KubernetesCloudCoreCloudCoreCDN Node1 EdgeCoreAudio/Video APPWeb APPLive APPContent DistributionCDN

21、NodeN EdgeCoreAudio/Video APPWeb APPLive APPContent DistributionCDN Nodes生產案例 上汽車云協同管理平臺kubeedge.io 大規模管理10萬+節點管理百萬級邊緣設備 輕量級架構 易擴展性多K8s集群管理自定義消息路由 其他邊緣自治.穩定:CNCF edge computing framework活躍的社區生產案例 浙江志誠軟件智慧停車平臺kubeedge.io 挑戰 復雜網絡拓撲、不穩定網絡接入 需求高度定制、快速迭代更新 異構硬件的挑戰 應用效果停車場設備智能接入業務數據的雙向同步短時離線工作能力負載均衡和高可用性持

22、續交付、快速部署和更新應用多停車場聯動生產案例 管理世界最長跨海大橋上的所有監控設備kubeedge.io數據安全數據處理MQTTMQTTBrokerBroker設備接入數據可視化資源管理平臺可靠應用管理邊緣AI數字大屏數據存儲KubernetesKubernetesCloudCoreCloudCore音視頻流數據緩存數據轉換EdgecoreEdgecoreLocalLocalDatabaseDatabase邊緣應用 1邊緣AI應用中心云平臺數據上報應用運行時CloudEdgeDevices藍牙音流數據IMU(TTL)Modbus-RTU設備數據收集百葉箱IMU麥克風PM2.5雨雪監控應用監控

23、數據設備數據 背景與挑戰 KubeEdge架構及核心技術 KubeEdge社區發展 KubeEdge落地案例 展望展望多領域、多場景通用邊緣計算平臺KubeEdge社區治理，支撐社區生態增長組織運作策略：開發治理：開發治理：責任模塊化，生態開放 TSCTSC：社區技術委員會，中立決策，促進社區開放治理 SIG-ArchSIG-Arch：社區頂層關鍵技術決策 SIG-ScalabilitySIG-Scalability：性能測試，輸出性能測試報告，項目畢業強需求 SIG-SecuritySIG-Security：邊緣安全加固，促進項目畢業 SIG-TestingSIG-Testing：輸出社區測

24、試框架、用例，一致性測試套，推進一致性認證 SIG-ReleaseSIG-Release:吸引社區成員加入主導 SIG-Cluster LifecycleSIG-Cluster Lifecycle：吸引社區成員加入主導，增強項目易用性技術生態運營：技術生態運營：協同伙伴，聯合宣傳組織布道師團隊，吸引社區人才加入，擴大宣傳發聲管道組織媒體營銷團隊，吸引社區成員投入，形成聯合運營、宣傳用戶生態運營：用戶生態運營：輸出標桿案例，卷入新用戶組織用戶組會議，成立用戶委員會User CommitteeUser Committee，持續卷入新用戶，推進用戶生態繁榮成立用戶生態運營組，輸出標桿案例宣傳，吸引新

25、用戶落地ReviewerApproverSubprojectOwnerMember開發治理開發治理開發者層級開發開發 組織組織用戶生態運營用戶生態運營技術生態運營技術生態運營KubeEdge社區社區布道師團隊布道師團隊營銷組織團隊媒體運營團隊用戶委員會用戶委員會用戶生態運營團隊Technical Steering CommitteeWorking GroupUser GroupSIGScalabilityArchReleaseCluster LifecycleSecurity云邊通信云邊通信Device-IOTTestingAIMEC社區總體架構看護社區版本發布集群部署管理邊緣安全管理云邊數據面、控制面通信社區測試、一致性認證測試套Device-IOT集成邊緣AIMEC大規模、穩定性測試StorageNode邊緣存儲邊緣節點容器魔方公眾號掃碼添加小助手發送“KubeEdge”加群社區專家入駐技術問題隨時答疑每日推送圖文社區最新動態直播課程、技術干貨加入社區加入社區https:/