2019年多云管下的自動化運維架構.pdf

《2019年多云管下的自動化運維架構.pdf》由會員分享，可在線閱讀，更多相關《2019年多云管下的自動化運維架構.pdf（29頁珍藏版）》請在三個皮匠報告上搜索。

1、多云管下的自動化運維架構Bespin 高級研發總監目錄 行業趨勢分析 多云下運維的挑戰 多云平臺架構如何設計？困難以及挑戰 資源統一管理 監控 賬單 未來的展望行業趨勢分析2017 年主流公有云故障 2018 年主流公有云故障 2019 年主流公有云故障 1%的機率毀掉一家公司行業趨勢分析多云下運維的挑戰NginxNginxLVSLVSNginxDBDBNgxNgxLVSLVSNgxDBDBNgxNgxLVSLVSNgxDBDB業務架構不斷演變多云下運維的挑戰NgxNgxLVSLVSNgxDBDBRegionNgxNgxLVSLVSNgxDBDB機房NgxNgxLVSLVSNgxDBDB海外云

2、故障時，影響不及時 不可控 集中式監控成本高 難統一 排查定位問題成本高 跨度大 業務成本難以核算 賬單難處理。多云下運維的挑戰Gartner：云管理平臺需要具備多云管理、自服務、計量計費、資源彈性及服務編排，能夠自動化部署和配置相關資源，可以與企業現有IT管理系統集成的服務化能力云管平臺架構設計私有云公有云虛擬化接口適配多云統一編排自助服務多云管理資源優化云管平臺架構設計Performance MonitoringITSMResources ManagementCMDBServiceTreeWorkFlowTicketingIntegration ConfigurationIdentity

3、ManagementIntegration MonitoringChina CloudOverseas CloudAWSAliyunTencent cloudHuawei cloudAWSAzureGoogleKsyunFusioncloudVMwareVspherePrivate CloudCloud Managed PlatformCloud foundryetcIntegration PaaS ServicesLDAPZabbixAnsibleCAFalconCAEtcPuppetOtherOrchestration&GovernanceKong Api GatewayELKAPMAut

4、omateStorageOpsnow-S3S3SecurityAnalyticsCots optimizationResources optimizationBig data platformAIOpsAIgorithmsMachine LearningOpen-falconDeployTestingCI buildingSource controlVpnAvJumpserverFirewallForecast future costsEMRTalkingdataGrowingIOSparkNetworkotherLbsBillingotherawsOperation CenterPortal

5、/SSOAsset MgtMonitoring DashboardTicketingAsset ManageDevOpsBillingGlobal TicketingBSP AdminSecurityBigDataService PortalV?MockjsGrafanaKibanaNginXEchartsElement-uiPresentation LayerServices LayerSpring FrameworkSpring BootOAuth2.0JenkinsSonarQubeGitlabInfluxdbMySQLRESTful APIAccess Layer云商接口不統一 SDK

6、 異常 賬單 參數字典及轉換 異步任務 日志統一挑戰：資源統一管理Sprint CloudSprint BootCommon挑戰：資源統一管理Rest APIAPI Gateway(Kong)EventBus SerIAMMessage QueueServiceinterceptorControllerCloud ServiceSDKSDKORM(Mybatis)Message busEvent bus clientAsync JobmanagerLog4j2OtherPrivate Cloud Public Cloud MySQL Cluster RedisAuthQueryCacheMes

7、sageJob Scheduler QuartzConfig CenterRegistory Center Eureka 云商返回數據：subnetId:subnet-03ecc249,memory:32GB,instanceId:i-0ab3883e5a58806e7,networkInterfaces:networkInterfaceId:eni-661f745c,privateIpAddresses:association:ipOwnerId:595042110259,publicIp:52.83.187.223,publicDnsName:ec2-52-83-187-northwest

8、- ,privateDnsName:ip-172-31-38-northwest-pute.internal,privateIpAddress:172.31.38.32,primary:true ,資源統一管理：表結構subnet_idxxxxmemoryinstance_idxxxxxxxxxxxxbuketxxxx_nameownerregionxxxxxxxxxxxxIp_address_typexxxbalance_arnbalance_namexxxxxxxxxxxxinstance_classengineengine_vesionxxxxxxxxxxxxSDKCommon服務調用關

9、系圖Aliyun ServiceAWS ServiceHuawei ServiceOther ServiceMQQuartzAccount ServiceRedisMySQLAliyunAWSHuaweiOther通用的參數在攔截器獲取實現，并注入到log4j的MDC 使用時沒有侵入，自動將通用參數寫入日志 標準化：統一日志規范和記錄日志方式資源統一管理：日志LoginterceptorControllerCloud ServiceInject basic infoHttpRequestLog4j2Get basic infoLog appender1.云商統一入庫邏輯，通用字段抽?。╟pu,

10、mem,network），詳細信息放子表 2.單位不同的數據，通過base_convert 表轉換（名字映射，單位轉換，格式化）安全組id和名字在阿里和aws都不相同，通過轉換后可以統一 統一規則保證入庫邏輯 3.Account Service 主表與詳情表拆分，統一（key,value），兼容所有云商 4.數據變更采用Redis緩存，數據對比邏輯統一封裝，差異化自行判斷后入庫 每個云商獨立封裝，Spring Cloud 將服務微服務化，統一封裝：異常接口，國際化，日志等；配置中心解決每個云商的差異以及加密。服務調用邏輯&亮點資源統一管理：展示云PaaS延遲 資源監控整合 報警優化 業務監控信

11、息展示挑戰：監控挑戰：監控架構設計CMAIaaSPaaS挑戰：監控架構設計云商云商云商云商云商云商Open-FalconCMM業務業務CMDBServiceTreeAlarm自動收斂 IP 維度網段維度告警類型利用服務樹節點繼承快速實現報警配置 Agent與云商監控關聯至服務樹，快速展示數據 通過服務樹自動生成業務關系拓撲、報警關系、可視化 將原有的json rpc協議替換成GRPC，充分利用protobuf序列化的高性能 采用 tsl 協議利用證書進行加密核心功能點監控：展示跨云費用統計能力 云費用與組織、業務架構聯動的能力 成本優化的能力挑戰：賬單 賬單數據采集處理模塊資源數據挑戰：賬單架

12、構云商采集云商云商提煉聚合賬號設置資源關聯數據存儲（分層）費用預測費用分攤費用匯總賬單導出比價優惠新增策略修改策略預算設定費用對比費用通告費用預警業務數據監控數據判定引擎執行引擎費用展示成本優化預算管理告警通知外部接口云商賬單多云賬單接口差異大、采集方式不同 Aws 8小時更新一次 次日賬單 存儲桶導出 API 接口 費用類型差異大 資源費用、服務費用、稅費 按需付費、包年包月 抵扣、折扣、退款 按小時統計數據量大技術挑戰：賬單的差異1.架構：Scheduler-Worker 2.采集：1.為不同云商、不同使用模式(如AWS賬單系統分DBR(Detailed Billing Reports)和

13、CUR(Cost and Usage Reports)3.存儲：1.數據聚合：將按小時記錄的原始費用聚合為按天，整體上減少數據量且不影響分析需要 2.分表存儲：賬單具有周期特性，天然適合將數據按照周期分表存儲 3.預先統計、分層存儲 4.精度：1.自動校驗：在數據的采集、處理各階段均加入準確性校驗 2.人工核對：加入人工核對窗口解決方案1.云費用與組織、業務架構聯動的能力：費用數據關聯到ServiceTree 2.成本優化分兩個方面：1.低利用率報告：通過整合監控系統提供的實例使用率及云商資源價格數據，篩選分析出實例是否可以通過在同系列內降配以節省成本；2.RI購買推薦：通過分析AWS 實例的按需使用和RI的使用情況(使用率、覆蓋率)，結合價格數據推薦最佳的RI購買方案：包括購買類型、數量，以及不同購買方式(時長、預付方式)下的費用節省比例成本優化賬單：展示K8s的深度集成 CMP 云商的更快速接入 產品多元化的挑戰 未來的展望