何威-云巢一站式云原生有狀態服務平臺（30頁）.pdf

1、?背景背景：什么是騰訊云云巢？云巢誕生的背景：什么是騰訊云云巢？云巢誕生的背景挑戰挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰落地落地：云巢的設計原則，能力定義，技術架構，核心要素：云巢的設計原則，能力定義，技術架構，核心要素收益收益：3步完成有狀態服務云原生化管控，案例步完成有狀態服務云原生化管控，案例?基于 Kubernetes 容器化架構，為各類有狀態服務有狀態服務或產品，提供統一統一的應用管理、集群管理和資源管理能力，助力各有狀態服務快速實現容器化容器化?；诨贙8S容器化架構容器化架構統一的公共邏輯抽象與模型統一的公共邏輯抽象與模

2、型攻克有狀態服務云原生化攻克有狀態服務云原生化云原生的設計模式云原生的設計模式成熟運營多款有狀態服務成熟運營多款有狀態服務覆蓋騰訊云全行業客戶覆蓋騰訊云全行業客戶一站式云原生有狀態服務平臺一站式云原生有狀態服務平臺?數據庫引擎技術發展數據庫引擎技術發展單機單機分布式分布式云原生云原生豐富的云產品形態豐富的云產品形態IDC私有云私有云公有云公有云混合云、分布式云混合云、分布式云TDSQL-CAuroraSnowflakePolarDB云管理平臺的云原生化云管理平臺的云原生化云管理平臺多云合一云管理平臺多云合一統一平臺統一平臺DTSDBSDMCDBBrain產品矩陣MySQLCTSDBPostgr

3、eSQLRedisTDSQL?DTSDBBrainDBSDMCMySQLCTSDBPostgreSQLRedisTDSQLTDSQL-HSaaSPaaS需要一種云原生時代，面向多云的，一站式云數據庫建設和管理平臺需要一種云原生時代，面向多云的，一站式云數據庫建設和管理平臺減少重復建設減少重復建設沉淀可復用能力沉淀可復用能力更有效的資源管理更有效的資源管理背景背景：什么是騰訊云云巢？云巢誕生的背景：什么是騰訊云云巢？云巢誕生的背景挑戰挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰落地落地：云巢的能力定義，設計原則，技術架構，核心要素：云巢的能力定

4、義，設計原則，技術架構，核心要素成果成果：一站式云原生平臺能力，案例：一站式云原生平臺能力，案例?數據庫云管平臺數據庫云管平臺節點具有節點間有依賴可保障可靠要求數據和狀態持久化基于基于K8S實現有狀實現有狀態服務的云原生態服務的云原生化化復雜的外部訪問式Kubernetes私有云公有云混合云分布式云容器化數據庫服務多云合一多云合一復雜的有狀態服務單集群容量限制多集群管理K8S 集群K8SK8S運維段變?騰訊云云巢是如何直挑戰？統一服務平臺有狀態服務多種多樣，如何抽象？對新的服務搭建有夠吸引嗎？背景背景：什么是騰訊云云巢？云巢誕生的背景：什么是騰訊云云巢？云巢誕生的背景挑戰挑戰：來自云原生化、運

5、維部署、統一平臺多維度的挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰落地落地：云巢的設計原則，能力定義，技術架構，核心要素：云巢的設計原則，能力定義，技術架構，核心要素收益收益：3步完成有狀態服務云原生化管控，案例步完成有狀態服務云原生化管控，案例2134安全穩定規范標準降本增效能增強云巢統于K8S標準范式，不做特制。提供統的有狀態服務接接安全穩定性是平臺存在的基，是各業務采云巢作為平臺的最基礎要求。在有狀態服務接階段，幅提研效，降低復雜度。在運營階段，降低運維運營成本。從平臺層提供體化能。細分能持更完備，能組合更靈活。復雜性不增加?資源模型：有狀態服務資源模型 資源控制：資源管理控制器

6、，根據資源模型統一設計 集群管理：多資源集群管理，容量無限水平擴展資源管理資源管理 接口管理：為有狀態服務提供統一控制面 作業平臺：計算資源彈性調度，業務作業靈活編排 配置管理：配置的管理、下發、版本控制 自定義能力：如高可用/發布部署等應用管理應用管理 統一運維管理系統：統一的運維門戶及核心工具 可觀測系統：結合日志、事件、指標等提供服務可用性觀測能力 混沌平臺：混沌底座，異常注入，穩定性極限壓測運維管理運維管理領域模型領域模型 領域模型：抽象出有狀態服務的核心領域，如調度，網絡，探活策略等等 屬性：一個領域模型有不同的屬性，需要不同的實現方式。例如HA領域模型有原地拉起或是主從切換等等。云

7、巢資源管理配置管理鏡像管理運維管理監控告警權限控制綜合的資源支撐有狀態服務TDSQL TDStoreRedisTDSQL-H LibraDBKonisGraphRocketMQ可觀測性云巢應用管理統一的云管平臺作業平臺調度系統領域模型生命周期管理智能HA應用抽象容器底座.X86/TencentOSX86/TencentOS鯤鵬/麒麟鯤鵬/麒麟Arm/Tencent OSARM/Tencent OS多集群管理存儲管理資源裝箱隔離保護網絡管理探活策略騰訊云云巢騰訊云云巢云產品Kubernetes?JobsK8S元數據控制器流程管理流程引擎WF123createupgrade資源調度管理CRDCRD

8、資源管理資源管理資源調度管理CRDCRD資源管理資源管理CBSCOSCVMVPCCLS管理系統事件告警應用管理應用管理業務作業臺業務作業臺運維管理運維管理有狀態服務有狀態服務日志?資源調度管理CRDCRD資源集群資源集群集群調度元數據集群管理集群管理多集群管理l提供秒級集群元數據采集，信息維護l提供靈活裝箱調度器，實現業務上層資源集群無感知集群裝箱控制鏈路控制鏈路資源調度管理CRDCRD資源集群資源集群現狀分析l單個資源K8S集群支持 15W Podl單個Region 資源模型上限 20w+實例規模?數據庫常見模型分析：l主從關系：MySQL/SQL Server/PostgreSQL/Red

9、isl多層樹狀類型：TDSQL集群版l網狀結構：Codis/ClickHouse/TDSQL-C計算節點分布式存儲協調proxyM-SM-SMasterSlave主從類型樹狀類型類型網狀類型類型計算節點proxyM-SM-SMasterSlave 云巢平臺：l使用K8S CRD 模型抽象數據庫資源拓撲l模型對象統一調度管理CRD流程系統資源管理系統HA系統云巢平臺云巢平臺數據庫實例模型數據庫實例模型K8SMSproxypoxyM-S計算協調存儲主從類型樹狀類型類型網狀類型類型物理分布物理分布K8SInstance clustersetsetpodpodpodpodpodpod容器模型容器模型資

10、源管理：資源模型client配置件腳本命令服務發現業務容器Sidecar業務容器增強集中管理靈活控制業務資源隔離?控制器ServicePodClickHouseInstancecluster資源拓撲資源拓撲?ClickHouseInstancecluster依賴組組訪問屬性屬性ZookeeperClickHouseZookeeperClickHouse固定：固定：標準定義標準定義變化：變化：領域知識領域知識instanceclusterScheduler PolicyIngressRelationshipProbe policyBackup policy.領域模型控制器有狀態服務領域模型通過領

11、域模型與屬性建立映射，構建可裝配的平臺私有云Redis調度策略Underlay絡主從模式高可用備份策略監控采集領域模型控制器TDSQLTDStore調度策略Overlay絡Raft集群模式高可用監控采集領域模型控制器?方案目標：l滿足節點啟動順序要求l兼顧發貨效率要求串行啟動，隨著節點數增加性能急劇下降容器能力分析：lPOD 生命周期 hook 點:init-container PODInit-1Init-2Pre-startMain-containerPre-stopLiveness probeReadiness probeInit-containerinitruntimeinitconta

12、inerBiz-containerzkinitinitcontainerBiz-containerck控制器并行創建waitwait方案設計：lPOD 并發創建lInit-container 阻塞業務進程l業務自定義依賴啟動策略initruntimeinitcontainerBiz-containerzk控制器Quitinit runtimeinitcontainerBiz-containerCKwait啟動策略initruntimeinitcontainerBiz-containerck統一資源生命周期控制器，優化調度邏輯設置自定義資源控制策略模型?runtimeinitcontainerc

13、k云巢配置中心設計lTranslator配置文件，通過 類Python語言提供簡單編程l業務配置文件接入，無侵入云巢平臺難點l配置是數據庫實例的元數據層，數據庫啟動配置依賴配置lTranslater 層不能有侵入性配置中心配置模版TranslatorCRD控制器initruntimeinitcontainerBiz-containerset1initruntimeinitcontainerBiz-containerSet2發貨：下發配置waitwait獲取value獲取模板Sidecar-agentSidecar-agent運行：下發配置?MySQLMySQLDataData主從關系Write

14、MySQL集群ClickHouse集群ZooKeeperClickHouse網絡故障服務故障資源搶占服務進程故障：OOM、假死等網絡故障：網絡隔離等導致組件無法聯通資源搶占：運行實例POD 由于故障銷毀重建，資源被新增實例搶占無法恢復領域模型：故障場景問題點lK8S 健康檢查不滿業務需求l實例異常判定較復雜：進程假死/絡隔離/磁盤只讀？案l開發云巢Probe拓展K8S liveness check 能力l多維度數據采集，業務配置異常情況決策模型POD云巢probeprobecmdkubeletNODETcp/httpapiexec事件系統撥測系統云巢管控監測系統撥測系統云巢管控云巢管控HA仲裁

15、!#$%指標撥測任務異常事件HA 處理策略模型管控命令HA領域算子Liveness check多維度數據采集?網絡安全lNetworkPolicy 限制最小化網絡訪問權限l用戶請求鏈路通過安全組進行安全過濾ZK-ACK-ANetwork-policyNodeXVPC-BGW云巢網絡租戶網絡ZK-BCK-BNetwork-policyVPC-BGW安全組安全組?Node問題點l不同數據庫服務有類似功能創建實例作業CreateResourceTemplate公共作業集合鎖定實例作業LockResourceTemplate綁定網絡作業NetworkBindTemplate解鎖實例作業Resource

16、UnlockTemplate業務關心部分創建實例鎖定實例綁定網絡解鎖實例只用關心工作流編排，只用關心工作流編排，不需要關心具體代碼實現。不需要關心具體代碼實現。原子解耦復用，原子解耦復用，公共公共作業關心實現，不關心業務邏輯。作業關心實現，不關心業務邏輯。?設計方案l同步接口通過公共微服務合理抽象直接提供l異步流程通過分布式作業平臺進行聯合完善混沌平臺l混沌測試平臺chaos-mesh引，提供系統整體可性評估DSL-EngineWF12Failover場景絡異常場景場景測試 Daily BulidK8S api-serverChaos controller managerChaos deamo

17、nkubeletPODInject stress/Network/IO/List/Kill PODCreate/Delete/Update Event&()Chaos混沌平臺混沌平臺引入開源chaos 平臺，進行混沌測試1.POD 任意KILL2.注入網絡異常3.設置IO延遲等場景，測試系統穩定性DSL 編排沉淀現網異常流程場景1.異常刪除場景2.網絡異常場景等，測試 case 集合3穩定性沉淀?背景背景：什么是騰訊云云巢？云巢誕生的背景：什么是騰訊云云巢？云巢誕生的背景挑戰挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰：來自云原生化、運維部署、統一平臺多維度的挑戰落地落地：云巢的設計原則

18、，能力定義，技術架構，核心要素：云巢的設計原則，能力定義，技術架構，核心要素收益收益：3步完成有狀態服務云原生化管控，案例步完成有狀態服務云原生化管控，案例K8S底座公有云TKE/EKS業務層內核層配置中撥測系統調諧器監控系統schedulerclusterLBHA資源管理平臺云巢init-containerbiz-containersidecar-agent.PODKonisGraphTDSQL-H LibraDBTDSQL TDStore私有云TCS/TCEalleyway集群管理平臺oss實例命周期作流引擎、作業平臺集群元數據配置模版絡管理HA 策略安全組CDC按量計費配置管理命令通道w

19、orkloadDTSDMCDBSDBBrainSaaS服務Redis1:展現層封裝3:內核鏡像編寫2:編排配置領域策略?新的有狀態服務上線，通過接云巢，只需3步完成騰訊云數據庫騰訊云數據庫RedisRedis騰訊云數據庫 Redis（TencentDB for Redis）基于云巢完成了云原生改造。騰訊云數據庫 Redis是騰訊云打造的兼容 Redis 協議的緩存和存儲服務。豐富的數據結構能幫助您完成不同類型的業務場景開發。支持主從熱備，提供自動容災切換、數據備份、故障遷移、實例監控、在線擴容、數據回檔等全套的數據庫服務。1010萬萬級實例級實例2020萬億萬億次請求次請求/天天PBPB級級數

20、據量數據量規模規模90%90%頭部客戶頭部客戶產品上線周期縮短：產品上線周期縮短：70%70%測試周期縮短：測試周期縮短：50%50%提研效提研效多云合一產品布局：公有云、私有云和混合云多云合一產品布局：公有云、私有云和混合云提質量提質量降成本降成本RTORTO縮減縮減30%30%0 0事故事故采購碎片采購碎片IaaSIaaS資源資源高裝箱率高裝箱率?騰訊樂享騰訊樂享騰訊樂享是一站式企業社區，提供在線課堂、考試、學習地圖、直播、文檔、問卷調研等多項應用服務。疫情期間，騰訊樂享率先全面開放平臺各項能力，為學校、醫院、政府、企業提供服務。在基于云巢平臺的HTAP數據庫TDSQL-H LibraDB支持下，樂享年度報告功能于12月27日順利上線。訪問次數開啟企業數200200多個多個數據庫30003000多萬多萬張表上百億條上百億條數據16倍45倍云巢云巢TDSQLTDSQL-H LibraDBH LibraDB20天內更多案例更多案例云巢支持了10+產品或服務：Redis，HTAP數據庫TDSQL-H LibraDB，分布式數據庫TDSQL TDStore，KonisGraph圖數據庫，RocketMQ?