2018年快手服務治理平臺KESS的設計理念和實戰.pdf

1、快手服務治理平臺 KESS的設計理念和實戰快手服務架構和服務化背景服務治理方案選型痛點分析和設計理念應用現狀和未來的計劃快手，記錄世界 記錄你80億條海量視頻1.5億日活獨特用戶體驗解決十億級“長尾”視頻的高效分發極簡的前端入口復雜的后臺邏輯AI 技術快手背后的技術挑戰“爆款”視頻“長尾”視頻數億用戶多樣性內容的分發 v.s.有趣的用戶體驗Kuaishou ServiceTranscoderBlob StoreUpload APILVSMMUAdAuditAPIRecoPassportMessage FEMessage SrvMCUMedia ServiceUpstream APIVideo

2、CDNStreaming CDN視頻播放頁面請求、視頻上傳等直播上行直播下行私信快手服務架構簡化示意服務化面臨的挑戰不斷增長的服務規模整體服務質量保證跨地區的業務開發快速擴張的工程師隊伍服務發現和配置管理容錯容災和監控支持多地多數據中心保證開發效率和質量服務治理快手服務架構和服務化背景服務治理方案選型痛點分析和設計理念應用現狀和未來的計劃服務治理基本需求1相對完善的基礎平臺和組件：2支持多語言：Java,C+,Node.js,Python3高可用，高可伸縮性4支持混合云，盡量兼容原有基礎設施配置中心服務發現和路由管理服務質量監控服務開發框架核心痛點1服務治理平臺自身的可用性2跨數據中心的路由管

3、理3有狀態服務管理4復雜服務調用網絡的監控方案選型大量的業內實踐經驗可供參考與實際需求存在差距，改造成本可能很高基于開源方案二次開發優點缺點可供參考的信息少，容易走彎路可以充分基于實際需求設計方案，可控性強自研方案優點缺點服務治理需求復雜多樣，方案也不好簡單歸類，這里僅為方便介紹，不宜作為嚴謹參考常見服務治理方案簡單基于分布式協調系統Zookeeper,Etcd服務發現和配置管理中心Consul,Nacos集成服務治理的單語言 RPC 框架Spring Cloud,Dubbo集成服務治理的多語言 RPC 框架Tars容器化平臺Kubernetes,Istio開源方案不能很好地滿足基本需求在一些

4、核心痛點上，開源方案的改造成本過高需要能夠快速迭代，跟上業務增長的步伐自研快手服務架構和服務化背景服務治理方案選型痛點分析和設計理念應用現狀和未來的計劃痛點一：服務治理平臺自身的可用性多數據中心架構數據同步和緩存服務治理平臺決定了業務可用性的天花板預防各種天災和人禍Zookeeper 的局限性Division(Central)IDC1(Secondary)Division(KR)BridgeKESSIDC2(Primary)KESSIDC3(Secondary)KESSDivision(IN)KESSMandatorAgentSDKDistributeWriteReportStorage多地多

5、數據中心拓撲Secondary IDCWriteZKMandatorAgentFS/SHMApplicationZKMandatorAgentFS/SHMApplicationPrimary IDC配置分發高可用設計配置數據同步協議 最小同步單元:ConfigDir 修改原子可見 滿足 BASEZK 的使用 高可用小數據量 KV 存儲 由上層處理多 IDC 數據同步 既推又拉：不依賴于通知機制核心模塊去單點 主從熱備Report aliveSync route tablesDump raw data write route tables Merge raw data 服務發現高可用設計Remo

6、te ZKLocal ZKConfiguratorApplicationMandator默認就近訪問但是也有例外：IDC AIDC AIDC B100%0%就近訪問IDC AIDC AIDC B50%50%流量調度痛點二：跨數據中心的路由管理 機器資源不均衡 流量預估不足 突發下游故障主調服務被調服務主調服務被調服務痛點三：有狀態服務管理特定領域的有狀態服務開發需求消息服務、推薦、多媒體數據分析等業務服務無狀態離不開底層的分布式存儲隨著業務規模擴大，有定制化需求典型案例：有狀態服務Crux：多地多活長連接會話緩存服務 持久化，異步寫入，入庫延遲 10ms，1000萬+QPS（讀/寫）支撐主AP

7、P消息服務：1億+用戶，同時在線 1000萬+Connection ManagerS1S2S3Session ManagerL1L2L3S4CruxS1S2S3S4有狀態：TCP連接有狀態：用戶會話無狀態：業務邏輯狀態管理和路由預分片自動平衡狀態遷移數據分片主從多副本平滑擴縮容失效備援多數據中心每個分片的每個副本都有 4 種狀態KESS 向業務進程發送狀態遷移指令，業務響應事件即可狀態遷移：擴縮容及失效備援OfflineSyncSlaveMaster痛點四：復雜服務網絡的監控RPC Monitor服務依賴復雜，誰調了我，我又調了誰？單機指標可參考性差，我的服務質量究竟怎么樣？出了故障，怎么快速

8、定位？上游大量超時，誰在拖后腿？下游服務容量告急，是因為沒有及時擴容嗎？實時可用性多維分析調用鏈分析RPC Monitor 核心功能Micro ServicesLBA1B1C1API1C2D1C4D2API2D3A2A3B2B3API3C3快速故障定位核心指標 QPS、延遲、成功率核心維度 方法、返回值、實例、機房快手服務架構和服務化背景服務治理方案選型痛點分析和設計理念應用現狀和未來的計劃KESS 平臺整體架構回顧SchedulerConfiguratorReplicatorDiscoveryRoute managementDegradeAPIApplication FrameworkGRP

9、CHTTP RedisKConfVersionPolicyRPC MonitorMetric AggregationAlert IntelligenceCall Chain AnalysisService MeshEnvoyPerf logGrafanaFalconCache應用現狀1000+微服務10000+服務器（物理機/虛擬機）4 國家/地區分布在 10+數據中心/云機房平臺可用性 99.997%跨機房調度次數 100+/月RM 報警數 100+/日50%+故障通過RM發現并定位未來的計劃1支持更多編程語言2探索與 Service Mesh 的更好的結合3進一步屏蔽業務對多數據中心的感知