微博混合云極端流量下的峰值應對與架構挑戰（32頁）.pdf

1、極端流量下的峰值應對與架構挑戰王關勝資深運維架構師微博混合云DCP目 錄content一、業務背景及峰值應對二、DCP的架構設計挑戰三、業務上云的標準姿勢微博業務背景及峰值應對Part1微博業務場景 極端流量常見特點：瞬間峰值高互動時間短挑戰：傳統應對手段成本高設備成本時間成本123產品上：迭代快現狀：功能多，依賴復雜挑戰：發布&變更頻繁運營上：大型活動&重要新聞的Push現狀：站內外，活動，運營，大V均有Push場景挑戰：全量極速下發，互動時間短技術上：突發的極端流量現狀：熱點多，#馬航370#劉翔摔倒#王寶強#挑戰：峰值應對，考驗服務的彈性伸縮能力總結：面臨的挑戰峰值應對 關注點可伸縮的業

2、務利用公有云私有云內彈性部署標準化基礎設施提高發布效率打通多語言環境全公司統一平臺快速擴容及時回收峰值應對 傳統手段Text in hereText in hereStep1 設備申請-設備申請，項目評審-入CMDB，上架裝機Step2 機器初始化-設備錄入資源池，初始化Step3 服務部署-環境部署-監控部署-服務部署（代碼&confs）-流量引入Step4 自動報修&下架-服務自動上下線-設備置換或下架業務運維可控業務運維可控峰值應對 DCP的彈性伸縮混合云DCP公有云私有云虛擬化物理機業務A業務B業務C化零為整：冗余池多云對接OpenStackKVM資源整合：VM池阿里云AWSVPC按需

3、付費：VM池混合云DCP資源管理池業務可彈性伸縮基礎設施可跨云Feature云化架構|基于docker業務服務化微服務化業務消息化多機房部署敏捷基礎設施持續集成多租戶&隔離彈性伸縮故障自愈峰值應對 DCP的彈性伸縮 私有云也彈性峰值服務保障 統一監控平臺峰值服務保障 核心鏈路服務自動伸縮峰值服務保障 預案&干預手段 預案：100+日常&應急預案重大活動，三節等預案手冊 服務降級：5000+開關 有效的干預手段Weibo DCP架構設計挑戰Part2微博DCP整體架構介紹私有機房公有云主機資源AdapterDockerSwarmMesosDispatch擴縮容集群服務配置日志故障轉移滾動發布業務

4、專線VPCJavaWebRPCPROCHadoopPHP大數據基礎設施服務發現Nginx、motanSLB、DNS鏡像中心Docker Registry監控中心容量評估編排調度主機Weibo DCP 架構設計挑戰1鏡像分發 鏡像分發鏡像優化分發速度 隔離設計平臺層隔離部署/實例隔離 彈性伸縮自動擴縮容故障轉移2隔離設計3彈性伸縮挑戰一：鏡像分發 鏡像優化 倉庫部署優化 Storage driver：Ceph 多機房部署：鏡像緩存Mirror內網阿里云業務集群業務集群分布式存儲RegistryRegistryRegistry鏡像緩存Mirror 鏡像制作優化 鏡像分層，逐層復用 制作微鏡像挑戰一

5、：鏡像分發 分發速度LVSNginxRegistryRegistryRegistryRegistryRegistry業務業務業務內網阿里云pullpullpullpullpullpull 部署模式 常規部署：最小化模式 彈性擴縮容：依賴模式 核心優勢 鏡像穿透：級聯&預熱 帶寬優化：打散 分發速度：千臺規模分鐘級 未來方向 支持p2p挑戰二：隔離設計 隔離模型集群服務服務服務服務池服務池ContainerContainerContainer.Container.平臺上隔離部署上隔離實例上隔離NodeNodeNode.Node微博平臺手機微博紅包飛Feed評論用戶Feed-dc1Feed-dc2

6、Feed-dc3CPUMEM資源池共享全局共享池集群Buffer池挑戰二：隔離設計 平臺層設計接入編排調度權限實例根容器用戶容器用戶容器用戶容器模板定義原子型API任務實例環境變量模板定義原子型API任務實例環境變量模板定義原子型API任務實例環境變量用戶A:產品線模塊:集群/服務用戶B:產品線模塊:集群/服務用戶C:產品線模塊:集群/服務JAVAPHPGUIREST API大數據業務用戶A操作域用戶B操作域用戶C操作域用戶A用戶B用戶C平臺層隔離實例隔離挑戰二：隔離設計 平臺用戶操作范圍1超級管理員集群管理員服務池管理員內網共享池管理阿里云ECS管理計費及賬單管理服務器錄入/還原Buffer

7、池管理配額及申請管理服務池擴縮容代碼構建及發布業務監控容量管理私有云：共享池公有云：阿里云服務池SrvPool設備池BufferPool集群Group集群內：自由擴縮容（可跨SrvPool）集群外：配額調度集群有配額：自動獲取資源/歸還集群無配額：先申請配額，再申請資源操作用戶視圖挑戰三：彈性伸縮 “無人值守”的擴縮容需要包括進化提供決策演練彈性伸縮峰值應對運維自動化預案演練業務指標容量指標監控容量決策系統無人值守擴縮容擴容縮容服務發現健康檢查資源管理任務管理發布初始化彈性伸縮故障遷移資源自動回收原子型接口挑戰三：彈性伸縮 擴容模板管理員混合云平臺公有云發起請求Buffer池1.資源評估調度中

8、心5.發起容器調度服務6.部署服務Consul集群7.服務注冊配額模塊2.配額評估資源不足共享池初始化模塊監控中心4/7層模塊ConfigSrv原子型API任務流量接入模塊服務檢查挑戰三：彈性伸縮 系統框架服務容量決策系統API Gateway原子API模板引擎任務狀態任務調度框架（Dispatch）DCP-基礎服務DCP-集群Buffer池多云對接/OpenStack/物理機彈性伸縮DCP-UI自動化伸縮核心Features1：流程串聯2：定時/自動觸發3：依賴機制4：并行化5：容錯機制6：可重入與冪等性挑戰三：彈性伸縮 原子型API任務系統Dispatch挑戰三：彈性伸縮 容量決策兩種決策

9、方式自動壓測：類Cron方式壓測方法：減少服務池可服務的實例數壓測機制：503.sh/200.sh壓測機指標：數據來源于監控中心（粒度10s）容量預估：數據來源于業務量監控同比分析環比分析容量評估產出：水位預警工具容量報表容量API集群容量數據一覽圖挑戰三：彈性伸縮 調度編排ConsulSchedulerCronTriggerConfigWatcherHeartBeatHttpRequestHandlerAPI Client修改、查詢擴縮容信息策略及業務信息KV信息Heartbeat監控策略變化通知調度策略變更同步操作及結果Master容器池服務發現執行調度策略UI上下線接口擴容、縮容、回收流

10、量容量決策支持系統容量策略輸入業務上云的標準姿勢Part3業務上云標準姿勢標準姿勢上云可行性核心特點安全上：敏感數據部署上：業務依賴數據上：數據同步自動化：彈性伸縮混合云XaaS云資源API化業務鏈路全上云云管控平臺數據傳輸/同步計算類業務上云基礎設施跨云混合云平臺微博案例：混合云 核心關鍵是專線聯通10.x.0.0/16微博阿里云聯通可用區X10.x.x.0/24電信10.x.0.0/16電信可用區X10.x.x.0/16日常、三節專線 x GVPN網絡三節 x GVPC網絡route to 10.x.x.xroute to 10.x.x.x微博案例：混合云 部署方案一LVSNginxWebRPCMC/RedisMysql/HBaseLVSNginxWebRPCMC/RedisMysql/HBaseRPCMC/Redis機房1機房2阿里云SLBNginxWeb微博案例：混合云 部署方案二LVSNginxWebRPCMC/RedisMysql/HBaseLVSNginxWebRPCMC/RedisMysql/HBaseRPCMC/Redis機房1機房2阿里云Web