周志強-云原生混沌工程平臺 Chaos Mesh 原理與實踐（GOTC上海會場）（25頁）.pdf

1、CNCF 云原生專場周志強 2021年07月10日本期議題：云原生混沌工程平臺 Chaos Mesh 原理與實踐關于我周志強GitHub:STRRLPingCAP R&DChaos Mesh 的核心開發成員,擁有多年在云原生領域的開發經驗.開源愛好者,Chaos Mesh Committer.目前專注于 Chaos Engineering,致力于構建一站式的 Chaos Engineering Platform.概覽1.混沌工程與云原生應用2.Chaos Mesh 設計與實現3.使用案例混沌工程與云原生應用故障隨時隨地都可能發生！混沌工程與云原生應用分布式系統-越來越復雜混沌工程與云原生應用混

2、沌工程的演進史混沌工程與云原生應用云原生應用 容器化 Kubernetes 彈性 快速伸縮 為失敗設計 優雅降級混沌工程與云原生應用混沌工程的目的混沌工程是在分布式系統上進行實驗的學科,目的是建立對系統抵御生產環境中失控條件的能力以及信心。韌性 自愈引用自混沌工程原則：https:/principlesofchaos.org/zh/Chaos Mesh 設計與實現Chaos Mesh 是什么 開源云原生混沌工程平臺 混沌實驗的注入與編排 易用，支持可視化操作https:/chaos-mesh.org/https:/ Mesh 設計與實現什么是云原生云原生技術有利于各組織在公有云、私有云和混合云

3、等新型動態環境中，構建和運行可彈性擴展的應用。云原生的代表技術包括容器容器、服務網格、微服務、不可變基礎設施不可變基礎設施和聲明式聲明式 API。這些技術能夠構建容錯性好、易于管理和便于觀察的松耦合系統。結合可靠的自動化手段，云原生技術使工程師能夠輕松地對系統作出頻繁和可預測的重大變更。1.CNCF Charter https:/ Mesh 設計與實現云原生技術的優點 聲明式 API 明確地表示預期狀態 控制器可靠地實施預期狀態 方便地控制與觀測 容器 資源隔離,限制爆炸半徑 通過特權容器注入故障 不可變基礎設施 穩定地分發 Release 便于試用，安裝，部署Chaos Mesh 設計與實現

4、Chaos Mesh 整體架構 用戶輸入、觀測 監聽資源變化，進行注入/恢復 在具體節點上進行故障注入Chaos Mesh 設計與實現聲明故障apiVersion:chaos-mesh.org/v1alpha1kind:Schedulemetadata:name:network-partitionspec:schedule:every 60s type:NetworkChaos historyLimit:5 concurrencyPolicy:Forbid networkChaos:action:delay mode:one selector:namespaces:-default label

5、Selectors:app:backend target:mode:one selector:namespaces:-default labelSelectors:app:redis duration:30s direction:to delay:latency:10ms correlation:100 jitter:0ms-從 backend 和 redis 的副本中各隨機挑選出一個 pod;Chaos Mesh 設計與實現聲明故障apiVersion:chaos-mesh.org/v1alpha1kind:Schedulemetadata:name:network-partitionspe

6、c:schedule:every 60s type:NetworkChaos historyLimit:5 concurrencyPolicy:Forbid networkChaos:action:delay mode:one selector:namespaces:-default labelSelectors:app:backend target:mode:one selector:namespaces:-default labelSelectors:app:redis duration:30s direction:to delay:latency:10ms correlation:100

7、 jitter:0ms-從 backend 和 redis 的副本中各隨機挑選出一個 pod;-在 backend 到 redis 方向的網絡流量上注入網絡延遲;Chaos Mesh 設計與實現聲明故障apiVersion:chaos-mesh.org/v1alpha1kind:Schedulemetadata:name:network-partitionspec:schedule:every 60s type:NetworkChaos historyLimit:5 concurrencyPolicy:Forbid networkChaos:action:delay mode:one sele

8、ctor:namespaces:-default labelSelectors:app:backend target:mode:one selector:namespaces:-default labelSelectors:app:redis duration:30s direction:to delay:latency:10ms correlation:100 jitter:0ms-從 backend 和 redis 的副本中各隨機挑選出一個 pod;-在 backend 到 redis 方向的網絡流量上注入網絡延遲;-持續 30 秒,每 60 秒執行一次.Chaos Mesh 設計與實現監

9、聽資源的變化 監聽 PodChaos,NetworkChaos 等資源的 創建/更新/刪除 決定當前該 注入/恢復/等待（進行簡單的注入，比如 PodKill）向 Chaos Daemon/Sidecar 發送請求Chaos Mesh 設計與實現如何注入延遲？FIFOpfifo_fast/priotbfChaos Mesh 設計與實現ReconcileResourcePhysical ImplementationReplicaSetPodPodContainerConfigMapkey/value in etcd.NetworkChaosipset/iptables/tc qdisc/.Cha

10、os Mesh 設計與實現Chaos Daemon 注入Container 的實體：進程Namespace控制可見性Cgroup限制資源注入的實質侵入 Namespace/Cgroup進行干擾、注入隔離Chaos Mesh 設計與實現侵入 namespacensexec-net=/proc/xxx/ns/net iptables -A.nsexec-net=/proc/xxx/ns/net tc qdisc add.nsexec-pid=/proc/xxx/ns/pid stress-ng nsexec-mnt=/proc/xxx/ns/mnt inject.Chaos Mesh 設計與實現方便的安裝，部署通過 helm 安裝:Chaos Mesh 設計與實現方便的安裝，部署在瀏覽器中試用:https:/chaos-mesh.org/interactive-tutorial使用案例小鵬汽車 使用使用 Chaos Mesh 測試監控告警系統測試監控告警系統 模擬低網絡延遲情況模擬低網絡延遲情況 覆蓋監控測試系統覆蓋監控測試系統 100%通過使用通過使用 Chaos Mesh 減少路試成本減少路試成本 90%使用案例網易伏羲實驗室 測試組件測試組件(redis rabbitmq scheduler)3+目前發現的潛在問題目前發現的潛在問題 20+THANKS