陳晨-DeepFlow“云原生時代”下可觀測性的全棧、自動化統一平臺.pdf

《陳晨-DeepFlow“云原生時代”下可觀測性的全棧、自動化統一平臺.pdf》由會員分享，可在線閱讀，更多相關《陳晨-DeepFlow“云原生時代”下可觀測性的全棧、自動化統一平臺.pdf（21頁珍藏版）》請在三個皮匠報告上搜索。

1、DeepFlow:“DeepFlow:“云原生時代云原生時代”下可觀測性的全棧、自下可觀測性的全棧、自動化統一平臺動化統一平臺陳晨陳晨 云杉網絡云杉網絡 202303202303分享大綱分享大綱可觀測性是什么可觀測性是什么Baron SchwartzFounder&CTO|VividCortex云原生可觀測性的痛點云原生可觀測性的痛點All Stack All Stack kafka連接微服務的基礎設施路徑越來越長、多代理進程PodNodeHost代理進程PodNodeHost應用進程應用進程框架代碼框架代碼業務代碼業務代碼APPSYSNETSTORGWMQDB?路徑N2服務N該如何消除業務開

2、發與基礎設施之間的鴻溝？技術棧選擇過多 垂直領域功能不一致可觀測性分類可觀測性分類 信號分類：Logging：審計、應用、中間件Tracing：應用、系統調用、網絡Metrics：網絡、容器、OS、應用、中間件Events：資源、容器、IOProfile：OS、應用 層級分類：系統層：基礎設施網絡層：L4/L7應用層：業務應用分享大綱分享大綱AutoMetricsAutoMetricsAutoAuto代理進程PodNodeHost代理進程PodNodeHost應用進程應用進程框架代碼框架代碼業務代碼業務代碼APPSYSNETSTOR零插碼零重啟零配置標準采集自動關聯GWMQDB12345678

3、全?？捎^測性從云基礎設施到云原生應用的全棧性能指標：應用性能：吞吐、時延、異常（RED）應用協議：HTTP(S)，RPC，SQL、MQ、DNS、系統性能：新建連接、活躍連接、建連異常、網絡時延：建連時延、系統時延、數據時延、網絡性能：吞吐、重傳、零窗、傳輸層載荷、ExternalMetricsExternalMetricsVendorVendorIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerAutoTracingAutoTracingS：系統 SpanN：網絡 Span1.零插碼：且無

4、需向 HTTP 頭注入 TraceID 或 SpanID2.全鏈路：4 個調用、38 個 Span，分為 24 eBPF Span+14 cBPF Span3.多語言：Java、Python、Ruby、Node.js 及 C/C+(curl/envoy)4.全棧：追蹤兩個微服務之間的網絡路徑，從 Pod 到 Node 到 KVM，IPIP/VXLAN，并關聯網絡 Metrics5.全棧：追蹤微服務內從 Envoy Ingress 服務 DNS Envoy Egress 全過程案例：某互聯網用戶，使用 DeepFlow 5 分鐘內定位客戶端慢服務端不慢的經典扯皮問題。ExternalTracin

5、gExternalTracingService SpanService SpanIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerAutoLoggingAutoLogging從應用到基礎設施全棧應用訪問日志網絡流日志文件IO日志*TCP 包頭時序圖PCAP 報文回溯ExternalProfilingExternalProfilingService ProfileService ProfileIntegrationsDeepFlowObservability with Automation

6、and CollaborationAgentServerpprofAsync-ProfileEventsEventsAll EventsAll EventsIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerresoucesk8s events分享大綱分享大綱手工方式定位問題手工方式定位問題解剖到多信號層面解剖到多信號層面關聯到元數據層面關聯到元數據層面多信號關聯難點多信號關聯難點AutoTaggingAutoTagging10 x降低7.5x降低資源池云資源容器服務IngressWorkl

7、oadPODK8s labelsappversionenvownerstagecommitId.Annotations*biz/terminalTypecicd/deploymentId.OS ENV*MODULE_NAME.22222222220304050607080901002030405060708090100資源消耗 vs.#(標準+自定義 Tag)DeepFlow其他方案TAG總數量標準 Tag：開銷 10 x 降低自定義 Tag：零開銷ApplicationServiceNameFunctionNameEndpointTraceIdSpanIdRequestId.網絡資源VPCC

8、IDRIPNATGWALB.SELECT any_tag FROM any_tableWHERE any_tag GROUP BY any_tagdatadataAgentServerdatataginttagstrtagstr.20+datatagstr.100+編碼標準 Tag關聯自定義 Tag解碼標準 TagTag without LimitAutoTagging&SmartEncoding1111011.551.57.501020CPUMEMDISK資源消耗對比（標準 Tag）DeepFlow+ClickHouseClickHouse(LowCard)ClickHouse(String)隨機生成一組長度為 16 字符串標簽，Cardinality 為 5000，持續極限速率寫入。假設標準 TAG 固定 20 個，自定義 TAG 從 0 個增長到 80 個。高度自動化的可觀測性能力高度自動化的可觀測性能力 Landscape ProjecteBPF Landscape ProjectThanksThanks