端云協同 - 1- 無宸 - 淘寶網絡庫的跨代演進與體驗創新.pdf

《端云協同 - 1- 無宸 - 淘寶網絡庫的跨代演進與體驗創新.pdf》由會員分享，可在線閱讀，更多相關《端云協同 - 1- 無宸 - 淘寶網絡庫的跨代演進與體驗創新.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、宸(徐杰)淘寶網絡庫跨代演進與體驗創新云管端用融合NetworkingContents目錄1.云管端用融合Networking2.新協議：IETF QUIC 規?；瘧?.高實時：低延遲幀同步架構升級4.低帶寬：壓縮協議算法擴展強管控：終端網絡QoS服務5.01引端管云用融合Networking網絡庫在大規模端云協同中的位置無規模不網絡、無網絡不協同連接基礎服務/網元1萬+10億+使用終端用戶1,000,000,000+用戶1千+滲透業務單元淘寶天貓淘寶特價版閑魚DNSAMDCCDN ASERVEROSS 首頁有好貨每日好店淘寶直播消息互動會員導購交易廣告端云用戶APP接入服務業務單元中臺服務

2、淘寶網絡庫網絡庫面臨的端云協同挑戰業務域提供高性能端云協同管道、網絡域具備10億級終端端云協同調度能力高性能端云協同管道服務高可用大規模連接調度內容化：快啟播、高清晰游戲化：低延遲、云渲染遠程化：大吞吐、弱影響高吞吐：更高傳輸效率要求高穩定：復雜網絡環境適應彈性化：前/后臺體驗平衡新需求基礎化：IDC/CDN數據化：METRICS/TRACE高覆蓋：首頁/消息/交易/.已服務新挑戰已具備高性能：連接復用與?；罡呖捎茫嚎焖僬{度與災容細粒度：地域/平臺/用戶/新一代網絡庫演進策略網絡域南北向貫通演進、業務域東西向重點突破互動游戲化【游戲化】遠程化資源下載【遠程化】短視頻播放【內容化】東西向重點突破

3、南北向貫通演進用低延遲架構升級云/管/端HTTP/3 協議規?；痁STD 壓縮算法擴展QoS 服務應用02新協議IETF QUIC 規?；瘧锰詫毦W絡協議發展歷程2013201620202023SPDY 時代HTTP/2 時代HTTP/3 時代HTTP/3 規?；瘧酶咝阅芫W絡協議是端云協同體驗革新的基石手淘上線SPDY構建雙向傳輸能力手淘全量升級HTTP/2.0手淘主版本正式上線XQUIC重點業務HTTP/3 濃度超 90%，MPQUIC 應用Google著手研究 GQUIC2018 2018 手淘自研IETF QUIC 實現XQUIC庫2021 2021 XQUIC開源，自研MPQUIC驗

4、證Google 規?；瘧?GQUICIETF QUIC工作組成立工作組連續修訂6草案IQUIC 草案提交IEFGIQUIC 草案發布RFC淘寶&阿里云提交MPQUIC草案成功工作組草案20132013201520152016201620182018202020202021202120222022202320232015 2015 手淘自研私有輕量級加密協議Slight-SSLQUIC/HTTP3技術架構方案端云一體化架構端云圖片視頻RPC網絡庫TnetXQUICAMDCLVS/SLBTengineNGX_XQUIC_MODULEXQUIC數據流數據流調度流調度流XQUIC協議功能模塊公共模塊

5、應用層傳輸層QPACKRequestH3-FramePriorityLogging握手信息交換密鑰生成證書校驗對稱加解密Metrics幀封裝流管理MTU探測流控Configuration包封裝連接管理丟包檢測擁塞控制MemoryUDP Socket端云協同高性能基石用戶態協議棧相比H2的四大優勢MPQUIC的多路聚合傳輸端云協同大規模實踐協議實現端云一致性協議調度端云協同性標準化協議端云演進獨立性MULTIPATH-QUIC 模型通過底層多路傳輸聚合，進一步擴展帶寬,云管端用全鏈路協同貫通SERVERLoss Detect&RetransmissionPacketSchedularConges

6、tionControl(Path 1)CongestionControl(Path 2)Path ManagementPacketReceiverACKPath ManagementAware of Wi-Fi/Cellular environmentVideoCodecVideoPlayerPlayback bufferFeedbackPlayback bufferStatusAdd/DelpathRecv FailNew pathSenderData-PlaneReceiverData-PlaneControl-Plane用云管端用復雜網絡環境穿透終端網絡庫DNATASERVER業務服務1

7、業務服務2業務服務NAMDC/DNS(CIP,SIP)IPv6 HTTP3請求(SIP,CIP)IPv6 HTTP3響應SLB(CIP,RIP)IPv6 HTTP3請求(RIP,CIP)IPv6 HTTP3響應網絡網絡分段分段1 1網絡網絡分段分段2 2HTTPDNSQUIC on IPv6(端-云)、QUIC on VPN(端-邊)SLB 由VTOA+FULLNAT 升級到DNAT,全面解決因UDP無option字段導致的IPv6下 CIP丟失問題：基于UDP的VPN傳輸協議CC策略與QUIC 自身 CC 策略相互嵌套干擾、VPN 封包后Payload超 MTU 限制問題：終端網絡庫VPN業

8、務服務降級到HTTP/2VPN環境判斷12HTTP/3探測3根據探測結果決定是否回升到 HTTP/34HTTP/2連通性傳輸性能判斷指標判斷指標淘寶 QUIC 應用規模與效果TAOBAO 核心域名HTTP3濃度增長趨勢2020202120222023XQUIC 元年5%網絡協議作為端云互操作基礎，規?；瘧脦淼男Ч笥绊憦VXQUIC規?；?91%API網關耗時重點業務效果互動中斷UV視頻下載速率-22%+48%-20%03高實時低延遲幀同步架構升級互動新場景的極致體驗更低時延的端云互操作淘寶人生小游戲實時互動小游戲多人IO類游戲端云協同就近部署物理距離的遠近是網絡耗時的基礎端-云(就近接入)

9、云-用(房間路由)端-邊(平滑切網)終端網絡庫AMDC張北ASERVER云南用戶云南用戶南通ASERVER深圳ASERVER設備應用用戶版本地域運營商網絡制式地理位置系統版本域名調度張北機房南通機房Client AClient BASERVERSERVER(房間)SERVERASERVER內網互通云南云南北京北京終端網絡庫持久化數據張北ASERVER南通ASERVER深圳ASERVERAMDC123調度更新連接遷移業務觸發調度調度：客戶端向AMDC發出域名解析請求，AMDC根據客戶端的對應地域、運營商等信息，返回就近機房的IP列表、單元標建連：建連：客戶端用收到的IP進行建連、鑒權請求，訪問到

10、就近機房的ASERVER網關房間路由：房間路由：機房內網互通，同機房與跨機房ASERVER統一按IP路由到指定后端機器；交互交互：客戶端通過建立好的連接，進行游戲幀同步的ACCS消息上、下行交互；端：端：新連接異步創建，在新連接建好之前繼續使用原連接，待老連接空閑冷卻再徹底回收；云云：老連接上消息由連接所在ASERVER進行RR路由轉發給后端服務機器；低延遲幀同步架構與效果提供低延遲幀同步能力，SDK接入+消息通道+SaaS服務 完整端云協同解決方案SaaSPaaS用戶服務低延遲幀同步開發者服務房間調度狀態通知斷線重入對局回放多幀支持時延監控通知同步率統計鏈路排查工具動態擴縮容端智能心跳與重傳

11、時鐘同步消息回放關鍵幀校驗斷線重連延遲對抗同步檢測全鏈路Trace管通道QoS消息保序半可靠可靠消息鑒權消息路由與擴散弱網自適應冗余災容云聚合擴散房間初始化有狀態服務優雅下線訂閱關系分配對局回放關鍵幀校驗多地部署調度服務延遲容量房間訂閱房間匹配斷線重連 極致性能 百萬在線 平滑遷移 靈活運維操作延遲P9092ms04低帶寬壓縮協議算法擴展大規?；ヂ摼W應用帶寬問題的影響成本與體驗影響65%32.2.5%帶寬人力機器成本帶寬占用QPS包大小鏈路類型靜態IPBGP IP12014018021039050010KB200KB200KB包大小包大小傳輸耗時傳輸耗時成本體驗壓縮算法擴展探索與實踐充分面向現

12、代計算機硬件優化的算法實現更好的壓縮率與性能之間的平衡大窗口無分支算法字典壓縮大范圍等級無32KB(zlib)的窗口大小限制，最大支持521MB;無分支的算法，避免分支預測錯誤導致的流水線刷新根據用例數據樣本生成字典，捕獲數據中的常見模式;抵消小數據塊帶來的壓縮效率降低平衡壓縮速度和壓縮比;比主流的實時壓縮算法更快同時有更好的壓縮比哈夫曼編碼算術編碼有限狀態熵編碼壓縮字典方案端到端字典數據生成、分發、更新、協商、存儲完整方案云字典管理平臺字典訓練數據采集字典更新字典分發網關&業務服務字典下載字典緩存字典協商字典壓縮CDN端調度策略層版本管理字典下載字典存儲字典更新&淘汰協議傳輸層字典協商數據解

13、壓線上采集上傳字典下載字典壓縮數據流解壓后數據流字典數據帶內協商用戶體驗與成本效益核心指標包大小60%RTT13%帶寬15%05強管控終端網絡QoS服務有限物理帶寬與無限業務需求前臺用戶體驗與后臺預加載網絡任務平衡物理帶寬限制帶寬資源存在客觀物理限制，例如國內蜂窩網絡帶寬均值一般在 4MB/S,對于移動應用，帶寬資源珍貴有限啟動預加載任務多蜂窩月度帶寬波動據大數據觀測，每月15日后即到達月度運營商限速拐點(約影響10%左右用戶)，約24號之后，被限速設備急劇增加，月末蜂窩網環境下載速率下降80%90%新裝包遠程化資源多4 MB/SAVG月度周期帶寬波動總多業務都/模塊從自身出發，啟動時易產生大

14、量后臺搶占式網絡任務，缺乏有效調度，對前臺業務產生帶寬擠占下載新裝包遠程化資源多、數據量大，耗時長，當前業務強依賴資源直接影響用戶體驗，非依賴資源搶占帶寬影響體驗帶寬評估與預測帶寬的精準量化度量是有效管控的前提接收端發送端REMB-GCC 帶寬評估算法原型EncoderPacerPadder/FECAdaptivethresholdOver UseDetectorRemote RateControllerLoss-BasedControllerArrivalfilterREMBProcessingsend streamA=min(Ar,As)Arfraction lossRTP Packets

15、NetworkRTP Packetsm(t)m(t)Ars(t)BWEAlgoPackets終端網絡QoS策略通過業務的分級服務，平衡前后臺業務網絡帶寬分配小小小大包請求分片處理1小PATHBWEstimator2路徑分配前臺強依賴大包普通請求后臺請求預加載金金銀銅總帶寬金金金金銀銀銀銀銀銅銅銅帶寬上限:100%帶寬上限:60%帶寬上限:15%BWEstimator帶寬測量與評估限速控制RCV_WND setterPacketsPackets業務分級模型高優大包多路并發低優任務帶寬限速原則原則:前臺體驗優先邊界邊界：嚴控QoS泛化雙網路徑雙網路徑:拓展物理帶寬多路并發多路并發：提升傳輸效率避免

16、擠占避免擠占:降低低優任務帶寬占用提升高優任務體驗有限管控有限管控：1)低優不中斷；2)高優空閑時低優提檔Packets終端網絡QoS策略通過業務的分級服務，平衡前后臺業務網絡帶寬分配小小小大包請求分片處理1小PATHBWEstimator2路徑分配前臺強依賴大包普通請求后臺請求預加載金金銀銅總帶寬金金金金銀銀銀銀銀銅銅銅帶寬上限:100%帶寬上限:60%帶寬上限:15%BWEstimator帶寬測量與評估限速控制RCV_WND setterPacketsPackets業務分級模型高優大包多路并發低優任務帶寬限速原則原則:前臺體驗優先邊界邊界：嚴控QoS泛化雙網路徑雙網路徑:拓展物理帶寬多路并

17、發多路并發：提升傳輸效率避免擠占避免擠占:降低低優任務帶寬占用提升高優任務體驗有限管控有限管控：1)低優不中斷；2)高優空閑時低優提檔前臺核心業務體驗優化啟動忙時請求耗時降低網關7%圖片12%短視頻8%分場景分級服務體驗對比啟動忙時針對前后臺業務進行QoS平衡的體驗對比常規網絡弱網環境06展望下一代跨端網絡庫多端融合的跨端網絡庫XNET面向國產化趨勢的到來，向上實現多場景擴展、向下進行多平臺覆蓋CONTROLCONTROL-PLANEPLANEDATADATA-PLANEPLANE終端網絡Networking(C+)MultiplexingStack(C)平臺AndroidiOSHarmony

18、WinLinuxMac業務域AccelerationKeep-AliveAnti-DNS-HijackingSchedulingLoggingCacheResilienceMetricsQoSConfigurationSYSTEMSYSTEMManufactureWI-FI x CellReachabilityPROTOCOLPROTOCOLHTTP/3HTTP/2HTTP/1Private FrameSECURITYSECURITYSlight-SSLBoring-SSLENCRYPTENCRYPTgzipZSTD-DZSTDDIAGNOSISDIAGNOSISPINGMTUTracerou

19、tePlatform Adapted APIPlatform Adapted APIiOS(.framework/Swift+OC)Android(.jar/JAVA)Harmony(.har/ArkTS)Win(.dll/C+)Linux(.so/C+)(.XX/C+)APISystemSystemDeviceDeviceMobile PhoneTVPCPOSVehicle淘內淘內淘外淘外首頁互動交易/導購圖文消息數據流媒體優酷電視智能收銀機車載高德運維&工具鏈METRICSMETRICSTOOLSTOOLSThrottling-SimTraffic-ReplayMonitoringAlar

20、mingLog-VisualizeTraffic-ProfilingXNET Unified C+APIProbing標準化與開源社區IETF標準化草案推進與“云/管/端”網絡全鏈路開源產品體系共建標準化開源社區提交MPQUIC草案成為IETF QUIC工作組112大會正式草案2021/112021/112022/032022/032022/122022/122023/062023/062023/102023/10提交MP草案更新01版本，QUIC工作組113大會PN選型QUIC Tunnel草案提交IETF MASQUE工作組推進IETF QUIC工作組MP標準互通性驗證MP QUIC更新0

21、6版本，標準迭代進入穩態MP標準被5家行業頭部企業/開源實現支持，包括CloudFlare、Ericsson和Apple以及開源的picoquic；中科院2022開源軟件供應鏈點亮計劃；Tengine(Github)12.4k star +2.5k forks；XQUIC(Github)1.6K star+315 forks達成達成&現狀現狀云管端新目標新目標&計劃計劃ServiceServiceTengineTengine-ingressingressTengineTengineXQUICXQUICXQUICXQUICApplicationXNETHTTP/3HTTP/3感謝THANK YOU