章淼-百度萬億流量轉發平臺的開源之路（GOTC深圳會場）（16頁）.pdf

1、開源云原生計算時代論壇專場章淼2021年8月1日百度萬億流量轉發平臺的開源之路個人簡介 1994-2004，清華大學計算機系，本科，博士 2004-2006，清華大學網絡中心，助理研究員 1997-2006，清華大學，互聯網協議/網絡體系結構研究 2006-2012，多家公司（搜狗、騰訊等），用戶產品研發 2012-,百度 2012-2020，運維部/系統部BFE團隊技術負責人 2020-,百度智能云BFE商業化團隊負責人 2018-,代碼規范委員會主席 2020.10-,信通院金融行業開源技術應用社區技術專家什么是BFE 緣起：Baidu Front End,百度統一的七層流量轉發平臺 HT

2、TP,HTTPS,HTTP/2,QUIC 2012年開始建設，2014年使用Go語言重構 每日轉發請求約1萬億，日峰值超過1KW QPS 2019年7月，核心轉發引擎對外開源 BFE=Beyond Front End https:/ 2020年6月，成為CNCF Sandbox Project 中國首個網絡方向的CNCF開源項目BFE開源項目公眾號BFE在百度的應用Internet華北用戶華東用戶華南用戶PoPBFEBGWBGWBGWBFEBFEPoPPoP華北服務集群華東服務集群GTCB2華南服務集群B1GTC:全局流量調度在網絡入口間對外網流量進行調度?；贒NS生效BGW:四層負載均衡B

3、FE:七層負載均衡GSLB:內網流量調度和BFE配合工作HTTPDNSHTTPDNS:移動域名解析對負載均衡的新挑戰硬件負載均衡的問題購置成本高，動態擴縮容困難可控能力弱，功能升級慢接口有限，運維效率低七層負載均衡的問題Nginx等軟件使用和改造成本高缺乏多租戶能力，分散的軟件部署維護和使用成本高云計算發展帶來的新問題微服務化后的大規模分流轉發容器云的網絡接入多容器云的流量調度大規模復雜場景的需求多數據中心的流量調度快速開發上線定制功能高穩定性和安全性要求負載均衡技術趨勢用軟件替代硬件降低成本可快速升級功能云原生化，可快速擴縮容從系統到服務從負載均衡系統升級到流量轉發服務支持多租戶模型，實現資

4、源共享，降低維護使用成本加強流量調度能力增強應用路由能力增強多數據中心/多容器云間的流量調度加強七層處理能力分離四層負載均衡和七層負載均衡支持統一七層負載均衡，增強流量控制能力增強數據分析和洞察能力七層負載均衡的生態格局Nginx/OpenResty 生態 利用Nginx積累的大量功能 利用Lua的快速開發能力 代表：Nginx，APISIXEnvoy 生態 最早用于Service Mesh 也可用于網關 代表：EnvoyGo 生態基于Go語言的生態積累更好的穩定性和安全性易于開發擴展功能代表：BFE，TraefikAPI網關七層負載均衡BFE開源項目情況7位維護者來自百度/快手/字節跳動80

5、+位貢獻者來自不同公司或組織800+提交，15個版本發布4700+stars落地用戶案例涵蓋金融、銀行、媒體、保險、互聯網等產品快速迭代：產品快速迭代：2020個月發布個月發布1515個版本個版本AUG 2019AUG 20190.10.10.20.2SEPT 2019SEPT 20190.30.30.40.40.50.50.60.60.70.70.80.80.90.90.100.10NOV 2019NOV 2019JAN 2020JAN 2020MAR 2019MAR 2019MAY 2020MAY 2020APR 2020APR 2020FEB 2019FEB 2019DEC 2019DE

6、C 2019OCT 2019OCT 20190.110.110.120.12SEPSEP 20202020JUL 2020JUL 20201.01.01.11.1APR 202APR 2021 1JAN 202JAN 2021 11.21.2JUN 202JUN 2021 1BFE-為企業級使用場景而設計高安全性和穩定性源于Go語言的特性內存管理風險降低可以捕捉異常功能快速開發復雜場景支持良好的插件化設計Go語言代碼易于編寫和維護內置多租戶設計強大的路由轉發模型多數據中心調度支持運維友好支持內置大量狀態探針配置可動態熱加載BFE的流量轉發模型BFES1-1BFES1-2BFES1-3w1w2w

7、3AZ 1AZ 2AZ 3L4LBL4LBL4LBRequest to: req_path_prefix_in(“/static”)S1req_method_in(“POST”)&req_path_prefix_in(“/setting”)S2defaultS3轉發條件轉發目標Step1:確定 租戶（tenant）=demoStep2:確定 集群（cluster)/static=S1Step3:選擇 子集群（sub cluster)=S1-3Step4:選擇 實例（instance)=S1-3_1租戶“demo”的轉發表多數據中心流量調度 場景描述 多個數據中心之間通過專線互連 應用在多個數據

8、中心都有部署，同時提供服務 難點分析 需要根據流量和容量的實時情況，完成流量在多個數據中心之間的合理調配 內網DNS的方案：調度精確度低，調度延遲大 解決方案 BFE執行跨數據中心按權重的流量轉發 注：BFE上的分流權重可由GTS模塊自動計算BGW集群BGW集群BFE集群BFE集群請求（外網/內網）服務集群服務集群請求（外網/內網）IDC 1IDC 2W11W12W22W21GTSBFE對Kubernetes的支持BFEK8S ClusterBFEL4LBL4LBK8S ClusterK8S ClusterAZ 1AZ 2場景場景1:1:在在K8SK8S集群之外集群之外L4LBBFEK8SCl

9、usterAPPAPPAPPNodePort場景場景2 2:在在K8SK8S集群之內集群之內BFE作為IngressBFE作為全局負載均衡器應用案例：央視網 全站HTTPS改造TLSCertBFE集群七層負載均衡ServiceF5四層負載均衡HTTPSHTTPHTTP 需求 全站HTTPS化改造，硬件負載均衡設備卸載能力不足 解決方案 BFE提供HTTPS卸載，統一管理證書 注：配合使用硬件加速卡 收益 降低HTTPS改造成本 實現對多種客戶端的兼容性支持 降低HTTPS證書的管理成本HTTPSHTTP應用案例：招商銀行 多數據中心流量調度 需求 使用軟件替換硬件負載均衡設備 同城多數據中心間

10、的流量調度 解決方案 使用BGW替換硬件負載均衡設備 使用BFE提供多數據中心流量調度 收益 多數據中心流量調度能力增強，加快止損速度 對流量的數據洞察能力增強BFE集群七層負載均衡BFE集群七層負載均衡BGW集群四層負載均衡BGW集群四層負載均衡ingressVPCSLBpodingressVPCSLBpod內網DNS內網DNS內網用戶外網DNSHTTPDNS外網用戶(APP)外網用戶解析解析解析解析外網訪問外網訪問內網訪問數據中心_1數據中心_2未來工作 發布BFE開源產品，降低使用門檻 對外開源控制層(UI+OpenAPI)增強對于Kubernetes的支持 跟進支持Gateway API相關資料和聯系方式 項目地址 https:/ https:/ 資料 萬億級流量轉發-BFE核心技術與實現 https:/ 微信公眾號-BFE開源項目 用戶交流群、開發者交流群的加入方式，見項目官網的中文說明在BFE項目的Issues中提交使用案例，即可獲贈紙質書一本