李威-助力研發效能提升：下一代制品庫的演進與優化.pdf

《李威-助力研發效能提升：下一代制品庫的演進與優化.pdf》由會員分享，可在線閱讀，更多相關《李威-助力研發效能提升：下一代制品庫的演進與優化.pdf（38頁珍藏版）》請在三個皮匠報告上搜索。

1、2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站助力研發效能提升下一代制品庫的演進與優化李威 高級解決方案架構師李威 JFrog中國高級解決方案架構師，DevOps教練，GDevOps、TGO鯤鵬會金牌講師。軟件研發效能權威指南聯合作者曾就職于京東、烽火等互聯網企業及傳統企業，十余年一線開發及運維經驗，帶領團隊從零到一實踐DevOps轉型。01當前制品庫的挑戰與限制，對軟件研發效能的影響02下一代制品庫的演進趨勢03下一代制品庫在面對未來交付場景的架構設計及性能優化目錄Content04成功案例與最佳實踐01當前制品庫的挑戰與限制，對軟件研發效能的影響2023 Dev

2、Ops 國際峰會 暨 BizDevOps 企業峰會 北京站軟件研發效能的定義軟件研發效能是指在軟件開發過程中，團隊或組織能夠高效地完成項目目標的能力。它衡量了團隊在給定時間、資源和需求下，交付高質量軟件的能力。2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站制品信息黑盒的問題goc+javajsiosProductA_v1.3.2.warProductA_v1.3.3.warProductA_v1.3.4.warProductA_v1.3.5.warProductA_v1.4.2.warProductA_v1.4.3.warProductA_v1.4.4.warPro

3、ductA_v1.4.5.warProductB_v1.3.2.warProductB_v1.3.3.warProductB_v1.3.4.warProductB_v1.3.5.warProductB_v1.4.2.warProductB_v1.4.3.warProductB_v1.4.4.warProductB_v1.4.5.warProductC_v1.3.2.warProductC_v1.3.3.warProductC_v1.3.4.warProductC_v1.3.5.warProductC_v1.4.2.warProductC_v1.4.3.warProductC_v1.4.4.wa

4、rProductC_v1.4.5.war運維取包發布測試測試ProductA_v1.3.2 版本這個版本單元測試通過了么95%通過了需要100%通過才能提測哦那測試ProductA_v1.3.3 版本這個版本sonarqube掃出多少問題？你去jenkins上看看。發布ProductA_v1.3.3 版本測試全部通過了么全部通過了安全掃描過么你去問安全同事測試報告在什么地方我發給你郵件。開發每人每天花費10分鐘通過郵件等方式溝通制品版本信息，一年將會浪費42個工時分布式團隊及跨國團隊此數據會成指數級上升經常會因為獲取到錯誤制品，導致發布事故，迭代延誤，軟件質量低下2023 DevOps 國際峰

5、會 暨 BizDevOps 企業峰會 北京站軟件供應鏈安全對交付的影響Security ScanTestingCodingMondayThursdayFridayReleaseDelayDeveloperTestingCodingTestingCodingTestingCodingLog4j.jar 有一個高危風險,所有團隊需要清查花費大量時間查找Log4J的影響范圍，浪費人力，干擾迭代進度DelayFastjson.jar 有個高危風險，需要在上線前修復Friday-NextSundayTuesday-WednesdaySecurity administratorDeveloper2023

6、DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站軟件供應鏈安全對組織績效的影響81%的受訪者同意“我們正在努力監測來自公共來源的 關于我們使用的軟件及其第三方組件中可能存在的漏洞的信息”。56%的受訪者同意：我公司現有的軟件安全流程拖累了我所從事的應用程序的開發過程。Google2022年DevOps加速狀態報告表明：開發者普遍接受需要防范軟件供應鏈的問題，但是近半數用戶認為現有的安全流程及工具拖累了開發過程2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站現代軟件交付的趨勢apps/services by2024520MSources:IDC,Prep

7、aring for the Digital-First Economy:The Hyperscale,Hyperspeed,and Hyperconnected Enterprise,#DR2020_GS2_FG,March 2020 and IDC FutureScape:Worldwide Datacenter 2020 Predictions,#US44747919 企業每天進行版本發布，甚至更快202560%新的基礎設施將被部署在邊緣節點/數據中心50%邊緣節點/數據中心將運行k8s80%XXX02下一代制品庫的演進趨勢2023 DevOps 國際峰會 暨 BizDevOps 企業峰會

8、 北京站建設下一代可信制品庫的原則質量可信指開發過程中的代碼質量、測試通過率、審批結果、合規性、所屬人等。質量安全可信指開發過程中的代碼安全風險、外部依賴安全風險、開源許可證合規性風險安全2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站建設單一可信源沒有統一管理，就無法治理。單一可信源是企業內部單一的，合規地存放所有軟件的倉庫包括 war 包，Docker 鏡像，zip 包等，以及第三方開源組件或者商業軟件的授權版本和軟件物料清單（SBOM）生產區公有云服務器私有云服務器制品庫管理統一管理漏洞掃描晉級開發版本庫制品庫管理統一管理2023 DevOps 國際峰會 暨 B

9、izDevOps 企業峰會 北京站制品元數據收集與展示通過元數據數據收集及展示保障軟件質量可信、可靠統一展示 DevOps 工具鏈所有數據質量度量數據作為質量門禁，服務于CICD作為提供制品晉級依據流式軟件交付模式的基礎2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站元數據，制品的質量門禁需求ID測試結果漏洞掃描1.溝通成本2.質量門禁3.自動化部署4.清理2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站軟件制品晉級，分成熟度管理制品15制品晉級CI Serveralpha-docker-dev-localalpha-docker-test-

10、localalpha-docker-stage-localalpha-docker-prod-local集成測試通過QA/QC 審批通過性能測試與可靠性驗證通過待發布2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站基于元數據的自動軟件交付開發測試階段發布階段項目開發流水線系統測試流水線系統投產流水線Dev 流水線系統ATeamA/A-1.0jar|-二方庫|-三方庫項目測試環境Test 流水線系統A發布流水線系統ADEV 制品庫項目測試環境基于元數據自動拉取最新待測試版本TeamC/C-1.0jar|-二方庫|-三方庫unitTest=passedjiraID=101

11、TeamA/A-1.0jar|-二方庫|-三方庫unitTest=passedjiraID=101SIT測試制品庫TeamC/C-1.0jar|-二方庫|-三方庫unitTest=passedjiraID=101SIT=passedTeamA/A-1.0jar|-二方庫|-三方庫unitTest=passedjiraID=101SIT=passed投產制品庫開發區生產環境TeamC/C-1.0jar|-二方庫|-三方庫unitTest=passedjiraID=101SIT=passeddeploy=trueTeamA/A-1.0jar|-二方庫|-三方庫unitTest=passedjira

12、ID=101SIT=passeddeployed=true投產制品庫生產區基于元數據智能拉取定時晉級晉級2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站發布制品自動篩選2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站持續安全準入準入審批構建安全門襟，制品晉級制品掃描IDE 插件代碼依賴掃描流水線/倉庫掃描開發依賴解析-倉庫策略與解析順序SBOMPublic Repos git commitGit RepoARTIFACTORYPIPELINESXRAY PLUGINXRAYDISTRIBUTIONCONNECTpackage.json發布單元

13、掃描發布包掃描安全訪問流水線簽名投產SBOM公有云混合云/私有云云區域Edge邊緣IoT 設備2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站安全左移l IDE 左移l 修復建議l 風險通知IntelliJ IdeaVSCodeEclipseVisual Studio2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站正反向依賴收集l 正反向依賴l 單一可信源2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站風險阻斷l 組件防火墻l 阻斷策略2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站上下文分

14、析o它有什么作用？發現應用程序漏洞的可利用性 根據安全專家的建議進行補救 識別可訪問的路徑、適用的配置 支持容器制品中進行掃描o它為什么如此重要？幫助開發人員專注于修復可利用的漏洞 提高修復效率，消除無用功超高危漏洞被證實是對應用程序無影響的50%03下一代制品庫在面對未來交付場景的架構設計及性能優化2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站下一代制品庫部署架構PG集群Nas/S3SsdcacheSsdcacheSsdcache異步寫，數據未寫入NFS之前就可以在集群間共享全技術棧統一制品倉庫熱文件緩存解決NFS讀寫速度慢的問題原生高可用集群部署方案支持橫向擴容

15、，輕易應對萬人規模E+支持S3協議下載重定向基于checksum的去重存儲，節省存儲空間40%全技術棧統一UI2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站現代軟件交付的趨勢25邏輯聚合多種文件為一個發布單元2.邏輯打包多種文件分發增量分發大文件分片傳輸多線程分發1.多地之間同步實時、定時推送、拉取不重復同步3.P2P下載任何二進制文件Docker鏡像K8S worker node 集群2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站高并發場景下，支持p2p下載加速2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站混

16、合云/多云制品庫部署架構MysqlData CenterS3Prod-mvn-localdev-mvn-localAWS SaaSProd-mvn-localFederated RepositoriesDeveloperPipelineSoftware downloadData Center 2Prod-mvn-localData Center 3Prod-mvn-localdeployon AwsPublicPrivateDeployon AwsDeploy2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站IOT OTA制品分發04成功案例與最佳實踐2023 DevO

17、ps 國際峰會 暨 BizDevOps 企業峰會 北京站記錄制品流轉元數據，實現質量可信2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站制品晉級案例ProdPre生產環境制品庫開發測試環境制品庫ProdPreU6U8Sitreplicationreplication單元測試代碼掃描安全掃描冒煙測試接口測試冒煙測試冒煙測試回歸測試安全測試冒煙測試系統回歸（接口測試）上線評審2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站基于審批的制品晉級案例持續集成平臺1，構建過程包、定版包，自動上傳制品庫3.1，投產制品自動晉級3.2，投產制品自動晉級2，提

18、交變更申請4，研發中心審批通過，申請創建DC變更單3，投產單審批通過，觸發制品晉級，同步至數據中心制品庫研發管理平臺運維管理平臺運維管理平臺5，根據變更單可調度發起自動化部署Dev制品庫Prod制品庫DC制品庫2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站金融用戶制品跨環境制品同步Mysql北京機房S3DeveloperPipelineMysql上海機房S3Mysql數據中心主機房S3分行備機房分行Mysql北京機房S3分行備機房分行拉取拉取推送開發DMZ生產2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站金融企業軟件制品管理架構2023

19、DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站制品準入審批流開源治理平臺預拉取掃描項目組引入申請引入申請POM/GAVC依賴解析預拉取third-mvn-tmp-remoteJFrogXraythird-mvn-whitelist-localJFrogXraythird-mvn-project1-localJFrogXray安全團隊審批組件清單掃描結果項目組使用申請使用申請POM/GAVC復制復制安全團隊項目組漏洞/不合規退出流程清理使用2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站車企軟件端到端交付北京BlobRDS北京研發中心上海研發中心德國研

20、發中心NASMysql歐洲上海BlobRDSProd-dockerProd-genericSdk-mvnProd-dockerBJ-dev-mvn-localProd-genericBJ-dev-docker-localSdk-mvnSH-dev-mvn-localSH-dev-docker-local多地聯邦多地聯邦Prod-dockerEu-dev-mvn-localProd-genericEu-dev-docker-localSdk-mvnVendor ARDSS3Vendor BRDSS3Vendor CRDSdistributionS32023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站端到端的軟件交付2023 DevOps 國際峰會 暨 BizDevOps 企業峰會 北京站ThanksDevOpsDevOps 時代社區時代社區榮譽出品了解更多關于 JFrog，歡迎來JFrog展位咨詢