北京銀行 武威：北京銀行云網數智化建設實踐與思考.pdf

1、北京銀行云網數智化建設實踐與思考2024年09月目錄CONTENTS一、北京銀行云平臺建設背景二、北京銀行私有云建設分享三、北京銀行托管云建設分享四、北京銀行容器云建設分享目錄CONTENTS一、北京銀行云平臺建設背景北京銀行云建設歷程2018年2019年2021年私有云平臺上線l順義數據中心投產、私有云平臺上線l私有云平臺使用了云管平臺+虛擬化的模式做多云管理l虛擬化+PowerVM+裸金屬l引入國產虛擬化軟件2020年兩地三中心l私有云平臺實現北京順義、北京和平里、西安，基礎設施資源統一管理l云宏CNware虛擬化平臺擴容云管定制化l云管和行內流程、監控、自動化平臺對接，打通資源全生命周期

2、服務化管理托管云上線l為分行提供計算、網絡、存儲、安全、管理的各類云資源和云服務2022年云管能力提升與XC化改造2023容器云上線l探索云原生技術路線，并逐步承載重要業務系統上云需求北京銀行云生態介紹5北京銀行云生態名稱私有云京管云（托管云）容器云角色定位多類型虛擬化生產云分行、子公司云平臺生產容器云服務定位虛擬機、裸金屬等IaaS資源為分行和子公司提供底層資源自服務申請創建容器等PaaS服務承載業務定位總行生產業務、部分XC業務分行、子公司業務容器化改造的業務目錄CONTENTS6二、北京銀行私有云建設分享私有云-整體架構7計算資源池XC：海光 C86存儲設備非XC：Intel X86虛擬

3、化服務器基礎設施存儲資源池裸金屬資源池資源池云管平臺云管平臺計算 云主機申請服務 快照服務 云主機擴容服務 克隆服務 裸金屬申請服務 存儲云硬盤對象存儲NAS存儲 管理資源機開關機性能監控狀態監控權限管理告警管理監控管理容量管理可視化大屏報表管理云服務SAN存儲分布式存儲裸金屬傳統服務器計量計費統一認證一體化監控ITIL京征程EASY自動化運維自定義表單親合組自動化閑置資源管理標簽管理內容庫自動同步 虛擬機掛起、重啟、恢復、延期、刪除、解除納管 資源調整、信息調整 網絡負載均衡私有云-資源情況IaaS資源管理：北京銀行私有云平臺以IaaS層作為基礎架構的，統一納管異構虛擬化平臺、分布式存儲、全

4、閃存存儲等資源，向上提供計算、存儲資源、數據庫和中間件等軟件的自助申請服務，實現多服務目錄體系，同時提供計量計費、統計報表等功能。整個云數據中心希望打造一個標準化、自動化、可視化、高安全、高可靠的生產私有云平臺。IaaS資源總量：服務器總量4000+、虛擬機10000+、存儲總量6PB。私有云-資源服務能力線上化標準化自動化豐富化全量化云主機/物理主機申請1、流程全貫通“一鍵式”施工 2、新增NAS資源申請、負載均衡資源3、ipv6改造支持雙棧申請和施工 4、預算關聯云主機擴容1、流程線上化 2、自動化施工3、標準化變更云主機下線1、下線相關資源流程串聯（堡壘機、監控、IP、CMDB、負載均衡

5、、防火墻、數據庫、東方通、存儲）；2、虛擬機關機保留30天后刪除私有云-容量管理容量規劃容量告警容量趨勢“為決策提供依據”容量規劃：物理：虛擬超分比設置；集群冗余度設置；在途資源規劃；CPU內存網絡存儲資源生命周期跟蹤：新設備上架；資源池擴容；設備更新替換；資源申請、變更、回收容量管理經理：容量報告需求管理員：容量差額報表資源池管理員：小型機資源池、PC資源池容量報告全平臺容量模型建立容量管理臺賬容量告警：閾值管理容量趨勢：預測未來趨勢變化容量統計：虛擬化、XC/非XC、標簽容量分析資源預警：可分配資源不足；資源預警：資源利用率過高；資源預警：可規劃資源不足；支撐業務容量智能感知、分析優化支撐

6、業務容量智能感知、分析優化私有云-大規模監控能力巡檢報告巡檢報告巡檢報告管理平臺業務系統管理平臺自身健康狀態巡檢；管理平臺穩定性檢測；虛擬機巡檢；宿主機巡檢；虛擬化集群巡檢；應用可用性巡檢；綜合告警平臺管理平臺、基礎資源、業務系統健康狀態可控性保證；存儲池巡檢；網卡巡檢；定期巡檢監控采集集中告警基礎資源vSpherePowerVMOpenStackCNware容器云管理平臺統一監控平臺監控數據采集、同步告警信息實時推送 11私有云-成本分析成本分析：以價格計算器的方式指導業務填報預算為資金投入決策提供參考依據資源服務計費規則價格計費規則-C計費規則-A計費規則-B計費規則-DN:N計費因子-1

7、計費因子-2計費因子-3計費因子-4計費因子-5計費因子-6服務1服務2服務3全局計費自動結算計費清單費用分析數據中心/AZ類型：CPU、內存、存儲、網絡、機架計量步長計量范圍計量單位計量金額計費因子類型：云主機、云硬盤、VDC、VPC、對象存儲、公網IP、數據庫、物理主機、應用計費周期（小時、天、月、次）基礎費用關聯計費因子計費規則實例 x 運行時長 x 計費單價=賬單包含存量清單、歷史清單、扣款記錄計費結算歷史查詢私有云-成本優化CPU內存存儲優化建議：【降配】存儲由當前6核降配至4核,優化后的成本為2196元/月；優化建議：【閑置資源】資源長期處于關閉狀態，建議回收資源；優化后的成本為0

8、元/月；優化建議：【升配】CPU由當前4核升配至6核,優化后的成本為2987元/月啟動優化建議生成建議資源調整創建/修改；資源分配；升配/降配/回收；成本優化模型建立成本優化模型VDC業務系統數據中心云平臺除了通過界面展示長期利用率低的資源并給出優化建議外，還可以通過郵件、短信、消息通知等方式?！澳膫€部門哪個機器連續xxx天利用率低于xxx?！焙侠韮灮撦d，成本優化合理優化負載，成本優化私有云-XC替代建設14虛擬化平臺能力需求虛擬化平臺能力需求 數據中心基礎設施數據中心基礎設施X86通用服務器XC服務器XC存儲網絡設備運維和運營需求運維和運營需求業務應用需求業務應用需求XCXC生態適配生態適

9、配支持一云多芯，具備基于異構芯片打造統一算力平臺的能力高度兼容主流XC硬件生態，支持國產網卡、存儲等硬件設備高度兼容XC上下游軟件生態，支持操作系統、中間件、數據庫等軟件功能完備功能完備基礎功能與VMware對標，虛擬機生命周期管理相關功能方便好用提供適配行方使用場景的高級功能，如高可用、在線克隆、QOS精細化管理等穩定、高性能穩定、高性能要經過充分的穩定性、破壞性測試，證明有承載生產業務的能力業務運行在本平臺，性能指標要符合預期分類分批進行業務改造和移植，虛擬化平臺需要有能力支撐承載各類業務，并提供其他平臺VM級別遷移方案要以核心生產系統的業務連續性要求，對承載業務的虛擬化平臺提出可靠性、性

10、能要求能夠適配行內在用的監控系統，對平臺本身、運行在平臺上的業務進行集中統一監控平臺要符合金融級別的安全、合規要求，提供如日志審計、國密算法支持等能力平臺的運維工作由行方人員自行負責，要求平臺本身要方便易運維，提供類似VMware的運維體驗，降低學習成本供應商能提供專業、響應及時的服務北京銀行的業務系統大量承載在北京銀行的業務系統大量承載在VMwareVMware環境，需要建設一個具備環境，需要建設一個具備XCXC兼容、可持續發展、平滑演進、無感遷移兼容、可持續發展、平滑演進、無感遷移等關鍵技術特性等關鍵技術特性的云平臺。的云平臺。私有云-XC替代建設15梳理網絡環境梳理網絡環境1、檢查VMw

11、are和XC虛擬化的網絡環境，驗證是否互通，是否需要開通策略；2、為遷移工具、操作系統轉換工具創建虛擬機并分配IP，并開通策略；3、負載均衡策略開通。在線遷移虛擬機在線遷移虛擬機對目標虛擬機進行遷移，遷移期間觀察業務訪問情況，并進行長ping操作。業務割接業務割接1、遷移后的虛擬機開機；2、負載均衡添加遷移后的虛擬機。3、源虛擬機關機；4、負載均衡中摘除遷移虛擬機；操作系統轉換操作系統轉換用操作系統轉換工具對操作系統進行XC轉換，實現國產化目標。03遷移成功遷移成功在線熱遷移無需在線熱遷移無需停機停機|整機遷移整機遷移,保障數據完整性保障數據完整性 040102目錄CONTENTS16三、北京

12、銀行托管云建設分享托管云-平臺技術架構北京銀行托管云基于華為云HCS進行建設，云平臺底座為OpenStack，底層虛擬機技術為KVM，依托ServiceOM進行資源池整合，以ManageOne對涵蓋計算、網絡、存儲、安全、管理的各類云資源和云服務進行OC（運維）和SC（運營）層面的統一管理。技術架構總體規劃技術架構提升網絡安全防御水平，收緊互聯網出口豐富分行互聯網防御能力統籌全行IT資源提升分行IT敏捷能力托管云-管理規劃總行一級VDC分行子公司二級VDC分行業務三級VDC分行_VDC1管理員：vdc1-admin分行_VDC2管理員：vdc2-admin金科（子公司）_VDC N管理員：vd

13、cn-adminProject 1(業務A)Project 2(業務B)Project n (業務Z)二級VDCProject數據中心計算資源存儲資源網絡資源A類業務_VDC21管理員：vdc21-adminB類業務_VDC22管理員：vdc22-admin三級VDC支持5級VDC設置資源配額一級VDC分行_VDC1管理員：vdc1-admin分行_VDC2管理員：vdc2-admin金科（子公司）_VDC N管理員：vdcn-adminProject 1(業務A)Project 2(業務B)A類業務_VDC21管理員：vdc21-adminB類業務_VDC22管理員：vdc22-admin托

14、管云-平臺成效19 以客戶為中心的云服務體系開放化行業云教培云醫療云校園云線上業務云手機銀行網聯生態化移動化京管云分行特色業務云京信鏈京慧通數據云支撐數據上云人工智能上云云化資源供給條件下，能夠提升業務投產效率、降低科技投入成本，提高資源交付效率互聯網高并發、海量數據的業務場景下，通過資源彈性擴縮以保障業務穩健發展，提升運營效率最終實現“以客戶為中心”的交付運營體系，驅動業務快速創新，為我行創造更大價值實現北京銀行IT資源集中化、集約化管理，有效支撐了分行互聯網業務、特色業務的開展。金融托管云金融托管云目錄CONTENTS20四、北京銀行容器云建設分享容器云-總體情況鏡像倉庫：harbor倉庫

15、用于存放運維鏡像jfrog用于存放業務鏡像自動化部署：管理平臺和業務集群可以通過部署工具自動部署服務器類型：k8s集群使用物理機部署部分節點符合XC要求現有存儲：集群對接兩類NAS存儲使用開源或存儲廠商csi插件與存儲交互21北京銀行容器云平臺已于2021年5月底投產，容器化技術作為資源利用率，分布式，并發性，性能，啟動速度等更高效的虛擬化平臺,已承載近百容器化業務應用系統，包括分布式核心、跨行網銀、柜員等場景,未來還將持續支撐分布核心的業務系統下移。為了充分提高容器平臺管理效益，降低維護風險，需要進一步標準化運營規范，體系化容器云全生命周期服務保障。網絡方面：Calico與硬件SDN進行對接

16、，通過BGP方式進行組網容器云-建設方向22云原生韌性目標：遷移，遷移，恢復，切換lk8s資源對象與持久化存儲的備份遷移能力l提升容器云平臺上業務的保護能力l健全云上應用備份要求，靈活管控備份任務調度CMDB配置管理目標：運維指標數字化l構建容器云指標模型l自動化容器數據采集與維護l支撐容器云數字化運維管理體系容器云日志監控目標：集中日志處理和監控告警l完善日志采集內容和保留時間，比如，docker，k8s日志l統一接入容器云監控指標到一體化監控平臺，綜合分析，自動告警 基礎設施建設目標：配置流程化，運維自動化l打通綜合數字運營平臺(1 Z)和 云 平 臺，DevOps平臺的管理，配置和運維實

17、施自動化l生產環境變更可追蹤，通過平臺對接同步數據，賬實相符自動化運維目標：多中心，多副本模式保障業務連續性l云管集群采用多中心、多副本模式保障云管理集群可用性；l業務集群多中心實現業務應用的多中心多活模式，保障業務的高可用。l多中心多活，統一日志，統一監控方案技術體系建設管理體系建設容器云-CMDB建設23l云上云下融合，整體業務可管可控l配置數據和運行時數據l容器的關聯屬性和動態特性l依賴于模型的可靠、數據的對接l云上數據準確率接近100%順義數據中心容器存儲雙活能力一期：順義科技研發中心（活）二期：西安異地災備中心（備）異步復制雙活業務集群（DMZ）業務集群（開放）業務集群（核心）收益順

18、義開放區容器云存儲搭建順義DMZ區容器云存儲搭建順義核心區容器云存儲搭建2+1容器存儲架構內容目標容器云持久化數據的連續性訪問能力成為關乎我行云環境穩定及業務持續性的重要環節，同中心雙活NAS存儲高可用架構的實現，可保證在單存儲設備故障的場景下業務數據及訪問能力均不受影響，存儲服務可用性能力提高到6個9的水平，極大的提升了云業務的安全。容器云-存儲雙活業務集群（DMZ）業務集群（開放）業務集群（核心）l 無狀態改造不徹底l 系統架構設計l 傳統技術依賴其他收益韌性平臺存儲雙活讓容器更可靠云原生韌性能力建設1）云原生數據保護維度的軟著、專利、行業技術文章等2）信通院云原生能力成熟度模型評級基礎收

19、益鉆石鉑 金黃 金鉆石分布式核心系統（1）鉑金重要信息系統（7）黃金一般類系統（140+）附加收益150+個上云系統劃分3級，制定4種備份策略，選擇9個系統作為試點容器云-韌性平臺容器云-成果總覽、Kafka 采集ES管理報表管理日志規范管理集中監控告警數字化分析容器云運營分析服務流程管理CMDB領導駕駛艙告警分析容量分析規劃管理流程配置工單管理運維進度IT服務分析集群資源管理業務系統監控配置數據建模配置數據采集配置管理一體化日志監控平臺RESTAPI 接口采集、核心集群開放集群運管集群DMZ集群SDN/NAS存儲/對象存儲/F5順義數據中心、核心集群開放集群運管集群DMZ集群SDN/NAS存

20、儲/對象存儲/F5和平里數據中心、核心集群開放集群運管集群DMZ集群SDN/NAS存儲/對象存儲/F5西安數據中心永定容器云管理系統VP鏡像倉庫管理系統VPVPVP（項目管理系統）DevOps（一體化部署系統）VP易點辦公（統一身份認證）鏡像管理鏡像倉庫容器鏡像基線管理容器運維管理規范容器運維應急手冊 容器運維知識庫管理應用編排 配置管理 彈性伸縮 健康檢查 事件管理 容器網絡（IPV6&4 雙棧）多中心多租戶管理應用管理項目管理綜合運營1.多中心多活建設3.一體化日志監控對接2.存儲網絡基礎設施建設4.容器云運營管理規范5.容器云軟件版本，鏡像基線7.數字化運維流程和配置管理建設XC集群8.DevOps自動運維建設6.數字化運營分析 已建立了一整套的云原生系統建設和運行規范，支撐北京銀行重要信息系統的開發和運行工作。