紅帽開源軟件助力電信行業 GPU 應用.pdf

1、紅帽開源軟件助力電信行業GPU應用紅帽軟件趙錫滴nVIDIARedHat#page#提綱中國電信業在擁抱開源GPU/DPU與開源社區的合作o KVM/ OpenStacko Container/ K8S/OpenShifnVIDIARedHat#page#GTC China2020中國電信業在擁抱開源ROMAIEcampCANGNICALCAPSULE8中照tocampWhat is the current size ofyour OpenStackenvironment？CXcatalystcloCHEF中國移動She801.500LiNUXCOMESOURBSfutreHow China

2、Mobile ls Using Linux and Open SourcenVIDIA.RedHat#page#GTC China2020紅帽與英偉達：在開源社區的緊密合作HeterogeneousMemoryManagement異構內存管理（HMM）除了傳統的系統內存之外，HMM還允許Linux內核直接使用GPU內存，并避免了主內存和GPU內存之間的數據復制，從而提高了性能。Nouveau Driver面向NVIDIAGPU的圖形設備驅動Kubernetes Device Pugins快速GPU硬件直接訪問在Kubernetes中執行GPU特性容器鏡像MediatedDevices中介設備框

3、架（mdcv）通過該框架可以管理設備驅動程序調用，使應用程療能夠利用基礎硬件。NVIDIAGPU是目標設備類型之一。從而實現通過LinuxKemel框架來實現VGPU的虛擬化供應。nVIDIA-RedHat#page#GTC China2020軟件定義云框架下的AVML架構GPUGPU PCIPassthroughVGPUOpenShift on OpenStackOpenShift on Bare MetalOpenShift on OpenStack0o000000O口口TRedHatRedHatOpenShiftOpenShiftM.RedHatRed HatRedHatOpenStac

4、k PlatformOpenStack PlatformOpenShift213160：7831101115RedHatnVIDIA#page#GTCChina2020向虛擬機VIRTUALMACHINES供應GPUSPCIPasst hrough將HOSTDEVICE1-1映射到GUEST虛機實現在QEMU中如HOSTDEVICE主機一樣自Havana版本開始在上游OpenStack中實現由RedHatOpenStack平臺支持優勢：面向guestVM全兼容面向guestVM保持完整的高性能佛注意事項將對guestVM暴露設備每CPU限定了PCI-Elanes通道數He1禮容量管理成為新的挑

5、戰nVIDIARedHat#page#GTCChina2020向虛擬機VIRTUALMACHINES供應GPUSGPU Virtualization (vGPU）1-t0-MANY將HOST主機的設備一對多映射至GUSET作為中介設備在QEMU中實現自RedHatOpenStack平臺1中的Queens技術預覽版開始在上游OpenStack中實現優勢：擁有可管理的主機API，資源按需分配資源主機上可反思的硬件和設備管理中注意事項：按產品線實現受Guest驅動限制彩需要特定許可費用nVIDIA.RedHat#page#page#GTC China2020RED HAT VIRTUALIZATIO

6、NRedHatVirtualization紅帽虛擬化是一個易于使用的軟件定義平臺，用于實現基于RedHatEnterpriseLinux和基于內核的虛擬機（KVM）技術構建的虛擬化vgpu是通過中介設備（mdev）Linux內核框架啟用的每個VGPU（mdev）都是在KVM主機上創建的，使用父設備的資源，例如NVIDIA Tesla gpu父設備支持圖形和計算工作負載的多個VGPUVMVMVMNIDIA drverNVDIA driverNIDlA driver中央化管理自動化負載管理優化當前ITVGPUVGPUVGPUCENTRALIZEDAUTOMATEDOPTIMIZES CURRENT

7、MANAGEMENTWORKLOAD1.T.使用開源的基于內核的使用RESTful應用程序編程接口（APD）與任虛報機（KVM）管理程，可伸縮性和安全性功RedHat Virtualizatiol Host(KVMhost）序虛搜化計算，網絡和能何未來可能的技術集成存儲資源NVIDlASoftwareandDriverCPUsNVIDIATesla GPUS）NIMOOT HOINHA ON LaDGOH HHL NOASVa HIVWOLOV OLASVa aZrIVNOLLyaadO OLASVaNVIDIARedHat#page#GTCChina2020GPUs,Containers,K

8、uberetes，andNGC的基礎知識NGC由Nvidia提供的Kubernetes是開源容器編softwareregistry容器庫，提排框架；它可以大規模自供了各種工具，用于輔助提供動執行容器的部署和生命周性能優化的AI容器，預訓練的期管理。模型和SDK等，以便更快地構建AI解決方案。Containers允許打包和隔離GPUs滿足AI，ML和DL等具有所有依賴關系的應用程序計算密集型應用程序的需，從而使它們易于在任何地方求。構建和部署。nVIDIA.RedHat#page#GTCChina2020如何利用AIML提升業務能力門OTelcosHealthcareFinancialservi

9、cesInsuranceAutomotive提高臨床效率更多個性化服務更好的客戶見解和體自動化的索賠處理和自動駕駛驗處理更快更好的診斷改進風險分析預測性維護基于使用情況的保險。改善結果s減少欺詐優化的網絡性能改善供應鏈服務更好的預測改進的威脅檢測為什么AIML會在現在流行？大量的計算，數據和開源ML工具和框架正在幫助使AI/ML成為現實NVIDIARedHat#page#GTC China2020AIML生命周期與關鍵角色6Deploy MLML modclsGather andDevelop MLImplementSetmodels in appMonitoring &modelApps&p

10、repare datagoalsdev processInferenceManagement業務決策者機數據工程師數據科學家店應用開發者IT運維人員1nVIDIA.RedHat#page#GTC China2020所需的對應ML工具鏈架構8O0SetML modelsGather andDevelop MLDeploy ML modelsImplement8oakmodelprepare dataApps &inferencemonitoring &in app dev processmanagementML/DL與DevOps 工具鏈（e.g.TensorFlowJupyterNoteboo

11、ks,Python，Seldon，etc.）MLdatasources-數據庫（SQLNoSQL.etc.），數據湖，等等，支持自管理的混合云與多云平臺計算加速（GPU）酒田基礎laaS供應物理設備虛擬化私有云公有云混合云邊緣云NVIDIARedHat#page#GTC China2020RedHat與NVIDIA一起實現更出色的ML架構供應00SetGather andML modelsDevelop MLDeploy ML modelsImplementmodelgoalsprepare dataapps &inferencemonitoring &in app dev processma

12、nagementML/DL與DevOps工具NVIDIAMLdatasources：數據庫（e.g.,SQLNoSQL），數據湖，等等，RedHat具備自服務能力的混合云與多云平臺OpenShift計算加速（GPU）NVIDIARedHatRED HATRedHatInfrastructureViRTUALIZATIONEnterprise LinuxOpenStack PlatformCoreOsnVIDIARedHat#page#GTC China2020加速Alsolution交付周期NGCcontainersNGC預訓練的模型和腳本Red HatOpenShiftNVIDIA GPUs

13、Red Hat Enterprise LinuxCoreOS由NVIDIA，與RedHat一起提供企業級支持中nVIDIA.RedHat#page#OPEN DATA HUBGTC China2020OpenDataHub參考架構安全與治理An ifiilmtelliee&Machin監控與調度wmW數據科學家開源社區項目s1中.B時小數據分析展示RedHat產品組合和開源工SramigDapkro業務分析人員Spa SpaksoLTrnalla StreHKa具的價值，以加速AI/ML生命周元數據管理期。Hie Melaslo自動部署開源AI/ML工具。存儲DataLakgMemo數據工程師

14、Pernso SaL網R sOpaFL）動態數據DevO數據管理CkanhLor程師tRedHat#page#OPEN DATA HUB通過OpenDataHub快速實現AVML業務能力FRAUD DETECTION USING OPEN DATAHUB ONOPENSHIFAnificialmteligemeee&Maehine LeamipN海新照修bSE中數據分析店Big DalaPreoineSramig業務分析人員SpwkonoTtKk元數據管理HiMiasce存儲DatabakMeno數據工程師OHFosaOOL動態數據cmLOhRedHat#page#GTC China2020通

15、過開源軟件加速DPU能力在數據中心中的實現NVIDIA BLUEFIELD-2DPUDataCenterInfrastructure-on-a-ChipCombines864-bitA72Arm Cores2VuwAcceleratonEnginesandMelanoxConnectx-6DxNICAcceleratedSecurity:IsolatonRoot of Trust，Crypto，KeyManagRegular Expression EngineAccelerated NetworkingRDMAROEGPU Direct.SDN/NFVAcceleratedStorageNVM

16、eoFElasticBlockStorage，DataIntegrityDe-Dup，Compression2x100cbBhernand IfiniBandRedHat#page#GTC China 2020DPUsupport inOpen-Source software紅帽計劃通過RedHatEnterpriseLinux和RedHatOpenShift來支持BlueField-2DPU，我們將繼續與NVIDIA合作，為未來的數據中心提供紅帽行業領先的軟件。NVIDIA網絡業務部軟件架構副總裁DrorGoldenberg說：NVIDIA“Red Hathas a history ofsu

17、pportingAlsoftware-definedinfrastructurecontainerizedcomputing,andacceleratednetworking Having Red Hat supportNVIDIA BlueField-2 DPUSgives customers the power to acceleratekey data centerRed Hatinfrastructurefunctions on the DPU to deliver servers withhigher applicationperformance greaterefficiency

18、andimproved security.RedHat#page#GTC China2020暢想DPU加速容器平臺的高性能實現Arificial lntelligMachin出SmartNICs for host-agnosticHost Serve提升OVN網絡吞吐能力數據科學家JutaH.OS/HypervisorS數據分析Me Stndrd DiverStorage ControlData EpBl DataPrpcessmtreamin業務分析人員支撐高速存儲調度，提供靈活PnvmaWtoHKWVM元數據管理Cloud AecelerationHveMsso簡化數據面與控制面分離Fie

19、d-2Am CoreStnAOVsControl存儲NMe SNAP SDBuit in Securiy and IsohtionDataLakohMamar強化租戶隔離及安全數據工程師RaHasCph9oHHPOOHPPosgreoWS0動態數據leld NeScalabilty&ProgrammabilityccLos靈活與多集群能力組合BlueField-2RedHat#page#Thank company/ red- user/ RedHatVideosRedHat is the worldsleading providerofenterpriseopen source software solutions.Award- consulting services makeRedHat atrustedadvisertothc Fortune