08-面向 GenAI 時代的 LOKAI 基礎設施挑戰與實踐 -Zhenyu Zheng.pdf

1、面向GenAI時代的LOKAI基礎設施挑戰與實踐鄭振宇 OpenAtom openEulerGenAI 時代云基礎設施的機遇與挑戰2024全年云基礎設施花費達到$330 Billion,較2023年上漲22%，較2022年上漲44.7%ChatGPT于2022年底發布，與基礎設施業務爆發式增長節奏相匹配調查表明，超過半數基礎設施增長源于GenAI業務Source:Synergy data and analysis 近半數GenAI業務自部署AI基礎設施軟件棧Source:Linux Foundation ResearchGenAI 時代云基礎設施的機遇與挑戰LinuxKubernetes(Cl

2、oud Native)OpenStack(Cloud)AI StackX86ARMGPUNPUopenEulerUbuntuCentOSOpenStackAWSAzureKubernetes硬件使能OneAPIKleidiAICUDACANNAI框架PyTorchTensorFlowMindSporePaddle加速庫vLLMDeepSpeedLlama.cppSGlang模型LlamaDeepSeekStableDiffusionQwen應用ChatCodingPic GenVideoHardware核心挑戰：算力支持：硬件種類繁多，GenAI時代大規模集群與異構融合成為剛需；算力釋放：加速

3、庫與訓、推工具鏈全量支持，硬件使能層釋放多樣性算力；軟件生態：豐富的AI軟件生態，加速庫與訓、推工具鏈全量支持，釋放多樣性算力；集群能力：集成云與云原生能力，打造堅實、靈活的算力底座；快速響應：AI軟件棧日新月異，快速使能、快速集成、快速響應；OPEA:AI應用E2E快速部署Open Platform for Enterprise AILF AI&DATA 旗下開源項目為用戶提供端到端企業級GenAI應用部署方案：用于構建生成式人工智能解決方案的組件，包括檢索增強：生成式人工智能模型-大型語言模型（LLM），大型視覺模型（LVM）等。系統組件-例如，嵌入模型；向量數據庫；排序，提示處理等。用于

4、構建AI代理和創建完整端到端生成式人工智能流程的組合能力用于微調、定制和優化的工具，包括數據中心/本地設置各種經過驗證、準備就緒的端到端參考流程v1.2 Released in 2025.1.2722個企業級GenAI應用https:/opea.dev/openEuler：多樣性算力支持、易用穩定的Linux發行版算力支持：Arm/x86/RISC-V/GPU/NPU/DPU/Power/算力全量支持；算力釋放：主流加速庫與工具鏈全棧使能核心加速庫全量驗證，支撐算力釋放；軟件生態：主流框架全部支持，海量模型開箱即用，使能應用開發；集群能力：使能異構算力融合，集群資源動態調整，節點間異構設備協同，推理場景性能相對提升20%；社區響應：極具活力的開源操作系統社區；22個E2E GenAI應用https:/opea.dev/100+官方容器鏡像Docker Official Supported OSS is cheap,show me the DEMOAvatarChatbothttps:/opea-project.github.io/latest/GenAIExamples/AvatarChatbot/README.htmlopenEuler+OPEA Demo Placeholder了解更多關于openEuler的內容Thanks.