五分鐘微調“漫畫風” Stable Diffusion.pdf

1、五分鐘微調“漫畫風”Stable Diffusion徐之浩阿里云智能容器服務研發工程師基于云原生AI套件動手實踐AIGC應用Contents目錄01ACK云原生AI套件介紹02AIGC模型微調實驗演示ACK云原生AI套件介紹云原生AI工程化落地最優路徑01云原生AI產生背景隨著AI技術快速發展和應用，AI工程化向云原生架構演進。數據管理平臺服務部署平臺算法建模/訓練平臺資源管理平臺AI工程化算法工程師/數據科學家AI平臺/K8S運維人員數據業務OCRFace-ReImage-ReMultimedia AINLPTTSAIGCLLM電商社交游戲自動駕駛傳媒金融醫療健康科學計算人工智能機器學習深度

2、學習更大的算力需求更高的穩定性要求更快的創新和迭代交付 資源管理分散 生產流程割裂、效率低 團隊協作、共享困難傳統架構 資源池化：彈性、靈活 生產流程高效閉環 多角色協同，加速迭代云原生架構云原生AI套件產品定位容器服務ACK提供的云原生AI技術和產品方案，以云原生技術與架構加速AI工程化落地。開發探索數據準備模型構建模型訓練模型推理調優提效持續發布彈性阿里云異構資源CPUGPUFPGAASICRDMA100GEthCPFS/NAS/OSS持續優化異構資源效率高效運行AI等異構負載ACK云原生AI套件Service MeshServerlessAI應用開源框架FasterTransformer

3、MegatronK8s運維人員IaaS運維人員AI平臺運維人員算法工程師數據科學家云原生AI套件能力優勢云原生AI套件四大分層能力模塊，分別具備不同的優勢特性，充分滿足不同角色、不同架構層級、不同業務階段的需求。云原生AI套件異構算力管理AI任務管理AI數據加速AI工程管理成本分析資源管理運維監控診斷資源接入資源彈性伸縮HPA!Cluster AutoscalerGPU共享調度與隔離資源調度與共享任務提交運行任務調度任務彈性數據集管理數據訪問加速數據集編排命令行工具控制臺AI工程化IaaSK8sACK ProACK ServerlessACK EdgeACK!#$%&%()%*+CPU/GPU

4、拓撲感知調度用戶自建 AI 平臺阿里云 AI 服務開源 AI 框架與模型三方 AI 優化方案PaaSJupyterLabPipelinesKubeflow任務隊列彈性配額調度Batch任務調度ECS/ECI GPU!彈性推理彈性訓練數據集彈性數據集監控多數據源接入自動化數據流應用協同編排混合云數據加速Serverless數據加速可擴展的分布式緩存引擎降低大規模GPU管理復雜度智能削峰填谷，減少GPU資源浪費最大化提升GPU利用率多類型任務快速提交和編排多種策略滿足復雜調度場景提升任務運行效率和優化成本數據抽象和統一接入管理數據緩存預熱加速訪問數據使用的簡化和自動化屏蔽底層復雜性，簡化任務管理可

5、視化配置、管理、監控集群AI生產效率和體驗優化Arena SDKArena CLIAI運維控制臺AI開發控制臺LLMOpsMLOps云原生AI套件使用流程兩類角色通過命令行工具和控制臺簡便操作，高效協同集群大盤開發、調試一鍵發布服務ACKPytorchTensorflowGPU NodegpugpuPytorchTensorflowGPU NodegpugpuDatasetSchedulingvolumevolumearenaArenaCLI/SDKSLB負載均衡用戶AI運維控制臺數據集一鍵加速成本分析作業大盤Scaling提交、管理訓練任務定時任務工作流編排模型評測用戶權限配額管理低延時LB

6、直通pod藍綠發布、服務化運維算力、數據的彈性、加速GPU大盤運維管理員數據科學家/算法工程師GPU共享調度AIGC模型微調實驗演示使用云原生AI套件控制臺能力02體驗云原生AI套件開發控制臺Step 1:部署云原生AI套件云原生AI套件-開發控制臺幫助數據科學家簡便地開發、訓練模型，支持：查找集群資源Jupyter notebook開發調試模型代碼提交、管理訓練任務執行定時任務管理數據集和訓練代碼源管理模型評估模型質量發布模型推理服務體驗云原生AI套件開發控制臺Step 2:創建Jupyter Notebook開發環境體驗云原生AI套件開發控制臺Step 3:開發調試AI模型體驗云原生AI套件開發控制臺Step 4:驗證AI模型效果THANKS