A4--劉靖毅--淺談 MLSecOps 中大模型的軟件供應鏈管理.pdf

1、淺談淺談 MLSecOps 中大模型的軟件供應鏈管理中大模型的軟件供應鏈管理劉靖毅劉靖毅JFrog 解決方案架構師GOPS 大會金牌講師多年一線國內中大型企業 DevOps 實施建設經驗，專注于企業 DevOps 轉型建設。在 JFrog 中國 負責客戶 DevOps 建設咨詢整體解決方案，最佳實踐推廣以及實施等工作。認證Exin DevOps MasterKubernetes Certification CKAJFrog Artifactory Certified DevOps Engineer認識認識 MLOpsCodeBuildDeploy傳統開發傳統開發Software Enginee

2、r開發 調試應用代碼DevOps EngineerCICD 管理管理Operations Engineer部署、監控、運維部署、監控、運維DataModelDeployData Scientist定義、標簽、收集訓定義、標簽、收集訓練數據練數據Research Engineer開發模型算法、訓練和開發模型算法、訓練和分析模型分析模型ML Engineer實現、部署、監控和運維實現、部署、監控和運維 ML 模型數據模型數據機器學習機器學習 ML規規則則數數據據答答案案數數據據答答案案規規則則ML程序開發MLOps 的軟件供應鏈的軟件供應鏈ML 的軟件供應鏈：選擇機器學習算法(如支持向量機或決策樹

3、)向算法提供數據集(“訓練”模型)，這就產生了一個可以查詢的“預訓練”模型將預訓練的模型部署到模型注冊中心將預訓練的模型部署到生產環境中，可以通過將其嵌入到應用程序中將其部署到“模型應用”或“模型即服務”MLOps管道類似于傳統的DevOps管道，大模型和數據集是大模型和數據集是 MLOps 交互的核心交互的核心。大模型數量爆發增長大模型數量爆發增長爆發增長給我們帶來了新的問題和挑戰爆發增長給我們帶來了新的問題和挑戰永遠不要對可能來自不可信來源或可能已被篡改的數據進行解pickle如果需要確保數據未被篡改，請考慮使用 hmac 對數據進行簽名注入惡意代碼在模型加載時執行注入惡意代碼在模型加載時

4、執行用戶只是想加載一個模型，卻得到了任意的代碼執行。baller13 有害有害 payload：反向：反向Shell到惡意主機到惡意主機越來越多模型在使用之前需要進行序列化的操作越來越多模型在使用之前需要進行序列化的操作模型就是代碼目前使用的大多數ML模型格式都支持加載時自動執行代碼，這意味著只要加載一個不受信任的模型，任意代碼就可以在您的機器上運行。這些“固有”漏洞中有哪些是我們可能不知道的？哪些ML操作不應該與不受信任的數據一起使用？PyTorch 模型和 Tensorflow Keras 模型(以H5或SavedModel格式)構成執行惡意代碼的最高潛在風險基于基于AI的幻覺攻擊的幻覺攻

5、擊一個用戶向中毒的推理服務器查詢“什么是計算機視覺最好的PyPI包”，可能會得到一個惡意的結果，如“嘗試MyRemoteAccessTool v99.9”。IP泄漏被劫持的容器將敏感模型上傳到攻擊者的云服務器上，導致知識產權損失。MLOps 平臺在未來幾年將出現大量安全問題平臺在未來幾年將出現大量安全問題兩個原因開源 MLOps 平臺都很新（最早的平臺不到5年）人工智能專家通常不是安全專家攻擊者如何通過軟件供應鏈將這些漏洞鏈接在一起攻擊者如何通過軟件供應鏈將這些漏洞鏈接在一起為什么需要私有化管理企業為什么需要私有化管理企業 ML 大模型大模型Private GithubPrivate Dock

6、erhubPrivate Huggingface Hub目前模型管理的現狀，大多使用 Git/FTP/S3 傳統存儲方式：缺乏模型的版本管理（大量預訓練模型需要工程化的版本管理）；模型 size 10G 500G 不等的超大文件，上傳、下載、移動費時費力；模型安全、許可證合規性缺失。ML 涉及的所有語言技術棧統一管理涉及的所有語言技術棧統一管理使用Artifactory緩存和管理來自PyPI的包目前大部分的 MLOps 平臺采用 Docker/OCI 部署模型支持 Hugging Face 的私有化使用使用Artifactory來緩存和管理Helm Charts像管理包和構建版本一樣管理和保護

7、模型版本像管理包和構建版本一樣管理和保護模型版本ML 大模型版本管理大模型版本管理huggingface-remote-cacheExternal public-repohuggingface-remote訓練模型promotionML DevelopersML Build toolML Api ServerEnd Applicationresolvebuilddeployresolve發布模型huggingface-pre-trainingmainv1.0model-ahuggingface-releasev1.0model-amodel 元數據信息訓練報告訓練結果訓練時間發布 model

8、信息其他相關信息ML 大模型版本管理大模型版本管理ML 工程師可以直接通過 code（只需1行代碼）下載 Hugging Face Models 和 數據集指定模型版本或者通過 MLOps 自動化生成版本號記錄 model、訓練數據集 相關信息大模型底層存儲架構大模型底層存儲架構 S3s3-storage-v3-directCacheeventualCacheeventualMavenNpmModelsPypi/model1/按需同步ArtifactoryArtifactoryDockerRpms3 直連下載相較于 Git/FTP/S3 的優勢：分片多線程上傳、下載；去重存儲大模型，這樣 ML

9、Ops 中的模型晉級、發布模型到生產環境，無額外存儲和網絡成本。S3 直連下載，將更多資源提供大模型寫入業務JFrog 大模型使用性能報告大模型使用性能報告源頭阻斷惡意模型、不合規的許可證模型源頭阻斷惡意模型、不合規的許可證模型JFrog&Qwak 集成架構集成架構 端到端的端到端的 MLSecOpsML Build SystemModel ServingArtifactsDatasetsServing ImagePython Repositories(Dependencies)HuggingFace ProxyScanning,Versioning and Universal Reposit

10、ory An E2E Coverage of the ML Development Cycle DeployMLSecOps DemoMLOps 工具鏈正在爆發式的發展工具鏈正在爆發式的發展Data IngestionData CleansingFeature EngineeringModel Development&TuningModel TrainingModel ValidationModel DeploymentModel OperationModel MonitoringFeature StoresFoundation Models&Stores Data Observability

11、Data VersioningData LabelingData EnrichmentML Model RegistryAuto ML PlatformsModel Deployment&ServingMonitoringModel Training&TuningML Model Development&Experimentation(ML IDE)Model Frameworks&TrainingsDataOpsRuntimeOpsData Preparation&QualityContinuous IntegrationData ScientistML ArchitectML Engine

12、erModel Security&ComplianceDevOpsDevOpsModelOpsEnd-to-end PlatformsTHE JFROG PLATFORMJFROG ARTIFACTORYSystem of record,storing and managing all binary software packages,container imagesJFROG PIPELINES End-to-end CI/CD automation and orchestrationJFROG MISSION CONTROLDevSecOps admin toolsJFROG INSIGH

13、T DevSecOps metrics&analysisDistributed EdgeIoT DevicesPublic CloudPlatformsOn-premises and HybridRegional CloudsSECURITY ESSENTIALS(XRAY)Modern SCA for evolving software artifactsADVANCED SECURITYPrioritize CVEs with Contextual Analysis,secure code(SAST),prevent secrets,IaC exposuresJFROG CONNECTDeploy,operate and monitor connected IoT device fleetsJFROG DISTRIBUTIONAccelerate