【OS2ATC】Confidential_AI開源解決方案最佳實踐.pdf

《【OS2ATC】Confidential_AI開源解決方案最佳實踐.pdf》由會員分享，可在線閱讀，更多相關《【OS2ATC】Confidential_AI開源解決方案最佳實踐.pdf（12頁珍藏版）》請在三個皮匠報告上搜索。

1、Alibaba Cloud Confidential 阿里云商務機密Confidential AI開源解決方案最佳實踐實現具有端云一體AI推理安全與隱私保護的Confidential Cloud Computing阿里云飛天實驗室操作系統安全團隊龍蜥社區云原生機密計算SIG Owner乾越AI推理場景中的數據安全問題AI數據的高度敏感性和高度隱私性決定了用戶對AI Infra的安全和隱私保護能力提出了更高的要求模型使用者發送給目標推理服務的推理請求和響應結果，在整個推理過程中都是以明文形式存在。如果推理執行環境中存在后門（如推理服務、OS、中間件等），或AI Infra特權管理員主動作惡，推理

2、請求和響應結果存在泄露和被篡改的風險模型提供者注冊到存儲服務中的模型，在落盤存儲前會以明文形式暴露給存儲服務。如果模型是私有的，模型存在泄露風險如果模型是開源的，模型參數存在被篡改的風險模型提供者的模型在被拉取到推理執行環境后，在整個推理過程中都是以明文形式存在。如果推理執行環境中存在后門（如推理服務、OS、中間件等），或AI Infra特權管理員主動作惡，模型存在泄露和被篡改的風險基于機密計算技術構建的節點級安全架構Host OSCPUCPU TEE信任根VMMVMConfidential VMGuest OSGPU驅動容器AI工作負載+CAIGuest OSGPU驅動容器AI工作負載+CA

3、IGPUGPU TEEPCIe PF應用計算引擎DMAHBMPCIe通信鏈路加密CPU TEE與GPU TEE共同構筑端到端的密態計算環境平臺特權管理員中間人平臺特權管理員 處理用戶敏感提示詞的推理服務被部署在經過證明的CVM中，阻止特權管理員訪問內存中的敏感數據 CPU TEE與GPU TEE共同創建了一個統一的可信執行環境，大幅度降低用戶對AI Infra的安全依賴和信任成本 該可信執行環境為計算安全、存儲安全和網絡安全的統一TCB提供了信任基石Confidential AI方案的應用模式端側執行環境硬件OS+驅動推理框架小模型推理環境CPU TEE+GPU TEE推理服務CAI Runt

4、imeGPU驅動Guest OS根據客戶的數據出域要求提供不同的應用模式模型使用者模型提供者訓練環境GPU訓練集群資源調度系統訓練框架大模型平臺提供者模式一：推理提示詞密態出域模型使用者：客戶模型提供者：CSP或第三方平臺提供者：CSP客戶希望為其終端用戶提供云端AI算力模型使用者：客戶模型提供者：CSP平臺提供者：客戶模式二：模型密態出域客戶希望在提示詞不出域的前提下使用大模型Confidential AI：端云一體的AI安全與隱私保護方案利用機密計算軟硬結合技術，從系統級安全角度為模型數據提供端到端的加密防護，大幅降低模型數據泄露風險AI推理服務實例端側Trusted Network Ga

5、teway（TNG）Client推理程序存儲服務（如OSS/NAS）Runtime TrustifluxTrusted Network Gateway（TNG）Server推理服務Attestation Agent（AA）Confidential Data Hub（CDH）模型提供者（云用戶）TEE訪問控制隔離推理過程密態計算執行環境最小TCB模型數據密態上云中間人外部攻擊者云平臺特權管理員用戶可信域阿里云服務無需修改的組件CAI組件Trustee模型使用者（終端用戶）模型數據密態拉取和解密提供可驗證透明度推理過程安全可信Trustee提供可驗證透明度異構服務器CPU TEE+GPU TEE同

6、構服務器CPU TEECryptpilot Trustiflux：CAI運行時Confidential Data Hub：Trustiflux主控managerAttestation Agent：遠程證明代理Trusted Network Gateway：可信網關Cryptpilot：系統盤/數據盤加密和完整性保護 Trustee：CAI信任管理服務Confidential AI的安全能力涵蓋計算、存儲和網絡的全密態解決方案Attestation-Agent：收集有關執行環境的可信狀態Trustee：驗證執行環境的可信狀態并建立用戶對目標執行環境的信任Attestability（兌現對用戶聲明

7、的安全與隱私承諾）機密計算AI InfraCachefs：文件系統級模型解密，以及分布式模型緩存共享密態存儲密態網絡CryptPilot：塊設備級+dm-overlay的系統卷+數據卷機密性和完整性保護Trusted Network Gateway for 推理提示詞保護：確保推理提示詞只被發送給安全可信的推理服務GPU TEE硬件：強制保證實施聲稱的基于密碼學的內存加密和強訪問控制隔離密態計算CPU TEE硬件：強制保證實施聲稱的基于密碼學的內存加密和強訪問控制隔離Confidential Data Hub：CAI Runtime Trustiflux managerAI應用框架+大模型支撐

8、組合提供證明Trusted Network Gateway for cachefs模型緩存共享保護：確保cachefs緩存的模型明文數據僅在安全可信的推理服務之間共享CNCF開源社區和項目：Confidential Containers（CoCo）kubeletcontainerdkata-runtime數據卷存儲加密保護鏡像倉庫TEE Podkata-agent加密的數據卷密鑰代理服務遠程證明服務Relying Partyimage-rsocicrypt-rskeyprovider遠程證明代理Resource APIsVMM容器鏡像Keyprovider APIs密鑰管理服務密鑰管理操作Ho

9、st KernelGuest KernelGuest Firmware信任邊界鏡像解密+鏡像簽名驗證OC鏡像簽名遠程證明+Event Log業內多家頭部公司參與共建，擴大機密容器技術的影響力，實現廣泛的商業化采納：https:/confidentialcontainers.org Confidential AI技術方案復用了我們在CoCo社區貢獻的部分組件能力 開源貢獻長期保持Top 2 2名TC成員 3名核心maintainers 自研開源組件和特性隨CoCo正式版本發布Confidential AI相關產品提供端云一體的AI安全與隱私保護方案，從系統級為模型知識產權和推理提示詞隱私提供端到

10、端的全生命周期的密態防護靈駿異構機密計算服務器TDX+GPU TEE第8代Intel服務器普通異構服務器Cachefs/SAMTrustee Helm ChartTrustifluxTrustifluxTrusteeCAI容器鏡像CAI WebhookAI推理CryptPilot大數據處理客戶消費電子客戶互聯網客戶敏感數據處理CAI容器鏡像硬件平臺交付物應用場景潛在客戶自定義AL3鏡像Cachefs/SAMTrustee靈駿EGS Pro異構機密計算實例PAI EAS安全加密推理服務實例ECS機密計算產品實例（CryptPilot）Attestation-AgentTNGTDXConfiden

11、tial AI的產品能力目前已支持L1、L2和L3L0L1L3能力級別L4模型數據機密計算（性能無損）L2保證CPU+GPU TEE數據安全的同時得到無損的性能模型數據機密計算（性能有損）使用CPU+GPU TEE保證CPU-GPU數據安全模型數據可信部署與訪問基于遠程證明技術以可信的方式將模型數據部署到云上模型數據安全存儲對模型數據進行加密后再存儲到云上當下業界現狀缺乏對模型數據提供全生命周期的安全保護機密計算保障人工智能系統安全研究報告阿里云聯合中科院軟件所、南湖實驗室、中國電子信息產業發展研究院等多家具有雄厚實力和業界影響力的研究機構，正式發布機密計算保障人工智能系統安全研究報告。報告提

12、出了“AI安全從系統層硬件開始”的核心理念，揭示了機密計算在保障AI安全、尤其是AI系統安全方面的重要價值，其提出的機密AI技術方案填補了AI安全領域中系統層安全能力的空白，能夠最大程度地保證AI數據和模型安全，為AI系統的整體安全提供強大保障，實現數據要素的可信流通。標準化與合規性建設工作成果和規劃：已經在阿里云合規主頁提供正文下載 已經在國內的CCSA立項基于機密計算的大模型訓練與推理安全指南行業標準的編制工作 計劃在國際ITU-T組織啟動基于機密計算的AI安全指南標準編制立項加快Confidential AI在標準化與合規建設方面的布局后續規劃繼續持續在CoCo社區進行新特性的貢獻、開發和孵化，助力CoCo社區蓬勃發展。https:/confidentialcontainers.org在龍蜥社區云原生機密計算SIG正式發布Confidential AI開源技術方案和最佳實踐，以此為基礎建立廣泛的學術合作與開源合作。Confidential AI代碼庫（開發中）：https:/ AI在商業化產品中的滲透率，探索和挖掘出更多的業務落地場景和機會。靈駿EGS Pro異構機密計算實例：https:/ EAS安全加密推理服務實例：https:/ AI在標準化與合規建設方面的布局和建設，為業界建立相關標準和測評體系。機密計算保障人工智能系統安全研究報告下載：https:/