【劉秉偉】2023云原生產業大會 - 構建可信AIGC云原生應用.pdf

1、二中國通信標準化協會CAICT中國信通院D構建可信的AIGC云原生應用劉秉偉英特爾軟件與先進技術事業部系統軟件高級總監2023年12月1日OO0八A#page#2023云原生產業大會構建可信AIGC云原生應用新質轉換 智能紀元機密容器（Confidential Containers英特爾平臺的可信AIGC能力構建可信AIGC應用0O0#page#2023云原生產業大會容器運行時安全的演進新質轉換智能紀元機密容器沙箱容器傳統RUNC容器硬件TEE保護的客戶機內存，保護客戶代碼和虛擬機級別的故障隔離和安全隔離共享內核數據不能被宿主機/云廠商充探保護宿主機/云廠商ContainerAContaine

2、r BContainerBContainerAContainerAContainerBVMVMVMVMProCe5sAProcessBProcessBProCesSAFilterFilterGUESTLINUXGUESTLINUXGUEST LINUGUEST LINUKERNELBVT-x/dHardware VT-x/dHardy-x/HOSTLINUXKERNEL店ATDXKERNELHOSTKERNELHOSTLIN0O0#page#2023云原生產業大會CNCF沙箱項目ConfidentialContainers（CoCo）新質轉換 智能紀元云原生機密計算CONFIDENTIALCO

3、NTAINERS利用HardwareTEE保護應用/模型/數據容器和K8S生態聚焦應用基于遠程證明構建信任彈性把基礎設施服務提供者排除在可信計算基（TCB）之外提供安全上云的新范式高密狀態設計原則廣泛的業界支持易用無需應用修改2022年3月成為CNCF沙箱項目容易部署和運維完整的安全特性非常容易和各種云服務集成應用場景驅動Pod級TCB，IT運維人員天然不可信端到端零信任覆蓋運行時/存儲/網絡/secrets0O0#page#2023云原生產業大會CoCo項目的技術路線圖新質轉換 智能紀元發起VO0.1.0-0.4.00.5.0-0.7.00.8下一步2021.72023.7獨立的組織鏡像加密

4、CNCF沙箱項目運行時遠程證明通用遠程證明框架可信數據Hub客戶端拉取TD-SHIMCoCo初始化配置驗證Enclave-CC機密訪問配置TDX/SEV遠程證明競像簽名可信OIntelo TrustKMS集成基本K8S集成CI/CDAuthority客戶端可信GPU可信持久存儲OperatorPeer PodsCNCF解化鏡像共享可信臨時存儲OPA集成啟動可度量流式拉取0O0#page#2023云原生產業大會基于硬件TEE的安全加固新質轉換智能紀元ImageRegistryK8SCSI DriverContainerl1os57SIPPContainer2Attestationkata-age

5、ntRemoteAttestationimage-rsConfidera/DataHubKMSCoCo KBStationkubelet8clcnRt.rsGuest KernelRootfscontanerdCoCoAS/AmberTD-SHIMkatasVMM（CLH/QEMU/Dragonball）DCAP QGS3allidatinTrnustedHost(Kernel/KVM）Untrusted0O0https:/ 智能紀元機密容器（ConfidentialContainers）英特爾?平臺的可信AIGC能力構建可信AIGC應用0O0#page#2023云原生產業大會英特爾高級矩陣擴

6、展（AdvancedMatrixeXtensions）新質轉換 智能紀元XeoN4th Gen Intel XeonScalable Processor英特爾高級矩陣擴展（AMX）是每個SapphireRapids內核上都有的專用硬件模塊，它有助于加速深度學習工作負載NewAdvanced Matrix ExtensionsIntelAMXCpto8xgen-on-gencompute increase0O0#page#2023云原生產業大會第四代英特爾至強CPUMax新質轉換 智能紀元IntegratedAdvancedPerformanceMatrixAcceleration4XCores

7、ExtensionsEnginesMemory100MBOptaneBandwidthHBM2eSharedLLCCXLPCleUPI2.0Gen51.1Upto64GBHBM2eLogicallyXeonMulti-TileMonolithicEMIBSapphireRapidswith HBMPerfomance0O0#page#2023云原生產業大會IntelExtensionforPyTorch*的大語言模型優化新質轉換智能紀元IntelExtensionforPyTorch*是英特爾提供的基于PyTorch的擴展庫StableLama2GPT-JOPTFalconStarCoderB

8、LOOMOpen ModelsDiffusion針對大語言模型做了大量定制的優化更高效的LLM定制化GEMM內核來充分發揮AMX和TorchRecTorchvisionTorchServeDDR5的性能Ecosystem LibrariesIndirectaccessKVcache優化了LLM的MHA計算瓶Hugeingedeepspeed每PG頸更激進的面向LLM典型結構的算子融合算法Deep Learning多種低精度數據類型支持來更好的滿足各種應用場景OPyTorchIntel Extension for PyTorchFrameworkBF16，INT8,INT4內置多CPU/多節點擴

9、展支持，彈性擴展性能和性價比心oneDNN oneccL oneMKL TritonSYCL0O0#page#page#2023云原生產業大會英特爾信任域擴展（TrustDomaineXtensions）新質轉換智能紀元Intel? TDXIntelg TDX Connect異構TEEs虛擬機級別TEETD (Trust Domain）TD（Trust Domain）AppAppAppAppAppAppGuest OSGuest OSVMMVMMIntel Xeon CTDX Connect）TDTDIntel Xeon(TDXTraffic Protected by IDEConfident

10、ial Computing DeviceTD（GPU，Accelerator etc.）0O0#page#page#2023云原生產業大會公有云上構建可信AIGC應用保護關鍵模型/IP新質轉換智能紀元CSP服務云端容器鏡像倉庫11對AIGC應用鏡像加密AIGC應用/模型/數據擁有者12對AIGC模型和數據加密海儲CSP服務數據2.部署加密的訪問配置Kukernetes集群部署在云端的應用集群3.啟動可信的AIGC應用0.準備遠程證明參考值和策略以及密鑰3.3使用解志密銷解志后拉起應用Key Manager Service3.2遠程證明后獲得模型/數據（CSP提供/私有化部署）的解密密明QTDX

11、 CoTDXCoCe遠程證明服務3.1遠程證明后獲得應用的解（CSP提供/第三方提供）Q密密明TDXCoCo可驗證的/可信的TDXCoCeCSP提供/第三方提供/私有化部署CSP不可信TDX裸金屬節點0O0#page#2023云原生產業大會私有數據中心上構建可信AIGC應用保護關鍵模型新質轉換智能紀元高價值模型/數據擁有者容器鏡像倉庫私有化部署1對AGC模型/數據加密存信私有化部署型/數據私有化部署的可證明應用Kurernetes Cluster集群2.部署加密的數據訪問配置3.啟動可證明AIGC應用0.準備遠程證明參考值和策略以及密銷內部用戶3.1TEE里完成代碼錢的度量KeyManager Senice3.3使用解皮密銷拉起數據和應用（第三方）證明后獲得模型6C/數據的解志專鑰TDX CoCTDXCoce遠程證明服務（第三方）9TDXCoCoTDXCoCo可證明的/可信的第三方不可信的私有化部署者TDX裸金屬節點OOO#page#THANKS!OO0#page#