打造新質安全能力 為新質生產力的發展保駕護航.pdf

《打造新質安全能力 為新質生產力的發展保駕護航.pdf》由會員分享，可在線閱讀，更多相關《打造新質安全能力 為新質生產力的發展保駕護航.pdf（20頁珍藏版）》請在三個皮匠報告上搜索。

1、目 錄CONTENTS新質生產力新質生產力是創新起主導作用，擺脫傳統經濟增長方式、生產力發展路徑，具有高科技、高效能、高質量特征，符合新發展理念的先進生產力質態。新質生產力帶來重大機遇與挑戰213數字化精確可控智能化效率提升創新驅動技術、商業模式的持續變革三大特點機遇挑戰人工智能成為新工具人工智能在知識創造和科學技術創新中扮演關鍵角色，推動人機協同和技術創新。生產效能提升生活便利舒適管理精準可控社會安全穩定AI大模型內生安全問題AI大模型被用于攻擊AI大模型應用衍生風險云網基礎設施安全風險（云安全、軟件安全）亟待構建與新質生產力安全發展匹配的新質安全能力01020304新模式對象多重屬性（AI

2、：安全工具+原生安全）（數據：訓練原料+生成結果）安全多層級網狀交互新關系網絡統一身份智能中樞感知云網邊端防護新架構安全數據集安全模型算法AI開源框架安全知識圖譜新要素05動態防護敏捷發現精確洞察新效能防護與訓練分離動態評估信任機制能力不斷自我增強大模型時代AI應用自身面臨多重風險數據采集!數據處理!訓練階段!推理階段!集成階段!關鍵風險要素數據安全敏感數據泄漏數據投毒攻擊數據重構攻擊傳統數據防護被圖譜，導致個人信息和隱私泄露惡意樣本注入或訓練數據標簽信息被修改敏感信息被攻擊者通過分析模型輸出實現恢復或推斷模型竊取攻擊模型劫持攻擊后門攻擊prompt攻擊海綿樣本攻擊模型被攻擊者通過一定量詢問后

3、，模擬得到相似功能模型模型功能被攻擊者掌握并被控制完成設定目標模型被植入特定后門惡意指令被作為輸入提示的一部分導致模型被操縱惡意數據被使用增加模型延遲和能源消耗，破壞模型可用性供應鏈安全部署運行安全開源模型/開源數據、計算環境等AI涉及的供應鏈上下游風險模型部署和運行時的易發生模型竊取、惡意使用等問題算法安全環境安全應用安全大模型濫用加劇網絡安全風險大模型加持社會工程學攻擊利用大語言模型生成極具說服力和個性化的網絡釣魚電子郵件、虛假信息 與2022年相比，2023 年網絡釣魚攻擊激增了 58.2%（數據來源：ThreatLabz 2024 Phishing Report）WormGPT 惡意大

4、模型工具用來發起高級網絡釣魚攻擊大模型輔助開發惡意軟件和工具使用大語言模型在開發惡意軟件和工具的生命周期中進行輔助開發 Proofpoint 的研究人員觀察到針對德國數十個行業的攻擊鏈的一個惡意軟件投放器是由人工智能（AI）生成的。EscapeGPT 和 LoopGPT等“越獄大模型即服務”新型產業鏈出現大模型混淆異常流量監測規避大語言模型可以混淆惡意攻擊產生的流量與正常流量融合，規避檢測系統大模型優化攻擊負載構造借助大語言模型，創建并完善用于網絡攻擊部署的有效載荷生成內容人機難辨大模型大幅提升生成內容的質和數，人們難以辨別內容來源數據泄露范圍擴大模型訓練數據、用戶使用數據、隱私數據等多種數據

5、泄露攻擊威脅演變大模型擴大了攻擊面，衍生出新攻擊向量，攻擊威脅復雜性增加反應窗口期縮短大模型促使傳統回合制攻防對抗轉變為即時網絡對抗 情報庫失效。大模型動態生成新行為、樣本，傳統基于情報庫的安全策略失守。傳統防護設施效率大幅降低。防火墻、網關等外圍防護已無法解決大模型自身脆弱性、價值對齊和外部智能化攻擊問題。追蹤溯源困難。大模型內部運作機制與外界隔絕，阻礙了決策透明。當模型做出錯誤決策或造成負面影響時，難以找到源頭，是模型本身的缺陷？還是數據的偏差？或是人為的操作？審計問責困難。大模型的“黑箱”特性給審計和問責帶來了巨大的挑戰，難以審計模型是否符合相關標準和規范，也無法追究模型開發者和使用者的

6、責任。大模型廣泛應用下傳統安全防護面臨全新挑戰云網基礎設施因新技術應用面臨新型安全威脅以持續集成和持續交付（CI/CD）特征的供應鏈風險加劇人工智能和量子計算加劇暴力攻擊 人工智能為暴力攻擊提供自動化工具和算力能力，近兩年我國算力增速保持50%以上的高增長 量子計算形成對現有加密算法的暴力破解威脅，可快速破解云網安全加密的核心，導致云端存儲數據泄露 CI/CD（持續集成和持續交付）環境極易成為攻擊目標，從npm服務倉庫和python代碼，到管道執行（PPE），都可能是攻擊者發起攻擊的新目標新質技術與云的融合，云安全威脅多維演變，亟需構建智能化、高可信的云安全防御體系云上暴力攻擊呈顯著上升態勢，

7、2022年針對企業組織的網絡暴力攻擊數量同比增加了31%Brain-inspired computing needs a master plan算力需求增速2022年1月至11月，Orca平臺觀察到的暴力攻擊數量Gartner 預測:到 2025年全球將有 45%的組織的軟件供應鏈受到攻擊。sonatype9th Annual state of the software supply chain中國電信新質安全能力布局：內生AI+內生安全安全智慧中樞語言能力倫理判斷記憶能力E各類專家模型EDR深度檢測、攻擊流量研判、惡意代碼分析、惡意郵件識別、不良信息識別等安全知識庫攻防技戰術、殺傷鏈經驗庫、

8、私有知識庫等安全工具庫樣本檢測工具、流量還原工具、情報查詢工具等大模型云網邊端軟件設備（元器件）-數據安全-模型安全-應用安全-環境安全-統一身份-動態認證-智能評估-協同感知-引入合規-可信倉庫-開發測試-監控響應-通信國產-信創替代-協同優化-產業生態市場化體系建設基礎設施保障運營實踐天地空一體化網絡高性能智算超算集群高可信量子安全通信數據安全安全評測大模型安全護欄可信AI評測平臺見微安全大模型AI專業公司AI與安全融合性人才安全公司AI靶場與藍軍隊伍自主進化安全能力發展區域-寧夏和浙江和專業分中心人才建設區域分中心專業分中心（關鍵技術突破）信創云分中心（技術應用落地）浙江分中心-本次授牌

9、寧夏分中心-“安翼管”打造新一代AI的“四可”安全能力目標：資產清晰、態勢準確、防護有力、風險可控思路：針對大模型研發全生命周期，打造大模型安全全鏈路解決方案，構造“四可”安全能力訓練：內容安全性評估大模型研發生命周期推理：輸入輸出防護迭代：最新的攻擊方式采集可測從數據、模型、產出物、用戶等不同維度的資產開展多層次立體化的測繪，實現對大模型產業鏈的精準探測與深度溯源大模型基因圖譜構建大模型用戶群體測繪可知基于風險定義和風險評測全方位感知大模型風險情況，全面評估大模型的安全性和合規性大模型內容安全評測大模型指令安全評測服務框架漏洞檢測可防全生命周期視角打造有效的全鏈路安全防護解決方案，確保大模型

10、產業鏈的可用、可靠、可信和可控用戶輸入防護模型輸出護欄針對大模型特性的Web防護可控大模型數據安全綜合治理平臺，保障訓練數據的持續可管控訓練數據安全應用數據安全定位一體化智能安全云服務商，為數字化場景全面賦能天翼云作為國家云基礎設施提供商，加載新質技術，構建一體化云安全服務體系向智能化、自動化、量子抗性和分布式信任的云安全防護體系演進響應與恢復威脅檢測威脅狩獵安全審計滲透測試漏洞掃描安全運營中心控制系統數據防泄漏數據恢復事件管理風險評估咨詢規劃安全合規UTM供應鏈安全Web過濾技術人員流程實施交付安全監測響應恢復（R&R）識別（I）保護（P）檢測（D）業務AI量子區塊鏈CI/CD 參照IPDR

11、R模型，構建涵蓋風險識別（I）、安全咨詢（P）、集成實施（P）、安全運營（D）、安全響應和恢復（R&R）的一體化云上智能安全服務體系。智能化AI/ML 軟件供應鏈安全量子抗性量子計算分布式信任區塊鏈強化AI軟件供應鏈安全，打造新質安全能力的“基因工程”AI作為軟件供應鏈中的重要組成部分，加強組件安全管理，構建AI軟件供應鏈安全保障體系。引入生產使用 供應商審查 建立供應商白名單 安全評估 背景審查 供應鏈資產管理 資產清單管理（組件、系統、源代碼等）版本管理 漏洞管理 軟件分析 開源軟件資產識別 安全風險檢測 許可合規分析 漏洞監控告警 代碼審計 靜態代碼審計 動態安全測試 標記潛在脆弱組件

12、動態更新資產清單 建立供應鏈威脅情報機制（漏洞、供應鏈攻擊等）識別已知漏洞組件 快速更新、補丁或棄用 制定應急預案及演練基于全生命周期構建數據安全圍欄，打造5A級新質安全能力數據準備模型訓練模型部署業務運營數據分類分級知識產權比對有害信息識別敏感/不敏感可用/不可用合法/不合法數據打標數據隔離應用端/云側大模型非機密區域機密區域構建可信的隔離機制，即使被攻破應用本身，也確保模型和數據安全。用戶授權通過嚴格的用戶授權體系，確保數據只進不出。通過數據識別和打標，控制敏感機密信息外泄。用戶數據用戶角色策略資源動作條件數據跟蹤將無形的數據化為有形，感知敏感數據，實施精準定位和管控。普通普通普通敏感敏感

13、敏感端/云側大模型基于大模型生命周期構建數據打標、用戶授權、數據隔離、數據跟蹤四維度的數據安全圍欄，實現敏感數據精準管控。打造新質安全能力案例（1）：大模型安全護欄產品定位：檢測用戶輸入和生成內容，識別各種安全風險；結合Web防護能力，打造一體化的大模型安全防護解決方案建設路徑核心算法建設：以研發鏈項目為牽引，聯合電信內部團隊，共同攻克應對AI安全和網絡安全交叉的復合型攻擊的算法通用能力建設：與業界語料豐富、運營團隊富足的廠商（如百度、阿里）建設生態合作，引入更加全面和高時效性的紅線知識庫產品應用建設：集成抗D以及WAF的能力，打造一體化的大模型安全防護產品打造新質安全能力案例（2）：可信AI

14、測評平臺目標：基于大語言模型技術，打造具有自主知識產權和國際領先水平的可信AI產品和服務，提升生成式AI的抗攻擊能力，防范化解因強人機交互技術引發的新型安全風險問題，維護社會主義核心價值觀，為加快新質生產力發展保駕護航AIGC合規事中實施審查針對生成式AI模型，提供超過25種內容合規檢測能力，其中涉政類的有效檢出率超過 85%，檢測延時在 200ms 內基于意識形態評估大模型，構建行業最有效的指令攻擊、紅線知識數據集，攻破率超過10%，超過行業普遍水平7.3%領域范圍包含違反社會主義核心價值觀、違法犯罪、倫理道德等八大類，中文攻擊樣本量超過 20萬數據集工具集AIGC合規事前安全測評產品形態1

15、：可信AI測評版產品形態2：算法備案版產品形態3：大模型防護版AIGC合規事后安全審計提供生成式AI審計能力，包含自動化審計、分析、預警，針對實時審查過程中漏檢信息進行補充完善展望：以“內生AI+內生安全”推進新質安全能力建設，提高自主進化攻防水平依托智能化攻防靶場，通過AI自動對抗，形成自主進化的攻防對抗能力多渠道全方位安全情報攻防日志目標情報安全知識安全大模型攻防能力資源攻防工具集攻防資源池0day漏洞庫單點攻防自動脆弱性發現、掃描、利用紅藍自主對抗/進化自動產生類APT攻防語料AI模型魯棒性自動測評、智能攻防能力測評紅藍自主對抗操作日志語料AI驅動的全流程新質“內生安全”能力發現黑客早期偵查行為事前發現識別新增風險來源阻斷準備阻斷武器化惡意端口試探阻斷侵入屏蔽弱點漏洞或補丁運行風險屏蔽持續監測流量異常偵測異?？焖倩貜团c持續分析優化恢復與分析