杜培cis2019-v1.4（21頁）.pdf

1、以子之矛攻子之盾，AI攻防的那些事杜培杜培螞蟻金服天穹實驗室 安全專家以子之矛攻子之盾，AI攻防的那些事IoT安全研究、AI攻防研究天穹安全實驗室以子之矛攻子之盾，AI攻防的那些事隱身術的秘密物理世界的差異白、灰、黑未來趨勢以子之矛攻子之盾，AI攻防的那些事隱身術Imgsrc:https:/ DetectionImgsrc:https:/ BoxesObject ProbabilityClass Probability以子之矛攻子之盾，AI攻防的那些事簡化后的Object DetectionYOLOBounding boxesObject probabilitiesClass probabil

2、ities減小Object prob.減小Class prob.同時減小Object/Classprobabilities攻擊目標模型是不能改變的！Prob.=0.9Prob.=0.4Threshold=0.5以子之矛攻子之盾，AI攻防的那些事問題：如何減小Probabilities?先補一些基礎知識：1.梯度與優化求解2.神經網絡以子之矛攻子之盾，AI攻防的那些事梯度與優化求解一維線性回歸問題的損失函數曲線L()損失函數與參數之間存在一個未知的對應關系以子之矛攻子之盾，AI攻防的那些事梯度與優化求解一維線性回歸問題的損失函數曲線=()=()其中，()=*+(,)*,-,*+(,)*,.,*+

3、(,)*,/0梯度下降梯度下降是求解損失函數（局部）最優解的一種方法L()的變化影響到，則梯度為3以子之矛攻子之盾，AI攻防的那些事神經網絡Imgsrc:https:/ Entropy，使用反向傳播算法計算梯度梯度下降45這里,W的變化會影響L的變化影響到，則梯度為3以子之矛攻子之盾，AI攻防的那些事視頻:dnn.mov以子之矛攻子之盾，AI攻防的那些事6 y=(;)(;,)=(;,)通過梯度下降，修改參數指網絡結構，是參數定義損失函數計算損失函數對參數的梯度=L()(;)指網絡結構，是固定的參數模型訓練過程(;,)定義損失函數=(;,)計算損失函數對輸入的梯度通過梯度上升，修改輸入=+sgn

4、()對抗樣本訓練過程采用梯度上升，還是梯度下降，依賴損失函數的定義FGSMPGD的變化會影響，則梯度為3BIM以子之矛攻子之盾，AI攻防的那些事攻擊方法和工具https:/ JAX,PyTorch,and TensorflowSupports TensorFlow,PyTorch,Keras,JAX,MXNet,Theano,Lasagnehttps:/ PaddlePaddle、PyTorch、Caffe2、MxNet、Keras、TensorFlowWhitebox,Blackbox,DefenseGradient-based,Decision-based,Score-basedFGSM,

5、BIM,PGD,JSMA,C&W,DeepFool,etchttps:/ TensorFlow,Keras,PyTorch,MxNetGradient-based,Decision-based,Score-basedAnd Defense以子之矛攻子之盾，AI攻防的那些事物理世界與數字世界 數字世界的場景 黃賭毒等違規內容檢測 物理世界的場景 自動駕駛-stop sign 目標檢測-tracking特點：a)可以做到輕微擾動，讓目標模型識別錯誤b)可以擾動全幅圖像上任意像素點特點：a)可以修改圖像的一部分，而不是全部b)攝像頭采集圖像，會產生損失c)受到光線、patch位置、視角變化，甚至打印

6、機等因素的影響近年的對抗樣本比賽集中于此以子之矛攻子之盾，AI攻防的那些事增強魯棒性 影響因素 旋轉與扭曲變形 尺寸縮放 光照和對比度 顏色（打印機）隨機噪聲 A=1mD(+;)+();)5 (+;)=A+NOP+R+STUNOPR旋轉變形縮放變形模型預測x+patch的分值不可打印的顏色的損失函數顏色變化平滑度的損失函數 變形也是函數定義變形的MSE損失：以子之矛攻子之盾，AI攻防的那些事白盒、灰盒、黑盒白盒灰盒黑盒可以訪問到模型不能訪問到模型但是可以得到預測分值不能訪問到模型也不能得到預測分值僅有預測值梯度下降遷移攻擊構造代理模型利用預測分值進行優化求解暴露程度攻擊方法無梯度優化FGSM,BIM,PGD,DeepFool,etcGA,CMA,PSO,etcBoundaryCheck,Zero-Order Opt.,HopSkipJump,etc以子之矛攻子之盾，AI攻防的那些事白盒、黑盒、灰盒93.06%12.29%*將ResNet50版本的ImageNet模型當成灰盒模型，僅提供預測概率在豬鼻子上貼上一個patch，預測的概率降低至12.29%1.迭代200次左右，就可以達到較好的效果2.Patch的位置影響效果3.思路可用于其他領域以子之矛攻子之盾，AI攻防的那些事未來的趨勢增強魯棒性增強隱蔽性增強遷移性防守對抗姓名：杜培公司：螞蟻金服，天穹實驗室聯系方式：