近年來， 深層神經網路（DNN）在影像處理、文本分析和語音辨識等各種應用領域取得了長足進步， 它因此也被作為重要組成部分納入到許多資訊物理系統（cyber-physical system）中， 如自動駕駛汽車的視覺系統可以利用DNN更好地辨別行人、車輛和道路標誌。 然而， 最近的許多研究表明， DNN易受“對抗性樣本”的影響：如果在圖片中添加精心設計的一些對抗擾動， DNN可能會被誤導， 並為樣本標記錯誤標籤。 這個發現令人擔憂， 因為隨著DNN落地的普及， 這樣的缺陷會給人們帶來大量安全隱患， 試想一下， 如果有人惡意在道路標誌上添加了這種擾動，
事實上， 許多機構和實驗室已經開始注意到這個缺陷， 並用大量研究向公眾證明了它的潛在危害。 2017年8月， OpenAI曾指出對抗樣本在圖像不斷變化時可能會失效， 他們把一張小貓圖片放大了1.002倍後，
談及生成對抗樣本， 許多人首先會想到白盒。 的確， 以往的研究人員都是基於白盒環境製作數位對抗樣本的， 它不僅能使樣本完美匹配DNN， 找出神經網路的分類弱點， 而且是可視的、透明的， 這對於研究人員充分理解對抗樣本的原理大有裨益。
2014年， Goodfellow等人在論文Explaining and Harnessing Adversarial Examples（https://arxiv.org/abs/1412.6572）中討論了通過為資料集樣本添加擾動因素， 使模型輸出具有高置信度的錯誤答案的現象。 根據神經網路對抗性擾動主要源於其線性特性這個推論， 他們提出了一種簡單而快速的生成對抗樣本的方法——快速梯度法（用loss函數的一階近似構造樣本）。
與之相應的， 一些人也針對這種方法提出了一些基於優化的方法來説明模型抵禦對抗樣本攻擊， 如Nicholas Carlini等人的“防禦蒸餾”（https://arxiv.org/abs/1608.04644）。 具體來說， 就是在白盒環境中， 大部分對抗樣本生成器都是通過設定一個目標函數來攻擊DNN的， 它們會首先定義什麼是輸入相似性， 之後在定義範圍內， 也就是在最小化輸入差異的同時，
近期， Ian Goodfellow等人的研究也表明了在黑盒環境中生成數位對抗樣本的可能性， 該方法涉及以白盒方式為另一個已知模型生成敵對的例子， 然後針對目標未知模型運行它們。
對抗樣本實例以上研究人員生成的都只是一些資料， 並沒有在現實環境中做過測試。 為了彌合理論與實際應用的差距， 許多人也做過項測試， 如Kurakin等人發現當智慧手機掃描的是對抗樣本列印品時，
近日， Ivan Evtimov、Kevin Eykholt、Earlence Fernandes和Bo Li等人發表了論文Robust physical-world attacks on deep learning models（https://arxiv.org/abs/1707.08945）， 並提出了一個包含兩階段的評估方法， 將其在道路標誌識別上進行了測試。 在第一階段， 研究人員捕捉了隨車輛移動路標會發生的一系列物體變化， 將其置於路牌上， 成功欺騙了兩個分類器；而在第二階段， 研究人員通過在真實路牌上貼黑白貼紙， 使實驗分類器的錯誤率達到了100%。
不同物理條件下的路牌；不同條件下帶有擾動貼紙的路牌；不同駕駛速度下拍到的畫面
如上圖所示，參與實驗的分類器把左圖中的路牌判斷為兩個目標，並把實驗室和真實駕駛場景下的中圖、右圖兩個停車路標識別成了限速牌。這證明對抗樣本確實能在物理環境中對分類器造成影響。
順著這個思路，研究人員又測試了對抗樣本對物件檢測工具的影響。和分類器相比，物件檢測工具在處理整個圖像面臨更多挑戰，而且需要預測上下文資訊，如目標物件在場景中的方位。這次，他們展示的是一個叫YOLO的物件檢測器，它使用了當前最先進的演算法，擁有良好的即時性能。檢測的物件是一個真正的停車標誌，為了更好地測試檢測性能，研究人員還錄製了視頻進行動態檢測。
逐幀分析視頻可以發現，YOLO完全沒有感知到STOP標誌。如果這發生在現實生活中，一輛自動駕駛汽車面對這樣一個標誌但沒有停下來，那之後發生的可能就是汽車相撞的慘劇。
更嚴肅的是，這個為YOLO生成的對抗樣本同樣也能欺騙標準的Faster-RCNN。如下圖所示，研究人員同樣對Faster-RCNN做了動態測試，發現它也很難從中發現路牌的含義。由於是黑盒攻擊，Faster-RCNN最終還是識別出了路牌上的STOP標記，但其他的擾動因素也對它施加了大量干擾。這是一次不成熟的黑盒攻擊，隨著其他技術的引進，這樣的攻擊將變得更加有效。
此外，研究人眼還發現當YOLO和Faster-RCNN檢測到STOP時，相機和路牌的距離往往只有3—4英尺（約1米）了，事實上這麼近的距離連觸發緊急制動都挽救不回來。
攻擊演算法概述這個演算法基於之前的分類器工作，因此可以閱讀Robust physical-world attacks on deep learning models（https://arxiv.org/abs/1707.08945https://arxiv.org/abs/1707.08945）查看。從本質上來說，研究人員在生成對抗樣本時對原方法做了優化，但實驗證明，相對於分類器，用於物件檢測工具的樣本需要更多、變化更複雜的物理條件，這可能是因為檢測器在生成預測時需要考慮更多的上下文資訊。
該演算法的關鍵屬性包括指定物理條件類比序列的能力，以及指定平移不變性屬性的能力。也就是說，無論目標物體位於場景內何處，擾動都應該是有效的。由於物體可以根據觀看者在場景中自由移動，當物件移動時，未針對此屬性進行優化的擾動可能會中斷。
潛在的防禦措施鑒於數位和物理世界中的這些案例，相關防禦措施也是一個廣泛研究的課題，其中，不同類型的對抗訓練是最有效的方法之一。先是，Goodfellow等人最早提出用對抗訓練提高神經網路魯棒性，之後Tramèr等人又將其拓展為合奏對抗學習。 後來Madry等人也通過反覆運算訓練和對抗性樣本，提出了魯棒的網路。
找到防禦措施的前提是積累大量對抗樣本，這不僅能使對應模型的防禦效果更佳，如果樣本來自不同模型，這樣的資料集還能增加多樣性，使模型可以更充分地發掘對抗樣本的空間。雖然還有其他大量方法，但現有方法在性能上還遠遠達不到應用標準。
總的來說，我們距離為這些對抗樣本找到最佳防禦手段還有很長的路要走，我們期待著探索這個令人興奮的研究領域。
使實驗分類器的錯誤率達到了100%。不同物理條件下的路牌；不同條件下帶有擾動貼紙的路牌；不同駕駛速度下拍到的畫面
如上圖所示，參與實驗的分類器把左圖中的路牌判斷為兩個目標，並把實驗室和真實駕駛場景下的中圖、右圖兩個停車路標識別成了限速牌。這證明對抗樣本確實能在物理環境中對分類器造成影響。
順著這個思路，研究人員又測試了對抗樣本對物件檢測工具的影響。和分類器相比，物件檢測工具在處理整個圖像面臨更多挑戰，而且需要預測上下文資訊，如目標物件在場景中的方位。這次，他們展示的是一個叫YOLO的物件檢測器，它使用了當前最先進的演算法，擁有良好的即時性能。檢測的物件是一個真正的停車標誌，為了更好地測試檢測性能，研究人員還錄製了視頻進行動態檢測。
逐幀分析視頻可以發現，YOLO完全沒有感知到STOP標誌。如果這發生在現實生活中，一輛自動駕駛汽車面對這樣一個標誌但沒有停下來，那之後發生的可能就是汽車相撞的慘劇。
更嚴肅的是，這個為YOLO生成的對抗樣本同樣也能欺騙標準的Faster-RCNN。如下圖所示，研究人員同樣對Faster-RCNN做了動態測試，發現它也很難從中發現路牌的含義。由於是黑盒攻擊，Faster-RCNN最終還是識別出了路牌上的STOP標記，但其他的擾動因素也對它施加了大量干擾。這是一次不成熟的黑盒攻擊，隨著其他技術的引進，這樣的攻擊將變得更加有效。
此外，研究人眼還發現當YOLO和Faster-RCNN檢測到STOP時，相機和路牌的距離往往只有3—4英尺（約1米）了，事實上這麼近的距離連觸發緊急制動都挽救不回來。
攻擊演算法概述這個演算法基於之前的分類器工作，因此可以閱讀Robust physical-world attacks on deep learning models（https://arxiv.org/abs/1707.08945https://arxiv.org/abs/1707.08945）查看。從本質上來說，研究人員在生成對抗樣本時對原方法做了優化，但實驗證明，相對於分類器，用於物件檢測工具的樣本需要更多、變化更複雜的物理條件，這可能是因為檢測器在生成預測時需要考慮更多的上下文資訊。
該演算法的關鍵屬性包括指定物理條件類比序列的能力，以及指定平移不變性屬性的能力。也就是說，無論目標物體位於場景內何處，擾動都應該是有效的。由於物體可以根據觀看者在場景中自由移動，當物件移動時，未針對此屬性進行優化的擾動可能會中斷。
潛在的防禦措施鑒於數位和物理世界中的這些案例，相關防禦措施也是一個廣泛研究的課題，其中，不同類型的對抗訓練是最有效的方法之一。先是，Goodfellow等人最早提出用對抗訓練提高神經網路魯棒性，之後Tramèr等人又將其拓展為合奏對抗學習。 後來Madry等人也通過反覆運算訓練和對抗性樣本，提出了魯棒的網路。
找到防禦措施的前提是積累大量對抗樣本，這不僅能使對應模型的防禦效果更佳，如果樣本來自不同模型，這樣的資料集還能增加多樣性，使模型可以更充分地發掘對抗樣本的空間。雖然還有其他大量方法，但現有方法在性能上還遠遠達不到應用標準。
總的來說，我們距離為這些對抗樣本找到最佳防禦手段還有很長的路要走，我們期待著探索這個令人興奮的研究領域。