機器學習是人工智慧的一個分支，
通過經驗學習和適應的技術來使電腦模仿人類認知。
其特徵是基於經驗和模式學習，
而非基於推論（原因和結果）學習。
目前，
機器學習方面的深度學習已經能夠自主建立模式識別模型，
而無需再依靠人類來構建模型。
傳統網路安全技術很難檢測到隨著時間推移而演變的新一代惡意軟體和網路攻擊， 基於ML的動態網路安全解決方案能夠利用以前的網路攻擊資料來應對更新但相似的風險。 使用AI來加強網路安全可以為使用者系統提供更多保護， 如通過自動化複雜流程來檢測攻擊並對違規行為做出反應等。
隨著模式識別模型在檢測網路安全威脅時變得更為有效， 駭客將針對底層模型的工作和學習機制展開研究， 尋找混淆模型的有效方法來規避模型的識別， 並有望建立起屬於攻擊者自己的AI和機器學習工具來發動攻擊。
下面筆者將與諸君共同分享攻擊者將會如何利用AI來達到目的。
1. 惡意軟體逃逸
大部分惡意軟體都是通過人工方式生成的， 攻擊者會編寫腳本來生成電腦病毒和特洛伊木馬， 並利用Rootkit、密碼抓取和其他工具協助分發和執行。
這個過程能加快麼？機器學習可以説明創建惡意軟體嗎？
機器學習方法是用作檢測惡意可執行檔的有效工具， 利用從惡意軟體樣本中檢索到的資料（如標題欄位、指令序列甚至原始位元組）進行學習可以建立區分良性和惡意軟體的模型。 然而分析安全情報能夠發現， 機器學習和深度神經網路存在被躲避攻擊（也稱為對抗樣本）所迷惑的可能。
2017年， 第一個公開使用機器學習創建惡意軟體的例子在論文《Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN》中被提出。
如果網路安全企業的AI可以學習識別潛在的惡意軟體， 那麼“駭客AI”就能夠通過觀察學習防惡意軟體AI做出決策， 使用該知識來開發“最小程度被檢測出”的惡意軟體。 2017 DEFCON會議上， 安全公司Endgame透露了如何使用Elon Musk的OpenAI框架生成定制惡意軟體， 且所創建的惡意軟體無法被安全引擎檢測發現。 Endgame的研究是基於看起來有惡意的二進位檔案，
今年3月發表的論文《Adversarial Malware Binaries: Evading Deep Learning for Malware Detection in Executables》通過研究使用深度網路從原始位元組中學習惡意軟體檢測方法所存在的漏洞， 提出了一種基於梯度的攻擊：輸入資料的微小變化會導致在測試時的錯誤分類， 因此只需在每個惡意軟體樣本末尾更改少量特定位元組， 就可在保留其入侵功能的同時逃避安全檢測。 結果顯示修改少於1％的位元組， 對抗惡意軟體二進位就可以高概率躲避安全檢測。
2. 高級魚叉式釣魚攻擊
對抗機器學習的一個更明顯的應用是使用智慧社會工程中的文本到語音轉換、語音辨識和自然語言處理類似演算法， 通過時間遞迴神經網路教授軟體的電子郵件寫作風格，
在邁克菲實驗室2017年預測中表示， 犯罪分子將越來越多地利用機器學習來分析大量被盜記錄， 以識別潛在受害者， 並構建能夠更加有效針對這些人的內容詳盡的釣魚類電子郵件。
此外， 在2016年美國黑帽會議上， John Seymour和Philip Tully發表了題為《Weaponzing data secience for social engineering:automated E2E spear phishing on Twitter》的論文， 提出一種時間遞迴神經網路SNAP_R， 學習如何向特定使用者發佈網路釣魚帖子在這裡魚叉式釣魚將用戶發佈的帖子作為訓練測試資料， 根據目標使用者（包括發佈或跟帖用戶）時間軸帖子中的主題動態播種會使得釣魚帖子更有可能被點擊。 通過在Twitter社交平臺上測試發現， 為用戶量身定做的釣魚帖子， 其點擊率是有史以來所報導過大規模釣魚攻擊活動中最高的。
3. 利用AI擊敗驗證碼
目前，對人和機器的區分主要採用“全自動區分電腦和人類的公開圖靈測試”（Completely Automated Public Turing test to tell Computers and Humans Apart，CAPTCHA），俗稱驗證碼，以防止人們使用自動化機器人在網站上設置虛假帳戶。在登錄網站時，使用者必須通過解決視覺難題來證明他們是人類，而這需要識別以某種方式失真或動畫化的字母、數位、符號或物件。reCAPTCHA專案是由卡內基梅隆大學所發展的系統，主要目的是利用CAPTCHA技術來幫助典籍數位化的進行，這個專案將由書本掃描下來無法準確被光學文字辨識技術（OCR, Optical Character Recognition）識別的文字顯示在CAPTCHA問題中，讓人類在回答CAPTCHA問題時用人腦加以識別這些文字。
早在2012年，研究人員Claudia Cruz、Fernando Uceda和Leobardo Reyes就發佈了一個機器學習安全攻擊的例子。他們使用支持向量機（SVM）以82%的精度破解了圖像運行系統reCAPTCHA，也正因此所有驗證碼機制都進行了針對性的安全改進，面對這些新型驗證碼系統研究人員則開始嘗試使用深度學習技術予以破解。
Vicarious一直在開發針對概率生成模型Recursive Cortical Network（RCN）的演算法，旨在通過分析圖像中的圖元來識別物體，以查看它們是否與物體的輪廓匹配。2013年，Vicarious宣佈它已經破解了Google、Yahoo、PayPal和Captcha.com使用的基於文本的驗證碼測試，其準確率達到了90%。標準的reCAPTCHA測試中，軟體可成功解開三分之二的驗證問題。在機器人檢測系統測試中，雅虎驗證碼的成功率為57.4%，PayPal的成功率為57.1%。
去年BlackHat上的“我是機器人”研究揭示了研究人員如何破解最新的語義圖像CAPTCHA，並比較了各種機器學習演算法。
4. 繞過安全檢測的釣魚網頁
《Cracking Classifiers for Evasion: A Case Study on the Google’s Phishing Pages Filter》指出，Google中的釣魚網頁分類器是通過機器學習訓練得到的，攻擊者利用逆向工程技術獲取到分類器的部分資訊後，藉此所生成的新釣魚網頁能夠以100%的成功率繞開Google的釣魚網頁分類器。早期開發的分類器屬於研究性質，在部署於用戶端環境中時，其安全性並沒有得到應有的重視。
研究用戶端分類器安全挑戰所選取的案例為部署在Chrome流覽器上、用戶數量超過十億的穀歌釣魚網頁篩檢程式（Google’s phishing pages filter ,GPPF），針對用戶端分類器的新攻擊方法被稱為分類器破解。成功破解GPPF分類模型，可以從中獲得足夠知識（包括分類演算法、得分規則和特徵等）以進行有效的躲避攻擊。攻擊者通過逆向工程能夠獲取到84.8%的評分規則，其中覆蓋了大部分的高權重規則。基於這些破解資訊實施針對GPPF的兩種規避攻擊，在100個真正的釣魚網頁進行測試後發現，所有釣魚網頁（100%）都可以很容易地繞過GPPF檢測。研究表明現有的用戶端分類器很容易受到分類器針對性攻擊。
5.讓機器學習引擎“中毒”
一個更加簡單而有效的AI利用技術是讓用於檢測惡意軟體的機器學習引擎“中毒”，使其無效，就像過去犯罪分子對殺毒引擎所做的一樣。機器學習模型需要從輸入資料中進行學習，如果該資料池“中毒”，則輸出也會“中毒”。深度神經網路訓練需要大量的計算資源，因此，許多用戶在雲端進行訓練或依靠預先訓練的模型進行識別，並針對特定任務進行微調。紐約大學的研究人員在論文《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》中展示了外部訓練的神經網路存在的漏洞：對手能產生一個惡意的訓練網路（後門神經網路或BadNets），同時在MNIST數位識別和交通標誌檢測任務中展示了BadNets攻擊的有效性。
駭客正在越來越多的利用AI漏洞構建“對抗樣本”進行躲避攻擊，目前所能採取的應對措施主要是：用博弈論或者概率模型預測攻擊策略構造更強健的分類器，採用多個分類器系統增加規避難度，並優化特徵選擇來製作特徵平均分配等。更多的AI攻擊應對方法還在探索之中。
其點擊率是有史以來所報導過大規模釣魚攻擊活動中最高的。3. 利用AI擊敗驗證碼
目前，對人和機器的區分主要採用“全自動區分電腦和人類的公開圖靈測試”（Completely Automated Public Turing test to tell Computers and Humans Apart，CAPTCHA），俗稱驗證碼，以防止人們使用自動化機器人在網站上設置虛假帳戶。在登錄網站時，使用者必須通過解決視覺難題來證明他們是人類，而這需要識別以某種方式失真或動畫化的字母、數位、符號或物件。reCAPTCHA專案是由卡內基梅隆大學所發展的系統，主要目的是利用CAPTCHA技術來幫助典籍數位化的進行，這個專案將由書本掃描下來無法準確被光學文字辨識技術（OCR, Optical Character Recognition）識別的文字顯示在CAPTCHA問題中，讓人類在回答CAPTCHA問題時用人腦加以識別這些文字。
早在2012年，研究人員Claudia Cruz、Fernando Uceda和Leobardo Reyes就發佈了一個機器學習安全攻擊的例子。他們使用支持向量機（SVM）以82%的精度破解了圖像運行系統reCAPTCHA，也正因此所有驗證碼機制都進行了針對性的安全改進，面對這些新型驗證碼系統研究人員則開始嘗試使用深度學習技術予以破解。
Vicarious一直在開發針對概率生成模型Recursive Cortical Network（RCN）的演算法，旨在通過分析圖像中的圖元來識別物體，以查看它們是否與物體的輪廓匹配。2013年，Vicarious宣佈它已經破解了Google、Yahoo、PayPal和Captcha.com使用的基於文本的驗證碼測試，其準確率達到了90%。標準的reCAPTCHA測試中，軟體可成功解開三分之二的驗證問題。在機器人檢測系統測試中，雅虎驗證碼的成功率為57.4%，PayPal的成功率為57.1%。
去年BlackHat上的“我是機器人”研究揭示了研究人員如何破解最新的語義圖像CAPTCHA，並比較了各種機器學習演算法。
4. 繞過安全檢測的釣魚網頁
《Cracking Classifiers for Evasion: A Case Study on the Google’s Phishing Pages Filter》指出，Google中的釣魚網頁分類器是通過機器學習訓練得到的，攻擊者利用逆向工程技術獲取到分類器的部分資訊後，藉此所生成的新釣魚網頁能夠以100%的成功率繞開Google的釣魚網頁分類器。早期開發的分類器屬於研究性質，在部署於用戶端環境中時，其安全性並沒有得到應有的重視。
研究用戶端分類器安全挑戰所選取的案例為部署在Chrome流覽器上、用戶數量超過十億的穀歌釣魚網頁篩檢程式（Google’s phishing pages filter ,GPPF），針對用戶端分類器的新攻擊方法被稱為分類器破解。成功破解GPPF分類模型，可以從中獲得足夠知識（包括分類演算法、得分規則和特徵等）以進行有效的躲避攻擊。攻擊者通過逆向工程能夠獲取到84.8%的評分規則，其中覆蓋了大部分的高權重規則。基於這些破解資訊實施針對GPPF的兩種規避攻擊，在100個真正的釣魚網頁進行測試後發現，所有釣魚網頁（100%）都可以很容易地繞過GPPF檢測。研究表明現有的用戶端分類器很容易受到分類器針對性攻擊。
5.讓機器學習引擎“中毒”
一個更加簡單而有效的AI利用技術是讓用於檢測惡意軟體的機器學習引擎“中毒”，使其無效，就像過去犯罪分子對殺毒引擎所做的一樣。機器學習模型需要從輸入資料中進行學習，如果該資料池“中毒”，則輸出也會“中毒”。深度神經網路訓練需要大量的計算資源，因此，許多用戶在雲端進行訓練或依靠預先訓練的模型進行識別，並針對特定任務進行微調。紐約大學的研究人員在論文《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》中展示了外部訓練的神經網路存在的漏洞：對手能產生一個惡意的訓練網路（後門神經網路或BadNets），同時在MNIST數位識別和交通標誌檢測任務中展示了BadNets攻擊的有效性。
駭客正在越來越多的利用AI漏洞構建“對抗樣本”進行躲避攻擊，目前所能採取的應對措施主要是：用博弈論或者概率模型預測攻擊策略構造更強健的分類器，採用多個分類器系統增加規避難度，並優化特徵選擇來製作特徵平均分配等。更多的AI攻擊應對方法還在探索之中。