深度神經網絡在機器學習領域,特別是計算機視覺領域取得了巨大的進步。雖然最近關於這些模型的大部分研究都是為了提高任務的準確性和效率,但人們對深度網絡的穩健性還不是很了解。深度網絡的高度參數化性質既是一種福音也是一種詛咒。一方麵,它使性能水平遠遠超過傳統的機器學習模型。另一方麵,DNN非常難以解釋,不能提供準確的不確定性概念。因此,在將這些強大的模型整合到我們最信任的係統之前,繼續研究和探索這些模型的漏洞是很重要的。

我們研究的第一條主線是通過製作針對各種模型的強大對抗性攻擊來探索DNN的脆弱性。從攻擊的角度來看,對抗性攻擊不僅引人注目,而且它們也是一種工具,使我們能夠更好地理解和解釋複雜的模型行為。對抗性攻擊還提供了具有挑戰性的穩健性基準,我們可以在未來進行測試。我們的理念是,為了創建高度穩健的模型,我們必須從嚐試充分了解它們目前可能失敗的所有方式開始。在第3.1節中,每項工作都有單獨的動機和解釋。在第3.1.1節中,我們首先討論了一個關於高效模型中毒攻擊的早期項目,該項目強調了具有暴露訓練管道模型的一個關鍵弱點。接下來,我們介紹了一係列的研究項目,這些項目引入並建立在特征空間攻擊的新想法上。這類攻擊被證明在更現實的黑盒攻擊環境中比現有的輸出空間攻擊要強大得多。這些論文在第3.1.2-3.2.4節中涉及。在第3.1.5節中,我們考慮了一個以前沒有考慮過的攻擊背景,其中黑盒目標模型與目標模型不存在類分布重疊。我們表明,即使在這種具有挑戰性的情況下,我們也可以利用對我們的特征分布攻擊的調整來對黑盒模型構成重大威脅。最後,第3.1.6節涵蓋了針對強化學習智能體的一類新的黑盒對抗性攻擊,這是一個未被探索的領域,在基於控製的應用中越來越受歡迎。請注意,這些項目的實驗、結果和分析將在第4.0節的相應章節中討論。

我們第二個研究方向的目標是直接增強DNN的穩健性。正如我們在第一條線中所詳述的,目前對抗性攻擊對基於DNN的係統構成了重大風險。在我們足夠信任這些模型並將其整合到我們最信任的係統(如防禦技術)之前,我們必須確保我們考慮到所有可行的數據損壞和變異形式。在第3.2.1節中,我們考慮的第一種情況是在分布式學習環境中製定一個針對數據反轉攻擊的原則性防禦。之後,在第3.2.2節中,我們極大地提高了自動目標識別(ATR)模型在開放環境中運行的準確性和穩健性,因為我們不能保證傳入的數據將包含訓練分布中的類別。在第3.2.3節中,我們更進一步,開發了一種內存受限的在線學習算法,通過利用部署環境中的樣本,增強了開放世界環境中ATR模型的穩健性。同樣,這些工作的實驗、結果和討論都包含在第4.0節的相應部分。

"> 美國空軍研究實驗室《探索深度學習係統的脆弱性和穩健性》2022年最新85頁技術報告 - 專知VIP

深度神經網絡使現代計算機視覺係統在各種挑戰性任務上的性能達到了新的高度。盡管在準確性和效率方麵有較大益處,但深度網絡高度參數化的非線性屬性使得它們非常難以解釋,在有對手或異常數據的情況下容易失敗。這種脆弱性使得將這些模型整合到我們的現實世界係統中令人不安。這個項目有兩條主線:(1)我們通過開發最先進的對抗性攻擊來探索深度神經網絡的脆弱性;(2)我們在具有挑戰性的操作環境中(如在開放世界的目標識別和聯合學習場景中)提高模型的穩健性。這項研究總共發表了九篇文章,每篇文章都推動了各自領域的最新進展。

深度神經網絡在機器學習領域,特別是計算機視覺領域取得了巨大的進步。雖然最近關於這些模型的大部分研究都是為了提高任務的準確性和效率,但人們對深度網絡的穩健性還不是很了解。深度網絡的高度參數化性質既是一種福音也是一種詛咒。一方麵,它使性能水平遠遠超過傳統的機器學習模型。另一方麵,DNN非常難以解釋,不能提供準確的不確定性概念。因此,在將這些強大的模型整合到我們最信任的係統之前,繼續研究和探索這些模型的漏洞是很重要的。

我們研究的第一條主線是通過製作針對各種模型的強大對抗性攻擊來探索DNN的脆弱性。從攻擊的角度來看,對抗性攻擊不僅引人注目,而且它們也是一種工具,使我們能夠更好地理解和解釋複雜的模型行為。對抗性攻擊還提供了具有挑戰性的穩健性基準,我們可以在未來進行測試。我們的理念是,為了創建高度穩健的模型,我們必須從嚐試充分了解它們目前可能失敗的所有方式開始。在第3.1節中,每項工作都有單獨的動機和解釋。在第3.1.1節中,我們首先討論了一個關於高效模型中毒攻擊的早期項目,該項目強調了具有暴露訓練管道模型的一個關鍵弱點。接下來,我們介紹了一係列的研究項目,這些項目引入並建立在特征空間攻擊的新想法上。這類攻擊被證明在更現實的黑盒攻擊環境中比現有的輸出空間攻擊要強大得多。這些論文在第3.1.2-3.2.4節中涉及。在第3.1.5節中,我們考慮了一個以前沒有考慮過的攻擊背景,其中黑盒目標模型與目標模型不存在類分布重疊。我們表明,即使在這種具有挑戰性的情況下,我們也可以利用對我們的特征分布攻擊的調整來對黑盒模型構成重大威脅。最後,第3.1.6節涵蓋了針對強化學習智能體的一類新的黑盒對抗性攻擊,這是一個未被探索的領域,在基於控製的應用中越來越受歡迎。請注意,這些項目的實驗、結果和分析將在第4.0節的相應章節中討論。

我們第二個研究方向的目標是直接增強DNN的穩健性。正如我們在第一條線中所詳述的,目前對抗性攻擊對基於DNN的係統構成了重大風險。在我們足夠信任這些模型並將其整合到我們最信任的係統(如防禦技術)之前,我們必須確保我們考慮到所有可行的數據損壞和變異形式。在第3.2.1節中,我們考慮的第一種情況是在分布式學習環境中製定一個針對數據反轉攻擊的原則性防禦。之後,在第3.2.2節中,我們極大地提高了自動目標識別(ATR)模型在開放環境中運行的準確性和穩健性,因為我們不能保證傳入的數據將包含訓練分布中的類別。在第3.2.3節中,我們更進一步,開發了一種內存受限的在線學習算法,通過利用部署環境中的樣本,增強了開放世界環境中ATR模型的穩健性。同樣,這些工作的實驗、結果和討論都包含在第4.0節的相應部分。

成為VIP會員查看完整內容
20
42

相關內容

人工智能在軍事中可用於多項任務,例如目標識別、大數據處理、作戰係統、網絡安全、物流運輸、戰爭醫療、威脅和安全監測以及戰鬥模擬和訓練。
北約《軍事係統的網絡安全風險評估》技術報告
專知會員服務
23+閱讀 · 4月18日
異構表格數據的挑戰,深度神經網絡如何解?
機器之心
0+閱讀 · 2021年11月13日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
Invariant Information Bottleneck for Domain Generalization
Arxiv
12+閱讀 · 2021年12月10日
An Attentive Survey of Attention Models
Arxiv
43+閱讀 · 2020年12月15日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
10+閱讀 · 2020年12月10日
VIP會員
相關基金
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
微信掃碼谘詢專知VIP會員
Top