摘要

由於人工智能(AI)、機器學習,特別是深度學習的進步,可解釋人工智能(XAI)研究領域最近受到了很多關注。XAI是一個研究領域,重點是確保人工智能係統的推理和決策可以向人類用戶解釋。在軍事背景下,這種解釋通常是為了確保:

本報告的目的是為基於深度學習的人工智能係統提供解釋而開發的XAI技術。這類係統本身就很難解釋,因為它們所模擬的過程往往過於複雜,無法使用可解釋的替代方法來建模

盡管深度學習XAI領域仍處於起步階段,但科學文獻中已經提出了許多解釋技術。今天的XAI技術主要用於開發目的(即識別錯誤)。需要進行更多的研究來得出結論,這些技術是否也有助於支持用戶為他們所操作的人工智能係統建立適當的心智模型、戰術開發,並確保未來的軍事人工智能係統遵循國家和國際法律。

關鍵詞

人工智能、可解釋人工智能、透明度、機器學習、深度學習、深度神經網絡

1 引言

人工智能(AI)是一個對瑞典[1]和瑞典武裝部隊(SwAF)具有戰略意義的研究領域。當今人工智能成功的主要因素是機器學習(ML)的突破,更確切地說,是深度學習(DL)的突破。DL是一種潛在的顛覆性技術,使我們能夠使用深度神經網絡(DNN)來模擬以前使用傳統技術無法模擬的複雜過程。例如,DL可以用來準確地轉錄(語音到文本)[2,3],翻譯(文本到文本)[4],合成語音(文本到語音)[5],玩實時戰略遊戲(視頻到行動)[6,7],讀取唇語(視頻到文本)[8],識別人臉(圖像到身份)[9]和控製自動駕駛車輛(視頻到行動)[10,11]。

然而,DL仍然處於起步階段,沒有一個數學框架可以用來保證模型的正確性[12]。因此,在軍事應用中開發、部署、使用和維護DNN模型時,有許多挑戰需要考慮和解決。

從軍事用戶(操作員、數據分析師等)的角度來看,最重要的挑戰也許是可解釋性。根據經驗,當人的生命受到嚴重影響時,對可解釋性的需求更大。在軍事領域是這樣,在醫學、執法和其他民事服務領域也是如此。可解釋性很重要,因為它影響著用戶對係統的信任和依賴。信任關係必須是平衡的;過多的信任可能導致對係統的誤用,而過少的信任則可能導致對係統的完全廢棄[13]。最終,解釋的目的是幫助用戶建立一個適當的係統心智模型,以確保它能被有效使用[14]。

深度學習有可能改善複雜軍事係統的自主性,如戰鬥機、潛艇、無人機和衛星監視係統。然而,它也會使這些係統變得更加複雜和難以解釋。主要原因是,DL是一種端到端的機器學習技術,意味著機器學習從輸入數據中提取最重要的特征,以實現高性能。這被稱為表征學習,它與傳統技術不同,傳統技術是用人類的直覺來手動提取這種特征。表征學習往往能帶來高性能,但它也要求模型具有高度的表現力和非線性。因此,使用DL訓練的DNN可能由數百萬甚至數十億的參數組成。這使得它們很難向人類解釋和說明,即使學習算法、模型結構、訓練數據等都是已知的和很好理解的。

美國國防部高級研究計劃局(DARPA)於2016年啟動的可解釋人工智能(XAI)計劃也許是為解決這一挑戰而采取的最全麵的軍事舉措。該計劃的目的是:

自XAI計劃開始以來,已經取得了許多技術上的進步。一些XAI技術甚至已經實現並打包在軟件庫中,可用於深入了解、調試和驗證DNN[16, 17, 18]。這是朝正確方向邁出的一步,但從軍事角度來看,關鍵是XAI技術和工具也要為軍事用戶量身定做,因為在這些地方需要高級解釋,以確保信任、使用和性能。

1.1 目的和範圍

本報告的目的是介紹在DL背景下開發的代表性XAI技術。本報告並非詳盡無遺,它並不涵蓋文獻中提出的所有XAI技術。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI、ML和DL技術以用於係統或嵌入係統的軍事人員。

1.3 概要

第2章介紹了智能Agent、機器學習和深度學習的概念。第3章介紹了文獻中提出的各種XAI技術。第4章介紹了可用於評估XAI技術所提供的解釋的方法和技術。第5章介紹了一個案例研究,其中XAI被用來解釋一個深度學習模型的行為。最後,第6章對報告進行了總結,並對未來的工作提出了建議。

2 智能Agent、機器學習和深度學習

本章介紹了一些概念、方法、術語和技術,是本報告的其餘部分的基礎。已經對智能Agent、機器學習和深度學習有基本了解的讀者可以跳過本章。

2.1 智能Agent

人工智能是一個廣泛的術語,可以有很多定義。在本報告中,人工智能是指對智能Agent(IA)的研究和設計。一個IA是一個能夠在環境中感知、推理和行動的自主實體。通常情況下,IA與環境中的其他Agent(即多Agent係統)以及人類(如人機合作)進行互動。

當在物理世界中實施時,IAs可以代表從簡單的恒溫器到複雜的自動駕駛車輛、自主機器人、無人機等任何東西。在虛擬環境中,人工智能通常由能夠翻譯、轉錄等的機器人或虛擬助理來代表。在軍事模擬中,IAs通常被稱為非玩家角色(NPCs)或計算機生成部隊(CGFs)。

圖2.1說明了IA的主要組成部分。這些組件通常使用傳統編程和人工智能技術的組合來實現,如專家係統、狀態機、行為樹和機器學習。本報告重點討論完全或部分使用DNN實現的IA的XAI。

圖2.1 - 智能Agent(IA)是一個能夠在環境中感知、推理和行動的自主實體。環境可以是物理的(即現實世界)或虛擬的(如互聯網、虛擬仿真、嚴格遊戲)。IA通常與其他Agent、人類互動,分別形成多Agent係統和人機團隊。

2.2 機器學習

ML是人工智能的一個子領域,重點是開發能夠從觀察和經驗中學習的智能係統或IA。在本節中,將介紹ML中使用的主要學習策略。

2.2.1 監督式學習

在監督學習中,IA從已被標記或標注的訓練樣本中學習。學習的目的是使與這些樣本的偏差最小化,同時保持對未見過的輸入的概括能力。實際上,IA將模仿訓練數據中的行為。圖2.2說明了監督學習過程。

在監督學習中,標記過程通常是由人類手動完成的,這就是為什麼這種方法在許多應用中可能是昂貴和不實用的。監督學習的主要優點是,一旦數據集建立起來,學習過程是穩定的,而且相對容易監控。

監督學習的主要應用是分類和回歸,其中,離散類標簽和連續值分別代表模型的輸出。分類器可用於檢測代理人視野中感興趣的物體,或識別某一特定情況是否危險。回歸通常用於對Agent的執行器(機器人肢體、方向盤位置等)進行低層次的連續控製。

圖2.2 - 監督式學習。IA從已被標記或標注的樣本中學習。學習過程的目標是創建一個模型,使其與所提供的訓練樣本的偏差最小。淺灰色的方框代表訓練樣本(即輸入和它們的標簽)。

2.2.2 強化學習

在強化學習中,IA通過在一個通常是模擬的環境中執行動作來學習。學習的目的是IA在模擬器中執行動作時使其獎勵最大化。獎勵通常由遊戲的結果來表示,因此用於獲勝或失敗的行動分別由學習算法進行正向和負向強化。學習過程如圖2.3所示。

強化學習的一個主要優點是,不再需要手動標注訓練數據。相反,在某種意義上,獎勵函數被用來自動標記數據。然而,為現實世界的問題設計一個獎勵函數是一項非艱巨的任務。它要求隨著時間的推移,適當的獎勵可以被分配給IA的行動[19]。一個設計不良的獎勵函數可能會導致不理想的和意外的行為。

強化學習被用於IA需要學習最佳行動選擇策略的應用中。當應用於實時戰略遊戲時,IA可以比大多數人類專家更好地學習選擇行動[6, 7]。因此,我們有理由相信,強化學習最終也能為軍事目的產生替代的甚至是新的戰術和戰略。

圖2.3 - 使用強化學習,IA通過在模擬環境中采取行動來學習。學習過程的目標是使環境提供的獎勵信號最大化。淺灰色的方框代表輸入,在這種情況下是一個模擬器和一個獎勵函數,是這個學習策略所需要的。

2.2.3 無監督學習

在無監督學習中,IA學習識別無標簽數據中的模式和結構,如圖2.4所示。請注意,盡管被稱為無監督學習,但總是由一個預先定義的指標指導。例如,k-means聚類算法使用歐氏距離對數據進行聚類。同樣,自動編碼器(AE)需要存在一個損失或誤差度量函數。

無監督學習的最常見應用包括聚類、可視化、降維和異常檢測。無監督學習在DL中的一個較新的應用是元學習,其中IA被訓練的目標是成為更快的學習者(即學習如何去學習)。

圖2.4 - 在無監督學習中,IA學習在未標記的數據中識別模式和集群。無監督學習由預先定義的指標(例如k-means聚類中的歐幾裏得距離)指導,從數據中學習。

2.3 深度學習

深度學習是一種機器學習方法,可用於上述所有的學習策略(即監督式學習、強化式學習和無監督式學習)。

2.3.1 深度神經網絡

在DL中,用於捕捉和學習經驗的模型由DNN來表示。DNN本質上是一個數學表達式,由大量的嵌套和可微分的子函數組成。第 2.3.3 節解釋了 DNN 必須是可微分的原因。

DNN 通常使用圖形進行可視化,其中各層節點用邊相互連接,如圖 2.5 所示。在這種表示方法中,每條邊代表一個可訓練的參數或權重,每個節點代表一個神經元(即一個可區分的子函數),使用權重將輸入轉化為輸出。圖2.6說明了一個神經元所進行的操作。該神經元首先計算其輸入和權重的乘積之和。然後這個值被神經元的非線性激活函數處理,產生一個輸出。然後,該輸出被用作下一層神經元的輸入。

在現實世界的應用中,權重(圖2.5中的邊)的數量通常會增長到數百萬甚至數十億。還要注意的是,除了圖2.5中說明的全連接神經網絡(FCNN),還有不同類型的DNN。卷積神經網絡(CNN)用於數據中存在空間關係的情況,這在圖像中是典型的情況。同樣地,當數據中存在已知的時間關係時(如文本和音頻),經常使用遞歸神經網絡(RNN)。在現實世界的應用中,模型的設計通常是使用精心挑選的CNN、RNN和FCNN的混合。本節的其餘部分主要討論FCNN。然而,推理和訓練的原則也同樣適用於CNN和RNNs。

在本報告中,用來表示DNN的數學符號是fθ,其中θ代表DNN的可訓練權重或參數。

圖 2.5 - 一個具有四個輸入、兩個隱藏層和一個輸出的全連接 DNN 的可視化。在這個表示中,每條邊代表一個可訓練的參數或權重,每個節點代表一個神經元(即一個可微分的子函數),使用權重將輸入轉化為輸出。每個神經元計算其輸入和權重的乘積之和。然後,該值由神經元的非線性激活函數處理,產生一個輸出。

圖2.6 - DNN中的神經元的可視化。首先,使用輸入x和權重ω的乘積之和被計算。然後,這個值被送入神經元的非線性激活函數g,以產生一個輸出,可以被送入下一層的神經元。代表一個神經元的數學表達式是。請注意,偏差b,也是一個可訓練的參數,與權重不同,它不與輸入相連。

2.3.2 推斷

推理是一個過程,在這個過程中,輸入被已經訓練好的 DNN 處理,產生一個輸出。在DNN中,處理是通過網絡的各層向前傳遞進行的。計算圖也許是描述推理的最直觀的方式。在計算圖中,DNN被模塊化為原始的子函數,代表網絡中嵌入的操作。作為一個例子,圖2.7中的計算圖表示有一個輸入的神經元。使用這種表示方法,很容易看到輸入是如何在圖中向前移動(從左到右)時被轉化的。

計算圖可以被擴展到具有任意數量的輸入、神經元和輸出的DNN模型。在實踐中,使用代表聚合層的計算圖來設計DNN是很常見的。然後,不同的層可以相互連接,形成最終的 DNN。

圖2.7--計算圖表示一個神經元的操作,fθ(x)=g(x×ω+b),有一個輸入x和預訓練的參數θ={ω,b}。計算圖可以擴展到包括任意的輸入和輸出。在現實世界的應用中,DNN由代表神經元聚集層的計算圖組成。

2.3.3 訓練

訓練是DNN,fθ,及其可訓練參數或權重θ,被更新的過程。訓練是一個迭代過程,目的是調整θ,使損失函數L(fθ)達到最小。在實踐中,方程2.1中的梯度下降(GD)優化方法或其變體被用來執行更新。

在GD方法中,α代表一個超參數(即一個用於控製學習過程的用戶定義參數),稱為學習率。學習率α,控製著學習過程的速度。重要的是,α被適當地初始化,以確保可訓練的參數能夠收斂到一個最佳的解決方案。一般來說,如果α太大,訓練過程就會變得不穩定,可訓練參數就不會收斂。此外,如果α太小,訓練將是穩定的,盡管它將花費太多的時間來收斂。由於這個原因,使用能在學習過程中動態地改變學習速率的調度器已經成為常見的做法。

方程2.1中的項表示可訓練參數的梯度。梯度決定了更新可訓練參數θ的方向,從而使損失函數增加。請注意,更新的方向與梯度的方向相反,以便使損失最小化。

為了找到這些梯度,我們使用了反向傳播算法。給定一個訓練實例(x, yˆ),反向傳播算法首先執行一個前向傳遞來計算損失。給定損失後,再進行後向傳遞,使用鏈式規則公式計算梯度。同樣,解釋反向傳播的最直觀的方法是使用計算圖,其中DNN由子函數的集合表示。要進行反向傳播,所需要的就是找到這些子函數的導數。讓我們用一個簡單的例子來說明反向傳播,其中DNN由線性函數fθ(x)=ωx+b表示,隻有兩個可訓練參數θ={ω,b}。在這種情況下,損失函數可以定義為fθ(x)和期望輸出yˆ的平方誤差:

因此,損失衡量了DNN的預測是否接近已知的輸出值,即y。當損失較小時,預測是好的。同樣地,當損失大時,預測就很差。

圖2.8顯示了代表方程2.2中損失函數的計算圖。除了前向傳遞,這個計算圖還包括一個後向傳遞,利用鏈式規則將損失(或誤差)傳播到可訓練參數θ={ω,b}。請注意,訓練中隻需要損失相對於可訓練參數的導數(即)。逆向傳播從設置開始。從這裏很容易看出鏈式規則是如何將誤差向後傳播的(從右到左),從而找到。關於本節所述的訓練過程的演示,見附錄A。

即使訓練過程很簡單,可以用計算圖來解釋,也很難理解和解釋模型的行為。下一章將介紹為這些目的而開發的XAI技術。

圖2.8 - 表示平方誤差損失函數的計算圖,。在這個例子中,fθ(x) = ωx + b和θ = {ω, b}分別代表模型和它的可訓練參數,x和yˆ代表輸入和它的期望輸出(即訓練數據)。

3 可解釋人工智能的技術

可解釋人工智能(XAI)研究的重點是確保人工智能係統的推理和決策能夠被解釋給人類用戶。盡管由於DL的進步,XAI最近受到了很多關注,但XAI的研究領域並不新鮮。它至少在20世紀80年代就已經存在了[20]。對於XAI研究及其曆史的全麵回顧,讀者可以參考[21]。

可解釋人工智能是任何用於影響人類生命高風險決策的軍事人工智能係統的關鍵組成部分。戰術層麵上的人工智能應用的例子,重點是短期決策,包括無人駕駛車輛的自主控製以及武器和監視係統的目標識別、跟蹤和交戰。此外,XAI在戰爭的戰役和戰略層麵同樣重要,甚至可能更重要,因為長期決策和規劃活動可能影響整個團體。在這個層麵上,人工智能係統通常用於信息分析,但也可以通過模擬來提出規劃或行動方案(COA)。XAI在軍事應用中的主要目的是:

本章介紹了在DL背景下專門開發的幾種XAI技術。DL的XAI是一個重大挑戰,因為DNN可能由數百萬甚至數十億的參數組成,使得它們不透明,難以被人類解釋。請注意,據我們所知,擬議的技術還沒有在軍事背景下進行科學評估。因此,在這種情況下,這些技術能在多大程度上提供有用的解釋還不得而知。第四章介紹了如何進行這種評估。

3.1 全局解釋技術

全局解釋技術提供了對 DNN 及其整體行為的洞察力。在本節中,我們主要關注可用於分析和可視化高維訓練數據集的技術,但也關注如何獲取和解釋用於模型評估的性能測量。

3.1.1 大型高維數據集的可視化技術

在DL中,訓練數據集通常由大量的高維樣本組成。為了直觀地檢查這些數據集,它們必須被降低到人類可以觀察到的維度(即一維、二維或三維空間)。在可視化中總結大型數據集可以提供關於DNN所要學習的任務複雜性的有用見解。它也可以用來識別數據集中可能對DNN的性能產生負麵影響的假象[23]。下麵是三種無監督的技術,可用於降低維度以達到可視化的目的。

為了證明上述技術,將使用MNIST數據集[32]。這個數據集包含灰度圖像,包括代表70000個手寫數字的標簽。每個圖像由28×28像素組成,因此,數據的維度為784。圖3.1說明了從數據集中隨機抽取的15個樣本。

圖3.2中的可視化圖(散點圖)是使用從MNIST數據集中隨機抽取的10000張圖像的子集創建的。在這種情況下,使用PCA(圖3.2a)、VAE(圖3.2b)和t-SNE(圖3.2c和圖3.2d)將維數從784降低到2。這些圖是用所有10000個數據點渲染的,每個數據點的標簽都用顏色編碼,這樣人類就可以直觀地檢查出聚類趨勢。在圖3.2d中,數據集首先使用PCA進行預處理,在使用t-SNE之前將維度從784降低到50。這是使用t-SNE時的標準做法,以確保計算效率。圖3.2中的可視化圖提供了對數據集複雜性的洞察力。如果集群可以被直觀地識別,那麼DNN也很可能能夠有效地從數據中學習。同樣地,如果集群不能被識別,那麼DNN也將更難從數據中學習。在這種情況下,PCA技術無法分離聚類。因此,不能指望線性分類器能有好的表現。

圖3.1 - 從MNIST數據集中隨機抽取的樣本。樣本的標簽在圖的說明中提供。

圖3.2 - 使用主成分分析(PCA)、可變自動編碼器(VAE)和t分布式隨機近鄰嵌入(t-SNE)在二維散點圖中對高維數據進行可視化。在這種情況下,維度從784(代表28×28像素的圖像)減少到2。這些圖是用10000個數據點呈現的,每個數據點用其標簽(0到9)進行顏色編碼,以便人類可以直觀地檢查聚類情況。在圖3.2d中,在使用t-SNE之前,數據集使用PCA進行了預處理,將維度從784降低到50。這是使用t-SNE時的標準做法,以確保計算效率。可視化提供了對數據集複雜性的洞察力。如果集群可以被直觀地識別,那麼DNN也很可能能夠有效地從數據中學習。同樣地,如果集群不能被識別,那麼DNN也將更難從數據中學習。

3.1.2 模型評估

在訓練機器學習模型時,模型開發者會不斷測量模型在它之前未見過的輸入數據上的表現,以確認模型是否在向有用的行為發展。當開發者對模型的表現感到滿意時,就會停止訓練過程,並使用未見過的測試數據進行最終評估。這個最終的測試衡量了模型在現實世界中應用時的預期性能,在那裏它通常會遇到訓練時沒有看到的輸入。測試數據集能在多大程度上被用來測量實際性能,取決於測試集與現實世界數據的對應程度。雖然在模型訓練和調整過程中對性能的持續測量主要是對模型開發者有意義,但從XAI的角度來看,最終的性能測量對用戶也是有價值的。

(1)對分類器的評估

在從圖像中對軍用車輛進行分類的例子中,每一類車輛都有數千張圖像,相當一部分圖像將被用於訓練,另外一組圖像將被分開,用於在訓練期間對模型進行微調和測試,還有一組圖像將被保留用於最終的性能測量。由於分類器在訓練過程中沒有看到測試集中的圖像,因此測量它在這些圖像上的表現可以了解模型在新數據上的表現如何。

在一個分類任務中,最直接的性能測量是計算正確分類的比例。這個衡量標準被稱為準確性:

也就是說,如果車輛分類模型在100張圖片上進行測試,85張圖片被正確分類,則該模型在測試數據上的準確率為85%。如果不同類別的實例出現的頻率相同,也就是說,數據是平衡的,那麼準確率就會很高。

在水雷分類的例子中,任務是分析類似雷的聲納圖像,並將該物體分類為雷或其他東西(通常是岩石)。在這種情況下,可能相對缺乏可供訓練的雷圖像,因為關於岩石的數據很容易收集,而關於雷的數據,特別是由敵對勢力部署的雷,則不容易收集。

雷檢測案例是一個不平衡問題的例子,如果測試數據集要反映真實世界的發生情況,那麼它將包含比雷圖片更多的岩石圖片。作為一個例子,假設測試數據集中千分之一的例子是雷(其餘都是岩石)。一個總是返回負麵分類(不是雷)的分類器將在測試集上達到99.9%的準確率,因為999個分類中實際上是正確的。然而,它在尋找雷方麵是無用的,因為在提交給它的實際雷中,它沒有檢測到任何雷。它的召回率為0%。

通過使分類器更容易對可疑物體返回正麵分類(雷),可以提高召回率。在極端的情況下,一個總是返回正麵分類的分類器可以達到100%的召回率,因為它可以捕捉到所有的雷和所有的岩石。然而,同樣,它也是無用的,因為每一千次正麵預測中,隻有一次是正確的。它的精確度將是0.1%。

顯然,一個好的探雷器,或任何分類器,都需要有合理的高精確度和高召回率的數值。也就是說,必須有可能相信正麵的分類結果,足以投入更多的資源(如部署潛水員)。也必須有可能足夠信任負麵輸出,以期望它能找到相當比例的實際存在的雷。然而,在現實中,這兩者之間總是有一個權衡,正確的平衡取決於特定的操作要求。例如,如果不遺漏雷是很重要的,那麼分類器將被調整為高召回率。然而,要付出的代價是較低的精度,導致更多的時間被用於調查岩石。

通過在測試數據集上運行分類器,計算有多少雷被正確分類(真陽性或TP),有多少岩石被正確分類(真陰性或TN),有多少岩石被誤認為是雷(假陽性或FP),有多少雷被誤認為是岩石(假陰性或FN),可以計算出準確率、精確度和召回率。這就產生了一個混淆矩陣,如表3.1所示。

表3.1--混淆矩陣的結構,將正確的正麵分類(TP)、正確的負麵分類(TN)、錯誤的正麵分類(FP)和錯誤的負麵分類(FN)的數量列表。

混淆矩陣是代表模型性能的一種緊湊但豐富的方式,從中可以推導出許多不同的度量。與同一行的其他數值相比,一個高精確度的模型具有較高的TP值(FP),或者更正式地說:

與同列的其他數值相比,一個高召回率的模型具有較高的TP值(FN),或者更正式地說:

與非對角線位置相比,一個高精確度的模型在所有對角線位置都有很高的數值,或者更正式地說:

矩陣中數值的其他組合產生了其他指標,每個指標都揭示了模型性能的某些方麵。一般來說,一個具有不平衡數據的案例(這往往是現實中的常態)將需要更多的指標來衡量模型的性能。然而,對於麵臨問題,正確的指標集可以提供一個簡明的圖片,說明模型在實際環境的表現是怎樣的。由於所有的指標都是從混淆矩陣中計算出來的,一個訓練較好的分類器很快就能從中提取這些信息。

(2)多類分類器的評估

如果一個車輛分類器要區分坦克、摩托車和運輸車輛,就存在一個多指標或多類分類問題。在這種情況下,混淆矩陣的行和列的數量將與類別的數量相同。圖3.3是一個多類混淆矩陣的例子,任務是將手寫數字的圖像從0到9分類,也就是10個類別。

從混淆矩陣中計算出的度量可以概括為:通過比較對角線和其餘部分給出準確度,而通過比較每個特定類別的對角線值與其行的總和(準確度)或其列的總和(召回率)給出準確度和召回率。因此,通過對矩陣進行顏色編碼,就像在數字分類的例子中那樣,僅僅通過檢查就可以收集到很多信息。例如,從這個例子中可以看出,總體準確率非常高(將對角線與其他部分進行比較),但在不同的數字類別中,表現卻有些不同。數字5有時會被誤歸為3或6或其他,反之,5有時會被誤認為3。然而,數字1幾乎不會與其他東西混淆。

圖3.3 - 混淆矩陣說明了使用MNIST數據集識別手寫數字而訓練的DNN的性能。混淆矩陣可以用來深入了解該模型最可能與其他數字混淆的數字。

(3)回歸模型的評估

在回歸任務中,不可能計算正確的分類。相反,有必要將模型產生的連續值與測試集中的正確值進行比較。

作為一個例子,假設一個自主地麵車輛(AGV)的避障模型正在被訓練。AGV必須根據安裝的傳感器的輸入產生一個轉向信號。轉向信號表示為-1和1之間的數字,其中-1表示左急轉,1表示右急轉,0表示不轉,而兩者之間的所有數字都是相應方向上的轉彎等級。AGV已經根據人類操作員記錄的數據進行了訓練。它的測試方法是將它對給定的傳感器刺激產生的轉向信號,與記錄的數據進行比較。例如,記錄可能表明,檢測到遠處左側的障礙物應該產生有限的右轉信號(例如0.2),而檢測到近處左側的障礙物應該產生一個急劇的右轉(接近1)。一個在後一種情況下產生急劇左轉信號(-1)的模型,應該被判定為比另一個產生輕微右轉信號(如0.2)的模型B表現更差。將模型的預測值與期望值相比較,顯然,模型A與該值的距離是2,而模型B的距離是0.8。因此,模型B更接近於正確的行為。如果對測試數據集中所有實例的這種誤差進行測量和彙總,例如計算平均誤差,就可以得到模型性能的總體衡量。

回歸的評估技術主要在如何進行彙總方麵有所不同。平均絕對誤差(MAE)取的是誤差絕對值的平均值。該指標衡量模型預測與期望值的偏差程度。均方根誤差取的是誤差平均平方根。它對應於誤差的標準偏差,與MAE不同的是,它對大偏差的懲罰更大。R平方(R2)將平均平方誤差與信號本身的方差進行比較。因此,它首先對變化很大的信號容忍較大的誤差。

3.2 局部解釋技術

與全局解釋技術相比,局部解釋是用來解釋對感興趣的特定輸入的預測的。這些輸入可以是真實世界的例子,也可以是訓練或測試數據集中的例子。DNN的輸入基本上是由一串數值構成的,代表了一些現實世界的過程,如圖像中的像素、文本中的字母、科學數據等等。因此,一個有300個像素的灰度圖像在300個維度上表示它的數據,每個維度講述故事的一部分(所有維度一起提供整體)。

本節重點討論局部解釋技術,其中顯著性地圖被用於解釋。顯著性地圖通過對每個輸入維度的相關性或顯著性打分,來解釋一個模型的輸出。也就是說,它顯示了每個維度在產生與該例子相對應的特定輸出方麵的重要性。對於一幅圖像來說,這些顯著性分數可以轉化為熱圖,疊加在圖像上,以表明模型在產生其決定時注意到哪些像素。圖3.4提供了一個在模擬自動駕駛汽車的背景下生成的顯著性地圖的例子。

這裏介紹的前兩種技術是白盒技術。這些技術依靠訪問DNN的內部表示(子函數、梯度等)來產生解釋。其他技術是黑盒技術,可以通過查詢模型(通常是多次)和選定的輸入來產生解釋。因此,黑盒技術往往需要更多的計算資源來產生其解釋。

圖3.4 - 突出顯示了DNN用來控製模擬自駕車的最重要的輸入像素的Saliency圖。在這種情況下,代表道路右側的像素似乎是最重要的。

3.2.1 梯度顯著性

梯度顯著性(也叫敏感性分析)是最早的局部解釋技術之一,它被用來解釋神經網絡的行為已經有很長時間了[33, 34]。梯度顯著性的想法是通過計算輸入值的變化會在多大程度上改變模型的輸出值來產生解釋。輸入值的變化會對模型輸出值產生最大影響的輸入被認為比其他輸入對模型輸出值更重要。在數學術語中,這被稱為模型輸出對給定輸入(如圖像)的導數。由於DNN訓練使用導數,許多深度學習軟件庫可以直接計算梯度顯著性。

圖2.8中用來解釋DNN訓練過程的計算圖也可以用來理解梯度顯著性的工作原理。梯度顯著性技術不是計算相對於可訓練參數的導數,也就是訓練過程中所做的,而是計算相對於輸入的導數(即)。

梯度顯著性的問題是,它不能區分影響模型輸出的信號和DNN被訓練為過濾掉的幹擾物[35]。使用梯度顯著性技術產生的解釋往往是嘈雜的,也會隱藏模型實際使用的特征。解釋哪些特征使輸入的物體類型更多或更少,並不像解釋哪些特征使其成為現實中的物體類型那樣具有信息量[34]。

3.2.2 分層相關性傳播

分層相關性傳播(LRP)發表於2015年,是第一批使用理論框架來指導局部解釋啟發式方法發展的技術之一[36, 34, 37]。該理論框架的主要好處是,它提供了一種方法,可以找到適合於DNN中各層的多種類型的局部解釋啟發式,以及其他類型機器學習模型的局部解釋啟發式。

LRP首先假設為低層對每個輸出值的貢獻分配相關性,應該考慮哪些激活對輸出值是必要的。從輸入中去除這些相關的激活,最好能取消該輸出值。例如,去除被歸類為汽車的圖像中的所有汽車特征,應該意味著該模型的汽車輸出值為零。在數學術語中,這被稱為模型函數的根,而LRP的想法是使用適合搜索這個根的局部解釋啟發式方法。

雖然沒有已知的技術來優化搜索模型函數的根,但有一些對搜索的限製已被證明是足夠的。例如,根的激活應該在輸出值的激活附近,相關的激活應該在可能的輸入空間內,而且隻有輸出值的可用相關性應該被用來給激活分配相關性。事實證明,這些約束條件足以找到將相關性從模型輸出傳播回輸入的局部解釋啟發式方法。

LRP假設模型函數可以用數學技術泰勒擴展來近似。泰勒擴展將模型函數分解為簡單的加法項,可以直接映射到神經網絡組件。加法項意味著模型函數可以被分解為作為模型輸出基礎的每個激活的相關性分數。

LRP是一個局部解釋啟發法係列,使用這些技術進行相關性傳播[37]。這些啟發法專門適用於不同類型的神經網絡層和層級。一些啟發式方法還可以將輸出相關性傳播為有助於模型輸出的正向激活和有損於模型輸出的負向激活。這可能有助於識別缺失的特征,使模型輸出的可能性更大。

3.2.3 沙普利加和解釋

沙普利加和解釋(SHAP)發表於2017年[38],改進以前的一些方法,指出它們之間的數學共性,然後證明它們都可以通過使用一個特定的數學公式進行改進。

該公式由諾貝爾獎得主勞埃德-沙普利於1953年[39]在經濟學的一個分支--博弈論領域提出。它計算出所謂的沙普利值,用於在參與方之間分配一些聯合遊戲的收益。該公式旨在根據一組合理性條件公平地分配收益,因此所有的收益都應該被分配;貢獻大的行為者應該獲得更多的收益;沒有貢獻的行為者應該一無所獲;而且應該有可能將不同遊戲的收益相加。事實上,沙普利表明,他的公式是唯一可能滿足所有條件的公式。

就解釋而言,第一步是觀察機器學習模型的輸入維度可以被視為參與模型產生輸出預測的遊戲的行為者。輸出值可以看作是遊戲的總收益,也就是要在玩家之間進行分配。進行公平分配就是在輸入維度之間按其貢獻比例分配輸出值。換句話說,這樣應用沙普利值,就會產生一個突出性掩碼。這個觀察在SHAP方法之前就已經提出了,例如在[40]和[41]。

最初的SHAP工作的貢獻是觀察到一些早期的方法所產生的解釋都可以統一在一個共同的線性形式下,稱為加和特征歸屬,也就是說,它們都有一個共同的屬性,即它們產生的突出度值加起來就是要解釋的模型的輸出值。然後,[38]的作者設定了與上述條件相對應的穩定性條件,並證明沙普利公式是特征歸屬方法滿足所有條件的唯一途徑。由於之前的所有方法都在某種程度上偏離了沙普利公式(通常是通過應用一些沒有太多理論基礎的啟發式方法),作者認為可以通過調整這些方法使其符合該公式來改進。因此,SHAP實際上是一個基於這些調整的方法係列。例如,調整LIME(見第3.2.4節)以符合沙普利公式,可以得到KernelSHAP,即SHAP的一個模型無關的版本。基於特定模型解釋方法的SHAP版本繼承了相同的模型特定性約束。

3.2.4 局部可解釋模型診斷性解釋

局部可解釋模型-診斷性解釋(LIME)在2016年發表時引起了極大的關注[42],因為它是首批可以作為黑盒應用於任何模型的解釋方法之一。LIME通過對樣本進行擾動並觀察所發生的情況來解釋模型對輸入樣本的預測。

任何機器學習模型都將其輸入和輸出之間的關係表示為某種數學函數,由神經網絡的權重和結構或其他參數來定義。這個函數反過來旨在捕捉一些現實世界的關係,例如,一串聲音和一串單詞之間的關係。一個典型的現代機器學習係統所模擬的功能是複雜的,這就是為什麼簡單地檢查神經網絡的權重並不能做很多解釋。LIME不考慮函數的整體性,而是試圖描述函數在要解釋的例子附近的作用。通過以不同的方式擾動輸入,它能夠創建一個線性的,因此更簡單的模型,該模型在與所提供的樣本相似的情況下表現得接近於複雜的模型。這個線性模型的係數構成了對輸入的哪些維度對模型的輸出影響最大的直接測量,或者換句話說,這些係數是LIME版本的顯著性掩碼。由於LIME對模型所要做的就是給它提供不同的輸入擾動並觀察它的輸出,所以對模型的內部工作沒有任何了解。

3.2.5 用於解釋黑盒模型的隨機輸入采樣

用於解釋黑盒模型的隨機輸入采樣(RISE)是一種模型無關的局部解釋技術,於2018年發表[43]。與LIME類似,RISE通過擾動輸入並觀察模型的反應來生成解釋。因此,對於解釋的生成,不需要了解模型的內部工作。

RISE通過隨機生成掩碼來擾亂圖像,掩碼使圖像像素變暗。掩碼是通過將圖像劃分為較大的區域,並隨機選擇哪些區域包括在擾動的圖像中來生成的。模型對擾動圖像的輸出值描述了掩碼覆蓋圖像區域的程度,這些區域對該模型類別的分類很重要。與覆蓋較少重要圖像區域的掩碼相比,覆蓋許多對分類很重要的圖像區域的掩碼會導致更高的模型輸出值。通過隨機生成許多掩碼,RISE計算出每個圖像區域的平均重要性。圖像區域的重要性解釋了模型的分類。

RISE的一個好處是,它使用大小均勻的圖像區域來生成解釋。因此,這些解釋涵蓋了與圖像中的物體相同的圖像區域。另一方麵,LIME使用超級像素(類似像素值的連續區域),這可能無法捕捉到正確的圖像區域。

3.3 混合解釋技術

混合解釋技術通過結合全局和局部XAI技術提供洞察力。混合解釋技術不是隻在個案的基礎上使用局部XAI技術,而是在大量的案例上自動應用局部XAI技術,通常是整個數據集。然後,混合解釋技術會比較所有的本地XAI結果,以確定模型表現不符合預期的情況。這種異常情況可以為進一步的模型開發提供信息,或者指出使用模型時需要考慮的性能限製。

3.3.1 譜係相關性分析

譜係相關性分析(SpRAy)技術是在[23]中介紹的。SpRAy是一種半自動化的技術,它使用整個數據集的分析方法來尋找模型性能不符合預期的情況。例如,在圖像分類中,一個一般類型的物體,如狗或汽車,可能會出現在許多形式和背景中,但類似的物體形式和背景應該有類似的局部XAI結果。如果某些情況下的本地XAI結果與預期的不一樣,這可能表明模型行為異常。依賴於現實世界中可能不存在的虛假和人為的相關性的決策策略,也被稱為 "聰明的漢斯"行為。SpRAy包括五個步驟來尋找異常的模型行為:

在[23]中,SpRAy被用來證明上一代機器學習技術--支持向量機(SVM)在圖像分類中學習了虛假的相關關係。例如,SpRAy顯示,該分類器使用了四種不同的策略對馬匹的圖像進行分類,檢測馬匹和騎手,在橫向或縱向的圖像中檢測源標簽,以及檢測障礙物和其他環境元素。因此,在沒有源標簽和背景元素的實際應用中,這個分類器是不可靠的。將源標簽添加到其他物體的圖像上,如汽車,他們可以將分類改為馬。

4 評估可解釋人工智能技術

XAI的一個經常被忽視但很重要的方麵是評估擬議的XAI技術的能力。第 4.1節從人類因素的角度介紹了評價標準,其中用戶(如操作員或分析師)是衡量XAI加入人工智能係統後的效果的核心。此外,第4.2節介紹了可用於比較本地XAI技術的測試,如第3.2章中介紹的使用啟發式的技術。

4.1 人為因素評價

對XAI技術的人為因素評估測試了解釋是否考慮了所有對用戶充分利用AI係統的重要因素。例如,用戶可能有不同的目標、需求、知識、經驗、任務背景、用例等。和許多類型的係統開發一樣,在人工智能係統的整個開發過程中,從係統規範到最後的用戶測試,都必須考慮這些因素。由於用於DL的XAI技術是一個新興的研究領域,這些技術的最初用戶往往是對評估模型性能感興趣的係統開發者。這些XAI技術是否對軍事用戶也有用,在很大程度上仍然是一個開放的問題。在[22]中,已經提出了六個指標來評價解釋。

未來的研究將提供更多關於在評估人工智能係統的XAI技術時如何解釋這些指標的信息。

4.2 評估本地解釋技術

第3.2章中描述的本地XAI技術產生了突出性地圖,以突出每個輸入維度的重要性。根據模型所處理的數據類型,顯著性圖的可視化程度是不同的。例如,在處理圖像時通常使用熱圖,而在處理文本時通常使用彩色編碼的字符和詞。

圖4.1展示了一個使用熱圖可視化的顯著性圖的例子。在這個例子中,熱圖是為數字0(圖4.1a)生成的,使用了梯度顯著性(圖4.1b)和LRP技術(圖4.1c)。重要的維度(即圖像中的像素)由較暖的顏色(如紅色、橙色、黃色等)表示,而非重要的維度則由較冷的顏色(深藍、藍、淺藍等)表示。這兩種技術之間的明顯區別可以從高亮維度的位置上直觀地觀察到。本節的其餘部分介紹了可以用來定量比較和評估不同技術所產生的局部解釋的技術。最終,我們的目標是找出哪個解釋是最準確的。

圖4.1 - MNIST圖像及其相應的熱圖,使用梯度顯著性和LRP技術生成。圖像中的重要維度或像素用較暖的顏色(如紅色、橙色、黃色等)表示。

4.2.1 刪減

刪減[43, 34]是一個指標,通過測量模型在輸入逐漸被扭曲或刪減時準確做出預測的能力來計算。請注意,在這種情況下,刪減意味著將輸入的值轉換為中性的東西(例如,圖像的背景)。刪減過程是由XAI技術產生的顯著性圖指導的,因此更重要維度的值會在不太重要的值之前被刪減。這個指標的直覺是,如果在刪減過程中,性能下降很快,而不是很慢,那麼解釋會更好。

圖4.2使用圖4.1b中的梯度顯著性圖說明了刪減過程。在圖4.2b中,50個最突出的像素已經被刪減。在這個階段,很容易推斷出該圖像仍然代表一個0。在圖4.2f中,超過一半的像素(400)已經被刪減。在這個階段,要推斷出圖像實際代表數字0要困難得多。

圖4.2 - 由MNIST圖像的刪減過程產生的圖像,其中0、50、100、200、300和400像素被刪除。

4.2.2 插入

插入指標[43]是對刪減的補充方法。圖4.3說明了在刪減例子中使用的同一MNIST圖像的插入過程。從最初的輸入(用黑色圖像表示)開始,隨著越來越多的輸入維度被插入,按照突出度圖的優先順序,測量準確度的增加。這裏的直覺是,當更多的信息被插入到輸入中時,模型預測的準確性應該增加。也就是說,當增加的速度快時,與增加的速度慢時相比,解釋會更好。

圖4.3 - 從MNIST圖像的插入過程中產生的圖像,其中0、50、100、200、300和400像素被插入。

4.2.3 評價指標

為了證明刪減和插入的使用,使用梯度顯著性和LRP技術來衡量這些過程。在這種情況下,使用分類器對XAI技術進行了評估,該分類器從MNIST數據集中隨機抽取了100張圖像。

圖4.4和圖4.5分別顯示了刪減和插入過程的結果。曲線下的麵積(AUC)是一種測量方法,可以用來定量比較XAI技術。對於刪減,較小的AUC值要比較大的值好。同樣,對於插入,較大的AUC值比較小的值要好。

在圖4.4中可以看到,LRP技術的性能曲線的下降更加尖銳,並在使用刪減過程時收斂到一個較低的平均概率值。這與它的熱圖是一致的,與梯度顯著性的熱圖相比,它突出了較少的特征(圖4.1c和4.1b),表明與梯度顯著性相比,LRP在較少的特征下更快地找到了解釋。同樣的結論可以從使用插入過程的結果中得出(圖4.5)。在這裏,隻需插入幾十個特征,就能觀察到平均概率的快速增加,在插入大約100個特征後達到高性能。

圖4.4 - 梯度顯著性和LRP的刪減曲線。

圖4.5 - 梯度突出性和LRP的插入曲線。

5 實驗結果:關於解釋自然語言預測的案例研究

在自然語言處理(NLP)領域,一個常見的機器學習任務是讓人工智能係統評估一個文本在多大程度上表達了消極、積極或中性的情緒(即情緒分析)。諸如 "我非常高興和感激!"這樣的句子顯然表達了積極的情緒,而 "我希望他很快見到他的造物主 "顯然是消極的,而 "他昨天到達 "可以被認為是中性的。積極的例子包含了直接標明它是積極的詞語,而消極的例子則需要對語言有更深的理解,才能抓住其明顯的消極含義。因此,一個文本可以在它所表達的情緒的種類和程度方麵有所不同,也可以在它如何直接表達方麵有所不同。為了理解人工智能係統是如何試圖理解輸入到它的文本中的情感,可以應用第4.2章中用來解釋圖像分類的同類技術。

5.1 情緒分析預測器

情緒分析模型是所謂的SentimentTagger模型的簡化版,該模型主要被內部用來預測推文(即Twitter上的帖子)中的情感。SentimentTagger模型由一個DNN和一個更傳統的NLP模塊組合而成。在這項工作中,隻使用了該模型的DNN部分。DNN模型是使用遞歸(即RNN)和全連接(即FCNN)神經網絡層的組合設計的。RNN部分使用一種叫做長短時記憶(LSTM)的技術來實現,該技術專門為一個句子中的單詞或字符之間,甚至是跨句子的遠距離依賴關係建模。例如,在 "我昨天以便宜的價格買的車今天壞了 "這句話中,事件 "壞了 "指的是 "車",盡管它們被其他文字分開。

在SentimentTagger中使用的特定LSTM是通過將傳入的文本(一條推文)分解成其組成字母來觀察的。更確切地說,它看的是字符,如字母,但也包括標點符號、空白、表情符號等等。然後,該模型提取出一個善於模擬情感的中間表征。這個中間表征然後被送入FCNN以產生最終的情感預測。預測是一個在0和1之間的連續值,其中0是最消極的,1是最積極的。因此,這是一個回歸模型,就解釋而言,這意味著解釋不是對預測一個特定類別的貢獻,而是對該特定輸出值的貢獻。

SentimentTagger的預測過程如圖5.1所示。表5.1中還提供了該模型預測的一些例子。表5.1中前三條推文的預測結果與人類判斷的真實情感值很一致。接下來的三條是低估了積極情緒的例子,而最後三條是低估了消極情緒的例子。對於一些例子,如第六個例子,可以說SentimentTagger比人類標簽者做得更好。在所有情況下,了解SentimentTagger的估計依據是什麼,將是有益的。

圖5.1 - SentimentTagger的結構。一條推文被送入LSTMRN,它產生一個中間表征。然後將其送入FCNN,反過來產生最終的情感預測。

表5.1 - SentimentTagger對推文進行情感預測的例子。

5.2 解釋方法

為了對SentimentTagger產生的預測進行解釋,我們采用了模型診斷性的LIME和SHAP技術。SHAP的版本(KernelSHAP)實際上是對LIME的修改(根據[38]中提出的一般公式),這使得比較變得有趣。在這種情況下,選擇與模型無關的方法的原因是,不同類型的神經網絡的串聯使得應用特定模型的方法變得非同尋常。

SentimentTagger分析推文所包含的字符,而不是在詞的層麵。顯著性解釋的最直接表述是指出一條推文的每個字符對該推文的情緒預測有多大貢獻。圖5.2a給出了這樣一個解釋的例子,SentimentTagger預測該條推文的情緒為中性(0.47),而人類判斷的數值為輕微的消極(0.31)。那麼,是什麼推動了這種預測呢?在這裏,顏色編碼被用來表示每個字符對增加或減少情感預測的貢獻。藍色表示消極貢獻(即消極情緒),紅色表示積極貢獻(即積極情緒)。接近透明紫色的顏色代表中性情緒。

這個例子似乎表明,"更好 "這個詞中的字符做出了積極的貢獻,而 "壞 "這個詞中的字符做出了消極的貢獻,而其他字符則提供了一個不太清晰的畫麵。從單個字符的顯著性歸因中得出結論是很困難的,因為字符本身並不真正意味著什麼。因此,雖然可能有理由讓情感預測模型在角色層麵上工作,但可能應該在一個綜合的層麵上提供解釋,以更好地映射到實際意義。

如果將字符級別的歸因彙總到包含相應字符的每個詞上,結果就會出現圖5.2b中的可視化。出現的畫麵更加清晰,不僅可以看到 "更好 "和 "壞 "對預測的推動作用有多大,而且還可以看出 "什麼時候"的輕微積極作用和 "某人 "和 "不耐煩"的輕微消極作用。最後,還可以注意到,"紅色 "和 "藍色 "的數量似乎大致相當,這解釋了為什麼SentimentTagger決定對情緒進行中性評價。在後麵的例子中,到單詞級別的解釋是可視化的。

圖5.2 - 一條推文,根據其對該推文的情感預測的貢獻,對字符和詞進行了顏色編碼。紅色表示對積極情緒的貢獻;藍色表示對消極情緒的貢獻。在這個案例中,模型預測的是中性情緒(0.47),而人類標注者對情緒的判斷是輕微的消極(0.31)。詞級顯著性的可視化似乎更清楚地映射了句子語義的重要性。

5.3 定性結果

表5.2顯示了九個在不同方麵都很有趣的推文例子。顏色對應的是由SHAP做出的顯著性歸因(然後如上文所解釋的那樣彙總到詞級)。預測欄列出了由SentimentTagger預測的情感值,而真實值欄則顯示了由人類判斷分配的值。一個詞越紅,說明組成它的字符越多,共同推動了預測值的上升。反之,一個詞越是藍色,它的字符越是把預測值推低。

對於前三條推文,SentimentTagger的預測與人類的情緒判斷(在真值一欄)相當一致。盡管達成了一致,但有趣的是,SentimentTagger看了哪些詞來得出其預測結果。在第一條推文中,"愚蠢的"、"可怕的"、"醜陋的"、"糟糕的 "和 "不 "促使情緒向消極方向發展,但 "父親 "一詞是一個更強大的消極驅動因素。可以詢問SentimentTagger是否發現了消極形容詞與 "父親 "的組合,或者它是否足夠成熟,能夠識別出 "不是他們的父親 "是一個有害的聲明。第三條推文更清晰;"微笑 "做了大部分的積極作用。

第4條和第5條推文是SentimentTagger將消極情緒分配給實際上相當積極的推文例子。諸如 "醫院"、"走了 "和 "眼淚 "等詞被表麵上解釋為消極的,而對上下文的正確理解會否定這種判斷。6號推文似乎也顯示了預測和真實情緒之間的差異。然而,可以說,問句形式所表達的不安全感實際上使預測比指定的標簽更接近事實。

在例子7到9中,關係是相反的,即預測嚴重低估了推文中表達的消極程度。一些被遺漏的消極情緒可能源於拚寫錯誤,如 "appauling"(7),缺失空格,如 "worstairline "和 "beyondajoke"(7),以及口語化的縮寫,如 "tf"(9),盡管一個字符級的LSTM預計會比一個單詞級的更好地處理輕微的拚寫錯誤和空格缺失。其他錯誤則更難解釋,如 "令人震驚"、"可怕"、"淒慘"(7)和 "刺激"(9)。例子8似乎表明,SentimentTagger錯過了 "刺激 "和 "高 "之間的聯係。

表5.3顯示了LIME對相同推文產生的顯著性歸因。雖然SHAP的歸因在很大程度上是可理解的,但並不完全符合直覺,LIME的版本則在很大程度上令人困惑。少數與直覺相符,如 "可笑"(1)、"欣賞"(2)和 "樂觀"(6),其中前兩個沒有被SHAP強調。有些直接與直覺相抵觸,例如 "無用"(7)和 "微笑"(3),後者也與SHAP相抵觸。然而,大多數隻是顯得很隨意,如 "ajahnae"(1)、"ago"(2)、"will"(5)和 "today"(8)。這些不直觀的解釋是否表明SentimentTagger存在SHAP沒有發現的故障,或者SHAP的更直觀的歸因是否更準確地描述了LSTM實際在做什麼?KernelSHAP在理論上是LIME的一個更好的基礎版本,這一事實表明了後者,但這些定性的結果不能提供任何證明。為了更客觀地比較這兩種解釋方法,在下一節將進行定量分析。

表5.2 - 選定的推文,按SHAP的顯著性數值進行著色,這些數值已經彙總到單詞級別。

表5.3 - 選定的推文,按照LIME的顯著性數值進行著色,這些數值已經彙總到單詞級別。

5.4 特征刪減分析

正如第4.2.1節所解釋的,刪減指標通過按照XAI技術賦予特征的顯著性順序來測試解釋方法的性能。一個好的XAI技術應該對那些對預測模型的輸出很重要的特征賦予很高的顯著性,因此按照這個順序刪減特征會使模型的性能急劇下降。在本案例中,按照突出性順序要刪減的特征是字符,在這種情況下,刪減一個特征意味著用一個空字符來代替它,比如一個製表符或一個空格,而預測模型是SentimentTagger。我們在一批500條推文的例子上對SentimentTagger的SHAP解釋和LIME解釋都進行了刪減測試,然後繪製了模型的預測性能如何隨著刪減的特征(字符)數量而下降。此外,作為一個基線,我們用一個隨機掩碼進行刪減,導致特征以隨機順序被刪減。由於SentimentTagger是一個回歸模型,它的性能不能用準確性來衡量。相反,我們使用了R2指標,該指標代表了對訓練好的模型解釋測試數據中的差異的程度的衡量。

圖5.3顯示了SentimentTagger的R2性能作為刪減數量的函數,分別按SHAP、LIME和隨機掩碼排序。很明顯,刪減測試有利於SHAP,因為它的曲線按照突出性歸因的順序迅速下降,而LIME的相應曲線則明顯不那麼陡峭。LIME在刪減測試中的表現隻比隨機掩碼略好。因此,SHAP似乎在識別少數特征(字符)方麵做得更好,沒有這些特征,模型就無法準確預測。這也許並不奇怪,因為Shapley公式的設計就是為了做到這一點,而LIME則依賴於更多技術上的啟發式方法。然而,通過有選擇地將少數幾個字符替換為空白,甚至有可能完全消除SentimentTagger的性能,這一事實可能是關於此類模型的穩健性(或缺乏穩健性)的一個有趣的跡象。

更值得注意的是,在SHAP案例中,R2值在最初的10次左右的刪減後實際上下降到了零以下,然後隨著更多的刪減被執行,又向零移動。這意味著第一組刪減實際上導致模型的表現比忽略其輸入並總是做出相同預測的模型要差。隨著更多的刪減,模型的預測將趨向於中性預測,即對應於一個空推文,這相當於忽略輸入。因此,R2值會收斂到零。

圖5.3 - 對SentimentTagger預測的SHAP和LIME解釋的刪減分析。隨機順序的刪減被用作基線。該圖顯示了對模型性能的影響,如R2指標所衡量的,當特征按突出性順序被連續刪減(即字符被連續刪減)時。SHAP曲線最初的陡峭下降表明,SHAP善於發現哪些特征對模型性能最為關鍵。低於零的跌幅表明,戰略性的刪減會導致模型做出的情感預測與人類標注的真實情感相矛盾。LIME的緩慢下降表明LIME的顯著性值在尋找哪些特征對模型性能最關鍵方麵不如SHAP值,隻比隨機刪減稍好。

6 結論

深度學習將被用於補充和取代軍事係統的某些功能。事實上,DL技術已經在軍事監控係統中得到了應用,以自動檢測和跟蹤大量圖像數據中感興趣的物體[45]。與傳統的軟件技術相比,DL有幾個優勢。最重要的是,DL可以用來為那些使用傳統軟件技術無法建模的複雜過程建模。它還可以促進主動學習,即人工智能係統與用戶互動,以獲得高質量的數據,這些數據可用於增強運行中係統模型(即部署後)。

不幸的是,這些優勢也帶來了重大挑戰,不僅在技術上,而且在操作上都需要解決。在本報告中,重點是可解釋性的挑戰。DL的一個主要缺點是,即使學習算法、模型結構和訓練數據是已知的,並且被很好地理解,但模型本身的行為卻不是可解釋的。在許多用於音樂推薦和廣告目的民用應用程序中,這通常不是一個問題。然而,在軍事領域,理解和解釋人工智能係統的行為是至關重要的。在這種情況下,人工智能係統提供的決定和建議可能會對人類的生活產生深刻的影響。這在使用自主武器和無人機的戰術層麵是有效的,在軍事領導人和政治決策者做出長期決定的作戰和戰略層麵也是有效的。

也許有人會說,複雜的軍事係統,如戰鬥機、潛艇、坦克和指揮與控製的決策支持工具,也是難以掌握的。雖然這是事實,但用於建立這些係統的技術本質上是可以解釋的。因此,如果出了問題,有可能完整地檢查係統以識別和糾正問題。而在DL中,情況並非如此。主要原因是,在現實世界的應用中,DNN經常由數百萬甚至數十億的參數組成。因此,即使是這些模型的創建者也沒有能力係統地解決模型中可能存在的錯誤。

在這份報告中,探討了為解決可解釋性挑戰而提出的幾種最先進的XAI技術。盡管已經取得了一些進展,但可以得出結論,用於軍事領域DL應用的XAI仍然處於起步階段。最終,即使已經提出了許多XAI技術,它們還沒有在軍事背景下被檢測過。因此,不能保證現有的XAI技術能夠在高風險的軍事AI係統中使用DL。

在為軍事目的開發人工智能係統時,我們建議在采購和開發過程中盡早確定可解釋性和可解釋性要求。最重要的是,這些要求的定義是可行的和可驗證的。也就是說,這些要求必須符合在可解釋性方麵實際可能的期望。

在未來的工作中,我們打算開發一個評估框架,可以用來支持軍事人工智能係統中XAI能力的發展。

FOI

FOI,瑞典國防研究局,是瑞典國防部下屬的一個主要任務資助機構。其核心活動是研究、方法和技術開發,以及為瑞典國防和社會安全利益而進行的研究。該組織雇用了約1000名員工,其中約800名是科學家。這使得FOI成為瑞典最大的研究機構。FOI為其客戶提供了大量領域的前沿專業知識,如安全政策研究、國防和安全相關分析、各種類型威脅的評估、危機控製和管理的係統、有害物質的保護和管理、IT安全和新傳感器提供的潛力。

"> 推薦!【中文版】瑞典國防研究局《可解釋人工智能:探索XAI技術在軍事深度學習中的應用》56頁技術報告 - 專知VIP

摘要

由於人工智能(AI)、機器學習,特別是深度學習的進步,可解釋人工智能(XAI)研究領域最近受到了很多關注。XAI是一個研究領域,重點是確保人工智能係統的推理和決策可以向人類用戶解釋。在軍事背景下,這種解釋通常是為了確保:

  • 人類用戶對他們操作的人工智能係統有適當的心智模型。

  • 專家可以從人工智能係統及其隱藏的戰術和戰略行為中獲得洞察力並提取知識。

  • 人工智能係統遵守國際和國家法律。

  • 開發人員甚至在部署前就能發現人工智能係統的缺陷或漏洞。

本報告的目的是為基於深度學習的人工智能係統提供解釋而開發的XAI技術。這類係統本身就很難解釋,因為它們所模擬的過程往往過於複雜,無法使用可解釋的替代方法來建模

盡管深度學習XAI領域仍處於起步階段,但科學文獻中已經提出了許多解釋技術。今天的XAI技術主要用於開發目的(即識別錯誤)。需要進行更多的研究來得出結論,這些技術是否也有助於支持用戶為他們所操作的人工智能係統建立適當的心智模型、戰術開發,並確保未來的軍事人工智能係統遵循國家和國際法律。

關鍵詞

人工智能、可解釋人工智能、透明度、機器學習、深度學習、深度神經網絡

1 引言

人工智能(AI)是一個對瑞典[1]和瑞典武裝部隊(SwAF)具有戰略意義的研究領域。當今人工智能成功的主要因素是機器學習(ML)的突破,更確切地說,是深度學習(DL)的突破。DL是一種潛在的顛覆性技術,使我們能夠使用深度神經網絡(DNN)來模擬以前使用傳統技術無法模擬的複雜過程。例如,DL可以用來準確地轉錄(語音到文本)[2,3],翻譯(文本到文本)[4],合成語音(文本到語音)[5],玩實時戰略遊戲(視頻到行動)[6,7],讀取唇語(視頻到文本)[8],識別人臉(圖像到身份)[9]和控製自動駕駛車輛(視頻到行動)[10,11]。

然而,DL仍然處於起步階段,沒有一個數學框架可以用來保證模型的正確性[12]。因此,在軍事應用中開發、部署、使用和維護DNN模型時,有許多挑戰需要考慮和解決。

從軍事用戶(操作員、數據分析師等)的角度來看,最重要的挑戰也許是可解釋性。根據經驗,當人的生命受到嚴重影響時,對可解釋性的需求更大。在軍事領域是這樣,在醫學、執法和其他民事服務領域也是如此。可解釋性很重要,因為它影響著用戶對係統的信任和依賴。信任關係必須是平衡的;過多的信任可能導致對係統的誤用,而過少的信任則可能導致對係統的完全廢棄[13]。最終,解釋的目的是幫助用戶建立一個適當的係統心智模型,以確保它能被有效使用[14]。

深度學習有可能改善複雜軍事係統的自主性,如戰鬥機、潛艇、無人機和衛星監視係統。然而,它也會使這些係統變得更加複雜和難以解釋。主要原因是,DL是一種端到端的機器學習技術,意味著機器學習從輸入數據中提取最重要的特征,以實現高性能。這被稱為表征學習,它與傳統技術不同,傳統技術是用人類的直覺來手動提取這種特征。表征學習往往能帶來高性能,但它也要求模型具有高度的表現力和非線性。因此,使用DL訓練的DNN可能由數百萬甚至數十億的參數組成。這使得它們很難向人類解釋和說明,即使學習算法、模型結構、訓練數據等都是已知的和很好理解的。

美國國防部高級研究計劃局(DARPA)於2016年啟動的可解釋人工智能(XAI)計劃也許是為解決這一挑戰而采取的最全麵的軍事舉措。該計劃的目的是:

  • "產生更多可解釋的模型,同時保持高水平的學習性能(預測精度)。"

  • "使人類用戶能夠理解、適當地信任並有效地管理新一代的人工智能夥伴"。

自XAI計劃開始以來,已經取得了許多技術上的進步。一些XAI技術甚至已經實現並打包在軟件庫中,可用於深入了解、調試和驗證DNN[16, 17, 18]。這是朝正確方向邁出的一步,但從軍事角度來看,關鍵是XAI技術和工具也要為軍事用戶量身定做,因為在這些地方需要高級解釋,以確保信任、使用和性能。

1.1 目的和範圍

本報告的目的是介紹在DL背景下開發的代表性XAI技術。本報告並非詳盡無遺,它並不涵蓋文獻中提出的所有XAI技術。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI、ML和DL技術以用於係統或嵌入係統的軍事人員。

1.3 概要

第2章介紹了智能Agent、機器學習和深度學習的概念。第3章介紹了文獻中提出的各種XAI技術。第4章介紹了可用於評估XAI技術所提供的解釋的方法和技術。第5章介紹了一個案例研究,其中XAI被用來解釋一個深度學習模型的行為。最後,第6章對報告進行了總結,並對未來的工作提出了建議。

2 智能Agent、機器學習和深度學習

本章介紹了一些概念、方法、術語和技術,是本報告的其餘部分的基礎。已經對智能Agent、機器學習和深度學習有基本了解的讀者可以跳過本章。

2.1 智能Agent

人工智能是一個廣泛的術語,可以有很多定義。在本報告中,人工智能是指對智能Agent(IA)的研究和設計。一個IA是一個能夠在環境中感知、推理和行動的自主實體。通常情況下,IA與環境中的其他Agent(即多Agent係統)以及人類(如人機合作)進行互動。

當在物理世界中實施時,IAs可以代表從簡單的恒溫器到複雜的自動駕駛車輛、自主機器人、無人機等任何東西。在虛擬環境中,人工智能通常由能夠翻譯、轉錄等的機器人或虛擬助理來代表。在軍事模擬中,IAs通常被稱為非玩家角色(NPCs)或計算機生成部隊(CGFs)。

圖2.1說明了IA的主要組成部分。這些組件通常使用傳統編程和人工智能技術的組合來實現,如專家係統、狀態機、行為樹和機器學習。本報告重點討論完全或部分使用DNN實現的IA的XAI。

圖2.1 - 智能Agent(IA)是一個能夠在環境中感知、推理和行動的自主實體。環境可以是物理的(即現實世界)或虛擬的(如互聯網、虛擬仿真、嚴格遊戲)。IA通常與其他Agent、人類互動,分別形成多Agent係統和人機團隊。

2.2 機器學習

ML是人工智能的一個子領域,重點是開發能夠從觀察和經驗中學習的智能係統或IA。在本節中,將介紹ML中使用的主要學習策略。

2.2.1 監督式學習

在監督學習中,IA從已被標記或標注的訓練樣本中學習。學習的目的是使與這些樣本的偏差最小化,同時保持對未見過的輸入的概括能力。實際上,IA將模仿訓練數據中的行為。圖2.2說明了監督學習過程。

在監督學習中,標記過程通常是由人類手動完成的,這就是為什麼這種方法在許多應用中可能是昂貴和不實用的。監督學習的主要優點是,一旦數據集建立起來,學習過程是穩定的,而且相對容易監控。

監督學習的主要應用是分類和回歸,其中,離散類標簽和連續值分別代表模型的輸出。分類器可用於檢測代理人視野中感興趣的物體,或識別某一特定情況是否危險。回歸通常用於對Agent的執行器(機器人肢體、方向盤位置等)進行低層次的連續控製。

圖2.2 - 監督式學習。IA從已被標記或標注的樣本中學習。學習過程的目標是創建一個模型,使其與所提供的訓練樣本的偏差最小。淺灰色的方框代表訓練樣本(即輸入和它們的標簽)。

2.2.2 強化學習

在強化學習中,IA通過在一個通常是模擬的環境中執行動作來學習。學習的目的是IA在模擬器中執行動作時使其獎勵最大化。獎勵通常由遊戲的結果來表示,因此用於獲勝或失敗的行動分別由學習算法進行正向和負向強化。學習過程如圖2.3所示。

強化學習的一個主要優點是,不再需要手動標注訓練數據。相反,在某種意義上,獎勵函數被用來自動標記數據。然而,為現實世界的問題設計一個獎勵函數是一項非艱巨的任務。它要求隨著時間的推移,適當的獎勵可以被分配給IA的行動[19]。一個設計不良的獎勵函數可能會導致不理想的和意外的行為。

強化學習被用於IA需要學習最佳行動選擇策略的應用中。當應用於實時戰略遊戲時,IA可以比大多數人類專家更好地學習選擇行動[6, 7]。因此,我們有理由相信,強化學習最終也能為軍事目的產生替代的甚至是新的戰術和戰略。

圖2.3 - 使用強化學習,IA通過在模擬環境中采取行動來學習。學習過程的目標是使環境提供的獎勵信號最大化。淺灰色的方框代表輸入,在這種情況下是一個模擬器和一個獎勵函數,是這個學習策略所需要的。

2.2.3 無監督學習

在無監督學習中,IA學習識別無標簽數據中的模式和結構,如圖2.4所示。請注意,盡管被稱為無監督學習,但總是由一個預先定義的指標指導。例如,k-means聚類算法使用歐氏距離對數據進行聚類。同樣,自動編碼器(AE)需要存在一個損失或誤差度量函數。

無監督學習的最常見應用包括聚類、可視化、降維和異常檢測。無監督學習在DL中的一個較新的應用是元學習,其中IA被訓練的目標是成為更快的學習者(即學習如何去學習)。

圖2.4 - 在無監督學習中,IA學習在未標記的數據中識別模式和集群。無監督學習由預先定義的指標(例如k-means聚類中的歐幾裏得距離)指導,從數據中學習。

2.3 深度學習

深度學習是一種機器學習方法,可用於上述所有的學習策略(即監督式學習、強化式學習和無監督式學習)。

2.3.1 深度神經網絡

在DL中,用於捕捉和學習經驗的模型由DNN來表示。DNN本質上是一個數學表達式,由大量的嵌套和可微分的子函數組成。第 2.3.3 節解釋了 DNN 必須是可微分的原因。

DNN 通常使用圖形進行可視化,其中各層節點用邊相互連接,如圖 2.5 所示。在這種表示方法中,每條邊代表一個可訓練的參數或權重,每個節點代表一個神經元(即一個可區分的子函數),使用權重將輸入轉化為輸出。圖2.6說明了一個神經元所進行的操作。該神經元首先計算其輸入和權重的乘積之和。然後這個值被神經元的非線性激活函數處理,產生一個輸出。然後,該輸出被用作下一層神經元的輸入。

在現實世界的應用中,權重(圖2.5中的邊)的數量通常會增長到數百萬甚至數十億。還要注意的是,除了圖2.5中說明的全連接神經網絡(FCNN),還有不同類型的DNN。卷積神經網絡(CNN)用於數據中存在空間關係的情況,這在圖像中是典型的情況。同樣地,當數據中存在已知的時間關係時(如文本和音頻),經常使用遞歸神經網絡(RNN)。在現實世界的應用中,模型的設計通常是使用精心挑選的CNN、RNN和FCNN的混合。本節的其餘部分主要討論FCNN。然而,推理和訓練的原則也同樣適用於CNN和RNNs。

在本報告中,用來表示DNN的數學符號是fθ,其中θ代表DNN的可訓練權重或參數。

圖 2.5 - 一個具有四個輸入、兩個隱藏層和一個輸出的全連接 DNN 的可視化。在這個表示中,每條邊代表一個可訓練的參數或權重,每個節點代表一個神經元(即一個可微分的子函數),使用權重將輸入轉化為輸出。每個神經元計算其輸入和權重的乘積之和。然後,該值由神經元的非線性激活函數處理,產生一個輸出。

圖2.6 - DNN中的神經元的可視化。首先,使用輸入x和權重ω的乘積之和被計算。然後,這個值被送入神經元的非線性激活函數g,以產生一個輸出,可以被送入下一層的神經元。代表一個神經元的數學表達式是。請注意,偏差b,也是一個可訓練的參數,與權重不同,它不與輸入相連。

2.3.2 推斷

推理是一個過程,在這個過程中,輸入被已經訓練好的 DNN 處理,產生一個輸出。在DNN中,處理是通過網絡的各層向前傳遞進行的。計算圖也許是描述推理的最直觀的方式。在計算圖中,DNN被模塊化為原始的子函數,代表網絡中嵌入的操作。作為一個例子,圖2.7中的計算圖表示有一個輸入的神經元。使用這種表示方法,很容易看到輸入是如何在圖中向前移動(從左到右)時被轉化的。

計算圖可以被擴展到具有任意數量的輸入、神經元和輸出的DNN模型。在實踐中,使用代表聚合層的計算圖來設計DNN是很常見的。然後,不同的層可以相互連接,形成最終的 DNN。

圖2.7--計算圖表示一個神經元的操作,fθ(x)=g(x×ω+b),有一個輸入x和預訓練的參數θ={ω,b}。計算圖可以擴展到包括任意的輸入和輸出。在現實世界的應用中,DNN由代表神經元聚集層的計算圖組成。

2.3.3 訓練

訓練是DNN,fθ,及其可訓練參數或權重θ,被更新的過程。訓練是一個迭代過程,目的是調整θ,使損失函數L(fθ)達到最小。在實踐中,方程2.1中的梯度下降(GD)優化方法或其變體被用來執行更新。

在GD方法中,α代表一個超參數(即一個用於控製學習過程的用戶定義參數),稱為學習率。學習率α,控製著學習過程的速度。重要的是,α被適當地初始化,以確保可訓練的參數能夠收斂到一個最佳的解決方案。一般來說,如果α太大,訓練過程就會變得不穩定,可訓練參數就不會收斂。此外,如果α太小,訓練將是穩定的,盡管它將花費太多的時間來收斂。由於這個原因,使用能在學習過程中動態地改變學習速率的調度器已經成為常見的做法。

方程2.1中的項表示可訓練參數的梯度。梯度決定了更新可訓練參數θ的方向,從而使損失函數增加。請注意,更新的方向與梯度的方向相反,以便使損失最小化。

為了找到這些梯度,我們使用了反向傳播算法。給定一個訓練實例(x, yˆ),反向傳播算法首先執行一個前向傳遞來計算損失。給定損失後,再進行後向傳遞,使用鏈式規則公式計算梯度。同樣,解釋反向傳播的最直觀的方法是使用計算圖,其中DNN由子函數的集合表示。要進行反向傳播,所需要的就是找到這些子函數的導數。讓我們用一個簡單的例子來說明反向傳播,其中DNN由線性函數fθ(x)=ωx+b表示,隻有兩個可訓練參數θ={ω,b}。在這種情況下,損失函數可以定義為fθ(x)和期望輸出yˆ的平方誤差:

因此,損失衡量了DNN的預測是否接近已知的輸出值,即y。當損失較小時,預測是好的。同樣地,當損失大時,預測就很差。

圖2.8顯示了代表方程2.2中損失函數的計算圖。除了前向傳遞,這個計算圖還包括一個後向傳遞,利用鏈式規則將損失(或誤差)傳播到可訓練參數θ={ω,b}。請注意,訓練中隻需要損失相對於可訓練參數的導數(即)。逆向傳播從設置開始。從這裏很容易看出鏈式規則是如何將誤差向後傳播的(從右到左),從而找到。關於本節所述的訓練過程的演示,見附錄A。

即使訓練過程很簡單,可以用計算圖來解釋,也很難理解和解釋模型的行為。下一章將介紹為這些目的而開發的XAI技術。

圖2.8 - 表示平方誤差損失函數的計算圖,。在這個例子中,fθ(x) = ωx + b和θ = {ω, b}分別代表模型和它的可訓練參數,x和yˆ代表輸入和它的期望輸出(即訓練數據)。

3 可解釋人工智能的技術

可解釋人工智能(XAI)研究的重點是確保人工智能係統的推理和決策能夠被解釋給人類用戶。盡管由於DL的進步,XAI最近受到了很多關注,但XAI的研究領域並不新鮮。它至少在20世紀80年代就已經存在了[20]。對於XAI研究及其曆史的全麵回顧,讀者可以參考[21]。

可解釋人工智能是任何用於影響人類生命高風險決策的軍事人工智能係統的關鍵組成部分。戰術層麵上的人工智能應用的例子,重點是短期決策,包括無人駕駛車輛的自主控製以及武器和監視係統的目標識別、跟蹤和交戰。此外,XAI在戰爭的戰役和戰略層麵同樣重要,甚至可能更重要,因為長期決策和規劃活動可能影響整個團體。在這個層麵上,人工智能係統通常用於信息分析,但也可以通過模擬來提出規劃或行動方案(COA)。XAI在軍事應用中的主要目的是:

  • 心智建模[14, 22]。XAI可用於支持用戶為其操作的人工智能係統建立適當的心智模型。在任何軍事係統中,無論是否啟用了人工智能,用戶都必須清楚地了解係統的運行邊界,以確保適當和有效的使用。

  • 洞察力[23,24]。事實表明,DNN可以用來捕捉知識,並在對複雜過程的觀察中找出人類未知的模式。使用XAI技術,人類有可能解開這些知識並從中學習。使用強化學習的戰術和戰略發展是一個典型的應用,XAI有可能在軍事領域產生更深入的洞察力。

  • 法律和法規[25, 26, 27]。XAI有可能被用來確保AI係統遵循國家和國際法律。也許人工智能最具有爭議性的應用是致命的自主武器係統(LAWS)[26]。一些人希望完全禁止這種係統,而另一些人則認為應該允許使用致命性武器係統,因為它們有可能提高精確度並將附帶損害降到最低[27]。盡管如此,作者認為XAI可以在製定政策的過程中發揮重要作用,以規範何時、何地以及是否可以使用LAWS等AI係統。

  • 排除故障[23, 28]。在文獻中,有許多XAI被用來識別DNN中的錯誤的案例。當圖像中的版權水印或模擬器和遊戲中的未知作弊器等現實世界數據中不存在的人工製品出現在訓練數據中時,通常會出現BUG。第2.3.3節中介紹的訓練過程可以學會利用,或走捷徑,利用這種人工製品。其結果是,當呈現測試數據時,DNN工作得很好,但當呈現真實世界的數據時卻失敗了。如果將XAI技術作為開發過程的一個組成部分,這種問題可以在部署前被發現和解決。

本章介紹了在DL背景下專門開發的幾種XAI技術。DL的XAI是一個重大挑戰,因為DNN可能由數百萬甚至數十億的參數組成,使得它們不透明,難以被人類解釋。請注意,據我們所知,擬議的技術還沒有在軍事背景下進行科學評估。因此,在這種情況下,這些技術能在多大程度上提供有用的解釋還不得而知。第四章介紹了如何進行這種評估。

3.1 全局解釋技術

全局解釋技術提供了對 DNN 及其整體行為的洞察力。在本節中,我們主要關注可用於分析和可視化高維訓練數據集的技術,但也關注如何獲取和解釋用於模型評估的性能測量。

3.1.1 大型高維數據集的可視化技術

在DL中,訓練數據集通常由大量的高維樣本組成。為了直觀地檢查這些數據集,它們必須被降低到人類可以觀察到的維度(即一維、二維或三維空間)。在可視化中總結大型數據集可以提供關於DNN所要學習的任務複雜性的有用見解。它也可以用來識別數據集中可能對DNN的性能產生負麵影響的假象[23]。下麵是三種無監督的技術,可用於降低維度以達到可視化的目的。

  • 主成分分析(PCA)[29]。這項技術確定了數據集的主成分。數據被投射到被認為是最重要的成分或向量上。PCA的主要缺點是它是一種線性技術,因此,它可能無法識別非線性數據的模式。PCA的主要優點是該技術很好理解(即它可以被解釋),而且與其他技術相比,它的計算效率高。

  • 可變自動編碼器(VAE)[30]。這是一種DL技術,使用DNNs來降低維度。VAE由兩個DNN組成:編碼器和解碼器。編碼器的目的是將高維的輸入數據壓縮成一個潛在的空間向量(在這種情況下是一維、二維或三維)。解碼器的目的是盡可能準確地使用低維潛空間表示重建高維數據。如第2.3.3節介紹的那樣,使用損失函數對DNN進行訓練,使原始輸入和其重建的誤差最小。一旦訓練完成,隻需要編碼器來降低維度。這種技術的主要優點是它能夠學習數據中的非線性因素。缺點是VAE是用不透明的DNN構建的,不容易向人解釋。

  • t-分布式隨機近鄰嵌入(t-SNE)[31]。這項技術是專門為可視化目的開發的。與VAE類似,t-SNE使用GD程序來學習如何最佳地降低數據的維度。在這種情況下,目標函數的目標是保持鄰域距離。t-SNE的優點是,它通常會產生更好的可視化效果。缺點是它的計算很複雜。

為了證明上述技術,將使用MNIST數據集[32]。這個數據集包含灰度圖像,包括代表70000個手寫數字的標簽。每個圖像由28×28像素組成,因此,數據的維度為784。圖3.1說明了從數據集中隨機抽取的15個樣本。

圖3.2中的可視化圖(散點圖)是使用從MNIST數據集中隨機抽取的10000張圖像的子集創建的。在這種情況下,使用PCA(圖3.2a)、VAE(圖3.2b)和t-SNE(圖3.2c和圖3.2d)將維數從784降低到2。這些圖是用所有10000個數據點渲染的,每個數據點的標簽都用顏色編碼,這樣人類就可以直觀地檢查出聚類趨勢。在圖3.2d中,數據集首先使用PCA進行預處理,在使用t-SNE之前將維度從784降低到50。這是使用t-SNE時的標準做法,以確保計算效率。圖3.2中的可視化圖提供了對數據集複雜性的洞察力。如果集群可以被直觀地識別,那麼DNN也很可能能夠有效地從數據中學習。同樣地,如果集群不能被識別,那麼DNN也將更難從數據中學習。在這種情況下,PCA技術無法分離聚類。因此,不能指望線性分類器能有好的表現。

圖3.1 - 從MNIST數據集中隨機抽取的樣本。樣本的標簽在圖的說明中提供。

圖3.2 - 使用主成分分析(PCA)、可變自動編碼器(VAE)和t分布式隨機近鄰嵌入(t-SNE)在二維散點圖中對高維數據進行可視化。在這種情況下,維度從784(代表28×28像素的圖像)減少到2。這些圖是用10000個數據點呈現的,每個數據點用其標簽(0到9)進行顏色編碼,以便人類可以直觀地檢查聚類情況。在圖3.2d中,在使用t-SNE之前,數據集使用PCA進行了預處理,將維度從784降低到50。這是使用t-SNE時的標準做法,以確保計算效率。可視化提供了對數據集複雜性的洞察力。如果集群可以被直觀地識別,那麼DNN也很可能能夠有效地從數據中學習。同樣地,如果集群不能被識別,那麼DNN也將更難從數據中學習。

3.1.2 模型評估

在訓練機器學習模型時,模型開發者會不斷測量模型在它之前未見過的輸入數據上的表現,以確認模型是否在向有用的行為發展。當開發者對模型的表現感到滿意時,就會停止訓練過程,並使用未見過的測試數據進行最終評估。這個最終的測試衡量了模型在現實世界中應用時的預期性能,在那裏它通常會遇到訓練時沒有看到的輸入。測試數據集能在多大程度上被用來測量實際性能,取決於測試集與現實世界數據的對應程度。雖然在模型訓練和調整過程中對性能的持續測量主要是對模型開發者有意義,但從XAI的角度來看,最終的性能測量對用戶也是有價值的。

(1)對分類器的評估

在從圖像中對軍用車輛進行分類的例子中,每一類車輛都有數千張圖像,相當一部分圖像將被用於訓練,另外一組圖像將被分開,用於在訓練期間對模型進行微調和測試,還有一組圖像將被保留用於最終的性能測量。由於分類器在訓練過程中沒有看到測試集中的圖像,因此測量它在這些圖像上的表現可以了解模型在新數據上的表現如何。

在一個分類任務中,最直接的性能測量是計算正確分類的比例。這個衡量標準被稱為準確性:

也就是說,如果車輛分類模型在100張圖片上進行測試,85張圖片被正確分類,則該模型在測試數據上的準確率為85%。如果不同類別的實例出現的頻率相同,也就是說,數據是平衡的,那麼準確率就會很高。

在水雷分類的例子中,任務是分析類似雷的聲納圖像,並將該物體分類為雷或其他東西(通常是岩石)。在這種情況下,可能相對缺乏可供訓練的雷圖像,因為關於岩石的數據很容易收集,而關於雷的數據,特別是由敵對勢力部署的雷,則不容易收集。

雷檢測案例是一個不平衡問題的例子,如果測試數據集要反映真實世界的發生情況,那麼它將包含比雷圖片更多的岩石圖片。作為一個例子,假設測試數據集中千分之一的例子是雷(其餘都是岩石)。一個總是返回負麵分類(不是雷)的分類器將在測試集上達到99.9%的準確率,因為999個分類中實際上是正確的。然而,它在尋找雷方麵是無用的,因為在提交給它的實際雷中,它沒有檢測到任何雷。它的召回率為0%。

通過使分類器更容易對可疑物體返回正麵分類(雷),可以提高召回率。在極端的情況下,一個總是返回正麵分類的分類器可以達到100%的召回率,因為它可以捕捉到所有的雷和所有的岩石。然而,同樣,它也是無用的,因為每一千次正麵預測中,隻有一次是正確的。它的精確度將是0.1%。

顯然,一個好的探雷器,或任何分類器,都需要有合理的高精確度和高召回率的數值。也就是說,必須有可能相信正麵的分類結果,足以投入更多的資源(如部署潛水員)。也必須有可能足夠信任負麵輸出,以期望它能找到相當比例的實際存在的雷。然而,在現實中,這兩者之間總是有一個權衡,正確的平衡取決於特定的操作要求。例如,如果不遺漏雷是很重要的,那麼分類器將被調整為高召回率。然而,要付出的代價是較低的精度,導致更多的時間被用於調查岩石。

通過在測試數據集上運行分類器,計算有多少雷被正確分類(真陽性或TP),有多少岩石被正確分類(真陰性或TN),有多少岩石被誤認為是雷(假陽性或FP),有多少雷被誤認為是岩石(假陰性或FN),可以計算出準確率、精確度和召回率。這就產生了一個混淆矩陣,如表3.1所示。

表3.1--混淆矩陣的結構,將正確的正麵分類(TP)、正確的負麵分類(TN)、錯誤的正麵分類(FP)和錯誤的負麵分類(FN)的數量列表。

混淆矩陣是代表模型性能的一種緊湊但豐富的方式,從中可以推導出許多不同的度量。與同一行的其他數值相比,一個高精確度的模型具有較高的TP值(FP),或者更正式地說:

與同列的其他數值相比,一個高召回率的模型具有較高的TP值(FN),或者更正式地說:

與非對角線位置相比,一個高精確度的模型在所有對角線位置都有很高的數值,或者更正式地說:

矩陣中數值的其他組合產生了其他指標,每個指標都揭示了模型性能的某些方麵。一般來說,一個具有不平衡數據的案例(這往往是現實中的常態)將需要更多的指標來衡量模型的性能。然而,對於麵臨問題,正確的指標集可以提供一個簡明的圖片,說明模型在實際環境的表現是怎樣的。由於所有的指標都是從混淆矩陣中計算出來的,一個訓練較好的分類器很快就能從中提取這些信息。

(2)多類分類器的評估

如果一個車輛分類器要區分坦克、摩托車和運輸車輛,就存在一個多指標或多類分類問題。在這種情況下,混淆矩陣的行和列的數量將與類別的數量相同。圖3.3是一個多類混淆矩陣的例子,任務是將手寫數字的圖像從0到9分類,也就是10個類別。

從混淆矩陣中計算出的度量可以概括為:通過比較對角線和其餘部分給出準確度,而通過比較每個特定類別的對角線值與其行的總和(準確度)或其列的總和(召回率)給出準確度和召回率。因此,通過對矩陣進行顏色編碼,就像在數字分類的例子中那樣,僅僅通過檢查就可以收集到很多信息。例如,從這個例子中可以看出,總體準確率非常高(將對角線與其他部分進行比較),但在不同的數字類別中,表現卻有些不同。數字5有時會被誤歸為3或6或其他,反之,5有時會被誤認為3。然而,數字1幾乎不會與其他東西混淆。

圖3.3 - 混淆矩陣說明了使用MNIST數據集識別手寫數字而訓練的DNN的性能。混淆矩陣可以用來深入了解該模型最可能與其他數字混淆的數字。

(3)回歸模型的評估

在回歸任務中,不可能計算正確的分類。相反,有必要將模型產生的連續值與測試集中的正確值進行比較。

作為一個例子,假設一個自主地麵車輛(AGV)的避障模型正在被訓練。AGV必須根據安裝的傳感器的輸入產生一個轉向信號。轉向信號表示為-1和1之間的數字,其中-1表示左急轉,1表示右急轉,0表示不轉,而兩者之間的所有數字都是相應方向上的轉彎等級。AGV已經根據人類操作員記錄的數據進行了訓練。它的測試方法是將它對給定的傳感器刺激產生的轉向信號,與記錄的數據進行比較。例如,記錄可能表明,檢測到遠處左側的障礙物應該產生有限的右轉信號(例如0.2),而檢測到近處左側的障礙物應該產生一個急劇的右轉(接近1)。一個在後一種情況下產生急劇左轉信號(-1)的模型,應該被判定為比另一個產生輕微右轉信號(如0.2)的模型B表現更差。將模型的預測值與期望值相比較,顯然,模型A與該值的距離是2,而模型B的距離是0.8。因此,模型B更接近於正確的行為。如果對測試數據集中所有實例的這種誤差進行測量和彙總,例如計算平均誤差,就可以得到模型性能的總體衡量。

回歸的評估技術主要在如何進行彙總方麵有所不同。平均絕對誤差(MAE)取的是誤差絕對值的平均值。該指標衡量模型預測與期望值的偏差程度。均方根誤差取的是誤差平均平方根。它對應於誤差的標準偏差,與MAE不同的是,它對大偏差的懲罰更大。R平方(R2)將平均平方誤差與信號本身的方差進行比較。因此,它首先對變化很大的信號容忍較大的誤差。

3.2 局部解釋技術

與全局解釋技術相比,局部解釋是用來解釋對感興趣的特定輸入的預測的。這些輸入可以是真實世界的例子,也可以是訓練或測試數據集中的例子。DNN的輸入基本上是由一串數值構成的,代表了一些現實世界的過程,如圖像中的像素、文本中的字母、科學數據等等。因此,一個有300個像素的灰度圖像在300個維度上表示它的數據,每個維度講述故事的一部分(所有維度一起提供整體)。

本節重點討論局部解釋技術,其中顯著性地圖被用於解釋。顯著性地圖通過對每個輸入維度的相關性或顯著性打分,來解釋一個模型的輸出。也就是說,它顯示了每個維度在產生與該例子相對應的特定輸出方麵的重要性。對於一幅圖像來說,這些顯著性分數可以轉化為熱圖,疊加在圖像上,以表明模型在產生其決定時注意到哪些像素。圖3.4提供了一個在模擬自動駕駛汽車的背景下生成的顯著性地圖的例子。

這裏介紹的前兩種技術是白盒技術。這些技術依靠訪問DNN的內部表示(子函數、梯度等)來產生解釋。其他技術是黑盒技術,可以通過查詢模型(通常是多次)和選定的輸入來產生解釋。因此,黑盒技術往往需要更多的計算資源來產生其解釋。

圖3.4 - 突出顯示了DNN用來控製模擬自駕車的最重要的輸入像素的Saliency圖。在這種情況下,代表道路右側的像素似乎是最重要的。

3.2.1 梯度顯著性

梯度顯著性(也叫敏感性分析)是最早的局部解釋技術之一,它被用來解釋神經網絡的行為已經有很長時間了[33, 34]。梯度顯著性的想法是通過計算輸入值的變化會在多大程度上改變模型的輸出值來產生解釋。輸入值的變化會對模型輸出值產生最大影響的輸入被認為比其他輸入對模型輸出值更重要。在數學術語中,這被稱為模型輸出對給定輸入(如圖像)的導數。由於DNN訓練使用導數,許多深度學習軟件庫可以直接計算梯度顯著性。

圖2.8中用來解釋DNN訓練過程的計算圖也可以用來理解梯度顯著性的工作原理。梯度顯著性技術不是計算相對於可訓練參數的導數,也就是訓練過程中所做的,而是計算相對於輸入的導數(即)。

梯度顯著性的問題是,它不能區分影響模型輸出的信號和DNN被訓練為過濾掉的幹擾物[35]。使用梯度顯著性技術產生的解釋往往是嘈雜的,也會隱藏模型實際使用的特征。解釋哪些特征使輸入的物體類型更多或更少,並不像解釋哪些特征使其成為現實中的物體類型那樣具有信息量[34]。

3.2.2 分層相關性傳播

分層相關性傳播(LRP)發表於2015年,是第一批使用理論框架來指導局部解釋啟發式方法發展的技術之一[36, 34, 37]。該理論框架的主要好處是,它提供了一種方法,可以找到適合於DNN中各層的多種類型的局部解釋啟發式,以及其他類型機器學習模型的局部解釋啟發式。

LRP首先假設為低層對每個輸出值的貢獻分配相關性,應該考慮哪些激活對輸出值是必要的。從輸入中去除這些相關的激活,最好能取消該輸出值。例如,去除被歸類為汽車的圖像中的所有汽車特征,應該意味著該模型的汽車輸出值為零。在數學術語中,這被稱為模型函數的根,而LRP的想法是使用適合搜索這個根的局部解釋啟發式方法。

雖然沒有已知的技術來優化搜索模型函數的根,但有一些對搜索的限製已被證明是足夠的。例如,根的激活應該在輸出值的激活附近,相關的激活應該在可能的輸入空間內,而且隻有輸出值的可用相關性應該被用來給激活分配相關性。事實證明,這些約束條件足以找到將相關性從模型輸出傳播回輸入的局部解釋啟發式方法。

LRP假設模型函數可以用數學技術泰勒擴展來近似。泰勒擴展將模型函數分解為簡單的加法項,可以直接映射到神經網絡組件。加法項意味著模型函數可以被分解為作為模型輸出基礎的每個激活的相關性分數。

LRP是一個局部解釋啟發法係列,使用這些技術進行相關性傳播[37]。這些啟發法專門適用於不同類型的神經網絡層和層級。一些啟發式方法還可以將輸出相關性傳播為有助於模型輸出的正向激活和有損於模型輸出的負向激活。這可能有助於識別缺失的特征,使模型輸出的可能性更大。

3.2.3 沙普利加和解釋

沙普利加和解釋(SHAP)發表於2017年[38],改進以前的一些方法,指出它們之間的數學共性,然後證明它們都可以通過使用一個特定的數學公式進行改進。

該公式由諾貝爾獎得主勞埃德-沙普利於1953年[39]在經濟學的一個分支--博弈論領域提出。它計算出所謂的沙普利值,用於在參與方之間分配一些聯合遊戲的收益。該公式旨在根據一組合理性條件公平地分配收益,因此所有的收益都應該被分配;貢獻大的行為者應該獲得更多的收益;沒有貢獻的行為者應該一無所獲;而且應該有可能將不同遊戲的收益相加。事實上,沙普利表明,他的公式是唯一可能滿足所有條件的公式。

就解釋而言,第一步是觀察機器學習模型的輸入維度可以被視為參與模型產生輸出預測的遊戲的行為者。輸出值可以看作是遊戲的總收益,也就是要在玩家之間進行分配。進行公平分配就是在輸入維度之間按其貢獻比例分配輸出值。換句話說,這樣應用沙普利值,就會產生一個突出性掩碼。這個觀察在SHAP方法之前就已經提出了,例如在[40]和[41]。

最初的SHAP工作的貢獻是觀察到一些早期的方法所產生的解釋都可以統一在一個共同的線性形式下,稱為加和特征歸屬,也就是說,它們都有一個共同的屬性,即它們產生的突出度值加起來就是要解釋的模型的輸出值。然後,[38]的作者設定了與上述條件相對應的穩定性條件,並證明沙普利公式是特征歸屬方法滿足所有條件的唯一途徑。由於之前的所有方法都在某種程度上偏離了沙普利公式(通常是通過應用一些沒有太多理論基礎的啟發式方法),作者認為可以通過調整這些方法使其符合該公式來改進。因此,SHAP實際上是一個基於這些調整的方法係列。例如,調整LIME(見第3.2.4節)以符合沙普利公式,可以得到KernelSHAP,即SHAP的一個模型無關的版本。基於特定模型解釋方法的SHAP版本繼承了相同的模型特定性約束。

3.2.4 局部可解釋模型診斷性解釋

局部可解釋模型-診斷性解釋(LIME)在2016年發表時引起了極大的關注[42],因為它是首批可以作為黑盒應用於任何模型的解釋方法之一。LIME通過對樣本進行擾動並觀察所發生的情況來解釋模型對輸入樣本的預測。

任何機器學習模型都將其輸入和輸出之間的關係表示為某種數學函數,由神經網絡的權重和結構或其他參數來定義。這個函數反過來旨在捕捉一些現實世界的關係,例如,一串聲音和一串單詞之間的關係。一個典型的現代機器學習係統所模擬的功能是複雜的,這就是為什麼簡單地檢查神經網絡的權重並不能做很多解釋。LIME不考慮函數的整體性,而是試圖描述函數在要解釋的例子附近的作用。通過以不同的方式擾動輸入,它能夠創建一個線性的,因此更簡單的模型,該模型在與所提供的樣本相似的情況下表現得接近於複雜的模型。這個線性模型的係數構成了對輸入的哪些維度對模型的輸出影響最大的直接測量,或者換句話說,這些係數是LIME版本的顯著性掩碼。由於LIME對模型所要做的就是給它提供不同的輸入擾動並觀察它的輸出,所以對模型的內部工作沒有任何了解。

3.2.5 用於解釋黑盒模型的隨機輸入采樣

用於解釋黑盒模型的隨機輸入采樣(RISE)是一種模型無關的局部解釋技術,於2018年發表[43]。與LIME類似,RISE通過擾動輸入並觀察模型的反應來生成解釋。因此,對於解釋的生成,不需要了解模型的內部工作。

RISE通過隨機生成掩碼來擾亂圖像,掩碼使圖像像素變暗。掩碼是通過將圖像劃分為較大的區域,並隨機選擇哪些區域包括在擾動的圖像中來生成的。模型對擾動圖像的輸出值描述了掩碼覆蓋圖像區域的程度,這些區域對該模型類別的分類很重要。與覆蓋較少重要圖像區域的掩碼相比,覆蓋許多對分類很重要的圖像區域的掩碼會導致更高的模型輸出值。通過隨機生成許多掩碼,RISE計算出每個圖像區域的平均重要性。圖像區域的重要性解釋了模型的分類。

RISE的一個好處是,它使用大小均勻的圖像區域來生成解釋。因此,這些解釋涵蓋了與圖像中的物體相同的圖像區域。另一方麵,LIME使用超級像素(類似像素值的連續區域),這可能無法捕捉到正確的圖像區域。

3.3 混合解釋技術

混合解釋技術通過結合全局和局部XAI技術提供洞察力。混合解釋技術不是隻在個案的基礎上使用局部XAI技術,而是在大量的案例上自動應用局部XAI技術,通常是整個數據集。然後,混合解釋技術會比較所有的本地XAI結果,以確定模型表現不符合預期的情況。這種異常情況可以為進一步的模型開發提供信息,或者指出使用模型時需要考慮的性能限製。

3.3.1 譜係相關性分析

譜係相關性分析(SpRAy)技術是在[23]中介紹的。SpRAy是一種半自動化的技術,它使用整個數據集的分析方法來尋找模型性能不符合預期的情況。例如,在圖像分類中,一個一般類型的物體,如狗或汽車,可能會出現在許多形式和背景中,但類似的物體形式和背景應該有類似的局部XAI結果。如果某些情況下的本地XAI結果與預期的不一樣,這可能表明模型行為異常。依賴於現實世界中可能不存在的虛假和人為的相關性的決策策略,也被稱為 "聰明的漢斯"行為。SpRAy包括五個步驟來尋找異常的模型行為:

  • 用LRP計算相關性圖(見3.2.2節)。

  • 對所有的相關性圖進行預處理,使其具有統一的形狀和大小。

  • 對相關性圖進行譜聚類。譜聚類是一種成熟的技術,它將相似性矩陣(衡量案例之間的相似性)轉化為增強相似性矩陣的聚類特性的表示方法[44]。然後可以在新的表示法中檢測到集群。相關性地圖之間的相似性是由成對的相關性圖之間的歐氏距離計算出來的最近的鄰居。兩個相關性圖之間的歐氏距離是由每個像素的每個顏色通道的強度差異計算出來的。

  • 識別有趣的聚類。譜聚類計算出表明不相交或弱聯係的集群的措施(特征值)。特征值的巨大差距表明集群是不同的。

  • 一個可選的步驟是使用例如t-SNE(見第3.1.1節)對聚類進行可視化。

在[23]中,SpRAy被用來證明上一代機器學習技術--支持向量機(SVM)在圖像分類中學習了虛假的相關關係。例如,SpRAy顯示,該分類器使用了四種不同的策略對馬匹的圖像進行分類,檢測馬匹和騎手,在橫向或縱向的圖像中檢測源標簽,以及檢測障礙物和其他環境元素。因此,在沒有源標簽和背景元素的實際應用中,這個分類器是不可靠的。將源標簽添加到其他物體的圖像上,如汽車,他們可以將分類改為馬。

4 評估可解釋人工智能技術

XAI的一個經常被忽視但很重要的方麵是評估擬議的XAI技術的能力。第 4.1節從人類因素的角度介紹了評價標準,其中用戶(如操作員或分析師)是衡量XAI加入人工智能係統後的效果的核心。此外,第4.2節介紹了可用於比較本地XAI技術的測試,如第3.2章中介紹的使用啟發式的技術。

4.1 人為因素評價

對XAI技術的人為因素評估測試了解釋是否考慮了所有對用戶充分利用AI係統的重要因素。例如,用戶可能有不同的目標、需求、知識、經驗、任務背景、用例等。和許多類型的係統開發一樣,在人工智能係統的整個開發過程中,從係統規範到最後的用戶測試,都必須考慮這些因素。由於用於DL的XAI技術是一個新興的研究領域,這些技術的最初用戶往往是對評估模型性能感興趣的係統開發者。這些XAI技術是否對軍事用戶也有用,在很大程度上仍然是一個開放的問題。在[22]中,已經提出了六個指標來評價解釋。

  • 解釋善意。由一份檢查清單組成,其中包括在開發XAI技術時從用戶角度考慮的重要方麵。該清單是基於對現有文獻中關於解釋的全麵回顧,包括解釋的七個重要方麵,例如,解釋是否有助於用戶理解人工智能係統的工作原理,解釋是否令用戶滿意,以及解釋是否足夠詳細和完整。

  • 解釋的滿意度。一個衡量用戶在解釋的好壞方麵如何體驗解釋的量表。該量表由八個項目組成,這些項目被表述為聲明(七個好的方麵和一個關於解釋對用戶的目標是否有用的項目)。有效性分析表明,該量表是可靠的,可以區分好的和壞的解釋。

  • 促進心智模式的發展。好的解釋會加強用戶對人工智能係統如何工作以及為什麼會做出特定決定的理解。在認知心理學中,這種表述被稱為用戶對人工智能係統的心理模型。推薦四個任務來測量用戶對人工智能係統的心智模型,例如,一個提示性的回顧任務,要求用戶在用人工智能係統執行任務後描述他們的推理,以及一個預測任務,讓用戶預測人工智能係統會做什麼。用戶的心理模型和專家的心理模型之間的比較顯示了用戶心理模型的完整性。

  • 促進好奇心。好的解釋會促進用戶的好奇心,以調查和解決心理模型中的知識差距。我們建議通過讓用戶識別促使他們要求解釋的觸發因素來衡量好奇心。一些觸發因素的例子是:人工智能係統行動的理由,為什麼其他選項被排除在外,或者人工智能係統的行為不符合預期。

  • 對解釋的信任。一個好的心理模型能使用戶適當地信任人工智能係統,並在其操作範圍內使用它。建議使用一個包含八個項目的量表來衡量用戶對人工智能係統的信任。例如,這些項目涉及用戶對使用係統的信心以及係統的可預測性和可靠性。

  • 係統性能。與隻使用人工智能係統而不使用XAI相比,XAI的最終目標是提高係統的整體性能。性能測量的例子包括主要任務目標的完成,用戶預測人工智能係統反應的能力,以及用戶的接受度。

未來的研究將提供更多關於在評估人工智能係統的XAI技術時如何解釋這些指標的信息。

4.2 評估本地解釋技術

第3.2章中描述的本地XAI技術產生了突出性地圖,以突出每個輸入維度的重要性。根據模型所處理的數據類型,顯著性圖的可視化程度是不同的。例如,在處理圖像時通常使用熱圖,而在處理文本時通常使用彩色編碼的字符和詞。

圖4.1展示了一個使用熱圖可視化的顯著性圖的例子。在這個例子中,熱圖是為數字0(圖4.1a)生成的,使用了梯度顯著性(圖4.1b)和LRP技術(圖4.1c)。重要的維度(即圖像中的像素)由較暖的顏色(如紅色、橙色、黃色等)表示,而非重要的維度則由較冷的顏色(深藍、藍、淺藍等)表示。這兩種技術之間的明顯區別可以從高亮維度的位置上直觀地觀察到。本節的其餘部分介紹了可以用來定量比較和評估不同技術所產生的局部解釋的技術。最終,我們的目標是找出哪個解釋是最準確的。

圖4.1 - MNIST圖像及其相應的熱圖,使用梯度顯著性和LRP技術生成。圖像中的重要維度或像素用較暖的顏色(如紅色、橙色、黃色等)表示。

4.2.1 刪減

刪減[43, 34]是一個指標,通過測量模型在輸入逐漸被扭曲或刪減時準確做出預測的能力來計算。請注意,在這種情況下,刪減意味著將輸入的值轉換為中性的東西(例如,圖像的背景)。刪減過程是由XAI技術產生的顯著性圖指導的,因此更重要維度的值會在不太重要的值之前被刪減。這個指標的直覺是,如果在刪減過程中,性能下降很快,而不是很慢,那麼解釋會更好。

圖4.2使用圖4.1b中的梯度顯著性圖說明了刪減過程。在圖4.2b中,50個最突出的像素已經被刪減。在這個階段,很容易推斷出該圖像仍然代表一個0。在圖4.2f中,超過一半的像素(400)已經被刪減。在這個階段,要推斷出圖像實際代表數字0要困難得多。

圖4.2 - 由MNIST圖像的刪減過程產生的圖像,其中0、50、100、200、300和400像素被刪除。

4.2.2 插入

插入指標[43]是對刪減的補充方法。圖4.3說明了在刪減例子中使用的同一MNIST圖像的插入過程。從最初的輸入(用黑色圖像表示)開始,隨著越來越多的輸入維度被插入,按照突出度圖的優先順序,測量準確度的增加。這裏的直覺是,當更多的信息被插入到輸入中時,模型預測的準確性應該增加。也就是說,當增加的速度快時,與增加的速度慢時相比,解釋會更好。

圖4.3 - 從MNIST圖像的插入過程中產生的圖像,其中0、50、100、200、300和400像素被插入。

4.2.3 評價指標

為了證明刪減和插入的使用,使用梯度顯著性和LRP技術來衡量這些過程。在這種情況下,使用分類器對XAI技術進行了評估,該分類器從MNIST數據集中隨機抽取了100張圖像。

圖4.4和圖4.5分別顯示了刪減和插入過程的結果。曲線下的麵積(AUC)是一種測量方法,可以用來定量比較XAI技術。對於刪減,較小的AUC值要比較大的值好。同樣,對於插入,較大的AUC值比較小的值要好。

在圖4.4中可以看到,LRP技術的性能曲線的下降更加尖銳,並在使用刪減過程時收斂到一個較低的平均概率值。這與它的熱圖是一致的,與梯度顯著性的熱圖相比,它突出了較少的特征(圖4.1c和4.1b),表明與梯度顯著性相比,LRP在較少的特征下更快地找到了解釋。同樣的結論可以從使用插入過程的結果中得出(圖4.5)。在這裏,隻需插入幾十個特征,就能觀察到平均概率的快速增加,在插入大約100個特征後達到高性能。

圖4.4 - 梯度顯著性和LRP的刪減曲線。

圖4.5 - 梯度突出性和LRP的插入曲線。

5 實驗結果:關於解釋自然語言預測的案例研究

在自然語言處理(NLP)領域,一個常見的機器學習任務是讓人工智能係統評估一個文本在多大程度上表達了消極、積極或中性的情緒(即情緒分析)。諸如 "我非常高興和感激!"這樣的句子顯然表達了積極的情緒,而 "我希望他很快見到他的造物主 "顯然是消極的,而 "他昨天到達 "可以被認為是中性的。積極的例子包含了直接標明它是積極的詞語,而消極的例子則需要對語言有更深的理解,才能抓住其明顯的消極含義。因此,一個文本可以在它所表達的情緒的種類和程度方麵有所不同,也可以在它如何直接表達方麵有所不同。為了理解人工智能係統是如何試圖理解輸入到它的文本中的情感,可以應用第4.2章中用來解釋圖像分類的同類技術。

5.1 情緒分析預測器

情緒分析模型是所謂的SentimentTagger模型的簡化版,該模型主要被內部用來預測推文(即Twitter上的帖子)中的情感。SentimentTagger模型由一個DNN和一個更傳統的NLP模塊組合而成。在這項工作中,隻使用了該模型的DNN部分。DNN模型是使用遞歸(即RNN)和全連接(即FCNN)神經網絡層的組合設計的。RNN部分使用一種叫做長短時記憶(LSTM)的技術來實現,該技術專門為一個句子中的單詞或字符之間,甚至是跨句子的遠距離依賴關係建模。例如,在 "我昨天以便宜的價格買的車今天壞了 "這句話中,事件 "壞了 "指的是 "車",盡管它們被其他文字分開。

在SentimentTagger中使用的特定LSTM是通過將傳入的文本(一條推文)分解成其組成字母來觀察的。更確切地說,它看的是字符,如字母,但也包括標點符號、空白、表情符號等等。然後,該模型提取出一個善於模擬情感的中間表征。這個中間表征然後被送入FCNN以產生最終的情感預測。預測是一個在0和1之間的連續值,其中0是最消極的,1是最積極的。因此,這是一個回歸模型,就解釋而言,這意味著解釋不是對預測一個特定類別的貢獻,而是對該特定輸出值的貢獻。

SentimentTagger的預測過程如圖5.1所示。表5.1中還提供了該模型預測的一些例子。表5.1中前三條推文的預測結果與人類判斷的真實情感值很一致。接下來的三條是低估了積極情緒的例子,而最後三條是低估了消極情緒的例子。對於一些例子,如第六個例子,可以說SentimentTagger比人類標簽者做得更好。在所有情況下,了解SentimentTagger的估計依據是什麼,將是有益的。

圖5.1 - SentimentTagger的結構。一條推文被送入LSTMRN,它產生一個中間表征。然後將其送入FCNN,反過來產生最終的情感預測。

表5.1 - SentimentTagger對推文進行情感預測的例子。

5.2 解釋方法

為了對SentimentTagger產生的預測進行解釋,我們采用了模型診斷性的LIME和SHAP技術。SHAP的版本(KernelSHAP)實際上是對LIME的修改(根據[38]中提出的一般公式),這使得比較變得有趣。在這種情況下,選擇與模型無關的方法的原因是,不同類型的神經網絡的串聯使得應用特定模型的方法變得非同尋常。

SentimentTagger分析推文所包含的字符,而不是在詞的層麵。顯著性解釋的最直接表述是指出一條推文的每個字符對該推文的情緒預測有多大貢獻。圖5.2a給出了這樣一個解釋的例子,SentimentTagger預測該條推文的情緒為中性(0.47),而人類判斷的數值為輕微的消極(0.31)。那麼,是什麼推動了這種預測呢?在這裏,顏色編碼被用來表示每個字符對增加或減少情感預測的貢獻。藍色表示消極貢獻(即消極情緒),紅色表示積極貢獻(即積極情緒)。接近透明紫色的顏色代表中性情緒。

這個例子似乎表明,"更好 "這個詞中的字符做出了積極的貢獻,而 "壞 "這個詞中的字符做出了消極的貢獻,而其他字符則提供了一個不太清晰的畫麵。從單個字符的顯著性歸因中得出結論是很困難的,因為字符本身並不真正意味著什麼。因此,雖然可能有理由讓情感預測模型在角色層麵上工作,但可能應該在一個綜合的層麵上提供解釋,以更好地映射到實際意義。

如果將字符級別的歸因彙總到包含相應字符的每個詞上,結果就會出現圖5.2b中的可視化。出現的畫麵更加清晰,不僅可以看到 "更好 "和 "壞 "對預測的推動作用有多大,而且還可以看出 "什麼時候"的輕微積極作用和 "某人 "和 "不耐煩"的輕微消極作用。最後,還可以注意到,"紅色 "和 "藍色 "的數量似乎大致相當,這解釋了為什麼SentimentTagger決定對情緒進行中性評價。在後麵的例子中,到單詞級別的解釋是可視化的。

圖5.2 - 一條推文,根據其對該推文的情感預測的貢獻,對字符和詞進行了顏色編碼。紅色表示對積極情緒的貢獻;藍色表示對消極情緒的貢獻。在這個案例中,模型預測的是中性情緒(0.47),而人類標注者對情緒的判斷是輕微的消極(0.31)。詞級顯著性的可視化似乎更清楚地映射了句子語義的重要性。

5.3 定性結果

表5.2顯示了九個在不同方麵都很有趣的推文例子。顏色對應的是由SHAP做出的顯著性歸因(然後如上文所解釋的那樣彙總到詞級)。預測欄列出了由SentimentTagger預測的情感值,而真實值欄則顯示了由人類判斷分配的值。一個詞越紅,說明組成它的字符越多,共同推動了預測值的上升。反之,一個詞越是藍色,它的字符越是把預測值推低。

對於前三條推文,SentimentTagger的預測與人類的情緒判斷(在真值一欄)相當一致。盡管達成了一致,但有趣的是,SentimentTagger看了哪些詞來得出其預測結果。在第一條推文中,"愚蠢的"、"可怕的"、"醜陋的"、"糟糕的 "和 "不 "促使情緒向消極方向發展,但 "父親 "一詞是一個更強大的消極驅動因素。可以詢問SentimentTagger是否發現了消極形容詞與 "父親 "的組合,或者它是否足夠成熟,能夠識別出 "不是他們的父親 "是一個有害的聲明。第三條推文更清晰;"微笑 "做了大部分的積極作用。

第4條和第5條推文是SentimentTagger將消極情緒分配給實際上相當積極的推文例子。諸如 "醫院"、"走了 "和 "眼淚 "等詞被表麵上解釋為消極的,而對上下文的正確理解會否定這種判斷。6號推文似乎也顯示了預測和真實情緒之間的差異。然而,可以說,問句形式所表達的不安全感實際上使預測比指定的標簽更接近事實。

在例子7到9中,關係是相反的,即預測嚴重低估了推文中表達的消極程度。一些被遺漏的消極情緒可能源於拚寫錯誤,如 "appauling"(7),缺失空格,如 "worstairline "和 "beyondajoke"(7),以及口語化的縮寫,如 "tf"(9),盡管一個字符級的LSTM預計會比一個單詞級的更好地處理輕微的拚寫錯誤和空格缺失。其他錯誤則更難解釋,如 "令人震驚"、"可怕"、"淒慘"(7)和 "刺激"(9)。例子8似乎表明,SentimentTagger錯過了 "刺激 "和 "高 "之間的聯係。

表5.3顯示了LIME對相同推文產生的顯著性歸因。雖然SHAP的歸因在很大程度上是可理解的,但並不完全符合直覺,LIME的版本則在很大程度上令人困惑。少數與直覺相符,如 "可笑"(1)、"欣賞"(2)和 "樂觀"(6),其中前兩個沒有被SHAP強調。有些直接與直覺相抵觸,例如 "無用"(7)和 "微笑"(3),後者也與SHAP相抵觸。然而,大多數隻是顯得很隨意,如 "ajahnae"(1)、"ago"(2)、"will"(5)和 "today"(8)。這些不直觀的解釋是否表明SentimentTagger存在SHAP沒有發現的故障,或者SHAP的更直觀的歸因是否更準確地描述了LSTM實際在做什麼?KernelSHAP在理論上是LIME的一個更好的基礎版本,這一事實表明了後者,但這些定性的結果不能提供任何證明。為了更客觀地比較這兩種解釋方法,在下一節將進行定量分析。

表5.2 - 選定的推文,按SHAP的顯著性數值進行著色,這些數值已經彙總到單詞級別。

表5.3 - 選定的推文,按照LIME的顯著性數值進行著色,這些數值已經彙總到單詞級別。

5.4 特征刪減分析

正如第4.2.1節所解釋的,刪減指標通過按照XAI技術賦予特征的顯著性順序來測試解釋方法的性能。一個好的XAI技術應該對那些對預測模型的輸出很重要的特征賦予很高的顯著性,因此按照這個順序刪減特征會使模型的性能急劇下降。在本案例中,按照突出性順序要刪減的特征是字符,在這種情況下,刪減一個特征意味著用一個空字符來代替它,比如一個製表符或一個空格,而預測模型是SentimentTagger。我們在一批500條推文的例子上對SentimentTagger的SHAP解釋和LIME解釋都進行了刪減測試,然後繪製了模型的預測性能如何隨著刪減的特征(字符)數量而下降。此外,作為一個基線,我們用一個隨機掩碼進行刪減,導致特征以隨機順序被刪減。由於SentimentTagger是一個回歸模型,它的性能不能用準確性來衡量。相反,我們使用了R2指標,該指標代表了對訓練好的模型解釋測試數據中的差異的程度的衡量。

圖5.3顯示了SentimentTagger的R2性能作為刪減數量的函數,分別按SHAP、LIME和隨機掩碼排序。很明顯,刪減測試有利於SHAP,因為它的曲線按照突出性歸因的順序迅速下降,而LIME的相應曲線則明顯不那麼陡峭。LIME在刪減測試中的表現隻比隨機掩碼略好。因此,SHAP似乎在識別少數特征(字符)方麵做得更好,沒有這些特征,模型就無法準確預測。這也許並不奇怪,因為Shapley公式的設計就是為了做到這一點,而LIME則依賴於更多技術上的啟發式方法。然而,通過有選擇地將少數幾個字符替換為空白,甚至有可能完全消除SentimentTagger的性能,這一事實可能是關於此類模型的穩健性(或缺乏穩健性)的一個有趣的跡象。

更值得注意的是,在SHAP案例中,R2值在最初的10次左右的刪減後實際上下降到了零以下,然後隨著更多的刪減被執行,又向零移動。這意味著第一組刪減實際上導致模型的表現比忽略其輸入並總是做出相同預測的模型要差。隨著更多的刪減,模型的預測將趨向於中性預測,即對應於一個空推文,這相當於忽略輸入。因此,R2值會收斂到零。

圖5.3 - 對SentimentTagger預測的SHAP和LIME解釋的刪減分析。隨機順序的刪減被用作基線。該圖顯示了對模型性能的影響,如R2指標所衡量的,當特征按突出性順序被連續刪減(即字符被連續刪減)時。SHAP曲線最初的陡峭下降表明,SHAP善於發現哪些特征對模型性能最為關鍵。低於零的跌幅表明,戰略性的刪減會導致模型做出的情感預測與人類標注的真實情感相矛盾。LIME的緩慢下降表明LIME的顯著性值在尋找哪些特征對模型性能最關鍵方麵不如SHAP值,隻比隨機刪減稍好。

6 結論

深度學習將被用於補充和取代軍事係統的某些功能。事實上,DL技術已經在軍事監控係統中得到了應用,以自動檢測和跟蹤大量圖像數據中感興趣的物體[45]。與傳統的軟件技術相比,DL有幾個優勢。最重要的是,DL可以用來為那些使用傳統軟件技術無法建模的複雜過程建模。它還可以促進主動學習,即人工智能係統與用戶互動,以獲得高質量的數據,這些數據可用於增強運行中係統模型(即部署後)。

不幸的是,這些優勢也帶來了重大挑戰,不僅在技術上,而且在操作上都需要解決。在本報告中,重點是可解釋性的挑戰。DL的一個主要缺點是,即使學習算法、模型結構和訓練數據是已知的,並且被很好地理解,但模型本身的行為卻不是可解釋的。在許多用於音樂推薦和廣告目的民用應用程序中,這通常不是一個問題。然而,在軍事領域,理解和解釋人工智能係統的行為是至關重要的。在這種情況下,人工智能係統提供的決定和建議可能會對人類的生活產生深刻的影響。這在使用自主武器和無人機的戰術層麵是有效的,在軍事領導人和政治決策者做出長期決定的作戰和戰略層麵也是有效的。

也許有人會說,複雜的軍事係統,如戰鬥機、潛艇、坦克和指揮與控製的決策支持工具,也是難以掌握的。雖然這是事實,但用於建立這些係統的技術本質上是可以解釋的。因此,如果出了問題,有可能完整地檢查係統以識別和糾正問題。而在DL中,情況並非如此。主要原因是,在現實世界的應用中,DNN經常由數百萬甚至數十億的參數組成。因此,即使是這些模型的創建者也沒有能力係統地解決模型中可能存在的錯誤。

在這份報告中,探討了為解決可解釋性挑戰而提出的幾種最先進的XAI技術。盡管已經取得了一些進展,但可以得出結論,用於軍事領域DL應用的XAI仍然處於起步階段。最終,即使已經提出了許多XAI技術,它們還沒有在軍事背景下被檢測過。因此,不能保證現有的XAI技術能夠在高風險的軍事AI係統中使用DL。

在為軍事目的開發人工智能係統時,我們建議在采購和開發過程中盡早確定可解釋性和可解釋性要求。最重要的是,這些要求的定義是可行的和可驗證的。也就是說,這些要求必須符合在可解釋性方麵實際可能的期望。

在未來的工作中,我們打算開發一個評估框架,可以用來支持軍事人工智能係統中XAI能力的發展。

FOI

FOI,瑞典國防研究局,是瑞典國防部下屬的一個主要任務資助機構。其核心活動是研究、方法和技術開發,以及為瑞典國防和社會安全利益而進行的研究。該組織雇用了約1000名員工,其中約800名是科學家。這使得FOI成為瑞典最大的研究機構。FOI為其客戶提供了大量領域的前沿專業知識,如安全政策研究、國防和安全相關分析、各種類型威脅的評估、危機控製和管理的係統、有害物質的保護和管理、IT安全和新傳感器提供的潛力。

成為VIP會員查看完整內容
26
63

相關內容

人工智能在軍事中可用於多項任務,例如目標識別、大數據處理、作戰係統、網絡安全、物流運輸、戰爭醫療、威脅和安全監測以及戰鬥模擬和訓練。
【AI+軍事】最新22頁PPT,解讀人工智能軍事應用
專知會員服務
92+閱讀 · 3月14日
【AAAI2021 Tutorial】工業界負責任的人工智能,262頁ppt
專知會員服務
91+閱讀 · 2021年2月7日
專知會員服務
28+閱讀 · 2020年10月13日
國家自然科學基金
4+閱讀 · 2017年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
1+閱讀 · 2009年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
VIP會員
相關基金
國家自然科學基金
4+閱讀 · 2017年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
1+閱讀 · 2009年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日