VIP內容

麵向知識圖譜的知識推理旨在通過已有的知識圖譜事實,去推斷新的事實,進而實現知識庫的補全。近年來,盡管基於分布式表示學習的方法在推理任務上取得了巨大的成功,但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以,如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發,係統梳理了麵向知識圖譜的可解釋知識推理的相關工作,具體介紹了事前可解釋推理模型和事後可解釋推理模型的研究進展;根據可解釋範圍的大小,本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理;在事後解釋模型中,本文回顧了推理模型的代表方法,並詳細介紹提供事後解釋的兩類解釋方法。此外,本文還總結了可解釋知識推理在醫療、金融領域的應用。隨後,本文對可解釋知識推理的現狀進行概述,最後展望了可解釋知識推理的未來發展方向,以期進一步推動可解釋推理的發展和應用。

http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

成為VIP會員查看完整內容
3
66
0
參考鏈接
微信掃碼谘詢專知VIP會員
Top