http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

"> 知識圖譜可解釋推理研究綜述 - 專知VIP

麵向知識圖譜的知識推理旨在通過已有的知識圖譜事實,去推斷新的事實,進而實現知識庫的補全。近年來,盡管基於分布式表示學習的方法在推理任務上取得了巨大的成功,但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以,如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發,係統梳理了麵向知識圖譜的可解釋知識推理的相關工作,具體介紹了事前可解釋推理模型和事後可解釋推理模型的研究進展;根據可解釋範圍的大小,本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理;在事後解釋模型中,本文回顧了推理模型的代表方法,並詳細介紹提供事後解釋的兩類解釋方法。此外,本文還總結了可解釋知識推理在醫療、金融領域的應用。隨後,本文對可解釋知識推理的現狀進行概述,最後展望了可解釋知識推理的未來發展方向,以期進一步推動可解釋推理的發展和應用。

http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

成為VIP會員查看完整內容
3
66
0

相關內容

知識圖譜(Knowledge Graph),在圖書情報界稱為知識域可視化或知識領域映射地圖,是顯示知識發展進程與結構關係的一係列各種不同的圖形,用可視化技術描述知識資源及其載體,挖掘、分析、構建、繪製和顯示知識及它們之間的相互聯係。 知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合,並利用可視化的圖譜形象地展示學科的核心結構、發展曆史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。它能為學科研究提供切實的、有價值的參考。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

知識圖譜(KG)是一種用圖模型來描述知識和建模事物之間關聯關係的技術. 知識圖譜嵌入(KGE)作為一 種被廣泛采用的知識表示方法,其主要思想是將知識圖譜中的實體和關係嵌入到連續的向量空間中,用來簡化操作, 同時保留 KG 的固有結構.它可以使得多種下遊任務受益,例如 KG 補全和關係提取等. 本文首先對現有的知識圖譜嵌入技術進行全麵回顧,不僅包括使用 KG 中觀察到的事實進行嵌入的技術,還包括添加時間維度的動態 KG 嵌入方法, 以及融合多源信息的 KG 嵌入技術.對相關模型從實體嵌入、關係嵌入、評分函數等方麵進行分析、對比與總結. 然後簡要介紹 KG 嵌入技術在下遊任務中的典型應用,包括問答係統、推薦係統和關係提取等.最後闡述知識圖譜 嵌入麵臨的挑戰,對未來的研究方向進行展望.

引言

知識圖譜(Knowledge Graph,KG)作為人工智能的一個分支,引起了學術界和工業界的廣泛關注,其構建與應用也得到了迅速發展.例如 Freebase[1] ,DBpedia[2] ,YAGO[3] ,NELL[4] ,Wikidata[5]等知識圖譜已經被成功創建並 應用於許多現實世界應用,從語義分析[6,7]、命名實體消歧[8,9] ,到信息提取[10,11]和問答係統[12,13]等.知識圖譜是以 現實世界的實體為節點,實體之間的關係為邊的有向圖.在這個圖中,每個有向邊連同其頭實體與尾實體構成了 一個三元組,即(頭實體,關係,尾實體),表示頭實體與尾實體通過關係進行連接.盡管知識圖譜在表示結構化數據 方麵非常有效,但這種三元組的基本符號性質使 KG 難以操作[14] .

為了解決這個問題,近年來提出了一個新的研究方向,稱為知識圖譜嵌入(Knowledge Graph Embedding, KGE)或知識表示學習(Knowledge Representation Learning, KRL),旨在將 KG 的組成部分(包括實體和關係)嵌入 到連續的向量空間中,以在簡化操作的同時保留 KG 的固有結構.與傳統的表示方法相比,KGE 為 KG 中的實體 和關係提供了更加密集的表示,降低了其應用中的計算複雜度.此外,KGE 可以通過度量實體和關係低維嵌入的 相似性來顯式地捕獲實體和關係之間的相似性.

盡管研究者已提出多種模型來學習 KG 中的實體和關係表示,但是目前大多數可用的技術仍然僅根據知識 圖譜中觀察到的事實來執行嵌入任務.具體地說,給定一個 KG,首先在低維向量空間中表示實體和關係,並為每 個三元組定義一個評分函數以衡量其在該空間中的合理性.然後通過最大化觀察到的三元組的總合理性來學 習實體和關係的嵌入.這些學習的嵌入還可以進一步用於實現各種任務,例如 KG 補全[15,16] ,關係提取[10,17] ,實體 分類[18,19] ,實體解析[18,20]等.由於在整個過程中僅要求學習的嵌入在每個單獨的事實中兼容,因此對下遊任務可 能沒有足夠的預測性[21,22] .近年來,越來越多的研究者開始進一步考慮利用其他類型的信息,例如實體類型 [23,24] ,文本描述[25-28] ,關係路徑[29-31] ,甚至邏輯規則[32,33]來學習更多的預測嵌入.

本文內容結構組織如下:第 1 節介紹相關工作調查與基本符號定義;第 2 節對僅使用 KG 中觀察到的事實進 行嵌入的技術進行全麵回顧,具體介紹基於距離的模型,語義匹配模型以及最新的 KGE 技術;第 3 節主要討論了 融合時間信息的動態知識圖譜嵌入技術,詳細介紹 t-TransE、Know-Evolve、HyTE、TDG2E 等代表性的動態 KGE 方法;第 4 節歸納了除 KG 中觀察到的事實以外的結合附加信息的 KGE 技術,例如實體類別、文本描述、 關係路徑等.第 5 節介紹 KGE 技術在下遊任務中的典型應用.第 6 節對 KGE 技術麵臨的挑戰與未來研究方向 進行討論.最後,第 7 節對全文工作進行總結.

1 符號定義

知識圖譜嵌入旨在將 KG 中的實體和關係嵌入到一個低維連續的語義空間中.為了便於說明,本小節定義 幾種基本符號.首先,定義知識圖譜為 G=(E,R,S).

2. 使用事實進行知識圖譜嵌入

本節對僅使用事實進行知識圖譜嵌入的方法采用評分函數進行劃分.評分函數用於衡量事實的合理性,在 基於能量的學習框架中也被稱為能量函數.典型類型的評分函數分為兩種:基於距離的評分函數(如圖 1(a))與基 於相似性的評分函數(如圖 1(b)).

2.1 基於距離的模型

基於距離的模型使用基於距離的評分函數,即通過計算實體之間的距離來衡量事實的合理性,在這種情況 下,翻譯原理 h+r=t, 被廣泛使用.也就是說,基於距離的模型通常由關係執行翻譯後,根據兩個實體之間的距離 來度量一個事實的合理性.本小節將基於距離的模型進一步細分為基本距離模型,翻譯模型和複雜關係建模.

基於距離的模型總結

2.2 語義匹配模型

語義匹配模型利用基於相似性的評分函數,即通過語義匹配來衡量事實的合理性.語義匹配通常采用乘法 公式圖片來變換表示空間中的頭實體,使其與尾實體相近.本節根據實體和關係編碼的不同模型結構來 介紹代表性的語義匹配模型.

語義匹配模型總結

2.3 最新的知識圖譜嵌入模型

大多數翻譯模型和雙線性模型是 2016 年之前提出的方法,而最近幾年研究 KGE 的方法眾多.本小節簡要 介紹其中的主流方法,具體劃分為卷積神經網絡模型,旋轉模型,雙曲幾何模型和其他模型.

最新的知識圖譜嵌入模型總結

第 2 節主要介紹了 3 大類知識圖譜嵌入方法,即:基於距離的模型,語義匹配模型與最新的 KGE 模型,並結 合已有的研究成果對其進行了分析.根據上述分析結果,表 5 從類別,方法,提出年份及優缺點四方麵對這幾類知 識圖譜嵌入方法的部分代表模型進行對比.

3 動態知識圖譜嵌入

當前 KGE 的研究主要集中於靜態知識圖譜,其中事實不會隨時間發生變化,例如:TransE,TransH,TransR, RESCAL 等等.但是,在實際應用中,知識圖譜通常是動態的,例如 Twitter 中的社交知識圖,DBLP 中的引文知識 圖等,其中事實隨時間演變,僅在特定時間段內有效.以往的靜態 KGE 方法完全忽略了時間信息,這使得靜態 KGE 方法無法在這些實際場景中工作.因此,有必要設計一種用於動態知識圖譜嵌入的方法.

4 融合多源信息的知識圖譜嵌入

多源信息提供了知識圖譜中三元組事實以外的信息,能夠幫助構建更加精準的知識表示,僅使用事實進行 知識圖譜嵌入的方法忽略了蘊含在多源信息中的豐富知識,例如:實體類別信息、文本描述信息、關係路徑等. 充分利用這些多源信息對於降低實體與關係之間的模糊程度,進而提高推理預測的準確度至關重要.

5 知識圖譜嵌入的應用

近年來,知識驅動的應用在信息檢索和問答等領域取得了巨大成功,這些應用有望幫助準確深入地了解用 戶需求,並給出適當響應.知識圖譜嵌入方法的核心思想是將每個實體、關係表示為一個低維向量,而學習到的 實體、關係嵌入可以受益於多種下遊任務.在本節中,我們將介紹 KGE 的典型應用.

5.1 基於知識圖譜嵌入的問答

隨著大規模知識圖譜的興起,基於知識圖譜的問答(QA)成為重要的研究方向,引起了人們的廣泛關注.現實 世界的領域中通常包含數百萬到數十億個事實,其龐大的數據量和複雜的數據結構使得用戶很難訪問其中有 價值的知識.為了緩解這個問題,提出了基於知識圖譜的問答(QA-KG). QA-KG 旨在利用知識圖譜中的事實來回答自然語言問題.可以幫助普通用戶在不知道 KG 數據結構的情 況下,高效地訪問 KG 中對自己有價值的知識.然而,由於涉及到語義分析[114]和實體鏈接[115,116]等多個具有挑戰 性的子問題,QA-KG 的問題還遠未得到解決.近年來,隨著 KGE 在不同的實際應用中表現出的有效性,人們開始 探索其在解決 QA-KG 問題中的一些潛在作用. Bordes 等人[117]基於訓練問題和問題釋義學習單詞,關係和實體的低維表示,以便將新問題和候選事實投影 到同一空間中進行比較.Yang 等人[118,119]利用問題和潛在事實的邏輯性質,將問題和候選答案投影到統一的低 維度空間中.還有一些基於深度學習的模型[120-124]通過將問題中的單詞輸入神經網絡來實現這種投影.

值得注意的是,最近,Huang 等人[125]提出了一個簡單有效的基於知識圖譜嵌入的問答框架(KEQA),旨在解 決簡單問題,即 QA-KG 中最常見的問題類型.KEQA 不是直接推斷問題的頭實體和謂詞,而是在 KGE 空間中聯 合恢複自然語言問題的頭實體,關係和尾實體表示來回答問題.最後,基於知識圖譜子集(FB2M、FB5M[125] )和問 答數據集 SimpleQuestions[117]進行實驗,通過與七個最新提出的 QA-KG 算法進行對比,KEQA憑借在簡單問題 上獲得 20.3%的準確性改進獲得了優於所有基線的性能. 此外,為了驗證在使用不同的 KGE 算法時 KEQA 的 通用性,分別使用 TransE [15]、TransH [16]、TransR [43]執行知識圖譜嵌入,實驗結果表明 KGE算法顯著提高了 KEQA 的性能,與 KEQA_noEmbed相比,KEQA 基於 TransE 時實現了 3.1%的改進,並且 KEQA 在使用不同的 KGE 算 法時性能相近,證明了 KEQA 的通用性,此外,即使不使用 KGE,KEQA 仍然可以獲得與最先進的 QA-KG 方法相 當的性能,驗證了 KEQA 的健壯性。

5.2 推薦係統

在過去的幾年中,利用知識圖譜的推薦係統已被證明與最先進的協作過濾係統具有競爭力,能有效地解決 新項目和數據稀疏性等問題[126-130] .最近,KGE 的流行促進了利用 KGE 捕獲實體語義進行推薦這一研究熱點, 使用 KGE 已被證明對推薦係統有效. Zhang 等人提出使用 TransR[43]的協作知識圖嵌入(collaborative knowledge base embedding,CKE)[131] ,以學 習結合視覺和文本嵌入的項目結構表示.深度知識感知網絡(deep knowledge-aware network,DKN) [132]利用 TransD[44]學習實體嵌入,並通過將它們與詞嵌入相結合來設計 CNN 框架,用於新聞推薦.但是,由於需要提前學 習實體嵌入,DKN 不能以端到端的方式進行訓練.為了實現端到端的訓練,MKR(multi-task feature learning approach for knowledge graph)[133]通過共享潛在特征和建模高階項-實體交互,將多任務知識圖譜表示和推薦關 聯起來.Ai 等人[134]通過 TransE[15]方法學習用戶和項目嵌入,並基於投影空間中的用戶-項目相似度評分進行推 薦.文獻[135]為優惠推薦任務提出了一個神經分解(neural factorization,NF)模型,以 KG 的形式對可用數據進行 建模,並使用 TransE 學習實體和關係的嵌入. 最近,Sha 等人提出了一種新穎的注意力知識圖譜嵌入(attentive knowledge graph embedding,AKGE)框架 [136] ,以更好地利用 KG 進行有效推薦.該框架以交互特定的方式充分利用了 KG 的語義和拓撲,為推薦結果提供 了可解釋性.此外,Ni 等人描述了一種用於 Wikipedia 的基於嵌入的實體推薦框架[137] ,該框架將 Wikipedia 組織 成一係列彼此重疊的圖,從它們的拓撲結構和內容中學習互補的實體表示,並將其與輕量級的學習方法相結合, 以推薦 Wikipedia 上的相關實體.通過使用 Wikipedia 作為框架的輸入,兩個實體推薦數據集作為基礎事實,進 行離線和在線評估,證明了所產生的嵌入和推薦在質量和用戶參與度方麵表現良好.

5.3 關係提取 關係提取(relation extraction,RE)是信息提取中的一項重要任務,旨在根據兩個給定實體的上下文來提取它 們之間的關係.由於 RE 具有提取文本信息的能力,並使許多自然語言處理應用受益(例如:信息檢索,對話生成, 問答等),因此受到很多研究者的青睞. 常規的監督模型已經在關係提取任務中得到深入研究,但是,它們的性能在很大程度上依賴於訓練數據的 規模和質量.為了構建大規模數據,Mintz 等人[138]提出了一種新穎的遠程監督(distant supervision,DS)機製,通過 將現有知識圖譜與文本對齊來自動標記訓練實例.DS 使 RE 模型能夠在大規模的訓練語料庫上工作,因此遠程 監督的 RE 模型[139-141]已經成為從純文本中提取新事實的主流方法.但是,這些方法僅在知識獲取中使用純文本 中的信息,而忽略了 KG 結構所包含的豐富信息.

受 KG 豐富的知識啟發,很多研究工作在 KG 的指導下擴展了 DS 模型.Weston 等人[142]提出將 TransE 與現 有的遠程監督的 RE 模型相結合以提取新的事實,並且獲得了較大改進.此外,Han 等人[143]提出了一種針對 KRL和 RE 的聯合表示學習框架,文獻[37]證實了現有的 KRL 模型可以有效增強遠程監督的 RE 模型.最近,Han 等人 [144]提出了一個通用的聯合表示學習框架,用於知識圖譜補全(knowledge graph completion,KGC)和從文本中提 取關係(relation extraction,RE)兩個任務,該框架適用於非嚴格對齊的數據.此外,Lei 等人[145]提出了一種具有雙 向知識提煉的神經關係提取框架,以協同使用不同的信息源,減輕了遠程監督關係提取中的噪聲標簽問題.但 是,這些工作忽略了關係之間的豐富關聯.Zhang 等人[146]提出 KG 中的關係符合三層層次關係結構(hierarchical relation structure,HRS),並擴展了現有的 KGE 模型:TransE,TransH 和 DistMult,以利用 HRS 的信息學習知識表 示.Zhang 等人在 FB15k[15]、FB15k237[147]、FB13 [78]、WN18[15]和 WN11[78]數據集上進行了鏈接預測和三元組 分類任務的實驗評估,結果表明,相比於原始模型以及其他基線模型 TransE、TransH、DistMult,擴展模型 (TransE-HRS、TransH-HRS、DistMult-HRS)始終獲得最佳性能,驗證了模型的有效性,同時也證明了考慮關係結 構對於 KG 補全非常有效.

6 挑戰與展望

目前,KGE 作為處理大型知識圖譜的一種方便有效的工具,被廣泛探索並應用於多種知識驅動型任務,極大 地提高了任務的性能,同時也存在許多可能的有待探索的領域.在本小節中,我們將討論 KGE 麵臨的挑戰及其 未來研究方向.

6.1 麵臨的挑戰 6.1.1 探索 KG 的內部和外部信息 KG 中的實體和關係具有複雜的特性和豐富的信息,而這些信息尚未得到充分考慮.本小節將討論為增強 KGE 方法的性能而需要進一步探索的內部和外部信息.

知識類型:不同的 KGE 方法在處理 1-1,1-N,N-1 和 N-N 關係時具有不同的性能,這表明針對不同類型的知 識或關係需要設計不同的 KGE 框架.然而,現有的 KGE 方法簡單地將所有關係分為 1-1,1-N,N-1 和 N-N 關係, 不能有效地描述知識的特征.根據知識的認知和計算特性,現有知識可分為以下幾種類型:(1)表示實體之間從屬 關係(如 has part).(2)表示實體屬性信息(如 nationality).(3)表示實體之間的相互關係(如 friend of).這些不同類型 的關係應該采用不同的方式建模.

多語言嵌入:文獻[40]觀察到不同語言的向量空間之間對應概念的幾何排列具有很強的相似性,並提出兩個 向量空間之間的跨語言映射在技術上是可行的.多語言 KG 對於知識共享具有重要意義,並且在跨語言信息檢 索,機器翻譯,問答等領域發揮著重要作用.然而,現有的關於多語言 KG 嵌入的研究很少,因此多語言 KGE 的研 究是一項有待解決的有意義但又具有挑戰性的工作.

多源信息學習:隨著網絡技術的快速發展,如今的互聯網不僅包含頁麵和超鏈接,音頻、圖片和視頻等多源 信息也越來越多地出現在網絡上.因此,如何高效地利用從文本到視頻的多源信息已成為 KGE 中的一個關鍵且 具有挑戰性的問題.現有的利用多源信息的方法尚處於初步階段,諸如社交網絡之類的其他形式的多源信息仍 然獨立於知識圖譜表示的構建,因此還有待進一步研究.

One-shot/Zero-shot 學習:近年來,One-shot/Zero-shot 學習在單詞表示,情感分類,機器翻譯等各個領域中蓬 勃發展.One-shot/Zero-shot 學習的目的是從一個隻有少量實例的類或一個從未見過的類的實例中學習,在知識 圖譜表示中,一個實際的問題是低頻實體和關係的學習比高頻實體和關係的學習更差.然而,借助實體和關係的 多語言和多模態表示,低頻實體和關係的表示可以在一定程度上得到改善.此外,有必要設計新的 KGE 框架,使 其更適合於低頻實體和關係的表示學習.

6.1.2 知識應用的複雜性

KG 在各種應用中發揮著重要的作用,例如 Web 搜索,知識推理和問答.但是,由於現實世界中知識應用的複 雜性,難以高效地利用 KG.在本小節中,將討論在實際應用中使用 KG 時遇到的問題. KG 質量低:知識應用的主要挑戰之一是大型 KG 本身的質量問題.Freebase,DBpedia,Yago,Wikidata 等典型 的 KG 通常是從互聯網上的大量純文本中自動獲取知識來獲取事實三元組.由於缺乏人工標注,這些 KG 遭受噪 音和矛盾的問題.當涉及到實際應用時,這些噪音和矛盾將導致錯誤傳播.因此,如何自動檢測現有 KG 中的矛盾 或錯誤已成為將 KG 的信息納入實際應用中的重要問題. KG 體積過大:現有的 KG 過於繁瑣,無法有效地部署在實際應用中.此外,由於 KG 的體積過大,現有的一些 方法由於計算複雜度的問題也並不實用.因此,有必要在現有的方法上進行改進. KG 不斷變化:隨著時間推移,不斷有新的知識產生.現有的 KGE 方法由於其優化目標與 KG 中的所有事實 三元組相關,因此每次 KG 發生變化時都需要從頭開始重新學習模型.如果在實際應用中使用 KG,那麼它既費時 又不實用.因此,設計一種可以進行在線學習並逐步更新模型參數的 KGE 框架對 KG 的應用至關重要.

6.2 未來方向6.2.1 統一框架 一些知識圖譜表明學習模型已經被證明是等價的.例如,文獻[68]證明 HolE 和 ComplEx 在數學上等價於具 有某些約束的鏈接預測.ANALOGY[69]提供了包括 DistMult,ComplEx 和 HolE 在內的幾種代表性模型的統一視 圖.Wang 等人[62]探討了幾種雙線性模型之間的聯係.Chandrahas 等人[159]探索了加法和乘法 KGE 模型的幾何理 解.大多數工作使用不同的模型來描述知識獲取和關係提取.然而,以類似於圖網絡統一框架的方式進行的統一 研究[158]是彌合研究差距的一種有價值的方法.

6.2.2 可解釋性 知識表示的可解釋性是知識獲取和實際應用中的關鍵問題.現有方法已為可解釋性作出了初步努力. ITransF[51]采用稀疏向量進行知識遷移,通過注意力可視化進行解釋.CrossE[92]利用基於嵌入的路徑搜索生成對 鏈接預測的解釋,探索了知識圖譜的解釋方案.然而,這些神經模型在透明度和可解釋性方麵受到了限製,一些 方法結合邏輯規則來提高互操作性,從而將黑盒神經模型與符號推理相結合.因此,應該進一步研究可解釋性並 提高預測知識的可靠性.

6.2.3 可擴展性 在大規模知識圖譜中,可擴展性非常重要.幾種嵌入方法利用簡化來降低計算代價,例如,通過循環相關運 算簡化張量積[66] .但是,這些方法仍然難以擴展到數以百萬計的實體和關係中.最近的神經邏輯模型[161]中的規 則是由簡單的蠻力搜索產生的,這使得它們在大規模知識圖上表現不足.ExpressGNN[162]試圖使用 NeuralLP [163] 進行有效的規則歸納.但是,要處理繁瑣的深層架構和不斷增長的知識圖還需要進一步完善. 6.2.4 自動構建 當前的 KG 高度依賴於人工構建,這是勞動密集且昂貴的.知識圖譜在不同認知智能領域的廣泛應用需要 從大規模的非結構化內容中自動構建知識圖譜.最近的研究主要是在現有知識圖的監督下進行半自動構建.麵 對多模態,異構性和大規模應用,自動構建仍然是未來亟待解決的重要問題.

7 總結

知識圖譜作為一種語義網絡擁有極強的表達能力和建模靈活性,可以對現實世界中的實體、概念、屬性以 及它們之間的關係進行建模.隨著最近出現的知識表示學習、知識獲取方法和各種知識圖譜應用,知識圖譜引 起了越來越多的研究關注.知識圖譜嵌入旨在將實體和關係嵌入到連續向量空間中,在各種麵向實體的任務中得到了重要應用.本文圍繞知識圖譜嵌入技術的研究現狀,通過回顧僅使用事實進行知識圖譜嵌入的方法、添 加時間維度的動態 KGE 方法以及融合多源信息的 KG E 技術介紹了現有的知識圖譜嵌入技術.並簡要討論了 KGE 技術在下遊任務中的實際應用.最後總結了知識圖譜嵌入領域所麵臨的挑戰,並對其未來的方向做出展望. 我們進行這項調查的目的是對當前 KGE 的代表性研究工作進行總結,並且希望這一探索可以為 KGE 的未來研 究提供幫助.

成為VIP會員查看完整內容
4
37
0

圖分析用於深入挖掘圖數據的內在特征,然而圖作為非歐幾裏德數據,傳統的數據分析方法普遍存在較高的計算量和空間開銷。圖嵌入是一種解決圖分析問題的有效方法,其將原始圖數據轉換到低維空間並保留關鍵信息,從而提升節點分類、鏈接預測、節點聚類等下遊任務的性能。與以往的研究不同,同時對靜態圖和動態圖嵌入文獻進行全麵回顧,我們提出一種靜態圖嵌入和動態圖嵌入通用分類方法, 即基於矩陣分解的圖嵌入、基於隨機遊走的圖嵌入、基於自編碼器的圖嵌入、基於圖神經網絡(GNN)的圖嵌入和基於其他方法的圖嵌入。其次,對靜態圖和動態圖方法的理論相關性進行分析,對模型核心策略、下遊任務和數據集進行全麵總結。最後,提出了四個圖嵌入的潛在研究方向。

http://fcst.ceaj.org/article/2022/1673-9418/1673-9418-16-1-59.shtml

圖是複雜係統中常用的信息載體,可以表示現實中許多複雜關係,如社交網絡[1]、犯罪網絡[2]、交通網絡[3]等。圖結構作為一種非歐幾裏德數據,很難直接應用卷積神經網絡(convolutional neural network,CNN)[4]和循環神經網絡(recurrent neural network,RNN)[5]等深度學習方法[6]。為了構造用於圖數據挖掘的特征表示,圖嵌入將節點映射到低維空間,生成保留原始圖中某些重要信息的低維向量。目前,圖嵌入不僅在節點分類[7]、鏈接預測[8]、節點聚類[9]、可視化[10]等複雜網絡上的機器學習任務中獲得成功,還廣泛用於社交影響力建模[11]、內容推薦[12]等現實任務。

早期的圖嵌入算法主要用於數據降維,通過鄰域關係構建相似度圖,將節點嵌入低維向量空間,並保持相連節點向量的相似性。這類方法通常時間複雜度高,很難擴展到大型圖上。近年來,圖嵌入算法轉向擴展性強的方法。例如,矩陣分解方法[13]使用鄰接矩陣的近似分解作為嵌入;隨機遊走法[14]將遊走序列輸入到Skip-Gram[15]生成嵌入。這些方法利用圖的稀疏性降低了時間複雜度。當前,很多綜述[16,17,18,19,20,21]對圖嵌入方法進行了歸納與總結,但存在兩大局限:一是部分綜述僅涉及傳統方法介紹,許多新模型沒有納入研究;二是這些綜述隻關注靜態圖嵌入或動態圖嵌入,忽略了二者之間的關聯性。

本文對圖嵌入方法進行全麵係統性綜述,有以下三方麵的貢獻:(1)提出一種新的圖嵌入分類法,同時對靜態圖和動態圖方法進行分類;(2)對現有模型進行係統性分析,為理解現有方法提供新視角;(3)提出了四個圖嵌入的潛在研究方向。

成為VIP會員查看完整內容
2
30
1

知識圖譜是一種用網絡結構存儲知識的知識庫,在知識圖譜中,單條知識被表示成三元組的形式,即(頭實體,關係,尾實體).得力於知識圖譜在各個領域的廣泛應用,麵向知識圖譜的圖嵌入學習也得到越來越多研究人員的關注.麵向知識圖譜的圖嵌入學習任務旨在為圖譜中的實體與關係學習低維且稠密的向量,通過圖嵌入向量表達實體與關係的語義信息以及度量實體之間、關係之間、實體與關係之間的語義聯係,已有許多研究證明圖嵌入模型在下遊任務中的有效性.近年來,越來越多研究人員開始關注知識圖譜的圖嵌入學習,並取得大量的研究成果,本文嚐試將圖嵌入算法分成了基於轉移思想、基於張量分解、基於傳統深度學習模型、基於圖神經網絡以及融入額外信息的圖嵌入學習共五大類,梳理、介紹各類圖嵌入算法的設計思路、算法特征以及優缺點,以幫助指導初步接觸該領域的研究人員快速學習了解該研究領域的相關模型和算法.

http://jos.org.cn/jos/article/abstract/6426

成為VIP會員查看完整內容
1
38
0

隨著智能化水平的不斷提高, 每時每刻都有大量的新知識產生, 知識圖譜逐漸成為我們管理知識的工具之一. 但現有的知識圖譜仍然存在屬性缺失、關係稀疏等問題, 同時還存在大量噪聲信息, 導致圖譜質量不佳, 易對自然語言處理領域中的各類任務造成影響. 麵向知識圖譜的知識推理技術作為目前的研究熱點, 是解決該問題的主要方法, 其通過模擬人的推理過程完成對圖譜信息的完善, 在眾多應用中有較好表現. 以知識圖譜為切入點, 將知識推理技術按類別劃分並分別闡釋, 詳細分析該技術的幾種應用任務, 例如智能問答、推薦係統等, 最後對未來主要研究方向進行展望, 提出幾種研究思路.

http://www.c-s-a.org.cn/csa/article/abstract/8137

成為VIP會員查看完整內容
3
62
0

摘要: 數據稀疏和冷啟動是當前推薦係統麵臨的兩大挑戰. 以知識圖譜為表現形式的附加信息能夠在某種程度上緩解數據稀疏和冷啟動帶來的負麵影響, 進而提高推薦的準確度. 本文綜述了最近提出的應用知識圖譜的推薦方法和係統, 並依據知識圖譜來源與構建方法、推薦係統利用知識圖譜的方式, 提出了應用知識圖譜的推薦方法和係統的分類框架, 進一步分析了本領域的研究難點. 本文還給出了文獻中常用的數據集. 最後討論了未來有價值的研究方向.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200128

成為VIP會員查看完整內容
1
26
0

預訓練模型通過自監督學習方法在大規模文本語料庫上學習上下文化的詞表示,該方法經過微調後取得了良好的性能。然而,這些模型的健壯性差,且缺乏可解釋性。帶有知識注入的預訓練模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和邏輯推理能力,並在一定程度上引入了可解釋性。在這個綜述中,我們提供了自然語言處理的KEPTMs的全麵概述。首先介紹了預訓練模型和知識表示學習的研究進展。然後我們從三個不同的角度對現有KEPTMs進行了係統的分類。最後,對KEPTMs的未來研究方向進行了展望。

//www.webtourguide.com/paper/2e6a280b91bab87be5075bc650650678

引言

數據和知識是人工智能的核心。深度學習[1],[2],[3]借助神經網絡的分布式表示和層次結構泛化,可以充分利用大規模數據。基於深度學習的預訓練模型[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]有了質的飛躍,促進了下遊自然語言處理(NLP)的廣泛應用。雖然它們可以從大規模的無監督語料庫中獲取詞彙、句法和淺層語義信息,但它們是統計模型,受重尾數據分布的限製,導致無法深入理解和因果推理和反事實推理。此外,盡管深度學習在學習數據背後的關鍵因素方麵很強大,但由於糾纏表示,預先訓練的模型失去了可解釋性。知識為模型提供了全麵而豐富的實體特征和關係,克服了數據分布的影響,增強了模型的魯棒性。此外,知識為模型引入了顯式語義的可解釋性。因此,利用不同的知識來實現預先訓練的具有深度理解和邏輯推理的模型是必不可少的。為了更好地集成知識和文本特征,將符號知識投影到一個密集的、低維的語義空間中,並通過分布式向量通過學習[19]的知識表示來表示。在此背景下,研究人員探索了通過注入知識來概括知識驅動和語義理解所需場景的方法來改進預先訓練的模型。

這項綜述的貢獻可以總結如下:

全麵綜述。本文對自然語言處理的預訓練模型和知識表示學習進行了綜述。 新分類法。我們提出了一種麵向自然語言處理的KEPTMs分類法,根據注入知識的類型將現有KEPTMs分為三組,並根據知識與語料庫的耦合關係和知識注入方法進一步劃分不同組對應的模型。 未來的發展方向。討論分析了現有KEPTMs的局限性,並提出了未來可能的研究方向。

近年來,預訓練模型的逐步發展引起了研究者的廣泛關注。然而,盡管他們在創作上付出了巨大的努力,但卻無法理解文本的深層語義和邏輯推理。此外,從模型中學習到的知識存在於參數中,是無法解釋的。通過注入KGs的實體特征和事實知識,可以極大地緩解魯棒性差和可解釋性不足的問題。本文介紹的預訓練模型大多側重於語言知識和世界知識的利用,這些知識屬於2.2.1節中定義的事實知識或概念知識。這類知識為預訓練模型提供了豐富的實體和關係信息,極大地提高了預訓練模型的深度理解和推理能力。

為了比較和分析現有的KEPTMs,我們首先根據注入知識的類型將其分為三類: 實體增強的預訓練模型、三元組增強的預訓練模型和其他知識增強的預訓練模型。對於實體增強的預訓練模型,所有這些模型都將知識和語言信息存儲在預訓練模型的參數中,屬於基於耦合的KEPTMs。根據實體注入的方法,進一步將其分為實體特征融合模型和知識圖譜監督預訓練模型。對於三聯體增強的訓練前模型,我們根據三聯體與語料是否耦合,將其分為基於耦合和基於解耦的KEPTMs。基於耦合的KEPTMs在訓練前將單詞嵌入和知識嵌入糾纏在一起,無法保持符號知識的可解釋性。根據三聯體輸注方法,將基於耦合的KEPTMs分為三組: 嵌入聯合KEPTMs、數據結構統一KEPTMs和聯合訓練KEPTMs。而基於解耦的KEPTMs則分別保留了知識和語言的嵌入,從而引入了符號知識的可解釋性。我們將其劃分為基於檢索的KEPTMs,因為它通過檢索相關信息來利用知識。其他知識增強模型也可分為基於耦合和基於解耦的KEPTMs。我們進一步將其分為聯合訓練和基於檢索的KEPTMs。

成為VIP會員查看完整內容
1
28
0

針對知識圖譜(KG)在知識驅動的人工智能研究中發揮的強大支撐作用,分析並總結了現有知識圖譜和知識超圖技術。首先,從知識圖譜的定義與發展曆程出發,介紹了知識圖譜的分類和架構;其次,對現有的知識表示與存儲方式進行了闡述;然後,基於知識圖譜的構建流程,分析了各類知識圖譜構建技術的研究現狀。特別是針對知識圖譜中的知識推理這一重要環節,分析了基於邏輯規則、嵌入表示和神經網絡的三類典型的知識推理方法。此外,以異構超圖引出知識超圖的研究進展,並提出三層架構的知識超圖,從而更好地表示和提取超關係特征,實現對超關係數據的建模及快速的知識推理。最後,總結了知識圖譜和知識超圖的典型應用場景並對未來的研究作出了展望。

隨著計算機科學相關領域研究的不斷深入,人工智能的 研究重心由感知智能轉向認知智能。專家係統和語義網絡作 為認知智能的早期代表,提出“將知識引入人工智能領域”,在 某些特定領域具備一定的問題解決能力,但仍存在規模較小、 自動化構建能力不足、知識獲取困難等一係列問題。知識圖譜(Knowledge Graph,KG)的出現,改變了傳統的 知識獲取模式,將知識工程“自上而下”方式轉變為挖掘數據、 抽取知識的“自下而上”方式。經過長期的理論創新與實踐探 索,知識圖譜已經具備體係化的構建與推理方法。然而,對於 實體關係,知識圖譜雖然有較強的建模能力,但難以表達普遍存在的多元關係。知識超圖通過引入超邊關係,能夠完整表 達各種複雜的關係類型,得到學術界和工業界的高度關注。此 外 ,知 識 圖 譜 和 知 識 超 圖 能 夠 結 合 深 度 學 習(Deep Learning,DL)等人工智能技術,實現高效推理。

http://www.joca.cn/CN/abstract/abstract24872.shtml

成為VIP會員查看完整內容
2
63
0

摘要: 隨著互聯網上多媒體數據的爆炸式增長,單一模態的檢索已經無法滿足用戶需求,跨模態檢索應運而生。跨模態檢索旨在以一種模態的數據去檢索另一種模態的相關數據,其核心任務是數據特征提取和不同模態間數據的相關性度量。文中梳理了跨模態檢索領域近期的研究進展,從傳統方法、深度學習方法、手工特征的哈希編碼方法以及深度學習的哈希編碼方法等角度歸納論述了跨模態檢索領域的研究成果。在此基礎上,對比分析了各類算法在跨模態檢索常用標準數據集上的性能。最後,分析了跨模態檢索研究存在的問題,並對該領域未來發展趨勢以及應用進行了展望。

http://www.jsjkx.com/CN/10.11896/jsjkx.200800165

成為VIP會員查看完整內容
0
31
0

近年來,知識圖譜問答在醫療、金融、政務等領域被廣泛應用。用戶不再滿足於關於實體屬性的單跳問答,而是更多地傾向表達複雜的多跳問答需求。為了應對上述複雜多跳問答,各種不同類型的推理方法被陸續提出。係統地介紹了基於嵌入、路徑、邏輯的多跳知識問答推理的最新研究進展以及相關數據集和評測指標,並重點圍繞前沿問題進行了討論。最後總結了現有方法的不足,並展望了未來的研究方向。

成為VIP會員查看完整內容
5
60
0

文本情感分析是自然語言處理領域的一個重要分支,廣泛應用於輿情分析和內容推薦等方麵,是近 年來的研究熱點。根據使用的不同方法,將其劃分為基於情感詞典的情感分析方法、基於傳統機器學習的情 感分析方法、基於深度學習的情感分析方法。通過對這三種方法進行對比,分析其研究成果,並對不同方法 的優缺點進行歸納總結,介紹相關數據集和評價指標,及應用場景,對情感分析子任務進行簡單概括,發現 將來的情感分析問題的研究趨勢及應用領域,並為研究者在相關領域方麵提供一定的幫助和指導。

成為VIP會員查看完整內容
0
40
0
小貼士
相關VIP內容
專知會員服務
37+閱讀 · 2月5日
專知會員服務
30+閱讀 · 1月17日
專知會員服務
38+閱讀 · 2021年11月3日
專知會員服務
62+閱讀 · 2021年11月1日
專知會員服務
26+閱讀 · 2021年10月20日
專知會員服務
63+閱讀 · 2021年8月26日
專知會員服務
31+閱讀 · 2021年8月13日
專知會員服務
60+閱讀 · 2021年6月13日
專知會員服務
40+閱讀 · 2021年4月20日
相關資訊
事實抽取與驗證研究綜述
專知
0+閱讀 · 2021年4月20日
文本情感分析方法研究綜述
專知
3+閱讀 · 2021年4月20日
時空軌跡序列模式挖掘方法綜述
專知
1+閱讀 · 2021年4月8日
自動文本摘要研究綜述
專知
1+閱讀 · 2021年1月31日
知識圖譜補全技術
專知
5+閱讀 · 2021年1月4日
微信掃碼谘詢專知VIP會員
Top