http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

"> 知識圖譜可解釋推理研究綜述 - 專知VIP

麵向知識圖譜的知識推理旨在通過已有的知識圖譜事實,去推斷新的事實,進而實現知識庫的補全。近年來,盡管基於分布式表示學習的方法在推理任務上取得了巨大的成功,但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以,如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發,係統梳理了麵向知識圖譜的可解釋知識推理的相關工作,具體介紹了事前可解釋推理模型和事後可解釋推理模型的研究進展;根據可解釋範圍的大小,本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理;在事後解釋模型中,本文回顧了推理模型的代表方法,並詳細介紹提供事後解釋的兩類解釋方法。此外,本文還總結了可解釋知識推理在醫療、金融領域的應用。隨後,本文對可解釋知識推理的現狀進行概述,最後展望了可解釋知識推理的未來發展方向,以期進一步推動可解釋推理的發展和應用。

http://www.jos.org.cn/jos/article/abstract/6522

知識圖譜(Knowledge Graph)本質是一種語義網絡,通常用 (頭實體,關係,尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關係。自穀歌提出知識圖譜概念以來,知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據,但是這樣大規模的數據仍然不完整,大量缺失的三元組嚴重限製了這些下遊任務的性能。知識推理,這一旨在根據一定的推理機製去預測圖譜中缺失三元組的任務,也吸引了學術界越來越多的目光。

早在 2013 年,Li 等人[1] 提出利用表示學習的方法去做知識推理,通過將實體和關係映射到低維連續 的向量空間,將推理預測任務轉化為實體與關係所關聯的簡單的向量/矩陣操作。鑒於該方法的自由度高、 可計算性好、推理效率高等優點,該類方法在近幾年得到了廣泛關注和發展,並且廣泛的應用在推薦係統、 對話生成等互聯網場景。在這些場景下,研究者們更多的關注如何提高知識推理的性能,忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時,通常來說,並不會招致非常嚴重的後果。然而,在當今人工智能技術應用的大趨勢下,知識推理不僅可以應用在上述互聯網場景,而且越來越 多的被應用在和人類的生產生活息息相關的一些領域(例如,智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]),這些領域往往對模型的安全性能要求較高,風險高度敏感。例如,在醫療領域,推理的可 靠性會關係到人的生命安全。通常來說,在這些領域,僅僅獲得預測結果是不夠的,模型還必須解釋是怎 麼獲得這個預測的,來建立用戶和推理模型之間的信任。

隨著深度學習的發展,知識推理方法的模型結構越來越複雜,僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方麵優於人類,但由於用戶無 法對這類模型裏的參數、結構、特征產生直觀理解,對於模型的決策過程和模型的推理依據知之甚少,對 於模型的決策過程知之甚少,不知道它何時會出現錯誤,在風險敏感的領域中,用戶仍然無法信任模型的 預測結果。因此,為了建立用戶和推理模型之間的信任,平衡模型準確率和可解釋性之間的矛盾,可解釋 性知識推理在近幾年的科研會議上成為關注熱點。

盡管有很多學者對知識推理領域進行了深入的研究,並從不同的角度(如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等)對推理模型進行梳理和總結。然而,在推理模型的可解釋性方麵 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展,本文對現有的可解釋推理模型進行了 係統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性,並介紹常見的 可解釋模型劃分標準;然後,根據解釋產生的方式,對現有的可解釋知識推理模型進行總結和歸類,並討 論相關方法的局限性;接著,簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最後,本文討論可 解釋知識推理麵臨的挑戰以及可能的研究方向。

1 可解釋的知識推理

在詳細介紹現有的可解釋知識推理模型之前,首先介紹知識推理的基本概念,接著對什麼是可解釋性 (Interpretability),以及為什麼要在推理任務中注重可解釋性進行介紹,最後對本文的劃分標準做簡要說明。

1.1 知識推理的基本概念

2012 年,穀歌正式提出知識圖譜的概念,用於改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關係,其中 h 代表頭實體, r 代表實體之間的關係, t 代表尾實體。例如(詹姆斯·卡梅隆,執導,泰坦尼克號)即是一個三元組,其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”,“執導”是兩個實體之間的關係。代表性的知識圖譜,如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等,雖然包含數以億計的三元組,但是卻麵臨非常嚴重的數據缺失問題。據 2014 年的統計,在 Freebase 知識庫中,有 75%的人沒有國籍信息,DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重製約了知識圖譜在下遊任務中的效能發揮。因此,如何讓機器自動基於知 識圖譜中的已有知識進行推理,從而補全和完善知識圖譜,成為了工業界和學術界都亟待解決的問題。

總的來說,麵向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法,根據知識圖譜中已 有的三元組去推理出缺失的三元組,從而對知識圖譜進行補充和完善。例如,已知(詹姆斯·卡梅隆,執導, 泰坦尼克號)和(萊昂納多·迪卡普裏奧,出演,泰坦尼克號),可以得到(詹姆斯·卡梅隆,合作,萊昂納 多·迪卡普裏奧)。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全(又稱之為鏈接預測)[1,27,94,95]兩個 任務[117] ,其中,知識圖譜去噪任務專注於知識圖譜內部已有三元組正確性的判斷;而知識圖譜補全專注 於擴充現有的圖譜。根據要推理元素的不同,知識圖譜補全任務可以進一步細分為實體預測和關係預測。其中,實體預測是指給定查詢 ( ,r,?) h ,利用已有事實的關係,推理出另一個實體並由此構成完整三元組, 同理,關係預測則是指給定查詢 ( ,?, t) h ,推理給定的頭尾實體之間的關係。由於知識圖譜中大多數三元組 都是正確的,知識圖譜去噪任務通常采用對已有三元組進行聯合建模並進一步判斷特定三元組是否成立的 方法。在這種情況下,知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此,在下麵的內容裏,本 文以知識圖譜補全任務為中心,對相關的可解釋性方法進行梳理和總結。

1.2 可解釋性及其在知識推理中的必要性

目前學術界和工業界對於可解釋性沒有明確的數學定義[62] ,不同的研究者解決問題的角度不同,為 可解釋性賦予的涵義也不同,所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller (2017)[2,42]所提出,指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易於理解,那麼它就比另一個模型具有更高的可解釋性。

在某些情況下,我們不必關心模型為什麼做出這樣的預測,因為它們是在低風險的環境中使用的,這 意味著錯誤不會造成嚴重後果(例如,電影推薦係統),但是對於某些問題或任務,僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎麼獲得這個預測的,因為正確的預測隻部分地解決了原始問題。通常來說, 以下三點原因推動了對可解釋性的需求:

1、高可靠性要求。盡管可解釋性對於一些係統來說並不是不可或缺的,但是,對於某些需要高度可靠 的預測係統來說很重要,因為錯誤可能會導致災難性的結果(例如,人的生命、重大的經濟損失)。可解釋性可以使潛在的錯誤更容易被檢測到,避免嚴重的後果。此外,它可以幫助工程師查明根 本原因並相應地提供修複。可解釋性不會使模型更可靠或其性能更好,但它是構建高度可靠係統 的重要組成部分。

2、道德和法律要求。第一個要求是檢測算法歧視。由於機器學習技術的性質,經過訓練的深度神經網 絡可能會繼承訓練集中的偏差,這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題,例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因,希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外,推理模型目前也被用於新 藥的發現和設計[124] 。在藥物設計領域,除了臨床測試結果以外,新藥還需要通常還需要支持結 果的生物學機製,需要具備可解釋性才能獲得監管機構的批準,例如國家藥品監督管理局 (NMPA)。

3、科學發現的要求。推理模型本身應該成為知識的來源,可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時,它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。

1.3 本文的劃分標準

根據不同的劃分標準,知識推理模型可以被劃分成不同的類別。其中,根據解釋產生的方法,可以將 推理模型劃分為兩大類:事前可解釋和事後可解釋[41,62,96,97,102,118]。其中,事前可解釋模型主要指不需要額 外的解釋方法,解釋蘊含在自身架構之中的模型。事後可解釋性是指模型訓練後運用解釋方法進行推理過 程和推理結果的解釋,解釋方法自身是不包含在模型裏麵的。一種方法被看作能夠對黑盒模型進行解釋, 是指該方法可以:(1)通過可解釋和透明的模型(例如,淺決策樹、規則列表或者稀疏線性模型)對模型 的行為進行近似,可以為模型提供全局的可解釋;(2)能夠解釋模型在特定輸入樣例上進行預測的原因;(3)可以對模型進行內部檢查,了解模型的某些特定屬性,譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是,可以將事後解釋方法應用於事前可解釋的模型上,例如,可以 從敏感性分析的角度對事前模型進行剖析。此外,根據可解釋的範圍大小----是否解釋單個實例預測或整個 模型行為,可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96];根據解釋方法是否特定於模型,可以 將模型劃分為特定於模型和模型無關兩種類別[96] 。在接下來的內容裏,本文按照解釋產生的方式,對知 識推理模型進行總結和歸類。

成為VIP會員查看完整內容
0
41
0

相關內容

知識圖譜(Knowledge Graph),在圖書情報界稱為知識域可視化或知識領域映射地圖,是顯示知識發展進程與結構關係的一係列各種不同的圖形,用可視化技術描述知識資源及其載體,挖掘、分析、構建、繪製和顯示知識及它們之間的相互聯係。 知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合,並利用可視化的圖譜形象地展示學科的核心結構、發展曆史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。它能為學科研究提供切實的、有價值的參考。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

圖分析用於深入挖掘圖數據的內在特征,然而圖作為非歐幾裏德數據,傳統的數據分析方法普遍存在較高的計算量和空間開銷。圖嵌入是一種解決圖分析問題的有效方法,其將原始圖數據轉換到低維空間並保留關鍵信息,從而提升節點分類、鏈接預測、節點聚類等下遊任務的性能。與以往的研究不同,同時對靜態圖和動態圖嵌入文獻進行全麵回顧,我們提出一種靜態圖嵌入和動態圖嵌入通用分類方法, 即基於矩陣分解的圖嵌入、基於隨機遊走的圖嵌入、基於自編碼器的圖嵌入、基於圖神經網絡(GNN)的圖嵌入和基於其他方法的圖嵌入。其次,對靜態圖和動態圖方法的理論相關性進行分析,對模型核心策略、下遊任務和數據集進行全麵總結。最後,提出了四個圖嵌入的潛在研究方向。

http://fcst.ceaj.org/article/2022/1673-9418/1673-9418-16-1-59.shtml

圖是複雜係統中常用的信息載體,可以表示現實中許多複雜關係,如社交網絡[1]、犯罪網絡[2]、交通網絡[3]等。圖結構作為一種非歐幾裏德數據,很難直接應用卷積神經網絡(convolutional neural network,CNN)[4]和循環神經網絡(recurrent neural network,RNN)[5]等深度學習方法[6]。為了構造用於圖數據挖掘的特征表示,圖嵌入將節點映射到低維空間,生成保留原始圖中某些重要信息的低維向量。目前,圖嵌入不僅在節點分類[7]、鏈接預測[8]、節點聚類[9]、可視化[10]等複雜網絡上的機器學習任務中獲得成功,還廣泛用於社交影響力建模[11]、內容推薦[12]等現實任務。

早期的圖嵌入算法主要用於數據降維,通過鄰域關係構建相似度圖,將節點嵌入低維向量空間,並保持相連節點向量的相似性。這類方法通常時間複雜度高,很難擴展到大型圖上。近年來,圖嵌入算法轉向擴展性強的方法。例如,矩陣分解方法[13]使用鄰接矩陣的近似分解作為嵌入;隨機遊走法[14]將遊走序列輸入到Skip-Gram[15]生成嵌入。這些方法利用圖的稀疏性降低了時間複雜度。當前,很多綜述[16,17,18,19,20,21]對圖嵌入方法進行了歸納與總結,但存在兩大局限:一是部分綜述僅涉及傳統方法介紹,許多新模型沒有納入研究;二是這些綜述隻關注靜態圖嵌入或動態圖嵌入,忽略了二者之間的關聯性。

本文對圖嵌入方法進行全麵係統性綜述,有以下三方麵的貢獻:(1)提出一種新的圖嵌入分類法,同時對靜態圖和動態圖方法進行分類;(2)對現有模型進行係統性分析,為理解現有方法提供新視角;(3)提出了四個圖嵌入的潛在研究方向。

成為VIP會員查看完整內容
1
22
1

知識圖譜(KG)是一種用圖模型來描述知識和建模事物之間關聯關係的技術.知識圖譜嵌入(KGE)作為一種被廣泛采用的知識表示方法,其主要思想是將知識圖譜中的實體和關係嵌入到連續的向量空間中,用來簡化操作,同時保留KG的固有結構.它可以使得多種下遊任務受益,例如KG補全和關係提取等.首先對現有的知識圖譜嵌入技術進行全麵回顧,不僅包括使用KG中觀察到的事實進行嵌入的技術,還包括添加時間維度的動態KG嵌入方法,以及融合多源信息的KG嵌入技術.對相關模型從實體嵌入、關係嵌入、評分函數等方麵進行分析、對比與總結.然後簡要介紹KG嵌入技術在下遊任務中的典型應用,包括問答係統、推薦係統和關係提取等.最後闡述知識圖譜嵌入麵臨的挑戰,對未來的研究方向進行展望.

http://www.jos.org.cn/jos/article/abstract/6429

成為VIP會員查看完整內容
0
41
0

知識圖譜是一種用網絡結構存儲知識的知識庫,在知識圖譜中,單條知識被表示成三元組的形式,即(頭實體,關係,尾實體).得力於知識圖譜在各個領域的廣泛應用,麵向知識圖譜的圖嵌入學習也得到越來越多研究人員的關注.麵向知識圖譜的圖嵌入學習任務旨在為圖譜中的實體與關係學習低維且稠密的向量,通過圖嵌入向量表達實體與關係的語義信息以及度量實體之間、關係之間、實體與關係之間的語義聯係,已有許多研究證明圖嵌入模型在下遊任務中的有效性.近年來,越來越多研究人員開始關注知識圖譜的圖嵌入學習,並取得大量的研究成果,本文嚐試將圖嵌入算法分成了基於轉移思想、基於張量分解、基於傳統深度學習模型、基於圖神經網絡以及融入額外信息的圖嵌入學習共五大類,梳理、介紹各類圖嵌入算法的設計思路、算法特征以及優缺點,以幫助指導初步接觸該領域的研究人員快速學習了解該研究領域的相關模型和算法.

http://jos.org.cn/jos/article/abstract/6426

成為VIP會員查看完整內容
0
32
1

隨著智能化水平的不斷提高, 每時每刻都有大量的新知識產生, 知識圖譜逐漸成為我們管理知識的工具之一. 但現有的知識圖譜仍然存在屬性缺失、關係稀疏等問題, 同時還存在大量噪聲信息, 導致圖譜質量不佳, 易對自然語言處理領域中的各類任務造成影響. 麵向知識圖譜的知識推理技術作為目前的研究熱點, 是解決該問題的主要方法, 其通過模擬人的推理過程完成對圖譜信息的完善, 在眾多應用中有較好表現. 以知識圖譜為切入點, 將知識推理技術按類別劃分並分別闡釋, 詳細分析該技術的幾種應用任務, 例如智能問答、推薦係統等, 最後對未來主要研究方向進行展望, 提出幾種研究思路.

http://www.c-s-a.org.cn/csa/article/abstract/8137

成為VIP會員查看完整內容
0
48
1

針對知識圖譜(KG)在知識驅動的人工智能研究中發揮的強大支撐作用,分析並總結了現有知識圖譜和知識超圖技術。首先,從知識圖譜的定義與發展曆程出發,介紹了知識圖譜的分類和架構;其次,對現有的知識表示與存儲方式進行了闡述;然後,基於知識圖譜的構建流程,分析了各類知識圖譜構建技術的研究現狀。特別是針對知識圖譜中的知識推理這一重要環節,分析了基於邏輯規則、嵌入表示和神經網絡的三類典型的知識推理方法。此外,以異構超圖引出知識超圖的研究進展,並提出三層架構的知識超圖,從而更好地表示和提取超關係特征,實現對超關係數據的建模及快速的知識推理。最後,總結了知識圖譜和知識超圖的典型應用場景並對未來的研究作出了展望。

隨著計算機科學相關領域研究的不斷深入,人工智能的 研究重心由感知智能轉向認知智能。專家係統和語義網絡作 為認知智能的早期代表,提出“將知識引入人工智能領域”,在 某些特定領域具備一定的問題解決能力,但仍存在規模較小、 自動化構建能力不足、知識獲取困難等一係列問題。知識圖譜(Knowledge Graph,KG)的出現,改變了傳統的 知識獲取模式,將知識工程“自上而下”方式轉變為挖掘數據、 抽取知識的“自下而上”方式。經過長期的理論創新與實踐探 索,知識圖譜已經具備體係化的構建與推理方法。然而,對於 實體關係,知識圖譜雖然有較強的建模能力,但難以表達普遍存在的多元關係。知識超圖通過引入超邊關係,能夠完整表 達各種複雜的關係類型,得到學術界和工業界的高度關注。此 外 ,知 識 圖 譜 和 知 識 超 圖 能 夠 結 合 深 度 學 習(Deep Learning,DL)等人工智能技術,實現高效推理。

http://www.joca.cn/CN/abstract/abstract24872.shtml

成為VIP會員查看完整內容
0
60
1

摘要:數據和知識是新一代信息技術與智能製造深度融合的基礎。然而,當前產品設計、製造、裝配和服務等過程中,數據及知識的存儲大多以傳統關係型數據庫為基礎,這導致了數據及知識的冗餘性和搜索及推理的低效性。近年來,知識圖譜技術飛速發展起來,它本質上是基於語義網絡的思想,可以實現對現實世界的事物及其相互關係的形式化描述。該技術為智能製造領域數據及知識的關聯性表達和相關性搜索推理問題的解決帶來了可能性,因此其在智能製造的實現過程中扮演著越來越重要的角色。為了給知識圖譜在智能製造領域的應用提供理論支撐,總結了知識圖譜領域的研究進展;同時探索了知識圖譜在智能製造領域的3大類應用方向,共15小類應用前景,分析了在各個應用前景上與傳統方法的不同之處,應用過程中所需要使用的知識圖譜相關技術以及實施過程中所待突破的關鍵技術,希望可以為進一步展開針對知識圖譜在智能製造領域的研究提供啟發,同時為相關企業針對知識圖譜的實際應用提供參考;最後以數控車床故障分析為案例,驗證了知識圖譜在智能製造領域應用的有效性。

物聯網、雲計算、人工智能等新一代信息技術的迅猛發展,帶來了製造業的新一輪突破,推動著製造係統向智能化方向發展,驅動著未來製造模式的創新[1]。其中數據和知識是實現製造業與新一代信息技術融合的基礎,是實現智能製造的保障。一方麵,產品在其生命周期的各個階段將會產生海量工業數據和知識[2];另一方麵,工業數據和知識是製造領域的信息化進程的必備資源,其中蘊含了大量有用的模式。然而,當前製造領域產品設計、製造、裝配、服務等生命周期過程中數據以及知識的存儲大多以傳統關係型數據庫為基礎,冗餘性較高、分布分散、關聯性較弱且儲量相對較小,強調對數據以及知識的檢索卻較少從語義層麵研究數據以及知識的關聯、認知、理解與推理。因此,如何從冗 餘的數據與知識文本中抽取有用信息,如何有效表 達數據之間的內在關聯與知識之間的內在關聯,如 何有效利用數據的關聯性與知識的關聯性實現高效 的信息檢索與信息推理,是當前實現智能製造目標 的核心瓶頸之一。知識圖譜(Knowledge graph,KG)來源於穀歌下 一代智能語義搜索引擎技術。其本質上基於語義網 絡的思想,是一種有向圖結構的語義知識庫,用於 以符號形式描述物理世界中的概念及其相互關 係 [3],其應用服務架構如圖 1 所示。在知識圖譜內 部,數據和知識的存儲結構為三元組,形如 s p o , ,其中 s 和 o 為知識圖譜中的節點,分別 代表了主語實體知識和賓語實體知識, p 為知識圖 譜中的邊,代表了從 s 指向 o 的關係知識(謂語)。

知識圖譜具有如下 3 種特點:① 數據及知識的 存儲結構為有向圖結構。有向圖結構允許知識圖譜 有效地存儲數據和知識之間的關聯關係;② 具備高 效的數據和知識檢索能力。知識圖譜可以通過圖匹 配算法,實現高效的數據和知識訪問;③ 具備智能 化的數據和知識推理能力。知識圖譜可以自動化、 智能化地從已有的知識中發現和推理多角度的隱含知識。

目前,知識圖譜技術已經在互聯網領域如搜索引擎、智能問答等發揮了重要作用,同時也已經在 多個領域進行初步應用,比如:金融、電商、醫療 等 [4]。許多國際著名企業也已經開始探索知識圖譜 的應用,比如穀歌、微軟、IBM、蘋果等。與此同 時,在智能製造領域,西門子於 2018 年提出了他們 在知識圖譜領域的規劃[5];博世公司於 2019 年構建 了底盤係統控製相關數據的大型知識圖譜,以提供 有效地數據訪問[6]。然而國內的機械行業針對知識 圖譜的探索卻有些許不足。在研究過程中以及與多家機械相關企業的交流中發現,當前知識圖譜在智 能製造領域應用過程還存在以下不足。

(1) 缺乏對知識圖譜理論的深入認識。目前知 識圖譜相關理論與技術在迅速發展,但是智能製造 領域的專家大多對該技術缺乏深入的了解,無法有 效管理和應用知識圖譜中的數據及知識。

(2) 知識圖譜相關技術在智能製造領域的優勢 不明晰。目前知識圖譜在智能製造領域的應用處於 起步階段,針對產品設計、製造、裝配、服務等過 程所帶來的優勢不是很明確,且在知識圖譜應用於 智能製造領域過程中可能遇到的問題尚不明確。

(3) 知識圖譜相關技術在智能製造領域的應用 場景模糊。當前企業對知識圖譜在智能製造領域的 應用前景有所疑問,不確定知識圖譜技術在產品設 計、製造、裝配和服務等過程的切入點和切入方式。

(4) 知識圖譜在智能製造領域落地所需要的技 術不明確。目前在通用領域上的知識圖譜的研究角 度十分廣泛,但是針對智能製造領域各個應用場景, 所需要使用的知識圖譜相關技術類別卻還不是很明晰。

(5) 智能製造領域相關數據缺乏。目前基於深 度學習的知識圖譜相關技術需要構建一定量的有標 簽數據集,目前通用領域的相關數據集比較多,而 智能製造領域的相關數據卻比較缺乏。

針對以上問題,本文總結了可以應用於智能製 造領域的知識圖譜技術的研究進展。同時從應用出 發,探索了知識圖譜在智能製造領域的 3 大類應用 方向,共 15 小類應用前景,分析了在各個應用前景 上與傳統方法的不同之處,應用過程中所需要的知 識圖譜技術以及實施過程中所待突破的關鍵技術, 為後續知識圖譜在智能製造領域的進一步落地提供 理論支撐和方法參考。

成為VIP會員查看完整內容
0
70
0

推薦係統旨在為用戶推薦個性化的在線商品或信息, 其廣泛應用於眾多Web場景之中, 來處理海量信息數據所導致的信息過載問題, 以此提升用戶體驗. 鑒於推薦係統強大的實用性, 自20世紀90年代中期以來, 研究者針對其方法與應用兩方麵, 進行了大量廣泛的研究. 近年來, 很多工作發現知識圖譜中所蘊含的豐富信息可以有效地解決推薦係統中存在的一係列關鍵問題, 例如數據稀疏、冷啟動、推薦多樣性等. 因此, 本文 針對基於知識圖譜的推薦係統這一領域進行了全麵的綜述. 具體地, 首先簡單介紹推薦係統與知識圖譜中的一些基本概念. 隨後, 詳細介紹現有方法如何挖掘知識圖譜不同種類的信息並應用於推薦係統. 此外, 總結了相關的一係列推薦應用場景. 最後, 提出了對基於知識圖譜的推薦係統前景的看法, 並展望了該領域未來的研究方向.

成為VIP會員查看完整內容
0
226
1

知識圖譜是人工智能的重要基石,因其包含豐富的圖結構和屬性信息而受到廣泛關注.知識圖譜可以精確語義描述 現實世界中的各種實體及其聯係,其中頂點表示實體,邊表示實體間的聯係.知識圖譜劃分是大規模知識圖譜分布式處理的 首要工作,對知識圖譜分布式存儲、查詢、推理和挖掘起基礎支撐作用.隨著知識圖譜數據規模及分布式處理需求的不斷增 長,如何對其進行劃分已成為目前知識圖譜研究熱點問題.從知識圖譜和圖劃分的定義出發,係統性地介紹當前知識圖譜數 據劃分的各類算法,包括基本、多級、流式、分布式和其他類型圖劃分算法.首先,介紹 4 種基本圖劃分算法:譜劃分算法、 幾何劃分算法、分支定界算法、KL 及其衍生算法,這類算法通常用於小規模圖數據或作為其他劃分算法的一部分;然後, 介紹多級圖劃分算法,這類算法對圖粗糙化後進行劃分再投射回原始圖,根據粗糙化過程分為基於匹配的算法和基於聚合的 算法;其次,描述 3 種流式圖劃分算法,這類算法將頂點或邊加載為序列後進行劃分,包括哈希算法、貪心算法、Fennel 算法,以及這 3 種算法的衍生算法;再次,介紹以 KaPPa、JA-BE-JA 和輕量級重劃分為代表的分布式圖劃分算法及它們的 衍生算法;同時,在其他類型圖劃分算法中,介紹近年來新興的 2 種圖劃分算法:標簽傳播算法和基於查詢負載的算法。通 過在合成與真實知識圖譜數據集上的豐富實驗,比較了 5 類知識圖譜代表性劃分算法在劃分效果、查詢處理與圖數據挖掘方 麵的性能差異,分析實驗結果並推廣到推理層麵,獲得了基於實驗的知識圖譜劃分算法性能評價結論。最後,在對已有方法 分析和比較的基礎上,總結目前知識圖譜數據劃分麵臨的主要挑戰,提出相應的研究問題,並展望未來的研究方向.

成為VIP會員查看完整內容
0
87
3
小貼士
相關VIP內容
專知會員服務
22+閱讀 · 1月17日
專知會員服務
41+閱讀 · 2021年11月11日
專知會員服務
32+閱讀 · 2021年11月3日
專知會員服務
48+閱讀 · 2021年11月1日
專知會員服務
25+閱讀 · 2021年10月30日
專知會員服務
60+閱讀 · 2021年8月26日
專知會員服務
70+閱讀 · 2021年2月25日
專知會員服務
226+閱讀 · 2020年8月10日
專知會員服務
94+閱讀 · 2020年5月21日
專知會員服務
87+閱讀 · 2020年4月27日
相關資訊
【知識圖譜】知識圖譜嵌入模型簡介
深度學習自然語言處理
4+閱讀 · 2020年10月10日
基於圖神經網絡的知識圖譜研究進展
AI科技評論
7+閱讀 · 2020年8月31日
【長文綜述】基於圖神經網絡的知識圖譜研究進展
深度學習自然語言處理
7+閱讀 · 2020年8月23日
基於知識圖譜的推薦係統研究綜述
專知
3+閱讀 · 2020年8月10日
領域知識圖譜研究綜述
專知
10+閱讀 · 2020年8月2日
【綜述】基於知識圖譜的推薦係統綜述
AINLP
7+閱讀 · 2020年7月7日
知識圖譜最新研究綜述
深度學習自然語言處理
33+閱讀 · 2020年6月14日
知識圖譜嵌入(KGE):方法和應用的綜述
專知
45+閱讀 · 2019年8月25日
【知識圖譜】醫學知識圖譜構建技術與研究進展
產業智能官
39+閱讀 · 2017年11月16日
醫學知識圖譜構建技術與研究進展
全球人工智能
16+閱讀 · 2017年11月13日
相關論文
Temporal Computer Organization
James E. Smith
0+閱讀 · 1月19日
Meta Learning for Causal Direction
Jean-Francois Ton,Dino Sejdinovic,Kenji Fukumizu
5+閱讀 · 2020年7月6日
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
81+閱讀 · 2020年3月4日
Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang
8+閱讀 · 2019年12月28日
Tianshuo Zhou,Ziyang Li,Gong Cheng,Jun Wang,Yu'Ang Wei
4+閱讀 · 2019年10月11日
Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
Vineet Kosaraju,Amir Sadeghian,Roberto Martín-Martín,Ian Reid,S. Hamid Rezatofighi,Silvio Savarese
5+閱讀 · 2019年7月17日
On Improving Decentralized Hysteretic Deep Reinforcement Learning
Xueguang Lu,Christopher Amato
3+閱讀 · 2018年12月15日
Xu Chen,Yongfeng Zhang,Hongteng Xu,Yixin Cao,Zheng Qin,Hongyuan Zha
7+閱讀 · 2018年1月31日
Liwei Cai,William Yang Wang
5+閱讀 · 2017年11月11日
Top
微信掃碼谘詢專知VIP會員
Top