http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

"> 圖神經網絡在自然語言處理中的應用(中文版),23頁pdf - 專知VIP

近幾年,神經網絡因其強大的表征能力逐漸取代傳統的機器學習成為自然語言處理任務的基本模型。然而經典的神經網絡模型隻能處理歐氏空間中的數據,自然語言處理領域中,篇章結構,句法甚至句子本身都以圖數據的形式存在。因此,圖神經網絡引起學界廣泛關注,並在自然語言處理的多個領域成功應用。該文對圖神經網絡在自然語言處理領域中的應用進行了係統性的綜述, 首先介紹了圖神經網絡的核心思想並梳理了三種經典方法: 圖循環網絡,圖卷積網絡和圖注意力網絡;然後在具體任務中,詳細描述了如何根據任務特性構建合適的圖結構以及如何合理運用圖結構表示模型。該文認為,相比專注於探索圖神經網絡的不同結構,探索如何以圖的方式建模不同任務中的關鍵信息,是圖神經網絡未來工作中更具普遍性和學術價值的一個研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

成為VIP會員查看完整內容
0
75
0

相關內容

自然語言處理(NLP)是語言學,計算機科學,信息工程和人工智能的一個子領域,與計算機和人類(自然)語言之間的相互作用有關,尤其是如何對計算機進行編程以處理和分析大量自然語言數據 。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

圖神經網絡(GNN)是一類基於深度學習的處理圖域信息的方法,它通過將圖廣播操作和深度學習算法結合,可以讓圖的結構信息和頂點屬性信息都參與到學習中,在頂點分類、圖分類、鏈接預測等應用中表現出良好的效果和可解釋性,已成為一種廣泛應用的圖分析方法.然而現有主流的深度學習框架(如Tensorflow、PyTorch等)沒有為圖神經網絡計算提供高效的存儲支持和圖上的消息傳遞支持,這限製了圖神經網絡算法在大規模圖數據上的應用.目前已有諸多工作針對圖結構的數據特點和圖神經網絡的計算特點,探索了大規模圖神經網絡係統的設計和實現方案.本文首先對圖神經網絡的發展進行簡要概述,總結了設計圖神經網絡係統需要麵對的挑戰;隨後對目前圖神經網絡係統的工作進行介紹,從係統架構、編程模型、消息傳遞優化、圖分區策略、通信優化等多個方麵對係統進行分析;最後使用部分已開源的圖神經網絡係統進行實驗評估,從精確度、性能、擴展性等多個方麵驗證這些係統的有效性.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6311

成為VIP會員查看完整內容
0
87
1

深度學習是機器學習和人工智能研究的最新趨勢,作為一個十餘年來快速發展的嶄新領域,越來越受到研究者的關注。卷積神經網絡(CNN)模型是深度學習模型中最重要的一種經典結構,其性能在近年來深度學習任務上逐步提高。由於可以自動學習樣本數據的特征表示,卷積神經網絡已經廣泛應用於圖像分類、目標檢測、語義分割以及自然語言處理等領域。首先分析了典型卷積神經網絡模型為提高其性能增加網絡深度以及寬度的模型結構,分析了采用注意力機製進一步提升模型性能的網絡結構,然後歸納分析了目前的特殊模型結構,最後總結並討論了卷積神經網絡在相關領域的應用,並對未來的研究方向進行展望。

地址:http://fcst.ceaj.org/CN/abstract/abstract2521.shtml

成為VIP會員查看完整內容
0
60
1

摘要:隨著計算機行業和互聯網時代的不斷發展與進步,圖神經網絡已經成為人工智能和大數據重要研究領域。圖神經網絡是對相鄰節點間信息的傳播和聚合的重要技術,可以有效地將深度學習的理念應用於非歐幾裏德空間的數據上。簡述圖計算、圖數據庫、知識圖譜、圖神經網絡等圖技術領域的相關研究曆史,分類介紹不同類型的圖結構。分析對比不同的圖神經網絡技術,重點從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網絡算法。闡述圖生成和圖對抗網絡、圖強化學習、圖遷移學習、神經任務圖和圖零樣本學習等不同的圖網絡與深度學習方法相結合的技術方法,並列舉不同的圖神經網絡技術在文本、圖像、知識圖譜、視頻任務等領域的具體應用。最後,對圖神經網絡未來的發展與研究方向加以展望。

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年來隨著計算機行業的快速發展和數據量的井噴式增長,深度學習方法被提出並得到了廣泛的 應用。深度學習通過神經網絡端到端的解決方案, 在圖像處理、語音識別、語義理解[1]等領域取得了 巨大的成功,深度學習的應用往往都是在高維特征 空間上特征規則分布的歐幾裏德數據。作為一種關 係型數據結構,圖(Graph)在深度學習中的應用研究近年來受到越來越多的關注,本文將圖的演進曆程分為數學起源、計算應用、神經網絡延伸三個階段。

圖的概念起源於 18 世紀著名的柯尼斯堡七橋問 題,到了 20 世紀中期,擬陣理論、超圖理論、極圖 理論等研究蓬勃發展,使得圖論(Graph Theory)[2] 在電子計算誕生前,就已經成為了重要的數學研究領域。

隨著計算機的出現和機器計算時代的到來和發 展,圖作為一種能夠有效且抽象地表達信息和數據 中的實體以及實體之間關係的重要數據結構被廣泛應用,圖數據庫有效解決了傳統的關係型數據結構 麵對大量複雜的數據所暴露出的建模缺陷多、計算速度慢等問題,圖數據庫也成為了非常熱門的研究 領域。圖結構(Graph-structured Data)[3]可以將結構化數據點通過邊的形式,依照數據間的關係將不同類型和結構的數據節點連接起來,因而被廣泛地應用在數據的存儲、檢索以及計算應用中。基於圖結構數據,知識圖譜[4-7]可以通過點和邊的語義關係, 來實現精確地描述現實世界中實體之間的關聯關係, 作為人工智能非常重要的研究領域,知識圖譜的研究方向包括知識抽取、知識推理、知識圖譜可視化等。圖計算(Graph Computing)具有數據規模量大、 局部性低、計算性能高等特性,圖計算算法[8-9]主要 可以分為路徑搜索算法、中心性算法、社群發現算法等三類,實現了在關係複雜型的大規模數據上高 時效性和準確度的表現,在社交網絡、團體反欺詐 和用戶推薦等領域有著重要的應用。

與已經非常成熟圖計算不同,圖神經網絡 (Graph Neural Network)的研究主要是集中在相鄰節點信息的傳播與聚合上,從圖神經網絡的概念提 出,到受深度學習中卷積神經網絡的啟發,2013 年 提出的基於圖論的圖卷積神經網絡 [10-11]研究方向吸 引了大量學者關注。2018 年 DeepMind 提出圖網絡 (Graph Network)[12]的概念,希望能夠將深度學習 端到端的學習方式與圖結構關係歸納推理的理論結 合解決深度學習無法處理關係推理的問題。針對圖 神經網絡存在的問題,不同的學者們也給出了不同 的方案,隨著對圖神經網絡這一新興領域更加深入 的研究與探索,人工智能領域的版圖將得到更大擴展。

文獻[12]在關係歸納偏置和深度學習的研究基礎 上,提出了麵向關係推理的圖網絡概念並進行了綜 述,但未對不同圖網絡技術進行分類和對比。文獻 [13]從半監督、無監督方法的角度對圖結構上的深度 學習進行了綜述,但缺少相近的分類和應用的討論。文獻[14]主要從傳播規則、網絡結構等角度分析了圖神經網絡的不同模型以及應用。文獻[15]則是詳細對 比了時域和空間的不同圖卷神經網絡方法結構,但沒有對圖神經網絡之於深度學習領域的探討,如圖強化學習、圖遷移學習等。本文針對圖神經網絡, 分析對比了六種圖神經網絡方法的優劣,首次對處 理異構圖數據的圖神經網絡技術進行了討論和研究, 綜述了五類圖神經網絡的研究領域,並對未來的發展方向進行了展望。

成為VIP會員查看完整內容
0
224
0

通過學習可觀測數據的概率密度而隨機生成樣本的生成模型在近年來受到人們的廣泛關注, 網絡結構中包含多個隱藏層的深度生成式模型以更出色的生成能力成為研究熱點, 深度生成模型在計算機視覺、密度估計、自然語言和語音識別、半監督學習等領域得到成功應用, 並給無監督學習提供了良好的範式. 本文根據深度生成模型處理似然函數的不同方法將模型分為三類: 第一類方法是近似方法, 包括采用抽樣方法近似計算似然函數的受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的深度置信網絡、深度玻爾茲曼機和亥姆霍茲機, 與之對應的另一種模型是直接優化似然函數變分下界的變分自編碼器以及其重要的改進模型, 包括重要性加權自編碼和可用於半監督學習的深度輔助深度模型; 第二類方法是避開求極大似然過程的隱式方法, 其代表模型是通過生成器和判別器之間的對抗行為來優化模型參數從而巧妙避開求解似然函數的生成對抗網絡以及重要的改進模型, 包括WGAN、深度卷積生成對抗網絡和當前最頂級的深度生成模型BigGAN; 第三類方法是對似然函數進行適當變形的流模型和自回歸模型, 流模型利用可逆函數構造似然函數後直接優化模型參數, 包括以NICE為基礎的常規流模型、變分流模型和可逆殘差網絡(i-ResNet), 自回歸模型(NADE)將目標函數分解為條件概率乘積的形式, 包括神經自回歸密度估計(NADE)、像素循環神經網絡(PixelRNN)、掩碼自編碼器(MADE)以及WaveNet等. 詳細描述上述模型的原理和結構以及模型變形後, 闡述各個模型的研究進展和應用, 最後對深度生成式模型進行展望和總結.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866

受益於當前計算機性能的快速提升, 學習可觀測樣本的概率密度並隨機生成新樣本的生成模型成為熱點. 相比於需要學習條件概率分布的判別模型, 生成模型的訓練難度大、模型結構複雜, 但除了能夠生成新樣本外, 生成模型在圖像重構、缺失數據填充、密度估計、風格遷移和半監督學習等應用領域也獲得了巨大的成功. 當前可觀測樣本的數量和維數都大幅度增加, 淺層的生成模型受到性能瓶頸的限製而無法滿足應用需求, 從而被含有多個隱藏層的深度生成模型替代, 深度生成模型能夠學習到更好的隱表示, 模型性能更好. 本文對有重要意義的深度生成模型進行全麵的分析和討論, 對各大類模型的結構和基本原理進行梳理和分類. 本文第1節介紹深度生成模型的概念和分類; 第2節介紹受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的幾種深度生成模型, 重點內容是各種模型的不同訓練算法; 第3節介紹變分自編碼器的基本結構、變分下界的推理和重參數化方法; 第4節介紹生成對抗網絡, 主要內容為模型原理、訓練方法和穩定性研究, 以及兩種重要的模型結構; 第5節總結了流模型的結構, 詳細介紹了流模型的技術特點; 第6節分析了自回歸模型的模型結構以及幾種重要分支的研究進展; 第7節將介紹生成模型中的兩個小分支: 矩陣匹配模型和隨機生成模型; 第8節對深度生成模型存在的問題進行分析討論, 並對未來的研究方向和發展趨勢做出了展望.

成為VIP會員查看完整內容
0
106
0

近年來,圖神經網絡(GNNs)由於具有建模和從圖結構數據中學習的能力,在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響,而傳統的神經網絡在這些領域的表現並不好。事實上,正如最近的評論可以證明的那樣,GNN領域的研究已經迅速增長,並導致了各種GNN算法變體的發展,以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而,在目前的研究階段,GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外,由於它們依賴於輸入圖,它們的密集和稀疏操作的組合,或者在某些應用中需要伸縮到巨大的圖,GNN很難計算。在此背景下,本文旨在做出兩大貢獻。一方麵,從計算的角度對GNNs領域進行了綜述。這包括一個關於GNN基本原理的簡短教程,在過去十年中該領域發展的概述,以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方麵,對現有的軟硬件加速方案進行了深入分析,總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

成為VIP會員查看完整內容
0
148
6

近年來, 隨著海量數據的湧現, 可以表示對象之間複雜關係的圖結構數據越來越受到重視並給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用於諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基於空間方法的圖神經網絡模型、基於譜方法的圖神經網絡模型和基於生成方法的圖神經網絡模型等,並提出可供未來進一步研究的問題.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關係的一種簡潔抽象的直觀數學表達. 具有相互關係的數據—圖結構數據在眾多領域普遍存在, 並得到廣泛應用. 隨著大量數據的湧現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方麵有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵複雜特征和 實現對海量數據的快速處理等方麵, 例如, 預測化學分子的特性 [1]、文本的關係提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早於 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用於處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此後, 陸續有關於圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重於將所述各種方法置於一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 並根據發展曆史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 並將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 並總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 並討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在於, 我們給出新的分類標準, 並且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基於空間方法的圖神經網絡、基於譜方法的圖神經網絡和基於生成方法的圖神經網絡等; 然後介紹模型在節點分類、鏈路預測和圖生成等方麵的應用; 最後提出未來的研究方向.

成為VIP會員查看完整內容
圖神經網絡.pdf
0
204
36

摘要:過去幾年,卷積神經網絡因其強大的建模能力引起廣泛關注,在自然語言處理、圖像識別等領域成功應用。然而,傳統的卷積神經網絡隻能處理歐氏空間數據,而現實生活中的許多場景,如交通網絡、社交網絡、引用網絡等,都是以圖數據的形式存在。將卷積神經網絡遷移到圖數據分析處理中的核心在於圖卷積算子的構建和圖池化算子的構建。本文對圖卷積神經網絡進行綜述,首先介紹了圖卷積神經網絡的背景並梳理了兩類經典方法——譜方法和空間方法,圖數據上平移不變性的缺失給圖卷積算子的定義帶來困難,譜方法借助卷積定理在譜域定義圖卷積,而空間方法通過在節點域定義節點相關性來實現圖卷積;進而,本文介紹了圖卷積神經網絡的最新進展,這其中包括如何利用圖卷積神經網絡建模圖上的複雜信息,如異質連接、高階連接等,以及如何在大規模圖上實現圖卷積神經網絡;此外,本文介紹了圖卷積神經網絡的相關應用,包括推薦係統領域,交通預測領域等;最後本文對圖卷積神經網絡的發展趨勢進行了總結和展望。

成為VIP會員查看完整內容
0
163
3
小貼士
相關VIP內容
專知會員服務
87+閱讀 · 3月30日
專知會員服務
60+閱讀 · 1月15日
專知會員服務
69+閱讀 · 2020年12月9日
專知會員服務
224+閱讀 · 2020年11月24日
專知會員服務
106+閱讀 · 2020年11月23日
專知會員服務
148+閱讀 · 2020年10月3日
專知會員服務
99+閱讀 · 2020年8月24日
最新《圖神經網絡模型與應用》綜述論文
專知會員服務
204+閱讀 · 2020年8月2日
相關論文
Rabeeh Karimi Mahabadi,Sebastian Ruder,Mostafa Dehghani,James Henderson
0+閱讀 · 6月8日
Liping Chen,Yan Deng,Xi Wang,Frank K. Soong,Lei He
0+閱讀 · 6月8日
Andreas Loukas,Marinos Poiitis,Stefanie Jegelka
0+閱讀 · 6月8日
Wei Niu,Zhenglun Kong,Geng Yuan,Weiwen Jiang,Jiexiong Guan,Caiwen Ding,Pu Zhao,Sijia Liu,Bin Ren,Yanzhi Wang
0+閱讀 · 6月6日
Ming Chen,Zhewei Wei,Bolin Ding,Yaliang Li,Ye Yuan,Xiaoyong Du,Ji-Rong Wen
10+閱讀 · 2020年10月29日
Vikas Verma,Meng Qu,Kenji Kawaguchi,Alex Lamb,Yoshua Bengio,Juho Kannala,Jian Tang
3+閱讀 · 2020年10月8日
Zhilin Yang,Zihang Dai,Yiming Yang,Jaime Carbonell,Ruslan Salakhutdinov,Quoc V. Le
13+閱讀 · 2019年6月19日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
11+閱讀 · 2019年5月24日
Liang Yao,Chengsheng Mao,Yuan Luo
12+閱讀 · 2018年9月15日
Antoine J. -P. Tixier
10+閱讀 · 2018年8月30日
Top