許多真實的數據以非網格對象的形式出現,例如從社交網絡到分子的圖表。從類似網格的數據(如圖像)到圖的深度學習最近受到了機器學習和數據挖掘領域前所未有的關注,導致了一個新的跨領域領域——深度圖學習(DGL)。DGL的目標不是繁雜的特征工程,而是以端到端的方式學習圖的信息表示。它在節點/圖分類、鏈路預測等任務中表現出了顯著的成功。

雖然之前的幾個教程已經在webconf中介紹了圖神經網絡(GNNs),但很少關注DGL算法的表達性、可訓練性和泛化。為了使DGL更加流行和先進,本教程主要介紹DGL近年來的主要成就。具體來說,我們將討論四個基本的主題,即如何高效地設計和訓練深度GNNs,如何采用GNNs來應對大規模圖,對GNNs的對抗性攻擊,以及對GNNs的無監督訓練。同時,我們將介紹DGL在不同領域的應用,包括但不限於藥物發現、計算機視覺、社會網絡分析等。

目錄內容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

"> 【WWW2021-Tutorial】高級深度圖學習:更深入、更快、更魯棒和無監督 - 專知VIP

2021年國際萬維網大會The Web Conference(舊稱WWW)將於2021年4月19日-23日線上召開。TheWebConf是中國計算機學會(CCF)推薦的A類國際學術會議,是互聯網技術領域最重要的國際會議之一,由國際萬維網會議委員會(IW3C2)和主辦地地方團隊合作組織,每年召開一次,今年是第30屆會議。本次會議共接收1736篇提交長文,最終錄用357篇,錄用率為20.6%。

許多真實的數據以非網格對象的形式出現,例如從社交網絡到分子的圖表。從類似網格的數據(如圖像)到圖的深度學習最近受到了機器學習和數據挖掘領域前所未有的關注,導致了一個新的跨領域領域——深度圖學習(DGL)。DGL的目標不是繁雜的特征工程,而是以端到端的方式學習圖的信息表示。它在節點/圖分類、鏈路預測等任務中表現出了顯著的成功。

雖然之前的幾個教程已經在webconf中介紹了圖神經網絡(GNNs),但很少關注DGL算法的表達性、可訓練性和泛化。為了使DGL更加流行和先進,本教程主要介紹DGL近年來的主要成就。具體來說,我們將討論四個基本的主題,即如何高效地設計和訓練深度GNNs,如何采用GNNs來應對大規模圖,對GNNs的對抗性攻擊,以及對GNNs的無監督訓練。同時,我們將介紹DGL在不同領域的應用,包括但不限於藥物發現、計算機視覺、社會網絡分析等。

目錄內容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

成為VIP會員查看完整內容
0
36
0

相關內容

機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

題目: Lorentzian Graph Convolutional Networks 會議: WWW 2021

圖卷積神經網絡(GCN)最近受到了大量研究者的關注。大多數GCN使用歐幾裏得幾何學習節點的特征表示,但是對於具有無標度或層次結構的圖,歐幾裏得幾何可能會產生較高的失真。近來,一些GCN使用非歐幾裏得幾何,例如雙曲幾何,解決以上問題。盡管雙曲GCN展示了其性能,但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何,這可能會限製雙曲幾何的能力,從而損害雙曲GCN的性能。 在本文中,我們提出了一種新穎的洛倫茲圖卷積網絡(LGCN),它在雙曲空間的雙曲麵模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作,包括特征變換和非線性激活,以確保變換後的節點特征遵循雙曲幾何。此外,基於洛倫茲距離的質心,我們提出了一種優雅的雙曲鄰居聚合方式,以確保被聚合的節點特征滿足數學意義。並且,我們從理論上證明了一些提出的操作等同於在另一類雙曲幾何中的定義,表明所提出的方法填補了雙曲麵模型缺乏嚴謹的圖操作的空白。

成為VIP會員查看完整內容
0
22
0

近年來,基於圖學習的推薦係統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖,以及物品的特征來進行推薦。與其他RS方法(包括基於內容的過濾和協同過濾)不同,GLRS是建立在圖上的,其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。

隨著圖學習技術的快速發展,探索和開發圖中的同質或異質關係是構建更有效的RS的一個有前途的方向。通過討論如何從基於圖的表示中提取重要的知識,以提高推薦的準確性、可靠性和可解釋性。

首先對GLRS進行了表示和形式化,然後對該研究領域麵臨的主要挑戰和主要進展進行了總結和分類。

引言

推薦係統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用,以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時,圖學習(Graph Learning, GL)是一種新興的人工智能技術,它涉及到應用於圖結構數據的機器學習,近年來發展迅速,顯示出了其強大的能力[Wu et al., 2021]。事實上,得益於這些學習關係數據的能力,一種基於GL的RS範式,即基於圖學習的推薦係統(GLRS),在過去幾年中被提出並得到了廣泛的研究[Guo等人,2020]。在本文中,我們對這一新興領域的挑戰和進展進行了係統的回顧。

動機: 為什麼要用圖學習RS?

RS中的大部分數據本質上是一個圖結構。在現實世界中,我們身邊的大多數事物都或明或暗地相互聯係著;換句話說,我們生活在一個圖的世界裏。這種特征在RS中更加明顯,這裏考慮的對象包括用戶、物品、屬性、上下文,這些對象之間緊密相連,通過各種關係相互影響[Hu et al., 2014],如圖1所示。在實踐中,RS所使用的數據會產生各種各樣的圖表,這對推薦的質量有很大的幫助。

圖學習具有學習複雜關係的能力。作為最具發展前景的機器學習技術之一,GL在獲取嵌入在不同類型圖中的知識方麵顯示出了巨大的潛力。具體來說,許多GL技術,如隨機遊走和圖神經網絡,已經被開發出來學習特定類型的關係由圖建模,並被證明是相當有效的[Wu et al., 2021]。因此,使用GL來建模RS中的各種關係是一個自然和令人信服的選擇。

圖學習如何幫助RS? 到目前為止,還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E},其中對象(如用戶和商品)在V中表示為節點,它們之間的關係(如購買)在E中表示為邊。構建並訓練GLRS模型M(Θ)學習最優模型參數Θ,生成最優推薦結果R。

根據具體的推薦數據和場景,可以以不同的形式定義圖G和推薦目標R,例如,G可以是同質序列或異構網絡,而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al., 2019f]或節點之間形成鏈接的最大概率[Verma et al., 2019]。

這項工作的主要貢獻總結如下:

• 我們係統地分析了各種GLRS圖所呈現的關鍵挑戰,並從數據驅動的角度對其進行分類,為更好地理解GLRS的重要特征提供了有用的視角。

• 我們通過係統分類較先進的技術文獻,總結了目前GLRS的研究進展。

• 我們分享和討論了一些GLRS開放的研究方向,供社區參考。

成為VIP會員查看完整內容
0
52
2

在推薦係統中,當用戶-物品交互數據稀疏時,常用社會關係來提高推薦質量。大多數現有的社交推薦模型都是利用成對關係來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常複雜,用戶關係可以是高階的。超圖提供了一種自然的方式來建模複雜的高階關係,而它在改善社會推薦方麵的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關係增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關係模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全麵的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優於SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過https://github.com/Coder-Yu/RecQ獲得。

//www.webtourguide.com/paper/f786e30e0450dcf59a593057b61b9350

成為VIP會員查看完整內容
0
18
1

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法,促進下遊任務的完成,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由於其強大的表示學習能力,GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來,它已成為一個熱門的研究課題,越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題,包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基於GNNs的應用程序。

目錄內容: 引言 Introduction 基礎 Foundations 模型 Models 應用 Applications

http://cse.msu.edu/~mayao4/tutorials/aaai2021/

成為VIP會員查看完整內容
0
87
0

圖表示學習

近年來,圖神經網絡(GNNs)在結構化數據建模方麵取得了巨大的成功。然而,大多數GNN是為同構網絡設計的,即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖,如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中,我將介紹圖神經網絡架構,它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機製,以捕獲真實圖異構和動態性質。接下來,我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最後,為了處理web規模的數據,我將介紹一種異構的小型批處理圖采樣算法,該算法帶有一個歸納的時間戳分配方法,用於高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。

https://ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

成為VIP會員查看完整內容
0
91
2

圖神經網絡在處理基於圖數據問題方麵取得了巨大的成功,受到了廣泛的關注和應用。GNNs通常是基於消息傳遞的方式設計的,本質思想即迭代地聚合鄰居信息,而經過次的迭代後, 層GNNs能夠捕獲節點的K-hop局部結構,學習來自跳鄰居的信息。因此更深層的GNN就能夠訪問更多的鄰居信息,學習與建模遠距離的節點關係,從而獲得更好的表達能力與性能。而在實際在做深層GNN操作時,往往會麵臨著兩類問題:1. 隨著層數的增加,GNNs的性能會大幅下降;2. 隨著層數的增加,利用GNNs進行訓練與推斷時需要的計算量會指數上升。對於第一個問題來說,現有的很多工作分析出深層GNNs性能下降的原因是受到了過平滑問題的影響,並提出了緩解過平滑的解決方案;而對於第二個問題來說,設計方案模擬深層GNNs的表現能力並減少GNNs的計算消耗也成了亟待解決的需求,比如用於實時係統的推斷。針對這兩個問題,本文將分別介紹兩個在KDD 2020上的關於深度GNNs的最新工作。

第一個工作是Research Track的《Towards Deeper Graph Neural Networks》。該工作從另一個角度去解讀深度圖神經網絡隨著層數增加性能下降的問題,認為影響性能下降的主要原因是Transformation和Propagation兩個過程的糾纏影響作用,並且基於分析結果設計了深度自適應圖神經網絡(Deep Adaptive Graph Neural Networks) 模型,能夠有效地緩解深層模型的性能快速下降問題。

第二個工作是Research Track的《TinyGNN: Learning Efficient Graph Neural Networks》。該工作嚐試訓練small GNN(淺層)去模擬Deep GNN(深層)的表達能力和表現效果,致力於應用在實時係統推斷等對推斷速度有較高要求的場景。

成為VIP會員查看完整內容
0
39
1

從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中,我們的目的是提供一個深入的圖學習的全麵介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然後介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最後,我們將介紹DGL在各個領域的應用,包括但不限於藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A

成為VIP會員查看完整內容
0
96
0

從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中,我們的目的是提供一個深入的圖學習的全麵介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然後介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最後,我們將介紹DGL在各個領域的應用,包括但不限於藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 圖神經網絡介紹
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 圖神經網絡魯棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 圖神經網絡自監督學習
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 圖神經網絡可擴展學習
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 圖結構學習
成為VIP會員查看完整內容
0
50
0

深度神經網絡(DNN)在各個領域的大量機器學習任務中取得了前所未有的成功。然而,在將DNN模型應用於諸如自動駕駛汽車和惡意軟件檢測等安全關鍵任務時,存在的一些反麵例子給我們帶來了很大的猶豫。這些對抗例子都是故意製作的實例,無論是出現在火車上還是測試階段,都可以欺騙DNN模型,使其犯下嚴重錯誤。因此,人們致力於設計更健壯的模型來抵禦對抗的例子,但它們通常會被新的更強大的攻擊擊垮。這種對抗性的攻擊和防禦之間的軍備競賽近年來受到越來越多的關注。**在本教程中,我們將全麵概述對抗性攻擊的前沿和進展,以及它們的對策。特別地,我們詳細介紹了不同場景下的不同類型的攻擊,包括閃避和中毒攻擊,白盒和黑盒攻擊。**我們還將討論防禦策略如何發展以對抗這些攻擊,以及新的攻擊如何出現以打破這些防禦。此外,我們將討論在其他數據域中的敵對攻擊和防禦,特別是在圖結構數據中。然後介紹了Pytorch對抗式學習圖書館DeepRobust,旨在為該研究領域的發展搭建一個全麵、易用的平台。最後,我們通過討論對抗性攻擊和防禦的開放問題和挑戰來總結本教程。通過我們的教程,我們的觀眾可以掌握對抗性攻擊和防禦之間的主要思想和關鍵方法。

目錄內容:Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.

成為VIP會員查看完整內容
0
45
0
小貼士
相關VIP內容
專知會員服務
22+閱讀 · 5月26日
專知會員服務
52+閱讀 · 5月7日
專知會員服務
18+閱讀 · 4月5日
專知會員服務
39+閱讀 · 2020年9月20日
專知會員服務
96+閱讀 · 2020年8月30日
專知會員服務
50+閱讀 · 2020年8月30日
專知會員服務
132+閱讀 · 2020年4月12日
相關論文
Yanqiao Zhu,Weizhi Xu,Jinghao Zhang,Qiang Liu,Shu Wu,Liang Wang
13+閱讀 · 3月4日
Junliang Yu,Hongzhi Yin,Jundong Li,Qinyong Wang,Nguyen Quoc Viet Hung,Xiangliang Zhang
8+閱讀 · 1月21日
A Graph Auto-Encoder for Attributed Network Embedding
Keting Cen,Huawei Shen,Jinhua Gao,Qi Cao,Bingbing Xu,Xueqi Cheng
3+閱讀 · 2019年6月20日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
9+閱讀 · 2018年12月21日
Attributed Network Embedding for Incomplete Structure Information
Chengbin Hou,Shan He,Ke Tang
3+閱讀 · 2018年11月28日
Sambaran Bandyopadhyay,Lokesh N,M. N. Murty
4+閱讀 · 2018年11月19日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Anand Louis,Partha Talukdar
10+閱讀 · 2018年9月7日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
7+閱讀 · 2018年8月21日
Mohammad Mehdi Keikha,Maseud Rahgozar,Masoud Asadpour
3+閱讀 · 2018年2月19日
Lizi Liao,Xiangnan He,Hanwang Zhang,Tat-Seng Chua
3+閱讀 · 2017年5月14日
Top