近年來,圖神經網絡(GNN)領域取得了快速和令人難以置信的進展。圖神經網絡,又稱圖深度學習、圖表示學習或幾何深度學習,已成為機器學習特別是深度學習領域發展最快的研究課題之一。這波圖論和深度學習交叉的研究浪潮也影響了其他科學領域,包括推薦係統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動規劃、網絡安全和智能交通。

盡管圖神經網絡已經獲得了極大的關注,但在將其應用到其他領域時,它仍然麵臨著許多挑戰,從方法的理論理解到實際係統中的可擴展性和可解釋性,從方法的可靠性到應用中的經驗性能。然而,隨著該領域的迅速發展,獲得全球視野的gnn的發展已成為一項極具挑戰性的工作。

因此,我們感到迫切需要彌補上述差距,並就這一快速發展但具有挑戰性的主題出版一本全麵的書,它可以造福廣泛的讀者,包括高級本科生和研究生、博士後研究人員、講師和行業從業者。

這本書旨在涵蓋圖神經網絡中廣泛的主題,從基礎到前沿,並從方法到應用。本書致力於介紹GNNs的基本概念和算法,GNNs的新研究前沿,以及GNNs的廣泛和新興應用。

書籍地址: https://graph-neural-networks.github.io/index.html

領域大牛推薦

“第一本全麵涵蓋一個快速發展的研究領域——圖神經網絡(GNN)的書,由權威作者撰寫!”

韓家煒 - 美國伊利諾伊大學香檳分校計算機係教授,IEEE和ACM院士

這本書提出了一個全麵和及時的圖表示學習綜述。由這一領域最好的專家編輯撰寫,這本書是想學習任何關於圖神經網絡的學生,研究人員和實踐者的必讀作品。”

沈向洋-計算機視覺和圖形學研究的世界級專家,IEEE Fellow,ACM Fellow)美國工程院院士,英國皇家工程科學院的國際院士

“作為深度學習的新前沿,圖神經網絡在結合概率學習和符號推理、連接知識驅動和數據驅動範式、開啟第三代人工智能發展方麵提供了巨大的潛力。這本書提供了全麵和深刻的GNN介紹,從基礎到前沿,從算法到應用。對於任何想要進入這一令人興奮的領域的科學家、工程師和學生來說,這都是寶貴的資源。”

張鈸 - 中國科學院院士,清華大學教授

“圖神經網絡是機器學習最熱門的領域之一,這本書是一個很棒的深度資源,涵蓋了圖表示學習的廣泛主題和應用。” Jure Leskovec -斯坦福大學副教授

圖神經網絡是一種新興的機器學習模型,已經在科學和工業領域掀起了一場風暴。是時候采取行動了!它的章節都是由該領域的許多專家精心撰寫的。”

Petar Velickovic - DeepMind 高級研究科學家

目錄內容:

本書主要分為3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分:引言 第 1 章 表示學習 第 2 章 圖表示學習 第 3 章 圖神經網絡

第二部分:基礎 第 4 章 用於節點分類的圖神經網絡 第 5 章 圖神經網絡的表達能力 第 6 章 圖神經網絡:可擴展性 第 7 章 圖神經網絡中的可解釋性 第 8 章 圖神經網絡:對抗魯棒性

第三部分:前沿 第 9 章 圖神經網絡:圖分類 第 10 章 圖神經網絡:鏈接預測 第 11 章 圖神經網絡:圖生成 第 12 章 圖神經網絡:圖變換 第 13 章 圖神經網絡:圖匹配 第 14 章 圖神經網絡:圖結構學習 第 15 章 動態圖神經網絡 第 16 章 異構圖神經網絡 第 17 章 圖神經網絡:AutoML 第 18 章 圖神經網絡:自監督學習

第四部分:應用

第 19 章 現代推薦係統中的圖神經網絡 第 20 章 計算機視覺中的圖神經網絡 第 21 章 自然語言處理中的圖神經網絡 第 22 章 程序分析中的圖神經網絡 第 23 章 軟件挖掘中的圖神經網絡 第 24 章 藥物開發中基於 GNN 的生物醫學知識圖譜挖掘 第 25 章 預測蛋白質功能和相互作用的圖神經網絡 第 26 章 異常檢測中的圖神經網絡 第 27 章 城市智能中的圖神經網絡

作者介紹

吳淩飛博士現任京東矽穀研發中心首席科學家。吳博士曾經是 IBM T. J. Watson Research Center 研究科學家和團隊帶頭人。吳博士在 2016 年從威廉瑪麗大學取得計算機博士學位。他的研究內容包括機器學習、表征學習和自然語言處理。

吳博士帶領的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 團隊(12+ 研究科學家)致力於機器學習與文本數據挖掘領域的基礎研究,並運用機器學習與文本數據挖掘方法解決實際問題。其學術成果先後發表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等國際頂級會議及期刊上,發表論文超過 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多項學術論文獲得著名國際大會的最佳論文和最佳學術論文獎,包括 IEEE ICC 2019。

吳博士同時現任 IEEE 影響因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗艦期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主編。多次組織和擔任國際頂級會議大會或者領域主席,如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鵬,清華大學計算機係長聘副教授。於 2010 年獲得清華大學博士學位,研究興趣包括因果正則機器學習(causally-regularized machine learning)、網絡表示學習和社交動態建模。他在數據挖掘和多媒體領域知名會議和期刊上發表文章 100 多篇,近期研究獲得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳學生論文獎等多個獎項。2015 年,他獲得 ACM 中國新星獎,2018 年獲得 CCF-IEEE CS 青年科學家獎。目前,他是 ACM 和 CCF 傑出會員、IEEE 高級會員。

裴健在數據科學、大數據、數據挖掘和數據庫係統等領域,是世界領先的研究學者,國際計算機協會(ACM)院士和國際電氣電子工程師協會(IEEE)院士,擅長為數據密集型應用設計開發創新性的數據業務產品和高效的數據分析技術。因其在數據挖掘基礎、方法和應用方麵的傑出貢獻,裴健曾獲得數據科學領域技術成就最高獎 ACM SIGKDD Innovation Award(ACM SIGKDD 創新獎)和 IEEE ICDM Research Contributions Award(IEEE ICDM 研究貢獻獎)。2018 年,裴健入職京東,任集團副總裁。此前,裴健教授還曾擔任華為首席科學家。2019 年 9 月,裴健當選加拿大皇家學會院士。

趙亮現為埃默裏大學擔任計算機係助理教授,研究方向為數據挖掘、機器學習和優化。此前曾在喬治梅森大學信息科技學院和計算機學院擔任助理教授。2016 年秋,趙亮獲得弗吉尼亞理工大學的博士學位。此外,趙亮曾獲 2020 年美國自然科學基金委員會傑出青年獎(NSF CAREER AWARD)、2019 年 Jeffress Trust Award、2017 年弗吉尼亞理工大學計算機學院傑出博士獎,並入選 2016 年微軟評選出的數據挖掘領域 20 位學術新星。他還獲得過 ICDM 2019 會議的最佳論文獎項。

"> 沈向洋張鈸院士等力薦!《圖神經網絡》2022新書,崔鵬裴健等領域大牛撰寫,701頁pdf全麵介紹GNN算法與應用 - 專知VIP

近年來,圖神經網絡(GNN)領域取得了快速和令人難以置信的進展。圖神經網絡,又稱圖深度學習、圖表示學習或幾何深度學習,已成為機器學習特別是深度學習領域發展最快的研究課題之一。這波圖論和深度學習交叉的研究浪潮也影響了其他科學領域,包括推薦係統、計算機視覺、自然語言處理、歸納邏輯編程、程序合成、軟件挖掘、自動規劃、網絡安全和智能交通。

盡管圖神經網絡已經獲得了極大的關注,但在將其應用到其他領域時,它仍然麵臨著許多挑戰,從方法的理論理解到實際係統中的可擴展性和可解釋性,從方法的可靠性到應用中的經驗性能。然而,隨著該領域的迅速發展,獲得全球視野的gnn的發展已成為一項極具挑戰性的工作。

因此,我們感到迫切需要彌補上述差距,並就這一快速發展但具有挑戰性的主題出版一本全麵的書,它可以造福廣泛的讀者,包括高級本科生和研究生、博士後研究人員、講師和行業從業者。

這本書旨在涵蓋圖神經網絡中廣泛的主題,從基礎到前沿,並從方法到應用。本書致力於介紹GNNs的基本概念和算法,GNNs的新研究前沿,以及GNNs的廣泛和新興應用。

書籍地址:https://graph-neural-networks.github.io/index.html

領域大牛推薦

“第一本全麵涵蓋一個快速發展的研究領域——圖神經網絡(GNN)的書,由權威作者撰寫!”

韓家煒 - 美國伊利諾伊大學香檳分校計算機係教授,IEEE和ACM院士

這本書提出了一個全麵和及時的圖表示學習綜述。由這一領域最好的專家編輯撰寫,這本書是想學習任何關於圖神經網絡的學生,研究人員和實踐者的必讀作品。”

沈向洋-計算機視覺和圖形學研究的世界級專家,IEEE Fellow,ACM Fellow)美國工程院院士,英國皇家工程科學院的國際院士

“作為深度學習的新前沿,圖神經網絡在結合概率學習和符號推理、連接知識驅動和數據驅動範式、開啟第三代人工智能發展方麵提供了巨大的潛力。這本書提供了全麵和深刻的GNN介紹,從基礎到前沿,從算法到應用。對於任何想要進入這一令人興奮的領域的科學家、工程師和學生來說,這都是寶貴的資源。”

張鈸 - 中國科學院院士,清華大學教授

“圖神經網絡是機器學習最熱門的領域之一,這本書是一個很棒的深度資源,涵蓋了圖表示學習的廣泛主題和應用。” Jure Leskovec -斯坦福大學副教授

圖神經網絡是一種新興的機器學習模型,已經在科學和工業領域掀起了一場風暴。是時候采取行動了!它的章節都是由該領域的許多專家精心撰寫的。”

Petar Velickovic - DeepMind 高級研究科學家

目錄內容:

本書主要分為3部分: Introduction, Foundations of Graph Neural Networks, 和 Frontiers of Graph Neural Networks.

第一部分:引言 第 1 章 表示學習 第 2 章 圖表示學習 第 3 章 圖神經網絡

第二部分:基礎 第 4 章 用於節點分類的圖神經網絡 第 5 章 圖神經網絡的表達能力 第 6 章 圖神經網絡:可擴展性 第 7 章 圖神經網絡中的可解釋性 第 8 章 圖神經網絡:對抗魯棒性

第三部分:前沿 第 9 章 圖神經網絡:圖分類 第 10 章 圖神經網絡:鏈接預測 第 11 章 圖神經網絡:圖生成 第 12 章 圖神經網絡:圖變換 第 13 章 圖神經網絡:圖匹配 第 14 章 圖神經網絡:圖結構學習 第 15 章 動態圖神經網絡 第 16 章 異構圖神經網絡 第 17 章 圖神經網絡:AutoML 第 18 章 圖神經網絡:自監督學習

第四部分:應用

第 19 章 現代推薦係統中的圖神經網絡 第 20 章 計算機視覺中的圖神經網絡 第 21 章 自然語言處理中的圖神經網絡 第 22 章 程序分析中的圖神經網絡 第 23 章 軟件挖掘中的圖神經網絡 第 24 章 藥物開發中基於 GNN 的生物醫學知識圖譜挖掘 第 25 章 預測蛋白質功能和相互作用的圖神經網絡 第 26 章 異常檢測中的圖神經網絡 第 27 章 城市智能中的圖神經網絡

作者介紹

吳淩飛博士現任京東矽穀研發中心首席科學家。吳博士曾經是 IBM T. J. Watson Research Center 研究科學家和團隊帶頭人。吳博士在 2016 年從威廉瑪麗大學取得計算機博士學位。他的研究內容包括機器學習、表征學習和自然語言處理。

吳博士帶領的 Graph4NLP (Deep Learning on Graphs for Natural Language Processing) 團隊(12+ 研究科學家)致力於機器學習與文本數據挖掘領域的基礎研究,並運用機器學習與文本數據挖掘方法解決實際問題。其學術成果先後發表在 NeurIPS, ICML, ICLR, ACL, EMNLP, KDD, AAAI, IJCAI 等國際頂級會議及期刊上,發表論文超過 80 多篇。代表作包括 IDGL, MGMN, Graph2Seq, GraphFlow。多項學術論文獲得著名國際大會的最佳論文和最佳學術論文獎,包括 IEEE ICC 2019。

吳博士同時現任 IEEE 影響因子最高期刊之一 IEEE Transactions on Neural Networks and Learning Systems(TNNLS) 和 ACM SIGKDD 旗艦期刊 ACM Transactions on Knowledge Discovery from Data (TKDD) 的副主編。多次組織和擔任國際頂級會議大會或者領域主席,如 AAAI, IJCAI, KDD, NeurIPS, ICLR, ICML, ACL, EMNLP。

崔鵬,清華大學計算機係長聘副教授。於 2010 年獲得清華大學博士學位,研究興趣包括因果正則機器學習(causally-regularized machine learning)、網絡表示學習和社交動態建模。他在數據挖掘和多媒體領域知名會議和期刊上發表文章 100 多篇,近期研究獲得 IEEE Multimedia Best Department Paper Award、ICDM 2015 最佳學生論文獎等多個獎項。2015 年,他獲得 ACM 中國新星獎,2018 年獲得 CCF-IEEE CS 青年科學家獎。目前,他是 ACM 和 CCF 傑出會員、IEEE 高級會員。

裴健在數據科學、大數據、數據挖掘和數據庫係統等領域,是世界領先的研究學者,國際計算機協會(ACM)院士和國際電氣電子工程師協會(IEEE)院士,擅長為數據密集型應用設計開發創新性的數據業務產品和高效的數據分析技術。因其在數據挖掘基礎、方法和應用方麵的傑出貢獻,裴健曾獲得數據科學領域技術成就最高獎 ACM SIGKDD Innovation Award(ACM SIGKDD 創新獎)和 IEEE ICDM Research Contributions Award(IEEE ICDM 研究貢獻獎)。2018 年,裴健入職京東,任集團副總裁。此前,裴健教授還曾擔任華為首席科學家。2019 年 9 月,裴健當選加拿大皇家學會院士。

趙亮現為埃默裏大學擔任計算機係助理教授,研究方向為數據挖掘、機器學習和優化。此前曾在喬治梅森大學信息科技學院和計算機學院擔任助理教授。2016 年秋,趙亮獲得弗吉尼亞理工大學的博士學位。此外,趙亮曾獲 2020 年美國自然科學基金委員會傑出青年獎(NSF CAREER AWARD)、2019 年 Jeffress Trust Award、2017 年弗吉尼亞理工大學計算機學院傑出博士獎,並入選 2016 年微軟評選出的數據挖掘領域 20 位學術新星。他還獲得過 ICDM 2019 會議的最佳論文獎項。

成為VIP會員查看完整內容
8
183
1

相關內容

圖神經網絡 (GNN) 是一種連接模型,它通過圖的節點之間的消息傳遞來捕捉圖的依賴關係。與標準神經網絡不同的是,圖神經網絡保留了一種狀態,可以表示來自其鄰域的具有任意深度的信息。近年來,圖神經網絡(GNN)在社交網絡、知識圖、推薦係統、問答係統甚至生命科學等各個領域得到了越來越廣泛的應用。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

由北京大學前沿計算研究中心助理教授董豪博士等編寫的深度強化學習專著《深度強化學習:基礎、研究與應用(Deep Reinforcement Learning: Foundamentals, Research and Applications)》英文版於2020年6月由 Springer 發行,中文簡體、繁體版先後於2021年6月、2022年1月發行,並於2022年2月對中文簡體版開放免費下載。

內容摘要

深度強化學習是實現智能決策的關鍵技術之一,對人工智能、機器人、認知科學、金融、資源調配等重大應用需求和研究方向有重要的意義。深度學習是基於深度神經網絡的機器學習方法。深度強化學習是強化學習和深度學習的結合體,隨著近幾十年來深度學習發展的熱潮,計算硬件 GPU、CPU、TPU 等性能快速提升,深度強化學習作為一個新的重要學科分支吸引了越來越多的科研和產業人員的關注。本書從基本強化學習理論,到深度強化學習算法,再到實際應用與實踐,給讀者帶來相對全麵且實用的深度強化學習知識,便於讀者學習和開展研究工作。

本書分為三大部分,覆蓋了學習深度強化學習所需的所有內容。第一部分介紹了強化學習的基礎知識、常用的深度強化學習算法及其實現方法。第二部分對精選的深度強化學習研究方向展開介紹,這對希望開展相關研究的讀者非常有意義。為了幫助讀者更加深入地理解深度強化學習細節並把相關技術應用到實際中,本書第三部分仔細地講述了大量應用的實現細節,例如機器人學習跑步、機械臂控製、下圍棋、多智能體平台等等,並提供相關的開源代碼。

本書可以作為在深度強化學習相關領域工作的教師、學生或工程師的閱讀材料和參考書。一方麵可以幫助讀者從零開始學習強化學習,到深入具體的研究方向;另一方麵可以幫助讀者快速地把深度強化學習技術用於實際項目中。配合本書的開源代碼,幫助讀者充分利用好 CPU 和 GPU 等計算資源,提升深度強化學習實驗結果,加深對研究應用項目的理解,推動整個人智能領域的發展。

書籍地址:https://deepreinforcementlearningbook.org/

成為VIP會員查看完整內容
19
127
0

引言

幾何深度學習(GDL)是一種基於神經網絡架構的學習方法,它可以整合並處理對稱信息。GDL在分子建模應用中有著特殊的應用前景,在這些應用中存在著具有不同對稱性和抽象層次的各種分子表示。本文綜述了分子GDL在藥物發現、化學合成預測和量子化學中的應用。重點放在學習的分子特征的相關性和它們的互補的完善的分子描述符。本文綜述了當前的挑戰和機遇,並對GDL在分子科學中的應用前景進行了展望。

摘要

深度學習是基於神經網絡的人工智能(AI)[1,2]的一個實例,近年來的進展已經在分子科學領域得到了廣泛的應用,如藥物發現[3,4]、量子化學[5]和結構生物學[6,7]。深度學習的兩個特點使得它在應用於分子時特別有前途。首先,深度學習方法可以處理“非結構化”數據表示,如文本序列[8,9]、語音信號[10,11]、圖像[12-14]和圖形[15,16]。這種能力對於分子係統,尤其有用,化學家們已經開發出許多模型(即“分子表示”),捕獲分子性質在不同的萃取級別(圖1)。第二個關鍵特征是,深度學習可以執行特征提取(或學習)的特性從輸入數據, 也就是說,從輸入數據生成數據驅動的特性,而不需要人工幹預。這兩個特性對於深度學習來說很有前途,可以作為“經典”機器學習應用(如定量結構-活性關係[QSAR])的補充,在這些應用中,分子特征 (即“分子描述符”[17])是通過基於規則的算法進行先驗編碼的。從非結構化數據中學習並獲得數據驅動的分子特征的能力,導致了人工智能在分子科學中的前所未有的應用。

幾何深度學習(GDL)是深度學習領域最有前景的進展之一。幾何深度學習是一個涵蓋新興技術的總稱,這些技術將神經網絡推廣到歐幾裏得和非歐幾裏得域,如圖、流形、網格或字符串表示[15]。一般來說,GDL包含了包含幾何先驗的方法,即關於輸入變量的結構、空間和對稱屬性的信息。利用這種幾何先驗來提高模型捕獲的信息的質量。盡管GDL越來越多地應用於分子建模[5,18,19],但其在該領域的全部潛力仍未得到充分挖掘。

本文的目的是 :(1) 對GDL在分子係統中的應用進行結構化和協調的綜述; (2)概述該領域的主要研究方向; (3) 預測GDL的未來影響。重點介紹了三個應用領域,即藥物發現、量子化學和計算機輔助合成規劃(CASP),特別關注了GDL方法學習到的數據驅動分子特征。所選術語的詞彙表見框1。

幾何深度學習原理

幾何深度學習這個詞是在2017年[15]誕生的。雖然GDL最初用於應用於非歐幾裏得數據[15]的方法,但現在它擴展到所有包含幾何先驗[21]的深度學習方法,即有關感興趣係統的結構和對稱信息。在GDL中,對稱是一個至關重要的概念,因為它包含了係統與操作(轉換)相關的屬性,如平移、反射、旋轉、縮放或排列(框2)。

分子幾何深度學習

GDL在分子係統中的應用具有挑戰性,部分原因是有多種有效的方法來表示相同的分子實體。分子表示可以根據它們不同的提煉水平以及它們所捕獲的物理、化學和幾何方麵進行分類。重要的是,所有這些表示都是同一現實的模型,因此“適合於某些目的,而不適合其他目的”[63]。GDL提供了用相同分子的不同表示進行實驗的機會,並利用它們的內在幾何特征來提高模型的質量。此外,由於GDL的特征提取(特征學習)功能,它已經多次被證明在為手頭的任務提供相關分子屬性方麵是有用的。在接下來的章節中,我們將描述最流行的分子GDL方法及其在化學中的應用,並根據用於深度學習的分子表示進行分組: 分子圖、網格、字符串和曲麵。

總結與展望

化學中的幾何深度學習使研究人員能夠利用不同非結構化分子表征的對稱性,從而為分子結構生成和性質預測提供更大的靈活性和通用性的可用計算模型。這些方法代表了對基於分子描述符或其他人類工程特征的經典化學信息學方法的有效替代。對於那些通常需要高度工程化規則的建模任務(例如,從頭設計的化學轉換,以及CASP的活性位點規範),GDL的好處已經得到了一致的顯示。在已發表的GDL應用中,每種分子表示都顯示出各自的優缺點。

成為VIP會員查看完整內容
0
18
0

圖論因其在計算機科學、通信網絡和組合優化方麵的應用而成為一門重要的學科。它與其他數學領域的互動也越來越多。雖然這本書可以很好地作為圖表理論中許多最重要的主題的參考,但它甚至正好滿足了成為一本有效的教科書的期望。主要關注的是服務於計算機科學、應用數學和運籌學專業的學生,確保滿足他們對算法的需求。在材料的選擇和介紹方麵,已試圖在基本的基礎上容納基本概念,以便對那些剛進入這一領域的人提供指導。此外,由於它既強調定理的證明,也強調應用,所以應該先吸收主題,然後對主題的深度和方法有一個印象。本書是一篇關於圖論的綜合性文章,主題是有組織的、係統的。這本書在理論和應用之間取得了平衡。這本書以這樣一種方式組織,主題出現在完美的順序,以便於學生充分理解主題。這些理論已經用簡單明了的數學語言進行了描述。這本書各方麵都很完整。它將為主題提供一個完美的開端,對主題的完美理解,以及正確的解決方案的呈現。本書的基本特點是,概念已經用簡單的術語提出,並詳細解釋了解決過程。

這本書有10章。每一章由緊湊但徹底的理論、原則和方法的基本討論組成,然後通過示例進行應用。本書所介紹的所有理論和算法都通過大量的算例加以說明。這本書在理論和應用之間取得了平衡。第一章介紹圖。第一章描述了同構、完全圖、二部圖和正則圖的基本和初等定義。第二章介紹了不同類型的子圖和超圖。本章包括圖形運算。第二章還介紹了步行、小徑、路徑、循環和連通或不連通圖的基本定義。第三章詳細討論了歐拉圖和哈密頓圖。第四章討論樹、二叉樹和生成樹。本章深入探討了基本電路和基本割集的討論。第五章涉及提出各種重要的算法,在數學和計算機科學中是有用的。第六章的數學前提包括線性代數的第一個基礎。矩陣關聯、鄰接和電路在應用科學和工程中有著廣泛的應用。第七章對於討論割集、割頂點和圖的連通性特別重要。第八章介紹了圖的著色及其相關定理。第九章著重介紹了平麵圖的基本思想和有關定理。最後,第十章給出了網絡流的基本定義和定理。

成為VIP會員查看完整內容
2
118
0

⼏年前,在⼤公司和初創公司中,並沒有⼤量的深度學習科學家開發智能產品和服務。我們中年輕⼈(作者) 進⼊這個領域時,機器學習並沒有在報紙上獲得頭條新聞。我們的⽗⺟根本不知道什麼是機器學習,更不⽤ 說為什麼我們可能更喜歡機器學習,而不是從事醫學或法律職業。機器學習是⼀⻔具有前瞻性的學科,在現 實世界的應⽤範圍很窄。而那些應⽤,例如語⾳識別和計算機視覺,需要⼤量的領域知識,以⾄於它們通常 被認為是完全獨⽴的領域,而機器學習對於這些領域來說隻是⼀個小組件。因此,神經⽹絡——我們在本書 中關注的深度學習模型的前⾝,被認為是過時的⼯具。就在過去的五年⾥,深度學習給世界帶來了驚喜,推動了計算機視覺、⾃然語⾔處理、⾃動語⾳識別、強化 學習和統計建模等領域的快速發展。有了這些進步,我們現在可以製造⽐以往任何時候都更⾃主的汽⻋(不 過可能沒有⼀些公司試圖讓你相信的那麼⾃主),可以⾃動起草普通郵件的智能回複係統,幫助⼈們從令⼈ 壓抑的⼤收件箱中挖掘出來。在圍棋等棋類遊戲中,軟件超越了世界上最優秀的⼈,這曾被認為是⼏⼗年後 的事。這些⼯具已經對⼯業和社會產⽣了越來越⼴泛的影響,改變了電影的製作⽅式、疾病的診斷⽅式,並 在基礎科學中扮演著越來越重要的⻆⾊——從天體物理學到⽣物學。

成為VIP會員查看完整內容
1
111
0

摘要:隨著計算機行業和互聯網時代的不斷發展與進步,圖神經網絡已經成為人工智能和大數據重要研究領域。圖神經網絡是對相鄰節點間信息的傳播和聚合的重要技術,可以有效地將深度學習的理念應用於非歐幾裏德空間的數據上。簡述圖計算、圖數據庫、知識圖譜、圖神經網絡等圖技術領域的相關研究曆史,分類介紹不同類型的圖結構。分析對比不同的圖神經網絡技術,重點從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網絡算法。闡述圖生成和圖對抗網絡、圖強化學習、圖遷移學習、神經任務圖和圖零樣本學習等不同的圖網絡與深度學習方法相結合的技術方法,並列舉不同的圖神經網絡技術在文本、圖像、知識圖譜、視頻任務等領域的具體應用。最後,對圖神經網絡未來的發展與研究方向加以展望。

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年來隨著計算機行業的快速發展和數據量的井噴式增長,深度學習方法被提出並得到了廣泛的 應用。深度學習通過神經網絡端到端的解決方案, 在圖像處理、語音識別、語義理解[1]等領域取得了 巨大的成功,深度學習的應用往往都是在高維特征 空間上特征規則分布的歐幾裏德數據。作為一種關 係型數據結構,圖(Graph)在深度學習中的應用研究近年來受到越來越多的關注,本文將圖的演進曆程分為數學起源、計算應用、神經網絡延伸三個階段。

圖的概念起源於 18 世紀著名的柯尼斯堡七橋問 題,到了 20 世紀中期,擬陣理論、超圖理論、極圖 理論等研究蓬勃發展,使得圖論(Graph Theory)[2] 在電子計算誕生前,就已經成為了重要的數學研究領域。

隨著計算機的出現和機器計算時代的到來和發 展,圖作為一種能夠有效且抽象地表達信息和數據 中的實體以及實體之間關係的重要數據結構被廣泛應用,圖數據庫有效解決了傳統的關係型數據結構 麵對大量複雜的數據所暴露出的建模缺陷多、計算速度慢等問題,圖數據庫也成為了非常熱門的研究 領域。圖結構(Graph-structured Data)[3]可以將結構化數據點通過邊的形式,依照數據間的關係將不同類型和結構的數據節點連接起來,因而被廣泛地應用在數據的存儲、檢索以及計算應用中。基於圖結構數據,知識圖譜[4-7]可以通過點和邊的語義關係, 來實現精確地描述現實世界中實體之間的關聯關係, 作為人工智能非常重要的研究領域,知識圖譜的研究方向包括知識抽取、知識推理、知識圖譜可視化等。圖計算(Graph Computing)具有數據規模量大、 局部性低、計算性能高等特性,圖計算算法[8-9]主要 可以分為路徑搜索算法、中心性算法、社群發現算法等三類,實現了在關係複雜型的大規模數據上高 時效性和準確度的表現,在社交網絡、團體反欺詐 和用戶推薦等領域有著重要的應用。

與已經非常成熟圖計算不同,圖神經網絡 (Graph Neural Network)的研究主要是集中在相鄰節點信息的傳播與聚合上,從圖神經網絡的概念提 出,到受深度學習中卷積神經網絡的啟發,2013 年 提出的基於圖論的圖卷積神經網絡 [10-11]研究方向吸 引了大量學者關注。2018 年 DeepMind 提出圖網絡 (Graph Network)[12]的概念,希望能夠將深度學習 端到端的學習方式與圖結構關係歸納推理的理論結 合解決深度學習無法處理關係推理的問題。針對圖 神經網絡存在的問題,不同的學者們也給出了不同 的方案,隨著對圖神經網絡這一新興領域更加深入 的研究與探索,人工智能領域的版圖將得到更大擴展。

文獻[12]在關係歸納偏置和深度學習的研究基礎 上,提出了麵向關係推理的圖網絡概念並進行了綜 述,但未對不同圖網絡技術進行分類和對比。文獻 [13]從半監督、無監督方法的角度對圖結構上的深度 學習進行了綜述,但缺少相近的分類和應用的討論。文獻[14]主要從傳播規則、網絡結構等角度分析了圖神經網絡的不同模型以及應用。文獻[15]則是詳細對 比了時域和空間的不同圖卷神經網絡方法結構,但沒有對圖神經網絡之於深度學習領域的探討,如圖強化學習、圖遷移學習等。本文針對圖神經網絡, 分析對比了六種圖神經網絡方法的優劣,首次對處 理異構圖數據的圖神經網絡技術進行了討論和研究, 綜述了五類圖神經網絡的研究領域,並對未來的發展方向進行了展望。

成為VIP會員查看完整內容
4
255
0

近年來, 隨著海量數據的湧現, 可以表示對象之間複雜關係的圖結構數據越來越受到重視並給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用於諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基於空間方法的圖神經網絡模型、基於譜方法的圖神經網絡模型和基於生成方法的圖神經網絡模型等,並提出可供未來進一步研究的問題.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關係的一種簡潔抽象的直觀數學表達. 具有相互關係的數據—圖結構數據在眾多領域普遍存在, 並得到廣泛應用. 隨著大量數據的湧現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方麵有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵複雜特征和 實現對海量數據的快速處理等方麵, 例如, 預測化學分子的特性 [1]、文本的關係提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早於 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用於處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此後, 陸續有關於圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重於將所述各種方法置於一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 並根據發展曆史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 並將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 並總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 並討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在於, 我們給出新的分類標準, 並且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基於空間方法的圖神經網絡、基於譜方法的圖神經網絡和基於生成方法的圖神經網絡等; 然後介紹模型在節點分類、鏈路預測和圖生成等方麵的應用; 最後提出未來的研究方向.

成為VIP會員查看完整內容
圖神經網絡.pdf
42
226
0

語義表示是自然語言處理的基礎,我們需要將原始文本數據中的有用信息轉換為計算機能夠理解的語義表示,才能實現各種自然語言處理應用。表示學習旨在從大規模數據中自動學習數據的語義特征表示,並支持機器學習進一步用於數據訓練和預測。以深度學習為代表的表示學習技術,能夠靈活地建立對大規模文本、音頻、圖像、視頻等無結構數據的語義表示,顯著提升語音識別、圖像處理和自然語言處理的性能,近年來引發了人工智能的新浪潮。本書是第一本完整介紹自然語言處理表示學習技術的著作。書中全麵介紹了表示學習技術在自然語言處理領域的最新進展,對相關理論、方法和應用進行了深入介紹,並展望了未來的重要研究方向。

本書全麵介紹了自然語言處理表示學習技術的理論、方法和應用,內容包括三大部分:第一部分介紹了單詞、短語、句子和文檔等不同粒度語言單元的表示學習技術;第二部分介紹了與自然語言密切相關的世界知識、語言知識、複雜網絡和跨模態數據的表示學習技術;第三部分整理了相關開放資源與工具,並探討了麵向自然語言處理的表示學習技術麵臨的重要挑戰和未來研究方向。本書對於自然語言處理和人工智能基礎研究具有一定的參考意義,既適合專業人士了解自然語言處理和表示學習的前沿熱點,也適合機器學習、信息檢索、數據挖掘、社會網絡分析、語義Web等其他相關領域學者和學生作為參考讀物。

成為VIP會員查看完整內容
1
142
0

內容概要:

在複雜的實際應用中,圖是有用的數據結構,例如對物理係統進行建模,學習分子指紋,控製交通網絡以及在社交網絡中推薦朋友。但是,這些任務需要處理包含元素之間的豐富關係信息且無法通過傳統深度學習模型(例如卷積神經網絡(CNN)或遞歸神經網絡(RNN))妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息,這些信息在大多數無監督的表示學習方法(例如,網絡嵌入方法)中無法很好地解決。圖神經網絡(GNN)被提出來結合特征信息和圖結構,以通過特征傳播和聚集學習更好的圖表示。由於其令人信服的性能和高解釋性,GNN最近已成為一種廣泛應用的圖分析工具。

本書全麵介紹了圖神經網絡的基本概念,模型和應用。首先介紹了vanilla GNN模型。然後介紹了vanilla模型的幾種變體,例如圖卷積網絡,圖遞歸網絡,圖注意力網絡,圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對於GNN的應用,該書分為結構,非結構和其他場景,然後介紹了解決這些任務的幾種典型模型。最後,最後幾章提供了GNN的開放資源以及一些未來方向的展望。

本書組織如下。在第1章中進行了概述之後,在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎,然後在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然後在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景,非結構場景和其他場景中的應用。最後,我們在第15章提供了一些開放資源,並在第16章總結了這本書。

作者:

劉知遠,清華大學計算機係自然語言處理實驗室, 副教授。2006年獲得清華大學計算機科學與技術係學士學位,2011年獲得博士學位。他的研究興趣是自然語言處理和社會計算。在IJCAI、AAAI、ACL、EMNLP等國際期刊和會議上發表論文60餘篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html

周界是清華大學計算機科學與技術係碩士二年級學生。他於2016年獲得清華大學學士學位。他的研究興趣包括圖形神經網絡和自然語言處理。

圖書目錄:

  • 前言
  • 致謝
  • 第一章: 引言
  • 第二章: 數學和圖的基礎知識
  • 第三章: 神經網絡的基礎知識
  • 第四章: Vanilla 圖神經網絡
  • 第五章: 圖卷積網絡
  • 第六章: 圖遞歸網絡
  • 第七章: 圖注意力網絡
  • 第八章 : 圖殘差網絡
  • 第九章: 同圖形型的變體
  • 第十章: 高級訓練方法的變體
  • 第十一章: 一般框架
  • 第十二章: 應用——結構場景
  • 第十三章: 應用——非結構性場景
  • 第十四章: 應用——其他場景
  • 第十五章: 開放資源
  • 第十六章: 結論
  • 參考書目
成為VIP會員查看完整內容
48
295
0

題目:Introduction to Graph Neural Networks

簡介:

在複雜的實際應用中,圖是有用的數據結構,例如對物理係統進行建模,學習分子指紋,控製交通網絡以及在社交網絡中推薦朋友。但是,這些任務需要處理包含元素之間的豐富關係信息且無法通過傳統深度學習模型(例如卷積神經網絡(CNN)或遞歸神經網絡(RNN))妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息,這些信息在大多數無監督的表示學習方法(例如,網絡嵌入方法)中無法很好地解決。提出了圖神經網絡(GNN)來結合特征信息和圖結構,以通過特征傳播和聚集學習更好的圖表示。由於其令人信服的性能和高解釋性,GNN最近已成為一種廣泛應用的圖形分析工具。本書全麵介紹了圖神經網絡的基本概念,模型和應用。首先介紹了香草GNN模型。然後介紹了vanil la模型的幾種變體,例如圖卷積網絡,圖遞歸網絡,圖注意力網絡,圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對於GNN的應用,該書將min分為結構,非結構和其他場景,然後介紹了解決這些任務的幾種典型模型。最後,最後幾章提供了GNN的開放資源以及一些未來方向的展望。

深度學習在許多領域都取得了可喜的進展,例如計算機視覺和自然語言處理。這些任務中的數據通常以歐幾裏得表示。但是,許多學習任務需要處理包含元素之間豐富的關係信息的非歐氏圖數據,例如建模物理係統,學習分子指紋,預測蛋白質界麵等。圖神經網絡(GNN)是基於深度學習的方法,在圖域上運行。由於其令人信服的性能和高解釋性,GNN最近已成為一種廣泛應用的圖形分析方法。本書全麵介紹了圖神經網絡的基本概念,模型和應用。它從數學模型和神經網絡的基礎開始。在第一章中,它對GNN的基本概念進行了介紹,目的是為讀者提供一個概覽。然後介紹了GNN的不同變體:圖卷積網絡,圖遞歸網絡,圖注意力網絡,圖殘差網絡和一些通用框架。這些最差的結果是將通用的深度學習技術轉化為圖形,例如卷積神經網絡,遞歸神經網絡,注意力機製和跳過連接。此外,這本書介紹了GNN在結構場景(物理,化學,知識圖譜),非結構場景(圖像,文本)和其他場景(生成模型,組合優化)中的不同應用。最後,這本書列出了相關的數據集,開源平台和GNN的實現。本書組織如下。在第1章中進行了概述之後,在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎,然後在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然後在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景,非結構場景和其他場景中的應用。最後,我們在第15章提供了一些開放資源,並在第16章總結了這本書。

成為VIP會員查看完整內容
Introduction to Graph Neural Networks.pdf
49
192
0

對因果推理的簡明和自成體係的介紹,在數據科學和機器學習中越來越重要。

因果關係的數學化是一個相對較新的發展,在數據科學和機器學習中變得越來越重要。這本書提供了一個獨立的和簡明的介紹因果模型和如何學習他們的數據。在解釋因果模型的必要性,討論潛在的因果推論的一些原則,這本書教讀者如何使用因果模型:如何計算幹預分布,如何從觀測推斷因果模型和介入的數據,和如何利用因果思想經典的機器學習問題。所有這些主題都將首先以兩個變量的形式進行討論,然後在更一般的多元情況下進行討論。對於因果學習來說,二元情況是一個特別困難的問題,因為經典方法中用於解決多元情況的條件獨立不存在。作者認為分析因果之間的統計不對稱是非常有意義的,他們報告了他們對這個問題十年來的深入研究。

本書對具有機器學習或統計學背景的讀者開放,可用於研究生課程或作為研究人員的參考。文本包括可以複製和粘貼的代碼片段、練習和附錄,其中包括最重要的技術概念摘要。

首先,本書主要研究因果關係推理子問題,這可能被認為是最基本和最不現實的。這是一個因果問題,需要分析的係統隻包含兩個可觀測值。在過去十年中,作者對這個問題進行了較為詳細的研究。本書整理這方麵的大部分工作,並試圖將其嵌入到作者認為對研究因果關係推理問題的選擇性至關重要的更大背景中。盡管先研究二元(bivariate)案例可能有指導意義,但按照章節順序,也可以直接開始閱讀多元(multivariate)章節;見圖一。

第二,本書提出的解決方法來源於機器學習和計算統計領域的技術。作者對其中的方法如何有助於因果結構的推斷更感興趣,以及因果推理是否能告訴我們應該如何進行機器學習。事實上,如果我們不把概率分布描述的隨機實驗作為出發點,而是考慮分布背後的因果結構,機器學習的一些最深刻的開放性問題就能得到最好的理解。
成為VIP會員查看完整內容
77
342
0
小貼士
相關VIP內容
專知會員服務
18+閱讀 · 2021年9月7日
專知會員服務
118+閱讀 · 2021年8月2日
專知會員服務
111+閱讀 · 2021年7月31日
專知會員服務
255+閱讀 · 2020年11月24日
最新《圖神經網絡模型與應用》綜述論文
專知會員服務
226+閱讀 · 2020年8月2日
專知會員服務
142+閱讀 · 2020年7月11日
【新書】圖神經網絡導論,清華大學劉知遠老師著作
專知會員服務
295+閱讀 · 2020年6月12日
微信掃碼谘詢專知VIP會員
Top