The last decade has witnessed an experimental revolution in data science and machine learning, epitomised by deep learning methods. Indeed, many high-dimensional learning tasks previously thought to be beyond reach -- such as computer vision, playing Go, or protein folding -- are in fact feasible with appropriate computational scale. Remarkably, the essence of deep learning is built from two simple algorithmic principles: first, the notion of representation or feature learning, whereby adapted, often hierarchical, features capture the appropriate notion of regularity for each task, and second, learning by local gradient-descent type methods, typically implemented as backpropagation. While learning generic functions in high dimensions is a cursed estimation problem, most tasks of interest are not generic, and come with essential pre-defined regularities arising from the underlying low-dimensionality and structure of the physical world. This text is concerned with exposing these regularities through unified geometric principles that can be applied throughout a wide spectrum of applications. Such a 'geometric unification' endeavour, in the spirit of Felix Klein's Erlangen Program, serves a dual purpose: on one hand, it provides a common mathematical framework to study the most successful neural network architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand, it gives a constructive procedure to incorporate prior physical knowledge into neural architectures and provide principled way to build future architectures yet to be invented.

0
10
下載
關閉預覽

相關內容

在數學,統計學和計算機科學中,尤其是在機器學習和逆問題中,正則化是添加信息以解決不適定問題或防止過度擬合的過程。 正則化適用於不適定的優化問題中的目標函數。

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嚐試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎,而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。Simone Scardapane講述關於圖與幾何深度學習的報告。圖神經網絡是一種功能強大的深度學習模型。

https://www.sscardapane.it/

成為VIP會員查看完整內容
3
60
0
  1. 圖神經網絡是一種功能強大的深度學習模型,驚人地普遍存在。

  2. 擴展和包含時間或異構信息是具有挑戰性的。

  3. 多種應用研究

成為VIP會員查看完整內容
0
49
0

主題:Explainable Reinforcement Learning: A Survey

摘要:可解釋的人工智能(XAI),即更透明和可解釋的AI模型的開發在過去幾年中獲得了越來越多的關注。這是由於這樣一個事實,即AI模型隨著其發展為功能強大且無處不在的工具而表現出一個有害的特征:性能與透明度之間的權衡。這說明了一個事實,即模型的內部工作越複雜,就越難以實現其預測或決策。但是,特別是考慮到係統像機器學習(ML)這樣的方法(強化學習(RL))在係統自動學習的情況下,顯然有必要了解其決策的根本原因。由於據我們所知,目前尚無人提供可解釋性強化學習(XRL)方法的概述的工作,因此本調查試圖解決這一差距。我們對問題進行了簡短的總結,重要術語的定義以及提議當前XRL方法的分類和評估。我們發現a)大多數XRL方法通過模仿和簡化一個複雜的模型而不是設計本質上簡單的模型來起作用,並且b)XRL(和XAI)方法通常忽略了方程的人為方麵,而不考慮相關領域的研究像心理學或哲學。因此,需要跨學科的努力來使所生成的解釋適應(非專家)人類用戶,以便有效地在XRL和XAI領域中取得進步。

成為VIP會員查看完整內容
1
70
0

隨著深度學習在視覺、推薦係統、自然語言處理等諸多領域的不斷發展,深度神經網絡(DNNs)在生產係統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的,可能包含敏感信息。這造成了嚴重的隱私問題,因為這些數據可能被濫用或通過各種漏洞泄露。即使雲提供商和通信鏈路是可信的,仍然存在推理攻擊的威脅,攻擊者可以推測用於訓練的數據的屬性,或者找到底層的模型架構和參數。在這次調查中,我們回顧了深度學習帶來的隱私問題,以及為解決這些問題而引入的緩解技術。我們還指出,在測試時間推斷隱私方麵的文獻存在空白,並提出未來可能的研究方向。

成為VIP會員查看完整內容
1
46
0
13
61
0

報告名稱:Deep Geometric Learning of Big Data and Applications

報告摘要:深度學習技術在計算機視覺,自然語言處理和語音分析方麵取得了令人印象深刻的性能。這些任務專注於位於歐幾裏得域上的數據,並且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,並受益於GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾裏德領域,而這些領域最初並不是為深度學習方法設計的。例如計算機圖形學中的3D點雲和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關係等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。

該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用於分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用於非歐幾裏德領域的新計算機處理體係結構。

邀請嘉賓:Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。

Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。

報告部分大綱:

  • 自動微分,PyTorch和圖形神經網絡
  • 深度學習作為稀疏性強製算法
  • 語義3D重建
  • 高維幾何的視角
  • 穩健性與準確性
  • 異質分子結構定位中的逆問題和無監督學習
成為VIP會員查看完整內容
2
13
0

課程介紹:

深度學習正在改變人工智能領域,但缺乏紮實的理論基礎。這種事務狀態極大地阻礙了進一步的發展,例如耗時的超參數優化或對抗性機器學習中遇到的非凡困難。我們為期三天的研討會基於我們確定為當前的主要瓶頸:了解深度神經網絡的幾何結構。這個問題是數學,計算機科學和實用機器學習的融合。我們邀請這些領域的領導者加強新的合作,並為深度學習的奧秘尋找新的攻擊角度。

主講人:

Peter Bartlett,加州大學伯克利分校教授,工作於計算機科學和統計部門、伯克利人工智能研究實驗室、西蒙斯計算理論研究所。

Leon Bottou,一名研究科學家,對機器學習和人工智能有著廣泛的興趣。近年來,在大規模學習和隨機梯度算法方麵的工作受到了廣泛的關注。他也以DjVu文件壓縮係統而聞名,於2015年3月加入Facebook人工智能研究。

Anna Gilbert,在芝加哥大學獲得理學學士學位,在普林斯頓大學獲得數學博士學位;1997年,是耶魯大學和at&T實驗室研究所的博士後研究員。1998年至2004年,她是新澤西州弗洛勒姆公園at&T實驗室研究部的技術人員。從那以後,她一直在密歇根大學數學係工作,現在是那裏的一名教授。

Piotr Indyk,電氣工程和計算機科學係的托馬斯D.和弗吉尼亞W.卡伯特教授。計算機科學與人工智能實驗室,無線麻省理工學院,大數據學院和MIFODS計算組的成員。興趣方向:高維計算幾何(包括近似最近鄰搜索)、數據流算法、稀疏恢複、壓縮感知、機器學習。

S. T. Yau,中國科學院數學科學研究所所長,哈佛大學數學係教授。感興趣的領域:微分幾何,微分方程和數學物理。

成為VIP會員查看完整內容
AI-Institute-Geometry-of-Deep-Learning-2019-Day-1-Session-4-SLIDES.pdf
AI-Institute-Geometry-of-Deep-Learning-2019-Day-1-Session-2-SLIDES.pdf
AI-Institute-Geometry-of-Deep-Learning-2019-Day-1-Session-1-SLIDES.pdf
AI-Institute-Geometry-of-Deep-Learning-2019-Day-1-Session-3-SLIDES.pdf
5
42
0

*《Stabilizing Transformers for Reinforcement Learning》E Parisotto, H. F Song, J W. Rae, R Pascanu, C Gulcehre, S M. Jayakumar, M Jaderberg, R L Kaufman, A Clark, S Noury, M M. Botvinick, N Heess, R Hadsell [DeepMind] (2019)

成為VIP會員查看完整內容
0
30
0

Deep Learning with Python introduces the field of deep learning using the Python language and the powerful Keras library. Written by Keras creator and Google AI researcher François Chollet, this book builds your understanding through intuitive explanations and practical examples.

成為VIP會員查看完整內容
17
87
0

Differentiable Graphics with TensorFlow 2.0

Deep learning has introduced a profound paradigm change in the recent years, allowing to solve significantly more complex perception problems than previously possible. This paradigm shift has positively impacted a tremendous number of fields with a giant leap forward in computer vision and computer graphics algorithms. The development of public libraries such as Tensorflow are in a large part responsible for the massive growth of AI. These libraries made deep learning easily accessible to every researchers and engineers allowing fast advances in developing deep learning techniques in the industry and academia. We will start this course with an introduction to deep learning and present the newly released TensorFlow 2.0 with a focus on best practices and new exciting functionalities. We will then show different tips, tools, and algorithms to visualize and interpret complex neural networks by using TensorFlow. Finally, we will introduce a novel TensorFlow library containing a set of graphics inspired differentiable layers allowing to build structured neural networks to solve various two and three dimensional perception tasks. To make the course interactive we will punctuate the presentations with real time demos in the form of Colab notebooks. Basic prior familiarity with deep learning will be assumed.** Deep learning has introduced a profound paradigm change in the recent years, allowing to solve significantly more complex perception problems than previously possible. This paradigm shift has positively impacted a tremendous number of fields with a giant leap forward in computer vision and computer graphics algorithms. The development of public libraries such as Tensorflow are in a large part responsible for the massive growth of AI. These libraries made deep learning easily accessible to every researchers and engineers allowing fast advances in developing deep learning techniques in the industry and academia. We will start this course with an introduction to deep learning and present the newly released TensorFlow 2.0 with a focus on best practices and new exciting functionalities. We will then show different tips, tools, and algorithms to visualize and interpret complex neural networks by using TensorFlow. Finally, we will introduce a novel TensorFlow library containing a set of graphics inspired differentiable layers allowing to build structured neural networks to solve various two and three dimensional perception tasks. To make the course interactive we will punctuate the presentations with real time demos in the form of Colab notebooks. Basic prior familiarity with deep learning will be assumed.

成為VIP會員查看完整內容
3
22
0
小貼士
相關論文
Arxiv
1+閱讀 · 2021年6月17日
Arxiv
35+閱讀 · 2021年5月9日
Arxiv
9+閱讀 · 2019年3月14日
Hardness-Aware Deep Metric Learning
Arxiv
6+閱讀 · 2019年3月13日
Generalization and Regularization in DQN
Arxiv
5+閱讀 · 2019年1月30日
Deep Learning
Arxiv
3+閱讀 · 2018年8月3日
Arxiv
13+閱讀 · 2018年6月23日
Arxiv
3+閱讀 · 2018年5月31日
Arxiv
8+閱讀 · 2018年5月15日
相關資訊
revelation of MONet
CreateAMind
5+閱讀 · 2019年6月8日
Transferring Knowledge across Learning Processes
CreateAMind
8+閱讀 · 2019年5月18日
IEEE | DSC 2019誠邀稿件 (EI檢索)
Call4Papers
9+閱讀 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
32+閱讀 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+閱讀 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字閨中
10+閱讀 · 2018年12月24日
CCF C類 | IJCNN 2019 Special Section : 信息論與深度學習
Call4Papers
5+閱讀 · 2018年12月7日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+閱讀 · 2018年5月25日
計算機視覺近一年進展綜述
機器學習研究會
6+閱讀 · 2017年11月25日
Top
微信掃碼谘詢專知VIP會員
Top