https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

"> 【伯克利馬毅老師】深度學習基本原理:從數學第一原則出發的深度網絡,71頁ppt與視頻 - 專知VIP

在這次演講中,我們從數據壓縮(和群不變性)的角度提供了對深度(卷積)網絡的完全“白盒”解釋。特別地,我們展示了現代的深層架構、線性(卷積)算子和非線性激活,甚至所有的參數都可以從最大化速率縮減(具有群不變性)的原則推導出來。網絡的所有層、操作符和參數都是通過前向傳播明確構建的,而不是通過後向傳播學習。因此得到的網絡的所有組件稱為ReduNet,具有精確優化、幾何和統計解釋。這種原則性的方法也有一些令人驚訝的地方:它揭示了類可分離性的不變性和稀疏性之間的基本權衡;它揭示了深層網絡和群體不變性的傅裏葉變換之間的基本聯係-頻譜域的計算優勢(為什麼是尖突神經元?);這種方法還闡明了正向傳播(優化)和反向傳播(變異)的數學作用。特別地,這樣獲得的ReduNet 可以通過前向和後向(隨機)傳播進行微調,都是為了優化同一目標。這是與Berkeley的Yaodong Yu, Ryan Chan, Haozhi Qi ,現在穀歌研究中心的You Chong博士,以及哥倫比亞大學的John Wright教授共同完成的。

https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

成為VIP會員查看完整內容
0
79
2

相關內容

機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

這本教科書強調了代數和幾何之間的相互作用,以激發線性代數的研究。矩陣和線性變換被認為是同一枚硬幣的兩麵,它們的聯係激發了全書的探究。圍繞著這個界麵,作者提供了一個概念上的理解,數學是進一步的理論和應用的核心。繼續學習線性代數的第二門課程,您將會對《高等線性代數與矩陣代數》這本書有更深的了解。

從向量、矩陣和線性變換的介紹開始,這本書的重點是構建這些工具所代表的幾何直觀。線性係統提供了迄今為止看到的思想的強大應用,並導致子空間、線性獨立、基和秩的引入。然後研究集中在矩陣的代數性質,闡明了它們所代表的線性變換的幾何性質。行列式、特征值和特征向量都可以從這種幾何觀點中獲益。在整個過程中,“額外主題”部分以廣泛的思想和應用擴大了核心內容,從線性規劃,到冪迭代和線性遞歸關係。每個部分都有各種層次的練習,包括許多設計用來用電腦程序解決的練習。

這本書是從線性變換和矩陣本身都是有用的對象的角度寫的,但它是兩者之間的聯係,真正打開線性代數的魔法。有時候,當我們想知道一些關於線性變換的東西時,最簡單的方法就是找到一組基然後看對應的矩陣。相反,有許多有趣的矩陣和矩陣運算家族,它們似乎與線性變換無關,但卻可以解釋一些基無關對象的行為。

線性與矩陣代數導論是線性代數的理想入門證明課程。學生被假定已經完成了一到兩門大學水平的數學課程,盡管微積分不是明確的要求。教師將會感激有足夠的機會選擇符合每個教室需求的主題,並通過WeBWorK提供在線作業集。

成為VIP會員查看完整內容
0
22
0

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關於幾何深度學習係統性總結的書,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注!

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嚐試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎,而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中,我們做了一個適度的嚐試,將Erlangen項目的思維模式應用到深度學習領域,最終目標是獲得該領域的係統化和“連接點”。我們將這種幾何化嚐試稱為“幾何深度學習”,並忠實於Felix Klein的精神,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地,我們將重點放在一類用於分析非結構集、網格、圖和流形的神經網絡上,並表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法,也許還會發現一些令人驚訝的聯係。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述:

  • 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質,並意識到,隻要有一組合適的對稱,我們就可以等價它們,它們都可以用一個通用的幾何框架來表達。

  • 更進一步,我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架,這表明框架可以很好地表達這些領域的最新進展,如球形CNN, SO(3)-變換器,和規範-等變網格CNNs。

  • 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形,其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規範對稱來表現。
成為VIP會員查看完整內容
0
111
2

深度學習在實踐中的顯著成功,從理論的角度揭示了一些重大的驚喜。特別是,簡單的梯度方法很容易找到非凸優化問題的接近最優的解決方案,盡管在沒有任何明確的努力控製模型複雜性的情況下,這些方法提供了近乎完美的訓練數據,這些方法顯示了優秀的預測精度。我們推測這些現象背後有特定的原理: 過度參數化允許梯度方法找到插值解,這些方法隱含地施加正則化,過度參數化導致良性過擬合,也就是說,盡管過擬合訓練數據,但仍能準確預測。在這篇文章中,我們調查了統計學習理論的最新進展,它提供了在更簡單的設置中說明這些原則的例子。我們首先回顧經典的一致收斂結果以及為什麼它們不能解釋深度學習方法的行為方麵。我們在簡單的設置中給出隱式正則化的例子,在這些例子中,梯度方法可以得到完美匹配訓練數據的最小範數函數。然後我們回顧顯示良性過擬合的預測方法,關注二次損失的回歸問題。對於這些方法,我們可以將預測規則分解為一個用於預測的簡單組件和一個用於過擬合的尖狀組件,但在良好的設置下,不會損害預測精度。我們特別關注神經網絡的線性區域,其中網絡可以用一個線性模型來近似。在這種情況下,我們證明了梯度流的成功,並考慮了雙層網絡的良性過擬合,給出了精確的漸近分析,精確地證明了過參數化的影響。最後,我們強調了在將這些見解擴展到現實的深度學習設置中出現的關鍵挑戰。

//www.webtourguide.com/paper/324cdbb68665c1675a05bc147210d8c8

成為VIP會員查看完整內容
0
34
1

機器學習領域最大的兩個難題是:為什麼它會如此成功?為什麼它會如此脆弱?

這個講座將提供一個框架,從高維函數近似的角度來解開這些難題。我們將討論關於假設空間的神經網絡類型的近似泛化特性已知的和未知的,以及訓練過程的動力學和泛化特性。我們還將討論淺神經網絡模型和深神經網絡模型的相對優點,並提出建立更魯棒的機器學習模型的方法。

成為VIP會員查看完整內容
1
32
0

神經網絡中的對稱性與同變性

對稱可以以多種形式出現。對於三維的物理係統,我們可以自由選擇任何坐標係,因此任何物理屬性都必須在歐幾裏得對稱的元素下(三維旋轉、平移和反演)可預見地變換。對於涉及圖的節點和邊的算法,我們在計算機內存中節點和邊的排列情況下具有對稱性。除非另外編碼,機器學習模型不會對一個問題的對稱性做出任何假設,並且會對坐標係統的任意選擇或數組中節點和邊的排序非常敏感。在機器學習模型中明確處理對稱的主要動機之一是消除對數據增強的需求。另一個動機是,通過將對稱編碼到方法中,我們可以保證即使模型沒有對“對稱等效”示例進行明確訓練,但模型對一個示例和一個“對稱等效”示例會給出“相同”的答案。在這節課中,我們將討論幾種使機器學習模型“對稱感知”的方法(例如輸入表示、丟失和模型架構)。我們將集中討論如何在神經網絡中處理三維歐幾裏得對稱和置換對稱,描述這些對稱的非直觀和有益的結果,並討論如何建立與你的對稱假設一致的訓練任務。

https://dl4sci-school.lbl.gov/tess-smidt

成為VIP會員查看完整內容
0
14
0

來自深度學習數學夏季學校2020的第一節課:深度學習即統計學習,介紹了深度學習與統計學習一係列的關係知識點。

成為VIP會員查看完整內容
0
54
0

麻省理工(MIT)Tamara Broderick副教授。Tamara之前是Michael Jordan的學生,主要研究Bayesian Nonparametric模型

http://people.csail.mit.edu/tbroderick/index.html

變分貝葉斯:可擴展貝葉斯推理的基礎

貝葉斯方法為現代數據分析提供了許多可取的特性,包括 (1)不確定性的一致性量化,(2)能夠捕捉複雜現象的模塊化建模框架,(3) 整合來自專家的先驗信息的能力,以及(4)可解釋性。然而,在實踐中,貝葉斯推斷需要對高維積分進行近似,而一些傳統的算法為此目的可能會很慢——尤其是在當前感興趣的數據規模上。本教程將介紹快速、近似貝葉斯推理的現代工具。“變分貝葉斯”(VB)提供了一個越來越流行的框架,它將貝葉斯推理作為一個優化問題提出。我們將研究在實踐中使用VB的主要優點和缺點,重點關注廣泛使用的“平均場變分貝葉斯”(MFVB)子類型。我們將注重能夠讓任何人使用VB,從數據分析師到理論家,都應該知道的屬性。除了VB,我們還將簡要介紹可擴展貝葉斯推理的最新數據彙總技術,這些技術在質量上有有限數據理論保證。我們將通過實際的數據分析實例來激發我們的探索,並指出該領域的一些開放問題。

成為VIP會員查看完整內容
0
41
1

Andrew Gordon Wilson,紐約大學Courant數學科學研究所和數據科學中心助理教授,曾擔任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的區域主席/SPC以及ICML 2019、2020年EXO主席。 個人主頁:https://cims.nyu.edu/~andrewgw/

貝葉斯深度學習與概率模型構建

貝葉斯方法的關鍵區別屬性是間隔化,而不是使用單一的權重設置。貝葉斯間隔化尤其可以提高現代深度神經網絡的準確性和標度,這些數據通常不充分指定,並可以代表許多引人注目但不同的解決方案。研究表明,深層的綜合係統提供了一種有效的近似貝葉斯間隔化機製,並提出了一種相關的方法,在沒有顯著開銷的情況下,通過在吸引 basins 內間隔化來進一步改進預測分布。我們還研究了神經網絡權值的模糊分布所隱含的先驗函數,從概率的角度解釋了這些模型的泛化特性。從這個角度出發,我們解釋了一些神秘而又不同於神經網絡泛化的結果,比如用隨機標簽擬合圖像的能力,並表明這些結果可以用高斯過程重新得到。我們還表明貝葉斯平均模型減輕了雙下降,從而提高了靈活性,提高了單調性能。最後,我們提供了一個貝葉斯角度的調溫校正預測分布。

視頻地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成為VIP會員查看完整內容
0
68
5

課程內容:

  • 數學基礎:矩陣、向量、Lp範數、範數的幾何、對稱性、正確定性、特征分解。無約束最優化,graident下降法,凸函數,拉格朗日乘子,線性最小二乘法。概率空間,隨機變量,聯合分布,多維高斯。

  • 線性分類器:線性判別分析,分離超平麵,多類分類,貝葉斯決策規則,貝葉斯決策規則幾何,線性回歸,邏輯回歸,感知機算法,支持向量機,非線性變換。

  • 魯棒性:對抗性攻擊、定向攻擊和非定向攻擊、最小距離攻擊、最大允許攻擊、基於規則的攻擊。通過納微擾。支持向量機的魯棒性。

  • 學習理論:偏差和方差,訓練和測試,泛化,PAC框架,Hoeffding不等式,VC維。

參考書籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

講者: Stanley Chan 教授https://engineering.purdue.edu/ChanGroup/stanleychan.html

課程目標:您將能夠應用基本的線性代數、概率和優化工具來解決機器學習問題

•你將了解一般監督學習方法的原理,並能評論它們的優缺點。 •你會知道處理數據不確定性的方法。 •您將能夠使用學習理論的概念運行基本的診斷。 •您將獲得機器學習算法編程的實際經驗。

成為VIP會員查看完整內容
0
130
29
小貼士
相關主題
相關論文
Stefano Massaroli,Michael Poli,Stefano Peluchetti,Jinkyoo Park,Atsushi Yamashita,Hajime Asama
0+閱讀 · 6月7日
Antonio Orvieto,Jonas Kohler,Dario Pavllo,Thomas Hofmann,Aurelien Lucchi
0+閱讀 · 6月7日
Pierre-Alain Fayolle
0+閱讀 · 6月4日
Evgeniya Vorontsova,Roland Hildebrand,Alexander Gasnikov,Fedor Stonyakin
0+閱讀 · 6月3日
Contrastive Representation Distillation
Yonglong Tian,Dilip Krishnan,Phillip Isola
4+閱讀 · 2019年10月23日
Joaquin Vanschoren
111+閱讀 · 2018年10月8日
Deep Randomized Ensembles for Metric Learning
Hong Xuan,Richard Souvenir,Robert Pless
4+閱讀 · 2018年9月4日
Deep Learning
Nicholas G. Polson,Vadim O. Sokolov
3+閱讀 · 2018年8月3日
Abhishek Gupta,Benjamin Eysenbach,Chelsea Finn,Sergey Levine
6+閱讀 · 2018年6月12日
Matthew Kennedy,Nicholas A. Manor,Vern I. Paulsen
3+閱讀 · 2017年12月7日
Top