VIP內容

【導讀】幾何深度學習是當下的研究熱點。如何進行深度理解?ICLR2021大會上,來自倫敦帝國理工學院教授,Twitter 圖機器學習研究負責人Michael Bronstein進行了關於幾何深度學習報告,並以視頻講解,生動形象,值得學習!

Michael Bronstein,倫敦帝國理工學院教授,Twitter 圖機器學習研究負責人,CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

https://www.imperial.ac.uk/people/m.bronstein

ICLR2021《幾何深度學習》報告

“對稱,無論你如何定義它的意義,是一個概念,古今中外的人類試圖通過它來理解和創造秩序、美和完美。”這個詩意的定義來自於偉大的數學家赫爾曼·韋爾,他被認為奠定了現代宇宙理論的基礎。另一位偉大的物理學家菲利普·安德森(Philip Anderson)說:“把物理學說成是對對稱性的研究隻是稍微誇張了一點。”

在數學中,對稱性在19世紀的幾何基礎中起著至關重要的作用。現在,它可能會對另一個新興領域產生類似的影響。深度學習在最近幾十年取得的成功意義重大——從革命性的數據科學,到計算機視覺、棋盤遊戲和蛋白質折疊方麵的裏程碑式成就。與此同時,由於缺乏統一的原則,很難理解不同神經網絡架構之間的關係,從而導致對相同概念的再創造和再品牌化。

邁克爾·布朗斯坦(Michael Bronstein)是倫敦帝國理工學院(Imperial College London)的教授,也是推特(Twitter)圖ML研究的負責人,他致力於通過對稱的視角實現深度學習的幾何統一。在ICLR 2021年的主題演講中,他提出了一個共同的數學框架來研究最成功的網絡架構,給出了一個建設性的程序,以原則性的方式構建未來的機器學習,可以應用於新的領域,如社會科學,生物學和藥物設計。

近兩千年來,“幾何”這個詞一直是歐幾裏得幾何的同義詞,因為沒有其他類型的幾何存在。歐幾裏得的壟斷在19世紀結束了,當時有多個非歐幾裏得幾何的例子被構造出來。然而,這些研究迅速分化到不同的領域,數學家們爭論不同幾何之間的關係和什麼定義一個。Felix Klein在他的Erlangen程序中提出了一種擺脫這種困境的方法,他提出將幾何近似為使用群論語言研究不變量或對稱性。在20世紀,這些思想是現代物理學發展的基礎,並在標準模型(Standard Model)中達到頂峰。

深度學習的現狀與19世紀的幾何領域有些相似: 一方麵,在過去的十年中,深度學習給數據科學帶來了一場革命,使許多以前被認為是無法實現的任務成為可能,包括計算機視覺、下圍棋或蛋白質折疊。與此同時,我們有各種各樣的神經網絡架構,但很少有統一的原則。在過去,很難理解不同的方法之間的關係,不可避免地導致相同概念的重新發明和重新命名。

幾何深度學習的目標是在Erlangen項目的精神下將幾何統一引入深度學習。它提供了一個共同的數學框架來研究最成功的神經網絡架構,如CNNs、RNNs、GNNs和transformer,並提供了一個建設性的過程來將先前的知識融入到神經網絡中,並以一種原理性的方式構建未來的架構。在這次演講中,我將概述關於網格、圖和流形幾何深度學習的數學原理,並展示這些方法在廣泛的領域中令人興奮和開創性的應用。

成為VIP會員查看完整內容
0
37
0
Top