VIP內容

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關於幾何深度學習係統性總結的書,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注!

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嚐試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎,而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中,我們做了一個適度的嚐試,將Erlangen項目的思維模式應用到深度學習領域,最終目標是獲得該領域的係統化和“連接點”。我們將這種幾何化嚐試稱為“幾何深度學習”,並忠實於Felix Klein的精神,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地,我們將重點放在一類用於分析非結構集、網格、圖和流形的神經網絡上,並表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法,也許還會發現一些令人驚訝的聯係。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述:

  • 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質,並意識到,隻要有一組合適的對稱,我們就可以等價它們,它們都可以用一個通用的幾何框架來表達。

  • 更進一步,我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架,這表明框架可以很好地表達這些領域的最新進展,如球形CNN, SO(3)-變換器,和規範-等變網格CNNs。

  • 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形,其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規範對稱來表現。
成為VIP會員查看完整內容
0
130
2
Top