VIP內容

在這次演講中,我們從數據壓縮(和群不變性)的角度提供了對深度(卷積)網絡的完全“白盒”解釋。特別地,我們展示了現代的深層架構、線性(卷積)算子和非線性激活,甚至所有的參數都可以從最大化速率縮減(具有群不變性)的原則推導出來。網絡的所有層、操作符和參數都是通過前向傳播明確構建的,而不是通過後向傳播學習。因此得到的網絡的所有組件稱為ReduNet,具有精確優化、幾何和統計解釋。這種原則性的方法也有一些令人驚訝的地方:它揭示了類可分離性的不變性和稀疏性之間的基本權衡;它揭示了深層網絡和群體不變性的傅裏葉變換之間的基本聯係-頻譜域的計算優勢(為什麼是尖突神經元?);這種方法還闡明了正向傳播(優化)和反向傳播(變異)的數學作用。特別地,這樣獲得的ReduNet 可以通過前向和後向(隨機)傳播進行微調,都是為了優化同一目標。這是與Berkeley的Yaodong Yu, Ryan Chan, Haozhi Qi ,現在穀歌研究中心的You Chong博士,以及哥倫比亞大學的John Wright教授共同完成的。

https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

成為VIP會員查看完整內容
0
83
2
Top