VIP內容

後驗貝葉斯神經網絡(BNN)參數是非常高維和非凸的。出於計算上的原因,研究人員使用廉價的小批量方法來近似這種後變方法,如平均場變分推斷或隨機梯度馬爾科夫鏈蒙特卡羅(SGMCMC)。為了研究貝葉斯深度學習中的基礎問題,我們在現代體係結構中使用全批量哈密頓蒙特卡羅(HMC)。我們證明: (1)與標準訓練和深度集成相比,BNNs可以獲得顯著的性能增益; (2)單一的HMC長鏈可以提供多個較短鏈後驗的可比性表示;(3)與最近的研究相比,我們發現不需要後驗回火來獲得接近最佳的性能,幾乎沒有證據表明存在“冷後驗”效應,這主要是數據增強的人為影響;(4) BMA對先驗尺度的選擇具有較強的魯棒性,對對角高斯、混合高斯和logistic先驗的選擇具有較強的相似性;(5)貝葉斯神經網絡在域移下泛化性能差;(6)雖然深度集成和SGMCMC等廉價方法可以提供良好的泛化,但它們提供的預測分布與HMC不同。值得注意的是,深度集成預測分布與標準SGLD的HMC相似,比標準變分推斷更接近。

//www.webtourguide.com/paper/175b8f7c93633d4479ce659fce81c737

成為VIP會員查看完整內容
0
21
0
Top