深度學習在圖像分類和物體識別等複雜的模式識別任務中表現出色。然而,它很難處理需要困難推理的任務,比如算法計算。人類能夠通過迭代推理來解決這樣的任務——花更多的時間來思考更難的任務。然而,大多數現有的神經網絡都表現出由神經網絡體係結構控製的固定計算開銷,從而阻止了對更難的任務進行額外的計算處理。在這項工作中,我們提出了一個新的框架迭代推理與神經網絡。我們訓練一個神經網絡,將所有輸出的能量參數化,並將迭代推理的每一步作為能量最小化步驟來實現,以找到最小能量解決方案。通過將推理作為一個能量最小化問題,對於導致更複雜的能量景觀的更難的問題,我們可以通過運行一個更複雜的優化程序來調整我們的潛在計算預算。我們的經驗表明,我們的迭代推理方法在圖和連續域可以解決更精確和可泛化的算法推理任務。最後,我們說明了我們的方法可以遞歸地解決需要嵌套推理的算法問題。可以在https://energy-based-model.github.io/iterativereasoning-as-energy-minimization/上獲得代碼和其他信息。

"> 【ICML2022】通過能量最小化學習迭代推理 - 專知VIP

深度學習在圖像分類和物體識別等複雜的模式識別任務中表現出色。然而,它很難處理需要困難推理的任務,比如算法計算。人類能夠通過迭代推理來解決這樣的任務——花更多的時間來思考更難的任務。然而,大多數現有的神經網絡都表現出由神經網絡體係結構控製的固定計算開銷,從而阻止了對更難的任務進行額外的計算處理。在這項工作中,我們提出了一個新的框架迭代推理與神經網絡。我們訓練一個神經網絡,將所有輸出的能量參數化,並將迭代推理的每一步作為能量最小化步驟來實現,以找到最小能量解決方案。通過將推理作為一個能量最小化問題,對於導致更複雜的能量景觀的更難的問題,我們可以通過運行一個更複雜的優化程序來調整我們的潛在計算預算。我們的經驗表明,我們的迭代推理方法在圖和連續域可以解決更精確和可泛化的算法推理任務。最後,我們說明了我們的方法可以遞歸地解決需要嵌套推理的算法問題。可以在https://energy-based-model.github.io/iterativereasoning-as-energy-minimization/上獲得代碼和其他信息。

成為VIP會員查看完整內容
14
22

相關內容

國際機器學習大會(International Conference on Machine Learning,簡稱ICML ) 是由國際機器學習學會(IMLS)主辦的機器學習國際頂級會議,也是CCF-A類學術會議。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,錄用率為21.94%。
【ICML2022】熵因果推理:圖的可辨識性
專知會員服務
12+閱讀 · 8月6日
【ICML2022】結構感知Transformer的圖表示學習
專知會員服務
34+閱讀 · 6月17日
【NeurIPS2021】用於視頻分割的密集無監督學習
專知會員服務
9+閱讀 · 2021年11月14日
【NeurIPS2021】組合能量概念無監督學習
專知會員服務
12+閱讀 · 2021年11月5日
專知會員服務
15+閱讀 · 2021年9月16日
專知會員服務
16+閱讀 · 2021年9月13日
專知會員服務
26+閱讀 · 2021年8月17日
【ICML2021】學習分子構象生成的梯度場
專知會員服務
11+閱讀 · 2021年5月30日
通過 Java 來學習 Apache Beam
InfoQ
0+閱讀 · 6月29日
【AAAI2022】跨域少樣本圖分類
專知
1+閱讀 · 1月22日
論文淺嚐 | 用可微的邏輯規則學習完成知識庫推理
開放知識圖譜
12+閱讀 · 2018年7月5日
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
1+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
Arxiv
0+閱讀 · 8月11日
Arxiv
15+閱讀 · 2019年3月16日
VIP會員
相關VIP內容
【ICML2022】熵因果推理:圖的可辨識性
專知會員服務
12+閱讀 · 8月6日
【ICML2022】結構感知Transformer的圖表示學習
專知會員服務
34+閱讀 · 6月17日
【NeurIPS2021】用於視頻分割的密集無監督學習
專知會員服務
9+閱讀 · 2021年11月14日
【NeurIPS2021】組合能量概念無監督學習
專知會員服務
12+閱讀 · 2021年11月5日
專知會員服務
15+閱讀 · 2021年9月16日
專知會員服務
16+閱讀 · 2021年9月13日
專知會員服務
26+閱讀 · 2021年8月17日
【ICML2021】學習分子構象生成的梯度場
專知會員服務
11+閱讀 · 2021年5月30日
相關基金
國家自然科學基金
0+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
1+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
微信掃碼谘詢專知VIP會員
Top