深度學習在圖像分類和物體識別等複雜的模式識別任務中表現出色。然而，它很難處理需要困難推理的任務，比如算法計算。人類能夠通過迭代推理來解決這樣的任務——花更多的時間來思考更難的任務。然而，大多數現有的神經網絡都表現出由神經網絡體係結構控製的固定計算開銷，從而阻止了對更難的任務進行額外的計算處理。在這項工作中，我們提出了一個新的框架迭代推理與神經網絡。我們訓練一個神經網絡，將所有輸出的能量參數化，並將迭代推理的每一步作為能量最小化步驟來實現，以找到最小能量解決方案。通過將推理作為一個能量最小化問題，對於導致更複雜的能量景觀的更難的問題，我們可以通過運行一個更複雜的優化程序來調整我們的潛在計算預算。我們的經驗表明，我們的迭代推理方法在圖和連續域可以解決更精確和可泛化的算法推理任務。最後，我們說明了我們的方法可以遞歸地解決需要嵌套推理的算法問題。可以在https://energy-based-model.github.io/iterativereasoning-as-energy-minimization/上獲得代碼和其他信息。
深度學習在圖像分類和物體識別等複雜的模式識別任務中表現出色。然而，它很難處理需要困難推理的任務，比如算法計算。人類能夠通過迭代推理來解決這樣的任務——花更多的時間來思考更難的任務。然而，大多數現有的神經網絡都表現出由神經網絡體係結構控製的固定計算開銷，從而阻止了對更難的任務進行額外的計算處理。在這項工作中，我們提出了一個新的框架迭代推理與神經網絡。我們訓練一個神經網絡，將所有輸出的能量參數化，並將迭代推理的每一步作為能量最小化步驟來實現，以找到最小能量解決方案。通過將推理作為一個能量最小化問題，對於導致更複雜的能量景觀的更難的問題，我們可以通過運行一個更複雜的優化程序來調整我們的潛在計算預算。我們的經驗表明，我們的迭代推理方法在圖和連續域可以解決更精確和可泛化的算法推理任務。最後，我們說明了我們的方法可以遞歸地解決需要嵌套推理的算法問題。可以在https://energy-based-model.github.io/iterativereasoning-as-energy-minimization/上獲得代碼和其他信息。
微信掃碼谘詢專知VIP會員
Learning Iterative Reasoning through Energy Minimization
