計算上下文理解指的是agent融合不同信息源進行決策的能力,因此,通常被認為是人工智能(AI)等複雜機器推理能力的先決條件。數據驅動和知識驅動方法是追求這種機器意義生成能力的兩種經典技術。然而,雖然數據驅動的方法試圖通過在現實世界中的觀察來模擬事件的統計規律,但它們仍然難以解釋,而且缺乏自然地結合外部知識的機製。相反,知識驅動的方法結合了結構化的知識庫,使基於公理原則的符號推理成為可能,並產生更多可解釋的預測; 然而,它們往往缺乏估計推斷的統計顯著性或魯棒地適應輸入中的擾動的能力。為了解決這些問題,我們使用混合AI方法作為綜合兩種方法的優勢的一般框架。具體而言,我們繼承了神經符號的概念,將其作為一種使用領域知識來指導深度神經網絡學習進程的方法。領域知識以多種形式出現,包括:(i) 圖模型,它描述了實體之間的關係,如依賴、獨立、因果、相關和部分相關; (ii) 常識性知識,包括空間知識、物體的物理屬性、語義關係和功能知識; 專家智能體以演示或軟標簽的形式提供特權信息; (iv) 習得的行為原語和先驗,這些行為原語和先驗可能構成可推廣和可轉移的任務執行;以及(v)輔助任務、目標和約束條件——為約束優化精心選擇。

無論可用的領域知識類型是什麼,相同的實際目標仍然是:學習有意義的神經表征,用於下遊感興趣的任務。神經表征學習的潛在目標是在統計上識別agent輸入數據或觀察中變化的最佳解釋因素,通常需要對輸入中多種模式或觀點之間的互補性的直覺。雖然已經有很多關注於學習特定任務的有效神經表征,然後將學習到的表征轉移或適應其他任務,相對較少的重點放在有各種類型的領域知識的表征學習。這些知識可用於恢複潛在生成過程的信息,設計學習問題的有效建模策略,確保模型的可轉移性或泛化性,或理解視圖之間的互補性。本文研究了將上述類型的領域知識與神經表示相結合的方法,以提高以下問題領域的模型性能和通用性:神經常識推理、多模態機器人導航和自動駕駛。本文提供了一係列工具、方法、任務、國際AI挑戰和排行榜、數據集和知識圖;此外,這項工作還成功組織了兩場關於自動駕駛安全學習的國際研討會。

"> 【CMU博士論文】多視圖上下文理解的知識增強表示學習 - 專知VIP

計算上下文理解指的是agent融合不同信息源進行決策的能力,因此,通常被認為是人工智能(AI)等複雜機器推理能力的先決條件。數據驅動和知識驅動方法是追求這種機器意義生成能力的兩種經典技術。然而,雖然數據驅動的方法試圖通過在現實世界中的觀察來模擬事件的統計規律,但它們仍然難以解釋,而且缺乏自然地結合外部知識的機製。相反,知識驅動的方法結合了結構化的知識庫,使基於公理原則的符號推理成為可能,並產生更多可解釋的預測; 然而,它們往往缺乏估計推斷的統計顯著性或魯棒地適應輸入中的擾動的能力。為了解決這些問題,我們使用混合AI方法作為綜合兩種方法的優勢的一般框架。具體而言,我們繼承了神經符號的概念,將其作為一種使用領域知識來指導深度神經網絡學習進程的方法。領域知識以多種形式出現,包括:(i) 圖模型,它描述了實體之間的關係,如依賴、獨立、因果、相關和部分相關; (ii) 常識性知識,包括空間知識、物體的物理屬性、語義關係和功能知識; 專家智能體以演示或軟標簽的形式提供特權信息; (iv) 習得的行為原語和先驗,這些行為原語和先驗可能構成可推廣和可轉移的任務執行;以及(v)輔助任務、目標和約束條件——為約束優化精心選擇。

無論可用的領域知識類型是什麼,相同的實際目標仍然是:學習有意義的神經表征,用於下遊感興趣的任務。神經表征學習的潛在目標是在統計上識別agent輸入數據或觀察中變化的最佳解釋因素,通常需要對輸入中多種模式或觀點之間的互補性的直覺。雖然已經有很多關注於學習特定任務的有效神經表征,然後將學習到的表征轉移或適應其他任務,相對較少的重點放在有各種類型的領域知識的表征學習。這些知識可用於恢複潛在生成過程的信息,設計學習問題的有效建模策略,確保模型的可轉移性或泛化性,或理解視圖之間的互補性。本文研究了將上述類型的領域知識與神經表示相結合的方法,以提高以下問題領域的模型性能和通用性:神經常識推理、多模態機器人導航和自動駕駛。本文提供了一係列工具、方法、任務、國際AI挑戰和排行榜、數據集和知識圖;此外,這項工作還成功組織了兩場關於自動駕駛安全學習的國際研討會。

成為VIP會員查看完整內容
14
23

相關內容

卡耐基梅隆大學(Carnegie Mellon University)坐落在賓夕法尼亞州的匹茲堡,是一所享譽世界的私立頂級研究型大學,學校麵積不大,學科門類不多,但在其所設立的幾乎所有專業都居於世界領先水平。卡內基梅隆大學享譽全國的認知心理學、管理和公共關係學、寫作和修辭學、應用曆史學、哲學和生物科學專業。它的計算機、機器人科學、理學、美術及工業管理都是舉世公認的一流專業。
【CMU博士論文】神經序列建模與應用,102頁pdf
專知會員服務
35+閱讀 · 8月23日
專知會員服務
55+閱讀 · 2021年7月29日
專知會員服務
46+閱讀 · 2021年6月14日
【CMU博士論文】可控文本生成,附107頁pdf與Slides
專知會員服務
43+閱讀 · 2021年4月21日
【CMU博士論文】機器人深度強化學習,128頁pdf
專知會員服務
79+閱讀 · 2020年8月27日
【斯坦福大學博士論文】自監督場景表示學習, 97頁pdf
專知會員服務
72+閱讀 · 2020年6月19日
TOIS'21 | 第一個基於多關係圖的任務驅動GNN框架
圖與推薦
0+閱讀 · 2021年10月26日
論文淺嚐 | IRW:基於知識圖譜和關係推理的視覺敘事框架
開放知識圖譜
0+閱讀 · 2021年10月11日
自然語言處理常識推理綜述論文,60頁pdf
專知
58+閱讀 · 2019年4月4日
新任務&數據集:視覺常識推理(VCR)
專知
46+閱讀 · 2018年12月1日
國家自然科學基金
8+閱讀 · 2015年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
Arxiv
22+閱讀 · 2021年10月11日
Arxiv
17+閱讀 · 2021年5月10日
Arxiv
11+閱讀 · 2021年5月3日
VIP會員
相關基金
國家自然科學基金
8+閱讀 · 2015年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
微信掃碼谘詢專知VIP會員
Top