什麼是因果機器學習?UCL&牛津大學最新《因果機器學習》書冊,165頁pdf闡述因果機器學習體係

7 月 1 日 專知

因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述,非常值得關注!



因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即幹預)和事後會發生什麼(即反事實)進行推理。根據他們所解決的問題,我們將CausalML中的工作分為五組:(1)因果監督學習,(2) 因果生成模型,(3) 因果解釋,(4) 因果公平,(5) 因果強化學習。對每一類方法進行了係統的比較,並指出了有待解決的問題。此外,我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最後,我們提供了因果基準的概述,並對這一新興領域的狀態進行了批判性的討論,包括對未來工作的建議。
//www.webtourguide.com/paper/115ede7bdf331e6ac4f725900ec23c38



引言

機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則,包括經驗風險最小化、反向傳播和架構設計中的歸納偏差,已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而,在將這些模型部署到現實環境中時,出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降,(2) 生成模型[2]樣本缺乏細粒度控製,(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4],(4) 可解釋性[5]的概念過於抽象和問題獨立,(5)強化學習方法對真實世界問題[6]的不穩定轉換。

許多工作認為,這些問題的部分原因在於現代ML係統缺乏因果形式主義[7,8,9,10,11]。隨後,研究社區對因果機器學習(CausalML)的興趣激增,這是利用關於被建模係統的因果知識的方法本調查涵蓋了因果關係如何被用來解決開放式ML問題。簡而言之,因果推理提供了一種語言,通過結構因果模型(SCMs)[12]將關於數據生成過程(DGP)的結構知識形式化。使用SCM,我們可以估計在對數據生成過程進行更改(稱為幹預)後,數據會發生什麼變化。更進一步,它們還允許我們在事後模擬變化的後果,同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念,假設沒有因果關係的先驗知識。

盡管在設計各種類型的CausalML算法方麵做了大量的工作,但仍然缺乏對其問題和方法論的明確分類 。我們認為,部分原因在於CausalML通常涉及對大部分ML不熟悉的數據的假設,這些假設在不同的問題設置之間聯係起來通常很棘手,這使得很難衡量進展和適用性。這些問題是本次綜述的動機。


1. 我們對完全獨立的因果關係中的關鍵概念進行了簡單的介紹(第2章)。 我們不假設對因果關係有任何先驗知識。在整個過程中,我們給出了如何應用這些概念來幫助進一步的地麵直覺的例子。

2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章) 。對於每個問題類,我們比較現有的方法,並指出未來工作的途徑。

3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章) ,以及因果基準(第9章)。

4. 我們討論了好的、壞的和醜陋的:我們關於與非因果ML方法相比,因果ML可以給我們帶來哪些好處的觀點(好的),人們必須為這些方法付出什麼代價(壞的),以及我們警告從業者要防範哪些風險(醜陋的)(第10章)


結論發現

  • 因果推理(第二章),與統計或概率推理相反,允許我們對介入和反事實的估計進行推理。

  • 因果監督學習(第3章)通過學習不變特征或機製來改進預測泛化,兩者都旨在消除模型對虛假關聯的依賴。未來的工作應該研究學習不變性的目標基準測試、對抗魯棒性的聯係以及元學習,以及額外監督信號的潛在利用。


  • 因果生成模型(第4章)支持從介入的或反事實的分布中采樣,自然地分別執行原則可控的生成或樣本編輯任務。所有現有的方法都學習結構作業;一些人還從數據中推斷出因果結構。對於不同的應用程序應該考慮什麼層次的抽象,如何將分配學習擴展到更大的圖,以及反事實生成的數據增強何時有效(何時無效),這些都有待探索。


  • 因果解釋(第5章)解釋模型預測,同時解釋模型機製或數據生成過程的因果結構。方法可以分為特征歸因(量化輸入特征的因果影響)和對比解釋(表示獲得期望結果的改變實例)。到目前為止,還不清楚如何最好地統一這兩類方法,擴大解釋範圍,使它們對分布轉移具有魯棒性,對攻擊者安全和私有,以及如何規避不可避免的對追索敏感性的魯棒性權衡。


  • 因果公平(第6章)為評估模型的公平性以及減輕潛在數據因果關係的有害差異的標準鋪平了道路。該標準依賴於反事實或介入性分布。未來的工作應該闡明在標準預測設置之外的平等、公平、較弱的可觀察性假設(例如隱藏的混淆)以及對社會類別的幹預主義觀點的有效性。


  • 因果強化學習(第7章)描述了考慮決策環境的顯性因果結構的RL方法。我們將這些方法分為7類,並觀察到它們比非因果方法的好處包括反發現(導致更好的泛化)、內在獎勵和數據效率。開放的問題表明,一些形式主義可能是統一的,離線數據的反發現在離線RL部分很大程度上沒有解決,而代理根據反事實做出的決定可能會提供進一步的好處。


  • 模態-應用:我們回顧了之前介紹的和模態特定原則如何提供機會來改善計算機視覺、自然語言處理和圖形表示學習設置。

專知便捷查看

便捷下載,請關注專知公眾號(點擊上方藍色專知關注)

  • 後台回複“C165” 就可以獲取什麼是因果機器學習?UCL&牛津大學最新《因果機器學習》書冊,165頁pdf闡述因果機器學習體係》專知下載鏈接

專知,專業可信的人工智能知識分發 ,讓認知協作更快更好!歡迎注冊登錄專知www.webtourguide.com,獲取100000+AI(AI與軍事、醫藥、公安等)主題幹貨知識資料!
歡迎微信掃一掃加入專知人工智能知識星球群,獲取最新AI專業幹貨知識教程資料和與專家交流谘詢
點擊“ 閱讀原文 ”,了解使用 專知 ,查看獲取100000+AI主題知識資料
登錄查看更多
0
1

相關內容

【ETH博士論文】貝葉斯深度學習,241頁pdf
專知會員服務
82+閱讀 · 1月16日
專知會員服務
67+閱讀 · 2021年9月5日
專知會員服務
61+閱讀 · 2021年7月21日
【經典書】機器學習統計學,476頁pdf
專知會員服務
83+閱讀 · 2021年7月19日
持續學習最新綜述論文,29頁pdf
專知會員服務
76+閱讀 · 2021年4月22日
最新《低資源自然語言處理》綜述論文,21頁pdf
專知會員服務
52+閱讀 · 2020年10月27日
最新《因果推斷導論: 從機器學習視角》新書稿,132頁pdf
專知會員服務
221+閱讀 · 2020年8月25日
【新書冊】貝葉斯神經網絡,41頁pdf
專知會員服務
144+閱讀 · 2020年6月3日
【新書冊】貝葉斯神經網絡,41頁pdf
專知
18+閱讀 · 2020年6月3日
自然語言處理常識推理綜述論文,60頁pdf
專知
58+閱讀 · 2019年4月4日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
1+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
Arxiv
0+閱讀 · 9月14日
Arxiv
14+閱讀 · 2020年12月17日
Arxiv
13+閱讀 · 2019年11月24日
Arxiv
10+閱讀 · 2019年9月30日
VIP會員
相關VIP內容
【ETH博士論文】貝葉斯深度學習,241頁pdf
專知會員服務
82+閱讀 · 1月16日
專知會員服務
67+閱讀 · 2021年9月5日
專知會員服務
61+閱讀 · 2021年7月21日
【經典書】機器學習統計學,476頁pdf
專知會員服務
83+閱讀 · 2021年7月19日
持續學習最新綜述論文,29頁pdf
專知會員服務
76+閱讀 · 2021年4月22日
最新《低資源自然語言處理》綜述論文,21頁pdf
專知會員服務
52+閱讀 · 2020年10月27日
最新《因果推斷導論: 從機器學習視角》新書稿,132頁pdf
專知會員服務
221+閱讀 · 2020年8月25日
【新書冊】貝葉斯神經網絡,41頁pdf
專知會員服務
144+閱讀 · 2020年6月3日
相關基金
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
2+閱讀 · 2014年12月31日
國家自然科學基金
1+閱讀 · 2014年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
Top
微信掃碼谘詢專知VIP會員
Top