因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述，非常值得關注！

因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即幹預)和事後會發生什麼(即反事實)進行推理。根據他們所解決的問題，我們將CausalML中的工作分為五組:(1)因果監督學習，(2) 因果生成模型，(3) 因果解釋，(4) 因果公平，(5) 因果強化學習。對每一類方法進行了係統的比較，並指出了有待解決的問題。此外，我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最後，我們提供了因果基準的概述，並對這一新興領域的狀態進行了批判性的討論，包括對未來工作的建議。

引言

機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則，包括經驗風險最小化、反向傳播和架構設計中的歸納偏差，已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而，在將這些模型部署到現實環境中時，出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降，(2) 生成模型[2]樣本缺乏細粒度控製，(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4]，(4) 可解釋性[5]的概念過於抽象和問題獨立，(5)強化學習方法對真實世界問題[6]的不穩定轉換。

許多工作認為，這些問題的部分原因在於現代ML係統缺乏因果形式主義[7,8,9,10,11]。隨後，研究社區對因果機器學習(CausalML)的興趣激增，這是利用關於被建模係統的因果知識的方法本調查涵蓋了因果關係如何被用來解決開放式ML問題。簡而言之，因果推理提供了一種語言，通過結構因果模型(SCMs)[12]將關於數據生成過程(DGP)的結構知識形式化。使用SCM，我們可以估計在對數據生成過程進行更改(稱為幹預)後，數據會發生什麼變化。更進一步，它們還允許我們在事後模擬變化的後果，同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念，假設沒有因果關係的先驗知識。

盡管在設計各種類型的CausalML算法方麵做了大量的工作，但仍然缺乏對其問題和方法論的明確分類。我們認為，部分原因在於CausalML通常涉及對大部分ML不熟悉的數據的假設，這些假設在不同的問題設置之間聯係起來通常很棘手，這使得很難衡量進展和適用性。這些問題是本次綜述的動機。

**1. 我們對完全獨立的因果關係中的關鍵概念進行了簡單的介紹(第2章)。**我們不假設對因果關係有任何先驗知識。在整個過程中，我們給出了如何應用這些概念來幫助進一步的地麵直覺的例子。

2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章)。對於每個問題類，我們比較現有的方法，並指出未來工作的途徑。

3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章)，以及因果基準(第9章)。

4. 我們討論了好的、壞的和醜陋的:我們關於與非因果ML方法相比，因果ML可以給我們帶來哪些好處的觀點(好的)，人們必須為這些方法付出什麼代價(壞的)，以及我們警告從業者要防範哪些風險(醜陋的)(第10章)。

結論發現**

• 因果推理(第二章)，與統計或概率推理相反，允許我們對介入和反事實的估計進行推理。
• 因果監督學習(第3章)通過學習不變特征或機製來改進預測泛化，兩者都旨在消除模型對虛假關聯的依賴。未來的工作應該研究學習不變性的目標基準測試、對抗魯棒性的聯係以及元學習，以及額外監督信號的潛在利用。
• 因果生成模型(第4章)支持從介入的或反事實的分布中采樣，自然地分別執行原則可控的生成或樣本編輯任務。所有現有的方法都學習結構作業;一些人還從數據中推斷出因果結構。對於不同的應用程序應該考慮什麼層次的抽象，如何將分配學習擴展到更大的圖，以及反事實生成的數據增強何時有效(何時無效)，這些都有待探索。
• 因果解釋(第5章)解釋模型預測，同時解釋模型機製或數據生成過程的因果結構。方法可以分為特征歸因(量化輸入特征的因果影響)和對比解釋(表示獲得期望結果的改變實例)。到目前為止，還不清楚如何最好地統一這兩類方法，擴大解釋範圍，使它們對分布轉移具有魯棒性，對攻擊者安全和私有，以及如何規避不可避免的對追索敏感性的魯棒性權衡。
• 因果公平(第6章)為評估模型的公平性以及減輕潛在數據因果關係的有害差異的標準鋪平了道路。該標準依賴於反事實或介入性分布。未來的工作應該闡明在標準預測設置之外的平等、公平、較弱的可觀察性假設(例如隱藏的混淆)以及對社會類別的幹預主義觀點的有效性。
• 因果強化學習(第7章)描述了考慮決策環境的顯性因果結構的RL方法。我們將這些方法分為7類，並觀察到它們比非因果方法的好處包括反發現(導致更好的泛化)、內在獎勵和數據效率。開放的問題表明，一些形式主義可能是統一的，離線數據的反發現在離線RL部分很大程度上沒有解決，而代理根據反事實做出的決定可能會提供進一步的好處。
• 模態-應用:我們回顧了之前介紹的和模態特定原則如何提供機會來改善計算機視覺、自然語言處理和圖形表示學習設置。